CN108847208A - 一种降噪处理方法、装置和耳机 - Google Patents

一种降噪处理方法、装置和耳机 Download PDF

Info

Publication number
CN108847208A
CN108847208A CN201810421059.6A CN201810421059A CN108847208A CN 108847208 A CN108847208 A CN 108847208A CN 201810421059 A CN201810421059 A CN 201810421059A CN 108847208 A CN108847208 A CN 108847208A
Authority
CN
China
Prior art keywords
sound signal
environmental sound
noise reduction
value
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810421059.6A
Other languages
English (en)
Other versions
CN108847208B (zh
Inventor
华洋
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201810421059.6A priority Critical patent/CN108847208B/zh
Priority to PCT/CN2018/100366 priority patent/WO2019210605A1/zh
Priority to US15/733,648 priority patent/US11328705B2/en
Publication of CN108847208A publication Critical patent/CN108847208A/zh
Application granted granted Critical
Publication of CN108847208B publication Critical patent/CN108847208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3012Algorithms
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3025Determination of spectrum characteristics, e.g. FFT
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3026Feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3027Feedforward
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3046Multiple acoustic inputs, multiple acoustic outputs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3056Variable gain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02085Periodic noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Headphones And Earphones (AREA)

Abstract

本发明公开了一种降噪处理方法、装置和耳机。该方法包括:利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;根据所述环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;并根据所述环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;将所述指定频率的声音信号随同前馈降噪处理后的信号一起输出。本发明实现对环境声音信号中有价值的指定频率声音信号的监听。

Description

一种降噪处理方法、装置和耳机
技术领域
本发明涉及声音信号处理领域,具体涉及一种降噪处理方法、装置和耳机。
背景技术
在传统的噪声防护领域,主要是采用被动式(无源)噪声隔离设备(例如,护耳器)进行噪声防护,而且护耳器一般是选择大尺寸的防护耳罩隔离噪声。这种大尺寸的护耳器可以有效的隔离开外界噪声(尤其是高频噪声),但是同时也将外界环境中有价值的声音隔离开,比如具有线谱特性的警报声,周围同伴的语音信息等,给耳机佩戴者的使用带来不便,甚至使得耳机佩戴者处于危险的环境中。另外,虽然被动式噪声隔离设备具有良好的中高频噪声隔离效果,但是其难以隔绝波长大、穿透能力强的低频段噪声。
目前,很多耳机已具有有源降噪功能,有源降噪指的是利用电子线路和扩声设备产生与噪声的相位相反的声音,以抵消原有的噪声而达到降噪目的。具有有源降噪功能的耳机主要是针对低频噪声进行降噪。还有更高级些耳机具有自适应降噪音频处理单元,该自适应降噪音频处理单元不仅可以滤除低频噪声,而且可以滤除中高频噪声,例如直升飞机螺旋桨产生的中高频噪声。这类耳机虽然可以很好地滤除环境噪声,但是在滤除环境噪声的同时,将环境声音信号中的有价值声音信号也滤除了,例如滤除了具有线谱特性的警报声、同伴的声音信号等,导致在对环境声音信号降噪的同时,无法保留环境声音信号中有价值的声音信号。
发明内容
本发明提供了一种降噪处理方法、装置和耳机,以解决现有的耳机在对环境声音信号降噪的同时,无法保留环境声音信号中有价值声音信号的问题。
根据本发明的一个方面,提供了一种降噪处理方法,所述方法包括:
利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;
根据所述环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;并根据所述环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;
将所述指定频率的声音信号随同前馈降噪处理后的信号一起输出。
根据本发明的另一个方面,提供了一种降噪处理装置,所述装置包括:
采集单元,用于利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;
前馈降噪处理单元,用于根据所述采集单元获取的环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;
提取单元,用于根据所述采集单元获取的环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;
输出单元,用于将所述提取单元提取出的所述指定频率的声音信号随同所述前馈降噪处理单元进行前馈降噪处理后的信号一起输出。
根据本发明的再一个方面,提供了一种耳机,所述耳机包括前馈麦克风、反馈麦克风和扬声器,所述耳机包括存储器和处理器,所述存储器存储有能够被所述处理器执行的计算机程序,所述计算机程序被所述处理器执行时能够实现上述的方法步骤。
本发明的有益效果是:本发明的技术方案,先利用前馈麦克风采集环境声音信号,获取该环境声音信号的幅度信息和频谱信息,然后根据该环境声音信号的幅度信息进行前馈降噪处理,并根据该环境声音信号的频谱信息提取环境声音信号中的指定频率的声音信号,最后将指定频率的声音信号随同前馈降噪处理后的环境声音信号一起输出。相比于现有技术,本发明在进行降噪处理时,保留了环境声音信号中的指定频率声音信号,实现对环境声音信号中有价值声音信号的监听,避免了警报等危险预警的声音信号被隔离掉而导致耳机佩戴者处于危险状态,保证了耳机佩戴者的人身安全;也可以避免将同伴的声音被完全滤除,使得用户佩戴耳机时依旧能够与同伴正常交流,提升用户体验。
附图说明
图1是本发明实施例一提供的一种降噪处理方法的流程图;
图2是本发明实施例二提供的另一种降噪处理方法的流程图;
图3是本发明实施例三提供的一种降噪处理装置的功能结构示意图;
图4是本发明实施例四提供的另一种降噪处理装置的功能结构示意图;
图5是本发明实施例五提供的一种耳机的功能结构示意图。
具体实施方式
本发明的设计构思是:针对现有技术中在将环境声音信号中的噪声信号滤除的同时,无法保留环境声音信号中有价值声音信号的问题,发明人想到,在对环境声音信号进行降噪处理时,根据该环境声音信号的频谱信息提取指定频率的声音信号,并随同降噪处理后的信号一起输出,从而保留环境声音信号中指定频率声音信号,实现对环境声音信号中有价值声音信号的监听。
实施例一
图1是本发明实施例一提供的一种降噪处理方法的流程图,如图1所示,该降噪处理方法包括如下步骤:
S110,利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;
S120,根据所述环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;并根据所述环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;
如本领域技术人员所知,耳机的扬声器播放的是时域信号,傅里叶变换可将时域信号转换成频域信号,得到信号的频谱信息。因此,在利用前馈麦克风采集环境声音信号之后,对该环境声音信号进行傅里叶变换处理,得到该环境声音信号的频谱信息,从而根据该频谱信息提取出指定频率的声音信号。其中,指定频率既可以是一个具体的频率值,即,单频信号;也可以是具有一定频率范围的频率段,即,频段信号。在实际应用中,可以通过对指定频率的设定,保留具有线谱特性的警报声和同伴的声音信号,使得用户即使佩戴耳机,依旧可以监听到这两类声音信号。
需要说明的是,步骤S120中的“根据所述环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;”和“根据所述环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号”,这两个处理步骤彼此独立,无先后顺序,可以同时执行,也可以任意一者先执行,另一者后执行。
S130,将所述指定频率的声音信号随同前馈降噪处理后的信号一起输出。
本步骤,对提取出的指定频率的频谱信息先进行逆傅里叶变换得到该指定频率的声音信号对应的时域信号,然后随同前馈降噪处理后的信号由耳机的扬声器进行播放。
由此可见,本发明的技术方案,先利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息,然后根据该环境声音信号的幅度信息进行前馈降噪处理,并根据该环境声音信号的频谱信息提取环境声音信号中的指定频率的声音信号,最后将指定频率的声音信号随同前馈降噪处理后的环境声音信号一起输出。相比于现有技术,本发明在进行降噪处理时,保留了环境声音信号中的指定频率声音信号,实现对环境声音信号中有价值声音信号的监听,避免了警报等危险预警的声音信号被隔离掉而导致耳机佩戴者处于危险状态,保证了耳机佩戴者的人身安全;也可以避免将同伴的声音被完全滤除,使得用户佩戴耳机时依旧能够与同伴正常交流,提升用户体验。
实施例二
图2是本发明实施例二提供的另一种降噪处理方法的流程图,如图2所示,该降噪处理方法包括如下步骤:
S201,利用前馈麦克风采集环境声音信号。
本步骤S201中,前馈麦克风采集的是耳机外部的环境声音信号。本步骤S201执行后,分别执行步骤S202和S203。
S202,获取环境声音信号的幅度信息。本步骤S202执行后,执行S204。
S203,获取环境声音信号的频谱信息。
本步骤S203主要是利用傅里叶变换技术,获取前馈麦克风采集的环境声音信号的频谱信息。本步骤S203执行后,分别执行步骤S205和S209。
S204,对环境声音信号进行能量分析。能量分析过程如下:
根据环境声音信号的幅度信息,获取每个采样时刻的环境声音信号的能量信息,其中当前第n个采样时刻的能量信息为P(n),对应第n-1个采样时刻的能量信息为P(n-1)。
其中,可通过如下公式1和公式2获取环境声音信号的每个采样时刻的能量信息:
P(n)=power (公式2)
其中,公式1和公式2中的power表示前馈麦克风采集到的环境声音信号的能量,alpha是一个常数变量,其表示最新采集到的环境声音信号的能量的权重,N表示环境声音信号的能量的采样总次数,在这里,N的取值范围可以为[1.1000],N可以是正整数,x(n)代表第n个采样时刻环境声音信号的幅度,P(n)代表第n个采样时刻环境声音信号的能量。
在对环境声音信号进行能量分析之后,可以根据能量分析结果对环境声音信号进行增益处理,即,S206;也可以根据能量分析结果对环境声音信号进行前馈降噪处理,即,S208。也即,本步骤S204执行后,再分别执行步骤S206和S208。
S205,提取指定频率的声音信号。
以提取具有线谱特性的警报声为例进行说明。如果环境声音信号的频谱信息中的某个频点(对应单一频率为主的警报信号的频点)的幅度大于第一幅度预设值,例如,某个单频的幅度比它左边间隔5至8个频点对应幅度的平均值高20dB,并且比它右边间隔5至8个频点对应幅度的平均值也高20dB,那么认为该频率信号为指定单频点的声音信号。
提取具有一定频率范围的同伴的声音信号与提取单频点信号的方法相同。例如,某频率段的幅度比它左边间隔5至8个频率段对应幅度的平均值高20dB,并且比它右边间隔5至8个频率段对应幅度的平均值也高20dB,那么认为该频率段信号为指定频率段的声音信号。
需要说明的是,在提取到指定频率的声音信号之后,可不对该指定频率的声音信号进行任何处理,直接将其输出。即不再依次执行步骤S206和S207,直接进行步骤S210。
S206,对指定频率的声音信号进行增益处理。
根据步骤S204的能量分析结果对指定频率的声音信号进行增益处理时,主要包括以下四种情况:
第一种情况,如果能量信息P(n)不大于第一预设能量阈值,说明此时指定频率的声音信号的幅度一直维持在人耳听觉范围内,因此,将当前的增益A(n)调整为增益初始值A(0)即可满足增益处理的要求。
第二种情况,如果能量信息P(n)大于第一预设能量阈值,且P(n)/P(n-1)大于第一能量比例阈值,说明此时外界有能量迅速增加的突发性噪声,比如,枪炮声,则将当前的增益值A(n)调整为增益初始值A(0)立刻减少第一增益值Delta(n)1,其中,第一增益值Delta(n)1是通过对能量信息P(n)和第一预设能量阈值之差进行对数运算得到的,避免了声冲击给佩戴者的听力造成损伤。
第三种情况,如果能量信息P(n)大于第一预设能量阈值,且P(n)/P(n-1)小于第二能量比例阈值,说明此时突发噪声已过峰值开始衰减,则将当前的增益值A(n)调整为增益初始值A(0)立刻减少第二增益值Delta(n)2,其中,第二增益值Delta(n)2是通过对能量信息P(n)和第一预设能量阈值之差进行对数运算得到的,在这里,第二增益值Delta(n)2小于第一增益值Delta(n)1,从而使得增益调整后的指定频率的声音信号在人耳听觉范围内。
第四种情况,如果能量信息P(n)大于第一预设能量阈值,且P(n)/P(n-1)位于第一能量比例阈值与第二能量比例阈值之间,这里包括等于第一能量比例阈值和等于第二能量比例阈值的情况,则说明此时噪声突然增加后趋于稳定,则调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少第三增益值Delta(n)3得到的增益(即,A(0)-Delta(n)3)之间。
需要说明的是,第二种情况中的“第一增益值Delta(n)1”、第三种情况中的“第二增益值Delta(n)2”和第四种情况中的“第三增益值Delta(n)3”的计算方式相同,均是通过对能量信息P(n)和第一预设能量阈值之差进行对数运算得到的,具体地,可以根据如下公式计算第一增益值Delta(n)1、第二增益值Delta(n)2或第三增益值Delta(n)3
Delta(n)=20*log(P(n)-p1) (公式3)
其中,公式3中的Delta(n)为增益值,其单位为分贝(dB),P(n)为当前第n个采样时刻的能量信息,p1为第一预设能量阈值,需要说明的是,P(n)和p1均是一个量化的时域值,通过公式3对P(n)和p1的差值进行对数运算得到增益值。
其中,在调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少第三增益值得到的增益(即,A(0)-Delta(n)3)之间的过程中,首先,从当前采样时刻开始将当前的增益值A(n)调整为从增益的初始值A(0)按照一衰减速度进行衰减;在衰减过程中,如果环境声音信号对应第n+m个采样时刻的能量信息P(n+m)小于第一预设能量阈值,则令当前的增益值A(n+m)按照一增长速度向增益初始值A(0)恢复;并且在当前的增益值A(n+m)按照增长速度恢复至增益初始值A(0)的过程中,如果P(n+m)大于第一预设能量阈值,则令当前的增益值A(n+m)再按照衰减速度进行衰减;其中,衰减速度是通过对P(n+m)和第一预设能量阈值之差进行对数运算处理后与第一预设时间t1的比值得到,即,V衰减速度=Delta(n+m)/t1;增长速度是通过对P(n+m)和第一预设能量阈值之差进行对数运算后与第二预设时间t2的比值得到的,即,V增长速度=Delta(n+m)/t2;通过调整第一预设时间t1和第二预设时间t2的长度调整衰减速度和增长速度的大小,从而使得指定频率的声音信号一直维持在人耳听觉范围内。
需要说明的是第一预设时间和第二预设时间是通过大量的前期训练得到的,当然用户也可以对第一预设时间和第二预设时间进行设定。
为了使得上述第四种情况(能量信息P(n)大于第一预设能量阈值,且P(n)/P(n-1)位于第一能量比例阈值与第二能量比例阈值之间)的处理过程清楚,下面举一个具体的例子进行解释说明。
第一步,对能量信息P(n)和第一预设能量阈值之差进行对数运算得到的增益值记为Delta(n),增益值的单位为分贝dB,从当前采样时刻开始,直到第M个采样时刻结束,每个采样时刻(即,第n个采样时刻)的增益A(n)从增益初始值A(0)开始以一衰减速度(即,Detla(n)/MdB)进行衰减,其中,M相当于将第一预设时间t1均分为M个等份时刻,在这里,M的取值范围可以为[1.1000],M可以是正整数。
第二步,直到M个采样时刻(即第n+m时刻)之后,即,到达第一预设时间t1;当前的增益A(n+m)减小Detla(n),其中,Detla(n)=Detla(n)/M dB*M;
第三步,如果M个采样时刻(即第n+m时刻)之后环境声音信号的能量信息P(n+m)小于第一预设能量阈值,则令当前的增益A(n+m)按照一增长速度恢复至增益初始值A(0),假设,在第Q采样时刻的增益A(n+m)恢复至增益初始值A(0)。在这里,进一步假设从第N个采样时刻到第M个采样时刻的时间为t1,第M个采样时刻到第Q个采样时刻的时间为t2,也就是说,在t1时间内,当前的增益A(n)从增益初始值A(0)开始以一衰减速度(即,Detla(n)/MdB)进行衰减,在t2时间内,当前的增益A(n+m)按照一增长速度恢复至增益初始值A(0)。通过调整t1和t2的长度即可调整衰减速度和增长速度,从而控制指定频率的声音信号在人耳听觉范围内。
第四步,在第三步中的当前的增益A(n+m)按照一增长速度恢复至增益初始值A(0)的过程中,如果能量信息P(n+m)大于第一预设能量阈值,则执行第一步,从当前采样时刻开始令当前的增益A(n+m)再按照一衰减速度(即,Detla(n)/M dB)进行衰减。本实施中,n和m的取值范围可以为[1.1000],n和m可以是正整数。
在实际应用中,第一预设能量阈值、第一能量比例阈值和第二能量比例阈值可以由用户设置,用户可以应用场景改变这些阈值,从而使得本方案适用于各种应用场景,实现更好地人性化设计。
由此可见,本发明的技术方案通过对环境声音信号的能量分析,从而实现针对指定频率的声音信号进行不同的增益处理,进而保证传输至人耳的指定频率的声音信号在人耳的听觉范围内,避免外界突发性噪声给耳机佩戴者带来冲击,提升用户体验。
此时在对指定频率的声音信号进行增益处理后,可将增益处理后的指定频率的声音信号直接输出。即执行完S206后,步骤执行S207,直接进行步骤S210。
S207,对增益处理后的指定频率的声音信号进行幅度调节处理。本步骤S207执行后,执行步骤S210。
本步骤S207是将增益处理后的指定频率的声音信号的幅度值调节至预设幅度范围内。具体地,判断增益处理后的指定频率的声音信号的幅度值是否在预设幅度范围内,若否,则调整该声音信号的幅度值至预设幅度范围内。例如,假设提取的指定频率的声音信号的幅度值为100,预设幅度范围为(50,70),则对该声音信号的幅度值进行调节,将其幅度值调整至预设幅度范围内,该预设幅度范围是根据人耳正常听力范围进行设定的,防止提取的指定频率的声音信号声音过大,对人耳造成损伤,也防止提取的指定频率的声音信号声音过小,未被人耳察觉。由此可见,本发明的技术方案通过对增益处理后指定频率的声音信号的幅度值进行进一步的幅度调节处理,有助于进一步提升用户体验。
S208,对环境声音信号进行前馈降噪处理。本步骤S208执行后,执行步骤S210。
本步骤S208根据S204的能量分析结果对前馈麦克风采集的环境声音进行不同的前馈降噪处理。具体地,在进行前馈降噪处理时,主要包括以下三种情况:
第一种情况,如果P(n)小于第二预设能量阈值,说明当前环境声音信号中的几乎未包含的噪声信息,不需要进行前馈降噪处理,则控制当前的前馈降噪系数置0;
第二种情况,如果P(n)大于第三预设能量阈值,说明当前环境声音信号中的包含的噪声信息较多,则控制当前的前馈降噪系数保持不变;也就是说,利用前馈降噪模块中当前的前馈降噪系数,即可对环境声音信号进行很好的前馈降噪处理,不需要更改前馈降噪系数。
第三种情况,如果P(n)位于第二预设能量阈值和第三预设能量阈值之间,说明当前环境声音信号中的包含的噪声信息较少,则控制当前的前馈降噪系数减少一降噪系数预设值;其中,第二预设能量阈值小于第三预设能量阈值。在这里,第二预设能量阈值和第三预设能量阈值可以由用户设置,用户可以应用场景改变这些阈值,从而使得本方案适用于各种应用场景,进而对应不同的应用场景进行不同的前馈降噪处理,实现更好地人性化设计。
由此可见,本发明的技术方案通过对环境声音信号的能量分析,实现针对不同的环境声音信号进行不同的前馈降噪处理,不仅保障了前馈降噪处理的准确性,更好地滤除耳机外部的环境声音信号中的噪声,而且还能够达到降低系统功耗的目的。
需要说明的是,本实施例中的降噪系数预设值和当前的降噪系数可以根据实际应用需要进行设置,本申请对降噪系数预设值和当前的降噪系数的取值范围不作限定。另外,在实际应用中,第二预设能量阈值和第三预设能量阈值可以由用户设置,用户可以应用场景改变这些阈值,从而使得本方案适用于各种应用场景,实现更好地人性化设计。
S209,对反馈麦克风采集的环境声音信号进行反馈降噪处理。本步骤S209执行后,执行步骤S210。
反馈麦克风采集的是耳机内部的环境声音信号。本步骤S209对反馈麦克风采集的环境声音信号进行反馈降噪处理时,主要通过以下三步实现:
第一步,根据步骤S203获得的环境声音信号的频谱信息,按照预设时间间隔确定当前场景模式。本步骤中,对应每一种场景模式均预存有基于频谱特征的向量,例如场景模式1的频谱特征记录为向量FM1,场景模式2的频谱特征记录为向量FM2,场景模式3的频谱特征记录为向量FM3,截取总频谱信息或者总频谱信息中的一段频谱信息(例如,前馈麦克风的采样频率为4kHz,在实际应用中可以根据中心处理芯片的计算能力在4kHz的频谱信息中截取适宜的频段)记为向量FF,根据公式3将向量FF依次和FM1、FM2、FM3···FM(i)做相关性运算,得到一组相关性系数r1、r2、r3…ri,则最大的相关性系数对应的场景模式为当前场景模式,例如相关性系数r1最大,则当前的场景模式为场景模式1。
其中,公式4中的r表示相关性系数,表示向量FF的均值,F是向量FF的长度,为每一种场景模式对应的基于频谱特征的向量的均值,FM(i)为每一种场景模式对应的基于频谱特征的向量中的第i个值,如果以向量FM1为例,FM(i)表示向量FM1(i)中第i个值。
每一种场景模式均具有独特的频谱特征,通过对频谱进行相关性分析,确定当前的场景模式。在进行场景模式分析的过程中,每进行一次场景模式分析均会造成一定程度的功耗损失,尤其当相邻两次的时间间隔越小,则运算能力要求越高、功耗越大,因此,不能实时进行场景模式,需要合理设置预设时间间隔(例如5s),从而降低系统功耗。在实际应用中可以根据系统运算能力及实际需求设置预设时间间隔。
第二步,获取与第一步确定的当前场景模式对应的反馈降噪系数。
通过上述第一步中的方法确定当前场景模式后,根据确定出的当前场景模式查询预设的场景模式与反馈降噪系数列表,如表1所示。
表1.场景模式与反馈降噪系数列表
场景模式 反馈降噪系数
场景模式1(FM1) Fb1
场景模式2(FM2) Fb2
场景模式3(FM3) Fb3
假设,当前场景模式2,则根据表1可知,场景模式2对应的反馈降噪系数为Fb2。
第三步,根据所述反馈降噪系数对反馈麦克风采集的环境声音信号进行反馈降噪处理,输出反馈降噪处理后的信号。
例如,应用第二步中确定的反馈降噪系数Fb2对反馈麦克风采集的耳机内部的环境声音信号进行反馈降噪处理,滤除反馈麦克风采集到的耳机内部的环境声音信号中的噪声。
S210,将指定频率的声音信号随同前馈降噪处理后的信号和反馈降噪处理后的信号一起输出。
需要说明的是,步骤S208与步骤S207执行完成后,输出的声音信号包括两部分:(一)对前馈麦克风采集的耳机外部的环境声音信号进行前馈降噪处理后的声音信号,(二)提取前馈麦克风采集的耳机外部的环境声音信号中指定频率的声音信号;当步骤S209继续执行完成后,输出的声音信号包括三部分:(一)对前馈麦克风采集的耳机外部的环境声音信号进行前馈降噪处理后的声音信号,(二)提取前馈麦克风采集的耳机外部的环境声音信号中指定频率的声音信号;(三)对反馈麦克风采集的耳机内部的环境声音信号进行反馈降噪处理后的声音信号。
由此可知,本发明在对环境声音信号进行降噪的同时,保留了环境声音信号中的指定频率声音信号,可实现对环境声音信号中有价值声音信号的监听。
实施例三
图3是本发明实施例三提供的一种降噪处理装置的功能结构示意图,如图3所示,降噪处理装置300包括:
采集单元301,用于利用前馈麦克风100采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;
前馈降噪处理单元302,用于根据所述采集单元301获取的环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;
提取单元303,用于根据所述采集单元301获取的环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;
输出单元304,用于将所述提取单元303提取出的指定频率的声音信号随同前馈降噪处理单元302进行前馈降噪处理后的信号一起输出至扬声器200。
本发明的技术方案,先由采集单元301利用前馈麦克风100采集环境声音信号,获取该环境声音信号的幅度信息和频谱信息,然后由前馈降噪处理单元302根据该环境声音信号的幅度信息进行前馈降噪处理,并由提取单元303根据该环境声音信号的频谱信息提取环境声音信号中的指定频率的声音信号,最后由输出单元304将提取单元303提取出的指定频率的声音信号随同前馈降噪处理单元302进行前馈降噪处理后的信号一起输出。相比于现有技术,本发明在进行降噪处理时,保留了环境声音信号中的指定频率声音信号,实现对环境声音信号中有价值声音信号的监听,避免了警报等危险预警的声音信号被隔离掉而导致耳机佩戴者处于危险状态,保证了耳机佩戴者的人身安全;也可以避免将同伴的声音被完全滤除,使得用户佩戴耳机时依旧能够与同伴正常交流,提升用户体验。
需要说明的是,图3所示的声音信号输出装置300的工作过程分别与图1所示的降噪处理方法的各实施例的实现步骤相同或者部分对应相同,相同的内容不再赘述。
实施例四
图4是本发明实施例四提供的一种降噪处理装置的功能结构示意图,如图4所示,降噪处理装置400包括:
采集单元401,用于利用前馈麦克风100采集环境声音信号,获取环境声音信号的幅度信息和频谱信息;
前馈降噪处理单元402,用于根据采集单元401获取的环境声音信号的幅度信息,对环境声音信号进行前馈降噪处理;
提取单元403,用于根据采集单元401获取的环境声音信号的频谱信息,提取环境声音信号中的指定频率的声音信号;
输出单元404,用于将提取单元403提取出的指定频率的声音信号随同前馈降噪处理单元402进行前馈降噪处理后的信号一起输出。
在本发明的一个实施例中,降噪处理装置400还包括:
能量分析单元407,用于根据采集单元401获取的环境声音信号的幅度信息,获取每个采样时刻的环境声音信号的能量信息,其中环境声音信号对应当前第n个采样时刻的能量信息为P(n),对应第n-1个采样时刻的能量信息为P(n-1)。
在本发明的一个实施例中,降噪处理装置400还包括增益处理单元405和幅度处理单元406,
增益处理单元405,用于根据采集单元401获取的环境声音信号的幅度信息,对提取单元403提取出的指定频率的声音信号进行增益处理;
幅度处理单元406,用于将增益处理单元405进行增益处理后的指定频率的声音信号的幅度值调节至预设幅度范围内,发送给输出单元404。
在本发明的一个实施例中,增益处理单元405,具体用于如果P(n)不大于第一预设能量阈值,则将当前的增益值A(n)调整为增益初始值A(0);
如果P(n)大于第一预设能量阈值,且P(n)/P(n-1)大于第一能量比例阈值,或者,P(n)/P(n-1)小于第二能量比例阈值,则将当前的增益值A(n)调整为增益初始值A(0)减少一增益值
如果P(n)大于第一预设能量阈值,且P(n)/P(n-1)位于第一能量比例阈值与第二能量比例阈值之间,则调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少增益值得到的增益之间;其中,增益值是通过对P(n)和第一预设能量阈值之差进行对数运算得到的。
在本发明的一个实施例中,增益处理单元405,还具体用于在调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少增益值得到的增益之间时,从当前采样时刻开始,将当前的增益值A(n)调整为从增益的初始值A(0)按照一衰减速度进行衰减;在衰减过程中,如果环境声音信号对应第n+m个采样时刻的能量信息P(n+m)小于第一预设能量阈值,则令当前的增益值A(n+m)按照一增长速度向增益初始值A(0)恢复;并且在当前的增益值A(n+m)按照增长速度恢复至增益初始值A(0)的过程中,如果P(n+m)大于第一预设能量阈值,则令当前的增益值A(n+m)再按照衰减速度进行衰减;
其中,衰减速度是通过对P(n+m)和第一预设能量阈值之差进行对数运算处理后与第一预设时间的比值得到,增长速度是通过对P(n+m)和第一预设能量阈值之差进行对数运算后与第二预设时间的比值得到的;通过调整第一预设时间和第二预设时间的长度调整衰减速度和增长速度的大小。
在本发明的一个实施例中,前馈降噪处理单元402,具体用如果P(n)小于第二预设能量阈值,则控制当前的前馈降噪系数置0;如果P(n)大于第三预设能量阈值,则控制当前的前馈降噪系数保持不变;如果P(n)位于第二预设能量阈值和第三预设能量阈值之间,则控制当前的前馈降噪系数减少一降噪系数预设值;其中,第二预设能量阈值小于第三预设能量阈值。
在本发明的一个实施例中,降噪处理装置400还包括:
反馈降噪处理单元408,用于根据采集单元获取的环境声音信号的频谱信息,按照预设时间间隔确定当前场景模式,获取与当前场景模式对应的反馈降噪系数,根据反馈降噪系数对反馈麦克风300采集的环境声音信号进行反馈降噪处理,输出反馈降噪处理后的信号。
需要说明的是,图4所示的声音信号输出装置400的工作过程分别与图2所示的降噪处理方法的各实施例的实现步骤相同或者部分对应相同,相同的内容不再赘述。
实施例五
图5是本发明实施例五提供的一种耳机的功能结构示意图,如图5所示:耳机500包括前馈麦克风100、反馈麦克风300和扬声器200,耳机500包括存储器510和处理器520,存储器520存储有能够被处理器510执行的计算机程序,计算机程序被处理器510执行时能够实现上述如图1或图2所示的方法步骤。这个耳机在进行有源降噪处理时,可以保留环境声音信号中的指定频率声音信号,实现对环境声音信号中有价值声音信号的监听,避免了警报等危险预警的声音信号被隔离掉而导致耳机佩戴者处于危险状态,保证了耳机佩戴者的人身安全;也避免了将同伴的声音被完全滤除,使得用户佩戴耳机时依旧能够与同伴正常交流,提升用户体验。
综上所述,本发明的技术方案,利用前馈麦克风采集环境声音信号,并根据该环境声音信号的频谱信息提取指定频率的声音信号,可将指定频率的声音信号随前馈降噪处理后的环境声音信号一起输出,相比于现有技术在将环境声音信号中的噪声信号滤除的同时无法实现对指定频率信号的监听,本发明保留了环境声音信号中的指定频率声音信号,实现对环境声音信号中有价值的指定频率声音信号的监听,避免了警报等危险预警的声音信号被隔离掉而导致耳机佩戴者处于危险状态,保证了耳机佩戴者的人身安全;也可以避免将同伴的声音被完全滤除,使得用户佩戴耳机时依旧能够与同伴正常交流,提升用户体验。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围以权利要求的保护范围为准。
本发明公开了A1、一种降噪处理方法,其特征在于,所述方法包括:
利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;
根据所述环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;并根据所述环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;
将所述指定频率的声音信号随同前馈降噪处理后的信号一起输出。
A2、如权利要求A1所述的方法,其特征在于,在获取所述环境声音信号的幅度信息之后,所述方法还包括:
根据所述环境声音信号的幅度信息,获取每个采样时刻的所述环境声音信号的能量信息,其中所述环境声音信号对应当前第n个采样时刻的能量信息为P(n),对应第n-1个采样时刻的能量信息为P(n-1)。
A3、如权利要求A2所述的方法,其特征在于,在提取所述环境声音信号中的指定频率的声音信号之后,在将所述指定频率的声音信号随同前馈降噪处理后的信号一起输出之前,所述方法还包括:
根据所述环境声音信号的幅度信息,对所述指定频率的声音信号进行增益处理;
将增益处理后的所述指定频率的声音信号的幅度值调节至预设幅度范围内。
A4、如权利要求A3所述的方法,其特征在于,对所述指定频率的声音信号进行增益处理包括:
如果所述P(n)不大于第一预设能量阈值,则将当前的增益值A(n)调整为增益初始值A(0);
如果所述P(n)大于所述第一预设能量阈值,且所述P(n)/P(n-1)大于第一能量比例阈值,或者,所述P(n)/P(n-1)小于第二能量比例阈值,则将当前的增益值A(n)调整为增益初始值A(0)减少一增益值;
如果所述P(n)大于所述第一预设能量阈值,且所述P(n)/P(n-1)位于所述第一能量比例阈值与所述第二能量比例阈值之间,则调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少所述增益值得到的增益之间;
其中,所述增益值是通过对所述P(n)和所述第一预设能量阈值之差进行对数运算得到的。
A5、如权利要求A4所述的方法,其特征在于,所述调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少所述增益值得到的增益之间包括:
从当前采样时刻开始,将当前的增益值A(n)调整为从增益的初始值A(0)按照一衰减速度进行衰减,在衰减过程中,如果所述环境声音信号对应第n+m个采样时刻的能量信息P(n+m)小于所述第一预设能量阈值,则令当前的增益值A(n+m)按照一增长速度向所述增益初始值A(0)恢复;并且在所述当前的增益值A(n+m)按照所述增长速度恢复至所述增益初始值A(0)的过程中,如果所述P(n+m)大于所述第一预设能量阈值,则令所述当前的增益值A(n+m)再按照所述衰减速度进行衰减;
其中,所述衰减速度是通过对所述P(n+m)和所述第一预设能量阈值之差进行对数运算处理后与第一预设时间的比值得到,所述增长速度是通过对所述P(n+m)和所述第一预设能量阈值之差进行对数运算后与第二预设时间的比值得到的;通过调整第一预设时间和第二预设时间的长度调整衰减速度和增长速度的大小。
A6、如权利要求A2所述的方法,其特征在于,对所述环境声音信号进行前馈降噪处理包括:
如果所述P(n)小于第二预设能量阈值,则控制当前的前馈降噪系数置0;
如果所述P(n)大于第三预设能量阈值,则控制当前的前馈降噪系数保持不变;
如果所述P(n)位于所述第二预设能量阈值和所述第三预设能量阈值之间,则控制当前的前馈降噪系数减少一降噪系数预设值;
其中,所述第二预设能量阈值小于所述第三预设能量阈值。
A7、根据权利要求A1所述的方法,其特征在于,所述方法进一步包括:
根据所述环境声音信号的频谱信息,按照预设时间间隔确定当前场景模式;
获取与所述当前场景模式对应的反馈降噪系数;
根据所述反馈降噪系数对反馈麦克风采集的环境声音信号进行反馈降噪处理,输出反馈降噪处理后的信号。
本发明还公开了B8、一种降噪处理装置,其特征在于,所述装置包括:
采集单元,用于利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;
前馈降噪处理单元,用于根据所述采集单元获取的环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;
提取单元,用于根据所述采集单元获取的环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;
输出单元,用于将所述提取单元提取出的所述指定频率的声音信号随同所述前馈降噪处理单元进行前馈降噪处理后的信号一起输出。
B9、如权利要求B8所述的装置,其特征在于,所述装置还包括:
能量分析单元,用于根据所述采集单元获取的环境声音信号的幅度信息,获取每个采样时刻的所述环境声音信号的能量信息,其中所述环境声音信号对应当前第n个采样时刻的能量信息为P(n),对应第n-1个采样时刻的能量信息为P(n-1)。
B10、如权利要求B9所述的装置,其特征在于,所述装置还包括增益处理单元和幅度处理单元,
所述增益处理单元,用于根据所述采集单元获取的环境声音信号的幅度信息,对所述提取单元提取出的所述指定频率的声音信号进行增益处理;
所述幅度处理单元,用于将所述增益处理单元进行增益处理后的所述指定频率的声音信号的幅度值调节至预设幅度范围内,发送给所述输出单元。
B11、如权利要求B10所述的装置,其特征在于,所述增益处理单元,具体用于如果所述P(n)不大于第一预设能量阈值,则将当前的增益值A(n)调整为增益初始值A(0);如果所述P(n)大于所述第一预设能量阈值,且所述P(n)/P(n-1)大于第一能量比例阈值,或者,所述P(n)/P(n-1)小于第二能量比例阈值,则将当前的增益值A(n)调整为增益初始值A(0)减少一增益值;如果所述P(n)大于所述第一预设能量阈值,且所述P(n)/P(n-1)位于所述第一能量比例阈值与所述第二能量比例阈值之间,则调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少所述增益值得到的增益之间;
其中,所述增益值是通过对所述P(n)和所述第一预设能量阈值之差进行对数运算得到的。
B12、如权利要求B11所述的装置,其特征在于,所述增益处理单元,还具体用于在调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少所述增益值得到的增益之间时,从当前采样时刻开始,将当前的增益值A(n)调整为从增益的初始值A(0)按照一衰减速度进行衰减,在衰减过程中,如果所述环境声音信号对应第n+m个采样时刻的能量信息P(n+m)小于所述第一预设能量阈值,则令当前的增益值A(n+m)按照一增长速度向所述增益初始值A(0)恢复;并且在所述当前的增益值A(n+m)按照所述增长速度恢复至所述增益初始值A(0)的过程中,如果所述P(n+m)大于所述第一预设能量阈值,则令所述当前的增益值A(n+m)再按照所述衰减速度进行衰减;
其中,所述衰减速度是通过对所述P(n+m)和所述第一预设能量阈值之差进行对数运算处理后与第一预设时间的比值得到,所述增长速度是通过对所述P(n+m)和所述第一预设能量阈值之差进行对数运算后与第二预设时间的比值得到的;通过调整第一预设时间和第二预设时间的长度调整衰减速度和增长速度的大小。
B13、如权利要求B9所述的装置,其特征在于,前馈降噪处理单元,具体用于如果所述P(n)小于第二预设能量阈值,则控制当前的前馈降噪系数置0;如果所述P(n)大于第三预设能量阈值,则控制当前的前馈降噪系数保持不变;如果所述P(n)位于所述第二预设能量阈值和所述第三预设能量阈值之间,则控制当前的前馈降噪系数减少一降噪系数预设值;其中,所述第二预设能量阈值小于所述第三预设能量阈值。
B14、根据权利要求B8所述的装置,其特征在于,所述装置还包括:
反馈降噪处理单元,用于根据所述采集单元获取的环境声音信号的频谱信息,按照预设时间间隔确定当前场景模式,获取与所述当前场景模式对应的反馈降噪系数,根据所述反馈降噪系数对反馈麦克风采集的环境声音信号进行反馈降噪处理,输出反馈降噪处理后的信号。
本发明又公开了C15、一种耳机,所述耳机包括前馈麦克风、反馈麦克风和扬声器,其特征在于,所述耳机包括存储器和处理器,所述存储器存储有能够被所述处理器执行的计算机程序,所述计算机程序被所述处理器执行时能够实现权利要求A1-A7任意一项所述的方法步骤。

Claims (10)

1.一种降噪处理方法,其特征在于,所述方法包括:
利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;
根据所述环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;并根据所述环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;
将所述指定频率的声音信号随同前馈降噪处理后的信号一起输出。
2.如权利要求1所述的方法,其特征在于,在获取所述环境声音信号的幅度信息之后,所述方法还包括:
根据所述环境声音信号的幅度信息,获取每个采样时刻的所述环境声音信号的能量信息,其中所述环境声音信号对应当前第n个采样时刻的能量信息为P(n),对应第n-1个采样时刻的能量信息为P(n-1)。
3.如权利要求2所述的方法,其特征在于,在提取所述环境声音信号中的指定频率的声音信号之后,在将所述指定频率的声音信号随同前馈降噪处理后的信号一起输出之前,所述方法还包括:
根据所述环境声音信号的幅度信息,对所述指定频率的声音信号进行增益处理;
将增益处理后的所述指定频率的声音信号的幅度值调节至预设幅度范围内。
4.如权利要求3所述的方法,其特征在于,对所述指定频率的声音信号进行增益处理包括:
如果所述P(n)不大于第一预设能量阈值,则将当前的增益值A(n)调整为增益初始值A(0);
如果所述P(n)大于所述第一预设能量阈值,且所述P(n)/P(n-1)大于第一能量比例阈值,或者,所述P(n)/P(n-1)小于第二能量比例阈值,则将当前的增益值A(n)调整为增益初始值A(0)减少一增益值;
如果所述P(n)大于所述第一预设能量阈值,且所述P(n)/P(n-1)位于所述第一能量比例阈值与所述第二能量比例阈值之间,则调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少所述增益值得到的增益之间;
其中,所述增益值是通过对所述P(n)和所述第一预设能量阈值之差进行对数运算得到的。
5.如权利要求4所述的方法,其特征在于,所述调整当前的增益值A(n)在增益初始值A(0)与增益初始值A(0)减少所述增益值得到的增益之间包括:
从当前采样时刻开始,将当前的增益值A(n)调整为从增益的初始值A(0)按照一衰减速度进行衰减,在衰减过程中,如果所述环境声音信号对应第n+m个采样时刻的能量信息P(n+m)小于所述第一预设能量阈值,则令当前的增益值A(n+m)按照一增长速度向所述增益初始值A(0)恢复;并且在所述当前的增益值A(n+m)按照所述增长速度恢复至所述增益初始值A(0)的过程中,如果所述P(n+m)大于所述第一预设能量阈值,则令所述当前的增益值A(n+m)再按照所述衰减速度进行衰减;
其中,所述衰减速度是通过对所述P(n+m)和所述第一预设能量阈值之差进行对数运算处理后与第一预设时间的比值得到,所述增长速度是通过对所述P(n+m)和所述第一预设能量阈值之差进行对数运算后与第二预设时间的比值得到的;通过调整第一预设时间和第二预设时间的长度调整衰减速度和增长速度的大小。
6.如权利要求2所述的方法,其特征在于,对所述环境声音信号进行前馈降噪处理包括:
如果所述P(n)小于第二预设能量阈值,则控制当前的前馈降噪系数置0;
如果所述P(n)大于第三预设能量阈值,则控制当前的前馈降噪系数保持不变;
如果所述P(n)位于所述第二预设能量阈值和所述第三预设能量阈值之间,则控制当前的前馈降噪系数减少一降噪系数预设值;
其中,所述第二预设能量阈值小于所述第三预设能量阈值。
7.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
根据所述环境声音信号的频谱信息,按照预设时间间隔确定当前场景模式;
获取与所述当前场景模式对应的反馈降噪系数;
根据所述反馈降噪系数对反馈麦克风采集的环境声音信号进行反馈降噪处理,输出反馈降噪处理后的信号。
8.一种降噪处理装置,其特征在于,所述装置包括:
采集单元,用于利用前馈麦克风采集环境声音信号,获取所述环境声音信号的幅度信息和频谱信息;
前馈降噪处理单元,用于根据所述采集单元获取的环境声音信号的幅度信息,对所述环境声音信号进行前馈降噪处理;
提取单元,用于根据所述采集单元获取的环境声音信号的频谱信息,提取所述环境声音信号中的指定频率的声音信号;
输出单元,用于将所述提取单元提取出的所述指定频率的声音信号随同所述前馈降噪处理单元进行前馈降噪处理后的信号一起输出。
9.如权利要求8所述的装置,其特征在于,所述装置还包括增益处理单元和幅度处理单元,
所述增益处理单元,用于根据所述采集单元获取的环境声音信号的幅度信息,对所述提取单元提取出的所述指定频率的声音信号进行增益处理;
所述幅度处理单元,用于将所述增益处理单元进行增益处理后的所述指定频率的声音信号的幅度值调节至预设幅度范围内,发送给所述输出单元。
10.一种耳机,所述耳机包括前馈麦克风、反馈麦克风和扬声器,其特征在于,所述耳机包括存储器和处理器,所述存储器存储有能够被所述处理器执行的计算机程序,所述计算机程序被所述处理器执行时能够实现权利要求1-7任意一项所述的方法步骤。
CN201810421059.6A 2018-05-04 2018-05-04 一种降噪处理方法、装置和耳机 Active CN108847208B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810421059.6A CN108847208B (zh) 2018-05-04 2018-05-04 一种降噪处理方法、装置和耳机
PCT/CN2018/100366 WO2019210605A1 (zh) 2018-05-04 2018-08-14 一种降噪处理方法、装置和耳机
US15/733,648 US11328705B2 (en) 2018-05-04 2018-08-14 Noise-reduction processing method and device, and earphones

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810421059.6A CN108847208B (zh) 2018-05-04 2018-05-04 一种降噪处理方法、装置和耳机

Publications (2)

Publication Number Publication Date
CN108847208A true CN108847208A (zh) 2018-11-20
CN108847208B CN108847208B (zh) 2020-11-27

Family

ID=64212818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810421059.6A Active CN108847208B (zh) 2018-05-04 2018-05-04 一种降噪处理方法、装置和耳机

Country Status (3)

Country Link
US (1) US11328705B2 (zh)
CN (1) CN108847208B (zh)
WO (1) WO2019210605A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110753285A (zh) * 2019-10-24 2020-02-04 歌尔股份有限公司 降噪耳机的声音信号处理方法、装置、设备及存储介质
CN110996205A (zh) * 2019-11-28 2020-04-10 歌尔股份有限公司 耳机的控制方法、耳机及可读存储介质
CN111372155A (zh) * 2018-12-25 2020-07-03 北京三希电子科技有限公司 一种战术耳机控制方法及战术耳机
CN111710345A (zh) * 2020-07-15 2020-09-25 长沙联远电子科技有限公司 一种可动态调整功耗的语音降噪系统
CN111833896A (zh) * 2020-07-24 2020-10-27 北京声加科技有限公司 融合反馈信号的语音增强方法、系统、装置和存储介质
CN112365898A (zh) * 2020-11-10 2021-02-12 广州小鹏汽车科技有限公司 一种车辆控制方法和装置
CN112397081A (zh) * 2020-11-09 2021-02-23 南京大学 一种新型前反馈混合降噪装置和方法
CN113038315A (zh) * 2019-12-25 2021-06-25 荣耀终端有限公司 一种语音信号处理方法及装置
CN113132880A (zh) * 2021-04-16 2021-07-16 深圳木芯科技有限公司 基于双麦克风架构的冲击噪声抑制方法和系统
CN113257217A (zh) * 2021-04-27 2021-08-13 歌尔股份有限公司 一种自适应主动降噪方法、系统及主动降噪耳机
CN113301469A (zh) * 2021-05-13 2021-08-24 深圳市美恩微电子有限公司 一种高立体声的降噪蓝牙耳机
CN114176623A (zh) * 2021-12-21 2022-03-15 深圳大学 声音降噪方法、系统、降噪设备及计算机可读存储介质
CN115050384A (zh) * 2022-05-10 2022-09-13 广东职业技术学院 一种户外直播中背景音降噪方法、设备和系统
WO2022262432A1 (zh) * 2021-06-18 2022-12-22 荣耀终端有限公司 降噪方法及降噪装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170799B2 (en) * 2019-02-13 2021-11-09 Harman International Industries, Incorporated Nonlinear noise reduction system
CN111724762B (zh) * 2020-06-15 2023-04-18 中科上声(苏州)电子有限公司 一种用于车辆的降噪方法及装置
WO2022140927A1 (zh) * 2020-12-28 2022-07-07 深圳市韶音科技有限公司 音频降噪的方法和系统
CN112887856B (zh) * 2021-01-25 2023-03-24 湖南普奇水环境研究院有限公司 一种用于降低噪音的声音处理方法及系统
CN112804612B (zh) * 2021-03-25 2022-06-21 潍坊歌尔电子有限公司 耳机控制方法、装置、耳机以及计算机可读存储介质
CN113132848B (zh) * 2021-04-13 2024-08-09 北京安声科技有限公司 滤波器设计方法、装置以及入耳式主动降噪耳机
CN113490089B (zh) * 2021-06-02 2022-07-29 安克创新科技股份有限公司 降噪控制方法、电子设备及计算机可读存储装置
CN114157957B (zh) * 2021-12-15 2024-04-30 歌尔科技有限公司 耳机主动降噪方法、装置、电子设备和可读存储介质
CN114866899B (zh) * 2022-05-05 2024-10-15 重庆物奇微电子有限公司 耳机降噪方法、耳机设备及计算机可读取存储介质
CN115580806B (zh) * 2022-11-25 2023-03-10 杭州兆华电子股份有限公司 基于滤波器的权重自动计算的耳机降噪方法及降噪耳机
CN115988380B (zh) * 2023-03-21 2023-06-20 东莞市云仕电子有限公司 一种具有促进睡眠功能的儿童无线耳机及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717120A (zh) * 2004-06-15 2006-01-04 伯斯有限公司 降噪头戴耳机
CN101026362A (zh) * 2006-02-18 2007-08-29 鸿富锦精密工业(深圳)有限公司 保护听力的系统、方法及声音输出装置
CN101267189A (zh) * 2008-04-16 2008-09-17 深圳华为通信技术有限公司 音量自动调节装置、方法以及移动终端
CN101800520A (zh) * 2010-02-25 2010-08-11 青岛海信移动通信技术股份有限公司 自动增益控制的实现方法及实现系统
CN102300140A (zh) * 2011-08-10 2011-12-28 歌尔声学股份有限公司 一种通信耳机的语音增强方法、装置及降噪通信耳机
CN102356426A (zh) * 2009-03-20 2012-02-15 伯斯有限公司 主动降噪自适应滤波
JP2014222324A (ja) * 2013-05-14 2014-11-27 株式会社Ihi 騒音低減装置及び騒音低減方法
CN104581519A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 降噪耳机及其降噪方法
CN104602163A (zh) * 2014-12-31 2015-05-06 歌尔声学股份有限公司 主动降噪耳机及应用于该耳机的降噪控制方法和系统
CN104616662A (zh) * 2015-01-27 2015-05-13 中国科学院理化技术研究所 主动降噪方法及装置
CN105723458A (zh) * 2013-09-12 2016-06-29 沙特阿拉伯石油公司 用于滤除噪声和还原声信号遭到衰减的高频分量的动态阈值方法、系统、计算机可读介质和程序代码
CN106231491A (zh) * 2016-08-01 2016-12-14 深圳市福智软件技术有限公司 一种消除拔出掉电pop声的方法
CN106910492A (zh) * 2017-04-01 2017-06-30 广州日滨科技发展有限公司 一种电梯轿厢的噪声主动控制方法和装置
CN107517415A (zh) * 2016-06-16 2017-12-26 峰范(北京)科技有限公司 智能耳机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404160B (zh) * 2008-11-21 2011-05-04 北京科技大学 一种基于音频识别的语音降噪方法
US8798283B2 (en) * 2012-11-02 2014-08-05 Bose Corporation Providing ambient naturalness in ANR headphones
CN106340303B (zh) * 2016-09-20 2019-07-16 南京朗逸锐科电子科技有限公司 一种基于时间频率域的语音降噪方法
CN107945815B (zh) 2017-11-27 2021-09-07 歌尔科技有限公司 语音信号降噪方法及设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717120A (zh) * 2004-06-15 2006-01-04 伯斯有限公司 降噪头戴耳机
CN101026362A (zh) * 2006-02-18 2007-08-29 鸿富锦精密工业(深圳)有限公司 保护听力的系统、方法及声音输出装置
CN101267189A (zh) * 2008-04-16 2008-09-17 深圳华为通信技术有限公司 音量自动调节装置、方法以及移动终端
CN102356426A (zh) * 2009-03-20 2012-02-15 伯斯有限公司 主动降噪自适应滤波
CN101800520A (zh) * 2010-02-25 2010-08-11 青岛海信移动通信技术股份有限公司 自动增益控制的实现方法及实现系统
CN102300140A (zh) * 2011-08-10 2011-12-28 歌尔声学股份有限公司 一种通信耳机的语音增强方法、装置及降噪通信耳机
JP2014222324A (ja) * 2013-05-14 2014-11-27 株式会社Ihi 騒音低減装置及び騒音低減方法
CN105723458A (zh) * 2013-09-12 2016-06-29 沙特阿拉伯石油公司 用于滤除噪声和还原声信号遭到衰减的高频分量的动态阈值方法、系统、计算机可读介质和程序代码
CN104581519A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 降噪耳机及其降噪方法
CN104602163A (zh) * 2014-12-31 2015-05-06 歌尔声学股份有限公司 主动降噪耳机及应用于该耳机的降噪控制方法和系统
US20180122359A1 (en) * 2014-12-31 2018-05-03 Goertek Inc. Active noise-reduction earphones and noise-reduction control method and system for the same
CN104616662A (zh) * 2015-01-27 2015-05-13 中国科学院理化技术研究所 主动降噪方法及装置
CN107517415A (zh) * 2016-06-16 2017-12-26 峰范(北京)科技有限公司 智能耳机
CN106231491A (zh) * 2016-08-01 2016-12-14 深圳市福智软件技术有限公司 一种消除拔出掉电pop声的方法
CN106910492A (zh) * 2017-04-01 2017-06-30 广州日滨科技发展有限公司 一种电梯轿厢的噪声主动控制方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
路静玲: "基于DSP的有源降噪耳机性能分析", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372155A (zh) * 2018-12-25 2020-07-03 北京三希电子科技有限公司 一种战术耳机控制方法及战术耳机
CN110753285A (zh) * 2019-10-24 2020-02-04 歌尔股份有限公司 降噪耳机的声音信号处理方法、装置、设备及存储介质
CN110996205A (zh) * 2019-11-28 2020-04-10 歌尔股份有限公司 耳机的控制方法、耳机及可读存储介质
CN113038315A (zh) * 2019-12-25 2021-06-25 荣耀终端有限公司 一种语音信号处理方法及装置
WO2021129196A1 (zh) * 2019-12-25 2021-07-01 荣耀终端有限公司 一种语音信号处理方法及装置
CN111710345A (zh) * 2020-07-15 2020-09-25 长沙联远电子科技有限公司 一种可动态调整功耗的语音降噪系统
CN111833896A (zh) * 2020-07-24 2020-10-27 北京声加科技有限公司 融合反馈信号的语音增强方法、系统、装置和存储介质
CN111833896B (zh) * 2020-07-24 2023-08-01 北京声加科技有限公司 融合反馈信号的语音增强方法、系统、装置和存储介质
CN112397081A (zh) * 2020-11-09 2021-02-23 南京大学 一种新型前反馈混合降噪装置和方法
CN112365898A (zh) * 2020-11-10 2021-02-12 广州小鹏汽车科技有限公司 一种车辆控制方法和装置
CN113132880A (zh) * 2021-04-16 2021-07-16 深圳木芯科技有限公司 基于双麦克风架构的冲击噪声抑制方法和系统
CN113132880B (zh) * 2021-04-16 2022-10-04 深圳木芯科技有限公司 基于双麦克风架构的冲击噪声抑制方法和系统
CN113257217A (zh) * 2021-04-27 2021-08-13 歌尔股份有限公司 一种自适应主动降噪方法、系统及主动降噪耳机
CN113301469A (zh) * 2021-05-13 2021-08-24 深圳市美恩微电子有限公司 一种高立体声的降噪蓝牙耳机
WO2022262432A1 (zh) * 2021-06-18 2022-12-22 荣耀终端有限公司 降噪方法及降噪装置
CN114176623A (zh) * 2021-12-21 2022-03-15 深圳大学 声音降噪方法、系统、降噪设备及计算机可读存储介质
CN114176623B (zh) * 2021-12-21 2023-09-12 深圳大学 声音降噪方法、系统、降噪设备及计算机可读存储介质
CN115050384A (zh) * 2022-05-10 2022-09-13 广东职业技术学院 一种户外直播中背景音降噪方法、设备和系统

Also Published As

Publication number Publication date
US11328705B2 (en) 2022-05-10
US20210104219A1 (en) 2021-04-08
CN108847208B (zh) 2020-11-27
WO2019210605A1 (zh) 2019-11-07

Similar Documents

Publication Publication Date Title
CN108847208A (zh) 一种降噪处理方法、装置和耳机
EP3635714B1 (en) Spectral optimization of audio masking waveforms
CN102293013B (zh) 用于耳机的耳内声检测的设备和方法
US20020071583A1 (en) Digital hearing device, method and system
US7983425B2 (en) Method and system for acoustic shock detection and application of said method in hearing devices
WO2015058484A1 (zh) 降噪耳机及其降噪方法
US10204637B2 (en) Noise reduction methodology for wearable devices employing multitude of sensors
KR20190065602A (ko) 블루투스 회로와 디지털 신호 처리를 이용한 디지털 히어링 디바이스
CN106792354A (zh) 一种可穿戴设备的播放模式控制方法及可穿戴设备
CN115348507A (zh) 脉冲噪声抑制方法、系统、可读存储介质及计算机设备
EP2027750B1 (en) Method and system for acoustic shock detection and application of said method in hearing devices
CN109688503A (zh) 心理感知状态检测系统及方法
US11128946B2 (en) Hearing device with acoustic shock control and method for acoustic shock control in a hearing device
CN106796782A (zh) 信息处理装置、信息处理方法以及计算机程序
CN110650412A (zh) 去燥处理方法、装置、终端及存储介质
CN102144257A (zh) 用于瞬时峰值电平管理和语音清晰度提高的方法
CN109862458A (zh) 心理感知状态检测系统及方法
Halawani et al. Speech enhancement techniques for hearing impaired people: Digital signal processing based approach
US11804221B2 (en) Audio device and method of audio processing with improved talker discrimination
US20230165722A1 (en) Audio device output energy control method for protecting hearing
CN113257217B (zh) 一种自适应主动降噪方法、系统及主动降噪耳机
CN109963230A (zh) 一种声音采集方法和装置
EP4198976A1 (en) Wind noise suppression system
CN116419111A (zh) 耳机的控制方法、参数生成方法、装置、存储介质及耳机
Choy et al. Subband-based acoustic shock limiting algorithm on a low-resource DSP system.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant