CN113038338A - 降噪处理方法和装置 - Google Patents

降噪处理方法和装置 Download PDF

Info

Publication number
CN113038338A
CN113038338A CN202110301973.9A CN202110301973A CN113038338A CN 113038338 A CN113038338 A CN 113038338A CN 202110301973 A CN202110301973 A CN 202110301973A CN 113038338 A CN113038338 A CN 113038338A
Authority
CN
China
Prior art keywords
audio
signal
noise
audio signals
acquisition devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110301973.9A
Other languages
English (en)
Inventor
班学历
肖启华
倪艳波
于宙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110301973.9A priority Critical patent/CN113038338A/zh
Publication of CN113038338A publication Critical patent/CN113038338A/zh
Priority to US17/548,609 priority patent/US11961501B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

本申请提供的降噪处理方法和装置,通过获得两个音频采集装置(两个音频采集装置中的一个与有效音源具备特定位置关系)分别采集的不同音频信号,至少根据该两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,并根据确定结果,对两个音频采集装置的至少一个采集的音频信号进行降噪处理,实现了保留所采集音频信号中的有效信号、降低噪音信号,达到了对采集的音频信号进行降噪消噪的效果,从而可有效提升所采集的音频信号的质量,进而能提升语音通信等场景中的语音通信质量。

Description

降噪处理方法和装置
技术领域
本申请属于音频处理技术领域,尤其涉及一种降噪处理方法和装置。
背景技术
在通信双方使用手机、笔记本等电子设备进行语音交流时,若所处环境较为嘈杂,往往会因采集到外围噪音,而影响对方的收听效果,导致语音通信的质量降低。因此,提供一种有效的降噪处理方案以提升所采集音频的质量,相应提升语音通信等场景中的语音通信质量,对于本领域来说非常必要。
发明内容
为此,本申请公开如下技术方案:
一种降噪处理方法,包括:
获得两个音频采集装置分别采集的不同音频信号;所述两个音频采集装置中的一个与有效音源具备特定位置关系;
至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果;
根据所述确定结果,对所述两个音频采集装置的至少一个采集的音频信号进行降噪处理,以保留所述有效信号,降低所述噪音信号。
可选的,所述两个音频采集装置中的一个为电子设备的内置音频采集装置,另一个为有效音源所在的主体对象佩戴的音频采集装置。
可选的,所述至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果,包括:
从所述两个音频采集装置分别采集的不同音频信号中,确定出每一音源对应的一组音频信号;每组音频信号包括相对应的一个音源分别在所述两个音频采集装置产生的不同音频信号;
确定各组音频信号中,两个音频采集装置采集的音频信号之间振幅变化最大的目标组音频信号;
其中,所述目标组音频信号为有效音源对应的有效信号,目标组音频信号除外的其他组音频信号为噪音源对应的噪音信号。
可选的,所述至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果,包括:
获取有效音源与所述两个音频采集装置的相对位置信息;
根据所述相对位置信息,确定有效音源与所述两个音频采集装置的距离比;
根据所述距离比,确定所述两个音频采集装置分别采集的有效音源的有效信号之间应存在的振幅变化特征;
从所述两个音频采集装置分别采集的不同音频信号中,确定出每一音源对应的一组音频信号;每组音频信号包括相对应的一个音源分别在所述两个音频采集装置产生的不同音频信号;
确定各组音频信号中,两个音频采集装置采集的音频信号之间的振幅变化满足所述振幅变化特征的目标组音频信号;
其中,所述目标组音频信号为有效音源对应的有效信号,目标组音频信号除外的其他组音频信号为噪音源对应的噪音信号。
可选的,所述根据所述确定结果,对所述两个音频采集装置的至少一个采集的音频信号进行降噪处理,包括:
对所述两个音频采集装置分别采集的不同音频信号进行时间对齐处理;
对时间对齐处理后的第二音频信号的波形进行反相处理,得到反相波形形式的第二音频信号;
对所述反相波形形式的第二音频信号与第一音频信号进行波形叠加处理,得到目标音频信号;
其中,所述第一音频信号、所述第二音频信号为所述两个音频采集装置分别采集的不同音频信号,所述第一音频信号中有效信号的振幅高于所述第二音频信号中有效信号的振幅。
可选的,上述方法在对所述两个音频采集装置的至少一个采集的音频信号进行降噪处理之后,还包括:
对降噪处理后得到的目标音频信号进行放大处理。
可选的,上述方法,在所述对降噪处理后得到的目标音频信号进行放大处理之前,还包括:
对所述目标音频信号进行噪音过滤处理;
和/或,对所述目标音频信号进行整形处理。
可选的,所述对所述目标音频信号进行噪音过滤处理,包括:
确定所述目标音频信号中是否存在振幅低于预定门限值的信号部分;
若存在,将所述目标音频信号中振幅低于预定门限值的信号部分滤除。
可选的,所述对所述目标音频信号进行整形处理,包括:
确定所述目标音频信号中是否存在波形满足异常条件的信号部分;
若存在,对所述目标音频信号中波形满足异常条件的信号部分进行整形处理。
一种降噪处理装置,包括:
获取模块,用于获得两个音频采集装置分别采集的不同音频信号;所述两个音频采集装置中的一个与有效音源具备特定位置关系;
确定模块,用于至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果;
降噪模块,用于根据所述确定结果,对所述两个音频采集装置分别采集的不同音频信号进行降噪处理,以保留所述有效信号,降低所述噪音信号。
由以上方案可知,本申请提供的降噪处理方法和装置,通过获得两个音频采集装置(两个音频采集装置中的一个与有效音源具备特定位置关系)分别采集的不同音频信号,至少根据该两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,并根据确定结果,对两个音频采集装置的至少一个采集的音频信号进行降噪处理,实现了保留所采集音频信号中的有效信号、降低噪音信号,达到了对采集的音频信号进行降噪消噪的效果,从而可有效提升所采集的音频信号的质量,进而能提升语音通信等场景中的语音通信质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的降噪处理方法的一种流程示意图;
图2是本申请实施例提供的所公开方法的一应用场景示意图;
图3(a)-图3(b)是本申请实施例提供的两个音频采集装置分别采集的音频信号的波形图;
图4是本申请实施例提供的降噪处理方法的另一种流程示意图;
图5是本申请实施例提供的对图3(b)的音频信号波形进行反相处理后的波形图;
图6是本申请实施例提供的降噪处理后所得的目标音频信号的波形图;
图7是本申请实施例提供的降噪处理方法的又一种流程示意图;
图8是本申请实施例提供的降噪处理方法的再一种流程示意图;
图9是本申请实施例提供的降噪处理方法的再一种流程示意图;
图10是本申请实施例提供的降噪处理装置的一种结构示意图;
图11是本申请实施例提供的降噪处理装置的另一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请公开一种降噪处理方法和装置,用于通过对采集的音频信号进行降噪消噪,提升音频信号的质量。该方法或装置可以应用于电子设备中,应本申请方法或装置的电子设备可以是但不限于智能手机、平板电脑、笔记本、一体机、具有数据处理功能的会议设备等各种智能终端或计算机设备。
参见图1,为本申请实施例提供的降噪处理方法的一流程示意图,本实施例中,该降噪处理方法包括以下处理步骤:
步骤101、获得两个音频采集装置分别采集的不同音频信号;所述两个音频采集装置中的一个与有效音源具备特定位置关系。
其中,音频采集装置可以是但不限于电子设备的内置mic、外接耳机的mic,或设置于相应位置的录音笔等录音设备。
两个音频采集装置中的一个与有效音源具备特定位置关系,可选的,可以是指以下的任意一种:
1)两个音频采集装置中的一个与有效音源的相对位置固定,能随有效音源的移动而同步移动;
例如,该一个音频采集装置为利用手机/笔记本进行语音通信的说话人佩戴的耳机上的mic或佩戴的手环/智能手表上的mic,或者,会议场景中主讲人佩戴的mic等。
2)两个音频采集装置中的一个与有效音源之间的距离小于设定阈值;
例如,该一个音频采集装置为会议场景中固定于主讲人周围预定距离范围内的录音笔等。
本步骤101中,获得两个音频采集装置分别采集的不同音频信号,具体为获得同一时间两个音频采集装置分别采集的不同音频信号,其中,在存在噪音源的情况下,两个音频采集装置采集的音频信号为既包括有效音源的有效信号又包括噪音源的噪音信号的混合音频信号。
步骤102、至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果。
本申请实施例实现降噪效果的前提是,需要基于两个音频采集装置进行音频信号采集,且,两个音频采集装置中的一个与有效音源具备上述任一种特定位置关系,该特征位置关系使得该一个音频采集装置具备相对靠近有效音源的特点,而另一个音频采集装置则相对远离有效音源。为便于描述,将相对靠近有效音源的音频采集装置称为第一音频采集装置,相对远离有效音源的音频采集装置称为第二音频采集装置。
进一步,优选的,本申请实施例中,有效音源与第二音频采集装置间的距离D2远远大于有效音源与第一音频采集装置间的距离D1,即:
D2/D1>>1。
现举例说明:
比如,针对基于手机/笔记本的语音通信场景,两个音频采集装置中的第一音频采集装置可以为用户所佩戴耳机上的mic,第二音频采集装置则可以为手机/笔记本等电子设备的内置mic,具体参见图2所示,该场景中,有效音源(user1嘴部)与设备内置mic的距离值相比于与外接耳机上mic的距离值远大于1;
再比如,针对会议场景,两个音频采集装置中的第一音频采集装置可以为主讲人佩戴的mic,或固定设置于主讲人附近预定距离范围内的录音设备,第二音频采集装置则可以为相对远离主讲人而设置的录音设备,主讲人与相对远离设置的录音设备的距离值相比于与所佩戴mic(或近距离设置的录音设备)的距离值远大于1。
实际应用中,只要两个音频采集装置与有效音源具备上述的位置关系即可,而不必限定两个音频采集装置的具体实现形式,例如,在基于手机/笔记本的语音通信场景中,两个音频采集装置还可以均为笔记本等电子设备的外接mic,其中一个mic为说话人佩戴的mic,另一个mic相对远离说话人等。
并且,相对地,本申请实施例中,噪音源与两个音频采集装置之间的距离较为接近,也即,噪音源到第二音频采集装置间的距离D4与噪音源到第一音频采集装置间的距离D3的比趋近于1:
D4/D3→1。
容易理解,该位置关系(D4/D3→1)与实际应用场景中噪音源与两个音频采集装置之间的实际位置关系是高度吻合的,具体可参见图2中示出的噪音源(user2的嘴部)与user1佩戴的耳机mic和user1的笔记本内置mic之间的位置关系。
基于有效音源、噪音源与两个音频采集装置之间的上述位置关系(D2/D1>>1、D4/D3→1),在两个音频采集装置分别采集的音频信号的信号波形中,有效音源的信号部分(有效信号)在两个音频采集装置分别对应的信号波形在幅度(即振幅,表示音量/声音响度)上将产生较大变化,与此相对,噪音源的信号部分(噪音信号)在两个音频采集装置分别对应的信号波形的幅度差异则较小,具体可参见图3(a)-(b)中,两个mic的音频信号中语音信号(有效信号)波形之间的幅度差异,以及噪音信号波形之间的幅度差异。
鉴于此,本步骤102具体基于有效音源的信号部分、噪音源的信号部分分别在两个音频采集装置产生的波形的振幅变化方面的鲜明差异,确定对应于有效音源的有效信号和对应于噪音源的噪音信号。
步骤103、根据所述确定结果,对所述两个音频采集装置的至少一个采集的音频信号进行降噪处理,以保留所述有效信号,降低所述噪音信号。
之后,进一步根据确定出的对应于有效音源的有效信号和对应于噪音源的噪音信号,对两个音频采集装置的至少一个采集的音频信号进行降噪处理,例如,以第二音频采集装置采集的音频信号作为参考信号,对第一音频采集装置采集的音频信号进行降噪处理等,以保留其中的有效信号、降低噪音信号。
由以上方案可知,本实施例提供的降噪处理方法,通过获得两个音频采集装置(两个音频采集装置中的一个与有效音源具备特定位置关系)分别采集的不同音频信号,至少根据该两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,并根据确定结果,对两个音频采集装置的至少一个采集的音频信号进行降噪处理,实现了保留所采集音频信号中的有效信号、降低噪音信号,达到了对采集的音频信号进行降噪消噪的效果,从而可有效提升所采集的音频信号的质量,进而能提升语音通信等场景中的语音通信质量。
以下进一步对本申请的降噪处理方法的实现过程进行详细说明,参见图4,在一可选实施例中,本申请的降噪处理方法具体可实现为:
步骤401、获得两个音频采集装置分别采集的不同音频信号;所述两个音频采集装置中的一个与有效音源具备特定位置关系。
步骤401与上文实施例中的步骤101相同,具体可参见上文对步骤101的说明,不再详述。
步骤402、从所述两个音频采集装置分别采集的不同音频信号中,确定出每一音源对应的一组音频信号。
在存在噪音源的情况下,可确定出有效音源对应的一组音频信号,以及确定出至少一个噪音源分别对应的至少一组音频信号,其中,每组音频信号包括相对应的一个音源分别在上述两个音频采集装置产生的不同音频信号。。
同一音源能够在不同音频采集装置产生具有较高相似度的波形特征的音频信号,具体可参见图3(a)-(b)所示,两个mic分别采集的音频信号中语音信号的波形基本一致,且两个mic分别采集的音频信号中噪音信号的波形基本一致。
鉴于此,实施中,具体可通过对两个音频采集装置分别采集的音频信号进行信号波形的比对、匹配处理,而将两个音频采集装置分别采集的音频信号中波形特征满足相似条件的两个音频信号确定为对应于同一音源的一组音频信号。
可选的,上述相似条件可设定为两个音频信号的信号波形的匹配程度达到设定的阈值。
步骤403、确定各组音频信号中,两个音频采集装置采集的音频信号之间振幅变化最大的目标组音频信号;其中,所述目标组音频信号为有效音源对应的有效信号,目标组音频信号除外的其他组音频信号为噪音源对应的噪音信号。
基于上文所述的D2/D1>>1以及D4/D3→1这一位置关系,有效音源的信号部分(有效信号)在两个音频采集装置分别对应的信号波形在幅度(即振幅,表示音量/声音响度)上将产生较大变化,而噪音源的信号部分在两个音频采集装置分别对应的信号波形的幅度差异则较小,据此,可直接将各组音频信号中两个音频采集装置采集的音频信号之间振幅变化最大的目标组音频信号确定为有效音源对应的有效信号。有效信号之外的其他信号则相应确定为对应于噪音源的噪音信号。
步骤404、对两个音频采集装置分别采集的不同音频信号进行时间对齐处理。
具体对两个音频采集装置分别采集的不同音频信号的时间戳进行对齐。
步骤405、对时间对齐处理后的第二音频信号的波形进行反相处理,得到反相波形形式的第二音频信号。
步骤406、对所述反相波形形式的第二音频信号与第一音频信号进行波形叠加处理,得到目标音频信号。
其中,第一音频信号、第二音频信号为两个音频采集装置分别采集的不同音频信号,第一音频信号中有效信号的振幅高于第二音频信号中有效信号的振幅,例如,针对图2所示的场景,第一音频信号本质为外接耳机上的mic1采集的音频信号,第一音频信号相应为笔记本中内置的mic2采集的音频信号。
步骤405中,对时间对齐后的第二音频信号的波形进行反相处理,至少包括对第二音频信号中的噪音信号进行反相处理,以图3(a)-(b)的音频信号为例,具体可对图3(b)中的整体音频信号(包括有效信号和噪音信号)的信号波形进行反相处理,或者对图3(b)中的噪音信号的信号波形进行反相处理。其中,在对图3(b)中的整体音频信号的信号波形进行反相处理后,可得到如图5所示的音频信号,该音频信号即为反相波形形式的第二音频信号。
之后,可进一步将反相波形形式的第二音频信号与第一音频信号进行波形叠加,得到目标音频信号。例如,在将图3(a)所示的第一音频信号与图5所示反相波形形式的第二音频信号进行波形叠加后,可得到如图6所示的目标音频信号。
该目标音频信号与两个音频采集装置采集的原始音频信号相比,保留了其中的对应于有效音源的有效信号,并至少降低了对应于噪音源的噪音信号,达到了对采集的音频信号进行降噪消噪的效果,从而可有效提升所采集的音频信号的质量,进而能够提升语音通信等场景中的语音通信质量。
参见图7,在另一可选实施例中,本申请的降噪处理方法还可以实现为:
步骤701、获得两个音频采集装置分别采集的不同音频信号;所述两个音频采集装置中的一个与有效音源具备特定位置关系。
步骤701与上文相应实施例中的步骤101相同,具体可参见上文对步骤101的说明,不再详述。
步骤702、获取有效音源与所述两个音频采集装置的相对位置信息。
有效音源与两个音频采集装置的相对位置信息,至少包括有效音源分别到两个音频采集装置的距离。
可选的,实施中,可以但不限于基于图像分析、超声波测距或红外测距等中的任一种方式或任意多种方式的结合,来检测有效音源与两个音频采集装置的相对位置信息。
比如,在用户使用笔记本进行语音通信的场景中,利用笔记本上的摄像头采集用户的包括所佩戴mic的图像信息,进而基于图像分析,确定用户嘴部(有效音源)分别到所佩戴mic以及笔记本内置mic之间的距离;或,利用用户佩戴的手环/手表(基于手环/手表的mic和笔记本内置mic实现降噪,用户讲话时,可将手环/手表置于嘴部附近)向环境中发出超声波/红外线,进而基于接收的反射(如笔记本反射、说话时嘴部反射)信号与发射信号之间的时间差确定手环/手表与用户嘴部的距离以及与笔记本之间的距离,以此得到用户嘴部(有效音源)与手环/手表中mic的距离,并根据用户嘴部(有效音源)与手环/手表中mic的距离和手环/手表与笔记本的距离,预估得到用户嘴部(有效音源)与笔记本mic之间的距离,之后,进一步由手环/手表将检测或预估的距离信息传输给笔记本等电子设备,以供电子设备进行降噪处理时使用。
再比如,在会议场景中,基于会场中固定设置于相应位置的一个或多个摄像头采集主讲人在会场中的图像,进而基于图像分析确定主讲人与两个音频采集装置(如主讲人佩戴的mic,以及固定设置于会场某位置的mic)之间的距离等。
步骤703、根据所述相对位置信息,确定有效音源与所述两个音频采集装置的距离比。
具体可计算有效音源到第二音频采集装置(如笔记本的内置mic)的距离与有效音源到第一音频采集装置(如笔记本用户所佩戴的mic)的距离的第一比值,或,计算有效音源到第一音频采集装置的距离与有效音源到第二音频采集装置的距离的第二比值。
实际应用中,上述距离比(第一比值/第二比值),可以是一不随时间变化而变化的固定数值,例如,在基于手机/笔记本等电子设备进行语音通信的场景中,用户嘴部、所佩戴mic以及设备内置mic之间的位置关系相对固定,该第一比值/第二比值相应为一固定值(或者,即使有变化,其变化也相对较小可忽略不计),此种情况下,为减少信息处理的处理量,可以仅在开始进行降噪处理的时刻,执行一次上述相对位置信息的检测及基于该相对位置信息的距离比计算处理;或者,上述距离比还可以是随时间变化而变化的动态数值,例如,会议场景中,随着主讲人不断移动位置,其嘴部到会场中固定设置于某位置的mic的距离与其嘴部到所佩戴mic的距离的比值会动态变化,此种情况下,为了保证后续有效信号/噪音信号的识别准确度,则需实时检测或以较小的时间间隔周期性持续检测上述相对位置信息并基于该相对位置信息计算上述的距离比,实施中,具体可视所处的场景而定。
步骤704、根据所述距离比,确定所述两个音频采集装置分别采集的有效音源的有效信号之间应存在的振幅变化特征。
以计算的距离比为上述的第一比值为例,第一比值的取值越大,两个音频采集装置分别采集的有效音源的有效信号波形之间的振幅差越大,反之,则越小,鉴于此,可基于计算出的距离比,预估两个音频采集装置分别采集的有效音源的有效信号波形应存在的振幅变化特征,该振幅变化特征具体可以表示为包括预估的一振幅差值,或预估的一振幅差值范围,在此不做限制。
步骤705、从所述两个音频采集装置分别采集的不同音频信号中,确定出每一音源对应的一组音频信号;每组音频信号包括相对应的一个音源分别在所述两个音频采集装置产生的不同音频信号。
步骤705与上文相应实施例中的步骤402相同,具体可参见上文对步骤401的说明,不再详述。
步骤706、确定各组音频信号中,两个音频采集装置采集的音频信号之间的振幅变化满足所述振幅变化特征的目标组音频信号,其中,所述目标组音频信号为有效音源对应的有效信号,目标组音频信号除外的其他组音频信号为噪音源对应的噪音信号。
在预估得到两个音频采集装置分别采集的有效音源的有效信号波形应存在的振幅变化特征的基础上,可进一步以该振幅变化特征为基准,从各组音频信号中确定出实际振幅变化与该振幅变化特征相匹配的一组音频信号(即上述的目标组音频信号),并将该组音频信号作为有效音源对应的有效信号。
其中,可选的,在一种实施方式中,具体可从各组音频信号中,确定出振幅差与预估的振幅差的差值小于设定阈值的一组音频信号作为有效音源对应的有效信号;在另一种实施方式中,还可以从各组音频信号中,确定出振幅差处于预估的振幅差范围的一组音频信号作为有效音源对应的有效信号。
步骤707、对所述两个音频采集装置分别采集的不同音频信号进行时间对齐处理。
步骤708、对时间对齐处理后的第二音频信号的波形进行反相处理,得到反相波形形式的第二音频信号。
步骤709、对所述反相波形形式的第二音频信号与第一音频信号进行波形叠加处理,得到目标音频信号。
步骤707-步骤709与上文相应实施例中的步骤404-步骤406相同,具体可参见上文对步骤404-步骤406的说明,不再详述。
本申请实施例中,通过基于“有效音源到第二音频采集装置的距离与到第一音频采集装置的距离的距离比远远大于1,而噪音源到两个音频采集装置的距离的距离比趋近于1”的这一不同音源与不同音频采集装置之间的位置关系布局,及此基础上的有效信号/噪音信号识别和降噪处理,可以在低成本要求下达到很好的降噪效果,有效提升了所采集的音频信号的质量,相应可提升语音通信等场景中的语音通信质量。
在一可选实施例中,如图8所示,本申请公开的降噪处理方法在步骤103之后,还可以包括以下处理:
步骤801、对降噪处理后得到的目标音频信号进行放大处理。
在基于两个音频采集装置采集的音频信号进行降噪处理,得到目标音频信号后,所得的目标音频信号与第一音频采集装置(靠近有效音源,如说话人佩戴的mic)采集的原始音频信号相比,其有效信号部分的幅度可能有所降低,例如,具体可参见图3(a)和图6的语音信号的振幅的比对情况,这相应会导致目标音频信号(已消除噪音信号或仅包括较微弱的噪音信号)较为微弱,影响音频的收听效果。
为避免上述情况,本实施例继续对降噪处理后得到的目标音频信号进行放大处理,具体地,可采用音频信号放大器将相对微弱的目标音频信号放大为功率或幅度足够大、且与原来信号变化规律一致的信号,即进行不失真的放大处理,以保证有效音源信号的音频效果。
另外,在一可选实施例中,参见图9,本申请公开的降噪处理方法在步骤103与步骤801之间,还可以包括以下处理:
步骤901、对所述目标音频信号进行噪音过滤处理;和/或,对所述目标音频信号进行整形处理。
在进行降噪处理后,所得的目标音频信号中除了包括保留下来的有效音源信号,通常还包括微弱的噪音信号,具体可参见图6所示,降噪处理后所得的目标音频信号中仍余留微弱的噪音信号,为进一步保证降噪后所得的音频信号的音频效果,在通过降噪得到目标信号后,可选地,还可以继续对目标音频信号进行噪音过滤处理。
具体地,可确定目标音频信号中是否存在振幅低于预定门限值的信号部分,若存在,则将目标音频信号中振幅低于预定门限值的信号部分滤除,以此实现对目标音频信号的噪音过滤处理。
另外,在降噪处理过程中,当基于上文所述的信号叠加处理而得到目标音频信号时,有效音源对应的有效信号部分可能会因两个音频采集装置分别对应的两部分信号的叠加而导致整个有效信号的某一部分波形产生异形,针对该情形,在通过降噪得到目标信号后,可选的,还可以对目标音频信号进行整形处理。
其中,具体可确定目标音频信号中是否存在波形满足异常条件的信号部分,若存在,则对目标音频信号中波形满足异常条件的信号部分进行整形处理。
上述的异常条件,可以但不限于设定为:音频信号的波形中存在毛刺和/或突变等异常状况的波形部分(体现在音频效果上,通常会产生轻微摩擦声或尖锐的刺耳声音);相应的,对目标音频信号中波形满足异常条件的信号部分进行整形处理,具体可以是对存在毛刺和/或突变等异常状况的波形部分进行平滑处理。
本实施例通过对降噪处理后得到的目标音频信号进行噪音过滤处理和/或整形处理,可进一步消除目标音频信号中的各种噪音信号(如来自环境中其他说话人的微弱噪音信号,因降噪导致信号波形异形(毛刺/突变)相应产生的噪声等),相应进一步提升了降噪后的音频质量。
对应于上述的降噪处理方法,本申请实施例还公开了一种降噪处理装置,参见图10示出的该降噪处理装置的结构示意图,该降噪处理装置包括:
获取模块1001,用于获得两个音频采集装置分别采集的不同音频信号;所述两个音频采集装置中的一个与有效音源具备特定位置关系;
确定模块1002,用于至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果;
降噪模块1003,用于根据所述确定结果,对所述两个音频采集装置分别采集的不同音频信号进行降噪处理,以保留所述有效信号,降低所述噪音信号。
在本申请实施例的一可选实施方式中,所述两个音频采集装置中的一个为电子设备的内置音频采集装置,另一个为有效音源所在的主体对象佩戴的音频采集装置。
在本申请实施例的一可选实施方式中,确定模块1002,具体用于:
从所述两个音频采集装置分别采集的不同音频信号中,确定出每一音源对应的一组音频信号;每组音频信号包括相对应的一个音源分别在所述两个音频采集装置产生的不同音频信号;
确定各组音频信号中,两个音频采集装置采集的音频信号之间振幅变化最大的目标组音频信号;
其中,所述目标组音频信号为有效音源对应的有效信号,目标组音频信号除外的其他组音频信号为噪音源对应的噪音信号。
在本申请实施例的一可选实施方式中,确定模块1002,具体用于:
获取有效音源与所述两个音频采集装置的相对位置信息;
根据所述相对位置信息,确定有效音源与所述两个音频采集装置的距离比;
根据所述距离比,确定所述两个音频采集装置分别采集的有效音源的有效信号之间应存在的振幅变化特征;
从所述两个音频采集装置分别采集的不同音频信号中,确定出每一音源对应的一组音频信号;每组音频信号包括相对应的一个音源分别在所述两个音频采集装置产生的不同音频信号;
确定各组音频信号中,两个音频采集装置采集的音频信号之间的振幅变化满足所述振幅变化特征的目标组音频信号;
其中,所述目标组音频信号为有效音源对应的有效信号,目标组音频信号除外的其他组音频信号为噪音源对应的噪音信号。
在本申请实施例的一可选实施方式中,降噪模块1003,具体用于:
对所述两个音频采集装置分别采集的不同音频信号进行时间对齐处理;
对时间对齐处理后的第二音频信号的波形进行反相处理,得到反相波形形式的第二音频信号;
对所述反相波形形式的第二音频信号与第一音频信号进行波形叠加处理,得到目标音频信号;
其中,所述第一音频信号、所述第二音频信号为所述两个音频采集装置分别采集的不同音频信号,所述第一音频信号中有效信号的振幅高于所述第二音频信号中有效信号的振幅。
在本申请实施例的一可选实施方式中,参见图11,上述装置还可以包括:
后处理模块1004,用于对降噪处理后得到的目标音频信号进行放大处理。
在本申请实施例的一可选实施方式中,后处理模块1004,还可以用于:
在所述对降噪处理后得到的目标音频信号进行放大处理之前,对所述目标音频信号进行噪音过滤处理,和/或,对所述目标音频信号进行整形处理。
在本申请实施例的一可选实施方式中,后处理模块1004在对所述目标音频信号进行噪音过滤处理时,具体用于:
确定所述目标音频信号中是否存在振幅低于预定门限值的信号部分;
若存在,将所述目标音频信号中振幅低于预定门限值的信号部分滤除。
在本申请实施例的一可选实施方式中,后处理模块1004在对所述目标音频信号进行整形处理时,具体用于:
确定所述目标音频信号中是否存在波形满足异常条件的信号部分;
若存在,对所述目标音频信号中波形满足异常条件的信号部分进行整形处理。
对于本申请实施例公开的降噪处理装置而言,由于其与上文方法实施例公开的降噪处理方法相对应,所以描述的比较简单,相关相似之处请参见上文相应方法实施例的说明即可,此处不再详述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种降噪处理方法,包括:
获得两个音频采集装置分别采集的不同音频信号;所述两个音频采集装置中的一个与有效音源具备特定位置关系;
至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果;
根据所述确定结果,对所述两个音频采集装置的至少一个采集的音频信号进行降噪处理,以保留所述有效信号,降低所述噪音信号。
2.根据权利要求1所述的方法,其中,所述两个音频采集装置中的一个为电子设备的内置音频采集装置,另一个为有效音源所在的主体对象佩戴的音频采集装置。
3.根据权利要求1所述的方法,所述至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果,包括:
从所述两个音频采集装置分别采集的不同音频信号中,确定出每一音源对应的一组音频信号;每组音频信号包括相对应的一个音源分别在所述两个音频采集装置产生的不同音频信号;
确定各组音频信号中,两个音频采集装置采集的音频信号之间振幅变化最大的目标组音频信号;
其中,所述目标组音频信号为有效音源对应的有效信号,目标组音频信号除外的其他组音频信号为噪音源对应的噪音信号。
4.根据权利要求1所述的方法,所述至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果,包括:
获取有效音源与所述两个音频采集装置的相对位置信息;
根据所述相对位置信息,确定有效音源与所述两个音频采集装置的距离比;
根据所述距离比,确定所述两个音频采集装置分别采集的有效音源的有效信号之间应存在的振幅变化特征;
从所述两个音频采集装置分别采集的不同音频信号中,确定出每一音源对应的一组音频信号;每组音频信号包括相对应的一个音源分别在所述两个音频采集装置产生的不同音频信号;
确定各组音频信号中,两个音频采集装置采集的音频信号之间的振幅变化满足所述振幅变化特征的目标组音频信号;
其中,所述目标组音频信号为有效音源对应的有效信号,目标组音频信号除外的其他组音频信号为噪音源对应的噪音信号。
5.根据权利要求1所述的方法,所述根据所述确定结果,对所述两个音频采集装置的至少一个采集的音频信号进行降噪处理,包括:
对所述两个音频采集装置分别采集的不同音频信号进行时间对齐处理;
对时间对齐处理后的第二音频信号的波形进行反相处理,得到反相波形形式的第二音频信号;
对所述反相波形形式的第二音频信号与第一音频信号进行波形叠加处理,得到目标音频信号;
其中,所述第一音频信号、所述第二音频信号为所述两个音频采集装置分别采集的不同音频信号,所述第一音频信号中有效信号的振幅高于所述第二音频信号中有效信号的振幅。
6.根据权利要求1所述的方法,在对所述两个音频采集装置的至少一个采集的音频信号进行降噪处理之后,还包括:
对降噪处理后得到的目标音频信号进行放大处理。
7.根据权利要求6所述的方法,在所述对降噪处理后得到的目标音频信号进行放大处理之前,还包括:
对所述目标音频信号进行噪音过滤处理;
和/或,对所述目标音频信号进行整形处理。
8.根据权利要求7所述的方法,其中,所述对所述目标音频信号进行噪音过滤处理,包括:
确定所述目标音频信号中是否存在振幅低于预定门限值的信号部分;
若存在,将所述目标音频信号中振幅低于预定门限值的信号部分滤除。
9.根据权利要求7所述的方法,其中,所述对所述目标音频信号进行整形处理,包括:
确定所述目标音频信号中是否存在波形满足异常条件的信号部分;
若存在,对所述目标音频信号中波形满足异常条件的信号部分进行整形处理。
10.一种降噪处理装置,包括:
获取模块,用于获得两个音频采集装置分别采集的不同音频信号;所述两个音频采集装置中的一个与有效音源具备特定位置关系;
确定模块,用于至少根据所述两个音频采集装置分别采集的不同音频信号,确定对应于有效音源的有效信号和对应于噪音源的噪音信号,得到确定结果;
降噪模块,用于根据所述确定结果,对所述两个音频采集装置分别采集的不同音频信号进行降噪处理,以保留所述有效信号,降低所述噪音信号。
CN202110301973.9A 2021-03-22 2021-03-22 降噪处理方法和装置 Pending CN113038338A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110301973.9A CN113038338A (zh) 2021-03-22 2021-03-22 降噪处理方法和装置
US17/548,609 US11961501B2 (en) 2021-03-22 2021-12-13 Noise reduction method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110301973.9A CN113038338A (zh) 2021-03-22 2021-03-22 降噪处理方法和装置

Publications (1)

Publication Number Publication Date
CN113038338A true CN113038338A (zh) 2021-06-25

Family

ID=76472409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110301973.9A Pending CN113038338A (zh) 2021-03-22 2021-03-22 降噪处理方法和装置

Country Status (2)

Country Link
US (1) US11961501B2 (zh)
CN (1) CN113038338A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809105A (zh) * 2006-01-13 2006-07-26 北京中星微电子有限公司 适用于小型移动通信设备的双麦克语音增强方法及系统
JP2014137414A (ja) * 2013-01-15 2014-07-28 Fujitsu Ltd 雑音抑圧装置、方法、及びプログラム
CN104376848A (zh) * 2013-08-12 2015-02-25 展讯通信(上海)有限公司 语音信号处理方法和装置
CN106952654A (zh) * 2017-04-24 2017-07-14 北京奇虎科技有限公司 机器人降噪方法、装置及机器人
CN107484080A (zh) * 2016-05-30 2017-12-15 奥迪康有限公司 音频处理装置及用于估计声音信号的信噪比的方法
CN110149573A (zh) * 2019-04-01 2019-08-20 联想(北京)有限公司 一种电子设备
CN110837077A (zh) * 2018-08-16 2020-02-25 杭州海康威视系统技术有限公司 一种声源位置校验方法及装置
CN111182416A (zh) * 2019-12-31 2020-05-19 联想(北京)有限公司 处理方法、装置及电子设备
CN111402915A (zh) * 2020-03-23 2020-07-10 联想(北京)有限公司 信号处理方法、装置及系统
CN111508531A (zh) * 2020-04-23 2020-08-07 维沃移动通信有限公司 音频处理方法及装置
CN112492434A (zh) * 2019-09-11 2021-03-12 奥迪康有限公司 包括降噪系统的听力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020172350A1 (en) * 2001-05-15 2002-11-21 Edwards Brent W. Method for generating a final signal from a near-end signal and a far-end signal
DK2701145T3 (en) * 2012-08-24 2017-01-16 Retune DSP ApS Noise cancellation for use with noise reduction and echo cancellation in personal communication
US9319532B2 (en) * 2013-08-15 2016-04-19 Cisco Technology, Inc. Acoustic echo cancellation for audio system with bring your own devices (BYOD)
US10497353B2 (en) * 2014-11-05 2019-12-03 Voyetra Turtle Beach, Inc. Headset with user configurable noise cancellation vs ambient noise pickup
DE102017209585A1 (de) * 2016-06-08 2017-12-14 Ford Global Technologies, Llc System und verfahren zur selektiven verstärkung eines akustischen signals

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809105A (zh) * 2006-01-13 2006-07-26 北京中星微电子有限公司 适用于小型移动通信设备的双麦克语音增强方法及系统
JP2014137414A (ja) * 2013-01-15 2014-07-28 Fujitsu Ltd 雑音抑圧装置、方法、及びプログラム
CN104376848A (zh) * 2013-08-12 2015-02-25 展讯通信(上海)有限公司 语音信号处理方法和装置
CN107484080A (zh) * 2016-05-30 2017-12-15 奥迪康有限公司 音频处理装置及用于估计声音信号的信噪比的方法
CN106952654A (zh) * 2017-04-24 2017-07-14 北京奇虎科技有限公司 机器人降噪方法、装置及机器人
CN110837077A (zh) * 2018-08-16 2020-02-25 杭州海康威视系统技术有限公司 一种声源位置校验方法及装置
CN110149573A (zh) * 2019-04-01 2019-08-20 联想(北京)有限公司 一种电子设备
CN112492434A (zh) * 2019-09-11 2021-03-12 奥迪康有限公司 包括降噪系统的听力装置
CN111182416A (zh) * 2019-12-31 2020-05-19 联想(北京)有限公司 处理方法、装置及电子设备
CN111402915A (zh) * 2020-03-23 2020-07-10 联想(北京)有限公司 信号处理方法、装置及系统
CN111508531A (zh) * 2020-04-23 2020-08-07 维沃移动通信有限公司 音频处理方法及装置

Also Published As

Publication number Publication date
US11961501B2 (en) 2024-04-16
US20220301533A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
CN110970057B (zh) 一种声音处理方法、装置与设备
WO2020228095A1 (zh) 实时语音唤醒的音频设备、运行方法、装置及存储介质
JP6703525B2 (ja) 音源を強調するための方法及び機器
CN109493877B (zh) 一种助听装置的语音增强方法和装置
US20230352038A1 (en) Voice activation detecting method of earphones, earphones and storage medium
CN109195042B (zh) 低功耗的高效降噪耳机及降噪系统
CN106210219B (zh) 降噪方法及装置
CN106960670B (zh) 一种录音方法和电子设备
EP2426950A2 (en) Noise suppression for sending voice with binaural microphones
JPWO2011158506A1 (ja) 補聴器、信号処理方法及びプログラム
TWI678696B (zh) 語音資訊的接收方法、系統及裝置
US11638092B2 (en) Advanced speech encoding dual microphone configuration (DMC)
CN115482830B (zh) 语音增强方法及相关设备
CN112992169A (zh) 语音信号的采集方法、装置、电子设备以及存储介质
CN111683319A (zh) 一种通话拾音降噪方法及耳机、存储介质
WO2020043037A1 (zh) 语音转录设备、系统、方法、及电子设备
WO2023284402A1 (zh) 音频信号处理方法、系统、装置、电子设备和存储介质
US11776555B2 (en) Audio modification using interconnected electronic devices
WO2017045512A1 (zh) 一种语音识别的方法、装置、终端及语音识别设备
CN117480554A (zh) 语音增强方法及相关设备
CN113038337B (zh) 一种音频播放方法、无线耳机和计算机可读存储介质
CN111182416B (zh) 处理方法、装置及电子设备
CN113038338A (zh) 降噪处理方法和装置
WO2011149969A2 (en) Separating voice from noise using a network of proximity filters
US20220101870A1 (en) Noise filtering and voice isolation device and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination