CN112581974A - 波束设计方法、装置、设备及存储介质 - Google Patents

波束设计方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112581974A
CN112581974A CN202011382173.6A CN202011382173A CN112581974A CN 112581974 A CN112581974 A CN 112581974A CN 202011382173 A CN202011382173 A CN 202011382173A CN 112581974 A CN112581974 A CN 112581974A
Authority
CN
China
Prior art keywords
pressure level
microphone array
sound pressure
target
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011382173.6A
Other languages
English (en)
Other versions
CN112581974B (zh
Inventor
赵湘
付中华
王海坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202011382173.6A priority Critical patent/CN112581974B/zh
Publication of CN112581974A publication Critical patent/CN112581974A/zh
Application granted granted Critical
Publication of CN112581974B publication Critical patent/CN112581974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了一种波束设计方法、装置、设备及存储介质,本申请获取待进行波束设计的目标麦克风阵列的本底噪声的声压级,基于目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,其中目标信号为用户期望通过目标麦克风阵列所采集的信号,至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化目标麦克风阵列的指向性为目标,得到设计的波束系数。本申请将麦克风阵列的本底噪声水平作为波束设计的约束条件,使得设计的波束在指向性和白噪声增益间达到很好的平衡,最终形成的波束在限制白噪声增益不低于白噪声增益下限值的情况下,得到最大化的波束指向性。

Description

波束设计方法、装置、设备及存储介质
技术领域
本申请涉及阵列信号处理技术领域,更具体的说,是涉及一种波束设计方法、装置、设备及存储介质。
背景技术
随着语音通信和人机交互技术的发展,远场拾音的需求日益迫切,麦克风阵列技术作为实现高质量远场拾音的一项重要手段也越来越受到相关研究人员的重视。麦克风阵列技术主要涉及波束形成算法和麦克风阵列硬件设备,两者相互依赖,组成麦克风阵列系统。
本底噪声是麦克风系统在排除外界环境干扰的情况下自身产生的系统热噪声,属于系统的固有属性。作为麦克风阵列硬件设备的一项重要指标,不仅反映了系统硬件部分的性能,同时也会影响波束形成算法的处理效果。
波束形成算法本质上是通过一组滤波器对各个麦克风信号进行滤波,使目标方向的声波同相叠加,非目标方向的声波反相抵消,达到消除噪声和干扰、增强目标信号的目的。通常波束会对目标方向某一范围以内的声波进行增强,为了让增强范围更加集中(即提高波束的指向性),更多的抑制非目标方向的噪声和干扰,往往需要对麦克风信号的某些频率进行放大,这同时不可避免地会放大麦克风阵列的本底噪声(即通常所指的白噪声增益),因此指向性和白噪声增益是波束形成算法中的一对矛盾。
现有的波束设计方法,如经典的超指向波束(Superdirective Beamformer,SD),其波束目标是使得指向性最大化,最终设计的波束的指向性虽然很好,但是它的白噪声增益却很小,这就导致麦克风阵列的本底噪声将会被放大到很高的水平,甚至会超过目标信号的声压级,导致设计的波束实际使用效果很差。
发明内容
鉴于上述问题,提出了本申请以便提供一种波束设计方法、装置、设备及存储介质,以保证设计的波束对阵列的本底噪声的增益维持在一个可接受程度,提高设计的波束的实际使用效果。具体方案如下:
一种波束设计方法,包括:
获取待进行波束设计的目标麦克风阵列的本底噪声的声压级;
基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,所述目标信号为用户期望通过所述目标麦克风阵列所采集的信号;
至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数。
优选地,所述基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,包括:
按照所述目标麦克风阵列的本底噪声的声压级与白噪声增益下限值呈正相关关系,以及所述目标信号的声压级与白噪声增益下限值呈负相关关系,确定波束的白噪声增益下限值。
优选地,最大化所述目标麦克风阵列的指向性的过程,包括:
确定波束对目标方向信号的输出功率,以及波束对各个方向的平均输出功率;
以所述波束对目标方向信号的输出功率,与所述波束对各个方向的平均输出功率的比值,作为所述目标麦克风阵列的指向性评价函数;
以最大化所述指向性评价函数为目标,对所述指向性评价函数进行优化。
优选地,所述确定波束对目标方向信号的输出功率,以及波束对各个方向的平均输出功率,包括:
基于所述目标麦克风阵列的阵型,确定导向矢量d及理想扩散场噪声相干矩阵Γ;
基于所述导向矢量d及波束系数,确定波束对目标方向信号的输出功率;
基于所述理想扩散场噪声相干矩阵Γ及波束系数,确定波束对各个方向的平均输出功率。
优选地,所述波束设计的约束条件还包括:
波束对目标方向信号的输出功率等于设定输出功率阈值。
优选地,所述获取待进行波束设计的目标麦克风阵列的本底噪声的声压级,包括:
获取所述目标麦克风阵列的声压级-数字能量增益Δ;
获取测试环境下,所述目标麦克风阵列对所述扬声器以不同音量播放的测试白噪声信号的测试录音信号,以及所述声级计对不同音量的测试白噪声信号所测量的声压级;
基于每一所述测试录音信号,及所述目标麦克风阵列的声压级-数字能量增益Δ,确定每一测试录音信号的总数字能量;
结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,计算所述目标麦克风阵列的全频带本底噪声的声压级。
优选地,所述获取所述目标麦克风阵列的声压级-数字能量增益Δ,包括:
获取测试环境下,所述目标麦克风阵列对扬声器播放的参考信号的参考录音信号,以及所述目标麦克风阵列位置处设置的声级计对所述参考信号测量的声压级;
基于所述参考录音信号,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ。
优选地,所述基于所述参考录音信号,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ,包括:
基于所述参考录音信号,确定所述参考录音信号的数字能量;
基于所述参考录音信号的数字能量,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ。
优选地,所述结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,计算所述目标麦克风阵列的全频带本底噪声的声压级,包括:
基于第一恒等关系和第二恒等关系,结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,建立线性方程组;
所述第一恒等关系为,环境本底噪声的声压级、所述扬声器播放的测试白噪声信号的声压级及所述目标麦克风阵列的全频带本底噪声的声压级之和,等于目标麦克风阵列对扬声器播放的测试白噪声信号的测试录音信号的总数字能量;
所述第二恒等关系为,环境本底噪声的声压级、所述扬声器播放的测试白噪声信号的声压级及所述声级计的本底噪声的声压级之和,等于声级计对扬声器播放测试白噪声信号所测量的声压级;
求解所述线性方程组,得到所述目标麦克风阵列的全频带本底噪声的声压级、所述环境本底噪声的声压级、所述声级计的本底噪声的声压级及所述扬声器播放的测试白噪声信号的声压级。
优选地,还包括:
获取在消声室测量环境下,所述目标麦克风阵列在无任何干扰噪声的情况下直接录音得到的静音数据;
对所述静音数据进行频谱分析,并结合所述目标麦克风阵列的全频带本底噪声的声压级,得到所述目标麦克风阵列在各频带上的本底噪声的声压级。
一种波束设计装置,包括:
麦克风阵列底噪获取单元,用于获取待进行波束设计的目标麦克风阵列的本底噪声的声压级;
白噪声增益下限确定单元,用于基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,所述目标信号为用户期望通过所述目标麦克风阵列所采集的信号;
波束系数计算单元,用于至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数。
一种波束设计设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如上所述的波束设计方法的各个步骤。
一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的波束设计方法的各个步骤。
借由上述技术方案,本申请获取待进行波束设计的目标麦克风阵列的本底噪声的声压级,进而基于目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,其中目标信号为用户期望通过目标麦克风阵列所采集的信号,在此基础上,至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化目标麦克风阵列的指向性为目标,得到设计的波束系数。由此可见,本申请方案从根本上将麦克风阵列的本底噪声水平作为波束设计的约束条件,从而使得设计的波束在指向性和白噪声增益间达到很好的平衡,最终形成的波束在限制白噪声增益不低于白噪声增益下限值的情况下,得到最大化的波束指向性,提升了波束的实际使用效果。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例提供的波束设计方法的一流程示意图;
图2示例了本申请设计的波束与超指向波束的指向性指示对比示意图;
图3示例了本申请设计的波束与超指向波束的白噪声增益对比示意图;
图4示例了一种本申请设计波束的波束图;
图5示例了一种超指向波束的波束图;
图6为本申请实施例公开的一种波束设计装置结构示意图;
图7为本申请实施例提供的波束设计设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请方案要解决的问题,就是将麦克风阵列硬件的本底噪声作为波束设计的约束条件,在限制本底噪声被放大的情况下得到最好的波束指向性。为此,同时提出了一种麦克风底噪测量的方法,作为波束设计的辅助手段。
本方案的实施过程主要可以分为两部分:首先获取待进行波束设计的目标麦克风阵列的本底噪声的声压级;然后根据目标麦克风阵列的本底噪声的声压级设置波束约束条件,进行波束设计。本申请方案可以得到目标麦克风阵列上实际可用的最大指向波束。
本申请方案可以基于具备数据处理能力的终端实现,该终端可以是手机、电脑、服务器、云端等。
接下来,结合图1所述,本申请的波束设计方法可以包括如下步骤:
步骤S100、获取待进行波束设计的目标麦克风阵列的本底噪声的声压级。
具体的,可以通过对目标麦克风阵列的本底噪声进行测量,以获得其本底噪声的声压级。对于目标麦克风阵列本底噪声的测量过程,可以参照下文详细介绍。
步骤S110、基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值。
其中,所述目标信号为用户期望通过所述目标麦克风阵列所采集的信号以会议场景为例,用户期望通过目标麦克风阵列采集会议主讲人的说话声音,则可以将主讲人的说话声音信号作为目标信号。
一般性的,常见声源的声压级都是已知的,可以通过查询现有资料获取。此外,若目标信号非常见声源,则可以通过其它方式获取目标信号的声压级,如通过测量或其它方式。
可以理解的是,目标信号为有用的信号,而目标麦克风阵列的本底噪声为需要抑制的噪声信号。本步骤中,基于目标麦克风阵列的本底噪声的声压级及目标信号的声压级,确定设计的波束的白噪声增益下限值。
其中,白噪声增益是指波束对不相干白噪声的抑制增益,白噪声增益越大对不相干白噪声的抑制越好。本步骤中通过确定波束的白噪声增益下限值,保证设计的波束对白噪声的增益不会低于该白噪声增益下限值。
一种可选的的实施方式下,可以按照目标麦克风阵列的本底噪声的声压级与白噪声增益下限值呈正相关关系,以及目标信号的声压级与白噪声增益下限值呈负相关关系,确定波束的白噪声增益下限值。
示例如,将白噪声增益下限值设置为:
σthr=σsd
其中,σthr表示波束的白噪声增益下限值,σs表示目标麦克风阵列的本底噪声的声压级,σd表示目标信号的声压级。
步骤S120、至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数。
具体的,本步骤在设计波束时,将波束的白噪声增益不小于白噪声增益下限值作为约束条件,在此基础上,以最大化目标麦克风阵列的指向性为目标,得到设计的波束系数。
本申请实施例提供的波束设计方法,获取待进行波束设计的目标麦克风阵列的本底噪声的声压级,进而基于目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,其中目标信号为用户期望通过目标麦克风阵列所采集的信号,在此基础上,至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化目标麦克风阵列的指向性为目标,得到设计的波束系数。由此可见,本申请方案从根本上将麦克风阵列的本底噪声水平作为波束设计的约束条件,从而使得设计的波束在指向性和白噪声增益间达到很好的平衡,最终形成的波束在限制白噪声增益不低于白噪声增益下限值的情况下,得到最大化的波束指向性,提升了波束的实际使用效果。
在本申请的一些实施例中,对上述步骤S100,获取待进行波束设计的目标麦克风阵列的本底噪声的声压级的过程进行介绍。
本实施例中介绍了一种目标麦克风阵列的本底噪声的声压级的计算方式,详细步骤可以包括:
S1、获取所述目标麦克风阵列的声压级-数字能量增益Δ。
具体的,声压级-数字能量增益Δ属于目标麦克风阵列的一个固有属性,本步骤中可以通过多种方式获取该增益Δ。
示例如,可以通过测量的方式来获取声压级-数字能量增益Δ:
本申请可以选择一处相对安静,环境声音平稳无突变的场所作为测量地点,如会议室等。在测量地点设置扬声器播放参考信号ref(如1KHz的正弦信号)。调整扬声器音量使得目标麦克风阵列所在位置处的声级计读数达到设定声压级h。并使用目标麦克风阵列进行录音,得到参考信号ref的录音信号作为参考录音信号sref
需要说明的是,由于麦克风阵列存在线性工作区,即太大的音量可能导致麦克风阵列截幅,太小的音量可能低于麦克风阵列的灵敏度,导致无法录制声音。因此,上述跳转扬声器音量使得声级计读数所达到的声压级h可以选择麦克风阵列线性工作区中一个合适的数值,示例如94dBSPL或其它数值。
基于此,本实施例中可以获取测试环境下,目标麦克风阵列对扬声器播放的参考信号ref的参考录音信号sref,以及目标麦克风阵列位置处设置的声级计对参考信号ref测量的声压级h。
进一步,基于所述参考录音信号sref,以及所述声级计对所述参考信号测量的声压级h,确定目标麦克风阵列的声压级-数字能量增益Δ。
具体的,首先可以基于参考录音信号sref,确定参考录音信号sref的数字能量δref
δref=E{[sref(n)-E(sref(n))]2} (1)
其中,E表示求数学期望。
其次,基于参考录音信号的数字能量δref,以及声级计对所述参考信号测量的声压级h,确定目标麦克风阵列的声压级-数字能量增益Δ:
ΔdB=h-10*log10(δref) (2)
Figure BDA0002808787170000091
S2、获取测试环境下,所述目标麦克风阵列对所述扬声器以不同音量播放的测试白噪声信号的测试录音信号,以及所述声级计对不同音量的测试白噪声信号所测量的声压级。
具体的,在上述的测试环境下,保持扬声器、目标麦克风阵列及声级计的位置不变。再次用扬声器播放测试白噪声x,并用目标麦克风阵列进行录音。调整扬声器不同大小的播放音量,并保存目标麦克风阵列对不同音量播放的测试白噪声信号的录音信号,作为测试录音信号si。同时用声级计记录对不同音量的测试白噪声信号所测量的声压级,记为
Figure BDA0002808787170000092
i表示第i次录音。
S3、基于每一所述测试录音信号,及所述目标麦克风阵列的声压级-数字能量增益Δ,确定每一测试录音信号的总数字能量。
具体的,针对每一次测试录音信号si,可以确定其信号数字能量
Figure BDA0002808787170000093
Figure BDA0002808787170000094
在此基础上,将测试录音信号si的信号数字能量
Figure BDA0002808787170000095
与声压级-数字能量增益Δ相乘,结果作为测试录音信号si的总数字能量:
Figure BDA0002808787170000096
S4、结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,计算所述目标麦克风阵列的全频带本底噪声的声压级。
具体的,定义测量环境本底噪声的声压级为σr,扬声器播放的测量信号的声压级为
Figure BDA0002808787170000101
声级计的本底噪声的声压级为σm,目标麦克风阵列的全频带本底噪声的声压级为σs
则存在以下两个恒等关系:
第一恒等关系:
环境本底噪声的声压级σr、扬声器播放的测试白噪声信号的声压级
Figure BDA0002808787170000102
及目标麦克风阵列的全频带本底噪声的声压级σs之和,等于目标麦克风阵列对扬声器播放的测试白噪声信号的测试录音信号的总数字能量
Figure BDA0002808787170000103
第二恒等关系:
环境本底噪声的声压级σr、扬声器播放的测试白噪声信号的声压级
Figure BDA0002808787170000104
及声级计的本底噪声的声压级σm之和,等于声级计对扬声器播放测试白噪声信号所测量的声压级
Figure BDA0002808787170000105
基于上述第一恒等关系和第二恒等关系,结合每一测试录音信号的总数字能量
Figure BDA0002808787170000106
及声级计对各不同音量的测试白噪声信号所测量的声压级
Figure BDA0002808787170000107
可以建立线性方程组。
Figure BDA0002808787170000108
进一步,求解上述线性方程组,可以得到目标麦克风阵列的全频带本底噪声的声压级σs、所述环境本底噪声的声压级σr、所述声级计的本底噪声的声压级σm及所述扬声器播放的测试白噪声信号的声压级
Figure BDA0002808787170000109
上述线性方程组(5)中,麦克风阵列的本底噪声的声压级计算过程考虑了环境的本底噪声、声级计的本底噪等多种因素的影响,因此可以在常见的安静环境中进行,不必要求在消声室中进行测量,因此对测量条件要求相对宽松,方便实施。
需要说明的是,在实施本方案时需要注意:麦克风阵列的本底噪声测量过程考虑了测量环境的本底噪声的影响,测量工作可以在非消声室中完成,但是测量环境的本底噪声应较为平稳。如果条件不允许,可根据信号的时域能量曲线,删掉参考录音信号sref和测试录音信号si中能量不平稳的部分后再进行后续计算。
此外,上述实施例中计算得到的是目标麦克风阵列的全频带本底噪声的声压级,也即并未对各个频带的本底噪声进行区分。在上述基础上,如果测试条件允许的话,可以在消声室测量环境下,由目标麦克风阵列在无任何干扰噪声的情况下直接录音得到静音数据。
进一步可以对该静音数据进行频谱分析,并结合前述计算得到的目标麦克风阵列的全频带本底噪声的声压级σs,得到目标麦克风阵列在各频带上的本底噪声的声压级σs(ω)。其中,ω表示频率。
在此基础上,可以将白噪声增益下限值设置为:
σthr(ω)=σs(ω)-σd (6)
其中,σthr(ω)表示波束在各频带上的白噪声增益下限值。
在本申请的一些实施例中,对上述步骤S120,至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数的过程进行介绍。
其中,目标为最大化目标麦克风阵列的指向性。为此,本实施例中设计了目标麦克风阵列的指向性评价函数L(ω)。
具体的,首先确定波束对目标方向信号的输出功率,以及波束对各个方向的平均输出功率。进一步的,以所述波束对目标方向信号的输出功率,与所述波束对各个方向的平均输出功率的比值,作为目标麦克风阵列的指向性评价函数L(ω)。
其中,波束对目标方向信号的输出功率,以及对各个方向的平均输出功率的确定过程可以包括:
S1、基于目标麦克风阵列的阵型,确定导向矢量d(ω,θ0)及理想扩散场噪声相干矩阵Γ。
其中,导向矢量d(ω,θ0)是描述麦克风阵列中各个麦克风之间的延迟关系。理想扩散场噪声相干矩阵Γ是描述麦克风阵列中每个麦克风接收到的环境中扩散噪声之间的相关程度。
S2、基于所述导向矢量d(ω,θ0)及波束系数w,确定波束对目标方向信号的输出功率。
波束对目标方向信号的输出功率公式表示为:|wH(ω)d(ω,θ0)|2
S3、基于所述理想扩散场噪声相干矩阵Γ及波束系数,确定波束对各个方向的平均输出功率。
波束对各个方向的平均输出功率公式表示为:|wH(ω)Γw(ω)|2
在此基础上,目标麦克风阵列的指向性评价函数L(ω)可以表示为:
Figure BDA0002808787170000121
最大化目标麦克风阵列的指向性的过程,即对上述公式(7)进行凸优化计算:
Maximize:
Figure BDA0002808787170000122
当然,在最大化目标麦克风阵列的指向性时,需要满足波束的白噪声增益不小于白噪声增益下限值这一约束条件,也即满足如下约束条件:
Figure BDA0002808787170000123
当然,上述白噪声增益下限值是以基于目标麦克风阵列的全频带本底噪声的声压级所确定的白噪声增益下限值σthr为例。参考前述实施例的介绍,若测试环境允许的情况下,能够获取到目标麦克风阵列在各频带上的本底噪声的声压级,则可以基于目标麦克风阵列在各频带上的本底噪声的声压级,确定波束在各频带上的白噪声增益下限值σthr(ω)。在此基础上,上述公式(8)可以使用下述公式(9)来代替:
Figure BDA0002808787170000124
在上述实施例的基础上,本申请还可以进一步对波束设计的约束条件进行扩充,也即在满足上述公式(8)或(9)的基础上,设置约束条件进一步包括如下公式(10):
wH(ω)d(ω,θ0)=C (10)
其中C为设定常数。
当C取值为1时,表示需要约束波束对目标方向的输出功率恒等于1,也即保持目标方向声音信号不衰减。
结合图2-图5,分析本申请设计的波束相比于现有超指向波束的改进:
本申请方案通过增加白噪声增益的约束条件,使得波束的白噪声增益更好。
图3示例了本申请设计的波束与超指向波束的白噪声增益对比示意图。由图3可知,本申请设计的波束,白噪声增益从超指向波束的-90dB提高到-20dB以内。白噪声增益得到了显著的提升。
图2示例了本申请设计的波束与超指向波束的指向性指示对比示意图。由图2可知,对于指向性指数,本申请设计的波束相比于超指向波束有所下降,但是下降数值不大。
进一步,对比图4和图5,其中图4为本申请设计波束的波束图,图5为超指向波束的波束图。通过对比图4和图5可见,二者的波束图相差不大,也即本申请设计的波束与超指向波束的指向性差别不大。
由此可见,本申请方案涉及的波束,在保证白噪声增益在可接受范围内的同时,尽可能的提高了麦克风阵列的指向性。
下面对本申请实施例提供的波束设计装置进行描述,下文描述的波束设计装置与上文描述的波束设计方法可相互对应参照。
参见图6,图6为本申请实施例公开的一种波束设计装置结构示意图。
如图6所示,该装置可以包括:
麦克风阵列底噪获取单元11,用于获取待进行波束设计的目标麦克风阵列的本底噪声的声压级;
白噪声增益下限确定单元12,用于基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,所述目标信号为用户期望通过所述目标麦克风阵列所采集的信号;
波束系数计算单元13,用于至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数。
可选的,上述白噪声增益下限确定单元基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值的过程,可以包括:
按照所述目标麦克风阵列的本底噪声的声压级与白噪声增益下限值呈正相关关系,以及所述目标信号的声压级与白噪声增益下限值呈负相关关系,确定波束的白噪声增益下限值。
可选的,上述波束系数计算单元最大化所述目标麦克风阵列的指向性的过程,可以包括:
确定波束对目标方向信号的输出功率,以及波束对各个方向的平均输出功率;
以所述波束对目标方向信号的输出功率,与所述波束对各个方向的平均输出功率的比值,作为所述目标麦克风阵列的指向性评价函数;
以最大化所述指向性评价函数为目标,对所述指向性评价函数进行优化。
可选的,上述波束系数计算单元确定波束对目标方向信号的输出功率,以及波束对各个方向的平均输出功率的过程,可以包括:
基于所述目标麦克风阵列的阵型,确定导向矢量d及理想扩散场噪声相干矩阵Γ;
基于所述导向矢量d及波束系数,确定波束对目标方向信号的输出功率;
基于所述理想扩散场噪声相干矩阵Γ及波束系数,确定波束对各个方向的平均输出功率。
可选的,上述波束系数计算单元是使用的约束条件还可以包括:
波束对目标方向信号的输出功率等于设定输出功率阈值。
可选的,上述麦克风阵列底噪获取单元获取待进行波束设计的目标麦克风阵列的本底噪声的声压级的过程,可以包括:
获取所述目标麦克风阵列的声压级-数字能量增益Δ;
获取测试环境下,所述目标麦克风阵列对所述扬声器以不同音量播放的测试白噪声信号的测试录音信号,以及所述声级计对不同音量的测试白噪声信号所测量的声压级;
基于每一所述测试录音信号,及所述目标麦克风阵列的声压级-数字能量增益Δ,确定每一测试录音信号的总数字能量;
结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,计算所述目标麦克风阵列的全频带本底噪声的声压级。
可选的,上述麦克风阵列底噪获取单元获取所述目标麦克风阵列的声压级-数字能量增益Δ的过程,可以包括:
获取测试环境下,所述目标麦克风阵列对扬声器播放的参考信号的参考录音信号,以及所述目标麦克风阵列位置处设置的声级计对所述参考信号测量的声压级;
基于所述参考录音信号,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ。
可选的,上述麦克风阵列底噪获取单元基于所述参考录音信号,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ的过程,可以包括:
基于所述参考录音信号,确定所述参考录音信号的数字能量;
基于所述参考录音信号的数字能量,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ。
可选的,上述麦克风阵列底噪获取单元结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,计算所述目标麦克风阵列的全频带本底噪声的声压级的过程,可以包括:
基于第一恒等关系和第二恒等关系,结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,建立线性方程组;
所述第一恒等关系为,环境本底噪声的声压级、所述扬声器播放的测试白噪声信号的声压级及所述目标麦克风阵列的全频带本底噪声的声压级之和,等于目标麦克风阵列对扬声器播放的测试白噪声信号的测试录音信号的总数字能量;
所述第二恒等关系为,环境本底噪声的声压级、所述扬声器播放的测试白噪声信号的声压级及所述声级计的本底噪声的声压级之和,等于声级计对扬声器播放测试白噪声信号所测量的声压级;
求解所述线性方程组,得到所述目标麦克风阵列的全频带本底噪声的声压级、所述环境本底噪声的声压级、所述声级计的本底噪声的声压级及所述扬声器播放的测试白噪声信号的声压级。
可选的,上述麦克风阵列底噪获取单元获取待进行波束设计的目标麦克风阵列的本底噪声的声压级的过程,还可以包括:
获取在消声室测量环境下,所述目标麦克风阵列在无任何干扰噪声的情况下直接录音得到的静音数据;
对所述静音数据进行频谱分析,并结合所述目标麦克风阵列的全频带本底噪声的声压级,得到所述目标麦克风阵列在各频带上的本底噪声的声压级。
本申请实施例提供的波束设计装置可应用于波束设计设备,如终端:手机、电脑等。可选的,图7示出了波束设计设备的硬件结构框图,参照图7,波束设计设备的硬件结构可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3和至少一个通信总线4;
在本申请实施例中,处理器1、通信接口2、存储器3、通信总线4的数量为至少一个,且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信;
处理器1可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
获取待进行波束设计的目标麦克风阵列的本底噪声的声压级;
基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,所述目标信号为用户期望通过所述目标麦克风阵列所采集的信号;
至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质,该存储介质可存储有适于处理器执行的程序,所述程序用于:
获取待进行波束设计的目标麦克风阵列的本底噪声的声压级;
基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,所述目标信号为用户期望通过所述目标麦克风阵列所采集的信号;
至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间可以根据需要进行组合,且相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种波束设计方法,其特征在于,包括:
获取待进行波束设计的目标麦克风阵列的本底噪声的声压级;
基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,所述目标信号为用户期望通过所述目标麦克风阵列所采集的信号;
至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,包括:
按照所述目标麦克风阵列的本底噪声的声压级与白噪声增益下限值呈正相关关系,以及所述目标信号的声压级与白噪声增益下限值呈负相关关系,确定波束的白噪声增益下限值。
3.根据权利要求1所述的方法,其特征在于,最大化所述目标麦克风阵列的指向性的过程,包括:
确定波束对目标方向信号的输出功率,以及波束对各个方向的平均输出功率;
以所述波束对目标方向信号的输出功率,与所述波束对各个方向的平均输出功率的比值,作为所述目标麦克风阵列的指向性评价函数;
以最大化所述指向性评价函数为目标,对所述指向性评价函数进行优化。
4.根据权利要求3所述的方法,其特征在于,所述确定波束对目标方向信号的输出功率,以及波束对各个方向的平均输出功率,包括:
基于所述目标麦克风阵列的阵型,确定导向矢量d及理想扩散场噪声相干矩阵Γ;
基于所述导向矢量d及波束系数,确定波束对目标方向信号的输出功率;
基于所述理想扩散场噪声相干矩阵Γ及波束系数,确定波束对各个方向的平均输出功率。
5.根据权利要求1所述的方法,其特征在于,所述波束设计的约束条件还包括:
波束对目标方向信号的输出功率等于设定输出功率阈值。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述获取待进行波束设计的目标麦克风阵列的本底噪声的声压级,包括:
获取所述目标麦克风阵列的声压级-数字能量增益Δ;
获取测试环境下,所述目标麦克风阵列对所述扬声器以不同音量播放的测试白噪声信号的测试录音信号,以及所述声级计对不同音量的测试白噪声信号所测量的声压级;
基于每一所述测试录音信号,及所述目标麦克风阵列的声压级-数字能量增益Δ,确定每一测试录音信号的总数字能量;
结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,计算所述目标麦克风阵列的全频带本底噪声的声压级。
7.根据权利要求6所述的方法,其特征在于,所述获取所述目标麦克风阵列的声压级-数字能量增益Δ,包括:
获取测试环境下,所述目标麦克风阵列对扬声器播放的参考信号的参考录音信号,以及所述目标麦克风阵列位置处设置的声级计对所述参考信号测量的声压级;
基于所述参考录音信号,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ。
8.根据权利要求7所述的方法,其特征在于,所述基于所述参考录音信号,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ,包括:
基于所述参考录音信号,确定所述参考录音信号的数字能量;
基于所述参考录音信号的数字能量,以及所述声级计对所述参考信号测量的声压级,确定所述目标麦克风阵列的声压级-数字能量增益Δ。
9.根据权利要求6所述的方法,其特征在于,所述结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,计算所述目标麦克风阵列的全频带本底噪声的声压级,包括:
基于第一恒等关系和第二恒等关系,结合每一测试录音信号的总数字能量,及所述声级计对各不同音量的测试白噪声信号所测量的声压级,建立线性方程组;
所述第一恒等关系为,环境本底噪声的声压级、所述扬声器播放的测试白噪声信号的声压级及所述目标麦克风阵列的全频带本底噪声的声压级之和,等于目标麦克风阵列对扬声器播放的测试白噪声信号的测试录音信号的总数字能量;
所述第二恒等关系为,环境本底噪声的声压级、所述扬声器播放的测试白噪声信号的声压级及所述声级计的本底噪声的声压级之和,等于声级计对扬声器播放测试白噪声信号所测量的声压级;
求解所述线性方程组,得到所述目标麦克风阵列的全频带本底噪声的声压级、所述环境本底噪声的声压级、所述声级计的本底噪声的声压级及所述扬声器播放的测试白噪声信号的声压级。
10.根据权利要求6所述的方法,其特征在于,还包括:
获取在消声室测量环境下,所述目标麦克风阵列在无任何干扰噪声的情况下直接录音得到的静音数据;
对所述静音数据进行频谱分析,并结合所述目标麦克风阵列的全频带本底噪声的声压级,得到所述目标麦克风阵列在各频带上的本底噪声的声压级。
11.一种波束设计装置,其特征在于,包括:
麦克风阵列底噪获取单元,用于获取待进行波束设计的目标麦克风阵列的本底噪声的声压级;
白噪声增益下限确定单元,用于基于所述目标麦克风阵列的本底噪声的声压级以及目标信号的声压级,确定波束的白噪声增益下限值,所述目标信号为用户期望通过所述目标麦克风阵列所采集的信号;
波束系数计算单元,用于至少以波束的白噪声增益不小于所述白噪声增益下限值作为波束设计的约束条件,以最大化所述目标麦克风阵列的指向性为目标,得到设计的波束系数。
12.一种波束设计设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~10中任一项所述的波束设计方法的各个步骤。
13.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~10中任一项所述的波束设计方法的各个步骤。
CN202011382173.6A 2020-11-30 2020-11-30 波束设计方法、装置、设备及存储介质 Active CN112581974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011382173.6A CN112581974B (zh) 2020-11-30 2020-11-30 波束设计方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011382173.6A CN112581974B (zh) 2020-11-30 2020-11-30 波束设计方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112581974A true CN112581974A (zh) 2021-03-30
CN112581974B CN112581974B (zh) 2023-10-24

Family

ID=75126606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011382173.6A Active CN112581974B (zh) 2020-11-30 2020-11-30 波束设计方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112581974B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118102155A (zh) * 2024-04-23 2024-05-28 深圳市万屏时代科技有限公司 麦克风的增益方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120532A1 (en) * 2002-12-12 2004-06-24 Stephane Dedieu Method of broadband constant directivity beamforming for non linear and non axi-symmetric sensor arrays embedded in an obstacle
US20050195988A1 (en) * 2004-03-02 2005-09-08 Microsoft Corporation System and method for beamforming using a microphone array
CN103852156A (zh) * 2014-03-28 2014-06-11 南京理工大学 一种基于传声器阵列的环境噪声方位分布测量装置
CN104936091A (zh) * 2015-05-14 2015-09-23 科大讯飞股份有限公司 基于圆形麦克风阵列的智能交互方法及系统
US20160037255A1 (en) * 2014-08-04 2016-02-04 Apple Inc. Beamforming in varying sound pressure level
CN105976822A (zh) * 2016-07-12 2016-09-28 西北工业大学 基于参数化超增益波束形成器的音频信号提取方法及装置
US10079026B1 (en) * 2017-08-23 2018-09-18 Cirrus Logic, Inc. Spatially-controlled noise reduction for headsets with variable microphone array orientation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120532A1 (en) * 2002-12-12 2004-06-24 Stephane Dedieu Method of broadband constant directivity beamforming for non linear and non axi-symmetric sensor arrays embedded in an obstacle
US20050195988A1 (en) * 2004-03-02 2005-09-08 Microsoft Corporation System and method for beamforming using a microphone array
CN103852156A (zh) * 2014-03-28 2014-06-11 南京理工大学 一种基于传声器阵列的环境噪声方位分布测量装置
US20160037255A1 (en) * 2014-08-04 2016-02-04 Apple Inc. Beamforming in varying sound pressure level
CN104936091A (zh) * 2015-05-14 2015-09-23 科大讯飞股份有限公司 基于圆形麦克风阵列的智能交互方法及系统
CN105976822A (zh) * 2016-07-12 2016-09-28 西北工业大学 基于参数化超增益波束形成器的音频信号提取方法及装置
US10079026B1 (en) * 2017-08-23 2018-09-18 Cirrus Logic, Inc. Spatially-controlled noise reduction for headsets with variable microphone array orientation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO PAN ET AL.: "Theoretical Analysis of Differential Microphone Array Beamforming and an Improved Solution", IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING ( VOLUME: 23, ISSUE: 11, NOVEMBER 2015) *
潘超等: "面向语音通信与交互的麦克风阵列波束形成方法", 信号处理 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118102155A (zh) * 2024-04-23 2024-05-28 深圳市万屏时代科技有限公司 麦克风的增益方法及系统

Also Published As

Publication number Publication date
CN112581974B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN109313909B (zh) 评估麦克风阵列一致性的方法、设备、装置和系统
CN109845288B (zh) 用于麦克风之间的输出信号均衡的方法和装置
US20200118580A1 (en) Sound processing method and apparatus
CN109831733A (zh) 音频播放性能的测试方法、装置、设备和存储介质
CN109599124A (zh) 一种音频数据处理方法、装置及存储介质
US9106196B2 (en) Sound field spatial stabilizer with echo spectral coherence compensation
US20140337021A1 (en) Systems and methods for noise characteristic dependent speech enhancement
US8503694B2 (en) Sound capture system for devices with two microphones
US10979839B2 (en) Sound pickup device and sound pickup method
US20080187152A1 (en) Apparatus and method for beamforming in consideration of actual noise environment character
CN106157967A (zh) 脉冲噪声抑制
CN111971975B (zh) 主动降噪的方法、系统、电子设备和芯片
US20140321655A1 (en) Sensitivity Calibration Method and Audio Device
US9949034B2 (en) Sound field spatial stabilizer
US20050244015A1 (en) Method and apparatus to evaluate sound quality according to a measuring mode
CN112581974B (zh) 波束设计方法、装置、设备及存储介质
CN110475181B (zh) 设备配置方法、装置、设备和存储介质
US9099973B2 (en) Sound field spatial stabilizer with structured noise compensation
CN113223552B (zh) 语音增强方法、装置、设备、存储介质及程序
CN112735370B (zh) 一种语音信号处理方法、装置、电子设备和存储介质
Leng et al. A new method to design steerable first-order differential beamformers
US9271100B2 (en) Sound field spatial stabilizer with spectral coherence compensation
CN109920442A (zh) 一种麦克风阵列语音增强的方法和系统
Kowalczyk Raking early reflection signals for late reverberation and noise reduction
CN114724576B (zh) 一种啸叫检测中的门限实时更新方法、装置以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant