CN105590631B - 信号处理的方法及装置 - Google Patents

信号处理的方法及装置 Download PDF

Info

Publication number
CN105590631B
CN105590631B CN201410649621.2A CN201410649621A CN105590631B CN 105590631 B CN105590631 B CN 105590631B CN 201410649621 A CN201410649621 A CN 201410649621A CN 105590631 B CN105590631 B CN 105590631B
Authority
CN
China
Prior art keywords
frequency
signal
output
acquiring
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410649621.2A
Other languages
English (en)
Other versions
CN105590631A (zh
Inventor
韩娜
袁浩
黄冬梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410649621.2A priority Critical patent/CN105590631B/zh
Priority to PCT/CN2015/084148 priority patent/WO2016074495A1/zh
Priority to EP15859302.0A priority patent/EP3220158A4/en
Priority to US15/526,812 priority patent/US10181330B2/en
Publication of CN105590631A publication Critical patent/CN105590631A/zh
Application granted granted Critical
Publication of CN105590631B publication Critical patent/CN105590631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/805Systems for determining direction or deviation from predetermined direction using adjustment of real or effective orientation of directivity characteristics of a transducer or transducer system to give a desired condition of signal derived from that transducer or transducer system, e.g. to give a maximum or minimum signal
    • G01S3/8055Systems for determining direction or deviation from predetermined direction using adjustment of real or effective orientation of directivity characteristics of a transducer or transducer system to give a desired condition of signal derived from that transducer or transducer system, e.g. to give a maximum or minimum signal adjusting orientation of a single directivity characteristic to produce maximum or minimum signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20Position of source determined by a plurality of spaced direction-finders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本发明公开了一种信号处理的方法,通过获取至少两个通道声音信号,并获取所述各个通道声音信号对应的频域音频信号;获取每个频点的音频信号对应波束群的波束形成输出信号;获取所述波束群的输出方向;获取所述方向上波束形成后输出的时域声音信号。本发明还公开了一种信号处理的装置,采用基于频域的宽带波束形成算法有效地提高了接收语音的增益,采用自适应选择最佳波束的方式,规避了提供期望信号到达方向等先验信息,减小了算法复杂度,增加了算法的适用范围,所用的频域波束形成算法有利于对信号频谱的精细调整,方便与其它的前后处理算法进行融合,同时,本发明易于实现,计算量小,适用于各种嵌入式平台。

Description

信号处理的方法及装置
技术领域
本发明涉及信号处理领域,尤其涉及一种信号处理的方法及装置。
背景技术
基于麦克风阵列的语音增强方法中应用最普遍的是利用阵列的波束形成特性。根据实现方式不同,现有的波束形成技术可以分为固定波束形成技术(Delay and Sum Beamforming,DSBF)和自适应波束形成技术。Flanagan在1985年提出DSBF方法是一种最简单的固定波束形成方法。它首先将阵列中各个麦克风上接收到的语音信号进行时间补偿,以使各通道的语音同步,然后对各通道信号相加平均。在这种情况下,一旦信号偏离阵列指向,阵列对于不同频率的信号会表现出不同的增益,从而造成宽带信号的处理失真。
与固定波束形成技术相对应的另一类波束形成技术就是自适应的波束形成,其自适应特性表现在滤波系数是随着输入信号统计特性的变化而变化的。Griffth和Jim于1982提出的广义旁瓣抵消器(Generalized Sidelobe Canceller,GSC)是自适应波束形成器的一种通用模型。然而GSC算法中,阻塞矩阵(Block Matrix,BM)的输出往往含有有效的语音成分,这样在滤波结果中会对原始语音造成损伤。
发明内容
本发明提供一种处理信号的方法及装置,主要目的在于解决现有技术中存在的基于麦克风阵列的语音增强时宽带信号的失真问题。
为实现上述目的,本发明提供的一种信号处理的方法,所述方法包括:
获取至少两个通道声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;
根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;
根据同一方向的不同频点的波束能量获取所述波束群的输出方向;
获取所述方向上波束形成后输出的时域声音信号。
优选地,所述根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号,包括:
根据预先设置的多方向的权向量,选取全部或部分通道声音信号对应的频域音频信号,获取每个频点的音频信号对应波束群的波束形成输出信号
优选地,所述根据同一方向的不同频点的波束能量获取所述波束群的输出方向,包括:
对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
优选地,所述对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向,包括:
对同一方向的预先设置的第一频率至第二频率之间的所有频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
优选地,所述多方向的权向量是基于延时累加波束形成算法、线性约束最小方差波束形成算法、广义旁瓣抵消波束形成算法或者最小方差无畸变响应法MVDR得到的。
优选地,所述根据同一方向的不同频点的波束能量获取所述波束群的输出方向之后,还包括:
对所述输出方向上波束形成后输出的各频点的音频信号乘以增益,所述增益为与频域值正比例相关的值。
优选地,所述增益在预先设置的不同频域值范围内,与频域值有不同的正比例关系。
此外,为实现上述目的,本发明还提供一种信号处理的装置,所述装置包括:
短时傅里叶变换STFT单元,用于获取至少两个通道声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;
第一获取单元,用于根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;
第二获取单元,用于根据同一方向的不同频点的波束能量获取所述波束群的输出方向;
逆变换单元,用于获取所述方向上波束形成后输出的时域声音信号。
优选地,所述第一获取单元,用于:
根据预先设置的多方向的权向量,选取全部或部分通道声音信号对应的频域音频信号,获取每个频点的音频信号对应波束群的波束形成输出信号
优选地,所述第二获取单元,用于:
对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
优选地,所述第二获取单元还用于:
对同一方向的预先设置的第一频率至第二频率之间的所有频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
优选地,所述多方向的权向量是基于延时累加波束形成算法、线性约束最小方差波束形成算法、广义旁瓣抵消波束形成算法或者最小方差无畸变响应法MVDR得到的。
优选地,其特征在于,所述装置还包括增益单元,用于对所述输出方向上波束形成后输出的各频点的音频信号乘以增益,所述增益为与频域值正比例相关的值。
优选地,所述增益在预先设置的不同频域值范围内,与频域值有不同的正比例关系。
本发明通过获取至少两个通道声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;根据同一方向的不同频点的波束能量获取所述波束群的输出方向;获取所述方向上波束形成后输出的时域声音信号,本发明采用基于频域的宽带波束形成算法有效地提高了接收语音的增益,采用自适应选择最佳波束的方式,规避了提供期望信号到达方向等先验信息,减小了算法复杂度,增加了算法的适用范围。所用的频域波束形成算法有利于对信号频谱的精细调整,方便与其它的前后处理算法进行融合,同时,本发明易于实现,计算量小,适用于各种嵌入式平台。
附图说明
图1为本发明信号处理的方法第一实施例的流程示意图;
图2为本发明波束形成的方法示意图;
图3为步骤103的细化流程示意图;
图4为本发明提供的一种L型的三维空间麦克风阵列的示意图;
图5为本发明信号处理的方法第二实施例的流程示意图;
图6为本发明信号处理的装置第一实施例的功能模块示意图;
图7为本发明信号处理的装置第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种信号处理的方法。
实施例一:
参照图1,图1为本发明信号处理的方法第一实施例的流程示意图。
在第一实施例中,该信号处理的方法包括:
步骤101,获取至少两个通道声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;
具体的,采集N个麦克风的声音信号(N>=2),对每一个麦克风接收到的时域信号进行短时傅里叶变换(short-time Fourier transform,STFT),得到该麦克风接收信号各频点的数据。
对各个麦克风信号采用相同的分帧方法进行短时傅里叶变换,帧与帧之间部分重叠,重叠的方式可以有多种,本实施例采用1/4帧移的方式进行分帧,当然也可以采用1/2帧移等其他方式;将第n个麦克风帧信号sn(i)乘上窗函数w(i),本实施例使用hamming窗,得到加窗帧信号xn(i);然后,对加窗后的帧信号进行短时傅里叶变换,得到频域的帧数据,即:
Xn(f)=fft(xn(i)) (1)
其中,i=1,…,L,L为帧数据长度,f为频点。
步骤102,根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;
具体的,设计一个波束群,包含M个波束分别指向M个方向:θ1,θ2,…,θM,每个波束都使用麦克风阵列中的所有阵元做波束形成。各个相邻波束的主瓣相交,并且波束群的主瓣覆盖所需的空间范围,这样不管声源从哪个方向过来,都有一个波束的指向与之接近。
根据M个不同方向的权矢量,获得相应的M个波束形成后的频域帧数据。具体方法如下:针对其中的某个特定方向θm,使用M个不同方向的权向量对麦克风阵列中各个麦克风在相同频点f的接收数据进行加权和,得到第m个波束该频点加权合成数据Ym(f)。
Figure BDA0000608140710000051
其中,Wm,n(f)为对第m个波束中第n个麦克风接收的频点f上数据所施加的权值,m=1,…,M,*表示共轭,H表示共轭转置,X和Wm分别为Xn(f)和Wm,n(f)的矢量表示形式。
优选地,所述根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号,包括:
根据预先设置的多方向的权向量,选取全部或部分通道声音信号对应的频域音频信号,获取每个频点的音频信号对应波束群的波束形成输出信号
具体的,由于受到麦克风阵列的拓扑结构的影响,使用麦克风阵列中的部分子阵做波束形成的效果可以非常接近使用全部阵元做波束形成的效果。可以通过较少的运算量获得相同的性能效果。如图2,图2为本发明波束形成的方法示意图。所示的8个指向性麦克风组成的圆型麦克风阵列,本实施例选择与期望信号方向最接近的那个麦克风及其相邻的两个麦克风组成子阵来做波束形成,比如期望信号为45度方向的波束,选择正对45度方向的2号麦克风及其相邻的1、3号麦克风组成子阵来做波束形成。
设计一个波束群,包含8个波束分别指向8个方向:0度、45度、90度、135度、180度、225度、270度、315度。各个相邻波束的主瓣相交,并且所有波束的主瓣叠加覆盖360度范围,这样不管声源从哪个方向过来,都有一个波束的指向与之接近。
步骤103,根据同一方向的不同频点的波束能量获取所述波束群的输出方向;
优选地,所述根据同一方向的不同频点的波束能量获取所述波束群的输出方向,包括:
对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
具体的,图3为步骤103的细化流程示意图。利用步骤102得到的加权合成数据Ym(f),分别计算M个频域帧数据的能量。计算公式如下:
Figure BDA0000608140710000061
其中fs为采样率,然后,选择能量值Em最大的波束,作为最终的波束形成结果。从而实现自适应选择一个与声源方向最接近的波束,获得最佳的音质。
优选地,所述对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向,包括:
对同一方向的预先设置的第一频率至第二频率之间的所有频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
具体的,为了节省计算量和保持选择的准确性,可以根据部分频点的能量和来选择最佳的输出波束。具体实现流程如图3所示。利用步骤102得到的加权合成数据Ym(f),分别计算M个方向对应的频域帧数据的能量和。计算公式如下:
Figure BDA0000608140710000071
其中0<f1<f2<fs/2,例如,当FFT的长度L为256时,f1=fs/8,f2=fs/2。这里计算的就是频点f1到f2的能量和。然后选择能量值E最大的波束,作为最终的波束形成结果。采用以上方式可以避免低频信号失真。
其中,所述多方向的权向量是基于延时累加波束形成算法、线性约束最小方差波束形成算法、广义旁瓣抵消波束形成算法或者最小方差无畸变响应法(Minimum VarianceDistortionless Response,MVDR)得到的。
具体的,本实施例以MVDR波束形成滤波器为例进行详细说明。
MVDR方法就是使输出信号的功率最小来获得对最优波束形成器权矢量的估计。输出信号的功率谱密度为:
ΦYY=WHΦXXW (5)
其中Φxx表示阵列输入信号的功率谱密度矩阵。
在最优化过程中需要保证期望方向上的信号无失真,即
WHd=1 (6)
其中d表示信号传播所引起的衰减和延迟,如下:
Figure BDA0000608140710000072
如果使用远场模型,各阵元接收信号的幅度差异可忽略,衰减因子αn全部设为1,Ω为角频率,τn为空间两个阵元之间时间差:
Figure BDA0000608140710000073
其中,fs为信号的采样率,c为声速340m/s,lx,n为第n个阵元与参考阵元之间的间隔距离在x轴方向的分量,ly,n为y轴方向的分量,lz,n为z轴方向的分量,θ为入射信号在xy平面的投影与x轴的夹角,
Figure BDA0000608140710000085
为入射信号与z轴的夹角。图4为本发明提供的一种L型的三维空间麦克风阵列的示意图。而公式(4)对于任意拓扑结构的麦克风阵列都是适用的。
那么这个波束形成器就转化为求解带约束的优化问题:
Figure BDA0000608140710000081
因为只对最佳的噪声抑制感兴趣,如果期望信号的方向和阵列的指向是完全一致的,那么就只要使用噪声的功率谱密度矩阵,可以得到MVDR滤波器为:
Figure BDA0000608140710000082
其中Φvv为噪声的功率谱密度矩阵。如果该矩阵为相干矩阵即得到超指向性波束形成器,即为步骤102中使用的频域权矢量:
Figure BDA0000608140710000083
Γvv为噪声相干函数矩阵,其中第p行、第q列元素由下式计算:
Figure BDA0000608140710000084
其中lpq为阵元p、q之间的间隔距离。
步骤104,获取所述方向上波束形成后输出的时域声音信号。
具体的,对所有频点f的加权合成帧数据Y(f)作逆短时傅里叶变换,即可得到加权后的时域帧数据y(i),i=1,…,L。然后,对时域帧数据做加窗与叠加处理,得到最终的时域数据。
对逆短时傅里叶变换的结果进行加窗,得到中间结果:
y′(i)=y(i)·w(i),1≤i≤L (13)
由于采用的1/4帧移,需要将4帧的数据进行叠加处理。将上式求得结果所属第j-3、j-2、j-1、j帧的信号相叠加,得到第j帧时域信号zj(i)(长度为L/4):
zj(i)=y'j-3(i+3·L/4)+y'j-2(i+L/2)+y'j-1(i+L/4)+y'j(i),1≤i≤L/4 (14)
本发明实施例通过获取至少通道两个声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;根据同一方向的不同频点的波束能量获取所述波束群的输出方向;获取所述方向上波束形成后输出的时域声音信号,本发明采用基于频域的宽带波束形成算法有效地提高了接收语音的增益,采用自适应选择最佳波束的方式,规避了提供期望信号到达方向等先验信息,减小了算法复杂度,增加了算法的适用范围。所用的频域波束形成算法有利于对信号频谱的精细调整,方便与其它的前后处理算法进行融合,同时,本发明易于实现,计算量小,适用于各种嵌入式平台。
实施例二:
参照图5,图5为本发明信号处理的方法第二实施例的流程示意图。
在第一实施例的基础上,步骤103之后还包括步骤105:
步骤105,对所述输出方向上波束形成后输出的各频点的音频信号乘以增益,所述增益为与频域值正比例相关的值。
具体的,在宽带波束中,还需要考虑波束在频域的一致性问题,尤其各频点的波束主瓣宽度不一致的问题。宽带波束的主瓣在低频部分宽,高频部分窄,如果同时满足公式(9)中的归一化约束条件,即保证期望方向上的信号无失真,将使信号的高频能量衰减较大,引起信号失真。因此,在波束形成以后,本实施例有一个后处理过程。随着频率的增加,将波束的权系数乘上一个逐渐递增的权值因子,如公式(15)所示,补偿高频部分的衰减,从而达到高频提升的目的。
Y(f)=Y(f)×(1+f/fs·β) (15)
优选地,针对不同的频率点作不同的增强或衰减处理,使得主观听觉感受更加舒适。例如,在低频时,波束的主瓣很宽,低频信号基本没有受到衰减,因此可以不用增强。而当频率大于一定值以后,信号开始衰减,随着频率的增加将波束的增益做不同程度的放大,如公式(16)所示。
Figure BDA0000608140710000101
其中,f1=fs/8,f2=fs/4,β1、β2为不同的放大倍数,本实施例中β1=2.8,β2=2。
所述增益在预先设置的不同频域值范围内,与频域值有不同的正比例关系。
步骤104,对增益后的所述输出方向上波束形成后输出的各频点的音频信号进行STFT的逆变换,获取时域声音信号。
采用本发明所述方法,与现有技术相比,基于频域的宽带波束形成算法,有效地提高了接收语音的增益。采用自适应选择最佳波束的方式,规避了提供期望信号到达方向等先验信息,减小了算法复杂度,增加了算法的适用范围。所用的频域波束形成算法有利于对信号频谱的精细调整,方便与其它的前后处理算法进行融合。采用调节频点增益的后处理算法,改善了宽带语音信号处理中的音质下降问题。同时,本发明易于实现,计算量小,适用于各种嵌入式平台。
本发明提供一种信号处理的装置。
实施例一:
参照图6,图6为本发明信号处理的装置第一实施例的功能模块示意图。
在第一实施例中,该装置包括:
采集与时频变换单元601,用于获取至少两个通道声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;
具体的,采集N个麦克风的声音信号(N>=2),对每一个麦克风接收到的时域信号进行短时傅里叶变换(short-time Fourier transform,STFT),得到该麦克风接收信号各频点的数据。
对各个麦克风信号采用相同的分帧方法进行短时傅里叶变换,帧与帧之间部分重叠,重叠的方式可以有多种,本实施例采用1/4帧移的方式进行分帧,当然也可以采用1/2帧移等其他方式;将第n个麦克风帧信号sn(i)乘上窗函数w(i),本实施例使用hamming窗,得到加窗帧信号xn(i);然后,对加窗后的帧信号进行短时傅里叶变换,得到频域的帧数据,即:
Xn(f)=fft(xn(i)) (1)
其中,i=1,…,L,L为帧数据长度,f为频点。
第一获取单元602,用于根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;
具体的,设计一个波束群,包含M个波束分别指向M个方向:θ1,θ2,…,θM,每个波束都使用麦克风阵列中的所有阵元做波束形成。各个相邻波束的主瓣相交,并且波束群的主瓣覆盖所需的空间范围,这样不管声源从哪个方向过来,都有一个波束的指向与之接近。
根据M个不同方向的权矢量,获得相应的M个波束形成后的频域帧数据。具体方法如下:针对其中的某个特定方向θm,使用M个不同方向的权向量对麦克风阵列中各个麦克风在相同频点f的接收数据进行加权和,得到第m个波束该频点加权合成数据Ym(f)。
Figure BDA0000608140710000111
其中,Wm,n(f)为对第m个波束中第n个麦克风接收的频点f上数据所施加的权值,m=1,…,M,*表示共轭,H表示共轭转置,X和Wm分别为Xn(f)和Wm,n(f)的矢量表示形式。
优选地,所述第一获取单元602,用于:
根据预先设置的多方向的权向量,选取全部或部分通道声音信号对应的频域音频信号,获取每个频点的音频信号对应波束群的波束形成输出信号
具体的,由于受到麦克风阵列的拓扑结构的影响,使用麦克风阵列中的部分子阵做波束形成的效果可以非常接近使用全部阵元做波束形成的效果。可以通过较少的运算量获得相同的性能效果。如图2,图2为本发明波束形成的方法示意图。所示的8个指向性麦克风组成的圆型麦克风阵列,本实施例选择与期望信号方向最接近的那个麦克风及其相邻的两个麦克风组成子阵来做波束形成,比如期望信号为45度方向的波束,选择正对45度方向的2号麦克风及其相邻的1、3号麦克风组成子阵来做波束形成。
设计一个波束群,包含8个波束分别指向8个方向:0度、45度、90度、135度、180度、225度、270度、315度。各个相邻波束的主瓣相交,并且所有波束的主瓣叠加覆盖360度范围,这样不管声源从哪个方向过来,都有一个波束的指向与之接近。
第二获取单元603,用于根据同一方向的不同频点的波束能量获取所述波束群的输出方向;
优选地,所述第二获取单元603,用于:
对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
具体的,实现流程如图3所示,利用第一获取单元602得到的加权合成数据Ym(f),分别计算M个频域帧数据的能量。计算公式如下:
Figure BDA0000608140710000131
其中fs为采样率,然后,选择能量值Em最大的波束,作为最终的波束形成结果。从而实现自适应选择一个与声源方向最接近的波束,获得最佳的音质。
优选地,所述第二获取单元603还用于:
对同一方向的预先设置的第一频率至第二频率之间的所有频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
具体的,为了节省计算量和保持选择的准确性,可以根据部分频点的能量和来选择最佳的输出波束。具体实现流程如图3所示。利用所述第一获取单元602到的加权合成数据Ym(f),分别计算M个方向对应的频域帧数据的能量和。计算公式如下:
Figure BDA0000608140710000132
其中0<f1<f2<fs/2,例如,当FFT的长度L为256时,f1=fs/8,f2=fs/2。这里计算的就是频点f1到f2的能量和。然后选择能量值E最大的波束,作为最终的波束形成结果。采用以上方式可以避免低频信号失真。
其中,所述多方向的权向量是基于延时累加波束形成算法、线性约束最小方差波束形成算法、广义旁瓣抵消波束形成算法或者最小方差无畸变响应法MVDR得到的。
具体的,本实施例以MVDR波束形成滤波器为例进行详细说明。
MVDR方法就是使输出信号的功率最小来获得对最优波束形成器权矢量的估计。输出信号的功率谱密度为:
ΦYY=WHΦXXW (5)
其中Φxx表示阵列输入信号的功率谱密度矩阵。
在最优化过程中需要保证期望方向上的信号无失真,即
WHd=1 (6)
其中d表示信号传播所引起的衰减和延迟,如下:
Figure BDA0000608140710000141
如果使用远场模型,各阵元接收信号的幅度差异可忽略,衰减因子αn全部设为1,Ω为角频率,τn为空间两个阵元之间时间差:
Figure BDA0000608140710000142
其中,fs为信号的采样率,c为声速340m/s,lx,n为第n个阵元与参考阵元之间的间隔距离在x轴方向的分量,ly,n为y轴方向的分量,lz,n为z轴方向的分量,θ为入射信号在xy平面的投影与x轴的夹角,
Figure BDA0000608140710000146
为入射信号与z轴的夹角。图4为本发明提供的一种L型的三维空间麦克风阵列的示意图。而公式(4)对于任意拓扑结构的麦克风阵列都是适用的。
那么这个波束形成器就转化为求解带约束的优化问题:
Figure BDA0000608140710000143
因为只对最佳的噪声抑制感兴趣,如果期望信号的方向和阵列的指向是完全一致的,那么就只要使用噪声的功率谱密度矩阵,可以得到MVDR滤波器为:
Figure BDA0000608140710000144
其中Φvv为噪声的功率谱密度矩阵。如果该矩阵为相干矩阵即得到超指向性波束形成器,即为第一获取单元602中使用的频域权矢量:
Figure BDA0000608140710000145
Γvv为噪声相干函数矩阵,其中第p行、第q列元素由下式计算:
Figure BDA0000608140710000151
其中lpq为阵元p、q之间的间隔距离。
逆变换单元604,用于获取所述方向上波束形成后输出的时域声音信号。
具体的,对所有频点f的加权合成帧数据Y(f)作逆短时傅里叶变换,即可得到加权后的时域帧数据y(i),i=1,…,L。然后,对时域帧数据做加窗与叠加处理,得到最终的时域数据。
对逆短时傅里叶变换的结果进行加窗,得到中间结果:
y′(i)=y(i)·w(i),1≤i≤L (13)
由于采用的1/4帧移,需要将4帧的数据进行叠加处理。将上式求得结果所属第j-3、j-2、j-1、j帧的信号相叠加,得到第j帧时域信号zj(i)(长度为L/4):
zj(i)=y'j-3(i+3·L/4)+y'j-2(i+L/2)+y'j-1(i+L/4)+y'j(i),1≤i≤L/4 (14)
本发明实施例通过获取至少两个通道声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;根据预先设置的多方向的权向量和所述各个声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;根据同一方向的不同频点的波束能量获取所述波束群的输出方向;获取所述方向上波束形成后输出的时域声音信号,本发明采用基于频域的宽带波束形成算法有效地提高了接收语音的增益,采用自适应选择最佳波束的方式,规避了提供期望信号到达方向等先验信息,减小了算法复杂度,增加了算法的适用范围。所用的频域波束形成算法有利于对信号频谱的精细调整,方便与其它的前后处理算法进行融合,同时,本发明易于实现,计算量小,适用于各种嵌入式平台。
实施例二:
参照图7,图7为本发明信号处理的装置第二实施例的功能模块示意图。
在第一实施例的基础上,还包括增益单元605;
所述增益单元605,用于对所述输出方向上波束形成后输出的各频点的音频信号乘以增益,所述增益为与频域值正比例相关的值。
具体的,在宽带波束中,还需要考虑波束在频域的一致性问题,尤其各频点的波束主瓣宽度不一致的问题。宽带波束的主瓣在低频部分宽,高频部分窄,如果同时满足公式(9)中的归一化约束条件,即保证期望方向上的信号无失真,将使信号的高频能量衰减较大,引起信号失真。因此,在波束形成以后,本实施例有一个后处理过程。随着频率的增加,将波束的权系数乘上一个逐渐递增的权值因子,如公式(15)所示,补偿高频部分的衰减,从而达到高频提升的目的。
Y(f)=Y(f)×(1+f/fs·β) (15)
优选地,针对不同的频率点作不同的增强或衰减处理,使得主观听觉感受更加舒适。例如,在低频时,波束的主瓣很宽,低频信号基本没有受到衰减,因此可以不用增强。而当频率大于一定值以后,信号开始衰减,随着频率的增加将波束的增益做不同程度的放大,如公式(16)所示。
Figure BDA0000608140710000161
其中,f1=fs/8,f2=fs/4,β1、β2为不同的放大倍数,本实施例中β1=2.8,β2=2。
所述增益在预先设置的不同频域值范围内,与频域值有不同的正比例关系。
采用本发明所述方法,与现有技术相比,基于频域的宽带波束形成算法,有效地提高了接收语音的增益。采用自适应选择最佳波束的方式,规避了提供期望信号到达方向等先验信息,减小了算法复杂度,增加了算法的适用范围。所用的频域波束形成算法有利于对信号频谱的精细调整,方便与其它的前后处理算法进行融合。采用调节频点增益的后处理算法,改善了宽带语音信号处理中的音质下降问题。同时,本发明易于实现,计算量小,适用于各种嵌入式平台。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种信号处理的方法,其特征在于,所述方法包括:
获取至少两个通道声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;
根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;
根据同一方向的不同频点的波束能量获取所述波束群的输出方向;
获取所述方向上波束形成后输出的时域声音信号。
2.根据权利要求1所述的方法,其特征在于,所述根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号,包括:
根据预先设置的多方向的权向量,选取全部或部分通道声音信号对应的频域音频信号,获取每个频点的音频信号对应波束群的波束形成输出信号。
3.根据权利要求1所述的方法,其特征在于,所述根据同一方向的不同频点的波束能量获取所述波束群的输出方向,包括:
对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
4.根据权利要求3所述的方法,其特征在于,所述对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向,包括:
对同一方向的预先设置的第一频率至第二频率之间的所有频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
5.根据权利要求1所述的方法,其特征在于,所述多方向的权向量基于延时累加波束形成算法、线性约束最小方差波束形成算法、广义旁瓣抵消波束形成算法或者最小方差无畸变响应法MVDR而得到的。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述根据同一方向的不同频点的波束能量获取所述波束群的输出方向之后,还包括:
对所述输出方向上波束形成后输出的各频点的音频信号乘以增益,所述增益为与频域值正比例相关的值。
7.根据权利要求6所述的方法,其特征在于,所述增益在预先设置的不同频域值范围内,与频域值有不同的正比例关系。
8.一种信号处理的装置,其特征在于,所述装置包括:
采集与时频变换单元,用于获取至少两个通道声音信号,并对各个通道声音信号进行短时傅里叶变换STFT,获取所述各个通道声音信号对应的频域音频信号;
第一获取单元,用于根据预先设置的多方向的权向量和所述各个通道声音信号对应的频域音频信号获取每个频点的音频信号对应波束群的波束形成输出信号;
第二获取单元,用于根据同一方向的不同频点的波束能量获取所述波束群的输出方向;
逆变换单元,用于获取所述方向上波束形成后输出的时域声音信号。
9.根据权利要求8所述的装置,其特征在于,所述第一获取单元,用于:
根据预先设置的多方向的权向量,选取部分通道声音信号对应的频域音频信号,获取每个频点的音频信号对应波束群的波束形成输出信号。
10.根据权利要求8所述的装置,其特征在于,所述第二获取单元,用于:
对同一方向的不同频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
11.根据权利要求10所述的装置,其特征在于,所述第二获取单元还用于:
对同一方向的预先设置的第一频率至第二频率之间的所有频点的波束能量进行求和,并选取波束能量最大的方向作为输出方向。
12.根据权利要求11所述的装置,其特征在于,所述多方向的权向量是基于延时累加波束形成算法、线性约束最小方差波束形成算法、广义旁瓣抵消波束形成算法或者最小方差无畸变响应法MVDR得到的。
13.根据权利要求8至12任意一项所述的装置,其特征在于,所述装置还包括增益单元,用于对所述输出方向上波束形成后输出的各频点的音频信号乘以增益,所述增益为与频域值正比例相关的值。
14.根据权利要求13所述的装置,其特征在于,所述增益在预先设置的不同频域值范围内,与频域值有不同的正比例关系。
CN201410649621.2A 2014-11-14 2014-11-14 信号处理的方法及装置 Active CN105590631B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410649621.2A CN105590631B (zh) 2014-11-14 2014-11-14 信号处理的方法及装置
PCT/CN2015/084148 WO2016074495A1 (zh) 2014-11-14 2015-07-15 信号处理的方法及装置
EP15859302.0A EP3220158A4 (en) 2014-11-14 2015-07-15 Signal processing method and device
US15/526,812 US10181330B2 (en) 2014-11-14 2015-07-15 Signal processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410649621.2A CN105590631B (zh) 2014-11-14 2014-11-14 信号处理的方法及装置

Publications (2)

Publication Number Publication Date
CN105590631A CN105590631A (zh) 2016-05-18
CN105590631B true CN105590631B (zh) 2020-04-07

Family

ID=55930153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410649621.2A Active CN105590631B (zh) 2014-11-14 2014-11-14 信号处理的方法及装置

Country Status (4)

Country Link
US (1) US10181330B2 (zh)
EP (1) EP3220158A4 (zh)
CN (1) CN105590631B (zh)
WO (1) WO2016074495A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9252908B1 (en) * 2012-04-12 2016-02-02 Tarana Wireless, Inc. Non-line of sight wireless communication system and method
CN106973353A (zh) * 2017-03-27 2017-07-21 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于Volterra滤波器的麦克风阵列通道不匹配校准方法
CN108877828B (zh) * 2017-05-16 2020-12-08 福州瑞芯微电子股份有限公司 语音增强方法/系统、计算机可读存储介质及电子设备
CN107785029B (zh) * 2017-10-23 2021-01-29 科大讯飞股份有限公司 目标语音检测方法及装置
CN107910012B (zh) * 2017-11-14 2020-07-03 腾讯音乐娱乐科技(深圳)有限公司 音频数据处理方法、装置及系统
CN109599104B (zh) * 2018-11-20 2022-04-01 北京小米智能科技有限公司 多波束选取方法及装置
CN110503970B (zh) * 2018-11-23 2021-11-23 腾讯科技(深圳)有限公司 一种音频数据处理方法、装置及存储介质
CN111624554B (zh) * 2019-02-27 2023-05-02 北京京东尚科信息技术有限公司 声源定位方法和装置
CN111833901B (zh) * 2019-04-23 2024-04-05 北京京东尚科信息技术有限公司 音频处理方法、音频处理装置、系统及介质
CN110111805B (zh) * 2019-04-29 2021-10-29 北京声智科技有限公司 远场语音交互中的自动增益控制方法、装置及可读存储介质
CN110265038B (zh) * 2019-06-28 2021-10-22 联想(北京)有限公司 一种处理方法及电子设备
US11234073B1 (en) * 2019-07-05 2022-01-25 Facebook Technologies, Llc Selective active noise cancellation
CN110517703B (zh) 2019-08-15 2021-12-07 北京小米移动软件有限公司 一种声音采集方法、装置及介质
CN114586097A (zh) * 2019-11-05 2022-06-03 阿里巴巴集团控股有限公司 差分定向传感器系统
CN110600051B (zh) * 2019-11-12 2020-03-31 乐鑫信息科技(上海)股份有限公司 用于选择麦克风阵列的输出波束的方法
CN110956951A (zh) * 2019-12-23 2020-04-03 苏州思必驰信息科技有限公司 一种语音增强采集配件、方法、系统、设备及存储介质
CN112634934A (zh) * 2020-12-21 2021-04-09 北京声智科技有限公司 语音检测方法及装置
CN112634931B (zh) * 2020-12-22 2024-05-14 北京声智科技有限公司 语音增强方法及装置
CN113375063B (zh) * 2021-06-07 2022-06-28 国家石油天然气管网集团有限公司西气东输分公司 一种天然气管道泄漏智能监测方法及系统
CN113362846B (zh) * 2021-06-29 2022-09-20 辽宁工业大学 一种基于广义旁瓣相消结构的语音增强方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866356A (zh) * 2005-08-15 2006-11-22 华为技术有限公司 一种宽带波束形成方法和装置
CN101727909A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 噪声估计的设备和方法以及使用该设备和方法的降噪设备
CN102208189A (zh) * 2010-03-23 2011-10-05 三星电子株式会社 用于消除后方噪声的设备和方法
CN102324237A (zh) * 2011-05-30 2012-01-18 深圳市华新微声学技术有限公司 麦克风阵列语音波束形成方法、语音信号处理装置及系统
CN102610227A (zh) * 2011-01-18 2012-07-25 索尼公司 声音信号处理设备、声音信号处理方法和程序
CN102750952A (zh) * 2011-04-18 2012-10-24 索尼公司 声音信号处理装置、方法和程序
CN103856866A (zh) * 2012-12-04 2014-06-11 西北工业大学 低噪微分麦克风阵列

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4247195B2 (ja) 2005-03-23 2009-04-02 株式会社東芝 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録した記録媒体
US8098842B2 (en) 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
EP1992959A3 (en) 2007-05-18 2011-02-09 Ono Sokki Co., Ltd. Sound source search method, sound source search device, and sound source search program storage medium
JP5305743B2 (ja) * 2008-06-02 2013-10-02 株式会社東芝 音響処理装置及びその方法
WO2009151578A2 (en) * 2008-06-09 2009-12-17 The Board Of Trustees Of The University Of Illinois Method and apparatus for blind signal recovery in noisy, reverberant environments
US9173025B2 (en) * 2012-02-08 2015-10-27 Dolby Laboratories Licensing Corporation Combined suppression of noise, echo, and out-of-location signals
CN103513249B (zh) 2012-06-20 2016-02-03 中国科学院声学研究所 一种宽带相干模基信号处理方法及系统
US9237391B2 (en) * 2012-12-04 2016-01-12 Northwestern Polytechnical University Low noise differential microphone arrays
CN104103277B (zh) * 2013-04-15 2017-04-05 北京大学深圳研究生院 一种基于时频掩膜的单声学矢量传感器目标语音增强方法
CN103308889B (zh) * 2013-05-13 2014-07-02 辽宁工业大学 复杂环境下被动声源二维doa估计方法
US9432769B1 (en) * 2014-07-30 2016-08-30 Amazon Technologies, Inc. Method and system for beam selection in microphone array beamformers
US20170337932A1 (en) * 2016-05-19 2017-11-23 Apple Inc. Beam selection for noise suppression based on separation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866356A (zh) * 2005-08-15 2006-11-22 华为技术有限公司 一种宽带波束形成方法和装置
CN101727909A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 噪声估计的设备和方法以及使用该设备和方法的降噪设备
CN102208189A (zh) * 2010-03-23 2011-10-05 三星电子株式会社 用于消除后方噪声的设备和方法
CN102610227A (zh) * 2011-01-18 2012-07-25 索尼公司 声音信号处理设备、声音信号处理方法和程序
CN102750952A (zh) * 2011-04-18 2012-10-24 索尼公司 声音信号处理装置、方法和程序
CN102324237A (zh) * 2011-05-30 2012-01-18 深圳市华新微声学技术有限公司 麦克风阵列语音波束形成方法、语音信号处理装置及系统
CN103856866A (zh) * 2012-12-04 2014-06-11 西北工业大学 低噪微分麦克风阵列

Also Published As

Publication number Publication date
WO2016074495A1 (zh) 2016-05-19
US20170337936A1 (en) 2017-11-23
CN105590631A (zh) 2016-05-18
EP3220158A1 (en) 2017-09-20
EP3220158A4 (en) 2017-12-20
US10181330B2 (en) 2019-01-15

Similar Documents

Publication Publication Date Title
CN105590631B (zh) 信号处理的方法及装置
CN108172235B (zh) 基于维纳后置滤波的ls波束形成混响抑制方法
CN106782590B (zh) 基于混响环境下麦克风阵列波束形成方法
US9966059B1 (en) Reconfigurale fixed beam former using given microphone array
CN106710601B (zh) 一种语音信号降噪拾音处理方法和装置及冰箱
CN110085248B (zh) 个人通信中降噪和回波消除时的噪声估计
Habets et al. New insights into the MVDR beamformer in room acoustics
US8654990B2 (en) Multiple microphone based directional sound filter
EP2749042B1 (en) Processing signals
US9129587B2 (en) Method, device and system for eliminating noises with multi-microphone array
US20120197638A1 (en) Method and Device for Noise Reduction Control Using Microphone Array
Berkun et al. Combined beamformers for robust broadband regularized superdirective beamforming
US10283139B2 (en) Reverberation suppression using multiple beamformers
CN112331226B (zh) 一种针对主动降噪系统的语音增强系统及方法
CN106031196A (zh) 信号处理装置、方法以及程序
Priyanka A review on adaptive beamforming techniques for speech enhancement
Pan et al. On the noisereduction performance of the MVDR beamformer innoisy and reverberant environments
Priyanka et al. Adaptive Beamforming Using Zelinski-TSNR Multichannel Postfilter for Speech Enhancement
Comminiello et al. A novel affine projection algorithm for superdirective microphone array beamforming
Yu et al. Speech enhancement based on the generalized sidelobe cancellation and spectral subtraction for a microphone array
Borisovich et al. Improvement of microphone array characteristics for speech capturing
Yamamoto et al. Spherical microphone array post-filtering for reverberation suppression using isotropic beamformings
Heese et al. Comparison of supervised and semi-supervised beamformers using real audio recordings
Li et al. A two-microphone noise reduction method in highly non-stationary multiple-noise-source environments
Leng et al. On speech enhancement using microphone arrays in the presence of co-directional interference

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant