CN106664486A - 用于风噪声检测的方法和装置 - Google Patents
用于风噪声检测的方法和装置 Download PDFInfo
- Publication number
- CN106664486A CN106664486A CN201580039259.XA CN201580039259A CN106664486A CN 106664486 A CN106664486 A CN 106664486A CN 201580039259 A CN201580039259 A CN 201580039259A CN 106664486 A CN106664486 A CN 106664486A
- Authority
- CN
- China
- Prior art keywords
- signal
- distribution
- microphone
- wind
- wind noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/01—Noise reduction using microphones having different directional characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
Abstract
处理数字化麦克风信号数据以便检测风噪声。从至少一个麦克风处获取第一信号和第二信号。所述第一和第二信号反映普通声学输入并且为时间上相异或者空间上相异或者两者。处理所述第一信号以便确定所述第一信号的样本的第一分布。处理所述第二信号以便确定所述第二信号的样本的第二分布。计算所述第一分布与所述第二分布之间的差异。如果所述差异超过检测阈值,则输出表明存在风噪声的指示。
Description
技术领域
本发明涉及对来自麦克风或其他这种换能器的信号进行数字处理,并且具体地涉及一种用于检测这种信号中是否存在风噪声等的装置和方法,例如,使能够发起或控制风噪声补偿或抑制。
发明背景
风噪声在此被定义为从流过麦克风端口或麦克风振膜上的气流中的湍流生成的麦克风信号,与吹过其他物体的风的声音截然相反,如当风吹过远场中的树木时沙沙作响的叶子的声音。风噪声是脉冲式的并且通常具有足够大的振幅来超过标称语音振幅。因此,风噪声可以是令使用者讨厌的和/或会遮蔽所关注的其他信号。令人希望的是,数字信号处理设备被配置成用于采用多个步骤减轻风噪声对信号质量的有害影响。为此需要适用于当出现风噪声时可靠地检测风噪声的装置,而当实际上其他因素影响信号时不会错误地检测风噪声。
之前的风噪声检测(WND)方法假设在远场中生成非风声音并且因此在每个麦克风处具有一个相似的声压级(SPL)和相位,而风噪声实质上跨麦克风是不相关的。然而,对于远场中生成的非风声音而言,麦克风之间的SPL由于局部声音反射、室内混响、和/或麦克风盖、障碍物、或位置的差异(如由于智能手机上的一个朝里且另一个朝外的麦克风的正交平面布置)会实质上不同。近场(如被握持到离麦克风很近的电话听筒)中生成的非风声音也会出现麦克风之间的实质性SPL差异。由于麦克风灵敏度的差异(即,失配麦克风),还会出现麦克风输出信号的差异,麦克风灵敏度差异会是由于给定的麦克风模型的放宽的制造公差异、或系统中不同麦克风模型的使用所导致的。
麦克风之间的间距引起非风声音在每个麦克风声音入口处具有不同的相位,除非声音来自其同时到达两个麦克风的方向。在定向麦克风应用中,麦克风阵列的轴一般指向所希望的声源,这导致最坏情况的延迟和因此麦克风之间的最大相位差异。
当所接收到的声音的波长比麦克风之间的间距大得多时(即,在低频处),麦克风信号的相关性非常好,并且之前的WND方法可能不会错误地检测所述频率下的风。然而,当所接收到的声音波长接近麦克风间距时,相位差异致使麦克风信号变得相关性较低并且非风声音会被错误地检测成风。麦克风间距越大,将在其上将非风声音错误地检测为风的频率就越低,即,声谱中的其中将发生错误的检测的部分就越大。由于麦克风信号之间的相位差异的其他原因(如局部声音反射、室内混响、和/或麦克风相位响应或入口端口长度的差异)也会发生错误的检测。鉴于麦克风处的风噪声的频谱含量取决于如硬件配置、使用者的头或手的存在以及风速等因素可以从100Hz以下延伸至10kHz以上,对于风噪声检测而言,如果不是声谱的全部,则令人希望的是令人满意地操作贯穿大部分,从而使得可以检测风噪声,并且只在风噪声有问题的子带激活合适的抑制手段。
本说明书中已包括的文件、行为、材料、设备、物品等的任何讨论仅用于为本发明提供上下文的目的。不应被认为是承认这些事项中的任何或所有事项形成现有技术基础的一部分或为与本发明相关领域内的公共常识(当其在本申请的每项权利要求的优先权日之前存在时)。
贯穿本说明书,词语“包括(comprise)”、或变化(如“包括(comprises)”或“包括(comprising)”)应被理解成暗示包括一个陈述的元件、整数或步骤、或元件、整数或步骤组,但不排除任何其他元件、整数或步骤、或元件、整数或步骤组。
在本说明书中,陈述元件可以是选项列表中的“至少一项”将被理解为元件可以是所列出的选项中的任何一项,或者可以是所列出的选项中的两个或更多个的任何组合。
发明内容
根据本发明的第一方面,提供了一种处理数字化麦克风信号数据以便检测风噪声的方法,所述方法包括:
从至少一个麦克风处获取第一信号和第二信号,所述第一和第二信号反映普通声学输入,并且所述第一和第二信号为时间上相异和空间上相异中的至少一者;
处理所述第一信号以便确定所述第一信号的样本的第一分布;
处理所述第二信号以便确定所述第二信号的样本的第二分布;
计算所述第一分布与所述第二分布之间的差异;以及
如果所述差异超过检测阈值,则输出表明存在风噪声的指示。
根据本发明的第二方面,提供了一种用于检测风噪声的设备,所述设备包括:
至少第一麦克风;以及
处理器,所述处理器被配置成用于:
从所述至少一个麦克风处获取第一信号和第二信号,所述第一和第二信号反映普通声学输入,并且所述第一和第二信号为时间上相异和空间上相异中的至少一者;
处理所述第一信号以便确定所述第一信号的样本的第一分布;
处理所述第二信号以便确定所述第二信号的样本的第二分布;
计算所述第一分布与所述第二分布之间的差异;并且
如果所述差异超过检测阈值,则输出表明存在风噪声的指示。
根据本发明的第三方面,提供了一种计算机程序产品,所述计算机程序产品包括用于使计算机执行风噪声检测程序的计算机程序代码装置,所述计算机程序产品包括:
用于从至少一个麦克风处获取第一信号和第二信号的计算机程序代码装置,所述第一和第二信号反映普通声学输入,并且所述第一和第二信号为时间上相异和空间上相异中的至少一者;
用于处理所述第一信号以便确定所述第一信号的样本的第一分布的计算机程序代码装置;
用于处理所述第二信号以便确定所述第二信号的样本的第二分布的计算机程序代码装置;
用于计算所述第一分布与所述第二分布之间的差异的计算机程序代码装置;以及
用于如果所述差异超过检测阈值则输出表明存在风噪声的指示的计算机程序代码装置。
所述计算机程序产品可以包括非瞬态计算机可读介质。
本发明认识到风噪声影响麦克风信号内的信号样本幅度的分布,并且由于在任何给定时刻流过每个麦克风的局部气流的唯一形式而影响一个麦克风与下一个麦克风不同的分布,并且还影响在每个麦克风处一个时刻与下一个时刻不同的分布。风致噪声是不稳定的,因此其统计随时间变化。因此,增大的风将趋向于增加第一分布与第二分布之间的差异,针对存在或不存在风噪声进行有益的度量。评估第一和第二信号的短期分布使得能够从相应的分布之间的差异中量化风噪声。此外,通过考虑信号样本幅度的分布之间的差异,本发明的方法有效地忽略了麦克风信号之间的相位差异。
第一和第二信号反映普通声学输入,在所述普通声学输入内期望检测存在或不存在风噪声。在一些实施例中,通过从单个麦克风信号中获取时间上相异的样本或通过从多于一个麦克风信号中获取时间上相异的样本来使第一和第二信号在时间上相异。第一和第二信号在时间上相异的程度(例如,第一和第二信号之间的样本间隔)优选地小于非风噪声源或信号源变化的典型时间,从而使得第一与第二信号分布之间的变化将由风噪声控制并且受到相对慢的变化信号源的最小程度的影响。例如,第一信号可以包括麦克风信号的第一帧,并且第二信号可以包括所述麦克风信号的后续帧,从而使得在典型音频采样速率处,第一和第二信号在时间上相异为小于毫秒,并且更优选地小于125微秒或更小。
此外或替代性地,在一些实施例中,可以通过从第一麦克风处获取第一信号并且从与第一麦克风间隔开的第二麦克风处获取第二信号来使第一和第二信号在空间上相异。一些实施例可以进一步包括确定时间上相异的信号和空间上相异的信号两者的分布,以便产生表明是否存在风噪声的复合指示。
第一和第二信号的分布可以采用任何适当的方式来确定并且可以包括简化的分布。例如,所确定的分布可以包括信号样本幅度的累积分布,仅在一个或多个选择的值处确定。在一些实施例中,计算第一分布与第二分布之间的差异可以通过以下方式进行:在每个选择的值处的计算第一与第二分布之间的逐点差异,并且对逐点差异的绝对值进行求和以便产生对所述第一分布与所述第二分布之间的差异的度量。在这种实施例中,例如,可以在跨信号样本幅度值的期望范围的三与11之间选择的值处确定每个信号的累积分布的值。
在本发明的优选实施例中,例如通过前置放大器或ADC对每个麦克风信号优选地进行高通滤波以便去除任何直流分量,从而使得本方法对其进行操作的样本值将通常包含正数和负数的混合体。此外,优选地针对振幅来对每个麦克风信号进行匹配,从而使得每个信号的期望方差相同或大致相同。在一些实施例中,在执行所述风噪声检测之前,针对所关注声学信号来对所述第一和第二麦克风信号进行匹配。例如,可以针对语音信号来对麦克风进行匹配。
可以通过对来自同时获得的每个信号的单个帧的样本的分布进行比较来在逐帧基础上执行本法明的方法。在一些实施例中,可以在多个帧上对第一分布与第二分布之间的差异进行平滑处理,例如,通过使用泄漏积分器。
检测阈值可以被设置为不会由被认为是非干扰性的微风(如1或2m.s-1以下的风)触发的水平。
第一分布与第二分布之间的差异的幅度可以用于估计另外安静状况下的风力、或者至少在削波范围内风噪声支配所存在的其他声音的程度。
在一些实施例中,关于所述信号的频谱的一个或多个子带来执行所述方法。因此,所述实施例可以在每个这样的子带中检测存在或不存在风噪声,并且因此可以允许后续风噪声降低技术被选择性地仅应用于已经检测到存在风噪声的每个子带中。在所述实施例中,优选地首先关于较低频率子带来检测风噪声,并且如果在所述较低频率子带中检测到风噪声,则仅关于较高频率子带执行所述检测。所述实施例认识到风噪声通常随着增加的频率而降低,从而使得如果在低频处没有检测到风噪声,则可以假设在更高频率处不存在风噪声,并且因此不需要耗费在更高频率处检测风噪声的处理器周期。
在关于一个或多个子带执行风噪声检测的实施例中,在其中检测存在风噪声的子带可以用于估计风力。所述实施例认识到微风仅在较低频率子带中引起风噪声,当风力增加时,风噪声出现在更高频率子带中。
在本发明的一些实施例中,风噪声降低可以随后应用于第一和第二信号。在关于一个或多个子带执行风噪声检测的实施例中,风噪声降低优选地仅应用于关于那些已经检测到风噪声的子带。
所述第一和第二麦克风可以是电话耳机或听筒、或其他音频装置(如照相机、视频摄像机、平板计算机等)的一部分。替代性地,所述第一和第二麦克风可以安装在耳背式(BTE)设备上,如耳蜗植入物BTE单元的外壳、或BET助听器、耳内式助听器、耳道式助听器、完全耳道式助听器或其他式样的助听器。例如,可以在8kHz、16kHz或48kHz下对信号进行采样。为了更高的采样速率,某些实施例可以使用更长的块长度,从而使得单个块覆盖相似的时间帧。替代性地,可以对到风噪声检测器的输入进行下采样,从而使得更短的块长度可以用于(如需要的话)不需要跨较高采样速率的整个带宽检测风噪声的应用中。块长度可以是16个样本、32个样本、或其他合适的长度。
附图说明
现在将参照附图对本发明的示例进行描述,在附图中:
图1展示了手持设备,可以关于所述手持设备来应用本发明的方法;
图2展示了当用作视频/音频记录器时图1的设备的使用情况;
图3是根据本发明的一个实施例的风噪声降低系统的框图;
图4是在图3的系统中使用的风噪声检测器的框图;
图5是在图4的检测器中使用的决策模块的框图;
图6展示了由图4的检测器中的子带拆分模块执行的子带;
图7a展示了未受风噪声影响的典型语音信号;图7b展示了图7a的信号中的信号样本幅度的分布;并且图7c展示了图7a的信号中的信号样本幅度的累积分布;
图8展示了当受到风噪声影响时第一与第二信号分布之间的差异的计算;
图9是可以在图4的检测器中使用的替代性决策模块的框图;
图10展示了不同风速下的风噪声频谱;
图11是提供单麦克风风噪声检测的另一个实施例的框图;并且
图12是提供单麦克风和双麦克风风噪声检测的又另一个实施例的框图。
具体实施方式
本发明认识到风噪声能量集中在频谱的低部分;并且随着增大的风速,风噪声逐渐占据越来越多的带宽。风噪声的带宽和振幅取决于风速、风向、相对于使用者身体的设备位置以及设备设计。由于许多风噪声情况下的风噪声能量主要位于低频处,因此语音频谱的很大一部分保持相对地不受其影响。
因此,为了保护经处理的音频信号的自然性,本发明的一些实施例认识到试图降低风噪声能量同时保护信号(例如,语音)能量的风噪声降低技术应当可选择地仅应用于受风噪声影响的频谱的一部分。因此,语音信号频谱的“无风噪声”部分将不会由系统不必要修改。因此,风噪声的这种选择性降低需要能够在特殊频谱子带中检测风存在并确定其相对于设备的方向的智能检测方法。
图1展示了具有触摸屏110、按键120和麦克风132、134、136、138的手持设备100。以下实施例描述了使用这样的设备来捕获音频例如以便伴随由设备的照相机(未示出)记录的视频。麦克风132捕获第一(主要)左信号L2,麦克风134捕获第二(次要)左信号L1,麦克风136捕获第一(主要)右信号R1,并且麦克风138捕获第二(次要)右信号R2。如所指示的,麦克风132和136都安装在设备100的前面上的端口中。因此,当设备100的所有麦克风是全方向时,端口配置给予麦克风132和136由对应的箭头指示的敏感度的标称方向,每个麦克风在设备的前面的平面的法相上。相比而言,麦克风134和138安装在设备100的相反端面上的端口中。因此,麦克风134的敏感度的标称方向与麦克风138的敏感度的标称方向是反相平行的,并且垂直于麦克风132和136的敏感度的标称方向。以下实施例描述了使用这样的设备来捕获音频例如以便伴随由设备的照相机(未示出)记录的视频。
当被用作视频/音频记录器时,图2中示出了典型设备定位,其中,角度表示相对于设备的风向。
图3中示出了根据本发明的一个实施例的风噪声降低系统300的框图。将来自L麦克风(132)和R麦克风(136)的数字化(量化和离散化)样本结合到某个持续时间的帧中(元件的数量,M)。将输入帧输入到风噪声检测器(WND)302。WND 302对来自左和右麦克风132、136的帧进行分析,并且决定在此帧间隔期间是否存在风以及在哪些预定子带中存在风。将“每子带”风存在决策连同其他检测参数提供给风噪声降低(WNR)模块304,所述风噪声降低模块应用选择技术来当试图保护目标信号(例如,语音)时降低受影响的子带中的风噪声。可以应用任何合适的风噪声降低技术。将WNR输出L输出和R输出输出到端用户或用于进一步处理。
图4示出了提议的风噪声检测器302的框图。
DC模块402、404(每个输入信道一个)计算并去除来自左和右输入信道的直流分量,并且向子带拆分(SBS)模块412、414提供无直流帧。SBS模块412、414(每个输入信道一个)用于将来自每个(左和右)信道的全频带帧拆分成N个子带。每个SBS模块412、414由N个数字滤波器组成,所述数字滤波器中的每个数字滤波器仅使指定频带通过,并且阻止(严重衰减)输入信号的剩余频谱含量。例如,如果输入信号以fs=48,000Hz进行采样,则每个SBS可以由N=4个滤波器Hn(n=1:4)组成,所述滤波器中的每个滤波器具有以下通带Bn:如图6中示出的,B1=[0-500Hz],B2=[500-1,000Hz],B3=[1,000-4,000Hz],以及B4=[4,000-12,000Hz]。
图7a展示了不受风噪声影响的典型语音信号。如图7b中可以看出并且展示出的,图7a的信号中的信号样本幅度的分布是关于零的正态分布。图7c展示了图7a的信号中的信号样本幅度的累积分布。然而,图8展示了当受到风噪声影响时第一和第二信号累积分布820、830可能看起来如何。值得注意的是,图8中的分布820、830以虚线示出,因为仅需要确定在每个分布上的所选择点以便使本发明的本实施例生效,所以不需要在其全长上在其他值上确定精确的曲线。在本实施例中,确定了每个分布820、830的五个选择值,即,曲线820上的点821-825处对应的累积分布值、以及曲线830上的点831-835处对应的累积分布值。然后,确定了在那些点处的分布之间的差异的绝对值,这五个差异值中的一个差异值(822处的值与832处的值之间)表示在802处。如在点821与822之间发生的,曲线820和830可以跨越一个或多个时间,并且这就是为什么采用所述差异的绝对值的原因。最后,对所述差异的绝对值求和,以便产生反映风噪声的标量度量。
用于确定图7和8中所描绘的度量的合适的过程如下所示:来自每个左和右SBS模块412、414的N个输出帧馈送至风检测统计(WDS)计算器模块420,所述风检测统计(WDS)计算器模块计算风检测统计Dn,n=1:N,针对N个子带中的每个子带进行一次,如以下所示:
i.设置n=1(选择第一个子带)。
ii.计算左和右信道的经验分布函数、EDF、FM 左(n,x)和FM 右(n,x):
其中
M是样本中的帧大小,
和是分别来自左和右信道的第n个子带的第m个样本,
xl指在其上计算EDF从而使得向量表示EDF的域,并且L表示其基数,并且
是指示函数,如果Xm≤xl则所述指示函数等于1,并且其他情况下等于0。
iii.计算风检测统计(WDS):
iv.通过应用泄漏积分器来对计算的Dn进行平滑处理
其中
是Dn,k的经平滑的值,
α是泄漏积分器抽头(tap),
k是帧索引,并且
n是子带索引。
v.增加子带索引n,并且重复以上步骤,直到计算了所有 为止。
这些值以及向量l=1:L的大小是基于输入信号m=1:M的动态范围根据经验选择的,并且可以使用直方图方法来确定,从而使得跨越信号动态范围60%–90%。在实践中,L<12就足够了。一旦确定,就不需要改变和L。
在子带功率(SBP)计算器模块430中,接收来自每个左和右SBS模块412、414的N个输出帧并将其用于计算子带功率和n=1:N,针对N个子带中的每个子带进行一次,如下:
i.设置n=1(选择第一个子带)。
ii.计算左和右信道的子带功率和
其中
M是样本中的帧大小,并且
和是分别来自左和右信道的第n个子带的第m个样本。
iii.通过应用泄漏积分器来对计算的和进行平滑处理:
其中
和是左和右子带功率的经平滑的值,并且
α是泄漏积分器抽头(tap)
iv.将经平滑的子带功率转换成dB。
v.增加子带索引n,并且从第一步起开始进行重复,直到计算了所有和为止。
在决策设备(DD)模块440中,所计算的N个风检测统计以及子带功率和用于做出关于风存在于第n个子带中的决策,并且用于产生对风速和风向的估计。然而,还有可能的是,在本发明的其他实施例中,在不使用子带功率和的情况下做出关于存在风噪声的确定,并且因此,在替代性实施例中,不需要计算速度值和方向值,特别是在进行风向估计也不需要这些值的情况下。
图5示出了本发明的一个实施例中的DD模块440的框图。DD模块440由N个风存在决策(WPD)处理器模块510…512以及风参数估计器(WPE)模块520组成。
在WPD中,每个第n(n=1:N)个风存在决策处理器WPDn 510-512输入有由风检测统计(WDS)计算器模块420确定的相应风检测统计以及由子带功率(SBP)计算器模块430确定的子带功率和由WPD 510-512如下做出关于风是否存在于第n个子带中的二进制决策:
其中
DTHRn是第n个子带中的的阈值;DTHRn根据经验确定;
PTHRn是第n个子带中的和的阈值;PTHRn可以设置为仅大于麦克风(左和右)噪声功率;并且
Wn是针对第n个子带的风存在指示。
在DD模块的替代性实施例中,如在图9中的DD模块940中所示出的,可以从决策设备中省略对来自子带功率(SBP)计算器模块430的子带功率和的使用。在所述实施例中,可以在每个WPD模块910-912中做出关于风是否存在于第n个子带中的二进制决策如下:
其中
DTHRn是第n个子带中的的阈值;DTHRn根据经验确定;以及
Wn是针对第n个子带的风存在指示。
风噪声能量集中在频谱的低部分并且在频谱的高频部分处稳定地下降,只有在决策Wn为正时才计算决策度量Wn+1。
风存在决策向量从DD 440或940中输出,以便指示是否在当前帧间隔内在第n个子带处检测到风,从而使得,如果Wn=1,则在第n个子带处检测到风,并且如果Wn=0,则没有检测到风。
只有在风检测为正(这意味着至少来自WPD1 510的输出W1=1)时才在520或920处执行风参数估计。
风参数估计器520或920输入有针对所有N个子带的风存在决策向量并且还都输入有子带功率和WPE 520、920执行风参数估计如下:
风速Vw。通过基于每个第n个子带中的Wn的值来确定风频谱的可变截止频率fc从而估计风速。截止频率fc被估计为检测到风的最高子带Bn的右侧通带频率。通过子带Bn的数量N和宽度(粒度)来确定fc估计的频率分辨率。风速与风频谱截止频率之间的关系VW=F(fc)可以根据经验来建立并可以存储在查找表中,以便使得能够输出风速估计。例如,图10展示了在风攻角和四个风速度(即,2m/s、4m/s、6m/s和8m/s)下记录的风致噪声的功率频谱的示例。如可以看到的,风噪声频谱总体上是频率的递减函数,并且其截止频率是风速的函数。设备配置和其他因素也会影响风噪声频谱,并且在其他实施例中,应当理解的是,对于不同设备或配置,可以同等地确定风速与风频谱截止频率之间的替代性关系。由此,可以根据经验将被设置在水平1010处的风噪声检测阈值用于确定如果风频谱的可变截止频率fc为如在1012处所指示的500Hz左右时,则风速为约2m/s。类似地,如在1014、1016、1018处所指示的风频谱的可变截止频率fc 2kHz、4kHz和6kHz可以用于指示风速分别为4m/s、6m/s和8m/s。
在图10中应当注意的是,尽管大部分风能量集中在10Hz与500Hz之间,但是明显的是,在更高速度下,风噪声水平甚至在大于10kHz的频率处保持在麦克风噪声水平之上。随着风速增大,风致噪声进入到频谱的较高频部分。由此,本发明的所选实施例提供了要在每个受影响的带中检测的并且要通过应用所选风噪声降低技术来去除的风噪声。另一方面,随着风速减小,大部分风致噪声功率移动到频谱的低频部分,让音频信号频谱的高频含量中的很大一部分相对不受影响,在其中,不需要应用风噪声降低。通过抑制在未受影响的带中应用风噪声降低,在输出音频中保留了更自然的声音,并且招致了降低的处理负荷。
风向,DOAw。可以由WPE 520、920通过对检测到风的最低子带(其是B1)中的左/右信道功率差异的符号进行分析来估计相对于设备100的风向。因此,
如果Wn=1,则计算功率差异
如果ΔP>δ,则风来自左方;如果ΔP<-δ,则风来自右方;否则,风来自前方(或后方);δ是小的正数,即,
如果ΔP>δ,则DOAw=‘左’
如果ΔP<-δ,则DOAw=‘右’
如果ΔP<δ并且ΔP>-δ,则DOAw=‘前或后’
尽管风流(以及因此,风噪声)的复杂局部性质使风检测估计器520、920难以给出对风到达方向的精确估计,但是,虽然如此,以上对风到达方向所存在的象限的粗略估计是有价值的指示。
图11是本发明的另一个实施例的框图,其提供了本发明的单麦克风实施方式。在系统1100中,如由重复的参考号402、404、412、414、420、430、440所指示的,大部处理与双麦克风风噪声检测器302中的处理相同。
然而,在系统1100中,输入到DC移除框402的第一输入信号I1和输入到DC移除框404的第二输入信号I2两者都源自单麦克风输入信号X输入。具体地,第一输入信号I1包括在当前第i个时间间隔处接收的来自麦克风的音频帧。另一方面,第二输入信号I2是由于单帧延迟1102的操作而在之前的帧间隔i-1处接收的来自同一麦克风的帧。具体地,模块1102用于通过将单帧延迟应用到输入信号X输入而产生第二信号帧I2。由于输入信号中不存在空间分集,所以在系统1100中不估计风到达方向DOA。由此,此实施例认识到通过将图7c与图8进行比较而展示的影响在风噪声甚至从一个帧到下一个帧存在于单麦克风系统中的情况下出现。由此,从一个帧到下一个帧对累积分布值进行比较也使得能够产生反映风噪声的度量。
图12示出了根据本发明的又另一个实施例的双麦克风风检测器1200,在所述双麦克风风检测器中,确定并利用空间和时间风检测度量两者。此实施例认识到对于改进的风检测性能,组合图4和图11的风检测器两者是有益的。WND 1200包括两个单麦克风检测度量计算器SMMCL 1210和SMMCR 1270,所述计算器分别输入有左和右麦克风信号。WND 1200进一步包括双麦克风检测度量计算器DMMC 1240,所述计算器输入有左和右麦克风信号两者。WND 1200进一步包括决策组合设备DCD 1290。
左麦克风的单麦克风度量计算器SMMCL 1210输入有来自左麦克风的组帧的音频样本L输入。度量计算器1210基于来自左麦克风的音频帧采用与关于图11而针对WND 1100描述的方式相同的方式来估计风检测统计DLn(n=1:N),针对N个子带中的每个子带进行一次。
类似地,右麦克风的单麦克风度量计算器SMMCR 1270输入有来自右麦克风的组帧的音频样本。度量计算器基于来自右麦克风的音频帧采用与关于图11而针对WND 1100描述的方式相同的方式来估计风检测统计DRn(n=1:N),针对N个子带中的每个子带进行一次。
双麦克风度量计算器1240输入有来自左和右麦克风的(组帧的)样本。度量计算器基于来自左和右麦克风的音频帧采用与关于图4至图10而针对WND 302描述的方式相同的方式来估计风检测统计Dn以及左和右信道的子带功率和针对N个子带中的每个子带进行一次。
及时地对分别由1210、1240、1270输出的风决策统计DLn、Dn和DRn进行平滑处理,以便产生经平滑的风决策统计和类似地,及时地对由1240输出的N个子带功率和进行平滑处理,以便产生经平滑的子带功率和
决策组合设备DCD 1290接收经平滑的统计和以及子带功率和并且做出关于风是否存在于第n个子带中的每个子带中的决策。通过将时间和空间风统计组合到聚合统计中来产生风存在决策度量。在此实施例中,通过找出每个子带的最大风统计来计算
应当理解的是,可以在本发明的其他实施例中使用任何其他合适的组合方法来产生聚合统计。DCD 1290进一步采用关于WPE 520和920而描述的方式来产生对风速和风向的估计。
本领域的技术人员将认识到,在不脱离如所广泛描述的本发明的精神或范围的情况下,可以如特定实施例中所示对本发明进行许多变化和/或修改。例如,虽然关于手持设备100而进行描述,但是替代性地,例如可以关于承载有两个或更多个麦克风的单个助听器、关于安装在使用者头部的对应侧上的双耳助听器、或者关于移动电话、个人数字助理或平板计算机而应用本发明。因此,在所有方面上,当前实施例应被认为是说明性而非限制性或限定性的。
Claims (23)
1.一种处理数字化麦克风信号数据以便检测风噪声的方法,所述方法包括:
从至少一个麦克风处获取第一信号和第二信号,所述第一和第二信号反映普通声学输入,并且所述第一和第二信号为时间上相异和空间上相异中的至少一者;
处理所述第一信号以便确定所述第一信号的样本的第一分布;
处理所述第二信号以便确定所述第二信号的样本的第二分布;
计算所述第一分布与所述第二分布之间的差异;以及
如果所述差异超过检测阈值,则输出表明存在风噪声的指示。
2.如权利要求1所述的方法,其中,通过获取时间上相异的样本来使所述第一和第二信号在时间上相异。
3.如权利要求2所述的方法,其中,从单个麦克风信号中获取所述时间上相异的样本。
4.如权利要求1或权利要求2所述的方法,其中,通过从第一麦克风处获取所述第一信号并且从与所述第一麦克风间隔开的第二麦克风处获取所述第二信号来使第一和第二信号在空间上相异。
5.如权利要求4所述的方法,其中,针对振幅来对每个麦克风信号进行匹配,从而使得每个信号的期望方差相同或大致相同。
6.如权利要求4或权利要求5所述的方法,其中,在执行所述风噪声检测之前,针对所关注声学信号来对所述第一和第二麦克风信号进行匹配。
7.如权利要求1至6中任一项所述的方法,其中,所述第一和第二信号中的每个信号的所述分布包括信号样本幅度的累积分布。
8.如权利要求1至7中任一项所述的方法,其中,仅在一个或多个选择的值处确定所述第一和第二信号中的每个信号的所述分布。
9.如权利要求8所述的方法,其中,计算所述第一分布与所述第二分布之间的所述差异是通过以下方式进行的:在每个选择的值处计算所述第一与第二分布之间的逐点差异,并且对所述逐点差异的绝对值进行求和以便产生对所述第一分布与所述第二分布之间的所述差异的度量。
10.如权利要求1至9中任一项所述的方法,其中,对所述或者每个麦克风信号进行高通滤波以便去除任何直流分量。
11.如权利要求1至10中任一项所述的方法,通过对来自每个信号的单个帧的样本的分布进行比较来在逐帧基础上执行所述方法。
12.如权利要求1至11中任一项所述的方法,其中,在多个帧上对所述第一分布与所述第二分布之间的所述差异进行平滑。
13.如权利要求1至12中任一项所述的方法,其中,所述检测阈值被设置为不会由微风触发的水平。
14.如权利要求13所述的方法,其中,所述检测阈值被设置为不会由2m.s-1以下的风触发的水平。
15.如权利要求1至14中任一项所述的方法,其中,所述第一分布与所述第二分布之间的所述差异的幅度用于估计在另外安静状况下的风力、或者在削波范围内风噪声支配所存在的其他声音的程度。
16.如权利要求1至15中任一项所述的方法,关于所述信号的频谱的一个或多个子带来执行所述方法。
17.如权利要求16所述的方法,其中,首先关于较低频率子带来检测风噪声,并且如果在所述较低频率子带中检测到风噪声,则仅关于较高频率子带执行所述检测。
18.如权利要求16或权利要求17所述的方法,进一步包括仅在已经检测到存在风噪声的每个子带中执行风噪声降低。
19.如权利要求16至18中任一项所述的方法,其中,检测到存在风噪声的所述(多个)子带用于估计所述风力。
20.一种用于检测风噪声的设备,所述设备包括:
至少第一麦克风;以及
处理器,所述处理器被配置成用于:
从所述至少一个麦克风处获取第一信号和第二信号,所述第一和第二信号反映普通声学输入,并且所述第一和第二信号为时间上相异和空间上相异中的至少一者;
处理所述第一信号以便确定所述第一信号的样本的第一分布;
处理所述第二信号以便确定所述第二信号的样本的第二分布;
计算所述第一分布与所述第二分布之间的差异;并且
如果所述差异超过检测阈值,则输出表明存在风噪声的指示。
21.如权利要求20所述的设备,包括电话耳机或听筒、静态相机、视频相机、平板计算机、耳蜗植入物或助听器中的至少一者。
22.一种计算机程序产品,包括用于使计算机执行风噪声检测程序的计算机程序代码装置,所述计算机程序产品包括:
用于从至少一个麦克风处获取第一信号和第二信号的计算机程序代码装置,所述第一和第二信号反映普通声学输入,并且所述第一和第二信号为时间上相异和空间上相异中的至少一者;
用于处理所述第一信号以便确定所述第一信号的样本的第一分布的计算机程序代码装置;
用于处理所述第二信号以便确定所述第二信号的样本的第二分布的计算机程序代码装置;
用于计算所述第一分布与所述第二分布之间的差异的计算机程序代码装置;以及
用于如果所述差异超过检测阈值则输出表明存在风噪声的指示的计算机程序代码装置。
23.如权利要求22所述的计算机程序产品,其中,所述计算机程序产品包括非瞬态计算机可读介质。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2014902804 | 2014-07-21 | ||
AU2014902804A AU2014902804A0 (en) | 2014-07-21 | Method and Apparatus for Wind Noise Detection | |
AU2015900265A AU2015900265A0 (en) | 2015-01-29 | Method and Apparatus for Wind Noise Detection | |
AU2015900265 | 2015-01-29 | ||
PCT/AU2015/050406 WO2016011499A1 (en) | 2014-07-21 | 2015-07-21 | Method and apparatus for wind noise detection |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106664486A true CN106664486A (zh) | 2017-05-10 |
CN106664486B CN106664486B (zh) | 2019-06-28 |
Family
ID=55162321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580039259.XA Active CN106664486B (zh) | 2014-07-21 | 2015-07-21 | 用于风噪声检测的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9906882B2 (zh) |
EP (1) | EP3172906B1 (zh) |
KR (1) | KR102313894B1 (zh) |
CN (1) | CN106664486B (zh) |
AU (1) | AU2015292259A1 (zh) |
WO (1) | WO2016011499A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109036449A (zh) * | 2017-06-09 | 2018-12-18 | 恩智浦有限公司 | 在风噪声中检测有意义的声学信号 |
CN109257675A (zh) * | 2018-10-19 | 2019-01-22 | 歌尔科技有限公司 | 一种防风噪方法、耳机及存储介质 |
CN113643715A (zh) * | 2020-05-11 | 2021-11-12 | 脸谱科技有限责任公司 | 降低风噪声的系统和方法 |
CN113670369A (zh) * | 2021-07-09 | 2021-11-19 | 南京航空航天大学 | 基于移动终端的风速测量及风噪声检测方法及装置 |
CN113874732A (zh) * | 2019-06-19 | 2021-12-31 | 思睿逻辑国际半导体有限公司 | 通过加速度测量进行风检测的装置和方法 |
TWI779261B (zh) * | 2020-01-22 | 2022-10-01 | 仁寶電腦工業股份有限公司 | 風切濾波裝置 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016181752A1 (ja) * | 2015-05-12 | 2016-11-17 | 日本電気株式会社 | 信号処理装置、信号処理方法および信号処理プログラム |
WO2017106281A1 (en) * | 2015-12-18 | 2017-06-22 | Dolby Laboratories Licensing Corporation | Nuisance notification |
GB2555139A (en) * | 2016-10-21 | 2018-04-25 | Nokia Technologies Oy | Detecting the presence of wind noise |
KR20180108155A (ko) * | 2017-03-24 | 2018-10-04 | 삼성전자주식회사 | 바람 소리가 조정된 신호를 출력하는 방법 및 전자 장치 |
US10504537B2 (en) | 2018-02-02 | 2019-12-10 | Cirrus Logic, Inc. | Wind noise measurement |
TWI690218B (zh) * | 2018-06-15 | 2020-04-01 | 瑞昱半導體股份有限公司 | 耳機 |
US11100918B2 (en) * | 2018-08-27 | 2021-08-24 | American Family Mutual Insurance Company, S.I. | Event sensing system |
CN109286875B (zh) * | 2018-09-29 | 2021-01-01 | 百度在线网络技术(北京)有限公司 | 用于定向拾音的方法、装置、电子设备和存储介质 |
GB201902812D0 (en) * | 2019-03-01 | 2019-04-17 | Nokia Technologies Oy | Wind noise reduction in parametric audio |
US10721562B1 (en) * | 2019-04-30 | 2020-07-21 | Synaptics Incorporated | Wind noise detection systems and methods |
US11303994B2 (en) | 2019-07-14 | 2022-04-12 | Peiker Acustic Gmbh | Reduction of sensitivity to non-acoustic stimuli in a microphone array |
US11217269B2 (en) | 2020-01-24 | 2022-01-04 | Continental Automotive Systems, Inc. | Method and apparatus for wind noise attenuation |
CN112653979A (zh) * | 2020-12-29 | 2021-04-13 | 苏州思必驰信息科技有限公司 | 自适应去混响方法和装置 |
US11812243B2 (en) | 2021-03-18 | 2023-11-07 | Bang & Olufsen A/S | Headset capable of compensating for wind noise |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101278337A (zh) * | 2005-07-22 | 2008-10-01 | 索福特迈克斯有限公司 | 噪声环境中语音信号的健壮分离 |
JP2011030022A (ja) * | 2009-07-27 | 2011-02-10 | Canon Inc | 雑音判定装置、音声記録装置、及び雑音判定装置の制御方法 |
US20120123771A1 (en) * | 2010-11-12 | 2012-05-17 | Broadcom Corporation | Method and Apparatus For Wind Noise Detection and Suppression Using Multiple Microphones |
WO2013091021A1 (en) * | 2011-12-22 | 2013-06-27 | Wolfson Dynamic Hearing Pty Ltd | Method and apparatus for wind noise detection |
CN103348686A (zh) * | 2011-02-10 | 2013-10-09 | 杜比实验室特许公司 | 用于风检测和抑制的系统和方法 |
WO2014062152A1 (en) * | 2012-10-15 | 2014-04-24 | Mh Acoustics, Llc | Noise-reducing directional microphone array |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10045197C1 (de) | 2000-09-13 | 2002-03-07 | Siemens Audiologische Technik | Verfahren zum Betrieb eines Hörhilfegerätes oder Hörgerätessystems sowie Hörhilfegerät oder Hörgerätesystem |
US7171008B2 (en) | 2002-02-05 | 2007-01-30 | Mh Acoustics, Llc | Reducing noise in audio systems |
US7340068B2 (en) | 2003-02-19 | 2008-03-04 | Oticon A/S | Device and method for detecting wind noise |
US8184816B2 (en) * | 2008-03-18 | 2012-05-22 | Qualcomm Incorporated | Systems and methods for detecting wind noise using multiple audio sources |
WO2013187946A2 (en) * | 2012-06-10 | 2013-12-19 | Nuance Communications, Inc. | Wind noise detection for in-car communication systems with multiple acoustic zones |
KR101681188B1 (ko) * | 2012-12-28 | 2016-12-02 | 한국과학기술연구원 | 바람 소음 제거를 통한 음원 위치 추적 장치 및 그 방법 |
-
2015
- 2015-07-21 US US15/324,091 patent/US9906882B2/en active Active
- 2015-07-21 EP EP15824154.7A patent/EP3172906B1/en active Active
- 2015-07-21 WO PCT/AU2015/050406 patent/WO2016011499A1/en active Application Filing
- 2015-07-21 AU AU2015292259A patent/AU2015292259A1/en not_active Abandoned
- 2015-07-21 CN CN201580039259.XA patent/CN106664486B/zh active Active
- 2015-07-21 KR KR1020177004541A patent/KR102313894B1/ko active IP Right Grant
-
2017
- 2017-12-27 US US15/855,556 patent/US10251005B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101278337A (zh) * | 2005-07-22 | 2008-10-01 | 索福特迈克斯有限公司 | 噪声环境中语音信号的健壮分离 |
JP2011030022A (ja) * | 2009-07-27 | 2011-02-10 | Canon Inc | 雑音判定装置、音声記録装置、及び雑音判定装置の制御方法 |
US20120123771A1 (en) * | 2010-11-12 | 2012-05-17 | Broadcom Corporation | Method and Apparatus For Wind Noise Detection and Suppression Using Multiple Microphones |
CN103348686A (zh) * | 2011-02-10 | 2013-10-09 | 杜比实验室特许公司 | 用于风检测和抑制的系统和方法 |
WO2013091021A1 (en) * | 2011-12-22 | 2013-06-27 | Wolfson Dynamic Hearing Pty Ltd | Method and apparatus for wind noise detection |
WO2014062152A1 (en) * | 2012-10-15 | 2014-04-24 | Mh Acoustics, Llc | Noise-reducing directional microphone array |
Non-Patent Citations (1)
Title |
---|
DAVID KEITH WILSON,DAVID KEITH WILSON: "Discrimination of Wind Noise and Sound Waves by Their Contrasting Spatial and Temporal Properties", 《ACTA ACUSTICA UNITED WITH ACUSTICA》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109036449A (zh) * | 2017-06-09 | 2018-12-18 | 恩智浦有限公司 | 在风噪声中检测有意义的声学信号 |
CN109036449B (zh) * | 2017-06-09 | 2023-08-25 | 汇顶科技(香港)有限公司 | 在风噪声中检测有意义的声学信号 |
CN109257675A (zh) * | 2018-10-19 | 2019-01-22 | 歌尔科技有限公司 | 一种防风噪方法、耳机及存储介质 |
CN109257675B (zh) * | 2018-10-19 | 2019-12-10 | 歌尔科技有限公司 | 一种防风噪方法、耳机及存储介质 |
CN113874732A (zh) * | 2019-06-19 | 2021-12-31 | 思睿逻辑国际半导体有限公司 | 通过加速度测量进行风检测的装置和方法 |
CN113874732B (zh) * | 2019-06-19 | 2023-06-09 | 思睿逻辑国际半导体有限公司 | 通过加速度测量进行风检测的装置和方法 |
TWI779261B (zh) * | 2020-01-22 | 2022-10-01 | 仁寶電腦工業股份有限公司 | 風切濾波裝置 |
CN113643715A (zh) * | 2020-05-11 | 2021-11-12 | 脸谱科技有限责任公司 | 降低风噪声的系统和方法 |
CN113670369A (zh) * | 2021-07-09 | 2021-11-19 | 南京航空航天大学 | 基于移动终端的风速测量及风噪声检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
AU2015292259A1 (en) | 2016-12-15 |
US9906882B2 (en) | 2018-02-27 |
US20170208407A1 (en) | 2017-07-20 |
EP3172906A4 (en) | 2018-01-10 |
KR102313894B1 (ko) | 2021-10-18 |
CN106664486B (zh) | 2019-06-28 |
US10251005B2 (en) | 2019-04-02 |
WO2016011499A1 (en) | 2016-01-28 |
EP3172906A1 (en) | 2017-05-31 |
KR20170034405A (ko) | 2017-03-28 |
US20180176704A1 (en) | 2018-06-21 |
EP3172906B1 (en) | 2019-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106664486B (zh) | 用于风噪声检测的方法和装置 | |
US10602267B2 (en) | Sound signal processing apparatus and method for enhancing a sound signal | |
US7813923B2 (en) | Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset | |
US9516408B2 (en) | Method and apparatus for wind noise detection | |
EP2751806B1 (en) | A method and a system for noise suppressing an audio signal | |
EP2381702B1 (en) | Systems and methods for own voice recognition with adaptations for noise robustness | |
EP3526979B1 (en) | Method and apparatus for output signal equalization between microphones | |
US9082411B2 (en) | Method to reduce artifacts in algorithms with fast-varying gain | |
CN110770827B (zh) | 基于相关性的近场检测器 | |
US8422696B2 (en) | Apparatus and method for removing noise | |
JP4816711B2 (ja) | 通話音声処理装置および通話音声処理方法 | |
EP2881948A1 (en) | Spectral comb voice activity detection | |
JP2010112996A (ja) | 音声処理装置、音声処理方法およびプログラム | |
US20140341386A1 (en) | Noise reduction | |
US10504537B2 (en) | Wind noise measurement | |
CN107543569B (zh) | 基于调频声波的空间扰动检测方法与装置 | |
Jan et al. | Blind reverberation time estimation based on Laplace distribution | |
WO2021021683A1 (en) | Method and apparatus for normalizing features extracted from audio data for signal recognition or modification | |
Sapozhnykov | Sub-band detector for wind-induced noise | |
CN116453537B (zh) | 一种提高音频信息传输效果方法及系统 | |
CN108781317B (zh) | 利用线性传感器阵列检测非相关信号分量的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |