CN111052226B - 噪声消除系统、噪声消除头戴式耳机和噪声消除方法 - Google Patents

噪声消除系统、噪声消除头戴式耳机和噪声消除方法 Download PDF

Info

Publication number
CN111052226B
CN111052226B CN201880056605.9A CN201880056605A CN111052226B CN 111052226 B CN111052226 B CN 111052226B CN 201880056605 A CN201880056605 A CN 201880056605A CN 111052226 B CN111052226 B CN 111052226B
Authority
CN
China
Prior art keywords
noise
signal
audio device
noise cancellation
adjustable gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880056605.9A
Other languages
English (en)
Other versions
CN111052226A (zh
Inventor
彼得·麦卡琴
罗伯特·阿尔科克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AMS CO LTD
Original Assignee
AMS CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AMS CO LTD filed Critical AMS CO LTD
Publication of CN111052226A publication Critical patent/CN111052226A/zh
Application granted granted Critical
Publication of CN111052226B publication Critical patent/CN111052226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17861Methods, e.g. algorithms; Devices using additional means for damping sound, e.g. using sound absorbing panels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3012Algorithms
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3027Feedforward
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3028Filtering, e.g. Kalman filters or special analogue or digital filters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3035Models, e.g. of the acoustic system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3048Pretraining, e.g. to identify transfer functions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3056Variable gain

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)

Abstract

一种用于支持噪声消除的音频设备的噪声消除系统包括:各自被设计为处理噪声信号的第一噪声滤波器(HLF)和第二噪声滤波器(LLF)、组合器(CMB)和适配引擎(ADP)。第一噪声滤波器(HLF)具有与音频设备的高泄漏状态匹配的第一固定频率响应。第二噪声滤波器(HLF)具有与音频设备的低泄漏状态匹配的第二固定频率响应。组合器(CMB)配置为基于利用第一可调增益因子放大的第一噪声滤波器的输出和利用第二可调增益因子放大的第二噪声滤波器的输出的组合来提供补偿信号(cm)。适配引擎(ADP)配置为基于误差噪声信号(nerr)来评估音频设备的泄漏状态,并且基于所评估的泄漏状态来调节第一和第二可调增益因子中的至少一个。

Description

噪声消除系统、噪声消除头戴式耳机和噪声消除方法
技术领域
本公开涉及一种噪声消除系统、一种具有这种系统的噪声消除头戴式耳机以及一种噪声消除方法。
背景技术
如今,大量头戴式耳机(包括耳塞式耳机)配备了噪声消除技术。例如,这种噪声消除技术被称为主动噪声消除或环境噪声消除,两者均被缩写为ANC。ANC通常利用记录的环境噪声进行处理以产生抗噪信号,然后将抗噪信号与有用的音频信号进行组合以在头戴式耳机的扬声器上播放。ANC也能够用于其他音频设备中,像手持设备或移动电话。
各种ANC方法都使用反馈FB麦克风、前馈FF麦克风或反馈和前馈麦克风的组合。
为了使每个系统有效地工作,头戴式耳机优选地对耳朵/头部进行近乎完美的密封,该密封在佩戴着设备时不会改变,并且对任何用户都一样。由于不合适而导致的这种密封的任何变化都会改变声学特性,并且最终改变ANC的性能。这种密封通常在耳垫和用户的头部之间,或在耳塞式耳机的橡胶头和耳道壁之间。
对于大多数噪声消除头戴式耳机和耳塞式耳机,在不同用户之间佩戴时要努力保持一致的合适,以确保头戴式耳机的声学特性不会改变并且始终与滤波器良好的匹配。但是,“泄漏式”的耳塞式耳机和头戴式耳机不会在耳垫/尖端和耳朵之间进行密封,当不同的人佩戴时,其声学特性会有很大变化。此外,由于典型的日常头部运动,当耳塞式耳机在他们的耳朵中运动时,对于用户声学特性会有所不同。因此,对于任何泄漏式的耳塞式耳机或头戴式耳机,都需要进行一些适配以确保滤波器始终与声学特性匹配。
最流行的适配算法是通过直接改变滤波器系数来改变滤波器响应。核心最小均方(LMS)算法有多种变型,这些变型在过去已经用于处理适配噪声消除。这些包括u-滤波LMS和x-滤波LMS。然而,当将LMS算法应用于IIR滤波器时,必须对算法进行约束以防止其变得不稳定。这些约束能够限制适配的成功,并且减慢适配的速度。
发明内容
本公开提供用于音频设备中的噪声消除的改进的信号处理概念,音频设备例如为头戴式耳机或手持设备,该信号处理概念改善了噪声消除性能。
改进的信号处理概念基于思想:用分别具有固定频率响应的两个或更多个滤波器代替具有可调滤波器特性的单个滤波器,这两者都处理同一噪声信号。将这些滤波器的输出与相应的可调增益因子组合,该相应的可调增益因子组合基于音频设备的实际泄漏状态来调节。能够基于误差噪声信号来评估或确定泄漏状态。
例如,改进的信号处理概念通过实施并联的两个或更多个固定的ANC滤波器来实现。在其最简单的形式中,这将是两个滤波器。一个调谐为当佩戴在最可能泄漏的位置时匹配音频设备(例如耳塞式耳机)的声学特性。另一个调谐为当佩戴在最可能密封的位置时匹配耳塞式耳机的声学特性。这两个位置代表了任何人可以佩戴耳机的极限。
然后将两个滤波器混合以在两个滤波器形状之间进行线性内插。通过调节这两个滤波器的混合,实现新的结果滤波器形状,该形状能够匹配这两个极端之间的任何泄漏设置。这两个滤波器的混合被调节以最小化优选地位于音频设备的扬声器前面的误差麦克风的信号。
优点是在广泛的泄漏范围内具有良好的噪声消除性能。这意味着泄漏式的耳塞式耳机和手持设备能够实施噪声消除。这也意味着没有预算来实施低公差部件和制造工艺的低端耳塞式耳机和头戴式耳机在不同的人之间能够具有更好的噪声消除性能和更可靠的噪声消除性能。
改进的信号处理概念基于新的理解:在并联布置的两个滤波器之间进行插值能够匹配用于几种不同泄漏的耳塞式耳机的声学特性响应。
该方法能够被容易地扩展成更多的噪声滤波器,这些噪声滤波器与音频设备的一个或更多个相应的中间泄漏状态匹配。在那种情况下,可以在最接近所确定的实际泄漏状态匹配的那些滤波器之间进行插值。
由于滤波器的输出通过相应的增益因子仅线性的变化,因此即使采用递归滤波器,滤波器也不会变得不稳定。因此,改进的信号处理概念实现了稳定的ANC。
在根据改进的信号处理概念的噪声消除系统的实施例中,该系统将用于像头戴式耳机、耳塞式耳机、移动电话、手持设备等支持噪声消除功能的音频设备,该系统包括第一和第二噪声滤波器、组合器和适配引擎。第一噪声滤波器具有与音频设备的高泄漏状态匹配的第一固定频率响应,并且被设计为处理噪声信号。第二噪声滤波器具有与音频设备的低泄漏状态匹配的第二固定频率响应,并且被设计为处理与第一噪声滤波器相同的噪声信号。组合器被配置为基于利用第一可调增益因子放大的第一噪声滤波器的输出和利用第二可调增益因子放大的第二噪声滤波器的输出的组合来提供补偿信号。适配引擎被配置为基于误差噪声信号来评估音频设备的泄漏状态,并且基于所评估的泄漏状态来调节第一可调增益因子和第二可调增益因子中的至少一个可调增益因子。例如,分别进行、调节第一和第二可调增益因子的设置。例如,在噪声消除系统的运行期间进行第一和第二可调增益因子中的该至少一个可调增益因子的调节。
在下文中,将解释改进的概念,有时会将头戴式耳机或耳塞式耳机作为音频设备的示例。然而,应当理解,该示例不是限制性的,并且,在用户使用期间能够出现不同的泄漏状态的情况下,对于其他种类的音频设备,本领域技术人员也将理解该示例。通常,术语音频设备应该包括所有类型的音频再现设备。
例如,在预定义的最高泄漏状态下,例如使用标准ANC滤波器匹配技术,对第一噪声滤波器进行预调谐以匹配耳塞式耳机的ANC目标功能。因此,在预定义的最低泄漏状态下,再次使用标准技术,对第二噪声滤波器进行预调谐以匹配耳机的ANC目标功能。最低泄漏状态和最高泄漏状态代表耳塞式耳机可能被佩戴的最低可能泄露和最高可能泄露。最低的泄漏通常是完全密封的。针对这些状态的目标功能例如可以通过在头和躯干模拟器上使用定制的泄漏适配器来获得,或者能够通过对所选测试对象进行测量来获得。然而,确定第一和第二噪声滤波器的固定频率响应不是改进的信号处理概念本身的主题。
误差噪声信号可以是由位于音频设备的扬声器附近的反馈噪声麦克风记录的反馈噪声信号。因此,误差噪声信号包含关于在扬声器上播放的音频信号中的噪声部分的信息。
根据ANC的类型,要由第一和第二噪声滤波器处理的噪声信号可以是在前馈ANC的实施方式的情况下由环境噪声麦克风记录的信号,或者在反馈ANC实施方式的情况下的误差噪声信号或附加反馈噪声信号。
例如适配引擎被配置为基于在一个或更多个不同频率或频率范围下的误差噪声信号的噪声评价来评估泄漏状态。例如,在这些频率或频率范围下的噪声贡献指示了当前的泄漏状态。
在一些实施方式中,适配引擎被配置为基于误差噪声信号的滤波后的版本来评估泄漏状态。
噪声信号的评估能够在模拟域以及数字域中执行。误差噪声信号的评估能够在时域中(例如通过使用具有一个或更多个通带的带通滤波器)执行或在频域中(例如采用FFT算法)执行。
在一些实施方式中,适配引擎被配置为使用所评估的泄漏状态与第一和第二可调增益因子之间的映射函数、特别是多项式映射函数来调节第一和第二可调增益因子。多项式映射包括线性函数和非线性函数。
在一些实施方式中,适配引擎被配置为进一步基于外部输入(例如用户输入)来调节第一和第二可调增益因子。例如,外部输入确定或操纵泄漏状态与增益因子之间的映射函数。然而,外部输入也可以影响误差噪声信号的评价。例如,外部输入可以选择评估泄漏状态的方式,从而影响例如评估的速度和增益因子的设置。用户可以通过在包括ANC系统的设备上运行的应用来提供外部输入。
在各种实施方式中,在组合器中执行的组合是和或加权和。例如,在将利用第一噪声滤波器和第二噪声滤波器处理的信号加在一起之前,这些信号会利用相应的权重贡献于补偿信号。
在一些实施方式中,组合器还被进一步配置为基于利用补充可调增益因子放大的组合来提供补偿信号。在这种的实施方式中,适配引擎被进一步配置为基于所评估的泄漏状态来调节补充可调增益因子。例如,进一步将和或加权和与补充可调增益因子相乘。
如前所述,噪声消除系统相应的第一和第二噪声滤波器能够是前馈类型或反馈类型ANC。
因此,在一些实施方式中,第一噪声滤波器和第二噪声滤波器均为前馈噪声消除类型。在这种实施方式中,噪声信号是环境噪声信号,特别是由音频设备的环境噪声麦克风记录的环境噪声信号。在一些实施方式中,误差噪声信号是反馈噪声信号。例如,反馈噪声信号是由位于音频设备的扬声器附近的反馈噪声麦克风记录的。
在这些实施方式中的一些中,适配引擎可以被配置为基于在一个或更多个不同频率或频率范围下、在误差噪声信号与噪声信号之间的比率来评估泄漏状态。例如,这允许确定有多少存在于环境噪声信号中的、在特定频率下的噪声贡献也存在于误差噪声信号中。例如,泄漏状态越低,误差噪声信号中的贡献就越低,反之亦然。
在一些其他的实施方式中,第一噪声滤波器和第二噪声滤波器均为反馈噪声消除类型。在这种实施方式中,作为对第一和第二噪声滤波器的输入的噪声信号是误差噪声信号,其优选地是如上所述的反馈噪声信号。
在一些实施方式中,噪声消除系统还能够体现为具有前馈ANC滤波器和反馈ANC滤波器的混合ANC系统。例如,这样的实施方式可以基于上述的前馈实施方式,并且进一步包括均为反馈噪声消除类型的并且被设计为处理误差噪声信号的第三和第四噪声滤波器。第三噪声滤波器具有与高泄漏状态匹配的第三固定频率响应,并且第四噪声滤波器具有与音频设备的低泄漏状态匹配的第四固定频率响应。由组合器从第一和第二噪声滤波器产生的、为前馈噪声消除类型的补偿信号是前馈补偿信号。组合器被进一步配置为基于利用第三可调增益因子放大的第三噪声滤波器的输出和利用第四可调增益因子放大的第四噪声滤波器的输出的组合来提供反馈补偿信号。适配引擎被进一步配置为基于所评估的泄漏状态来调节第三和第四可调增益因子。
在上述各种实施例中,补偿信号(分别为前馈补偿信号或反馈补偿信号)可以进一步由音频处理器处理,该音频处理器基于有用音频信号和相应的一个或更多个补偿信号产生结果音频信号以在扬声器上播放。在应用的反馈ANC的情况下,还可以由音频处理器AUD基于有用音频信号对提供给反馈滤波器的反馈误差信号进行预处理,以便考虑反馈误差信号中的有用音频信号的部分。对于前馈ANC和反馈ANC而言,具有作为输入的、滤波后的噪声信号的这种音频处理器的具体实施方式对于本领域技术人员而言是众所周知的,且因此在此不再详细讨论。
在一些实施方式中,噪声消除系统进一步包括一个或更多个另外的噪声滤波器,每个噪声滤波器具有与音频设备的不同的中等泄漏状态匹配的另外的固定频率响应,并且被设计为处理噪声信号。组合器被配置为基于利用第一可调增益因子放大的第一噪声滤波器的输出、利用第二可调增益因子放大的第二噪声滤波器的输出以及各自利用相应的另外的可调增益因子放大的该一个或更多个另外的噪声滤波器的相应的输出的组合来提供补偿信号。适配引擎被进一步配置为基于所评估的泄漏状态来调节相应的另外的可调增益因子。与一些中间泄漏状态匹配的这种附加噪声滤波器都能够应用于前馈或反馈实施方式,甚至能够应用于混合实施方式。在后一种情况下,用于前馈和反馈的滤波器的数量甚至能够不同。
根据改进的信号处理概念,支持噪声消除的音频设备(例如头戴式耳机、耳塞式耳机、移动电话、手持设备等)包括根据上述实施例之一的噪声消除系统、扬声器和位于扬声器附近的用于提供误差噪声信号的反馈噪声麦克风。通常,代替支持噪声消除功能的设备,音频播放器也能够包括根据上述实施例之一的支持噪声消除系统的音频设备。
根据改进的信号处理概念,还公开了一种用于支持噪声消除的音频设备的噪声消除方法。该方法包括:利用第一噪声滤波器来处理噪声信号具有与音频设备的高泄漏状态匹配的第一固定频率响应的,以及利用具有与音频设备的低泄漏状态匹配的第二固定频率响应的第二噪声滤波器来处理噪声信号。基于利用第一可调增益因子放大的第一噪声滤波器的输出和利用第二可调增益因子放大的第二噪声滤波器的输出的组合来产生补偿信号。基于误差噪声信号来评估音频设备的泄漏状态。基于所评估的泄漏状态来调节第一和第二可调增益因子中的至少一个可调增益因子。例如,分别进行、调节第一和第二可调增益因子的设置。例如,在噪声消除系统的运行期间调节第一和第二可调增益因子中的该至少一个可调增益因子。
如以上针对噪声消除系统的各种实施例所讨论地,第一噪声滤波器和第二噪声滤波器都能够是前馈噪声消除类型或反馈噪声消除类型,第一噪声滤波器和第二噪声滤波器具有相应的相关联的噪声信号作为它们的输入。根据以上对于噪声消除系统描述的各种实施例,噪声消除方法的各种另外的实施例对于本领域技术人员变得显而易见。
附图说明
下面将参照附图更详细地描述改进的信号处理概念。在所有附图中,具有相同或相似功能的元素使用相同的附图标记。因此,在以下附图中不必重复其描述。
在附图中:
图1示出头戴式耳机的示意图;和
图2至图6示出噪声消除系统的不同实施方式的示例。
具体实施方式
图1示出支持ANC的头戴式耳机HP的示意图,在此示例中,该头戴式耳机被设计为包耳式头戴式耳机或罩耳式头戴式耳机。仅示出了头戴式耳机HP的一部分,对应于单个音频通道。然而立体声头戴式耳机的扩展对于熟练的读者将是显而易见的。头戴式耳机HP包括壳体HS,该壳体承载扬声器SP、反馈噪声麦克风FB_MIC和环境噪声麦克风FF_MIC。反馈噪声麦克风FB_MIC被特别地定向或布置为使得其记录环境噪声和扬声器SP上播放的声音。优选地,反馈噪声麦克风FB_MIC被布置为紧邻扬声器,例如,靠近扬声器SP的边缘或扬声器的膜。环境噪声麦克风FF_MIC被特别地定向或布置为使得其主要记录来自头戴式耳机HP外部的环境噪声。
如果仅执行反馈ANC,则根据要执行的ANC的类型,可以省略环境噪声麦克风FF_MIC。当用户佩戴头戴式耳机HP时,根据改进的信号处理概念,可以使用反馈噪声麦克风FB_MIC来提供误差噪声信号,该误差噪声信号是确定头戴式耳机HP佩戴状态、相应的泄露状态的基础。
ANC的性能通常取决于佩戴状态,因为ANC滤波器的滤波特性通常会修整为特定的状态。例如,该状态确定了如何紧密地或密封地相对于用户定位头戴式耳机HP(以音频设备为例)。如果移动了头戴式耳机HP,则此条件会改变,并且声学属性也会改变。特别地,头戴式耳机能够在低泄漏状态下佩戴,其中只有少量的环境噪声能够进入头戴式耳机并到达反馈麦克风FB_MIC。在另一个佩戴状态——高泄漏状态下,环境噪声能够到达头戴式耳机的内部和反馈麦克风FB_MIC。在这两个极端之间存在各种状态。
现在参考图2,示出改进的信号处理概念的示例实施方式的示意框图。该实施方式包括第一噪声滤波器HLF和第二噪声滤波器LLF,它们均被输入有噪声信号n0,使得两个滤波器都处理相同的信号。第一噪声滤波器HLF具有与音频设备(例如,头戴式耳机HP)的高泄漏状态匹配的第一固定频率响应。第二噪声滤波器具有与音频设备的低泄漏状态匹配的第二固定频率响应。因此,如果音频设备处于高泄漏状态中,则仅第一噪声滤波器HLF的输出会用于ANC处理。类似地,如果音频设备处于低泄漏状态中,则仅第二噪声滤波器LLF的输出会用于ANC处理。
该实施方式还包括组合器CMB,该组合器CMB分别将放大的第一和第二噪声滤波器HLF、LLF的输出与第一可调增益因子G1和第二可调增益因子G2组合。例如,该组合通过对滤波器输出信号的放大版本进行求和来执行。该和能够直接用作补偿信号cm,或可选地利用补充增益因子GS对该和放大。之后可以由音频处理器AUD使用补偿信号cm,该音频处理器根据实施的ANC结构将补偿信号cm与有用的音频信号s0组合。然后将还可以包括放大器等的音频处理器AUD的输出输出到音频设备的扬声器SP。
增益因子G1和G2以及可选地GS由适配引擎ADP进行调节,该适配引擎被配置为基于由反馈麦克风FB_MIC提供的误差噪声信号nerr来评估音频设备的泄漏状态。适配引擎ADP基于所评估的泄漏状态来调节第一和第二可调增益因子G1、G2以及可选地GS。例如,在噪声消除装置或包括该装置的音频设备的运行期间,对可调增益因子G1、G2和可选地GS中的至少一个进行调节。
如上所述,实际的泄漏状态与噪声——特别地与能够进入音频设备并到达反馈麦克风FB_MIC的环境噪声——量之间存在关系。因此,适配引擎优选地例如在一个或更多个频率或频率范围下执行误差噪声信号nerr的噪声评估。例如,所选的频率对于环境噪声是很有意义的。如上所述,能够利用相应的信号处理方法在时域以及在频域中执行评估。
适配引擎ADP可以在所评估的泄漏状态与可调增益因子G1、G2和GS之间使用映射函数,特别是多项式映射函数。例如,泄漏状态越高,则用于第一噪声滤波器的增益因子G1越高,而用于第二噪声滤波器的第二增益因子G2将因此减小。类似地,要评估的泄漏状态越低,则第二增益因子G2将越大,同时减小第一增益因子G1。
适配引擎ADP可以可选地被配置为进一步基于外部输入extu来调节第一和第二可调增益因子G1、G2,该外部输入可以为用户输入。例如,外部输入extu确定或操纵泄漏状态与增益因子G1、G2和GS之间的映射函数。然而,外部输入extu也可影响误差噪声信号nerr的评估。例如,外部输入extu可以选择评估泄漏状态的方式,从而影响例如评估的速度和增益因子G1、G2和GS的设置。
因此,通过控制两个滤波器HLF、LLF的混合,产生了结果滤波器,该结果滤波器为两个滤波器HLF、LLF的混合。由于实际的泄漏状态将由于用户头部的移动而不断变化,例如头戴式耳机,因此结果滤波器响应也将不断变化。在任何时候,结果滤波器响应是两个噪声滤波器的线性插值。
针对图3中前馈噪声消除系统、图4中的反馈噪声消除系统和图6中的混合噪声消除系统,现在将更详细地解释结合图2已经描述的用于改进信号处理的一般概念。图5示出图2中所示概念的一般扩展。结合这些附图,仅可以解释与图2的实施方式不同。但是,在以下图中所遗漏的图2中的功能仍可以在这些图中使用。
现在参考示出前馈噪声消除系统的图3,噪声信号n0由例如如图1中所示的前馈麦克风FF_MIC提供,并且前馈麦克风一般目的是提供唯一环境噪声信号。因此,相应地适配音频处理器AUD以便执行前馈ANC。
可以可选地将环境噪声信号n0提供给适配引擎ADP,在这种配置中,适配引擎ADP可以被配置为基于在一个或更多个不同频率或频率范围下、误差噪声信号nerr和噪声信号n0之间的比率来评估泄漏状态。这允许确定利用前馈麦克风FF_MIC(也能够称为环境噪声麦克风)记录的环境噪声中有多少也存在于误差噪声信号nerr中。因此,能够基于以不同频率的相对值而不是绝对值来评估泄漏状态,从而提高了评估性能。
现在参考图4,示出反馈ANC系统,其中,误差噪声信号nerr也用作对第一和第二噪声滤波器HLF、LFF的输入。该实施方式中的音频处理器AUD被相应地适配为基于组合的滤波器输出执行反馈ANC。为此,还可以由音频处理器AUD基于有用音频信号s0对提供给反馈滤波器的反馈误差信号nerr进行预处理,以便考虑反馈误差信号nerr中的有用音频信号s0的部分。
即使仅执行反馈ANC,但存在像麦克风FF_MIC的环境噪声麦克风,也能够使用误差噪声信号nerr与由环境噪声麦克风提供的噪声信号之间的噪声比率来执行对泄漏状态的评估,如以上针对图3所述。
现在参考图5,通过使用具有与音频设备的中等泄漏状态匹配的另外的固定频率响应的另外的噪声滤波器MLF来扩展图2中所示的基本概念。中等泄漏状态特别地是介于高泄漏状态和低泄漏状态之间的某处。因此,通过对利用可调增益因子GM放大的另外的噪声滤波器MLF的输出进行附加地求和,以在组合器CMB中形成补偿信号cm。
因此,在该实施方式中的适配引擎ADP进一步配置为不仅基于所评估的泄漏状态来调节第一和第二增益因子G1、G2,而且调节增益因子GM。例如,如果所评估的泄露状态处在与另外的噪声滤波器MLF相关联的泄露状态与相应的另一极端泄露状态之间,则增益因子G1和G2中的一个能够被设置为零,使得仅在与实际泄漏状态最接近匹配的噪声滤波器中的两个之间进行插值。
另外的噪声滤波器与各自不同的泄漏状态匹配。此外,对三个或更多个噪声滤波器的扩展都能够应用于前馈ANC和反馈ANC。
现在参考图6,结合图2所描述的一般概念应用于采用前馈和反馈ANC二者的混合ANC实施方式。因此,在该实施方式中,存在两对滤波器,一对用于前馈部分,且一对用于反馈部分。特别地,前馈部分包括与高泄漏状态匹配的第一前馈噪声滤波器HLF_FF和与低泄漏状态匹配的第二前馈滤波器LLF_FF。类似地,对于反馈部分,具有与高泄漏状态匹配的一个滤波器HLF_FB以及与低泄漏状态匹配的滤波器LLF_FB。这四个滤波器中的每一个与相应的用于前馈部分的可调增益因子G1、G2和用于反馈部分的可调增益因子G3、G4相关联,每个可调增益因子由适配引擎ADP根据上述概念进行调节。音频处理器AUD使用由前馈部分产生的补偿信号cmff和反馈补偿信号cmfb以用于实施混合ANC。如以上针对图4所述,还可以由音频处理器AUD基于有用音频信号s0对提供给反馈滤波器的反馈误差信号nerr进行预处理,以便考虑反馈误差信号nerr中的有用音频信号s0的部分。
之前实施方式中示出的补充增益因子GS已从图6的示例实施方式中删除。然而,前馈部分和反馈部分之一或两者也能够使用相应的补充增益因子。
应当注意,在上述所有实施方式中,根据改进的信号处理概念,麦克风FF_MIC、FB_MIC和扬声器SP都不是噪声消除系统的必要部分。甚至音频处理器AUD也能够从外部提供。例如,这种噪声消除系统在硬件和软件两者中均可实施,例如在信号处理器中实施。噪声消除系统能够位于任何类型的音频播放器中,像移动电话、MP3播放器、平板电脑等。然而,噪声消除系统也能够位于音频设备内,例如,移动手持终端或头戴式耳机、耳塞式耳机等。

Claims (18)

1.一种用于支持噪声消除的音频设备的噪声消除系统,所述系统包括:
-第一噪声滤波器,其具有与音频设备的高泄漏状态匹配的第一固定频率响应,并且被设计为处理噪声信号;
-第二噪声滤波器,其具有与音频设备的低泄漏状态匹配的第二固定频率响应,并且被设计为处理噪声信号;
-组合器,其被配置为基于利用第一可调增益因子放大的第一噪声滤波器的输出和利用第二可调增益因子放大的第二噪声滤波器的输出的组合来提供补偿信号;以及
-适配引擎,其被配置为基于误差噪声信号来评估音频设备的泄漏状态,并且基于所评估的泄漏状态来调节第一和第二可调增益因子中的至少一个可调增益因子;其中
-所述误差噪声信号是由位于所述音频设备的扬声器附近的反馈噪声麦克风记录的反馈噪声信号;并且
-所述第一噪声滤波器和所述第二噪声滤波器均是相同的噪声消除类型,其中所述噪声消除类型是以下之一:
前馈噪声消除类型,其中所述噪声信号是由所述音频设备的环境噪声麦克风记录的环境噪声信号;和
反馈噪声消除类型,其中所述噪声信号是所述误差噪声信号。
2.根据权利要求1所述的噪声消除系统,其中,所述适配引擎被配置为在所述噪声消除系统的运行期间调节第一和第二可调增益因子中的所述至少一个可调增益因子。
3.根据权利要求1所述的噪声消除系统,其中,所述适配引擎被配置为基于在一个或更多个不同频率或频率范围下、所述误差噪声信号的噪声评价来评估所述泄漏状态。
4.根据权利要求1所述的噪声消除系统,其中,所述适配引擎被配置为基于所述误差噪声信号的滤波后的版本来评估所述泄漏状态。
5.根据权利要求1所述的噪声消除系统,其中,所述适配引擎被配置为使用所评估的泄漏状态与所述第一和第二可调增益因子之间的映射函数来调节所述第一和第二可调增益因子。
6.根据权利要求1所述的噪声消除系统,其中,所述适配引擎被配置为进一步基于外部输入来调节所述第一和第二可调增益因子。
7.根据权利要求1所述的噪声消除系统,其中,所述组合器被进一步配置为基于利用补充可调增益因子放大的组合来提供所述补偿信号,并且其中,所述适配引擎被进一步配置为基于所评估的泄漏状态来调节所述补充可调增益因子。
8.根据权利要求1所述的噪声消除系统,其中,
-所述第一噪声滤波器和所述第二噪声滤波器均是前馈噪声消除类型;并且所述适配引擎被配置为基于在一个或更多个不同频率或频率范围下、在误差噪声信号与噪声信号之间的比率来评估泄漏状态。
9.根据权利要求1所述的噪声消除系统,其中所述第一噪声滤波器和所述第二噪声滤波器均是前馈噪声消除类型,所述系统还包括:
-第三噪声滤波器,其为反馈噪声消除类型,具有与所述音频设备的高泄漏状态匹配的第三固定频率响应,并且被设计为处理所述误差噪声信号;
-第四噪声滤波器,其为反馈噪声消除类型,具有与所述音频设备的低泄漏状态匹配的第四固定频率响应,并被设计为处理所述误差噪声信号;其中,
-所述补偿信号为前馈补偿信号;
-所述组合器被配置为基于利用第三可调增益因子放大的所述第三噪声滤波器的输出和利用第四可调增益因子放大的所述第四噪声滤波器的输出的组合来提供反馈补偿信号;并且
-所述适配引擎被进一步配置为基于所评估的泄漏状态来调节所述第三和第四可调增益因子。
10.根据权利要求1所述的噪声消除系统,所述系统还包括:
-一个或更多个另外的噪声滤波器,每个噪声滤波器是与第一噪声滤波器和第二噪声滤波器相同的噪声消除类型并且具有与所述音频设备的不同的中等泄漏状态匹配的另外的固定频率响应,并且被设计为处理噪声信号;其中,
-所述组合器被配置为基于利用所述第一可调增益因子放大的所述第一噪声滤波器的输出、利用所述第二可调增益因子放大的所述第二噪声滤波器的输出以及各自利用相应的另外的可调增益因子放大的所述一个或更多个另外的噪声滤波器的相应的输出的组合来提供补偿信号;并且
-所述适配引擎被进一步配置为基于所评估的泄漏状态来调节所述相应的另外的可调增益因子。
11.根据权利要求1所述的噪声消除系统,其中所述音频设备是头戴式耳机。
12.根据权利要求5所述的噪声消除系统,其中所述映射函数是多项式映射函数。
13.根据权利要求6所述的噪声消除系统,其中所述外部输入是用户输入。
14.一种支持噪声消除的音频设备,所述音频设备包括根据权利要求1所述的噪声消除系统、扬声器和位于所述扬声器附近的用于提供误差噪声信号的反馈噪声麦克风。
15.一种音频播放器,包括根据权利要求1所述的噪声消除系统。
16.一种用于支持噪声消除的音频设备的噪声消除方法,所述方法包括:
-利用第一噪声滤波器处理噪声信号,所述第一噪声滤波器具有与所述音频设备的高泄漏状态匹配的第一固定频率响应;
-利用第二噪声滤波器处理噪声信号,所述第二噪声滤波器具有与所述音频设备的低泄漏状态匹配的第二固定频率响应;
-基于利用第一可调增益因子放大的第一噪声滤波器的输出和利用第二可调增益因子放大的第二噪声滤波器的输出的组合来产生补偿信号;
-基于误差噪声信号来评估所述音频设备的泄漏状态;和
-基于所评估的泄漏状态来调节所述第一和第二可调增益因子中的至少一个可调增益因子;其中
-所述误差噪声信号是由位于所述音频设备的扬声器附近的反馈噪声麦克风记录的反馈噪声信号;并且
-所述第一噪声滤波器和所述第二噪声滤波器均是相同的噪声消除类型,其中所述噪声消除类型是以下之一:
前馈噪声消除类型,其中所述噪声信号是由所述音频设备的环境噪声麦克风记录的环境噪声信号;和
反馈噪声消除类型,其中所述噪声信号是误差噪声信号。
17.根据权利要求16所述的方法,其中,在所述噪声消除音频设备的运行期间调节所述第一和第二可调增益因子中的所述至少一个可调增益因子。
18.根据权利要求16所述的方法,其中所述音频设备是头戴式耳机。
CN201880056605.9A 2017-09-01 2018-08-27 噪声消除系统、噪声消除头戴式耳机和噪声消除方法 Active CN111052226B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17189001.5A EP3451327B1 (en) 2017-09-01 2017-09-01 Noise cancellation system, noise cancellation headphone and noise cancellation method
EP17189001.5 2017-09-01
PCT/EP2018/073012 WO2019042930A1 (en) 2017-09-01 2018-08-27 NOISE REDUCTION SYSTEM, NOISE REDUCTION EARPHONES, AND NOISE REDUCTION METHOD

Publications (2)

Publication Number Publication Date
CN111052226A CN111052226A (zh) 2020-04-21
CN111052226B true CN111052226B (zh) 2023-05-12

Family

ID=59761830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880056605.9A Active CN111052226B (zh) 2017-09-01 2018-08-27 噪声消除系统、噪声消除头戴式耳机和噪声消除方法

Country Status (5)

Country Link
US (1) US10937408B2 (zh)
EP (1) EP3451327B1 (zh)
KR (1) KR102400710B1 (zh)
CN (1) CN111052226B (zh)
WO (1) WO2019042930A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3712884B1 (en) 2019-03-22 2024-03-06 ams AG Audio system and signal processing method for an ear mountable playback device
EP3712883B1 (en) 2019-03-22 2024-04-24 ams AG Audio system and signal processing method for an ear mountable playback device
EP3799031B1 (en) 2019-09-30 2022-11-30 Ams Ag Audio system and signal processing method for an ear mountable playback device
EP3828879A1 (en) * 2019-11-28 2021-06-02 Ams Ag Noise cancellation system and signal processing method for an ear-mountable playback device
CN112185336A (zh) * 2020-09-28 2021-01-05 苏州臻迪智能科技有限公司 一种噪声消减方法、装置及设备
US11483655B1 (en) 2021-03-31 2022-10-25 Bose Corporation Gain-adaptive active noise reduction (ANR) device
CN113490098A (zh) * 2021-07-07 2021-10-08 东莞市逸音电子科技有限公司 一种anc耳机主动降噪滤波器主动优化算法
CN113938786B (zh) * 2021-11-26 2023-12-08 恒玄科技(上海)股份有限公司 补偿耳机泄漏的方法、装置以及耳机
CN113794965B (zh) * 2021-10-28 2022-11-01 歌尔科技有限公司 耳机频响校准方法、装置、耳机设备及存储介质
WO2024029849A1 (ko) * 2022-08-05 2024-02-08 삼성전자주식회사 센서에 기반하여 오디오 신호를 제어하기 위한 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217187A (ja) * 1998-10-13 2000-08-04 Lucent Technol Inc フィ―ドフォワ―ドの雑音打消しを採用している電話の受話器
GB201202974D0 (en) * 2012-02-21 2012-04-04 Wolfson Microelectronics Plc Noise cancellation system
DE102011116991A1 (de) * 2011-10-26 2013-05-02 Austriamicrosystems Ag Geräuschunterdrückungssystem und Verfahren zur Geräuschunterdrückung
CN103460715A (zh) * 2011-03-31 2013-12-18 伯斯有限公司 自适应前馈降噪
GB201519000D0 (en) * 2015-08-21 2015-12-09 Cirrus Logic Int Semiconductor Ltd Hybrid adaptive noise cancellation system with filtered error microphone signal
WO2016100602A1 (en) * 2014-12-19 2016-06-23 Cirrus Logic, Inc. Circuit and method for performance and stability control of feedback adaptive noise cancellation
EP3171612A1 (fr) * 2015-11-19 2017-05-24 Parrot Drones Casque audio à contrôle actif de bruit, contrôle anti-occlusion et annulation de l'atténuation passive, en fonction de la présence ou de l'absence d'une activité vocale de l'utilisateur de casque

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5138664A (en) 1989-03-25 1992-08-11 Sony Corporation Noise reducing device
US5497426A (en) * 1993-11-15 1996-03-05 Jay; Gregory D. Stethoscopic system for high-noise environments
GB0725113D0 (en) 2007-12-21 2008-01-30 Wolfson Microelectronics Plc SNR dependent gain
JP5660655B2 (ja) 2009-08-21 2015-01-28 ローム株式会社 車両のタイヤ空気圧管理装置および空気圧情報を出力可能な車両用タイヤ
DE102011013343B4 (de) * 2011-03-08 2012-12-13 Austriamicrosystems Ag Regelsystem für aktive Rauschunterdrückung sowie Verfahren zur aktiven Rauschunterdrückung
US8831239B2 (en) * 2012-04-02 2014-09-09 Bose Corporation Instability detection and avoidance in a feedback system
US9142205B2 (en) * 2012-04-26 2015-09-22 Cirrus Logic, Inc. Leakage-modeling adaptive noise canceling for earspeakers
US9129586B2 (en) 2012-09-10 2015-09-08 Apple Inc. Prevention of ANC instability in the presence of low frequency noise
US9330652B2 (en) * 2012-09-24 2016-05-03 Apple Inc. Active noise cancellation using multiple reference microphone signals
US8798283B2 (en) * 2012-11-02 2014-08-05 Bose Corporation Providing ambient naturalness in ANR headphones
US10206032B2 (en) * 2013-04-10 2019-02-12 Cirrus Logic, Inc. Systems and methods for multi-mode adaptive noise cancellation for audio headsets
US9741333B2 (en) * 2014-01-06 2017-08-22 Avnera Corporation Noise cancellation system
US9293128B2 (en) * 2014-02-22 2016-03-22 Apple Inc. Active noise control with compensation for acoustic leak in personal listening devices
US20160300562A1 (en) * 2015-04-08 2016-10-13 Apple Inc. Adaptive feedback control for earbuds, headphones, and handsets
US20170110105A1 (en) * 2015-10-16 2017-04-20 Avnera Corporation Active noise cancelation with controllable levels
KR102452748B1 (ko) * 2015-11-06 2022-10-12 시러스 로직 인터내셔널 세미컨덕터 리미티드 적응적 잡음 소거 시스템에서 피드백 하울링 관리
US9949017B2 (en) * 2015-11-24 2018-04-17 Bose Corporation Controlling ambient sound volume

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217187A (ja) * 1998-10-13 2000-08-04 Lucent Technol Inc フィ―ドフォワ―ドの雑音打消しを採用している電話の受話器
CN103460715A (zh) * 2011-03-31 2013-12-18 伯斯有限公司 自适应前馈降噪
DE102011116991A1 (de) * 2011-10-26 2013-05-02 Austriamicrosystems Ag Geräuschunterdrückungssystem und Verfahren zur Geräuschunterdrückung
GB201202974D0 (en) * 2012-02-21 2012-04-04 Wolfson Microelectronics Plc Noise cancellation system
WO2016100602A1 (en) * 2014-12-19 2016-06-23 Cirrus Logic, Inc. Circuit and method for performance and stability control of feedback adaptive noise cancellation
GB201519000D0 (en) * 2015-08-21 2015-12-09 Cirrus Logic Int Semiconductor Ltd Hybrid adaptive noise cancellation system with filtered error microphone signal
EP3171612A1 (fr) * 2015-11-19 2017-05-24 Parrot Drones Casque audio à contrôle actif de bruit, contrôle anti-occlusion et annulation de l'atténuation passive, en fonction de la présence ou de l'absence d'une activité vocale de l'utilisateur de casque

Also Published As

Publication number Publication date
US20200265826A1 (en) 2020-08-20
EP3451327B1 (en) 2023-01-25
KR20200034751A (ko) 2020-03-31
US10937408B2 (en) 2021-03-02
EP3451327A1 (en) 2019-03-06
WO2019042930A1 (en) 2019-03-07
KR102400710B1 (ko) 2022-05-23
CN111052226A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111052226B (zh) 噪声消除系统、噪声消除头戴式耳机和噪声消除方法
KR102266080B1 (ko) 주파수 의존 측음 교정
KR102129717B1 (ko) 적응적 잡음 소거 시스템의 계수들의 동적 바이어스를 포함하는 적응적 잡음 소거를 위한 시스템들 및 방법들
US9704472B2 (en) Systems and methods for sharing secondary path information between audio channels in an adaptive noise cancellation system
EP1261962B1 (en) A method of improving the audibility of sound from a loudspeaker located close to an ear
JPWO2009041012A1 (ja) ノイズ制御システム
EP3799031B1 (en) Audio system and signal processing method for an ear mountable playback device
CN108140380B (zh) 具有部分地由固定响应滤波器提供的反馈响应的自适应消噪反馈控制器及方法
EP3828879A1 (en) Noise cancellation system and signal processing method for an ear-mountable playback device
US11978469B1 (en) Ambient noise aware dynamic range control and variable latency for hearing personalization
CN116208879A (zh) 具有主动降噪功能的耳机及主动降噪方法
CN114173244A (zh) 具有泄漏检测的稳健开耳式环境声音控制
CN114450745A (zh) 用于耳戴式播放设备的音频系统和信号处理方法
CN111656436B (zh) 噪声消除滤波器结构、噪声消除系统及信号处理方法
EP3840402A1 (en) Wearable electronic device with low frequency noise reduction
CN113906500A (zh) 用于耳戴式播放设备的音频系统和信号处理方法
CN115396774A (zh) 主动降噪方法和主动降噪耳机
CN115398934A (zh) 再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算机程序
US11688383B2 (en) Context aware compressor for headphone audio feedback path
US12002447B2 (en) Noise cancellation system and signal processing method for an ear-mountable playback device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant