CN108353235A - 助听器 - Google Patents
助听器 Download PDFInfo
- Publication number
- CN108353235A CN108353235A CN201680062442.6A CN201680062442A CN108353235A CN 108353235 A CN108353235 A CN 108353235A CN 201680062442 A CN201680062442 A CN 201680062442A CN 108353235 A CN108353235 A CN 108353235A
- Authority
- CN
- China
- Prior art keywords
- speech
- assistance system
- hearing assistance
- another people
- sound receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/008—Visual indication of individual signal levels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1058—Manufacture or assembly
- H04R1/1075—Mountings of transducers in earphones or headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/61—Aspects relating to mechanical or electronic switches or control elements, e.g. functioning
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Neurosurgery (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
一种指示在助听系统中接收到话音的系统和方法,助听系统被构造和布置为帮助用户更好地听到另一人的话音。助听系统包括能够确定助听系统是否已经接收到语音的检测器。响应于检测到助听系统接收到另一人的话音,在视觉上指示助听系统接收到另一人的话音。
Description
技术领域
本公开涉及帮助人们更好地听到他人的声音的系统和方法。
背景技术
当耳机的用户公开地佩戴耳机时,向他人广播的社交信息是佩戴耳机的人在收听他们自己的世界并且不是收听外部世界。看起来像现有耳机的助听设备可能会广播相同的社交消息,这与预期的正相反。当用户佩戴助听设备(并以助听模式操作该设备)时,用户想要连接到外部世界。这些设备希望广播用户参与外部世界而不是不理睬外部世界的社交消息。
发明内容
本公开部分地论述了将看起来像现有耳机的设备用于助听设备的社交方面。活动指示器用于提供助听设备的用户没有“不理睬”想要与该用户交互的人的信息。指示器可以采取多种形式。一种形式是主动视觉指示器,用信号表示佩戴者是否参与外部世界(例如经由红色或绿色发光二极管(LED))。然而,这种指示器的问题可能是LED的含义对于与佩戴者交互的人可能不明显。因此,在另一种形式中,话音活动检测器可操作地耦合到助听设备麦克风阵列的输出,并且当在阵列输出中检测到话音时,设备上的视觉指示器被点亮。麦克风阵列可以是定向的,但不一定是定向的。当设备处于助听模式时,当检测到用户以外的人的话音时,指示器活动并以某种方式点亮(例如,柔和的绿色光)。该指示器对另一人(讲话者)可见,并且与话音(而不是其他声音)相关,因此讲话者知道他们的话音被检测到。指示器可以具有窄视场,从而其仅在有限的视角上可见。为此,可以使用窄视场发光二极管(LED)。在一个非限制性示例中,指示器的发光强度可以随着讲话者是否说话而调整。该指示器因此向讲话者直接反馈设备已经听到该讲话者。
在一个示例中,用户也可以关闭指示器,例如当他们希望听他们自己的内容而不听外部世界时,或者当由于某种原因用户不喜欢指示器想法时。
该指示器不与声音的接收相关联。相反,它具体与指示在接收到的声音信号中是否识别出语音相关联。还可以存在指示器的方向选择性。该方向选择性应该与将音频信号馈送给用户的定向麦克风阵列的方向性相匹配。通过使用麦克风阵列输出信号(在其被波束成型之后)(它是呈现给用户的耳朵的相同信号)作为话音活动检测器的输入,指示器还将跟踪在使用时可动态发生的阵列指向性的任何改变。替代地,可以使用每个个体耳朵信号,或者可以使用一个耳朵信号。或者,可以形成第二波束,其与组合的个体波束具有相同的指向性。在每个耳信号上可以有独立的话音活动检测器,话音活动检测器的输出被逻辑OR,从而检测到语音,并且在一个或两个耳朵上指示所述检测。或者,可以形成单独的定向波束,其与每个耳朵的组合指向性(至少近似)匹配,然后检测该输出上的话音。
通过具有调制的指示器,可以减少指示器(其可以是LED)所消耗的功率,因为只有在检测到用户前面的区域中的语音时才驱动指示器。
本公开的益处在于,其向助听设备的用户面前的讲话者提供该设备已经听到该人讲话的直接反馈。
以下提到的所有示例和特征可以以任何技术上可能的方式进行组合。
在一个方面,提供一种指示在助听系统中接收到话音的方法,所述助听系统包括能够确定助听系统是否已经接收到语音的检测器,其中所述助听系统被构造和布置为帮助用户更好地听到另一人的话音,所述方法包括:使用检测器来检测所述助听系统接收到的另一人的话音;以及响应于检测到所述助听系统接收到另一人的话音,在视觉上指示所述助听系统接收到另一人的话音。
实施例可以包括以下特征中的一个或其任何组合。在视觉上指示接收到话音可以包括改变光源的状态,其可以例如通过开启光源、或改变光源的亮度来完成。当检测到另一人的话音时可以增加所述光源的亮度。光源可以包括发光二极管。在视觉上指示可以利用视觉指示器来完成,该视觉指示器能够被其话音被检测到的人看到。
助听系统还可以包括具有输出的定向麦克风阵列,并且检测器可以包括可操作地耦合到麦克风阵列的输出的话音活动检测器。在视觉上指示助听系统接收到另一人的话音可以包括:当在第一主动声音接收角度内接收到话音时,在视觉上指示所述助听系统接收到另一人的话音,但当在所述第一主动声音接收角度之外接收到话音时,不在视觉上指示所述助听系统接收到另一人的话音。所述第一主动声音接收角度涵盖不超过180度,或者可以涵盖不超过120度,或者其它更小的预定角度。在视觉上指示所述助听系统接收到另一人的话音还包括:当在不同于所述第一主动声音接收角度的第二主动声音接收角度中接收到话音时,也在视觉上指示所述助听系统接收到另一人的话音,但当在所述第一或第二主动声音接收角度之外接收到话音时,不在视觉上指示所述助听系统接收到另一人的话音。例如,对于每个主动声音接收角度可以存在单独的光源。
在另一方面,助听系统包括能够确定助听系统是否已经接收到另一人的话音的检测器,以及响应于检测器指示助听系统接收到另一人的话音的视觉指示器。
实施例可以包括以上和/或以下特征中的一个或其任何组合。视觉指示器可以是光源。光源的状态可以改变以指示助听系统接收到另一人的话音。例如,可以开启光源以指示助听系统接收到另一人的话音。或者,可以增加光源的亮度以指示助听系统接收到另一人的话音。光源可以包括发光二极管。视觉指示器能够被其话音被检测到的人看到。
助听系统还可以包括具有输出的定向麦克风阵列,并且检测器可以包括可操作地耦合到麦克风阵列的输出的话音活动检测器。当在第一主动声音接收角度内接收到话音时,视觉指示器可以在视觉上指示所述助听系统接收到另一人的话音,但当在所述第一主动声音接收角度之外接收到话音时,视觉指示器可以不在视觉上指示所述助听系统接收到另一人的话音。第一主动声音接收角度可涵盖不超过180度,或者不超过120度,或者其它更小的预定角度。当在不同于所述第一主动声音接收角度的第二主动声音接收角度中接收到话音时,视觉指示器也可以在视觉上指示所述助听系统接收到另一人的话音,但当在所述第一或第二主动声音接收角度之外到话音时,视觉指示器可以不在视觉上指示所述助听系统接收到另一人的话音。例如,对于每个主动声音接收角度可以存在单独的光源
附图说明
图1是也可以用于实现本文描述的方法的助听系统的示意性框图。
图2示意性地示出了用于会话辅助系统的示例性的左右两元件阵列布局,其中麦克风(图示为实心点)位于耳旁并间隔开约17.4mm。
图3是使用诸如图2中所示的双侧四元件阵列的系统的简化示意性框信号处理图。
图4示出了用于七元件阵列的一个非限制性麦克风布置。
图5A和5B示出了七元件双耳阵列的左耳和右耳极性响应。
图6示出了会话辅助系统,其具有由耳塞携带的头部侧面上的元件。
图7是可用于会话辅助系统中的阵列的示例。
具体实施方式
会话辅助设备旨在使对话更明了且更容易理解。这些设备旨在减少不必要的背景噪声和混响。会话辅助设备可以使用头戴式麦克风阵列来完成波束成型。波束成型可以是时不变的或时变的。它可以是线性或非线性的。一般而言,波束成型在会话辅助中的应用是已知的。例如,用定向麦克风阵列提高他人语音的可懂度是已知的。
可以在本公开的助听系统和方法中使用的会话辅助设备通常由用户佩戴(例如,作为耳机)或由用户携带(例如,修改的智能手机外壳)。会话辅助设备包括一个(优选多于一个)麦克风。通常存在(但不必必须存在)一个或多个麦克风阵列。可以存在单侧麦克风阵列(即,仅在头部的一侧上具有两个或更多个麦克风的阵列)或双侧麦克风阵列(即,在头部的每侧上使用至少一个麦克风的阵列)。会话辅助设备麦克风阵列优选是定向的。助听系统包括会话辅助设备接收到话音的视觉指示。当麦克风阵列是定向的时,该视觉指示优选地与指向性相关,从而与助听系统的用户交谈并且其话音已被检测到的第三方能够看到视觉指示器。
本公开的益处在于向听力或会话辅助设备的用户前方的讲话者提供该设备已经听到该人讲话的直接反馈。
在框图中将一些附图的元件示出并描述为离散元件。这些可以被实现为一个或多个模拟电路或数字电路。替代地或另外,它们可以用执行软件指令的一个或多个微处理器来实现。软件指令可以包括数字信号处理指令。操作可以由模拟电路或由执行实现模拟操作的等价物的软件的微处理器执行。信号线可以被实现为离散的模拟或数字信号线,被实现为具有能够处理单独信号的适当信号处理的离散数字信号线,和/或被实现为无线通信系统的元件。
当过程在框图中被表示或暗示时,这些步骤可以由一个元件或多个元件来执行。这些步骤可以一起或在不同的时间被执行。执行活动的元件可能在物理上是相同的或彼此接近,或可能是物理上分离的。一个元件可以执行多于一个框的动作。音频信号可以被编码或者不被编码,并且可以以数字或者模拟形式被传送。传统的音频信号处理装备和操作在某些情况下从附图中被省略。
图1示出了根据本公开的助听系统10的一个非限制性示例。助听系统10帮助用户更好地听到他人的话音。助听系统10包括听力或会话辅助设备11,其包括具有左侧麦克风阵列12和右侧麦克风阵列14的双侧麦克风阵列。助听设备11还包括用于左侧阵列的滤波器13和用于右侧阵列的滤波器15。通常,每个麦克风阵列12、14包括至少两个间隔开的麦克风。然而,本公开并不限于麦克风的任何特定数量或物理布置。更具体地,本公开不限于具有双侧阵列。可能存在单个麦克风阵列。滤波器阵列13和15的输出是通过电声转换向用户回放的左耳和右耳输出信号。对于会话增强系统,回放系统可以包括耳机/头戴耳机。头戴耳机可以在耳朵上方或在耳朵上。头戴耳机也可以在耳朵内。其他声音再现设备可以具有靠在耳道的开口上的耳塞的形式。其他设备可以密封耳道,或者可以插入到耳道中。一些设备可以被更准确地描述为听力设备或助听器。
助听设备11可以是本领域通常已知的类型。这种助听设备的非限制性示例在2015年2月10日提交的、题目为“Conversation Assistance System”的美国专利申请序列号14/618,889中公开,该专利申请的全部公开内容通过引用并入本文。
助听设备11可以定义一个或者多于一个主动声音接收(水平或方位角)角度或角度范围。当在主动声音接收角度内接收到话音信号时,存在接收到话音的视觉指示。当在主动声音接收角度之外接收到话音时,不存在接收到话音的视觉指示。例如,助听设备11可以被配置为在任意程度的预定角度上接受声音。例如,+-30、+-60或其他所需的角度。主动声音接收角度的范围可以随频率而变化。在非限制性示例中,主动声音接收角度可以是例如用户前向方向的+/-30度或+/-60度或+/-90度。在其他情况下,助听设备11可以被配置为限定至少两个单独的主动声音接收角度,其中在主动声音接收角度内拾取的话音信号被视觉地指示,并且在主动声音接收角度之外的话音信号不被指示。主动声音接收角度很可能不重叠,但可能会重叠。例如,助听设备11可以被配置为检测通常在用户的前方、左方和右方的方位带中的声音,例如这当用户坐在会议桌旁与他人讲话时可能是有利的。本公开不限于任何特定的声音接收角度,或者助听系统的声音接收角度的任何数量或布置。
在本助听系统10中,来自助听设备11的左耳和右耳输出信号分别被馈送到话音活动检测器(VAD)16和18。话音活动检测器16和18被配置为确定助听设备11的相应麦克风阵列是否已经接收到另一人的话音。话音活动检测器和话音活动检测在本领域中通常是已知的。例如,话音活动检测器可以是不同语音通信系统的一个组成部分,语音通信系统例如为音频会议、语音识别和免提电话。VAD 16和18的输出被提供给逻辑或门20。或门20将确定VAD 16和18中的一者或者两者是否检测到话音信号。替代地,可以使用单个VAD,这可以节省成本、处理和电力。单个VAD可以与组合的左右耳麦克风输出一起被输入,或者可以在每个耳朵的指向性大致相同的频率范围的较低部分处的单耳输出上使用单个VAD。
当检测到另一人的话音时,使用视觉指示器来通知讲话者(以及能够看到特定视觉指示器的任何人)讲话者的语音已经被助听系统10接收到。在本情况下,视觉指示器由一个或多个光源22完成。光源可以是LED或其他发光设备,或者可以是其他光源。视觉指示器可以是显示器的一部分。可以使用除光源以外的视觉指示器,例如反射式显示器、E Ink显示器或任何其他类型的现在已知或以后开发的视觉指示器。光源的可见角度可以用光学偏振透镜或膜来控制,使得只有基本上同轴的讲话者才会看到指示器。在一个非限制性示例中,可以选择偏振透镜或膜的属性以匹配定向麦克风阵列的属性。
优选地,光源的状态被改变以便指示助听系统10接收到另一人的话音。例如,可以开启光源以指示助听系统10接收到另一人的话音。在另一示例中,光源的亮度被改变(例如,增加)以指示助听系统10接收到另一人的话音。在另一示例中,光源的颜色可以被调制以指示助听系统10接收到另一人的话音;这可以在一个使用多色LED的例子中完成。
例如,光源可以是安装在用户佩戴的头戴耳机上的一个或多个LED。当设备处于助听模式时,指示器是活跃的,并且当在助听设备11的输出中检测到话音时,指示器以某种方式点亮(例如,柔和的绿光)。指示器与话音而不是声音相关联,所以讲话者会知道他/她的声音被检测到。这可以通过改变光源的状态来传达,例如通过在人说话或不说话时调节发光的强度。调制指示器也将节省电池电量,因为由于仅在检测到主动声音接收角度中的语音时才驱动光,所以光消耗的功率被减少。
用户可以关闭指示器,例如为了收听他们自己的内容而不是外部世界,或者由于某种其他原因,用户不希望使用该指示器。为此可以包括开/关开关24。
如上所述,助听系统10可以但未必具有定向声音接收选择性。优选但非必须地,助听系统10具有匹配的视觉指示器方向选择性。例如,光源22可以包括两个或更多个LED,其被布置在耳机上/周围或被布置在助听系统10的其他物理结构(例如,壳体或智能手机外壳)上,从而它们通常与助听设备10的可能的主动声音接收角度对齐。因此,例如,光源22可以包括布置在设备耳机上的多个LED,例如一个朝前,一个朝左,一个朝右。当检测到讲话者的话音时,朝向讲话者方向的LED将会发光,或发出更亮的光。这样,讲话者知道用户参与外部世界,并且用户听到了讲话者的声音。通过使用助听设备11的输出(其可以是但未必是呈现给用户的耳朵的相同信号)作为话音活动检测器的输入,视觉指示器还可以跟踪麦克风阵列指向性中的任何改变,其可能随使用而动态发生。
在图2-7中示出了麦克风阵列、处理和阵列方向性的示例性的非限制性示例。考虑位于用户头部的四个麦克风阵列30(图2)。在一种波束成型方法中,假定各个麦克风元件位于自由场中而设计阵列。通过对两个左麦克风40和41进行波束成型来创建用于左耳的阵列。通过对两个右麦克风42和43进行波束成型来创建右耳阵列。用于这种简单的、两元件阵列的良好建立的自由场波束成型技术可以例如创建超心型自由场接收模式。超心型在该上下文中是常见的,因为在自由场中,它们在存在扩散噪声的情况下用于产生同轴讲话者的两元件阵列的最佳讲话者与噪声比(TNR)改进。
头戴式阵列(尤其是那些具有高指向性的阵列)可能很大并且是突出的。头戴式阵列的替代方案是离头式麦克风阵列,其例如可以被放置在收听者前面的桌子上或被放置在收听者的躯干上,然后将定向信号传输到通常采用助听信号处理的入耳式设备。虽然这些设备不那么突出,但它们缺少可在双耳头戴式阵列中呈现的许多特性。首先,这些设备通常是单声道的,向双耳传输相同的信号。这些信号缺乏自然空间线索和双耳听力的关联可懂度益处。其次,这些设备可能无法提供足够的指向性。第三,这些设备不会随着用户的头部而旋转,因此不会将声音接收聚焦到用户的视觉焦点上。而且,阵列设计可能没有考虑麦克风被安装到的结构的声学效应。
当在本文中使用时,头部的左侧和右侧上的麦克风阵列的双侧波束成型可以利用头部两侧上的至少一个(并且优选全部)麦克风来创建左耳和右耳音频信号。该布置可以被称为“双侧阵列”。优选但不是必需的,阵列在头部的每侧上包括至少两个麦克风。优选但不是必需的,阵列还包括位于头部前方和/或后方的至少一个麦克风。下面示出并描述了可以在本公开中采用的阵列的其他非限制性示例。与单侧阵列相比,通过增加可以使用的元件的数目并且增加至少一些个体元件相对于其他元件的间距(与头部的同侧上的元件相比,头部的相对侧上的元件将被间隔得更远),双侧阵列可以提供改进的方向性性能。
在与下面讨论的阵列滤波器设计过程耦合时,使用阵列中的所有麦克风来为每只耳朵创建音频信号可以大幅提高满足设计目标的能力。一个可能的设计目标是提高指向性。图3是示出用于这种双侧阵列的滤波器的布置的简化框信号处理图50。该图省略了诸如A/D、D/A、放大器、诸如动态范围限制器的非线性信号处理功能、用户界面控制以及对于本领域技术人员而言显而易见的其他方面的细节。还应该注意的是,对话增强设备的所有信号处理包括图3所示的信号处理(以及从图中省略的信号处理,包括个体麦克风阵列滤波器,将个体阵列滤波器的输出求和的加法器,用于每个耳信号的均衡,诸如动态范围限制器和手动或自动增益控制的非线性信号处理等),可以由单个微处理器、DSP、ASIC、FPGA或模拟电路、或者以上任意部件的多个或组合执行。阵列滤波器集合52包括用于每个麦克风的滤波器,用于左和右音频信号中的每一个。通过对分别由滤波器L1、L2、L3和L4滤波的全部四个麦克风的输出进行求和(使用加法器54)来产生左耳音频信号。通过对分别由滤波器R1、R2、R3和R4滤波的全部四个麦克风的输出进行求和(使用加法器56)而产生右耳音频信号。
双侧波束成型可以应用于任何数量的元件或麦克风的阵列。考虑如图4所示的示例性的非限制性七元件阵列60,其中在头部的每侧且一般在每个耳朵附近有三个元件(头部左侧上且靠近左耳的麦克风62、63和64以及头部右侧且靠近右耳的麦克风66、67和68)以及在头部后方有一个麦克风70。注意,在头部的每侧可以存在两个或更多个元件,并且麦克风70可以不存在,或者其可以位于与左侧和右侧阵列间隔开的其他位置处,例如位于头部前方或头顶,或在一副眼镜的桥上。这些元件可能但不一定都在同一个水平面上。另外,麦克风可以垂直放置在彼此之上。
注意,在单侧四元件阵列的示例中,靠近左耳的两个左麦克风被波束成型以创建左耳音频信号,并且靠近右耳的两个右麦克风被用于创建右耳音频信号。虽然这个阵列因为总共存在四个麦克风而被称为四元件阵列,但只有头部一侧上的麦克风被波束成型以便为相应侧创建阵列。这不同于双侧波束成型,在双侧波束成型中头部两侧上的至少一个(并且在一些情况下为全部)麦克风被一起波束成型以创建左耳和右耳音频信号。
对于组合了左侧和右侧元件的输出的阵列,位于头部左侧的麦克风与位于头部右侧上的麦克风元件间隔太远而不能获得高于大约1200Hz的期望的阵列性能。为了避免文献中称为“栅瓣”的极性不规则性,在较高频率下,双侧阵列的一侧可以在大约1200Hz以上被有效地低通。在一个非限制性示例中,低于1200Hz的低通滤波器转角频率,头部的两侧都被波束成型,而高于1200Hz时,阵列转换到每只耳朵的单侧波束成型器。为了保留空间线索(例如,耳间水平和相位(或等同地,时间)的差异),在1200Hz以上左耳阵列仅使用左侧麦克风。类似地,在1200Hz以上右耳阵列仅使用右侧麦克风。对于低于1200Hz的频率,每个耳信号由所有阵列元件形成。这种带宽限制可以使用阵列滤波器设计过程来实现,或者可以以其他方式来实现。
与使用单侧阵列可能的指向性相比,在对话增强系统中的双侧波束成型允许设计具有更高的指向性的阵列。然而,双侧阵列也可能在较低频率下对空间线索产生负面影响,其中在较低频率下头部两侧的阵列元件都被用于形成个体耳朵信号。这种影响可以通过引入(可选的)双耳波束成型来改善。注意,对于仅用于话音接收指示的麦克风阵列而言不需要双耳波束成型,但双耳波束成型确实有助于人类确定接收到话音的方向。
诸如耳间水平差异(ILD)和耳间相位差异(IPD)的空间线索由于若干原因而被期望用于维持在会话辅助系统中。首先,收听者将听觉环境感知为空间自然的程度取决于空间线索的特性。其次,本领域众所周知的是,双耳听力及其相关联的空间线索增加语音可懂度。在会话辅助系统中创建有益的空间线索因此可以增强系统的感知空间自然性并提供额外的可懂度增益。
双耳波束成型是可以应用于解决上述耳间问题并同时仍然保留双侧波束成型阵列的高方指性和TNR增益以及更低WNG的方法。为了实现这一点,双耳波束成型处理阵列内的麦克风信号,以创建用户所听到的特定极性ILD和IPD,并且还衰减从超出指定通角(例如+/-45度)到达的所有声源。对用户而言,利用双耳波束成型的会话辅助设备可以提供两个重要的好处。第一,通过在阵列的通角内再现更真实的ILD和IPD,设备可以创建更自然且更可懂的助听体验。第二,该设备可以显著衰减在通角之外到达的声音。其他好处也是可能的。
给定这些规范,可以使用阵列滤波器设计过程来创建用于左、右阵列麦克风输出的阵列滤波器。图5A和5B示出了针对图4的七元件阵列的所产生的左耳和右耳双耳阵列极性响应的示例,每一个都在相同的三个频率(489Hz、982Hz和3961Hz)下。观察一个耳朵波束成型器的单个主瓣。一个耳朵波束成型器实际上可以形成与这一个耳朵波束成型器的指向性大致匹配的多个“子”波束。例如,可以构造两个或三个单独的波束,其中每个个体子波束比单个主波瓣窄,但将子波束相加到一起近似于耳朵波束的宽度(并且可以稍微更宽或更窄)。如果单独的波束正在形成,则它们应该与考虑双耳的助听系统的总体指向性相匹配。个体子波束不需要是双耳的;它们可以是单声道的。在这样的系统中,会有左、右耳朵波束,但是随后形成许多子波束。
每个子波束输出可以被馈送到VAD,其中视觉指示器与每个子波束相关联。当在子波束中检测到话音时,其相关联的指示器被激活。这样的系统可以区分可能在用户前面的多个讲话者,从而每个用户被提供有与他们的语音是否由助听系统呈现给用户相关联的反馈。
主瓣不需要在前进方向上被操纵。其他目标角度是可能的。可以将主瓣朝向用户的紧左侧或右侧操纵,以便听到直接坐在用户旁边的讲话者。该主瓣可以重新创建与用户的左侧或右侧的讲话者对应的双耳线索,并且仍然拒绝来自其他角度的声音。在阵列被放置在用户前面的桌子上时,在用户左侧90度的讲话者可能不是阵列左侧90度(例如,它可能在大约-135度)。因此,空间目标必须从纯粹的双耳被扭曲。在这个例子中,在-135度处的源的阵列的目标双耳规格应该重新创建与用户左侧90度的讲话者相关联的ILD和IPD。
示出实现会话辅助系统的多种可能方式中的一种方式的一个非限制性示例是将阵列左侧的麦克风元件附加到左眼镜腿部分,并将右侧元件附加到右眼镜腿部分。在图6中示出了另一种可能性,其中组件70将阵列添加到耳塞72上。壳体80由适配到耳塞的适配器84携带。腔体86、87和88各自携带六元件阵列的三个麦克风元件中的一个。例如,第七个元件(如果包含的话)可以由后颈带或头带携带。或者它可以携带在眼镜的桥上。耳塞上的较大显示器(例如大于单个LED)可以是用户可配置的;用户可以通过定制界面(例如智能手机App)选择图标来表示“可用”和“不可用”状态。用户也可以通过App创建他们自己的图标。更合乎社会需求的视觉效果可能是间接地照亮耳塞,例如通过包括耳机末端(ear tip)的半透明硅树脂。这将呈现更令人愉快的“背光”显示。可以通过选择性地将形状或物体模制到硅树脂混合物中来添加光的模式,这可能仅在背光照明激活时才明显。用户可以例如经由App选择系统的照明方案和响应性。
上面关于头戴式麦克风阵列描述的概念可以应用于伴随助听设备使用的麦克风阵列,其中阵列未被放置在用户的头部上。在图7中示出了未安装在头部上并且可以(但不必)被用于这里描述的双侧波束成型方法的阵列的一个示例,其中麦克风由小圆圈表示。这个例子包括八个麦克风,在左侧和右侧各有三个,在前侧和后侧各有一个。“空白空间”没有麦克风,但不需要没有其他物体,实际上可以包括携带一个或多个麦克风(例如,围绕其周边)和/或会话辅助系统的其它部件的物体(例如智能电话外壳)。如果将此麦克风阵列放置在桌面上,则后置麦克风通常会面向用户,而前置麦克风很可能面向视觉向前方向。上述话音活动信号指示技术同样适用于离头式助听设备。
与线阵列相比,为每个左耳和右耳信号使用全部麦克风可以提供改进的性能。在会话辅助系统的双侧波束成型方面,全部或一些麦克风可以用于左耳和右耳信号中的每一个,并且麦克风的使用方式可以是频率相关的。在图7的示例中(并且假设空间大约是典型智能手机的尺寸(例如大约15x7cm)),阵列左侧的麦克风可能与右侧麦克风距离太远而不能达到高于大约4kHz的性能。换句话说,左侧和右侧麦克风在组合时会在该频率之上引起空间混叠。因此,左耳信号在该频率以上只能使用左侧、前置和后置麦克风,而右耳信号在该频率以上只能使用右侧、前置和后置麦克风。最大的期望交叉频率是左侧和右侧麦克风之间的距离以及可能在左侧和右侧阵列之间的任何物体的几何形状的函数。然而,例如如果期望较宽的极性接收模式,则可以选择较低的交叉频率。由于手机外壳比典型用户的耳朵之间的空间窄,所以交叉频率比其用于头戴式设备更高。然而,非头戴式设备的物理尺寸不受限制,并且可能具有比图7中的设备所示更宽或更窄的麦克风间距。
取决于实施例和空间目标,不同于图7所示的麦克风位置可以更好地执行。然而,可以使用其他麦克风配置。例如,将麦克风对放置于图7中的空间的四个角落中的每一个附近可以提供对高频率处主瓣的更好的操纵控制。麦克风的放置决定了阵列处理的声学自由度。对于给定数目的麦克风,如果定向性能(例如,双耳线索的保存)在某些取向角度而非其他角度更重要,则沿着一个轴线而不是另一轴线放置更多麦克风可以产生更期望的性能。例如,图7中的阵列偏置前视方向的阵列性能。替代地,不同的麦克风放置可以偏置多个离轴角度的阵列性能。麦克风的数量和位置可以变化。而且,用于创建左耳和右耳信号中的每一个的麦克风的数目可以变化。“空间”不一定是矩形的。更一般地,在给定携带阵列的设备的物理约束的情况下,通过测试所有可能的麦克风间距,可以确定该阵列的最佳麦克风布置。可以考虑WNG,特别是在低频处。
会话辅助系统的另一非限制性示例涉及将该系统用作助听器。远程阵列(例如,内置于诸如手机/智能电话或手机/智能电话外壳或眼镜盒的便携式物体中的阵列)可以靠近用户放置。系统完成的信号处理完成麦克风阵列处理和信号处理两者以补偿听力不足。这样的系统可以但不必包括允许用户实施不同规定处理的用户界面(UI)。例如,如果阵列处理改变,或者如果没有阵列处理,则用户可能想要使用不同的规定处理。用户可能希望能够基于环境的特性(例如,环境噪声水平)来调整规定处理。在2014年4月14日提交的、题目为“Hearing Assistance Device Control”的美国专利申请14/258,825中公开了用于助听设备控制的移动设备,该申请的公开内容整体并入本文。
上述系统和方法的实施例包括对于本领域技术人员来说显而易见的计算机部件和计算机实现步骤。例如,本领域技术人员应该理解,计算机实现步骤可以作为计算机可执行指令存储在计算机可读介质上,例如软盘、硬盘、光盘、闪存ROM、非易失性ROM和RAM。此外,本领域技术人员应该理解,计算机可执行指令可以在各种处理器上执行,例如微处理器、数字信号处理器、门阵列等。为了便于说明,不是上文描述的系统和方法的每个步骤或元件在本文中都被描述为计算机系统的一部分,而是本领域技术人员将认识到,每个步骤或元件可以具有对应的计算机系统或软件部件。这样的计算机系统和/或软件部件因此通过描述其对应的步骤或元件(即,它们的功能)而被启用,并且在本公开的范围内。
已经描述了多种实现方式。然而,应该理解的是,在不脱离这里描述的发明构思的范围的情况下可以做出另外的修改,并且因此其他实施例在下面的权利要求的范围内。
Claims (26)
1.一种指示在助听系统中接收到话音的方法,所述助听系统被构造和布置为帮助用户更好地听到另一人的话音,所述方法包括:
使用能够确定语音是否已经被所述助听系统接收到的检测器来检测所述助听系统接收到另一人的话音;以及
响应于检测到所述助听系统接收到另一人的所述话音,在视觉上指示所述助听系统接收到另一人的所述话音。
2.根据权利要求1所述的方法,其中在视觉上指示包括改变光源的状态。
3.根据权利要求2所述的方法,其中改变光源的状态包括开启所述光源。
4.根据权利要求2所述的方法,其中所述光源包括发光二极管。
5.根据权利要求2所述的方法,其中改变光源的状态包括改变所述光源的亮度。
6.根据权利要求5所述的方法,其中当另一人的所述话音被检测到时,所述光源的亮度增加。
7.根据权利要求1所述的方法,其中所述助听系统还包括具有输出的定向麦克风阵列,并且其中所述检测器包括可操作地耦合到麦克风阵列输出的话音活动检测器。
8.根据权利要求7所述的方法,其中在视觉上指示所述助听系统接收到另一人的所述话音包括:当所述话音在第一主动声音接收角度内被接收到时,在视觉上指示所述助听系统接收到另一人的所述话音,但当所述话音在所述第一主动声音接收角度之外被接收到时,不在视觉上指示所述助听系统接收到另一人的所述话音。
9.根据权利要求8所述的方法,其中所述第一主动声音接收角度涵盖不超过180度。
10.根据权利要求9所述的方法,其中所述第一主动声音接收角度涵盖不超过120度。
11.根据权利要求8所述的方法,其中在视觉上指示所述助听系统接收到另一人的所述话音还包括:当所述话音在不同于所述第一主动声音接收角度的第二主动声音接收角度内被接收到时,还在视觉上指示所述助听系统接收到另一人的所述话音,但当所述话音在所述第一主动声音接收角度或所述第二主动声音接收角度之外被接收到时,不在视觉上指示所述助听系统接收到另一人的所述话音。
12.根据权利要求11所述的方法,其中对于每个主动声音接收角度存在单独的光源。
13.根据权利要求1所述的方法,其中在视觉上指示是利用视觉指示器来完成的,所述视觉指示器能够被其话音被检测到的人看到。
14.一种帮助用户更好地听到另一人的话音的助听系统,包括:
检测器,所述检测器能够确定另一人的话音是否已经被所述助听系统接收到;以及
视觉指示器,所述视觉指示器响应于所述检测器而指示所述助听系统接收到另一人的所述话音。
15.根据权利要求14所述的助听系统,其中所述视觉指示器包括光源。
16.根据权利要求15所述的助听系统,其中所述光源的状态被改变以指示所述助听系统接收到另一人的所述话音。
17.根据权利要求15所述的助听系统,其中所述光源被开启以指示所述助听系统接收到另一人的所述话音。
18.根据权利要求15所述的助听系统,其中所述光源包括发光二极管。
19.根据权利要求15所述的助听系统,其中所述光源的亮度被增加以指示所述助听系统接收到另一人的所述话音。
20.根据权利要求14所述的助听系统,还包括具有输出的定向麦克风阵列,并且其中所述检测器包括可操作地耦合到麦克风阵列输出的话音活动检测器。
21.根据权利要求20所述的助听系统,其中当所述话音在第一主动声音接收角度内被接收到时,所述视觉指示器在视觉上指示所述助听系统接收到另一人的所述话音,但当所述话音在所述第一主动声音接收角度之外被接收到时,所述视觉指示器不在视觉上指示所述助听系统接收到另一人的所述话音。
22.根据权利要求21所述的助听系统,其中所述第一主动声音接收角度涵盖不超过180度。
23.根据权利要求22所述的助听系统,其中所述第一主动声音接收角度涵盖不超过120度。
24.根据权利要求21所述的助听系统,其中当所述话音在不同于所述第一主动声音接收角度的第二主动声音接收角度内被接收到时,所述视觉指示器还在视觉上指示所述助听系统接收到另一人的所述话音,但当所述话音在所述第一主动声音接收角度或所述第二主动声音接收角度之外被接收到时,所述视觉指示器不在视觉上指示所述助听系统接收到另一人的所述话音。
25.根据权利要求24所述的助听系统,其中对于每个主动声音接收角度存在单独的光源。
26.根据权利要求14所述的助听系统,其中所述视觉指示器能够被其话音被检测到的人看到。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/835,929 US9615179B2 (en) | 2015-08-26 | 2015-08-26 | Hearing assistance |
US14/835,929 | 2015-08-26 | ||
PCT/US2016/048557 WO2017035304A1 (en) | 2015-08-26 | 2016-08-25 | Hearing assistance |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108353235A true CN108353235A (zh) | 2018-07-31 |
CN108353235B CN108353235B (zh) | 2020-07-17 |
Family
ID=56853861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680062442.6A Active CN108353235B (zh) | 2015-08-26 | 2016-08-25 | 助听器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9615179B2 (zh) |
EP (1) | EP3342181B1 (zh) |
JP (1) | JP6732890B2 (zh) |
CN (1) | CN108353235B (zh) |
WO (1) | WO2017035304A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3407628A1 (en) | 2017-05-24 | 2018-11-28 | Oticon Medical A/S | Hearing aid comprising an indicator unit |
WO2019082060A1 (en) * | 2017-10-23 | 2019-05-02 | Cochlear Limited | ADVANCED ASSISTANCE FOR PROSTHETIC ASSISTED COMMUNICATION |
EP3711306B1 (en) * | 2017-11-15 | 2024-05-29 | Starkey Laboratories, Inc. | Interactive system for hearing devices |
US11310597B2 (en) * | 2019-02-04 | 2022-04-19 | Eric Jay Alexander | Directional sound recording and playback |
US11197083B2 (en) | 2019-08-07 | 2021-12-07 | Bose Corporation | Active noise reduction in open ear directional acoustic devices |
EP3985993A1 (en) * | 2020-10-14 | 2022-04-20 | Nokia Technologies Oy | A head-mounted audio arrangement, a method and a computer program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040049242A1 (en) * | 2001-06-06 | 2004-03-11 | Ibrahim Ibrahim Hanna | Monitor for auditory prosthesis |
CN1750556A (zh) * | 2004-09-14 | 2006-03-22 | 乐金电子(中国)研究开发中心有限公司 | 电话机的对方语音提示装置 |
US20090264161A1 (en) * | 2008-01-11 | 2009-10-22 | Personics Holdings Inc. | Method and Earpiece for Visual Operational Status Indication |
US20140236594A1 (en) * | 2011-10-03 | 2014-08-21 | Rahul Govind Kanegaonkar | Assistive device for converting an audio signal into a visual representation |
US20150036856A1 (en) * | 2013-07-31 | 2015-02-05 | Starkey Laboratories, Inc. | Integration of hearing aids with smart glasses to improve intelligibility in noise |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10046098C5 (de) * | 2000-09-18 | 2005-01-05 | Siemens Audiologische Technik Gmbh | Verfahren zum Prüfen eines Hörhilfegerätes sowie Hörhilfegerät |
US20030197620A1 (en) | 2002-04-23 | 2003-10-23 | Radousky Keith H. | Systems and methods for indicating headset usage |
DK1634482T3 (da) | 2003-06-04 | 2011-06-27 | Oticon As | Høreapparat med visuel indikator |
WO2007034478A2 (en) * | 2005-09-20 | 2007-03-29 | Gadi Rechlis | System and method for correcting speech |
DE102007055551A1 (de) * | 2007-11-21 | 2009-06-04 | Siemens Medical Instruments Pte. Ltd. | Hörvorrichtung mit mechanischem Anzeigeelement |
WO2011026113A2 (en) * | 2009-08-31 | 2011-03-03 | Massachusetts Eye & Ear Infirmary | Hearing aid feedback noise alarms |
US9706314B2 (en) * | 2010-11-29 | 2017-07-11 | Wisconsin Alumni Research Foundation | System and method for selective enhancement of speech signals |
DK2472907T3 (en) * | 2010-12-29 | 2017-06-19 | Oticon As | Listening system comprising an alarm device and a listening device |
US20140126733A1 (en) | 2012-11-02 | 2014-05-08 | Daniel M. Gauger, Jr. | User Interface for ANR Headphones with Active Hear-Through |
EP2736273A1 (en) | 2012-11-23 | 2014-05-28 | Oticon A/s | Listening device comprising an interface to signal communication quality and/or wearer load to surroundings |
US9332359B2 (en) * | 2013-01-11 | 2016-05-03 | Starkey Laboratories, Inc. | Customization of adaptive directionality for hearing aids using a portable device |
US9131321B2 (en) | 2013-05-28 | 2015-09-08 | Northwestern University | Hearing assistance device control |
US9191789B2 (en) * | 2013-10-02 | 2015-11-17 | Captioncall, Llc | Systems and methods for using a caption device with a mobile device |
US20150163606A1 (en) * | 2013-12-06 | 2015-06-11 | Starkey Laboratories, Inc. | Visual indicators for a hearing aid |
WO2015120475A1 (en) | 2014-02-10 | 2015-08-13 | Bose Corporation | Conversation assistance system |
TWI512644B (zh) * | 2014-08-21 | 2015-12-11 | Coretronic Corp | 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法 |
-
2015
- 2015-08-26 US US14/835,929 patent/US9615179B2/en active Active
-
2016
- 2016-08-25 WO PCT/US2016/048557 patent/WO2017035304A1/en unknown
- 2016-08-25 EP EP16760292.9A patent/EP3342181B1/en active Active
- 2016-08-25 CN CN201680062442.6A patent/CN108353235B/zh active Active
- 2016-08-25 JP JP2018510828A patent/JP6732890B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040049242A1 (en) * | 2001-06-06 | 2004-03-11 | Ibrahim Ibrahim Hanna | Monitor for auditory prosthesis |
CN1750556A (zh) * | 2004-09-14 | 2006-03-22 | 乐金电子(中国)研究开发中心有限公司 | 电话机的对方语音提示装置 |
US20090264161A1 (en) * | 2008-01-11 | 2009-10-22 | Personics Holdings Inc. | Method and Earpiece for Visual Operational Status Indication |
US20140236594A1 (en) * | 2011-10-03 | 2014-08-21 | Rahul Govind Kanegaonkar | Assistive device for converting an audio signal into a visual representation |
US20150036856A1 (en) * | 2013-07-31 | 2015-02-05 | Starkey Laboratories, Inc. | Integration of hearing aids with smart glasses to improve intelligibility in noise |
Also Published As
Publication number | Publication date |
---|---|
US20170064463A1 (en) | 2017-03-02 |
WO2017035304A1 (en) | 2017-03-02 |
CN108353235B (zh) | 2020-07-17 |
US9615179B2 (en) | 2017-04-04 |
EP3342181B1 (en) | 2020-11-18 |
JP2018525942A (ja) | 2018-09-06 |
EP3342181A1 (en) | 2018-07-04 |
JP6732890B2 (ja) | 2020-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105981409B (zh) | 会话辅助系统 | |
CN108353235A (zh) | 助听器 | |
EP3346730B1 (en) | Headset arrangement for 3d audio generation | |
KR20190132469A (ko) | 비차단 이중 드라이버 이어폰들 | |
KR102299948B1 (ko) | 고지향형 라우드스피커를 통해 복수의 가청 장면을 생성하기 위한 기술 | |
CN102045617A (zh) | 具有辅助听力的麦克风平面阵列的眼镜 | |
US11902772B1 (en) | Own voice reinforcement using extra-aural speakers | |
US20150039288A1 (en) | Integrated oral translator with incorporated speaker recognition | |
US10171930B1 (en) | Localized audibility sound system | |
CN112913257B (zh) | 声像控制方法、头戴式耳机以及头戴式耳机用安装件 | |
JPH0715780A (ja) | ヘッドホン | |
US20080310658A1 (en) | Headphone for Sound-Source Compensation and Sound-Image Positioning and Recovery | |
KR102036010B1 (ko) | 바이노럴 사운드를 이용한 감성 통화 방법 및 이를 위한 장치 | |
WO2024032590A1 (zh) | 一种音频播放方法及相关装置 | |
KR102010248B1 (ko) | 웨어러블 음향 변환 장치와 이를 이용한 음향 제어 시스템 | |
JP2007325069A (ja) | マルチチャンネルイヤホン | |
KR100623285B1 (ko) | 홈씨어터의 기능을 구현한 헤드폰셋 | |
JP2002101489A (ja) | ヘッドホン | |
Oppermann et al. | Sonic Opportunities presented by Personalized Sound Zones | |
CN117596538A (zh) | 一种音频播放方法及相关装置 | |
KR100675396B1 (ko) | 홈씨어터의 기능을 구현한 헤드폰셋 | |
KR200289324Y1 (ko) | 모자형 멀티스피커 헤드폰 | |
CN115811685A (zh) | 具有集中立体声声像的可穿戴音频设备和对应方法 | |
Christensen et al. | Introducing ReSound LiNX 3D: The Future of Smart Hearing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |