CN114208214B - 增强一个或多个期望说话者语音的双侧助听器系统和方法 - Google Patents

增强一个或多个期望说话者语音的双侧助听器系统和方法 Download PDF

Info

Publication number
CN114208214B
CN114208214B CN202080056221.4A CN202080056221A CN114208214B CN 114208214 B CN114208214 B CN 114208214B CN 202080056221 A CN202080056221 A CN 202080056221A CN 114208214 B CN114208214 B CN 114208214B
Authority
CN
China
Prior art keywords
hearing aid
user
ear
speakers
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080056221.4A
Other languages
English (en)
Other versions
CN114208214A (zh
Inventor
J·乌德生
H·尼尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Hearing AS
Original Assignee
GN Hearing AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GN Hearing AS filed Critical GN Hearing AS
Publication of CN114208214A publication Critical patent/CN114208214A/zh
Application granted granted Critical
Publication of CN114208214B publication Critical patent/CN114208214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/61—Aspects relating to mechanical or electronic switches or control elements, e.g. functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

本发明涉及使用室内定位传感器和系统来增强听音室中的一个或多个期望说话者的语音的双耳助听器系统和方法。

Description

增强一个或多个期望说话者语音的双侧助听器系统和方法
技术领域
本发明涉及使用室内定位传感器和系统来增强听音室中的一个或多个期望说话者的语音的双耳助听器系统和方法。
背景技术
在所谓的鸡尾酒会聆听条件下，例如在拥挤的酒吧、咖啡馆、食堂或餐厅、或音乐厅或类似嘈杂的聆听环境或场地等等，听力正常的人能够有选择地关注期望说话者，以实现语音清晰度并保持情境感知。然而，对于听力受损的人来说，在嘈杂的声音环境中倾听一个或可能几个期望的说话者或讲话者的声音仍然是一项日常具有挑战性的任务。
因此，在鸡尾酒会环境中倾听期望说话者的声音并理解期望说话者的问题是听力受损者的主要抱怨之一，即使他们佩戴了一个或多个听力设备。现有的双耳助听器系统在改进双侧或双耳波束成形的麦克风信号相对于由左耳和右耳麦克风装置提供的一个或多个原始麦克风信号的信噪比方面非常有效。双侧或双耳波束成形麦克风信号提供的信噪比(SNR)的显著增加是由双耳波束成形麦克风信号的高方向性指数引起的。然而，尽管通常希望增加双耳波束成形的麦克风信号的SNR，但当双耳波束成形的麦克风信号的方向性较高时，双耳波束成形的麦克风信号的空间听觉线索(如ILD和ITD)变得失真甚至丢失仍然是一个严重的问题。因为人类听觉处理系统使用这些空间听觉线索来改善在噪声中的聆听，所以双耳波束成形的麦克风信号对听力受损者的实际益处可能比通过改善SNR所得到的要小得多。
US 2019/174237 A1公开了一种听力系统，包括由聆听环境中的用户佩戴的左耳和右耳助听器。该系统通过助听器系统的各种传感器(例如摄像头和麦克风阵列)并可能结合特定室内“信标”(例如磁场发射器、BT发射器、FM或Wi-Fi发射器)确定期望说话者在聆听环境中的位置。左耳和右耳助听器中的每一个形成朝向相应期望说话者的多个单耳波束成形信号。
因此，在本领域中，助听器用户需要增强一个或多个期望说话者的语音的双耳助听器系统和方法，其能够提供具有高方向性的双耳波束成形麦克风信号，同时提供空间听觉线索的改进保存。
发明内容
本发明的第一方面涉及为双耳助听器系统的用户增强一个或多个期望说话者的语音的方法，所述双耳助听器系统安装在用户的左耳和右耳处或中；其中，用户和一个或多个期望的说话者中的每一个均携带配备有室内定位传感器(IPS)的便携式终端；
所述方法包括：
a)通过安装在所述双耳助听器系统的左耳助听器或右耳助听器中的头部跟踪传感器，检测用户头部相对于预定参考方向(θ0)的定向(θU)，
b)基于由用户的便携式终端提供的第一室内位置信号，参考预定房间坐标系确定所述用户在听音室内的位置，
c)从所述一个或多个期望说话者的便携式终端接收相应的室内定位信号；其中，所述室内定位信号中的每一个指示相关便携式终端在所述听音室内参考所述预定房间坐标系的位置，
d)基于所述一个或多个期望说话者的相应位置、所述用户的位置(XU，YU)和所述用户的头部的定向(θU)，确定所述一个或多个期望说话者相对于所述用户的相应角度方向，
e)基于所述左耳助听器的至少一个麦克风信号和所述右耳助听器的至少一个麦克风信号生成一个或多个双侧波束成形信号，其中所述一个或多个双侧波束成形信号在所述一个或多个期望说话者的相应角度方向表现出最大灵敏度以产生一个或多个对应的单耳期望语音信号，
f)基于所述一个或多个期望说话者的相应角度方向为所述一个或多个期望说话者中的每一个确定左耳头部相关传递函数(HRTF)和右耳头部相关传递函数(HRTF)，
g)例如通过频域乘法或时域卷积，用相关联的左耳HRTF对一个或多个单耳期望语音信号中的每一个进行滤波，以产生一个或多个对应的左耳空间化期望语音信号，
h)例如通过频域乘法或时域卷积，用相关联的右耳HRTF对一个或多个单耳期望语音信号中的每一个进行滤波，以产生一个或多个对应的右耳空间化期望语音信号，
i)在所述左耳助听器中组合一个或多个左耳空间化期望语音信号，并通过所述左耳助听器的输出换能器将第一组合空间化期望语音信号施加到所述用户的左耳鼓，
j)在所述右耳助听器中组合一个或多个右耳空间化期望语音信号，并通过所述右耳助听器的输出换能器将第二组合空间化期望语音信号施加到所述用户的右耳鼓。
本领域技术人员将理解，助听器用户以及一个或多个期望说话者通常形成动态设置，其中听音室内的用户与期望说话者之间的相对位置和定向发生变化。因此，可以以规则或不规则的时间间隔重复上述步骤a)–j)，以确保准确表示用户头部的当前定向(θU)和相对于用户的到一个或多个期望说话者的相应当前角度方向。本领域技术人员将理解方法步骤a)–j)可以以规则或不规则的时间间隔重复，例如每10秒至少一次或至少每秒一次或至少每100ms一次。
由一个或多个期望说话者的相应便携式终端生成的室内定位信号的提供和利用使得即使期望说话者在听音室内四处移动从而导致助听器用户的视线偶尔会被阻挡或高水平的背景噪音会破坏说话者的声音，也可以可靠地检测期望说话者在听音室内的各个位置。
第一和第二助听器或助听器中的每一个可以包括BTE、RIE、ITE、ITC、CIC、RIC等类型的助听器，其中相关联的外壳布置在用户的左耳和右耳处或中。
头部跟踪传感器可以包括磁力计、陀螺仪和加速度传感器中的至少一个。磁力计可以指示左耳和/或右耳助听器的当前定向或角度，从而当助听器相对于磁北极或另一预定参考方向适当地安装在用户的耳朵处或中时，可以指示用户头部的当前定向或角度，如下面参考附图更详细讨论的。用户头部的当前定向或角度优选在水平面中表示。除了磁力计之外，头部跟踪传感器还可以包括其他类型的传感器，例如陀螺仪和/或加速度传感器，以提高确定用户头部的定向或角度的准确性和/或速度，如下面参考附图更详细讨论的。
每个便携式终端可以包括或实现为智能手机、移动电话、蜂窝电话、个人数字助理(PDA)或具有不同类型的无线连接和显示器的类似类型的便携式外部控制设备。
在增强一个或多个期望说话者的语音的本方法的一些实施例中，从所述一个或多个期望说话者的便携式终端接收相应的室内位置信号是经由相应的无线数据通信链路或经由共享的无线网络通过助听器用户的便携式终端而执行的。用户的便携式终端和一个或多个期望说话者的便携式终端中的每一个可以包括Wi-Fi接口，允许在所有便携式终端之间进行无线连接以交换诸如各自的室内位置信号之类的数据。根据以上步骤d)确定一个或多个期望说话者相对于助听器用户的相应角度方向可以由用户便携式终端的处理器(例如微处理器和/或数字信号处理器)来执行，或通过左耳助听器和/或右耳助听器的处理器，例如微处理器和/或信号处理器，例如数字信号处理器来执行。如果到一个或多个期望说话者的相应角度方向的确定由用户的便携式终端的处理器执行，则必须优选地经由合适的无线连接或链路将用户头部的定向(θU)从左耳或右耳助听器的头部跟踪传感器发送到用户的便携式终端。因此，本方法的一个实施例还包括：
-经由无线数据通信链路向助听器用户的便携式终端发送来自所述头部跟踪传感器的头部跟踪数据，所述头部跟踪数据指示从所述左耳助听器或所述右耳助听器到助听器用户的便携式终端的用户头部的定向(θU)；和
-通过用户的便携式终端的处理器确定到所述一个或多个期望说话者的相应角度位置或角度方向，
-经由所述无线数据通信链路从用户的便携式终端向所述左耳助听器和/或所述右耳助听器发送指示到所述一个或多个期望说话者的相应角度方向的说话者角度数据。
相比而言，本方法的替代实施例，其中由助听器的处理器(例如信号处理器)执行到一个或多个期望说话者的相应角度方向的确定，包括：
-在用户的便携式终端接收来自一个或多个期望说话者的便携式终端的相应室内位置信号，
-经由无线数据通信链路将来自用户的便携式终端的相应室内位置信号发送到所述左耳助听器和所述右耳助听器中的至少一个，
-由所述左耳助听器的信号处理器和/或所述右耳助听器的信号处理器计算到所述一个或多个期望说话者的相应方向。
确定与所述一个或多个期望说话者中的每一个相关联的左耳HRTF和右耳HRTF可以包括：
-访问存储在以下中的至少一个中的HRTF表：用户的便携式终端的易失性存储器，例如RAM，或非易失性存储器，以及所述左耳助听器或所述右耳助听器的易失性存储器，例如RAM，或非易失性存储器；
所述HRTF表保存头部相关传递函数，例如表示为针对从0度到360度的多个声音入射角的多个频率点的幅度和相位。
本领域技术人员将理解，HRTF表可以存储在用户d便携式终端的易失性或非易失性存储器中，并且如果由用户的便携式终端的处理器执行到一个或多个期望说话者的相应角度方向的确定，则由便携式终端处理器访问。便携式终端的处理器可以读出用于一个或多个期望说话者的角位置(或方向)中的每一个的适当左耳HRTF和右耳HRTF数据集。所获取的HRTF数据集可以经由相应的无线数据通信链路发送到左耳助听器和/或右耳助听器。左耳助听器的信号处理器可以根据上述步骤g)用相关联的左耳HRTF对一个或多个单耳期望语音信号进行滤波，并且右耳助听器的信号处理器可以以相应的方式根据上述步骤h)用相关联的右耳HRTF对一个或多个单耳期望语音信号进行滤波。本实施例可以减少左耳助听器和右耳助听器的存储器资源消耗。
根据本方法的替代实施例，HRTF表存储在左耳助听器或右耳助听器的易失性或非易失性存储器中，并由助听器的信号处理器访问。左耳助听器的信号处理器可以根据上述步骤g)用相关联的左耳HRTF对一个或多个单耳期望语音信号进行滤波，并且右耳助听器的信号处理器可以以相应的方式根据上述步骤g)用相关联的右耳HRTF对一个或多个单耳期望语音信号进行滤波。本领域技术人员将理解，在该实施例中，到一个或多个期望说话者的相应角度方向的确定仍可以由用户便携式终端的处理器执行或替代地由左耳或右耳助听器的信号处理器执行。
左耳HRTF和右耳HRTF的确定可以针对特定期望说话者的特定角位置以不同方式执行，而与HRTF表是存储在用户便携式终端的存储器中还是存储在左耳或右耳助听器的存储器中无关。确定左耳和右耳HRTF的两种不同方式可包括：
-通过从HRTF表中选择表示最接近地匹配到期望说话者的角度方向的声音入射角的左耳HRTF和右耳HRTF，确定所述一个或多个期望说话者中的每一个的左耳HRTF和右耳HRTF。
替代性地，确定可以通过以下方式执行：
-确定HRTF表中到期望说话者的角度方向的一对相邻声音入射角，且
-在对应的左耳HRTF之间进行插值以确定期望说话者的左耳HRTF；并在对应的右耳HRTF之间进行插值以确定期望说话者的右耳HRTF。对应的左耳HRTF是由一对相邻声音入射角表示的，对应的右耳HRTF是由一对相邻声音入射角表示的。
听力用户的便携式终端可以配置为通过用户便携式终端的显示器的图形用户界面帮助用户获得在特定听音室或环境中配备有适当配置的便携式终端的可用说话者数量的概览终端。图形用户界面优选由安装在用户便携式终端上并由其执行的应用程序提供。根据一个这样的实施例，用户的便携式终端配置为：
-在用户的便携式终端的显示器的图形用户界面上，通过多个可用说话者中的每一个的独特字母数字文本和/或独特图形符号来指示房间中的多个可用说话者。
作为响应，用户可以通过启用(例如，手指敲击)与每个期望说话者相关联的独特字母数字文本或独特图形符号，从所述房间中的所述多个可用说话者中选择所述一个或多个期望说话者。可以通过提供便携式终端的触敏显示器来实现对一个或多个期望说话者的选择。本方法可以通过将助听器用户的便携式终端的图形用户界面配置为描绘多个说话者和用户在听音室中的空间布置来向用户提供关于可用说话者数量的额外帮助，如在下面参考附图的附加细节。
在水平面中，到至少一个期望说话者(A)的角度方向θA可以根据以下计算：
其中：
XU、YU表示用户在预定室内坐标系中在水平面中在笛卡尔坐标中的位置；
XA、YA表示期望说话者在预定室内坐标系中在水平面中在笛卡尔坐标中的位置；
θU表示用户的头部在水平面中的定向。
可以以相应的方式执行水平面中到其他期望说话者的各个角度方向。
本发明的第二方面涉及一种双耳助听器系统，包括：
左耳助听器，配置为设置在用户的左耳或右耳处或中，所述左耳助听器包括第一麦克风装置、第一信号处理器和第一数据通信接口，所述第一数据通信接口配置为通过第一数据通信信道进行麦克风信号的无线发送和接收；
右耳助听器，配置为设置在用户的右耳处或右耳中，所述右耳助听器包括第二麦克风装置、第二信号处理器和第二数据通信接口，所述第二数据通信接口配置为通过所述第一数据通信信道进行所述麦克风信号的无线发送和接收。
双耳助听器系统还包括头部跟踪传感器，安装在所述左耳助听器和所述右耳助听器中的至少一个中，并配置为检测用户头部相对于预定参考方向(θ0)的角度定向θU；和用户便携式终端，配备有室内定位传感器(IPS)并且能够经由第二数据通信链路或信道无线连接到所述左耳助听器和所述右耳助听器中的至少一个。所述用户便携式终端的处理器(例如可编程微处理器或DSP)配置为：
-基于由所述用户便携式终端的室内位置传感器提供的第一室内位置信号，参考预定房间坐标系确定所述用户在房间内的位置，
-从一个或多个期望说话者的相应便携式终端接收相应的室内位置信号；其中，所述室内位置信号中的每一个指示相关便携式终端参考所述预定房间坐标系在所述房间内的位置，
-基于所述一个或多个期望说话者的相关便携式终端的相应位置、用户的位置(XU，YU)和用户头部的角度定向(θU)，确定所述一个或多个期望说话者相对于所述用户的相应角度方向，
-经由第二数据通信链路或通道将所述一个或多个期望说话者的相应角度方向发送到所述左耳助听器和所述右耳助听器。所述左耳助听器的第一信号处理器优选地配置为：
-接收所述一个或多个期望说话者的相应角度方向，
-基于所述左耳助听器的至少一个麦克风信号和所述右耳助听器的至少一个麦克风信号生成一个或多个双侧波束成形信号，所述一个或多个双侧波束成形信号在所述一个或多个期望的说话者的相应角度方向表现出最大灵敏度以产生一个或多个对应的左耳单耳期望语音信号，
-基于所述一个或多个期望说话者的相应角度方向为所述一个或多个期望说话者中的每一个确定左耳头部相关传递函数(HRTF)，
-用相关联的左耳HRTF对一个或多个单耳期望语音信号中的每一个进行滤波，以在所述左耳助听器中产生一个或多个对应的左耳空间化期望语音信号，
-组合一个或多个左耳空间化期望语音信号，并通过所述左耳助听器的输出换能器将第一组合空间化期望语音信号施加到用户的左耳鼓。所述右耳助听器的第二信号处理器配置为：
-接收到所述一个或多个期望说话者的相应角度方向，
-基于所述左耳助听器的至少一个麦克风信号和所述右耳助听器的至少一个麦克风信号生成一个或多个双侧波束成形信号；其中，所述一个或多个双侧波束成形信号在所述一个或多个期望说话者的相应角度方向表现出最大灵敏度以产生一个或多个对应的单耳期望语音信号，
-基于所述一个或多个期望说话者的相应角度方向为所述一个或多个期望说话者中的每一个确定右耳头部相关传递函数(HRTF)，
-用相关联的右耳HRTF对一个或多个单耳期望语音信号中的每一个进行滤波，以在所述右耳助听器中产生一个或多个对应的右耳空间化期望语音信号，
-组合一个或多个右耳空间化期望语音信号，并通过所述右耳助听器的输出换能器将第二组合空间化期望语音信号施加到用户的右耳鼓。
HRTF表的左耳HRTF和右耳HRTF优选地表示在声学模型(例如KEMAR或HATS)上确定的头部相关传递函数。在一些实施例中，HRTF表的左耳HRTF和右耳HRTF可以表示在用户或声学人体模型上确定的左耳助听器的第一麦克风装置和右耳助听器的第二麦克风装置的头部相关传递函数。
右耳和左耳助听器中的第一无线数据通信信道或链路及其相关无线接口可以包括磁线圈天线并且基于近场磁耦合，例如可以在10到20MHz之间的频率区域中操作的NMFI。除了麦克风信号之外，无线数据通信信道可以配置为在右耳和左耳助听器之间承载各种类型的控制数据、信号处理参数等。因此，右耳和左耳助听器的计算负担和协调状态得到分配。
将用户的便携式终端无线连接到左耳和右耳助听器中的至少一个的第二数据通信链路可以包括用户便携式终端中的无线收发器以及左耳和右耳助听器中的兼容无线收发器。无线收发器可以是配置为在2.4GHz工业科学医疗(ISM)频带中操作的无线电收发器，并且可以符合蓝牙LE标准。
由用户便携式终端的处理器处理的各种音频信号和由左耳助听器和右耳助听器的处理器处理的音频信号优选地以一定采样率或频率的数字编码格式表示，例如32kHz、48kHz、96kHz等。
本领域技术人员将理解，可以应用本领域已知的各种固定或自适应波束成形算法，例如延迟并求和波束成形算法或滤波并求和波束成形算法，来形成第一双侧波束成形信号。使用安装在KEMAR上的双耳助听器系统进行测量；一个或多个双侧波束成形信号的生成可配置为提供所述左耳助听器的一个或多个双侧波束成形信号中的每一个在1kHz的最大灵敏度和最小灵敏度之间的差大于10dB；类似地，一个或多个双侧波束成形信号可配置为提供所述右耳助听器的一个或多个双侧波束成形信号中的每一个在1kHz的最大灵敏度和最小灵敏度之间的差大于10dB。
用户便携式终端的处理器可以包括软件可编程微处理器，例如数字信号处理器或专有数字逻辑电路或其任意组合。左耳助听器和右耳的处理器中的每一个可以包括软件可编程微处理器，例如数字信号处理器或专有数字逻辑电路或它们的任何组合。如本文所用，术语“处理器”、“信号处理器”、“控制器”等旨在指代微处理器或CPU相关实体，无论是硬件、硬件和软件的组合、软件还是执行中的软件。例如，“处理器”、“信号处理器”、“控制器”、“系统”等可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程和/或程序。举例来说，术语“处理器”、“信号处理器”、“控制器”、“系统”等表示在处理器上运行的应用程序和硬件处理器。一个或多个“处理器”、“信号处理器”、“控制器”、“系统”等或它们的任何组合，可以驻留在进程和/或执行线程中，以及一个或多个“处理器”、“信号处理器”、“控制器”、“系统”等，或其任何组合，可以定位在一个硬件处理器上，可能与其他硬件电路组合，和/或分布在两个或多个硬件处理器之间，可能与其他硬件电路组合。此外，处理器(或类似术语)可以是能够执行信号处理的任何组件或组件的任何组合。例如，信号处理器可以是ASIC处理器、FPGA处理器、通用处理器、微处理器、电路组件或集成电路。
附图说明
下面结合附图对本发明的优选实施例进行更详细的描述，其中：
图1示意性地示出了根据本发明示例性实施例的双耳或双侧助听器系统，包括通过第一双向无线数据通信链路连接的左耳助听器和右耳助听器以及通过第二双向无线数据通信链路连接到左耳助听器和右耳助听器的便携式终端，
图2示出了根据本发明第一实施例的双耳或双侧助听器系统的示意框图，
图3示出了根据本发明第二实施例的双耳或双侧助听器系统的示意框图，
图4示意性地示出了根据本发明的示例性实施例如何确定助听器用户头部的定向和到听音室中各个位置处的多个期望说话者的相应角度方向；和
图5是根据本发明示例性实施例的双耳或双侧助听器系统和助听器用户便携式终端的显示器上的图形用户界面的使用情况的示意图。
具体实施方式
下面参考附图描述本双耳助听器系统的各种示例性实施例。本领域技术人员将理解，附图是示意性的并且为清楚起见进行了简化，因此仅示出了对理解本发明必不可少的细节，而省略了其他细节。相同的附图标记始终指代相同的元件。因此，不必针对每幅图详细描述相同的元件。
图1示意性地示出了双耳或双侧助听器系统50，其包括左耳助听器10L和右耳助听器10R，每个助听器包括无线通信接口34L、34R，用于通过第一无线通信信道12连接到另一个听力仪器。双耳或双侧助听器系统50另外包括便携式终端5，例如双耳或双侧助听器系统50的用户的智能手机、移动电话、个人数字助理。在系统50的本实施例中，左耳和右耳助听器10L、10R经由支持数字化麦克风信号和其他数字音频信号的实时流发送和交换的双向无线数据通信信道或链路12彼此连接。唯一ID可以与左耳和右耳助听器10L、10R中的每一个相关联。双耳助听器系统50的所示无线通信接口34L、34R中的每一个可以包括磁性线圈天线44L、44R并且基于近场磁耦合，例如在10和20MHz之间的频率区域中操作的NMFI。用户的智能手机5和左耳助听器10L之间的第二无线数据通信通道或链路15可以配置为在2.4GHz工业科学医学(ISM)频带中操作并且可以符合诸如蓝牙核心规格4.0或更高的蓝牙LE标准。左耳助听器10L包括耦合到单独的蓝牙天线36的蓝牙接口电路35。本领域技术人员将理解，右耳助听器10R可以包括对应的蓝牙接口电路和蓝牙天线(未示出)，使得右耳助听器10R能够与用户的智能手机5直接通信。
在本双耳助听器系统的一些实施例中，左助听器10L和右助听器10R因此可以在硬件组件和/或信号处理算法和功能方面基本相同，除了上述的唯一助听器ID，使得以下对左助听器10L的特征、组件和信号处理功能的描述也适用于右助听器10R，除非另有说明。
左助听器10L可以包括配置为向助听器电路14L供电的ZnO2电池(未示出)或可充电电池。左助听器10L包括麦克风装置16L，其优选地至少包括第一和第二全向麦克风，如下面更详细地讨论的。左耳助听器10L的图示组件可以布置在一个或多个助听器外壳部分内，例如BTE、RIE、ITE、ITC、CIC、RIC等类型的助听器外壳，这同样适用于右耳助听器10R。
左助听器10L另外包括处理器，例如信号处理器24L，其可以包括听力损失处理器(未示出)。信号处理器24L还配置为对助听器的麦克风信号和对侧麦克风信号执行单耳波束成形和双侧波束成形，如下面更详细讨论的。听力损失处理器配置为补偿用户左耳的听力损失。优选地，听力损失处理器24L包括众所周知的动态范围压缩器电路或算法，用于补偿用户的动态范围的频率相关损失，在本领域中通常称为募集。因此，信号处理器24L优选地生成听力损失补偿信号并将其输出到扬声器或接收器32L。
本领域技术人员将理解，信号处理器24L、24R中的每一个可以包括软件可编程微处理器，例如数字信号处理器(DSP)。左耳和右耳助听器10L、10R中的每一个的操作可以由在软件可编程微处理器上执行的合适操作系统控制。操作系统可以配置为管理助听器硬件和软件资源或程序例程(例如，包括各种信号算法的执行，例如配置为计算双侧波束成形信号、计算第一和第三单耳波束成形信号的算法、听力损失补偿的计算)以及可能的其他处理器和相关联的信号处理算法、无线数据通信接口34L、特定内存资源等。操作系统可以调度任务以有效使用助听器资源，并且还可以包括用于成本分配的会计软件，其中成本分配包括功耗、处理器时间、存储器位置、无线传输和其他资源。操作系统可以控制无线数据通信接口34L的操作，使得通过无线数据通信接口34L和通信通道12，第一单耳波束成形信号被发送到右耳助听器10R并且从右耳助听器接收第二单耳波束成形信号。
左耳助听器10L另外包括头部跟踪传感器17，其优选地包括磁力计，当适当地安装在用户的耳朵上时，该磁力计指示左耳助听器10L和助听器用户头部相对于磁北极或另一预定参考方向θ0的当前角度方向θU，如下面更详细讨论的。用户头部的当前定向或角度θU优选表示在水平面中测量的角度。当前定向θU可以被数字编码或表示并发送到信号处理器24L或由信号处理器24L读取——例如经由信号处理器24L的合适输入端口。除了磁力计之外，头部跟踪传感器17还可以包括其他类型的传感器，例如陀螺仪和/或加速度传感器，均可以包括MEMS装置。这些额外的传感器可以提高头部跟踪传感器15在确定角度定向θU时的准确性或速度，因为磁力计可能对用户头部定向的变化反应相对较慢。这些快速变化可以通过可以与磁力计一起校准的陀螺仪和/或加速度传感器进行补偿。用户的智能手机5包括第一室内定位传感器(IPS 1)和显示器，例如具有适当分辨率的LED或OLED显示器，以在视觉上向用户呈现字母数字符号、文本、图形符号、图片等。用户智能手机5的处理器，例如专用图形引擎(未示出)，控制显示器6上的字母数字符号、文本和图形符号的内容和布局，以创建灵活的图形用户界面。
第一室内定位传感器(IPS 1)配置为产生第一室内位置信号，例如，作为数字数据，其输入到用户智能手机5的可编程微处理器或DSP(未示出)中。第一室内位置信号使得可编程微处理器或DSP能够直接或间接确定智能手机5及其用户所在的特定房间(未示出)内用户的智能手机5的参考预定房间坐标系的(例如实时)当前位置。本领域技术人员将理解，可编程微处理器或DSP可以执行特定的定位算法、定位程序或定位例程以将室内位置信号转换为智能手机5在房间内的当前位置。本领域技术人员将理解可以使用不同类型的房间坐标系。在一个实施例中，房间坐标系统使用针对用户和期望说话者的水平面中的笛卡尔坐标(x，y)，如下面参考图3更详细地讨论的。第一室内定位传感器(IPS 1)配置为接收并响应多个位置发射器(未示出)，使得室内定位传感器IPS 1和多个位置发射器的组合系统可以以优于2或1米的精度定义用户智能手机的当前位置，或优选优于0.5m。
室内定位传感器IPS 1和多个位置发射器可以利用用于室内位置确定和跟踪的多种众所周知的机制中的任何一种，例如RF(射频)技术、超声波、红外线、基于视觉的系统和磁场。基于RF信号的系统可以包括例如在2.4GHz频段和5GHz频段中运行的WLAN、蓝牙(2.4GHz频段)、超宽带和RFID技术。第一室内定位传感器(IPS 1)可以利用各种类型的定位方案，例如三角测量、三边测量、双曲线定位、数据匹配等等。在一个基于WLAN网络的实施例中，用户的智能手机可以通过检测来自多个Wi-Fi热点的相应RF信号强度来确定其位置。
图2是上面讨论的双耳或双侧助听器系统50的示例性实施例的示意框图，其中左耳助听器10L和右耳助听器10R安装在助听器用户1的左耳和右耳处。助听器10L的麦克风装置16L可以包括第一和第二全向麦克风101a、101b，它们分别响应于传入或冲击声音产生第一和第二麦克风信号。第一和第二全向麦克风101a、101b各自的声音入口或端口(未示出)优选地以一定间隔布置在助听器10L的一个壳体部分中。声音入口或端口之间的间距取决于外壳部分的尺寸和类型，但可能介于5和30mm之间。助听器10R的麦克风装置16R可以包括相似的一对第一和第二全向麦克风101c、101c，其类似地安装在右耳助听器10R的外壳部分中并且以与麦克风装置16L相似的方式操作。用户的智能手机5由其集成的第一室内定位传感器(IPS 1)示意性地表示。双耳助听器系统50另外无线连接到安装在由三个期望说话者或讲话者(A、B、C)携带的三个附加智能手机(未显示)中的相应一个内部的第二室内定位传感器IPS A(60)、第三室内定位传感器IPS B(70)和第四室内定位传感器IPS C(80)，如图3示意性示出。
图2上的示意框图说明了本实施例中先前讨论的信号处理器24L的功能，其中在左耳助听器中在其上执行的信号处理算法或功能由各个处理块示意性地说明，诸如源角度估计器210、双侧波束成形器212、HRTF表213、空间化功能214和信号加法器或组合器215。
信号处理器24L的源角度估计器210配置为接收由用户智能手机5中的第一室内定位传感器(IPS 1)产生的第一室内位置信号。用户智能手机5配置为通过先前讨论的蓝牙LE兼容无线链路15无线发送第一室内位置信号到源角度估计器210。源角度估计器210还配置为经由左耳助听器的先前讨论的蓝牙接口电路35接收由三个期望的说话者或讲话者(A、B、C)的智能手机60、70、80经由其相应蓝牙无线数据链路或信道发送的相应室内位置信号。这些室内定位信号参考预定的房间坐标系指示在听音室内相关的期望说话者的智能手机的相应当前位置。该房间坐标系可以依赖于房间水平面中的笛卡尔坐标，如下面更详细讨论的。源角度估计器210另外配置为从头部跟踪传感器15接收头部定向信号，并且该定向信号指示用户头部1相对于预定参考定向或角度θ0的当前角度定向θU或方向，请参考图3。
在替代实施例中，用户的智能手机5配置为发送其自己的室内位置信号和由三个期望说话者或讲话者(A、B、C)的智能手机60、70、80产生的相应室内位置信号。在后一实施例中，期望说话者(A、B、C)的相应智能手机60、70、80通过它们相应的蓝牙无线通信链路或信道无线连接到用户的智能手机5，或者通过由期望说话者(A、B、C)的智能手机60、70、80和用户的智能手机5的相应Wi-Fi接口建立的共享Wi-Fi网络连接。期望说话者(A、B、C)的智能手机60、70、80将它们相应的室内位置信号发送到用户的智能手机5。在该实施例中，左耳助听器10L只需要建立和服务到用户的智能手机5的单个无线通信链路15，例如蓝牙LE兼容的链路或通道，而不是到期望说话者(A、B、C)的智能手机60、70、80的多个无线链路。换言之，用户的智能手机5配置为期望说话者(A、B、C)的智能手机60、70、80的各个位置信号的中继装置。
源角度估计器210配置为，基于用户的智能手机5和期望说话者(A、B、C)的智能手机60、70、80的上述室内定位信号以及指示用户头部1相对于预设参考角度θ0的当前角度定向θU(或方向)的头部定向信号，计算相对于用户头部当前定向的到期望说话者(A、B、C)的相应说话者角度或角度方向θA、θB、θC。图3示意性地图示了相对于预定参考定向或角度θ0的到期望说话者(A、B、C)的相应角度方向θA、θB、θC。用户头部相对于预定参考定向或角度θ0的当前定向或角度θU也在图3中示意性地示出。听力仪器用户和期望的说话者(A、B、C)位于由多个墙壁、天花板和地板界定的听音室300内。听音室可以是酒吧、咖啡馆、食堂、办公室、餐厅、教室、音乐厅或任何类似的房间或场所等。到说话者的相应角度方向θA、θB、θC、θ0优选地在听音室的水平面中测量，即与地板平行。用户的位置或笛卡尔坐标(XU，YU)和期望说话者(A、B、C)的相应位置或笛卡尔坐标(XA，YA)、(XB，YB)、(XC，YC)可以在听音室300的水平面中以笛卡尔坐标(x，y)指定或测量，如图3示意性地示出。
使用笛卡尔坐标，源角度估计器210可以配置为根据以下公式确定或计算相对于用户头部定向θU的到期望说话者A的角度方向θA：
本领域技术人员将理解，源角度估计器210可以配置为以相应的方式分别确定或计算相对于用户头部定向θU的到期望说话者B、C的说话者角度或方向θB、θC。对于听音室300中可能存在的任何额外的期望说话者也是如此。
源角估计器210配置为将到期望说话者(A、B、C)中的相应一个的计算的角度方向θA、θB、θC发送或传递到双侧波束成形器212。左耳助听器10L的双侧波束成形器212被配置成基于由左耳助听器10L的麦克风装置16L提供的至少一个麦克风信号和由右耳助听器10R的麦克风装置16R提供的至少一个麦克风信号来生成三个单独的双侧波束成形信号。来自右耳助听器的至少一个麦克风信号可以通过双向无线数据通信信道或链路12发送到左耳助听器。以相应的方式，来自左耳助听器的至少一个麦克风信号可以通过双向无线数据通信信道或链路12发送到右耳助听器10R，以用于右耳助听器10L的对应双侧波束成形器(未示出)。
至少一个麦克风信号中的每一个可以是全向信号或定向信号，其中后者可以产生于来自麦克风101a、101b的麦克风信号的单耳波束成形和/或来自右耳助听器10R的麦克风101c、101d的麦克风信号的单耳波束成形。
双侧波束成形器212生成第一双侧波束成形信号，该信号对来自期望说话者A的说话者方向θA的声音表现出最大灵敏度。因此，对于来自所有其他角度方向的声音，特别是来自用户头部后半球的声音，相对于最大灵敏度，第一双侧波束成形信号的极性模式可以表现出降低的灵敏度。与来自说话者A的角度方向θA的声音相比，来自用户头部的后方和侧方的声音的相对衰减或抑制在1kHz下测量可以大于6dB或10dB。以这种方式，第一双侧波束成形信号由期望说话者A的语音控制，而其他期望说话者B、C的语音分量被显著衰减，并且来自听音室内其他方向而不是角度方向θA的环境噪声被同样明显减弱。因此，第一双侧波束成形信号可以被视为第一单耳期望语音信号MS(θA)，其中“单耳”指示期望语音信号MS(θA)连同对应的右耳期望语音信号(未示出)缺乏适当的空间线索。特别是耳间电平差和耳间相位/时间差，因为这些听觉线索被双侧波束成形操作抑制或严重失真。
双侧波束成形器212另外配置为生成第二和第三双侧波束成形信号，这些信号以相应方式对来自到期望说话者B和C的对应角度方向θB、θC(或角度位置)的声音表现出最大灵敏度，即，使用双侧波束成形器212产生具有与第一单耳期望语音信号MS(θA)对应的特性的第二和第三单耳期望语音信号MS(θB)、MS(θC)。
双侧波束成形器212可以利用各种已知的波束成形算法来生成双侧波束成形信号，例如求和并延迟波束成形器或滤波并求和波束成形器。
随后第一、第二和第三单耳期望语音信号MS(θA)、MS(θB)、MS(θC)分别应用于空间化函数214的相应输入。空间化函数214的作用是向第一、第二和第三单耳期望语音信号中引入或插入适当的空间线索，例如耳间电平差和耳间相位/时间差。空间化函数或算法214配置为通过访问或读取HRTF表216的HRFT数据确定与期望说话者A、B、C中的每一个相关联的左耳HRTF。HRTF表216可以存储在左耳助听器10L的易失性存储器(例如RAM)中或非易失性存储器(例如EEPROM或闪存等)中。在空间化函数214执行期间，左耳HRTF表216可以从非易失性存储器加载到信号处理器24L的某个易失性存储器区域，例如RAM区域。在其他实施例中，HRTF表216可以存储在用户智能手机的非易失性存储器中，例如EEPROM或闪存等。在后一实施例中，用户智能手机的处理器可以基于说话者方向θA确定相关的左耳HRTF，并经由无线通信链路15将相关的左耳HRTF发送到左耳助听器。
在这两种情况下，HRTF表216优选地保存或存储多个左耳头部相关传递函数，例如表示为针对从0度到360度的多个声音入射角的多个频率点的幅度和相位。HRTF表216可以例如以10-30度声音入射角的步长保存HRTF。HRTF表216的左耳HRTF和右耳HRTF优选地表示在诸如KEMAR或HATS的声学模型上确定的头部相关传递函数。在一些实施例中，HRTF表216的左耳HRTF和右耳HRTF可以将左耳助听器的第一麦克风装置和右耳助听器的第二麦克风装置的头部相关传递函数表示为由用户或声学模型决定。
本领域技术人员将理解，空间化函数或算法214可通过不同机制确定或估计期望说话者A在角度方向θA的左耳HRTF。在一个实施例中，空间化函数或算法214可以配置为选择表示最接近地匹配到角度方向θA的声音入射角的HRTF。因此，如果当前角度方向θA估计为32度，并且左耳HRTF表216以10度增量保存HRTF，如20、30、40度等，则空间化函数214只需选择对应于30度的左耳HRFT，作为到说话者A的角度方向θA的HRFT的适当估计。空间化函数214的替代实施例配置为确定HRTF表中到期望说话者A的角度方向θA的一对相邻声音入射角并且在对应的左耳HRTF之间进行插值以确定期望说话者A的左耳HRTF(θA)。因此，使用上述左耳HRTF表216，空间化函数214选择对应于说话者方向30度和40度的左耳HRTF并通过在每个频率点在声音入射角30度和40度处的左耳HRTF之间插值，计算说话者方向32度的左耳HRTF(θA)——例如使用线性插值或多项式插值来计算32度说话者方向的左耳HRTF的良好估计。空间化函数或算法214优选地配置为以相应的方式确定或估计在角度方向θR、θC处的期望说话者B、C的相应左耳HRTF(θB、θC)。
空间化功能214继续使用在声音入射角32度处确定的左耳HRTF(θA)对第一单耳期望语音信号MS(θA)进行滤波——例如使用第一单耳期望语音信号MS(θA)和左耳HRTF的频域变换表示的频域乘法。替代性的，通过第一单耳期望语音信号MS(θA)与确定的左耳HRTF(θA)的脉冲响应的直接卷积。这些操作中的任何一个都获得了对应于第一单耳期望语音信号MS(θA)的第一空间化期望语音信号。第一空间化期望语音信号包括与第一期望说话者A的实际角度方向θA相关联的适当空间线索。空间化函数214另外配置为以相应的方式使用角度方向θB，θC上期望说话者B、C的左耳HRTF(θB)、HRTF(θC)的相应估计对第二和第三单耳期望语音信号MS(θB)、MS(θC)分别进行滤波。后面的操作产生对应于第二和第三单耳期望语音信号MS(θB)、MS(θC)的第二和第三空间化期望语音信号。
信号加法器或组合器215对第一、第二和第三单耳期望语音信号MS(θA)、MS(θB)、MS(θC)求和或组合以产生组合的空间化期望语音信号217。组合的空间化期望语音信号217可以经由左耳助听器10L的输出放大器/缓冲器和输出换能器32L施加到用户的左耳膜。输出换能器32L可以包括由合适的功率放大器驱动的微型扬声器或接收器，所述功率放大器例如为D类放大器，例如数字调制脉冲宽度调制器(PWM)或脉冲密度调制器(PDM)等。微型扬声器或接收器32L将组合的空间化期望语音信号217转换为相应的声学信号，该声学信号可以例如通过左助听器10L的具有适当形状和尺寸的耳塞传达到用户的耳膜。替代地，输出换能器可包括一组电极，用于本双耳助听器系统50的耳蜗植入物实施例的神经刺激。
本领域技术人员将理解，与由左耳助听器10L的信号处理器执行的操作相对应的操作可以由右耳助听器10R的信号处理器24R通过相应的处理块和电路来应用，例如源角度估计器、双侧波束成形器、HRTF表、空间化函数和信号加法器或组合器。
组合的空间化期望语音信号217具有几个有利的特性，因为它仅包含每个期望说话者的干净语音，而分散的环境噪声和来自位于其他角度的不期望/干扰说话者的竞争语音被选择性地关注期望的一个或多个说话者的波束成形操作抑制。换言之，由期望说话者产生的语音信号在组合的空间化期望语音信号217中被增强。替代地，由不期望/干扰说话者和环境噪声产生的语音信号在组合的空间化期望语音信号217中被抑制。组合的空间化期望语音信号217与对应的右耳组合的空间化期望语音信号(未示出)相结合的另一个值得注意的特性是，期望说话者(例如A、B、C)的语音似乎源自听音室内的正确空间位置或角度。因此，使得本双耳助听器系统50的用户的听觉系统能够受益于由期望说话者产生的语音的保留空间线索。
图3是上面讨论的双耳或双侧助听器系统50的第二示例性实施例的示意框图，其中特定计算块或功能从左耳助听器10L移动到用户的智能手机5。更具体地说，源角度估计器210现在由用户的智能手机5的处理器而不是左耳助听器的信号处理器24L执行。用户的智能手机5的处理器配置为接收其自己的室内位置信号以及由三个期望说话者或讲话者(A、B、C)的智能手机60、70、80产生的相应室内位置信号。如上所述，用户的智能手机5和期望说话者(A、B、C)的相应智能手机60、70、80可以通过由智能手机60、70、80的相应Wi-Fi接口建立的共享Wi-Fi网络无线连接，以允许无线发送和接收相应室内位置信号。左耳助听器10L配置为将由头部跟踪传感器17生成的左耳助听器10L的当前角度定向θU经由先前讨论的蓝牙LE兼容无线链路15发送到用户的智能手机5。从而，使得用户的智能手机5的源角度估计器210能够以上述方式计算到期望说话者(A、B、C)的说话者角度或角度方向θA、θB、θC。此后，用户的智能手机5的处理器经由蓝牙LE兼容无线链路15将指示到一个或多个期望说话者的计算的相应方向的说话者角度数据从用户的智能手机发送到左耳助听器10L。本领域技术人员将理解，用户的智能手机5还可以经由对应的蓝牙LE兼容无线链路将说话者角度数据发送到右耳助听器10R。左耳助听器10L优选地包括接收-发送缓冲器211，其可以包括先前讨论的蓝牙接口电路和单独的蓝牙天线，以支持说话者角度数据当前角度定向数据的发送和接收。角度方向θA、θB、θC从接收-发送缓冲器211的输出应用到双侧波束成形器212的输入，并且附加地应用到HRFT表216的输入。信号处理器24L随后执行相同的计算步骤和功能，如上面结合本发明的前述实施例参考图2所讨论的。
本领域技术人员将理解，通过对通过蓝牙LE兼容的无线链路15发送的数据变量的适当适配，甚至更多的计算功能或步骤可以从左耳助听器10L的信号处理器24L以及同样从右耳助听器10R的信号处理器24R转移到用户的智能手机5的处理器。根据一个这样的实施例，HRFT表216布置在用户的智能手机5的存储器中，并且用户的智能手机的处理器确定左耳HRTF(HRTF(θA)、HRTF(θB)和HRTF(θC))以及相应的右耳HRTF(未显示)。左耳HRTF通过蓝牙LE兼容无线链路15发送到左耳助听器10L，右耳HRTF经由对应的蓝牙LE兼容无线链路发送到右耳助听器10R。
根据又一实施例，由左耳助听器10L的信号处理器24L执行的基本上所有先前讨论的计算功能或步骤都被传送到用户的智能手机5的处理器。用户的智能手机5的处理器被配置为实现双侧波束成形器212的功能或算法，访问并读取HRTF表213，实现空间化函数214的功能或算法以及信号加法器或组合器215的功能。用户的智能手机5随后可以经由蓝牙LE兼容无线链路15将组合的空间化期望语音信号217发送到左耳助听器10L，并且将组合的空间化期望语音信号217转换为声学信号或电极信号以施加到用户的左耳。在该实施例中，左耳助听器10L优选地配置为经由蓝牙LE兼容无线链路15将左耳助听器10L的当前角度定向θU发送到用户的智能手机5。此外，左耳助听器10L还配置为经由蓝牙LE兼容无线链路15将由助听器10L的麦克风装置16L传递的一个或多个麦克风信号发送到用户的智能手机5，并且右耳助听器10R以相应的方式配置为经由对应的蓝牙LE兼容无线链路将由麦克风装置16R的麦克风装置16R传递的一个或多个麦克风信号发送到用户的智能手机5。
图4是根据本发明示例性实施例的双耳或双侧助听器系统的示例性使用情况的示意图，其包括助听器用户的智能手机5的显示器410上的示例性图形用户界面405。显示器410可以包括具有适当分辨率的LED或OLED显示器，以在视觉上向用户呈现字母数字符号、文本、图形符号或图片。诸如专用图形引擎(未示出)和/或用户智能手机5的先前讨论的微处理器的处理器控制显示器410上的字母数字符号、文本和图形符号的内容和布局，以创建灵活的图形用户界面405a、b。用户界面405优选地配置为通过针对每个说话者显示独特的字母数字文本或独特的图形符号来识别存在于听音室、大厅或区域中的多个可用说话者智能手机60、70、75、80及其相关的说话者A、B、C、D等。图形用户界面部分405b例如将可用说话者Poul Smith、Laurel Smith、Ian Roberson和McGregor Thomson的相应姓名显示为独特的字母数字文本。可用说话者的智能手机60、70、75、80可以通过它们各自的蓝牙无线数据链路和接口或者通过由可用说话者的智能手机60、70、75、80和用户的智能手机5的相应Wi-Fi接口建立的共享Wi-Fi网络，无线连接到用户的智能手机5。可用说话者的相应智能手机60、70、75、80和用户的智能手机5之间的无线数据连接和数据交换可以由安装在可用说话者的相应智能手机60、70、75、80和用户的智能手机5上的专有应用或应用程序执行。
根据本发明的一个实施例，最下方的图形用户界面部分405a另外示出或描绘了听音室内的助听器用户(Me)和可用说话者的空间布置。助听器用户(Me)在听音室内的当前位置由独特的图形符号指示，可用说话者的智能手机的当前位置由各个独特的图形符号指示，在本实施例中为相应的人的轮廓。此功能为助听器用户(Me)提供了对听音室中可用说话者及其相对于助听器用户自己在听音室中的位置或地点的位置的直观和快速概览。在图形用户界面部分405a的特定实施例中，助听器用户(Me)能够通过启用与每一个期望说话者相关联的独特字母数字文本或独特图形符号来选择一个或多个可用说话者作为先前讨论的期望说话者。这种期望说话者选择特征可以通过将显示器410提供为触敏显示器来方便地实现。助听器用户(Me)已在图形用户界面部分405a、b的图示布局中选择可用说话者A、B、C作为期望说话者，并且图形用户界面410因此标记期望说话者的对应独特轮廓和名称为绿色。相比之下，未选择但可用的说话者D的独特轮廓和名称标记为红色。
本领域技术人员将理解，在本发明的上述示例性实施例中的左耳助听器10L的信号处理器24L配置为基于用户和三个期望的说话者A、B、C的各自位置以及用户头部的角度定向θU，确定相对于用户头部1的定向的到三个期望说话者A、B、C的相应角度方向。然而，在替代实施例中，左耳助听器和/或右耳助听器可以配置为经由无线通信信道15将用户头部的定向θU发送到用户的智能手机5的可编程微处理器或DSP。用户的智能手机5的可编程微处理器或DSP可以配置为执行确定三个期望说话者A、B、C相对于用户头部1的定向的相应角度方向或角度位置。此后，智能手机5可以将指示到三个期望说话者A、B、C的相应角度方向的角度数据传送到左耳助听器或右耳助听器以供在其中使用，如上文所述。

Claims (15)

1.一种为双耳助听器系统的用户增强一个或多个期望说话者的语音的方法，所述双耳助听器系统安装在所述用户的左耳和右耳处或中；其中，所述用户和所述一个或多个期望说话者中的每一个均携带配备有室内定位传感器(IPS)的便携式终端；
所述方法包括：
a)通过安装在所述双耳助听器系统的左耳助听器或右耳助听器中的头部跟踪传感器，检测用户头部相对于预定参考方向(θ0)的定向(θU)，
b)基于由用户的便携式终端提供的第一室内位置信号，参考预定房间坐标系确定所述用户在听音室内的位置，
c)从所述一个或多个期望说话者的便携式终端接收相应的室内定位信号；其中，所述室内定位信号中的每一个指示相关便携式终端在所述听音室内参考所述预定房间坐标系的位置，
d)基于所述一个或多个期望说话者的相应位置、所述用户的位置(XU，YU)和所述用户的头部的定向(θU)，确定所述一个或多个期望说话者相对于所述用户的相应角度方向，
e)基于所述左耳助听器的至少一个麦克风信号和所述右耳助听器的至少一个麦克风信号生成一个或多个双侧波束成形信号，其中所述一个或多个双侧波束成形信号在所述一个或多个期望说话者的相应角度方向表现出最大灵敏度以产生一个或多个对应的单耳期望语音信号，
f)基于所述一个或多个期望说话者的相应角度方向为所述一个或多个期望说话者中的每一个确定左耳头部相关传递函数(HRTF)和右耳头部相关传递函数(HRTF)，
g)通过频域乘法或时域卷积，用相关联的左耳HRTF对一个或多个单耳期望语音信号中的每一个进行滤波，以产生一个或多个对应的左耳空间化期望语音信号，
h)通过频域乘法或时域卷积，用相关联的右耳HRTF对一个或多个单耳期望语音信号中的每一个进行滤波，以产生一个或多个对应的右耳空间化期望语音信号，
i)在所述左耳助听器中组合一个或多个左耳空间化期望语音信号，并通过所述左耳助听器的输出换能器将第一组合空间化期望语音信号施加到所述用户的左耳鼓，
j)在所述右耳助听器中组合一个或多个右耳空间化期望语音信号，并通过所述右耳助听器的输出换能器将第二组合空间化期望语音信号施加到所述用户的右耳鼓。
2.根据权利要求1所述的增强一个或多个期望说话者的语音的方法，其中，所述头部跟踪传感器包括磁力计、陀螺仪和加速度传感器中的至少一个。
3.根据权利要求1或2所述的增强一个或多个期望说话者的语音的方法，其中从所述一个或多个期望说话者的便携式终端接收相应的室内位置信号是经由相应的无线数据通信链路或经由共享的无线网络通过助听器用户的便携式终端而执行的。
4.根据前述权利要求中任一项所述的增强一个或多个期望说话者的语音的方法，还包括：
-经由无线数据通信链路向助听器用户的便携式终端发送来自所述头部跟踪传感器的头部跟踪数据，所述头部跟踪数据指示从所述左耳助听器或所述右耳助听器到助听器用户的便携式终端的用户头部的定向(θU)；和
-通过用户的便携式终端的处理器确定到所述一个或多个期望说话者的相应角度方向，
-经由所述无线数据通信链路从用户的便携式终端向所述左耳助听器和/或所述右耳助听器发送指示到所述一个或多个期望说话者的相应角度方向的说话者角度数据。
5.根据权利要求1-3中任一项所述的增强一个或多个期望说话者的语音的方法，还包括：
-在用户的便携式终端接收来自所述一个或多个期望说话者的便携式终端的相应室内位置信号，
-经由无线数据通信链路将来自用户的便携式终端的相应室内位置信号发送到所述左耳助听器和所述右耳助听器中的至少一个，
-由所述左耳助听器的信号处理器和/或所述右耳助听器的信号处理器计算到所述一个或多个期望说话者的相应角度方向。
6.根据前述权利要求中任一项所述的增强一个或多个期望说话者的语音的方法，其中确定与所述一个或多个期望说话者中的每一个相关联的左耳HRTF和右耳HRTF包括：
-访问存储在以下中的至少一个中的HRTF表：用户的便携式终端的易失性存储器，或非易失性存储器，以及所述左耳助听器或所述右耳助听器的易失性存储器，或非易失性存储器；
所述HRTF表保存头部相关传递函数，所述HRTF表表示为针对从0度到360度的多个声音入射角的多个频率点的幅度和相位。
7.根据权利要求6所述的增强一个或多个期望说话者的语音的方法，还包括：
-通过从HRTF表中选择表示最接近地匹配到期望说话者的角度方向的声音入射角的左耳HRTF和右耳HRTF，确定所述一个或多个期望说话者中的每一个的左耳HRTF和右耳HRTF；或者
-确定HRTF表中到期望说话者的角度方向的一对相邻声音入射角，且
-在对应的左耳HRTF之间进行插值以确定期望说话者的左耳HRTF；并在对应的右耳HRTF之间进行插值以确定期望说话者的右耳HRTF。
8.根据前述权利要求中任一项所述的增强一个或多个期望说话者的语音的方法，其中，用户的便携式终端配置为：
-在用户的便携式终端的显示器的图形用户界面上，通过多个可用说话者中的每一个的独特字母数字文本和/或独特图形符号来指示房间中的多个可用说话者。
9.根据权利要求8所述的增强一个或多个期望说话者的语音的方法，还包括：
-通过启用与每个期望说话者相关联的独特字母数字文本或独特图形符号，从所述房间中的所述多个可用说话者中选择所述一个或多个期望说话者。
10.根据权利要求8和9中任一项所述的增强一个或多个期望说话者的语音的方法，其中助听器用户的便携式终端的图形用户界面配置为：
-描绘所述房间中多个说话者和用户的空间布置。
11.根据前述权利要求中任一项所述的增强一个或多个期望说话者的语音的方法，包括：
-以规则或不规则的时间间隔重复权利要求1的步骤a)–j)，例如每10秒至少一次。
12.根据前述权利要求中任一项所述的增强一个或多个期望说话者的语音的方法，其中在水平面中到至少一个期望说话者(A)的角度方向θA根据以下计算：
其中：
XU、YU表示用户在预定室内坐标系中在水平面中在笛卡尔坐标中的位置；
XA、YA表示期望说话者在预定室内坐标系中在水平面中在笛卡尔坐标中的位置；
θU表示用户的头部在水平面中的定向。
13.一种双耳助听器系统，包括：
左耳助听器，配置为设置在用户的左耳或右耳处或中，所述左耳助听器包括第一麦克风装置、第一信号处理器和第一数据通信接口，所述第一数据通信接口配置为通过第一数据通信信道进行麦克风信号的无线发送和接收；
右耳助听器，配置为设置在用户的右耳处或右耳中，所述右耳助听器包括第二麦克风装置、第二信号处理器和第二数据通信接口，所述第二数据通信接口配置为通过所述第一数据通信信道进行所述麦克风信号的无线发送和接收，
头部跟踪传感器，安装在所述左耳助听器和所述右耳助听器中的至少一个中，并配置为检测用户头部相对于预定参考方向(θ0)的角度定向θU；和
用户便携式终端，配备有室内定位传感器(IPS)并且能够经由第二数据通信链路或信道无线连接到所述左耳助听器和所述右耳助听器中的至少一个；其中，所述用户便携式终端的处理器配置为：
-基于由所述用户便携式终端的室内位置传感器提供的第一室内位置信号，参考预定房间坐标系确定所述用户在房间内的位置，
-从一个或多个期望说话者的相应便携式终端接收相应的室内位置信号；其中，所述室内位置信号中的每一个指示相关便携式终端参考所述预定房间坐标系在所述房间内的位置，
-基于所述一个或多个期望说话者的相关便携式终端的相应位置、用户的位置(XU，YU)和用户头部的角度定向(θU)，确定所述一个或多个期望说话者相对于所述用户的相应角度方向，
-经由第二数据通信链路或通道将所述一个或多个期望说话者的相应角度方向发送到所述左耳助听器和所述右耳助听器；
其中，所述左耳助听器的第一信号处理器配置为：
-接收所述一个或多个期望说话者的相应角度方向，
-基于所述左耳助听器的至少一个麦克风信号和所述右耳助听器的至少一个麦克风信号生成一个或多个双侧波束成形信号，所述一个或多个双侧波束成形信号在所述一个或多个期望的说话者的相应角度方向表现出最大灵敏度以产生一个或多个对应的单耳期望语音信号，
-基于所述一个或多个期望说话者的相应角度方向为所述一个或多个期望说话者中的每一个确定左耳头部相关传递函数(HRTF)，
-用相关联的左耳HRTF对一个或多个单耳期望语音信号中的每一个进行滤波，以在所述左耳助听器中产生一个或多个对应的左耳空间化期望语音信号，
-组合一个或多个左耳空间化期望语音信号，并通过所述左耳助听器的输出换能器将第一组合空间化期望语音信号施加到用户的左耳鼓；并且
其中，所述右耳助听器的第二信号处理器配置为：
-接收到所述一个或多个期望说话者的相应角度方向，
-基于所述左耳助听器的至少一个麦克风信号和所述右耳助听器的至少一个麦克风信号生成一个或多个双侧波束成形信号；其中，所述一个或多个双侧波束成形信号在所述一个或多个期望说话者的相应角度方向表现出最大灵敏度以产生一个或多个对应的单耳期望语音信号，
-基于所述一个或多个期望说话者的相应角度方向为所述一个或多个期望说话者中的每一个确定右耳头部相关传递函数(HRTF)，
-用相关联的右耳HRTF对一个或多个单耳期望语音信号中的每一个进行滤波，以在所述右耳助听器中产生一个或多个对应的右耳空间化期望语音信号，
-组合一个或多个右耳空间化期望语音信号，并通过所述右耳助听器的输出换能器将第二组合空间化期望语音信号施加到用户的右耳鼓。
14.根据权利要求13所述的双耳助听器系统，其中，所述左耳HRTF表示在诸如KEMAR或HATS的声学模型上确定的左耳助听器的第一麦克风装置的头部相关传递函数；和
所述右耳HRTF表示在诸如KEMAR或HATS的声学模型上确定的右耳助听器的第二麦克风装置的头部相关传递函数。
15.根据权利要求13和14中任一项所述的双耳助听器系统，其中，使用安装在KEMAR上的双耳助听器系统进行测量；
所述左耳助听器的一个或多个双侧波束成形信号中的每一个在1kHz的最大灵敏度和最小灵敏度之间的差大于10dB；和
所述右耳助听器的一个或多个双侧波束成形信号中的每一个在1kHz的最大灵敏度和最小灵敏度之间的差大于10dB。
CN202080056221.4A 2019-08-08 2020-08-05 增强一个或多个期望说话者语音的双侧助听器系统和方法 Active CN114208214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19190822.7 2019-08-08
EP19190822 2019-08-08
PCT/EP2020/071998 WO2021023771A1 (en) 2019-08-08 2020-08-05 A bilateral hearing aid system and method of enhancing speech of one or more desired speakers

Publications (2)

Publication Number Publication Date
CN114208214A CN114208214A (zh) 2022-03-18
CN114208214B true CN114208214B (zh) 2023-09-22

Family

ID=67587533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080056221.4A Active CN114208214B (zh) 2019-08-08 2020-08-05 增强一个或多个期望说话者语音的双侧助听器系统和方法

Country Status (5)

Country Link
US (1) US20220141604A1 (zh)
EP (1) EP4011094A1 (zh)
JP (1) JP2022543121A (zh)
CN (1) CN114208214B (zh)
WO (1) WO2021023771A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067994A1 (de) 2022-09-30 2024-04-04 Mic Audio Solutions Gmbh System und verfahren zum verarbeiten von mikrofonsignalen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101884065A (zh) * 2007-10-03 2010-11-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成
CN104185130A (zh) * 2013-05-23 2014-12-03 Gn瑞声达A/S 具有空间信号增强的助听器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50213400D1 (de) * 2002-06-14 2009-05-07 Phonak Ag Verfahren zum Betrieb eines Hörgerätes und Anordnung mit einem Hörgerät
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US20090112589A1 (en) * 2007-10-30 2009-04-30 Per Olof Hiselius Electronic apparatus and system with multi-party communication enhancer and method
KR100947027B1 (ko) * 2007-12-28 2010-03-11 한국과학기술원 가상음장을 이용한 다자간 동시 통화 방법 및 그 기록매체
WO2011101045A1 (en) * 2010-02-19 2011-08-25 Siemens Medical Instruments Pte. Ltd. Device and method for direction dependent spatial noise reduction
US9332359B2 (en) * 2013-01-11 2016-05-03 Starkey Laboratories, Inc. Customization of adaptive directionality for hearing aids using a portable device
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
US9307331B2 (en) * 2013-12-19 2016-04-05 Gn Resound A/S Hearing device with selectable perceived spatial positioning of sound sources
EP2928211A1 (en) * 2014-04-04 2015-10-07 Oticon A/s Self-calibration of multi-microphone noise reduction system for hearing assistance devices using an auxiliary device
EP2942980A1 (en) * 2014-05-08 2015-11-11 GN Store Nord A/S Real-time control of an acoustic environment
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
US9749757B2 (en) * 2014-09-02 2017-08-29 Oticon A/S Binaural hearing system and method
EP3185590B1 (en) * 2015-12-22 2020-08-19 Oticon A/s A hearing device comprising a sensor for picking up electromagnetic signals from the body
US9998847B2 (en) * 2016-11-17 2018-06-12 Glen A. Norris Localizing binaural sound to objects
US10433094B2 (en) * 2017-02-27 2019-10-01 Philip Scott Lyren Computer performance of executing binaural sound
US10219095B2 (en) * 2017-05-24 2019-02-26 Glen A. Norris User experience localizing binaural sound during a telephone call
EP3468228B1 (en) * 2017-10-05 2021-08-11 GN Hearing A/S Binaural hearing system with localization of sound sources
EP3496417A3 (en) * 2017-12-06 2019-08-07 Oticon A/s Hearing system adapted for navigation and method therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101884065A (zh) * 2007-10-03 2010-11-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成
CN104185130A (zh) * 2013-05-23 2014-12-03 Gn瑞声达A/S 具有空间信号增强的助听器

Also Published As

Publication number Publication date
CN114208214A (zh) 2022-03-18
EP4011094A1 (en) 2022-06-15
WO2021023771A1 (en) 2021-02-11
US20220141604A1 (en) 2022-05-05
JP2022543121A (ja) 2022-10-07

Similar Documents

Publication Publication Date Title
CN108600907B (zh) 定位声源的方法、听力装置及听力系统
US10123134B2 (en) Binaural hearing assistance system comprising binaural noise reduction
EP3248393B1 (en) Hearing assistance system
US10567889B2 (en) Binaural hearing system and method
EP3407627B1 (en) Hearing assistance system incorporating directional microphone customization
US20160066103A1 (en) Method and apparatus for localization of streaming sources in hearing assistance system
US11438713B2 (en) Binaural hearing system with localization of sound sources
CN112544089B (zh) 提供具有空间背景的音频的麦克风设备
JP6193844B2 (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
CN114208214B (zh) 增强一个或多个期望说话者语音的双侧助听器系统和方法
JP2018113681A (ja) 適応型の両耳用聴覚指向を有する聴覚機器及び関連する方法
EP2887695B1 (en) A hearing device with selectable perceived spatial positioning of sound sources
CN113940097B (zh) 包含时间去相关波束形成器的双边助听器系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant