CN114423489A - 用于训练供耳蜗植入系统中的处理单元使用的机器学习模型的系统和方法 - Google Patents

Abstract

示例性系统配置为维护代表用于在耳蜗植入系统中使用的机器学习模型的数据并训练机器学习模型。训练可包括：将音频内容作为训练输入施加到机器学习模型，机器学习模型配置为向音频内容施加机器学习启发来输出代表音频内容的电信号；将电信号施加到脑部处理模型，脑部处理模型配置为输出代表电信号的合成音频内容；生成代表音频内容与合成音频内容之间的差异的误差度量；以及将误差度量回馈到机器学习模型中，机器学习模型配置为使用误差度量来调整向音频内容施加的机器学习启发。

Description

用于训练供耳蜗植入系统中的处理单元使用的机器学习模型 的系统和方法

相关申请

本申请要求于2019年7月11日提交的美国临时专利申请号62/873,114的优先权，所述美国临时专利申请的全部内容由此以引用的方式并入。

背景信息

耳蜗植入系统常规包括处理单元(例如，耳后式声处理器)和耳蜗植入物，耳蜗植入物配置为植入在听力受损的受体(recipient)体内。处理器单元配置为按照声处理策略处理向受体呈现的音频内容(例如，语音或其它声音)以生成刺激参数。处理单元进一步配置为将刺激参数发送给耳蜗植入物，耳蜗植入物使用刺激参数来生成和施加代表对受体的音频内容的电刺激。以该方式，受体可感知音频内容。

耳蜗植入系统性能(例如，受体的音频感知的质量、功率消耗等方面)很大部分上取决于由处理单元使用来处理向受体呈现的音频内容的具体声处理策略。不幸的是，由于声处理策略取决于大量变量的组合并且进行客观性评估有挑战，因此通常难以对之进行优化。事实上，改进由声处理单元使用的声处理策略的常规方法往往只提供不显著的性能增益，且有时候在一些用例中和/或对于耳蜗植入受体人口的子集无意中减弱了性能。

附图说明

附图图示出不同实施例并且是本说明书的一部分。图示的实施例仅只是示例，并不限制本公开的范围。贯穿附图，相同或相似的附图标记标示相同或相似的元件。

图1图示示例性的耳蜗植入系统。

图2示出图1的耳蜗植入系统的示例性配置构造。

图3示出图1的耳蜗植入系统的另一示例性配置构造。

图4图示由处理单元采用的示例性声处理策略。

图5示出示例性模型管理系统。

图6示出由模型管理系统实施来维护和训练机器学习模型的操作的示例性实现方式。

图7示出图6中所示的机器学习模型训练过程的替代实现方式。

图8示出示例性的配置构造，在该配置构造中，网络使模型管理系统和耳蜗植入系统的处理单元互连。

图9A-9C示出不同的实现方式，在这些实现方式中，机器学习模型由处理单元使用以实施一个或多个处理级(processing stage)。

图10图示示例性的配置构造，在该配置构造中，处理单元被配置为实现电荷限制元件。

图11图示示例性的配置构造，在该配置构造中，处理单元被配置为基于受体特定反馈(recipient-specific feedback)进一步训练机器学习模型。

图12-14图示示例性方法。

图15图示示例性计算装置。

具体实施方式

本文中描述了用于训练供耳蜗植入系统中使用的机器学习模型的系统和方法。例如，如本文中描述的，模型管理系统可维护代表供耳蜗植入系统中使用的机器学习模型的数据并通过以下方式训练机器学习模型：1)将音频内容作为训练输入施加到机器学习模型，机器学习模型配置为向音频内容施加机器学习启发(machine learning heuristic)来输出代表音频内容的电信号；2)将电信号施加到脑部处理模型，脑部处理模型配置为输出代表电信号的合成音频内容；3)生成代表音频内容与合成音频内容之间的差异的误差度量；以及4)将误差量度回馈到机器学习模型中，机器学习模型配置为使用误差度量来调整向音频内容施加的机器学习启发。

在一些示例中，代表经训练的机器学习模型的数据可被发送给耳蜗植入系统中的处理单元或以其它方式被提供用于由耳蜗植入系统中的处理单元使用。处理单元可配置为使用机器学习模型来实施与处理由处理单元接收的音频内容关联的一个或多个处理级，以生成代表音频内容的一个或多个刺激参数。

与常规声处理技术相比，本文中描述的基于机器学习模型的系统和方法可提供许多益处和优点。例如，本文中描述的系统和方法可允许由耳蜗植入系统中的处理单元使用的声处理策略针对最佳性能进行全局优化、充分利用制造商或与耳蜗植入系统关联的其它实体可获得的大量训练数据。此外，本文中描述的系统和方法可简化或甚至消除进行某些类型的适配(fit)过程的需求，这可为临床医师和受体节约时间和资源。此外，本文中描述的系统和方法可显著降低处理单元处理音频内容所需的功率量，由此维持电池寿命并使得能够制造更小的装置。本文中描述的系统和方法的这些及其它益处和优点将在本文中变得显见。

图1图示出示例性的耳蜗植入系统100，所述耳蜗植入系统配置为由受体使用。如图所示，耳蜗植入系统100包括耳蜗植入物102、电极引线104和处理单元108，电极引线物理耦接到耳蜗植入物102并具有电极106的阵列，处理单元配置为经由通信链路110通信耦接到耳蜗植入物102。

图1中所示的耳蜗植入系统100是单侧的(即，与受体的仅一耳关联)。替代地，双侧配置构造的耳蜗植入系统100可包括针对受体各耳的单独的耳蜗植入物和电极引线。在双侧配置构造中，处理单元108可由配置为与两个耳蜗植入物对接(interface)的单个处理单元实现或由各自配置为与耳蜗植入物中的不同者对接的两个单独的处理单元实现。

耳蜗植入物102可由任何适宜类型的可植入刺激器实现。例如，耳蜗植入物102可由可植入耳蜗刺激器实现。另外或替代地，耳蜗植入物102可由脑干植入物和/或可植入在受体体内并配置为向沿着受体的听通路定位的一个或多个刺激部位施加电刺激的任何其它类型的装置实现。

在一些示例中，耳蜗植入物102可配置成根据处理单元108发送给耳蜗植入物102的一个或多个刺激参数来生成代表经处理单元108处理的音频信号(本文中也称为音频内容)的电刺激。耳蜗植入物102可还配置成经由电极引线104上的一个或多个电极106来向受体体内的一个或多个刺激部位(比如，一个或多个耳蜗内(intracochlear)位置)施加电刺激。在一些示例中，耳蜗植入物102可包括多个独立电流源，所述多个独立电流源每个与由电极106中的一个或多个限定的通道关联。通过这种方式，不同的刺激电流水平可经由多个电极106同时被施加到多个刺激部位。

耳蜗植入物102可另外或替代地配置为生成、存储和/或发送数据。例如，耳蜗植入物可使用一个或多个电极106来记录一个或多个信号(例如，一个或多个电压、阻抗、受体体内的诱发反应和/或其它测量结果)并经由通信链路110将代表所述一个或多个信号的数据发送给处理单元108。在一些示例中，该数据被称为后向遥测数据(back telemetry data)。

电极引线104可以以任何适合的方式实现。例如，电极引线104的远侧部分可预弯曲使得电极引线104在植入之后遵从耳蜗的螺旋形状。电极引线104也可替代地为自然平直的或具有任何其它适合的配置构造。

在一些示例中，电极引线104包括将电极106传导性地联接到耳蜗植入物102内的一个或多个电流源的多根线材(例如，在外护套内)。例如，如果电极引线104上有n个电极106并且耳蜗植入物102内有n个电流源，则电极引线104内可设有n根独立的线材，所述n根独立的线材配置为将每个电极106传导性地连接到n个电流源中的不同者。针对n的示例性的值为8、12、16或者任何其它适合的数目。

电极106至少位于电极引线104的远侧部分上。在该配置构造中，在电极引线104的远侧部分插入到耳蜗中之后，电刺激可经由一个或多个电极106被施加到一个或多个耳蜗内位置。电极引线104的其它部分上(例如，电极引线104的近侧部分上)可还设置一个或多个其它电极(例如，包括接地电极，未明示示出)，以例如为电极106所施加的刺激电流提供电流返回路径和在电极引线104的远侧部分插入到耳蜗中后留在耳蜗外。另外或替代地，耳蜗植入物102的壳体可充当由电极106施加的刺激电流的接地电极。

处理单元108可配置为与耳蜗植入物102对接(例如，控制耳蜗植入物和/或从之接收数据)。例如，处理单元108可经由通信链路110发送命令(例如，呈前向遥测序列中包括的数据字形式的刺激参数和/或其它类型的操作参数)给耳蜗植入物102。处理单元108可另外或替代地还通过经由通信链路110向耳蜗植入物102发送一个或多个功率信号来向耳蜗植入物102提供操作功率。另外或替代地，处理单元108也可经由通信链路110从耳蜗植入物102接收数据。通信链路110可以由任何适宜数量的有线和/或无线的双向和/或单向链路实现。

如图所示，处理单元108包括配置为选择性且通信性地耦接到彼此的存储器112和处理器114。在一些示例中，存储器112和处理器114可分布在多个装置和/或多个位置之间，如可服务特定实现方式的。

存储器112可由任何适合的非暂时性计算机可读介质和/或非暂时性处理器可读介质实现，比如非易失性存储介质和/或易失性存储介质的任何组合。示例性的非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁性存储装置(例如，硬盘驱动器)、铁磁性随机存取存储器(“RAM”)和光盘。示例性的易失性存储介质包括但不限于RAM(例如，动态RAM)。

存储器112可维护(例如，存储)可执行数据，所述可执行数据由处理器114使用以实施在本文中被描述为由处理单元108实施的一项或多项操作。例如，存储器112可存储指令116，所述指令可由处理器114执行以实施本文中描述的音频内容处理和耳蜗植入控制操作中的任何。指令116可由任何适合的应用、程序(例如，声处理程序)、软件、代码和/或其它可执行数据实例实现。存储器112还可维护由处理器114接收、生成、管理、使用和/或发送的任何数据。

处理器114可配置为实施(例如，执行存储在存储器112中的指令116以实施)针对耳蜗植入物102的各种操作。

为进行说明，处理器114可配置为控制耳蜗植入物102的操作。例如，处理器114可接收音频信号(例如，经由通信耦接到处理单元108的麦克风、无线接口(例如，Bluetooth接口)和/或有线接口(例如，辅助输入端口))。处理器114可按照声处理策略(例如，存储在存储器112中的声处理程序)来处理音频信号以生成适宜的刺激参数。处理器114然后可将刺激参数发送给耳蜗植入物102以引导耳蜗植入物102来将代表音频信号的电刺激施加给受体。

在一些实现方式中，处理器114还可配置为向受体施加声学刺激。例如，接收器(也称为扩音器)可以可选地耦接到处理单元108。在该配置构造中，处理器114可经由接收器向受体递送声学刺激。声学刺激可代表被配置来在受体体内引起诱发反应和/或以其它方式被配置的音频信号(例如，放大版本的音频信号)。在处理器114配置为既向受体递送声学刺激又引导耳蜗植入物102来向受体施加电刺激的配置构造中，耳蜗植入系统100可被称为双式听力系统(bimodal hearing system)和/或任何其它适合的术语。

处理器114可另外或替代地配置为接收和处理由耳蜗植入物102生成的数据。例如，处理器114可接收代表由耳蜗植入物102利用一个或多个电极106记录的信号的数据并基于该数据调整处理单元108的一个或多个操作参数。另外或替代地，处理器114可使用所述数据来实施针对耳蜗植入物102和/或受体的一个或多个诊断操作。

其它的操作也可由处理器114实施，如可服务特定实现方式的。在本文中提供的描述中，对由处理单元108和/或它的任何实现方式实施的操作的任何引用都可理解为由处理器114基于存储在存储器112中的指令116来实施。

处理单元108可由配置成与耳蜗植入物102对接的一个或多个装置实现。为进行说明，图2示出了耳蜗植入系统100的示例性配置构造200，在该配置构造中，处理单元108由配置成位于受体体外的声处理器202实现。在配置构造200中，声处理器202通信耦接到麦克风204并通信耦接到头件206，所述麦克风和头件两者都配置成位于受体体外。

声处理器202可由能够由受体穿戴或携带的任何适合的装置实现。例如，声处理器202可由配置为被佩戴在受体耳后和/或顶上的耳后式(“BTE”)单元实现。另外或替代地，声处理器202可由配置为被受体佩戴或携带在远离耳部处的离耳式单元(也称为体佩式装置)实现。另外或替代地，声处理器202的至少一部分由头件206内的电路实现。

麦克风204配置为检测受体环境中的一个或多个音频信号(例如，其包括语音和/或任何其它类型的声音)。麦克风204可以以任何适合的方式实现。例如，麦克风204可由配置为靠近耳道入口安设在耳部的外耳内的麦克风实现，比如来自Advanced Bionics的T-MIC^TM麦克风。这样的麦克风可通过附接到耳钩的吊杆或柄梗来在正常操作期间靠近耳道的入口保持在耳部的外耳内，所述耳钩配置成选择性地附接到声处理器202。另外或替代地，麦克风204也可由头件206中的或头件上的一个或多个麦克风、声处理器202的壳体中或壳体上的一个或多个麦克风、一个或多个波束形成麦克风(beam-forming microphone)和/或可服务特定实现方式的任何其它适合的麦克风实现。

头件206可经由通信链路208(例如，缆线或任何其它适合的有线或无线通信链路)而选择性且通信性地耦接到声处理器202，所述通信链路可以以任何适合的方式实现。头件206可包括外部天线(例如，线圈和/或一个或多个无线通信部件)，所述外部天线配置为促进声处理器202与耳蜗植入物102的选择性无线耦接。另外或替代地，头件206可用于使任何其它外部的装置选择性地且无线地耦接到耳蜗植入物102。为此，头件206可配置成附连到受体的头部并定位成使得容纳在头件206内的外部天线通信地耦接到耳蜗植入物102内所包括的或以其它方式与耳蜗植入物连接的对应的可植入天线(该天线也可由线圈和/或一个或多个无线通信部件实现)。通过这种方式，刺激参数和/或功率信号可经由无线通信链路210在声处理器202与耳蜗植入物102之间以无线和经皮的方式传输。

在配置构造200中，声处理器202可通过从麦克风204接收代表音频信号的信号(例如，电信号)来接收由麦克风204检测的音频信号。声处理器202也可另外或替代地经由本文中描述的任何其它适合的接口来接收音频信号。声处理器202可以以本文中描述的任何方式处理音频信号并经由头件206将刺激参数发送给耳蜗植入物102以引导耳蜗植入物102来向受体施加代表音频信号的电刺激。

在替代的配置构造中，声处理器202可植入在受体体内而不是位于受体体外。在该替代的配置构造(该配置构造可称为耳蜗植入系统100的完全可植入配置构造)中，声处理器202和耳蜗植入物102可组合成单个装置或被实现为配置成经由有线和/或无线通信链路相互通信的单独的装置。在耳蜗植入系统100的完全可植入实现方式中，可不包括头件206并且麦克风204可由植入在受体体内的、位于受体的耳道内的和/或处在受体体外的一个或多个麦克风实现。

图3图示出耳蜗植入系统100的示例性配置构造300，在该配置构造中，处理单元108由声处理器202和配置成经由通信链路304通信耦接到声处理器202的计算装置302的组合实现，所述通信链路可由任何适合的有线或无线通信链路实现。

计算装置302可由硬件和软件的任何适合的组合实现。为进行说明，计算装置302可由移动装置(例如，移动手机、膝上型计算机、平板计算机等)、台式计算机和/或可服务特定实现方式的任何其它适合的计算装置实现。作为示例，计算装置302可由移动装置实现，所述移动装置配置为执行应用程序(例如，“mobile app(移动应用程序)”)，所述应用程序可由用户(例如，受体、临床医师和/或任何其他用户)使用来控制声处理器202和/或耳蜗植入物102的一项或多项设置和/或实施针对由声处理器202和/或耳蜗植入物102生成的数据的一项或多项操作(例如，诊断操作)。

在一些示例中，计算装置302可配置为经由声处理器202向耳蜗植入物102发送一个或多个命令来控制耳蜗植入物102的操作。类似地，计算装置302可配置为经由声处理器202接收由耳蜗植入物102生成的数据。替代地，计算装置302可直接经由计算装置302与耳蜗植入物102之间的无线通信链路而与耳蜗植入物102对接(例如，控制耳蜗植入物和/或从之接收数据)。在计算装置302直接与耳蜗植入物102对接的一些实现方式中，声处理器202可以包括或者可以不包括在耳蜗植入系统100中。

计算装置302被示出为具有集成的显示器306。显示器306可由例如显示屏实现并可配置为显示由计算装置302生成的内容。另外或替代地，计算装置302可通信耦接到被配置来显示由计算装置302生成的内容的外部显示装置(未示出)。

在一些示例中，计算装置302代表适配装置，所述适配装置配置为被选择性地使用(例如，由外科医师使用)来使声处理器202和/或耳蜗植入物102适配受体。在这些示例中，计算装置302可配置为执行适配程序，所述适配程序配置为将声处理器202和/或耳蜗植入物102的一个或多个操作参数设置为针对受体优化的值。因此，在这些示例中，计算装置302可以不考虑成耳蜗植入系统100的部分。替代地，计算装置302也可考虑成与耳蜗植入系统100分离使得计算装置302可在期望使声处理器202和/或耳蜗植入物102适配受体时选择性地耦接到耳蜗植入系统100。

图4图示出由处理单元108采用的示例性声处理策略。如图所示，处理单元10可以以多个处理级402(例如，处理级402-1至处理级402-N)来处理进入的音频内容。各处理级402可串联实施，如图4中所示。替代地，两个或更多个处理级402也可并行实施。

每个处理级402可代表针对由处理单元108接收的音频内容实施的一项或多项处理操作。例如，示例性的处理级可包括预处理级，在预处理级中，音频内容进行过滤和/或增益校正。另一示例性处理级可将音频信号分成各自对应于不同频带的多个分析通道并在每个分析通道中实施通道特定操作。另一示例性处理级可包括电极映射级，在电极映射级中，患者特定参数(例如，最舒适的刺激水平(M水平)、阈值水平(T水平)、电流导引参数、电极启用和停用参数以及电极映射操作被实施。另一示例性处理级可包括M择N通道选择级，在M择N通道选择级中，全部M个刺激通道中的N个被选择用于由耳蜗植入物使用来向受体表示(represent)音频内容。另一示例性处理级可包括噪声消减阶段，在噪声消减阶段中，音频内容内的噪声被消减或消除。在这些和/或其它的处理级402中还可实施另外或替代的操作，如可服务特定实现方式的。

如本文中描述的，处理单元108可配置为使用机器学习模型来实施处理级402中的一个或多个。为此，模型管理系统可维护、训练机器学习模型和给处理单元108提供对机器学习模式的访问(权)(access)。

图5示出了示例性的模型管理系统500(“系统500”)。系统500可由未被包括在本文中描述的任何耳蜗植入系统中(例如，远离任何耳蜗植入系统)的一个或多个计算装置(例如，服务器)实现。例如，系统500可由耳蜗植入系统的制造商、耳蜗植入系统的提供商和/或可服务特定实现方式的任何其它实体维护的和/或另外关联的一个或多个计算装置实现。

如图所示，系统500包括配置为选择性且通信性地耦接到彼此的存储器502和处理器504。在一些示例中，存储器502和处理器504可分布在多个装置和/或多个位置之间，如可服务特定实现方式的。

存储器502可由任何适合的非暂时性计算机可读介质和/或非暂时性处理器可读介质实现，比如本文中描述的非易失性存储介质和/或易失性存储介质的任何组合。

存储器502可维护(例如，存储)可执行数据，所述可执行数据由处理器504使用以实施在本文中被描述为由系统500实施的一个或多个操作。例如，存储器502可存储指令506，所述指令可由处理器504执行以实施本文中描述的机器学习模型维护及训练操作中的任何。指令506可由任何适合的应用、程序、软件、代码和/或其它可执行数据实例实现。存储器502还可维护由处理器504接收、生成、管理、使用和/或发送的任何数据。

处理器504可配置为实施(例如，执行存储在存储器502中的指令506以实施)针对维护和训练用于在一个或多个耳蜗植入系统中使用的机器学习模型的各种操作。在本文中提供的描述中，对由系统500和/或其任何实现方式的任何引用都可被理解为由处理器504基于存储在存储器502中的指令506来实施。

图6示出了由系统500实施来维护和训练机器学习模型的操作的示例性实现方式600。结合图6描述的操作仅只是对系统500维护和训练机器学习模型可采用的多种不同方式的说明。

如图所示，系统500可维护代表用于在耳蜗植入系统中使用的机器学习模型的数据。机器学习模型602可配置为向输入数据实施任何适合的机器学习启发(也称为人工智能启发)，所述输入数据可以是在时域中也可以是在频域中。机器学习模型602可相应地为有监督的或无监督的(如可服务特定实现方式的)并可配置为实现一个或多个决策树算法、关联规则学习算法、人工神经网络学习算法、深度学习算法、位图算法和/或可服务特定实现方式的任何其它适合的数据分析技术。

在一些示例中，机器学习模型602由一个或多个神经网络实现，所述一个或多个神经网络比如一个或多个利用其相应内核(滤波器)的内存储器的深度卷积神经网络(CNN)、递归神经网络(RNN)和/或长/短期记忆神经网络(LSTM)。机器学习模型602可以是多层的。例如，机器学习模型602可以由包括输入层、一个或多个隐藏层和输出层的神经网络实现。

系统500可以以任何适合的方式训练机器学习模型602。例如，系统500可以使用结合脑部处理模型(例如，声码器)的自编码器方案来训练机器学习模型602。

为进行说明，图6示出了系统600可将音频内容(在本文中也称为“训练音频内容”)作为训练输入施加到机器学习模型602。音频内容可包括可服务特定实现方式的任何适合类型的音频内容。例如，音频内容可包括预先记录的或现场直播的语音内容、音乐内容、嘈杂音频内容、没有噪声的干净音频内容等。音频内容可以以时域信号的形式或以频域信号的形式被施加到机器学习模型602。

可使用任何数量的音频内容实例(例如，不同音频样本)来训练机器学习模型602。每个音频内容实例可具有任何适合的持续时间。此外，由于训练机器学习模型602不需要人工操作和/或解译，因此系统600可以施加与可能需要的一样多的音频内容(例如，可维持数小时甚至数天的音频内容)来高效地训练机器学习模型602。由于可能不需要标记数据(labeled data)，因此机器学习模型602可利用从各种来源可以找到的大量音频样本进行训练。

在一些示例中，系统500配置为在音频内容被作为训练输入施加到机器学习模型602之前预处理音频内容。这样的预处理可包括过滤、增益校正和/或在音频内容由数字信号处理器(DSP)处理之前处理单元108对音频内容通常可实施的任何其它预处理操作。替代地，这样的预处理也可以不实施，使得原始音频内容被作为训练输入施加到机器学习模型602。

机器学习模型602可配置为向音频内容施加机器学习启发来输出代表音频内容的电信号。机器学习启发可以是本文描述的任何机器学习启发，例如一个或多个神经网络处理启发。

如提及的，机器学习模型602可配置为输出代表音频内容的电信号。电信号可包括一个或多个电刺激脉冲，耳蜗植入物将向耳蜗植入系统的受体施加所述一个或多个电刺激脉冲来向受体表示音频内容。在一些示例中，机器学习模型602可通过生成限定电信号的一个或多个刺激参数来生成电信号。例如，机器学习模型602可生成代表幅度、脉冲宽度、频率、持续时间、电极映射方案等的数据，所述幅度、脉冲宽度、频率、持续时间、电极映射方案等一起限定电信号的各种特性。

如图所示，由机器学习模型602输出的电信号可被施加到脑部处理模型604。脑部处理模型604可配置为输出代表所述电信号的合成音频内容。这可以以任何适合的方式实施。

脑部处理模型604可由这样的任何适合的模型来实现，即所述模型配置为建模耳蜗植入受体的脑部将会如何处理和/或感知代表音频内容的电信号。例如，脑部处理模型604可由声码器实现，所述声码器配置为按照一种或多种音频合成启发(audio synthesisheuristics)处理由机器学习模型602输出的电信号来输出代表电信号的合成音频内容。

系统500可配置为生成表示音频内容与合成音频内容之间的差异的误差度量。例如，如图6中所示，合成音频内容和原始音频内容可被输入到误差生成功能部606中。误差生成功能部606可配置为以任何适合的方式对音频内容和合成音频内容进行比较以输出代表音频内容与合成音频内容之间的差异的误差度量。

例如，误差生成功能部606可实现成本/误差函数。例如，成本函数可例如包括针对音频内容和合成音频内容的差异信号或频谱的总能量、差异信号或差异信号的频谱的最大峰值和/或对差异信号或频谱的任何其它范数。在一些示例中，差异信号可被创建成使得合成音频内容在获取差异之前被变换，例如，通过根据脑部处理模型604所建模的由耳蜗内电极位置导致的预期频率失配进行频移。

在一些示例中，误差生成功能部606可基于音频内容和合成音频内容之间的可感知差异的模型来生成误差度量，例如通过使用心理声学模型。心理声学模型可以是任何适合的类型。

在一些示例中，作为训练输入施加到机器学习模型602的音频内容包括噪声。在这些示例中，无噪声版本的音频内容(而不是音频内容本身)可在一些情况下被输入到误差生成功能部606中用于与合成音频内容的比较。通过这种方式，机器学习模型602可被训练来消减噪声(例如，分散注意力的声音)。

如图所示，系统500可将误差度量回馈到机器学习模型602中。机器学习模型602可配置为使用误差度量来调整向音频内容施加的机器学习启发。例如，机器学习模型602可以以致使由机器学习模型602输出经调整的电信号的方式来调整机器学习启发。

结合图6描述的机器学习模型训练过程可继续进行直到误差度量低于预定阈值，由此指示机器学习模型602已经学会如何生成准确且有效地代表输入到机器学习模型602中的音频内容的电信号。阈值可以以任何适合的方式设置。

图7示出了图6中所示的机器学习模型训练过程的替代实现方式700。实现方式700与实现方式600相似，不同之处在于实现方式700包括电荷限制功能部702。如图所示，在实现方式700中，由机器学习模型602输出的电信号在输入到脑部处理模型604之前可通过电荷限制功能部702。电荷限制功能部702配置为在电信号被施加到脑部处理模型604之前限制电信号的电荷量。以这种方式，系统500可确保电信号的电荷会保持在医疗安全限制范围内。

在一些示例中，系统500可结合分类器来训练机器学习模型602，所述分类器配置为将训练音频内容分类成在特定的环境中(例如，安静的语音等)。以这种方式，机器学习模型602可以学习如何适应耳蜗植入受体所会处于的不同环境。

本文中描述的机器学习模型训练过程可以是与受体无关的(recipient-agnostic)。换言之，机器学习模型602可以以不考虑特定耳蜗植入受体特征和/或听力概况的方式来训练。更确切地，机器学习模型602可被训练为成输出针对普遍的耳蜗植入受体进行优化的电信号。

在一些替代实现方式中，系统500可训练机器学习模型602为受体特定的。例如，系统500可接收代表特定受体特征和/或听力概况的数据并使用这样的数据来进一步训练机器学习模型602以专门针对受体进行优化。在一些示例中，受体特定数据可包括代表图像(例如，受体耳蜗的计算机断层摄影(CT)扫描)的数据和/或代表受体耳蜗和/或其它解剖结构的其它模型数据。

在一些示例中，系统500可给机器学习模型602提供耳蜗植入系统操作功率约束，使得机器学习模型602可被训练为输出致使耳蜗植入系统保持在操作功率约束内的刺激信号。这可以以任何适合的方式实施。

在机器学习模型602被训练之后，系统500可给处理单元108(和/或任何其它耳蜗植入系统中包括的任何其它处理单元)提供对机器学习模型602的访问。例如，系统500可将代表机器学习模型602的数据发送给处理单元108。这可以以任何适合的方式实施。

例如，图8示出了示例性的配置构造800，在该配置构造中，网络802使系统500和处理单元108互连。网络802可包括局域网、无线网络(例如，Wi-Fi)、广域网、Internet、蜂窝数据网络和/或任何其它适合的网络。数据可利用可服务特定实现方式的任何通信技术、装置、媒体和协议来在连接到网络802的部件之间流动。

在配置构造800中，系统500可配置为经由网络802将代表机器学习模型602的模型数据804发送给处理单元。这可以以任何适合的方式实施。处理单元108可将模型数据804存储在本地存储器(例如，存储器112)内并且由此访问机器学习模型602来实施如本文中描述的一个或多个处理级402。

另外或替代地，系统500可通过将模型数据804发送给计算装置(例如，由临床医师使用的适配装置)来给处理单元108提供对机器学习模型602的访问，所述计算装置配置为将模型数据804加载到处理单元108上。

另外或替代地，系统500可通过向一个或多个提供处理单元108提供一个或多个应用程序编程接口(API)来给处理单元108提供对机器学习模型602的访问，所述一个或多个应用程序编程接口允许处理单元108使用机器学习模型602来处理音频内容，同时机器学习模型602由系统500远程维护。例如，处理单元108可使用一个或多个API以经由网络802将代表音频内容的数据发送给系统500。系统500可将数据施加到机器学习模型602且然后将代表由机器学习模型602输出的电信号的数据发送回给处理单元108。

处理单元108可配置为使用机器学习模型602来实施与处理由处理单元108接收的音频内容相关联的至少一个处理级402。例如，图9A-9C示出了不同的实现方式，在这些不同的实现方式中，机器学习模型602由处理单元108使用以实施一个或多个处理级402。

具体地，图9A示出了一种实现方式，在该实现方式中，机器学习模型602被使用来实施处理级402-1(例如，代替常规用于实施处理级402-1的处理部件)。在图9A的实现方式中，常规处理部件(例如，一个或多个DSP)仍可由处理单元108使用来实施一个或多个其它处理级(例如，处理级402-2至处理级402-N)。

作为图9A中所示的实现方式的示例，处理单元108可配置为使用机器学习模型602来对由处理单元108接收的音频内容实施一项或多项音频内容预处理操作(例如，滤波和/或增益校正)。预处理的音频内容然后可在处理级402-2至处理级402-N)中作常规处理。

图9B示出了另一种实现方式，在该实现方式中，机器学习模型602被使用来实施处理级402-2(例如，代替常规用于实施处理级402-2的处理部件)。在图9B的实现方式中，常规处理部件(例如，一个或多个DSP)仍可由处理单元108使用来实施一个或多个其它处理级(例如，处理级402-1和处理级402-N)。

作为图9B中所示的实施方式的示例，处理单元108可使用处理级402-1来对由处理单元108接收的音频内容实施一项或多项预处理操作。处理单元108然后可将预处理的音频内容施加到机器学习模型602。在替代的实现方式中，音频内容在被施加到机器学习模型602之前没有被预处理。在任一情况中，处理单元108都可使用机器学习模型来生成与受体无关的参数数据。与受体无关的参数数据包括并非专门配置用于与受体一起使用的任何参数数据。例如，与受体无关的参数数据可包括代表以下的数据：降噪版本的音频内容，从M个刺激通道中对用于由耳蜗植入物102使用来向受体表示音频内容的N个的选择和/或不特定于受体的任何其它操作。

继续该示例，处理单元108可将与受体无关的参数数据施加到电极映射级，电极映射级配置为基于与受体无关的参数数据和特定于受体的设置来确定针对受体的受体特定刺激参数。这样的针对于受体的受体特定刺激参数可包括M水平、T水平、电流导引参数、电极启用和停用参数和/或可服务特定实现方式的任何其它适合的受体特定参数。这些受体特定刺激参数可构成发送给耳蜗植入物102的一个或多个刺激参数。

图9C示出了另一实现方式，在该实现方式中，机器学习模型602被使用来实施处理级402-1至处理级402-N中的全部。在该实现方式中，常规处理部件未被处理单元108使用来实施处理级402中的任何。更确切地，机器学习模型602被端到端地(end-to-end)使用来生成向耳蜗植入物102发送的一个或多个刺激参数。

作为图9C中所示的实现方式的示例，处理单元108可配置为将音频内容施加到机器学习模型602并使用机器学习模型602来生成构成向耳蜗植入物102发送的一个或多个刺激参数的受体特定刺激参数。为此，机器学习模型602可配置为实施本文中描述的任何音频内容处理操作。

作为图9A-9C中所示的任何实现方式的另一示例，处理单元108可使用机器学习模型602来确定M个刺激通道中待由耳蜗植入物102使用来向受体表示音频内容的N个刺激通道。在该示例中，机器学习模型602可考虑各种因素，包括每个通道内的能量含量、噪声、混响、受体特定特征和/或可服务特定实现方式的其它情境线索。

图10图示出示例性的配置构造，在该配置构造中，处理单元108配置为实现电荷限制元件1002。电荷限制元件1002配置为防止利用机器学习模型602来生成的刺激参数致使由耳蜗植入物102施加的电刺激具有高于阈值(例如，医疗安全限制)的电荷量。电荷限制元件1002可利用电路和处理元件的任何适合的组合来实现，并且可以以任何适合的方式限制电荷。

图11图示出示例性的配置构造，在该配置构造中，处理单元108配置为基于受体特定反馈来进一步训练机器学习模型602。受体特定反馈可由受体和/或另一用户提供，并可指示由耳蜗植入物102施加的电刺激的有效性(effectiveness)。受体特定反馈可以是主观性的(例如，呈对有关电刺激有效性问题的口头回答的形式)。另外或替代地，受体特定的反馈也可以是客观性的。例如，受体特定反馈可呈响应于电刺激和/或声学刺激而发生的诱发反应的形式。例如，诱发反应可包括耳蜗电图(ECoG)电位(例如，耳蜗微音器电位、动作电位、总和电位等)、听神经反应、脑干反应、复合动作电位、镫骨肌反射和/或响应于向受体电刺激和/或声学刺激施加而在受体体内可能发生的任何其它类型的神经反应或生理反应。诱发反应可源自神经组织、毛细胞到神经突触、内毛细胞或外毛细胞或其它源。

另外或替代地，系统500可基于受体特定反馈来训练机器学习模型602。例如，处理单元108和/或任何其它计算装置可将代表受体特定反馈的数据发送给系统500。系统500然后可将受体特定反馈施加到机器学习模型602作为训练输入。

图12图示出可由模型管理系统(例如，系统500或其任何实现方式，比如至少一个计算装置)实施的示例性方法1200。尽管图12示出了根据一个实施例的示例性操作，然而其它实施例也可省去、添加、重新排序和/或修改图12中所示的任何操作。图12中所示的每个操作可以以本文中描述的任何方式来实施。

在操作1202处，模型管理系统维护代表用于在耳蜗植入系统中使用的机器学习模型的数据。

在操作1204处，模型管理系统训练机器学习模型。

图13图示出示例性的方法1300，其示出了可在操作1204处被实施来训练机器学习模型的操作。图13中所示的每个操作可以以本文中描述的任何方式来实施。

在操作1302处，模型管理系统将音频内容作为训练输入施加到机器学习模型，机器学习模型配置为向音频内容施加机器学习启发来输出代表音频内容的电信号。

在操作1304处，模型管理系统将电信号施加到脑部处理模型，脑部处理模型配置为输出代表电信号的合成音频内容。

在操作1306处，模型管理系统生成代表音频内容与合成音频内容之间的差异的误差度量。

在操作1308处，模型管理系统将误差度量回馈到机器学习模型中，机器学习模型配置为使用误差度量来调整向音频内容施加的机器学习启发。

图14图示了示例性的方法1400，该方法可由通信耦接到耳蜗植入物的处理单元实施。尽管图14图示出根据一个实施例的示例性操作，然而其它实施例可省去、添加、重新排序和/或修改图14中所示的任何操作。图14中所示的每个操作可以以本文中描述的任何方式来实施。

在操作1402处，处理单元接收音频内容。

在操作1404处，处理单元访问代表机器学习模型的数据。

在操作1406处，处理单元使用机器学习模型来实施与处理音频内容关联的至少一个处理级以生成代表音频内容的一个或多个刺激参数。

在操作1408处，处理单元将一个或多个刺激参数发送给耳蜗植入物。

在一些示例中，根据本文中描述的原理可提供一种存储计算机可读指令的非暂时性计算机可读介质。所述指令当由计算装置的处理器执行时可引导处理器和/或计算装置来实施包括本文中描述的一项或多项操作在内的一项或多项操作。这样的指令可利用各种已知的计算机可读介质中的任何来存储和/或发送。

如本文中所提及的非暂时性计算机可读介质可包括参与提供可由计算装置(例如，由计算装置的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性的非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁性存储装置(例如，硬盘、软盘、磁带等)、铁磁性随机存取存储器(“RAM”)以及光盘(例如，光碟、数字视盘、蓝光光盘等)。示例性的易失性存储介质包括但不限于RAM(例如，动态RAM)。

图15图示出示例性的计算装置1500，所述计算装置可专门配置来实施本文中描述的一项或多项过程。为此，本文中描述的系统、处理单元和/或装置中的任何都可由计算装置1500实现。

如图15中所示，计算装置1500可包括经由通信基础设施1510彼此通信连接的通信接口1502、处理器1504、存储装置1506和输入/输出(“I/O”)模块1508。尽管示例性的计算装置1500在图15中被示出，然而图15中图示的部件并不意图是限制性的。另外或替代的部件也可用于其它实施例中。现在将另外详细地描述图15中所示的计算装置1500的部件。

通信接口1502可配置为与一个或多个计算装置通信。通信接口1502的示例包括但不限于有线网络接口(比如，网络接口卡)、无线网络接口(比如，无线网络接口卡)、调制解调器、音频/视频连接以及任何其它适合的接口。

处理器1504总的代表能够处理数据和/或解译、执行和/或引导执行本文中描述的指令、过程和/或操作中的一项或多项的任何类型或形式的处理单元。处理器1504可通过执行存储在存储装置1506中的计算机可执行指令1512(例如，应用程序、软件、代码和/或其它可执行数据实例)来实施操作。

存储装置1506可包括一个或多个数据存储介质、装置或配置构造并可采用任何类型、形式和组合的数据存储介质和/或装置。例如，存储装置1506可包括但不限于本文中描述的非易失性介质和/或易失性介质的任何组合。电子数据包括本文中所描述的数据可被暂时和/或永久地存储在存储装置1506中。例如，代表配置为引导处理器1504来实施本文中描述的任何操作的计算机可执行指令1512的数据可被存储在存储装置1506内。在一些示例中，数据可布置在驻设于存储装置1506内的一个或多个数据库中。

I/O模块1508可包括配置为接收用户输入和提供用户输出的一个或多个I/O模块。I/O模块1508可包括支持输入和输出功能的任何硬件、固件、软件或它们的组合。例如，I/O模块1508可包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触屏部件(例如，触屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。

I/O模块1508可包括用于向用户呈现输出的一个或多个装置，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，I/O模块1508配置为将图形数据提供到显示器用于呈现给用户。图形数据可代表一个或多个图形用户界面和/或可服务特定实现方式的任何其它图形内容。

在之前的描述中，已参考附图描述了各种示例性实施例。然而，将显见的是，在不偏离如所附权利要求中所陈述的本发明的范围的情况下，可对所述实施例作出各种修改和变化，并且另外的实施例可被实现。例如，本文中描述的一个实施例的某些特征可以与本文中描述的另一实施例的特征组合或替代另一实施例的特征。相应地，应从说明意义而不是限制意义来看待所述描述以及附图。

Claims (26)

1.一种系统，包括：

存储器，所述存储器存储指令；

处理器，所述处理器通信地耦接到存储器并配置为执行指令以：

维护代表用于在耳蜗植入系统中使用的机器学习模型的数据；和

通过以下方式训练机器学习模型

将音频内容作为训练输入施加到机器学习模型，所述机器学习模型配置为向音频内容施加机器学习启发来输出代表音频内容的电信号；

将所述电信号施加到脑部处理模型，所述脑部处理模型配置为输出代表所述电信号的合成音频内容；

生成代表所述音频内容与所述合成音频内容之间的差异的误差度量；以及

将所述误差度量回馈到机器学习模型中，所述机器学习模型配置为使用所述误差度量来调整向音频内容施加的机器学习启发。

2.如权利要求1所述的系统，其中，所述训练继续进行直到误差度量低于预定的阈值。

3.如权利要求1所述的系统，其中，所述处理器进一步配置为在音频内容被作为训练输入施加到机器学习模型之前对音频内容进行预处理。

4.如权利要求1所述的系统，其中，所述机器学习模型由多层式神经网络实现。

5.如权利要求1所述的系统，其中，所述脑部处理模型由声码器实现。

6.如权利要求1所述的系统，其中，所述电信号包括一个或多个电刺激脉冲，耳蜗植入物将向耳蜗植入系统的受体施加所述一个或多个电刺激脉冲来向受体表示所述音频内容。

7.如权利要求1所述的系统，其中，训练机器学习模型进一步包括：在电信号被施加到脑部处理模型之前，限制电信号的电荷量。

8.如权利要求1所述的系统，其中，所述处理器进一步配置为执行指令以将代表机器学习模型的数据发送到耳蜗植入系统中包括的处理单元。

9.如权利要求8所述的系统，其中，所述发送包括经由使所述系统和所述处理单元互连的网络来将代表机器学习模型的数据发送到处理单元。

10.如权利要求8所述的系统，其中，所述处理单元包括与耳蜗植入系统的耳蜗植入物通信的声处理器或与耳蜗植入物或声处理器通信的移动计算装置中的一者或多者。

11.如权利要求8所述的系统，其中，所述发送包括将代表机器学习模型的数据发送到一计算装置，所述计算装置配置为将所述代表机器学习模型的数据加载到处理单元上。

12.如权利要求8所述的系统，其中，所述处理单元配置为使用机器学习模型来实施与处理由处理单元接收的音频内容关联的至少一个处理级。

13.一种系统，包括：

耳蜗植入物，所述耳蜗植入物配置为植入在受体体内；和

处理单元，所述处理单元通信地耦接到耳蜗植入物并配置为：

接收音频内容，

访问代表机器学习模型的数据，

使用机器学习模型来实施与处理音频内容关联的至少一个处理级以生成代表所述音频内容的一个或多个刺激参数，以及

将所述一个或多个刺激参数发送给耳蜗植入物。

14.如权利要求13所述的系统，其中，所述机器学习模型通过以下方式被训练：

将训练音频内容作为训练输入施加到机器学习模型，所述机器学习模型配置为向所述训练音频内容施加机器学习启发来输出代表所述训练音频内容的电信号；

将所述电信号施加到脑部处理模型，所述脑部处理模型配置为输出代表所述电信号的合成训练音频内容；

生成代表所述训练音频内容与所述合成训练音频内容之间的差异的误差度量；以及

将误差度量回馈到机器学习模型中，所述机器学习模型配置为使用所述误差度量来调整向所述训练音频内容施加的机器学习启发。

15.如权利要求14所述的系统，其中，所述训练继续进行直到误差度量低于预定的阈值。

16.如权利要求13所述的系统，其中，所述处理单元配置为经由网络从通信耦接到处理单元的模型管理系统接收所述代表机器学习模型的数据。

17.如权利要求13所述的系统，其中，所述耳蜗植入物配置为：

基于所述一个或多个刺激参数，生成代表所述音频内容的电刺激；以及

经由耦接到耳蜗植入物的引线上的一个或多个电极，向受体体内的一个或多个位置施加所述电刺激。

18.如权利要求17所述的系统，其中，所述处理单元进一步配置为实现电荷限制元件，所述电荷限制元件配置为预防所述一个或多个刺激参数导致电刺激具有高于阈值的电荷量。

19.如权利要求17所述的系统，其中：

所述处理单元配置为获取有关所述电刺激的有效性的受体特定反馈；

所述机器模型基于所述受体特定反馈被进一步训练。

20.如权利要求19所述的系统，其中，所述受体特定反馈包括针对受体的诱发反应测量或由受体提供的主观反馈中的一项或多项。

21.如权利要求13所述的系统，其中，使用机器学习模型来实施至少一个处理级包括：

将音频内容施加到机器学习模型；

使用机器学习模型来生成与受体无关的参数数据；以及

将与受体无关的参数数据施加到电极映射级，所述电极映射级配置为基于与受体无关的参数数据和特定于受体的设置来确定针对所述受体的受体特定刺激参数；

其中，所述受体特定刺激参数构成发送给耳蜗植入物的所述一个或多个刺激参数。

22.如权利要求13所述的系统，其中，使用机器学习模型来实施至少一个处理级包括：

将音频内容施加到机器学习模型；以及

使用机器学习模型来生成受体特定刺激参数；

其中，所述受体特定刺激参数构成发送给耳蜗植入物的所述一个或多个刺激参数。

23.如权利要求13所述的系统，其中，使用机器学习模型来实施至少一个处理级包括：

将音频内容施加到机器学习模型；以及

使用机器学习模型来确定M个刺激通道中待由耳蜗植入物使用来向受体表示音频内容的N个刺激通道。

24.一种系统，包括：

存储器，所述存储器存储指令；和

处理器，所述处理器通信地耦接到存储器并配置为执行指令以：

维护代表用于在耳蜗植入系统中使用的机器学习模型的数据；以及

通过以下方式训练机器学习模型

将音频内容作为训练输入施加到机器学习模型，所述机器学习模型配置为向音频内容施加机器学习启发来输出代表音频内容的电信号；

将电信号施加到脑部处理模型，所述脑部处理模型配置为输出代表所述电信号的合成音频内容；

生成代表所述音频内容与所述合成音频内容之间的差异的误差度量；以及

将误差度量回馈到机器学习模型中，所述机器学习模型配置为使用所述误差度量来调整向音频内容施加的机器学习启发。

25.一种方法，包括：

通过至少一个计算装置，维护代表用于在耳蜗植入系统中使用的机器学习模型的数据；以及

通过所述至少一个计算装置，通过以下方式训练机器学习模型

将音频内容作为训练输入施加到机器学习模型，所述机器学习模型配置为向音频内容施加机器学习启发来输出代表音频内容的电信号；

将电信号施加到脑部处理模型，所述脑部处理模型配置为输出代表所述电信号的合成音频内容；

生成代表所述音频内容与所述合成音频内容之间的差异的误差度量；以及

将误差度量回馈到机器学习模型中，所述机器学习模型配置为使用所述误差度量来调整向音频内容施加的机器学习启发。

26.一种方法，包括：

通过通信耦接到耳蜗植入物的处理单元，接收音频内容；

通过处理单元，访问代表机器学习模型的数据；

通过处理单元，使用机器学习模型来实施与处理音频内容关联的至少一个处理级以生成代表所述音频内容的一个或多个刺激参数；以及

通过处理单元，将所述一个或多个刺激参数发送给耳蜗植入物。

Images