CN113195043A - 评估对感觉事件的响应并基于其执行处理动作 - Google Patents

Abstract

本文公开的示例与监测和处理影响个体的感觉状况相关。集成在感觉假体(例如，听觉假体)内的传感器和智能可以自动获得关于个体在日常活动中的一个或多个感觉的能力的客观数据。可以根据客观数据采取处理动作。本文进一步公开了与减少无关的感官输入的收集和自动地将相关数据传输到看护者设备有关的技术。

Description

评估对感觉事件的响应并基于其执行处理动作

本申请作为PCT国际专利申请于2020年6月15日提交，并要求2019年6月25日提交的美国临时专利申请序列号62/866,127的优先权的权益，其全部公开内容通过引用合并于此。

相关申请的交叉引用

本申请与标题为“Passive Fitting Techniques”的美国临时专利申请第62/750,394号；标题为“Habilitation and/or rehabilitation methods and systems”的美国临时专利申请第62/703,373号；和标题为“Improving Musical Perception of a Recipientof an Auditory Device”的美国临时专利申请第62/862,181号相关，但不要求其优先权的权益。为了任何和所有的目的，通过引用将这些相关申请全部并入本文。

背景技术

具有一个或多个可植入部件的医疗设备，在此通常被称为可植入医疗设备，在近几十年来为受体提供了广泛的治疗益处。特别地，部分或完全可植入医疗设备，例如听力假体(例如，骨传导设备、机械刺激器、耳蜗植入物等)、可植入起搏器、除颤器、功能性电刺激设备和其他可植入医疗设备，已经成功地执行救生和/或生活方式增强功能和/或受体监测若干年。

近年来，可植入医疗设备的种类和由此实现的功能范围都有所增加。例如，许多可植入医疗设备现在通常包括一个或多个仪器、装置、传感器、处理器、控制器或其他功能性机械或电气部件，其永久地或临时地植入到受体中。这些功能设备通常用于诊断、预防、监测、处理或管理疾病/损伤或其症状，或用于调查、替换或修改解剖结构或生理过程。这些功能设备中的许多使用从作为可植入医疗设备的一部分或与可植入医疗设备结合操作的外部设备接收的功率和/或数据。

发明内容

在示例中，存在一种听觉假体装置，包括：可植入或可穿戴壳体；刺激器，至少部分地设置在壳体内，并且被配置为将能量传递给听觉假体装置的受体的组织，以在受体中唤起听觉感知；多个传感器；以及被配置为执行操作的处理器。该操作包括：从多个传感器接收事件传感器数据；使用事件传感器数据检测听觉假体装置附近的听觉事件的发生；使用响应传感器数据检测受体对听觉事件的发生的响应；使用响应传感器数据表征受体的响应；以及基于表征响应而采取与受体相关的处理动作。

在示例中，多个传感器包括麦克风。在示例中，检测发生包括：从麦克风接收音频信号；确定音频信号是否包括询问问题的语音；以及响应于确定音频信号包括询问问题的语音，确定在听觉假体附近发生了听觉事件。在示例中，检测受体的响应包括检测受体的语音响应。在示例中，表征受体的响应包括：确定从被询问问题到受体开始提供语音响应所用的时间长度；以及确定受体提供的语音响应的长度。在示例中，检测受体的响应包括在被询问问题时确定受体的行为。在示例中，确定受体的行为包括在被询问问题时测量受体的静止量或静止持续时间。在示例中，测量受体静止的量或持续时间包括：使用肌电图测量受体的肌肉运动；使用相机测量受体的肌肉运动；使用加速度计测量受体的肌肉运动；或者使用陀螺仪测量受体的肌肉运动。在示例中，检测语音响应包括：使用可植入麦克风检测受体的发声；使用外部麦克风检测受体的发声；检测准备说话的个体的心率特征的变化；检测准备说话的个体的吸气特征；响应于问题检测受体的皮层级联。在示例中，听觉事件是：唱歌的发声活动，有声的发声活动、演唱的发声活动、拟声的发声活动、耳语的发声活动或音乐活动。在示例中，反应是发声反应、运动反应或生理反应。在示例中，该操作还包括：将听觉事件分类为相关感觉事件或无关感觉事件。在示例中，响应于听觉事件被分类为相关感觉事件来执行检测受体的响应。在示例中，多个传感器包括选自包括以下项的组的至少一个传感器：麦克风、身体噪声传感器、运动传感器、植入电极传感器。在示例中，多个传感器包括运动传感器。在示例中，运动传感器是加速度计或陀螺仪。在示例中，采取处理动作包括：修改听觉假体的一个或多个设置；报告听觉假体关于听觉事件的性能质量；建议纠正动作；或者提供估计受体参与听觉事件的能力的度量。在示例中，听觉假体还包括存储指令的存储器，该指令在由一个或多个处理器执行时使处理器执行操作，从而配置一个或多个处理器执行该操作。在示例中，刺激器包括：设置在壳体内的刺激器单元；刺激器组件，至少部分地设置在壳体的外部；以及设置在刺激器组件上的电极触点阵列。

在示例中，存在包括指令的非暂时性计算机可读介质，该指令在由一个或多个处理器执行时使得一个或多个处理器：从感觉假体的受体附近的多个传感器接收事件传感器数据；使用事件传感器数据检测感觉假体附近的感觉事件的发生；将感觉事件分类为相关感觉事件或无关感觉事件；响应于感觉事件是相关感觉事件，使用响应传感器数据检测受体对感觉事件的发生的响应；使用响应传感器数据表征受体的响应；以及基于表征采取与受体相关的处理动作。

在示例中，相关感觉事件是预期在受体中引发特征反应的事件。在示例中，表征受体的响应包括确定传感器数据是否指示受体正在执行特征反应。在示例中，将感觉事件分类为相关感觉事件或无关感觉事件包括：分析由传感器数据指定的位置。在示例中，将感觉事件分类为相关感觉事件或无关感觉事件包括：将阈值与传感器数据进行比较；响应于传感器数据满足阈值，将感觉事件分类为相关感觉事件；以及响应于传感器数据不满足阈值而将感觉事件分类为无关感觉事件。在示例中，指令还使得处理器：响应于感觉事件是无关感觉事件，避免检测受体对感觉事件的发生的响应。在示例中，采取处理动作包括：通过改变感觉假体的一个或多个设置来修改感觉假体的处理操作。在示例中，表征响应包括：将响应标记为适合于感觉事件。在示例中，感觉假体是包括非暂时性计算机可读介质的听觉假体。

在示例中，存在一种系统，包括：非暂时性计算机可读介质，非暂时性计算机可读介质包括指令，该指令在由一个或多个处理器执行时，使得一个或多个处理器：选择性地在监测模式或非监测模式下操作。在监测模式下操作时：指令使一个或多个处理器从多个传感器接收传感器数据；检测感觉假体附近的感觉事件的发生；表征感觉事件；使用传感器数据检测受体对感觉事件的发生的响应；以及存储关于感觉事件的感觉事件数据和关于受体的响应的响应数据；并转换到非监测模式。在示例中，响应于从监测模式转换到非监测模式，将基于感觉事件数据的分析传输到看护者设备。

在示例中，选择性地在监测模式或非监测模式下操作包括：响应于感觉假体和看护者设备之间的接近，在非监测模式下操作。在示例中，选择性地在监测模式或非监测模式下操作包括：基于一天中的时间在非监测模式下操作。在示例中，该指令在由一个或多个处理器执行时，使得一个或多个处理器在处于非监测模式时避免检测感觉假体附近的感觉事件的发生。在示例中，分析包括描述对感觉事件的响应的适当性的度量。在示例中，将分析传输给看护者设备包括：直接、自动和无线地将分析从感觉假体传输给看护者设备。在示例中，系统还包括第一感觉假体，第一感觉假体包括第一感觉假体传感器；和非暂时性计算机可读介质。在示例中，系统还包括辅助设备，辅助设备包括辅助设备传感器。在示例中，该指令在由一个或多个处理器执行时，还使得一个或多个处理器：将来自第一感觉假体传感器和辅助设备传感器的传感器输出数据汇集以形成汇集数据。在示例中，检测感觉假体的受体附近的感觉事件的发生包括使用汇集数据。

附图说明

相同的数字表示所有附图中的相同元素或相同类型的元素。

图1示出了可以利用其实现本文所述的一个或多个技术的系统。

由图2A至图2E组成的图2示出了用于监测个体的感觉能力并基于其采取处理动作的第一示例过程。

图3示出了用于监测个体的感觉能力并基于其采取处理动作的第二示例过程。

图4示出了可以与本文的示例一起使用的示例机器学习框架。

图5示出了可受益于使用本文公开的示例的示例耳蜗植入系统。

图6示出了可受益于使用本文公开的示例的经皮骨传导设备的示例。

图7示出了可受益于使用本文公开的示例的具有被动可植入部件的经皮骨传导设备的示例。

图8示出了可受益于使用本文公开的示例的视网膜假体系统的示例。

图9示出了合适的计算系统的示例，所公开的示例中的一个或多个可以通过该计算系统来实现。

具体实施方式

要为受感觉能力丧失(如听力或视力丧失)影响的个人提供有效的处理干预措施，适当监测个人感觉能力的进展(或衰退)是有用的。传统上，向个人(或其看护者)提供关于个人的感觉能力相对于具有典型感觉能力的人的感觉能力的主观口头或书面问卷。例如，在相关感觉是听觉的地方，可以使用功能性听力指数来确定相关能力。功能性听力指数是一种衡量个体在日常环境中听力表现的指标。

然而，对个人感觉能力的分析传统上是主观的和断断续续的，这会限制监测制度的有效性，并可能产生低质量的数据。因为处理干预是基于该数据进行的，所以对关于个人感觉功能的数据收集的改进导致对个人感觉状况的处理的改进。

本文公开的示例与改进影响个体的感觉状况的监测和处理相关，个体包括已经是一个或多个感觉假体(例如，听觉或视觉假体)的受体的个体。本文公开的示例技术包括使用集成在受体的感觉假体内的传感器和智能来自动获得关于受体的一个或多个感觉在日常活动期间的表现的客观数据。进一步的示例技术包括用于减少无关感觉输入的收集的技术(例如，由此改善感觉假体或另一设备的能力，以提供高质量的输出，处理可以基于该输出)和自动地将相关数据传输到看护者设备的技术。

在示例中，感觉事件发生在感觉假体的受体附近。感觉假体的传感器获得可用于检测感觉事件的发生的事件数据。接下来，获得来自传感器的响应数据并对其进行处理，以表征受体对感觉事件的响应。所得到的表征用于对受体采取处理动作。例如，可以自动修改感觉假体的设置，以影响受体正在进行的处理。

作为特定示例，本文所述的技术可以应用于各种感觉事件中的任何一种。特别是关于听觉事件，该事件可以是在嘈杂的餐馆中的对话，并且特征可以表明听觉假体的受体很难听到另一方的声音。可以修改听觉假体的设置，以尝试改善听觉假体在嘈杂环境中的性能。作为另一示例，听觉事件可以是指向受体的积极的或振奋人心的语音。这样的语音可以具有可被检测的与众不同的特征(例如，特征频率或音调)。响应于这样的语音，听觉假体可以确定受体是否适当地受到语音的影响(例如，信号处理模块可以评估受体是否以愉快的方式响应)。类似的评估也可以用于针对受体的愤怒或令人心烦的语音。可以修改听觉假体的设置，以改善特定语音的特定特征频率或音调的再现。

从上面的听觉事件示例中可以看出，受体对发声的反应如何，是当前处理方法是否有效以及是否应该改变的有用指标。因此，听觉假体的传感器可用于检测和表征听觉事件，听觉事件包括预期会引发特征反应(例如，回答问题、加入笑声、响应喊叫而哭泣)的类别中的语音。然后可以使用分类来评估受体是否对听觉事件提供了适当的响应。更一般地，受体对感觉事件的反应如何是处理方法是否有效和是否应该改变的一个有用的指标。

关于分类，可以确定受体对属于听觉事件的特定类别或子类别的听觉事件(例如，由不同音调、频率或音调特征确定的不同类型的问题)提供的响应中是否存在相应的差异。同样地，在一些示例中，听觉假体评估，响应于用其它感觉刺激传递的听觉事件(例如，本人的语音、带视频的语音流或不带视频的语音流)，受体提供的响应中是否存在相应的差异。这样的分类可用于识别听觉假体引起受体听觉感知的能力中的特定能力和缺陷。

听觉假体可以使用麦克风(例如，植入的麦克风或声音处理器的外部麦克风)检测语音。可以分析检测到的语音以确定检测到的语音是否是保证受体响应的语音类型。例如，集成的声音分类器或其它智能可以分析听觉事件以确定听觉事件是否可以被表征为保证受体响应的问题。例如，在英语中，疑问句通常可以用上升的语调来表征，这可以通过一个集成的声音分类器或听觉假体的智能来检测。疑问句还可以有其他可以在语调之外或代替语调检测到的特征。在示例中，可以使用附件设备(例如，诸如电话或平板电脑的移动设备或服务器)对听觉事件进行分类。分类或基于分类的处理动作可提供给听觉假体。另外或替代地，特征或处理动作可以呈现给受体或看护者。

在感觉事件之后或期间，来自受体的言语或生理信号可以被检测、分类和记录。生理响应可以包括心脏和呼吸活动的变化(例如，速率的改变、速率的变化、事件之间的间隔或心律失常的发生)或神经活动的变化(例如，由外部或植入的传感器测量，例如电极、麦克风或加速度计的剪辑(montage))。用于检测这种言语或生理响应的传感器可以是感觉假体的部件(例如，其植入部分或其外部部分，例如声音处理器)或连接的设备(例如，电话或可穿戴的)。运动和声音反应也可以被检测、分类和记录。

关于声音和其他可听响应，信号处理模块(例如硬件模块或软件模块)可以处理经由一个或多个传感器(例如外部或植入的麦克风)捕获的音频信号，并且可以用于评估受体是否适当地响应了感觉事件(例如适当地响应了问题)。例如，音频信号可以捕获受体响应于诸如语音响应的感觉事件的发声。该模块可以测量受体提供的语音响应(或其他发声)的长度，并评估该长度是否与典型响应(例如，对问题的响应)给出的语音长度相对应。此外，该模块可以确定受体用了多长时间对指向受体的感觉事件进行发声响应。该数据还可以与计算受体的感觉能力(例如，受体的功能性听力能力)相关。该模块还可用于评估响应的特征(例如，语调、频率、音调等)，以确定响应是否具有预期响应的特征。

关于运动响应，信号处理模块可以处理从一个或多个运动传感器(例如，位于感觉假体本身中的加速度计或伴随的设备，例如智能手机或智能手表)获得的运动数据。运动数据可用于例如评估受体是否适当地响应了该问题。例如，该模块可以测量受体在收听问题时静止的量和持续时间，以及受体在响应问题时运动的量和运动的持续时间。

此外，可以使用传感器确定受体适当参与镜像行为的能力。例如，镜像可以包括受体模仿由看护者指向受体的俏皮语言或动作，或者受体的回答包含与相应问题相似的单词。信号处理模块可用于检测受体是否使用经由传感器(例如外部或植入的麦克风)捕获的音频适当地参与镜像。特别地，系统可以检测(例如，在延长的持续时间内)在受体的拟态中是否不存在任何音调、频率、其它特性或其组合。

除了使用本文描述的传感器之外或代替使用本文描述的传感器，信号处理模块可以处理经由一个或多个传感器(例如，剪辑或植入或外部电极)获得的电生理信号，并且可以用于评估受体是否适当地响应听觉事件。例如，模块可以通过面部肌肉的肌电图测量受体收听问题时静止的持续时间和响应的持续时间。该模块可以测量在中央整合和处理听到的问题期间以及在准备口语响应期间的皮层级联。

除了使用本文描述的传感器之外或代替使用本文描述的传感器，信号处理模块可以处理经由诸如植入的麦克风的传感器捕获的音频-生理信号，并且可以用于评估受体是否适当地响应该问题。例如，当受体准备响应感觉事件时，该模块可以测量心率或呼吸摄取量的变化。

在一些示例中，多个感觉假体可以协作来监测受体的感觉能力。例如，双侧听觉假体可以一前一后地使用，以产生数据来确定受体的听力能力。当结合时，双侧假体可以汇集它们的传感器数据，以馈送单个信号处理模块。在一些示例中，双侧假体可以在稍后将该评估组合成单个受体记录之前独立地评估感觉事件和响应。在一些示例中，假体可以划分任务(例如，一个假体分析感觉事件，而另一个假体监测受体的响应)。此外，响应于硬件配置(例如，双侧、单侧左侧或单侧右侧假体配置)的变化，可以确定受体提供的响应中是否存在相应的差异。特别地，可以确定受体的感觉功能是单侧假体更好，还是双侧假体更好。

有利地，本文描述的方法可以有利地保护受体的隐私。当感觉事件或响应包括语音时，可以在不分析语音的实际内容的情况下(例如，通过测量语音的语调而不对语音执行语音到文本分析并分析所得文本)实现上述方法。例如，在某些实现中，对关于语音质量(例如，语调)的数据执行处理，并且该处理可以不涉及语音的语义。当然，在其他示例中，分析语音的语义内容在确定受体是否做出了适当的反应方面可能是有益的。在一些示例中，语义内容的分析可以被绑定到用户可修改的选项，使得用户可以选择是否分析语义内容。

上述技术可用于修改影响受体的感觉状况的处理。例如，该技术可用于自动或手动(例如，在临床医生的帮助下)调整听觉假体的映射，或提供关于过去调整的反馈。

示例系统

图1示出了系统100，利用该系统100可以实现本文描述的一个或多个技术。如图所示，系统100包括受体的感觉假体110(例如，植入受体或由受体佩戴)、计算设备150和辅助设备162。计算设备150通过网络102连接到服务器170。网络102是诸如互联网的计算机网络，其促进连接到网络102的计算设备之间的数据的电子通信。

图1进一步示出了发生在受体附近的感觉事件10(例如，听觉或视觉事件)。受体提供响应20。

感觉事件10是可由一个或多个人类感官检测到的事件。在许多示例中，感觉事件10是预期(例如，由临床医生)由一个或多个正常功能且未经辅助的人类感感官(例如，典型的人能够在没有放大设备的情况下感知声音)感知的事件。虽然感觉事件10通常可以被不同的人类感官感知(例如，说话的人通常可以被看到和听到说话)，但感觉事件10可以被限制为正被受体的感觉假体增强的特定感觉。感觉事件10可以是预期在受体中引发特征反应的事件。在一些示例中，不期望来自受体的特征反应的某些事件被排除在作为感觉事件10的考虑之外。例如，白噪声(例如，风扇噪声或雨噪声)可以是受体听到但不期望对其进行特定响应的声音。

感觉事件10可以是听觉事件。听觉事件可以是典型地引起人类个体的听觉感知的发生。例如，听觉事件可以具有大于典型人类听觉的阈值的音量和在典型人类听觉的范围内的频率。在另一示例中，感觉事件10可以是视觉事件。视觉事件可以是典型地引起人类个体的视觉感知的发生。例如，可视事件可以在典型人类可见的光谱和强度内。在进一步的示例中，感觉事件可以是触觉感觉事件、嗅觉感觉事件或味觉感觉事件。感觉事件不必限于五种传统感觉，并且可以包括例如平衡感觉、热感觉、本体感觉和伤害感觉等。

在感觉事件10是听觉事件的情况下，听觉事件可以包括以下听觉活动中的一个或多个：唱歌的发声活动、有声的发声活动、演唱的发声活动、拟声的发声活动、耳语的发声活动和音乐活动。在示例中，感觉事件10是被确定为可能在受体中引起惊吓反应(例如，通过具有高于背景水平的特定响度)的听觉事件。受体的惊吓反应是响应20的示例。

响应20是受体在时间上接近感觉事件10的发生的行为。例如，时间接近度可以是预期受体的响应已经发生(如果确实发生任何响应)的时间量。时间量可以根据感觉事件的类型而变化(例如，人们可能被期望对一个令人震惊的事件的反应比对一个问题的反应更快)。虽然在许多示例中，响应20是受体对感觉事件10的反应，但响应20可以包括受体未由感觉事件10引发的动作。换句话说，受体可能不能对感觉事件10作出反应，并且即使不能作出反应也可以被认为是对感觉事件10的反应20。检测这样的无反应响应20可用于修改处理动作。反应适当时的无反应可表明期望处理结果与实际处理结果之间的差距。

响应20可以采取各种形式中的任何一种。例如，响应20可以包括以下反应中的一个或多个：发声反应(例如，受体响应感觉事件10发出或未能发出发声)、运动反应(例如，受体响应感觉事件10移动或不移动的程度)、或生理反应(例如，受体响应感觉事件可能做出的通常不自主的生理反应，例如增加的血流、心率或呼吸速率)。

运动反应可以包括大的运动反应，如跳跃、惊吓、或舞蹈。运动反应可以是方向性的，比如受体朝特定的方向看或指。运动反应也可以包括细微的反应，例如做鬼脸(例如微笑)。运动反应还可以是运动的缺乏或运动的改变(例如，受体的运动量的相对减少或增加)，其可以指示受体正在听人说话或以其他方式关注感觉事件。运动反应可以基于运动数据(例如，从加速度计和陀螺仪获得)和电极数据(例如，从监测肌肉运动或脑电波的电极获得)以及其他来源来检测。可以使用预定阈值，使得当特定数据满足一个或多个阈值时，可以确定发生了移动反应(或特定种类的移动反应)。另外或者替代地，可以使用机器学习。例如，可以训练机器学习框架以基于输入数据确定运动反应(或特定种类的运动反应)的发生。

发声反应可以包括受体发声回应。发声可以包括，例如，讲话、演唱、笑声或模仿(例如，声音、人、动物或物体的模仿)等。发声可以包括咿呀学语或发声(例如，发出令六音(Ling Six，林氏六音)或形成音节而不一定形成单词)。发声可以包括声音、单词或句子的重复。发声可以包括回答问题或进行对话。可以主要基于从可植入或外部麦克风获得的音频数据来检测发声反应。检测可以包括分析声音的特征(例如，音调、频率、强度等)以确定受体是否和如何响应。可以对音频进行处理以利于声音的检测。例如，可以对语音执行语音到文本处理，并且可以分析得到的文本，以确定受体是否正确地响应感觉事件10(例如，通过使用自然语言处理)。通过将响应20的特征中的模式与感觉事件10的特征进行比较，可以检测拟态。

响应20可以包括识别反应。识别反应可以是证明受体理解或识别感觉事件10的反应。识别反应可以是一种指示，表明受体理解或能够分辨不同感觉事件之间的差异。例如，识别反应可以是辨别说话或唱歌之间的区别，理解单词或短语，通过声音识别人，可以识别一个人声音中的情感。识别反应可以通过多种方式检测或推断。在示例中，通过分析受体的脑电波(例如，测量皮层级联)以用于指示识别的模式来检测识别反应。在其他示例中，识别反应可以基于运动(例如，面部运动或较大的肌肉运动)或声音响应来推断。

在一些示例中，上述反应可以形成复杂反应，例如包括声音和运动反应两者的反应。在示例中，复杂反应可以包括受体遵循指令并执行一个或多个动作作为响应。在一些示例中，响应20(特别复杂的响应)可以基于来自受体以外的人(例如，给予指示的看护者)的响应来检测。例如，鼓励或失望的词语可以用来推断受体的回应20是适当的还是不适当的。这样的语音内容可以通过自然语言处理(例如，分析内容)或通过情感检测来确定。

示例系统-感觉假体

感觉假体110是与受体的一个或多个感觉有关的装置。例如，感觉假体110可以是与五种传统感官(视觉、听觉、触觉、味觉和嗅觉)中的一种或多种和/或其他感官中的一种或多种有关的假体。为了易于理解，在公开的许多示例中，感觉假体110是被配置为处理(treat，治疗)受体的听力损伤的听觉假体医疗设备。虽然许多特定于听觉假体的示例可以适用于其他种类的感觉假体。在感觉假体110是听觉假体的情况下，感觉假体110可以采取多种形式，包括耳蜗、电声设备、经皮(percutaneous)骨传导设备、被动经皮(transcutaneous)骨传导设备、主动经皮骨传导设备、中耳设备、完全可植入的听觉设备、大部分可植入的听觉设备、听觉脑干植入设备、助听器、牙齿锚定的听觉设备、个人扩音产品、其他听觉假体以及前述的组合(例如，包括用于受体的第一耳的假体和用于第二耳的相同或不同类型的假体的双耳系统)。在示例中，感觉假体110可以是或包括与前庭植入物和仿生眼睛相关的特征。在图5(示出了耳蜗植入物)、图6(示出了经皮(percutaneous)骨传导设备)、图7(示出了经皮骨传导设备)和图8(示出了视网膜假体)中更详细地描述了感觉假体110的示例实施方式。本文公开的技术还可以与具有用于例如睡眠呼吸暂停管理、耳鸣管理和癫痫处理的设备和系统的应用相关。本文公开的技术可以与诸如消费者听觉设备(例如助听器或个人声音放大产品)的感觉设备一起使用。

如图所示，感觉假体110包括壳体112、刺激器120、一个或多个传感器130、一个或多个处理器140和存储器142。在许多示例中，感觉假体110可以包括比图1中所示的部件更多或更少的部件。

壳体112可以包括可穿戴壳体(例如，经由带、条、磁连接或另一紧固技术可穿戴在受体的头部或受体的手腕上)。在一些示例中，感觉假体110可以包括设置在分离的壳体中的多个协作部件。例如，感觉假体110可以包括外部部件(例如，具有接收和处理感觉数据的部件)，外部部件被配置为与可植入部件(例如，具有传递刺激以在受体中引起感觉规则的部件)通信。在壳体112是可植入壳体的情况下，壳体112可以由生物相容性材料制成，并且气密地密封内部以防止体液的侵入。

刺激器120是向受体提供刺激的感觉假体110的一个或多个部件。例如，刺激器120可以从感觉假体的另一部件接收刺激控制信号，并基于其产生刺激。刺激器可以将刺激施加到受体以引起感觉感知。根据感觉假体的类型，刺激可以采取多种形式中的任何一种。在许多示例中，刺激包括电刺激或机械刺激。刺激器120可以以使受体感知感觉输入数据的一个或多个分量的方式，刺激受体的神经细胞(例如，以绕过正常将感觉现象转换为神经活动以在受体中引起感官感知的缺失或缺陷细胞的方式)。如图所示，刺激器120可包括刺激器单元122和刺激器组件124。

刺激器单元122可以是刺激器120的产生刺激的部分。例如，在刺激器120是电刺激器的情况下，刺激器单元122可以产生电刺激信号。在刺激器120是机械刺激器的情况下，刺激器单元122可以是或包括被配置为产生振动的致动器。

刺激器组件124可以是刺激器120的部分，刺激通过该部分施加到受体。例如，在刺激器120是耳蜗植入物的电刺激器的情况下，刺激器组件124可以是细长引线，其上设置有电极触点阵列，用于将电刺激传递到受体的耳蜗。在刺激器120是机械刺激器的情况下，刺激器组件124可以是板、柱或另一部件，以将振动从刺激器单元122传导到受体解剖结构的期望部分。

传感器130是感觉假体110的一个或多个部件，其基于感测到的事件(例如关于感觉假体110周围的环境、感觉假体110本身或受体的数据)生成信号。在许多示例中，传感器130被配置为获得用于经由刺激器120产生刺激的数据。在示出的示例中，传感器130可以包括一个或多个：麦克风132、运动传感器136和电极传感器138。

一个或多个麦克风132可以包括一个或多个植入在受体中的麦克风或受体外部的麦克风。麦克风132可以是将声能转换成电信号的换能器。麦克风132中的一个或多个可以被配置为接收在受体外部产生的声音。麦克风中的一个或多个可以包括身体噪声传感器134或被配置为身体噪声传感器134。身体噪声传感器134是被配置为感测由受体产生的身体噪声的传感器130。可由身体噪声传感器134测量的身体噪声可包括，例如，呼吸声、血流声、心跳声或肠胃声等声音。

一个或多个运动传感器136可以是将运动转换成电信号的换能器。运动传感器136可以包括例如加速度计和陀螺仪传感器。

一个或多个电极传感器138可以是被配置为检测电信号的一个或多个电极。在一些示例中，电极传感器138可以是刺激器组件124的电极，其被配置为不仅传递刺激而且检测电信号。电极传感器138可以包括内部或外部电极传感器。在示例中，电极传感器138是可穿戴电极，例如经由头带。

传感器130可以包括一个或多个其它传感器，诸如一个或多个位置传感器、拾音线圈、相机、瞳孔计、生物传感器(例如，心率或血压传感器)、耳声发射传感器(例如，被配置为提供耳声发射信号)、EEG(脑电图)传感器(例如，被配置为提供EEG信号)、一个或多个光传感器，被配置为提供与光水平相关的信号。传感器130可以包括设置在感觉假体110的壳体内的部件以及电耦合到感觉假体110的装置(例如，经由有线或无线连接)。

在示例中，传感器130包括经由FM(频率调制)连接被连接到感觉假体110的一个或多个远程设备，诸如远程麦克风(例如，耳蜗真无线微型麦克风2+)、电视音频流式设备或电话剪辑设备，以及具有FM传输能力的其他设备。传感器130还可以包括获得关于感觉假体110的使用的数据的传感器，例如在感觉假体110上操作的软件传感器，其跟踪数据，诸如：当感觉假体110被受体佩戴时、当感觉假体110(例如，其外部部分)从受体移除时、当一个或多个感觉假体设置被修改时、感觉假体110正在操作的当前场景模式(例如，由场景分类器确定)、以及感觉假体110使用特定设置操作多长时间等数据。

在示例中，传感器130可以包括场景分类器。场景分类器是获得关于感觉假体周围的环境的数据(例如，从传感器130中的一个或多个)并确定环境的分类的软件。分类可用于确定适合环境的设置。例如，在感觉假体110是听觉假体的情况下，场景分类器可以获得关于听觉假体周围的声波环境的数据，并且将声波环境分类为以下可能的分类中的一个或多个：语音、噪声和音乐等分类。然后，感觉假体110可以使用分类来自动改变感觉假体设置以适应环境。例如，响应于场景分类器确定听觉假体周围的声波环境是刮风的，可以选择风噪声场景，其修改听觉假体的设置以减小风噪声。在另一示例中，场景分类器可以确定附近有音乐，并自动修改听觉假体设置以改善音乐再现。示例场景分类器在2016年6月9日提交的题为“Advanced Scene Classification for Prosthesis”的US 2017/0359659中描述，为了任何和所有的目的，其全部通过引用并入本文。

传感器130可以产生传感器数据。传感器数据是由传感器130的传感器产生的数据。根据产生传感器数据的传感器130的配置，传感器数据可以采取各种不同形式中的任何一种。此外，传感器数据的形式和特征可以随着传感器数据在整个系统100中的使用和移动而改变。例如，传感器数据可以开始为实时模拟信号，该实时模拟信号在传感器130内被转换为实时数字信号，该实时数字信号然后作为数据分组实时地传输到应用程序，以批量发送(例如，非实时)到服务器170。此外，传感器数据可以在传感器数据被使用并在整个系统100中移动时被处理。例如，传感器数据可以被转换成标准化格式，并且具有附加的相关元数据(例如，时间戳、传感器标识符等)。

一个或多个处理器140是一个或多个硬件或软件处理单元(例如，中央处理单元)，其可以获得和执行指令。一个或多个处理器140可以与感觉假体110的其他部件通信并控制其性能。

存储器142是一个或多个基于软件或硬件的计算机可读存储介质，可操作以存储可由一个或多个处理器140访问的信息。关于存储器的更多细节请参见图9。如图所示，存储器142可以存储指令144和感觉假体设置146。

指令144是处理器可执行程序指令，当由一个或多个处理器140执行时，该指令使一个或多个处理器140执行动作或操作，例如在本文的过程中描述的动作或操作。指令144可以配置一个或多个处理器140以执行操作。

感觉假体设置146是具有影响感觉假体110如何操作的值的一个或多个参数。例如，感觉假体110接收来自环境的感觉输入(例如，使用感觉假体110的麦克风以获得音频输入)，将感觉输入转换为刺激信号，并且使用刺激信号来产生刺激(例如，振动或电刺激)以在受体中引起感觉感知。

感觉假体设置146可以包括具有刺激通道的最小和最大刺激水平的图(map)。然后，感觉假体110使用该图来控制要提供的刺激量。例如，在感觉假体110是耳蜗植入物的情况下，基于接收的声音输入，该图影响耳蜗植入物的哪些电极被刺激以及以多大的量被刺激。在一些示例中，感觉假体设置146包括可由受体选择的设置的两个或更多个预定义分组。设置的两个或更多个预定义分组中的一个可以是默认设置。

感觉假体设置146还可以包括在感觉输入被转换成刺激信号之前修改感觉输入的感觉处理设置。在例如听觉假体的情况下，这样的设置可以包括特定的音频均衡器设置，该音频均衡器设置可以提高或降低各种频率的声音的强度。在示例中，感觉假体设置146可以包括接收的感觉输入引起刺激的最小阈值、用于防止刺激高于将引起不适的水平的最大阈值、增益参数、强度参数(例如，响度)和压缩参数。感觉假体设置146可以包括影响由感觉假体110产生的刺激的动态范围的设置。如上所述，许多感觉假体设置146影响感觉假体110的物理操作，例如感觉假体110如何响应于从环境接收的声音输入而向受体提供刺激。因此，修改感觉假体设置146可以修改由感觉假体110提供的处理。在美国专利9,473,852和9,338,567中描述了用于听觉假体的设置、设置修改和预处理的示例，为了任何和所有的目的，这两个专利通过引用合并于此。

示例系统-计算设备

计算设备150是与感觉假体110的受体相关联的计算设备。在许多示例中，计算设备150是电话、平板电脑、智能手表或心率监测器，但可以采取其他形式。尽管主要在受体的上下文中描述，但计算设备150可以是由受体的父母或看护者拥有或主要使用的计算设备。在所示示例中，计算设备150包括感觉假体应用152。计算设备150可以与服务器170通信，例如经由在网络102上通信的感觉假体应用152。

在示例中，计算设备150包括在计算设备150上操作并与感觉假体110协作的感觉假体应用152。感觉假体应用152是作为计算机可执行指令存储在计算设备150的存储器中的计算机程序，其在执行时执行与感觉假体110相关的一个或多个任务。例如，感觉假体应用152可以控制感觉假体110(例如，通过自动地或基于在计算设备150处从受体接收的输入修改感觉假体设置146)，监测感觉假体110的使用，并从感觉假体110获得数据。计算设备150可以使用例如无线射频通信协议(例如，蓝牙)连接到感觉假体110。感觉假体应用152可以通过这样的连接从感觉假体110传输或接收数据。感觉假体应用152可用于诸如从计算设备150的麦克风或在计算设备150上运行的应用(例如，视频或音频应用)将音频流式传输到感觉假体110。在其他示例中，在计算设备150上运行的另一应用程序可以将感觉数据流式传输到感觉假体110。在示例中，感觉假体应用152通过获得关于感觉假体110的数据来用作数据源(例如，传感器130)。

在一些示例中，传感器130中的一个或多个可以是计算设备150的部件。例如，计算设备150可以包括硬件传感器或软件传感器，诸如从一个或多个数据流(例如，从计算设备150流式传输到感觉假体110的音频或视频)获得数据的软件。

示例系统-辅助设备

辅助设备160是与感觉假体110分离的设备，其可提供用于执行本文所述的过程和操作的传感器数据。在示例中，辅助设备160是可从其获得数据的附加感觉假体110。在其他示例中，辅助设备可以是手机、平板电脑、智能手表、心率监测器、可穿戴EEG、智能戒指、或具有一个或多个传感器的其他设备。传感器可以如上文关于感觉假体110的传感器130所述。在一些示例中，辅助设备160可以从辅助设备传感器获取数据，并将数据传输到系统100的其他设备或组件中的一个或多个以进行处理。

示例系统-服务器

服务器170是远离感觉假体110和计算设备150的服务器计算设备。服务器170经由网络102通信地耦合到计算设备150。在许多示例中，服务器170通过计算设备150(例如，经由感觉假体应用152)间接通信地耦合到感觉假体110。在一些示例中，服务器170直接通信地耦合到感觉假体110(例如，经由感觉假体110的无线电信数据连接)。在某些示例中，感觉假体110和计算设备150可以被认为是服务器170的客户端设备。在一些示例中，由服务器170或其组件提供的功能可以由受体本地的设备(例如，计算设备150或感觉假体110)提供或位于受体本地的设备上。感觉假体应用152可以是被配置为与服务器170交互的客户端应用。服务器170可以包括处理单元和存储器，其在图9中更详细地描述。服务器170还可以包括可执行以执行本文描述的一个或多个操作的指令。

示例过程

图2和图3示出了用于监测个体感觉能力并基于其采取处理动作的示例过程。过程的一个或多个方面(例如，其一个或多个操作)可以实现为作为指令144的一部分存储的一个或多个指令。为了易于理解，用执行操作的感觉假体110来编写过程。然而，可以修改所述过程以至少部分地由一个或多个其它设备执行，诸如计算设备150、辅助设备162、服务器170、其它设备或其组合。设备中的一个或多个可以具有指令，该指令在被执行时使得执行操作中的一个或多个。

示例过程-第一示例过程

由图2A至图2E组成的图2示出了示例过程200。在示例中，过程200以操作210开始。

操作210包括从传感器130中的一个或多个接收事件传感器数据212。事件传感器数据212可以以各种方式中的任何一种方式接收。事件传感器数据212可以直接从传感器130本身或经由中介设备接收。例如，事件传感器数据212中的至少一些可以经由辅助设备162或计算设备150传输到感觉假体110以进行处理。在一些示例中，事件传感器数据212被推送到感觉假体110。在其它示例中，感觉假体110向传感器130或与其相关联的设备传输请求以获得事件传感器数据212。

在一些示例中，事件传感器数据212在由感觉假体110进行处理之前被存储。在一些示例中，感觉假体110周期性地从传感器130获得读数。感觉假体可以以各种频率收集事件传感器数据212，并且事件传感器数据212的量同样可以变化。例如，在一些示例中，获得和传输事件传感器数据212发生而没有显著延迟(例如，实时地)。在其它示例中，包括传感器130的设备可以获得事件传感器数据212并将其存储在数据的批中，并且将事件传感器数据212较不频繁地传输到感觉假体110。

在示例中，操作210包括从一个或多个运动传感器136接收运动传感器信号。在示例中，接收运动传感器信号可以包括从感觉假体110的加速度计接收加速度计信号、从感觉假体110的陀螺仪接收陀螺仪信号、从辅助设备162的加速度计接收加速度计信号、或者从辅助设备162的陀螺仪接收陀螺仪信号。在示例中，操作210包括从身体噪声传感器134(例如，植入的麦克风132)接收身体噪声传感器信号。在示例中，操作210包括从植入或外部电极传感器138接收植入或外部电极传感器信号。在示例中，操作210包括从外部麦克风132接收外部麦克风信号。在操作210之后，流程可以移动到操作214。

操作214包括使用事件传感器数据212检测接近感觉假体110的感觉事件10的发生。检测感觉事件10的发生可以包括将事件传感器数据212与和确定感觉事件10的发生相关的一个或多个模板进行比较。例如，模板可包括与事件传感器数据212(例如，音频数据、运动数据或另一种数据)相关的一个或多个阈值，其指示发生了感觉事件10。在另一示例中，模板包括一个或多个机器学习框架，该机器学习框架被配置为接收事件传感器数据212中的至少一些作为输入，并且提供关于感觉事件10是否发生的预测作为输出。

在示例中，可以基于由感觉假体110的场景分类器的确定，响应于以特定感觉处理模式操作的感觉假体110来确定感觉事件10的发生。在感觉事件10是语音事件(例如，另一个人对受体说话)的示例中，可以响应于场景分类器在语音处理模式中操作或切换到在语音处理模式中操作来确定感觉事件10的发生。在示例中，基于用户输入来确定感觉事件10的发生。例如，受体(或看护者或另一个人)可以提供指示感觉事件10正在发生或最近已经发生的用户输入(例如，直接在感觉假体110处或在另一设备处)。在一些示例中，用户输入可以进一步指定一种感觉事件(例如，语音、音乐等)。

作为另一示例，操作210可以包括基于事件传感器数据212的位置数据确定接近受体的感觉事件10的发生。位置数据可用于确定受体是否在可能发生特定种类的感觉事件10的位置。例如，指示受体在电影院的位置数据可以增加受体正在经历通常在电影期间发生的感觉事件的可能性。作为另一示例，指示受体在学校的位置数据可以增加受体正在经历典型的教室的感觉事件(例如，讲座感觉事件)的可能性。

在示例中，位置数据可以包括由计算设备150生成的基于卫星的位置数据(例如，基于GPS的位置数据)。在另一示例中，位置数据基于附近的无线广播，例如WI-FI SSID(服务集标识符)。这样的无线广播对于确定当前位置以及当前位置类型是有用的。例如，当感觉假体110在学校中操作时，计算设备150可检测称为“教室WI-FI”的WI-FI SSID，其可用作学校感觉事件正在发生或可能发生的指示。在另一示例中，可以基于受体在一位置处手动或自动地签到(例如，使用计算设备150)来确定位置数据。

在一些示例中，检测感觉事件10的发生可以包括确定音频信号是否包括可能需要响应的语音。例如，语音可以是所说的受体的名字、命令、对话的一部分或问题。检测语音是否需要响应可以包括确定语音的特性(例如，音频信号的频率、幅度调制和频谱扩展)并将该特性与阈值进行比较。分析可以进一步包括使用机器学习来分析语音。在操作215至217中更详细地描述了与可能需要作为问题的响应的语音相关的示例。

在一些示例中，操作210或214包括操作215。操作215包括从麦克风132(例如，在一些示例中，传感器130可以包括麦克风132)接收音频信号作为事件传感器数据212的一部分。麦克风132可以是外部或可植入的麦克风(例如，感觉假体110的)，其产生指示受体附近的声波环境的音频信号。

在操作215之后，流程可以移动到操作216。操作216包括确定音频信号是否包括询问问题的语音。音频信号可以通过例如感觉假体110、计算设备150、服务器170、另一设备或其组合来分析。在示例中，可以分析音频信号以确定音频信号的质量是否指示感觉事件10的发生。例如，可以分析音频信号的频率、幅度调制和频谱扩展(例如，使用模板180)以确定是否满足指示感觉事件10的可能发生的似然阈值。特别地，可以执行分析以确定音频信号是否包括询问问题的语音。在一些示例中，对音频信号是否包括询问问题的语音的分析可以包括确定音频信号中增加的音调。

在操作216之后，流程可以移动到操作217。操作217包括确定感觉假体110(例如，听觉假体)附近发生了感觉事件10(例如，听觉事件)。该确定可包括设置标志或以其他方式写入指示感觉事件10发生的数据。在示例中，可以响应于在操作216中确定音频信号包括询问问题的语音来执行操作217。

在一些示例中，操作210或214包括操作218。操作218包括汇集传感器输出数据。例如，汇集传感器输出数据可以包括汇集来自多个不同感觉假体的传感器的传感器输出数据(例如，汇集来自第一感觉假体传感器和第二感觉假体传感器的输出数据)以形成汇集数据。于是对受体附近的感觉事件的发生的检测可以包括对汇集数据的使用。在一些示例中，事件传感器数据212被汇集或者事件传感器数据212是汇集数据。

在一些示例中，操作214包括操作219。操作219包括通过利用机器学习框架分析或处理事件传感器数据212来确定感觉事件10是否发生。例如，事件传感器数据212中的一些或全部可以作为输入提供到机器学习框架中，机器学习框架被配置为处理输入并作为输出提供输入数据是否指示感觉事件10发生的指示。关于使用机器学习框架的更多细节将在图4中描述。

在操作214之后，流程可以移动到操作220(见图2B)。操作220包括将感觉事件10分类为相关感觉事件或无关感觉事件。有利的是，通过允许无关感觉事件10被忽略或者通过允许相关感觉事件10被聚焦，这种分类可以促进处理效率的改进。在一些示例中，相关感觉事件10是可能从受体引出响应20的感觉事件10。在一些示例中，相关感觉事件10是感兴趣的感觉事件10(例如，对于受体、看护者或临床医生)。例如，看护者可能对在看护者不在场时发生的感觉事件10感兴趣(例如，在学校或日托中可能发生)。因此，相关感觉事件10可以是发生在远离看护者的地方的感觉事件10(例如，可以通过地理隔离或基于看护者设备和感觉假体110之间的距离来确定)。作为另一示例，受体可以测试被配置为提高感觉假体110相对于教室感觉事件的性能的更新设置，因此相关感觉事件10可以是在教室发生的感觉事件10。在一些示例中，相关性可以被定制(例如，由受体、看护者或临床医生定制)。例如，相关感觉事件可以被定制为适合于受体的年龄。例如，婴儿的相关性(例如，可能引起婴儿的惊吓反射的声音事件)可能与青少年的相关性不同(例如，青少年对言语的反应可能与婴儿不同)。可以以多种方式中的任何一种方式来执行分类，诸如基于位置(参见例如操作221)、阈值(参见例如操作222)、机器学习框架(参见例如操作227)、其他方式或其组合。

在一些示例中，操作220包括操作221。操作221包括分析位置。例如，可以从事件传感器数据212确定或推断该位置(例如，使用基于卫星的位置数据或如上所述的附近无线广播)。可以将感觉假体110的位置与预定位置进行比较。响应于满足该比较，感觉事件10可被分类为相关感觉事件。响应于不满足该比较，感觉事件10可以被分类为无关感觉事件。可以以各种方式中的任何一种来满足比较，例如感觉假体110的位置和预定位置之间的距离小于或等于阈值距离。在另一示例中，可以基于特定无线广播(例如，WI-FI SSID)来满足比较，该特定无线广播(例如，WI-FI SSID)可由感觉假体110或与受体相关联的另一设备检测或检测不到。

在一些示例中，操作220包括操作222。操作222包括将一个或多个阈值与事件传感器数据212的一些或全部进行比较。阈值可以是相关的预定阈值。例如，一个或多个阈值可以是在典型的人能够感知或预期响应所述感觉事件10之前的感觉事件的特征的量。在另一个示例中，阈值是在受体能够感测或预期对感觉事件10作出响应之前的感觉事件10的特征的量(例如，受体具有比典型的人更高或更低的感测感觉事件的能力)。阈值可以是预期响应之前的强度水平(例如，分贝或流明)。在这些示例中，将事件传感器数据212的分贝水平与作为典型人类听力阈值的分贝水平进行比较。操作222可以包括在操作222完成之前与一个或多个阈值中的多个不同阈值进行比较。

响应于事件传感器数据212满足一个或多个阈值，流程可以移动到操作224。操作224包括响应于事件传感器数据212满足一个或多个阈值而将感觉事件10分类为相关感觉事件10。响应于事件传感器数据212不满足一个或多个阈值，流程可以移动到操作226。操作226包括响应于传感器数据未能满足一个或多个阈值，将感觉事件10分类为无关感觉事件。将感觉事件10分类为相关或无关可包括设置标志或以其他方式存储指示事件相关性的数据。在某些示例中，关于无关事件的数据被丢弃。

在一些示例中，操作220包括操作227。操作227包括确定感觉事件10与机器学习框架的相关性。例如，事件传感器数据212中的一些或全部可以作为输入提供到机器学习框架中，机器学习框架被配置为处理输入并作为输出提供输入数据指示感测事件10是相关的还是无关的指示。关于使用机器学习框架的更多细节将在图4中描述。

在操作220之后并响应于感觉事件是无关感觉事件，流程可以移动到操作228。操作228包括避免检测受体对无关感觉事件10的发生的响应20。这种避免检测可以节省感觉假体110的电池和计算资源。在操作228之后，流程可以返回到操作210(见图2A)。

在操作220之后并响应于感觉事件是相关感觉事件，流程可以移动到操作230。

操作230包括使用响应传感器数据231检测受体对感觉事件10的发生的响应20。响应传感器数据231是从传感器130中的一个或多个获得的数据，可用于检测受体是否对感觉事件10有响应20。在一些示例中，响应传感器数据231是或包括用于检测感觉事件10的发生的相同事件传感器数据212。例如，事件传感器数据212可以包括足够的数据(例如，覆盖足够长的时间跨度的数据)以覆盖感觉事件10的发生和响应20。在一些示例中，从传感器130收集附加数据以覆盖受体的响应20的时间。可以将附加数据添加到事件传感器数据212以形成响应传感器数据231。在一些示例中，当事件传感器数据212中的至少一些被用作响应传感器数据231时，事件传感器数据212的部分可以被丢弃。此外，用于检测响应20的响应传感器数据231可以不同于事件传感器数据212。例如，跟踪受体的运动的运动传感器在确定受体对感觉事件10的响应20中可能有用，但不太可能确定感觉事件10是否发生(除非，例如，感觉事件10是触觉感觉事件10)。响应传感器数据231可以以与上述事件传感器数据212的收集类似的方式获得。

在一些示例中，操作230包括操作232。操作232包括检测受体的语音响应。检测语音响应可以包括检测受体的发声。发声可以以各种方式中的任何一种来检测。例如，可以使用植入的或外部的麦克风132来检测发声。可以分析来自麦克风132的音频数据(例如，音频数据的特性可以与频率、音调、音量或其他特性的一个或多个阈值相比较)，以确定受体是否进行发声响应。除了使用音频数据来识别语音响应之外或代替使用音频数据来识别语音响应，操作232可以包括检测准备说话或当前说话的受体的心率特性的变化。例如，可以检测准备说话或当前说话的受体的吸气特征。作为另一示例，可以检测准备或当前说话的受体的皮层级联。此外，皮层级联可以指示受体响应问题(例如，在操作216中检测到的问题)。

在一些示例中，操作230包括操作234。当感觉事件10包括被询问的问题(例如，在操作216中检测到的问题)时，操作230可以包括操作234。操作234包括在询问问题时确定受体的行为。在一些示例中，操作234包括操作235。操作235可以包括由受体测量静止的量或持续时间。在一些示例中，由受体测量持续时间或静止的量可以包括测量受体的肌肉运动。例如，测量肌肉运动可以使用肌电图、相机、加速度计、陀螺仪或另一传感器来执行。受体的静止可以用来推断受体正在收听问题(因此能够听到问题并正在做出适当的回答)。

在一些示例中，操作230包括操作236。操作236包括将响应传感器数据231与一个或多个预定阈值进行比较。响应于响应传感器数据231满足一个或多个阈值，可以确定发生了响应20。响应于响应传感器数据231未能满足一个或多个阈值，可以确定没有发生响应20。

在一些示例中，操作230包括操作238。操作238包括使用机器学习框架确定响应20是否发生。例如，响应传感器数据231中的一些或全部可以作为输入提供到机器学习框架中，机器学习框架被配置为处理输入并作为输出提供输入数据是否指示响应20发生的指示。关于使用机器学习框架的更多细节将在图4中描述。

在操作230之后，流程可以移动到操作240(见图2D)。操作240包括受体使用事件传感器数据212来表征响应20。在示例中，表征响应20可以包括将响应20标记为适合于感觉事件10。如前所述，响应20可以是缺少适当的反应。例如，如果在接近受体询问问题之前、期间和之后，受体的移动相对不变，则可以确定该响应是不适当的。适当的响应20可以是受体在被询问的问题期间或之后保持静止或表现出减少的运动。将响应20表征为适当或不适当可包括将实际响应与来自典型个人或受体的预期适当响应进行比较。

在一些示例中，操作240包括操作242。操作242包括确定受体响应于感觉事件10开始提供语音响应所用的时间长度。例如，所用的时间长度可以是从感觉事件10发生(例如，问题被询问)到受体开始提供语音响应所用的时间。在示例中，可以响应于检测到心率的变化、皮层活动的变化或吸气来检测开始提供语音响应的受体。响应于时间长度小于阈值时间量，响应20可以被表征为是适当的。否则，响应20可被表征为不适当。

在一些示例中，操作240包括操作244。操作244包括确定受体提供的语音响应的长度。由受体提供的语音响应的长度可以使用例如从内部或外部麦克风获得的数据来确定。响应于语音响应的长度小于阈值时间量，响应20可以被表征为是适当的。否则，响应20可被表征为不适当。

在一些示例中，操作240包括操作246。操作246包括确定响应传感器数据231是否指示受体执行特征反应。这可以包括将响应传感器数据231与和特征反应相关联的预定阈值进行比较。例如，可以存在一运动量，低于该运动量指示受体对听到语音感觉事件10具有适当的听力反应。在响应传感器数据231中可以存在指示受体响应于感觉事件10正在移动(例如，跳舞或执行另一动作)的可检测的活动量。

在一些示例中，表征响应20包括使用机器学习框架表征响应。例如，响应传感器数据231中的一些或全部可以作为输入提供到机器学习框架中，机器学习框架被配置为处理输入并作为输出提供响应20的表征。关于使用机器学习框架的更多细节将在图4中描述。

在操作240之后，流程可以移动到操作250(参见图2E)。操作250包括采取与受体相关的处理动作251。处理动作251可以涉及改善受体响应感觉事件10的能力，例如通过改善感觉假体110在受体中引起感觉感知的能力。在示例中，处理动作251是与处理与受体的一个或多个感官相关联的医疗状况有关的动作。基于响应20的表征，可以执行、选择、确定或推荐各种处理动作251。

在示例中，处理动作251包括报告感觉假体110相对于感觉事件10的性能质量，例如报告给临床医生(例如，以帮助指导处理)或看护者(例如，以帮助向看护者保证感觉假体110按照预期发挥作用)。

处理动作251还可以包括使用响应20的表征作为对康复计划的输入。康复计划可以采取多种形式中的任何一种，并且通常可以涉及使受体康复以更适当地响应感觉事件10。一个康复计划的示例是由COCHLEAR LTD.开发的BRING BACK THE BEAT智能手机应用程序，它涉及提高受体对音乐感觉事件的反应能力。

在一些示例中，操作250包括操作252。操作252包括修改感觉假体110的一个或多个设置253。在该操作252中，修改设置253可导致对感觉假体的处理操作的修改。基于响应20的表征(例如响应20是适当的或不适当的)，可以确定感觉假体设置146相对于特定传感器事件在受体中次最佳地引起感觉感知，并且感觉假体设置146的一个或多个改变可以改善感觉假体110相对于感觉事件10的性能。基于该确定，可以将关于一个或多个变化的信息提供给受体、看护者或临床医生(例如，通过报告的方式)。在一些示例中，一个或多个改变由感觉假体110本身自动采用。然后改变感觉假体设置146，其修改感觉假体110的正在进行的操作。在一些示例中，改变特定场景的感觉假体设置146。例如，与语音模式(例如，由感觉假体110的场景分类器确定的)相关联的感觉假体设置146被改变，但在其他模式(例如，音乐或管乐模式)中不被改变。这种场景特定的方法可以是有利的，因为改善感觉假体110产生受体可理解的关于一种感觉事件10的感觉感知的能力的改变可以对感觉假体110产生受体可理解的关于其他感觉事件10的感知的能力具有伴随的有害影响。

在一些示例中，操作250包括操作254。操作254包括报告感觉假体110相对于感觉事件10的性能质量。性能质量可以包括受体是否适当地响应感觉事件10，其可以用作感觉假体110是否准确地引起感觉感知的代理指示。

在一些示例中，操作250包括操作256。操作256包括建议纠正动作。在示例中，处理动作251包括推荐用于增加受体适当响应感觉事件10的可能性的纠正动作。在示例中，纠正动作可以是感觉假体110的重新配置或重新编程。在另一实施例中，纠正动作包括修改提供给受体的处理。例如，在感觉假体110是单侧听觉假体的情况下，修改处理可以包括推进到双侧假体。

在一些示例中，操作250包括操作258。操作258包括提供估计受体参与感觉事件10的能力的度量。该度量可包括，例如，对感觉事件10的适当响应20的总数、对感觉事件10的不适当响应20的总数、每天响应20的总数、不适当响应20的速率以及响应20的平均等级。此外，可以计算这些度量的趋势。这些趋势可以揭示受体的感觉健康方面的有用信息，例如确定受体响应感觉事件10的能力的改善或下降。这样的趋势信息在确定受体的处理选择时是有用的。可以基于感觉事件的质量(如果检测到或已知这样的质量)来对度量分段。例如，在感觉事件10是音乐事件的情况下，质量可以包括主频、节奏、音量、流派、歌手(例如，男歌手、女歌手、年龄、所说的语言、口音等)。基于质量对感觉事件10的分段可以通过允许在受体如何能够感知特定种类的感觉事件的基础上得出结论来进一步增强处理动作。例如，度量可以指示受体在一对一的设置中比在教室中更能够感知语音。

在操作250之后，流程可以返回到操作210。

示例过程-第二示例过程

图3示出了用于监测个体的感觉能力并基于其采取处理动作的示例过程300。如图所示，过程300包括与过程200相同的一些操作。通常，过程300还包括关于感觉假体110在监测模式30或非监测模式40下的操作的细节，并且进一步向看护者设备提供分析。在示例中，过程300从操作310开始。

操作310包括在监测模式30或非监测模式40下选择性地操作感觉假体110。监测模式30的特征在于，感觉假体110监测感觉事件10并监测受体的响应20。非监测模式40的特征在于感觉假体110不监测感觉事件10或不监测受体的响应20。感觉假体110可以基于各种条件选择性地在模式30、40下操作。在示例中，模式30、40可以由受体或看护者手动切换。

在一些示例中，操作310包括操作312。操作312包括基于接近度在非监测模式40下操作。接近度可以是受体和看护者之间的接近度。当受体靠近看护者时以非监测模式40操作是有利的，因为看护者可以亲自监测受体对感觉事件10的响应程度。在这种情况下，响应20可能不需要由感觉假体110自动监测。相反，当受体离开看护者时(例如，在学校时)，看护者可能更希望监测响应20。通过选择性地在模式30、40下操作(例如，基于接近度)，感觉假体110可以通过避免收集和处理不必要的数据来节省计算资源和隐私。

在其他示例中，接近度可以是受体与另一个人或位置之间的接近度。接近度可以在受体和特定的感兴趣区域之间。例如，受体可以测试感觉假体110的新设置，以提高感觉假体110在具有高水平噪声(例如，在感觉假体110是听觉假体的情况下的背景噪声)的区域中引起感觉感知的能力。为了便于测试的数据收集，可以将感兴趣的区域(例如，由受体、看护者或临床医生)设置为可能具有高噪声水平的区域。

可通过各种方式确定或推断接近度。在示例中，基于用户输入(例如，接收指示受体接近感兴趣区域的用户输入)来确定接近度。在另一示例中，基于感觉假体110与另一个设备之间的接近度来确定接近度，另一个设备例如是基于例如附近的无线信号来确定的看护者设备(例如，计算设备150)。在另一示例中，基于感觉假体110的位置(例如，根据基于卫星的位置数据或附近无线信号确定的)来确定接近度。

在一些示例中，操作310包括操作314。操作314包括基于时间在非监测模式40下操作。例如，时间可以是一天中的当前时间。受体、看护者或临床医生可以设置在模式30、40下操作的一个或多个时间范围。例如，在受体是儿童的情况下，在儿童更可能警觉的早晨监测对感觉事件10的响应20可能是有利的。这可以改善监测数据的能力，以确保错过的响应20是由于感觉假体110的操作而不是由于受体疲劳。

在操作310之后，流程可以移动到操作320。操作320可以包括确定感觉假体110是在监测模式30中操作还是在非监测模式40中操作。响应于感觉假体110在非监测模式40中操作，流程可以移动到操作330。

操作330包括避免检测接近感觉假体的感觉事件10的发生。操作330可以采取各种形式。这可以包括避免获得事件传感器数据212、避免处理事件传感器数据212、或者避免在处理事件传感器数据212之后采取动作。在其他示例中，操作330可包括不获取响应传感器数据231、不处理响应传感器数据231、或不在处理响应传感器数据231之后采取动作。有利地，避免检测可以节省感觉假体110的电池寿命(其中感觉假体110由电池供电)并且可以节省计算资源。在示例中，操作330可以在处于非监测模式40时执行。在操作330之后，流程可以返回到操作310。

响应于在监测模式30下的操作，流程可以移动到操作210(例如，当在监测模式30下操作时，流可以移动到操作210)、操作220、操作230和操作240。操作210、220、230和240可以如上文关于图2所述。在操作240之后，流程可以移动到操作340。

操作340包括存储关于感觉事件10的感觉事件数据342和关于受体的响应20的响应数据344。在一些示例中，感测事件数据342可以包括事件传感器数据212，并且响应数据344可以包括响应传感器数据231。在其它示例中，感测事件数据342是关于确定的感测事件10的数据(例如，特征化事件传感器数据212)并且响应传感器数据231可以包括特征化响应数据231。例如，数据342、344可以包括分别关于感觉事件10和响应20的度量(例如，如上所述)。

在示例中，存储数据342、344可以包括存储数据342、344作为感觉事件10和响应20的分析362的一部分。在示例中，操作340包括生成分析362。

收集和处理的关于感觉事件10的数据和与响应20相关联的数据可以在感觉假体110、与受体(例如，移动电话)相关联的计算设备150上、在服务器170上、在另一设备处、或其组合上聚集，并且用于形成对受体感知或响应感觉事件10的能力的分析262。在示例中，分析262是表示基于关于感觉事件10和响应20的数据生成的结论或推断的数据。可以基于响应20随时间的比较来生成分析262，例如受体的响应20随时间如何改变。

在示例中，使用描述要基于数据得出的推断或结论的决策树或决策规则来生成分析262。例如，决策规则可以指定响应于指示受体没有感知到具有特定特征的感觉事件10的响应20，在分析262中包括受体难以感知到具有那些特征的感觉事件10。分析262可以进一步包括前面描述的度量。在操作340之后，流程可以移动到操作350。

操作350包括转换到非监测模式40。转换可以基于例如用户从非监测模式40手动转换到监测模式30(例如，经由用户输入)。可以使用或基于以上关于操作310描述的一个或多个技术来执行转换。例如，响应于感觉假体110接近看护者设备，感觉假体110可以自动地从监测模式30转换到非监测模式。在操作350之后，流程可以移动到操作360。

操作360包括将基于感觉事件数据342的分析362传输到看护者设备。在一些示例中，响应于从监测模式30转换到非监测模式40来执行操作360。可以将分析362自动传输到看护者设备。操作360可以包括经由有线或无线连接发起与看护者设备的数据连接。在操作360之后，流程可以移动到如上所述的操作250。

在操作250之后，流程可以返回到操作310。

机器学习框架

图4示出了可以与本文的示例一起使用的示例机器学习框架400。

机器学习框架400是实现机器学习能力的软件和相关数据。在所示示例中，机器学习框架400包括两个主要部件：机器学习模型410和机器学习接口420。机器学习框架400的一个或多个方面可以用机器学习工具包来实现，例如：加利福尼亚州山景城的GOOGLE公司的TENSORFLOW；加利福尼亚州旧金山的OPENAI公司的OPENAI GYM；或者华盛顿州雷蒙德市的MICROSOFT公司的MICROSOFT AZURE MACHINE LEARNING。

机器学习模型410是学习的结构化表示，例如如何实现学习以及已经学习了什么。例如，在机器学习模型410包括神经网络的情况下，机器学习模型410可以诸如经由一个或多个矩阵或其他数据结构来定义神经网络的表示(例如，神经网络的节点、节点之间的连接、相关联的权重和其他数据)。在另一示例中，其中机器学习模型410包括决策树，机器学习模型410可以定义决策树(例如，决策树的节点和它们之间的连接)。机器学习模型410可以包括多个不同类型的机器学习技术。例如，机器学习模型410可以定义多个不同的神经网络、决策树和其他机器学习技术以及它们之间的连接。例如，第一神经网络的输出可以流向第二神经网络的输入，其中来自第二神经网络的输出流入决策树以产生最终输出。

机器学习接口420定义与机器学习模型410结合使用的软件接口。例如，机器学习接口420可以定义用于向机器学习模型410提供输入、从机器学习模型410接收输出、训练和维护机器学习模型410的功能、过程和接口。

在一些示例中，机器学习接口420要求对输入数据进行预处理。在其他示例中，机器学习接口420可以被配置为执行预处理。预处理可以包括，例如，将输入数据置于由机器学习模型410使用的特定格式。例如，机器学习模型410可以被配置为以向量格式处理输入数据，并且所提供的用于处理的数据可以经由预处理转换成这样的格式。在示例中，接口提供将所提供的数据转换成有用格式并随后将转换后的数据作为输入提供到机器学习模型410中的功能。

机器学习接口420可以定义用于准备机器学习模型410以供使用的训练过程430。机器学习模型410可以被训练或以其他方式被配置为接收数据(例如，来自传感器130的事件传感器数据212)作为输入，并基于其提供输出。例如，机器学习模型410可以被训练以接收加速度计和陀螺仪信号作为输入，并提供信号是否指示感觉事件10的指示作为输出。训练过程430可以从操作432开始。

操作432包括获取训练数据。训练数据通常是具有可用于训练机器学习模型410的已知训练输入和期望训练输出的人类或机器策划的数据的集合。在本文的示例中，训练数据可以包括来自许多不同个体的经策划的事件传感器数据212或人工创建的训练数据以及机器学习模型410针对该数据的实际或预期输出。在操作432之后，流程可以移动到操作434。

操作434包括处理训练数据。处理训练数据包括将训练数据作为输入提供到机器学习模型410中。在示例中，可以使用相关联的机器学习接口420将训练数据作为输入提供到机器学习模型410中。然后机器学习模型410处理输入训练数据以产生输出。

在操作434之后，流程可以移动到操作436。操作436包括从机器学习模型410获得输出。这可以包括从函数接收输出。在操作436之后，流程可以移动到操作438。

操作438包括计算损失值。可以使用损失函数来计算损失值，例如基于机器学习模型410的实际输出与预期输出(例如，对应于所提供的训练输入的训练输出)之间的比较。基于损失值修改机器学习模型410的属性(例如，机器学习模型中的连接的权重)，从而训练模型。

如果损失值不够小(例如，不满足阈值)，则流程可以返回到操作432以进一步训练机器学习模型410。对于一定数量的训练数据，该训练过程继续进行，直到损失值足够小。如果损失值足够小(例如，小于或等于预定阈值)，则流程可以移动到操作440。

操作440包括完成训练。在一些示例中，完成训练包括提供用于生产中的机器学习框架400。例如，具有经训练的机器学习模型410的机器学习框架400可以存储在感觉假体110、计算设备150、服务器170上，或者存储在另一个位置以供使用(例如，用于检测感觉事件10)。在一些示例中，在提供机器学习框架400以供使用之前，使用验证输入-输出数据(例如，具有与不同于训练数据的特定输入相对应的期望输出的数据)来验证已训练的机器学习模型410，并且在成功验证之后，提供机器学习框架400以供使用。

示例感觉假体

如前所述，感觉假体110可以采取多种形式中的任何一种。下面的图5至图8更详细地描述了这些形式的示例。例如，感觉假体110可以是听觉假体，例如如图5所述的耳蜗植入系统510、如图6所述的经皮骨传导设备600、或如图7所述的经皮骨传导设备700。作为另一示例，感觉假体110可以是视网膜假体，如图8中所描述的。感觉假体110可以采取其它形式。这些不同的感觉假体110可受益于与上述系统和过程一起使用。

示例感觉假体-耳蜗植入系统

图5示出了可受益于使用本文公开的技术的示例耳蜗植入系统510。耳蜗植入系统510包括典型地具有内部接收器/收发器单元532、刺激器单元520和细长引线518的可植入部件544。内部接收器/收发器单元532允许耳蜗植入系统510从外部设备550接收信号和/或向外部设备550传输信号。外部设备550可以是佩戴在头部上的按钮声音处理器，其包括接收器/收发器线圈530和声音处理部件。可选地，外部设备550可以仅仅是与包括声音处理组件和麦克风的耳后设备通信的发射器/收发器线圈。

可植入部件544包括内部线圈536，并且优选地，相对于内部线圈536固定的磁体(未示出)。磁体可以与内部线圈536一起嵌入柔韧的硅酮或其它生物相容性封装剂中。传输的信号通常对应于外部声音513。内部接收器/收发器单元532和刺激器单元520被气密地密封在生物相容性壳体内，有时统称为刺激器/接收器单元。包括的磁体(未示出)可以促进外部线圈530和内部线圈536的操作对准，使得内部线圈536能够从外部线圈530接收功率和刺激数据。外部线圈530包含在外部部分内。细长引线518具有连接到刺激器单元520的近端和植入受体的耳蜗540中的远端546。细长引线518通过受体的乳突骨519从刺激器单元520延伸到耳蜗540。细长引线518用于基于刺激数据向耳蜗540提供电刺激。可以使用声音处理组件基于外部声音513并且基于感觉假体设置146来创建刺激数据。

在某些示例中，外部线圈530经由射频(RF)链路向内部线圈536传输电信号(例如，功率和刺激数据)。内部线圈536通常是具有多匝电绝缘的单股或多股铂线或金线的线天线线圈。内部线圈536的电绝缘可以通过柔性硅酮模塑提供。各种类型的能量传递，如红外(IR)、电磁、电容和电感传递，可以用来将来自外部设备的功率和/或数据传递给耳蜗植入物。虽然上述描述已经描述了由绝缘导线形成的内部和外部线圈，但在许多情况下，内部和/或外部线圈可以通过导电迹线实现。

示例感觉假体-经皮骨传导设备

图6是可受益于本文公开的技术的使用的经皮骨传导设备600的示例的视图。例如，可以使用所公开的技术的一个或多个方面来定制设备600的感觉假体设置146。骨传导设备600定位在设备受体的外耳601后面。骨传导设备600包括声音输入元件626，以接收声音信号607。声音输入元件626可以是麦克风、遥感线圈或类似物。在本示例中，声音输入元件626可位于例如骨传导设备600上或骨传导设备600中，或位于从骨传导设备600延伸的电缆上。此外，骨传导设备600包括声音处理器(未示出)、振动电磁致动器和/或各种其他操作部件。

更具体地，声音输入元件626将接收到的声音信号转换为电信号。这些电信号由声音处理器处理。声音处理器产生使致动器振动的控制信号。换句话说，致动器将电信号转换成机械力，以将振动赋予受体的颅骨636。将电信号转换为机械力可以基于感觉假体设置146，使得不同的感觉假体设置146可以导致从相同的声音信号607产生不同的机械力。

骨传导设备600还包括耦接装置640，以将骨传导设备600附接到受体。在所示的示例中，耦接装置640附接到植入受体中的锚系统(未示出)。示例锚定系统(也称为固定系统)可包括固定到颅骨636的经皮支座。邻接部从颅骨636延伸穿过肌肉634、脂肪628和皮肤632，从而耦接装置640可附接到其上。这种经皮支座为耦接装置640提供了附接位置，该附接位置有助于机械力的有效传递。

示例感觉假体-经皮骨传导设备

图7示出了可受益于本文公开的技术的使用的具有被动可植入部件701的经皮骨传导设备700的示例。经皮骨传导设备包括外部设备740和可植入部件701。可植入部件701包括安装在骨738上的被动板755，并且经皮地与位于外部设备740的壳体744中的振动致动器742耦合。板755可以是永久磁铁的形式，或者是产生磁场或对磁场起反应的另一种形式，或者以其他方式允许在外部设备740和可植入部件750之间建立足以将外部设备740保持在受体的皮肤732上的磁吸引力。

在示例中，振动致动器742是将电信号转换为振动的部件。在操作中，声音输入元件726将声音转换为电信号。具体地，经皮骨传导设备700将这些电信号提供给振动致动器742，或提供给处理电信号的声音处理器(未示出)，然后将那些处理后的信号提供给振动致动器742。声音处理器处理电信号的方式可以基于感觉假体设置146而被修改。振动致动器742将电信号(已处理或未处理)转换为振动。因为振动致动器742机械地耦合到板746，所以振动从振动致动器742传递到板746。植入的板组件752是可植入部件750的一部分，并且由铁磁性材料制成，该铁磁性材料可以是永磁体的形式，其产生磁场和/或对磁场起反应，或者以其他方式允许在外部设备740和可植入部件750之间建立磁吸引力，该磁吸引力足以将外部设备740保持在受体的皮肤732上。因此，由外部设备740的振动致动器742产生的振动从板746穿过皮肤732、脂肪734和肌肉736传递到板组件752的板755。这可以通过振动通过组织的机械传导来实现，机械传导是由与皮肤732直接接触的外部设备740和/或由两个板746、755之间的磁场产生的。这些振动在不通过固体物体(例如支座)穿透皮肤732的情况下被传递。

如可以看到的，在该示例中，植入的板组件752基本上刚性地附接到骨固定件757。但是在本实施例和其它实施例中可以使用其它骨固定件来代替。就这一点而言，可植入的板组件752包括与骨固定件757的外部轮廓吻合的通孔754。通孔754因此形成与骨固定件757的暴露部分吻合的骨固定件界面部分。在示例中，该部分的大小和尺寸被确定为使得相对于该部分存在至少滑动配合或过盈配合。板螺钉756用于将板组件752固定到骨固定件757。板螺钉756的头部可以大于穿过可植入板组件752的孔，并且因此板螺钉756将可植入的板组件752正向地保持到骨固定件757。板螺钉756与骨固定件757接口的部分基本上对应于下面更详细描述的邻接螺钉，因此允许板螺钉756容易地装配到在经皮骨传导设备中使用的现有骨固定件中。在示例中，板螺钉756被配置为使得用于从骨固定装置757安装和/或移除邻接螺钉的相同工具和程序可以用于从骨固定装置757安装和/或移除板螺钉756。在一些示例中，可以有硅酮层759设置在板755和骨738之间。

示例感觉假体-视网膜假体

图8示出了包括视网膜假体800和移动计算设备803的视网膜假体系统801。视网膜假体800包括处理模块825，并且视网膜假体传感器-刺激器890定位在受体的视网膜891附近。在示例中，感觉输入(例如，进入眼睛的光子)被传感器-刺激器890的微电子阵列吸收，该微电子阵列与玻璃片892杂交，该玻璃片892包括例如嵌入的微线阵列。玻璃可以有一个符合视网膜内半径的曲面。传感器刺激器890可以包括微电子成像设备，该微电子成像设备可以由薄硅制成，薄硅包含将入射光子转换成电荷的集成电路。

处理模块825包括图像处理器823，该图像处理器823经由例如延伸穿过形成在眼壁中的手术切口889的引线888与传感器-刺激器890进行信号通信。在其它示例中，处理模块825可以与传感器刺激器890无线通信。图像处理器823处理进入传感器刺激器890的输入，并将控制信号提供回传感器刺激器890，从而设备可以向视神经提供输出。也就是说，在替代示例中，处理由接近传感器-刺激器890或与传感器-刺激器890集成的组件执行。入射光子的转换所产生的电荷被转换为成比例量的电子电流，该电流被输入到附近的视网膜细胞层。这些细胞激活，信号被传输到视神经，从而产生视觉感知。

处理模块825可以植入受体中，或者可以是外部设备的一部分，例如耳后(BTE)单元、一副眼镜等。视网膜假体800还可以包括外部光/图像捕获设备(例如，位于BTE设备或一副眼镜等中/BTE设备或一副眼镜上)，而如上所述，在一些示例中，传感器-刺激器890捕获光/图像，该传感器-刺激器植入受体中。

类似于上述示例，视网膜假体系统801可用于具有与之相关联的(例如，位于其中的)至少一个可控网络连接设备的空间区域中。这样，处理模块825包括性能监测引擎827，其被配置为获得与空间区域中视网膜假体800的受体的“感觉结果”或“感觉性能”相关的数据。如本文所使用的，诸如视网膜假体800的感觉假体的受体的“感觉结果”或“感觉性能”是对递送到受体的刺激信号如何有效地表示从周围环境捕获的传感器输入的估计或测量。

将表示视网膜假体800在空间区域中的性能的数据提供给移动计算设备803，并由网络连接的设备评估引擎862根据与空间区域相关联的至少一个可控网络连接的设备的操作能力进行分析。例如，网络连接的设备评估引擎862可以确定可控网络连接的设备对空间区域内受体的感觉结果的一个或多个影响。网络连接的设备评估引擎862被配置为确定对至少一个可控网络连接的设备的一个或多个操作改变，至少一个可控网络连接的设备被估计为改善空间区域内的受体的感觉结果，并且相应地，启动对至少一个可控网络连接的设备的一个或多个操作改变。

示例计算系统

图9示出了合适的计算系统900的示例，所公开的示例中的一个或多个可以通过该计算系统900来实现。可以适合于与本文描述的示例一起使用的计算系统、环境或配置包括但不限于个人计算机、服务器计算机、手持设备、膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子产品(例如智能电话)、网络PC、小型机、大型计算机、平板电脑、包括上述系统或设备中的任一个的分布式计算环境等。计算系统900可以是通过到一个或多个远程设备的通信链路在联网环境中操作的单个虚拟或物理设备。远程设备可以是感觉假体(例如感觉假体110)、个人计算机、服务器、路由器、网络个人计算机、对等设备或其他公共网络节点。在示例中，计算设备150和服务器170包括计算系统900的一个或多个部件或部件的变型。此外，在一些示例中，感觉假体110包括计算系统900的一个或多个部件。

在其最基本的配置中，计算系统900包括一个或多个处理器902和存储器904。

一个或多个处理器902包括一个或多个硬件或软件处理器(例如，中央处理单元)，其可以获得和执行指令。一个或多个处理器902可以与计算系统900的其他部件通信并控制其性能。

存储器904是一个或多个基于软件或硬件的计算机可读存储介质，可操作以存储可由一个或多个处理器902访问的信息。存储器904除其他外可以存储可由一个或多个处理器902执行以实现应用或使得执行本文描述的操作的指令以及其他数据。存储器904可以是易失性存储器(例如，RAM)、非易失性存储器(例如，ROM)或其组合。存储器904可以包括暂态存储器或非暂态存储器。存储器904还可以包括一个或多个可移动或不可移动存储设备。在示例中，存储器904可以包括RAM、ROM、EEPROM(电子可擦除可编程只读存储器)、闪存、光盘存储器、磁存储器、固态存储器或可用于存储信息以供以后访问的任何其他存储器介质。在示例中，存储器904包括调制数据信号(例如，其特征中的一个或多个以对信号中的信息进行编码的方式设置或改变的信号)，例如载波或其它传输机制，并且包括任何信息递送介质。作为示例而非限制，存储器904可以包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、RF、红外和其他无线介质或其组合的无线介质。

在所示示例中，系统900还包括网络适配器906、一个或多个输入设备908和一个或多个输出设备910。系统900可以包括其它部件，诸如系统总线、组件接口、图形系统、电源(例如电池)等。

网络适配器906是提供网络访问的计算系统900的组件。网络适配器906可以提供有线或无线网络接入，并且可以支持多种通信技术和协议中的一种或多种，例如以太网、蜂窝、蓝牙、近场通信和RF(射频)等。网络适配器906可以包括根据一个或多个无线通信技术和协议配置用于无线通信的一个或多个天线和相关联的组件。

一个或多个输入设备908是计算系统900通过其从用户接收输入的设备。一个或多个输入设备908可以包括物理上可致动的用户界面元件(例如，按钮、开关或转盘)、触摸屏、键盘、鼠标、笔和语音输入设备等输入设备。

一个或多个输出设备910是计算系统900能够通过其向用户提供输出的设备。输出设备910可以包括显示器、扬声器和打印机等输出设备。

如应理解的，尽管上面已经说明和讨论了该技术的特定用途，但是根据该技术的许多示例，所公开的技术可以与各种装置一起使用。上面的讨论并不意味着暗示所公开的技术仅适合于在类似于图中所示的系统内实现。例如，虽然本文描述的某些技术主要在听觉假体(例如，耳蜗植入物)的上下文中描述，但本文公开的技术通常适用于医疗设备(例如，提供疼痛管理功能或治疗性电刺激，例如深脑部刺激的医疗设备)。通常，可以使用附加配置来实践本文中的过程和系统和/或可以在不脱离本文中公开的过程和系统的情况下排除所描述的一些方面。此外，本文描述的技术可适用于确定受体对其它刺激的响应，所述其它刺激例如是视觉刺激、触觉刺激、嗅觉刺激、味觉刺激或其它刺激。同样，本文中使用的设备不必限于听觉假体，并且可以是被配置为支持人类感觉的其它医疗设备，例如仿生眼睛。

本公开参考附图描述了本技术的一些方面，其中仅示出了一些可能的方面。然而，其它方面可以以许多不同的形式体现，并且不应被解释为限于本文所述的方面。相反，提供这些方面使得本公开是彻底和完整的，并且将可能的方面的范围完全传达给本领域技术人员。

如应理解的，关于这里的附图描述的各个方面(例如，部分、部件等)并不旨在将系统和过程限制于所描述的特定方面。因此，可以使用附加配置来实践本文中的方法和系统和/或可以在不脱离本文中公开的方法和系统的情况下排除所描述的一些方面。

类似地，在公开过程的步骤的情况下，描述这些步骤是为了说明本方法和系统，而不是为了将公开限制于特定的步骤序列。例如，在不脱离本公开的情况下，可以以不同的顺序执行步骤，可以同时执行两个或更多个步骤，可以执行附加的步骤，并且可以排除所公开的步骤。此外，可以重复所公开的过程。

尽管本文描述了具体方面，但本技术的范围不限于那些具体方面。本领域技术人员将认识到在本技术的范围内的其它方面或改进。因此，具体结构、动作或介质仅作为说明性方面公开。本技术的范围由所附权利要求和其中的任何等同物限定。

Claims (30)

1.一种听觉假体(110)，包括：

可植入或可穿戴的壳体(112)；

刺激器(120)，至少部分地设置在所述壳体(112)内，并且被配置为将能量传递给所述听觉假体(110)的受体的组织，以在所述受体中唤起听觉感知；

多个传感器(130)；

处理器(140)，被配置为执行包括以下各项的操作：

从所述多个传感器(130)接收(210)事件传感器数据(212)；

使用所述事件传感器数据(212)检测(214)所述听觉假体(110)附近的听觉事件(10)的发生；

使用响应传感器数据(231)检测(230)所述受体对所述听觉事件(12)的所述发生的响应(20)；

使用所述响应传感器数据(231)表征(240)所述受体的所述响应(20)；以及

基于表征所述响应，采取(250)与所述受体相关的处理动作(251)。

2.根据权利要求1所述的听觉假体(110)，

其中所述多个传感器(130)包括：

麦克风(132)；

其中检测(214)所述发生包括：

从所述麦克风接收(215)音频信号；

确定(216)所述音频信号是否包括询问问题的语音；以及

响应于确定所述音频信号包括询问问题的语音，确定(217)发生了所述听觉假体附近的听觉事件(10)；

其中检测所述受体的所述响应包括：

检测(232)所述受体的语音响应；以及

其中表征所述受体的所述响应(20)包括：

确定(242)从所述问题被询问到所述受体开始提供所述语音响应所用的时间长度；以及

确定(244)由所述受体提供的所述语音响应的长度。

3.根据权利要求2所述的听觉假体(110)，其中检测(230)所述受体的所述响应包括：

确定(234)所述问题被询问时所述受体的行为。

4.根据权利要求3所述的听觉假体(110)，其中确定(234)所述受体的所述行为包括

测量(235)所述问题被询问时所述受体的静止量或静止持续时间。

5.根据权利要求4所述的听觉假体(110)，其中测量(235)所述受体的静止量或所述静止持续时间包括：

使用肌电图测量所述受体的肌肉运动；

使用相机测量所述受体的肌肉运动；

使用加速度计测量所述受体的肌肉运动；或

使用陀螺仪测量所述受体的肌肉运动。

6.根据权利要求2所述的听觉假体(110)，其中检测(232)所述语音响应包括：

使用植入的麦克风检测所述受体的发声；

使用外部麦克风检测所述受体的发声；

检测准备说话的个体的心率特征的变化；

检测准备说话的个体的吸气特征；或

检测响应于所述问题所述受体的皮层级联。

7.根据前述权利要求中任一项所述的听觉假体(110)，其中所述听觉事件(10)包括：

唱歌的发声活动；

说话的发声活动；

演唱的发声活动；

拟声的发声活动；

耳语的发声活动；或

音乐活动。

8.根据前述权利要求中任一项所述的听觉假体(110)，其中所述响应(20)是发声反应、运动反应或生理反应。

9.根据前述权利要求中任一项所述的听觉假体(110)，其中所述操作还包括：

将所述听觉事件(10)分类(220)为相关感觉事件或无关感觉事件，

其中检测所述受体的所述响应(230)是响应(222)于所述听觉事件被分类为相关感觉事件而被执行的。

10.根据前述权利要求中任一项所述的听觉假体(110)，其中所述多个传感器(130)包括选自包括以下项的组的至少一个传感器：麦克风(132)、身体噪声传感器(134)、运动传感器(136)和植入电极传感器(138)。

11.根据权利要求10所述的听觉假体(110)，

其中所述多个传感器(130)包括所述运动传感器(136)；以及

其中所述运动传感器(136)是加速度计或陀螺仪。

12.根据前述权利要求中任一项所述的听觉假体(110)，其中采取所述处理动作包括：

修改(252)所述听觉假体(110)的一个或多个设置(253)；

报告(254)所述听觉假体关于所述听觉事件的性能质量；

建议(256)纠正动作；或

提供(258)估计所述受体参与所述听觉事件的能力的度量。

13.根据前述权利要求中任一项所述的听觉假体(110)，还包括：存储器(142)，所述存储器(142)存储指令(144)，所述指令在由所述一个或多个处理器(140)执行时，使所述处理器执行所述操作，从而配置所述一个或多个处理器(140)执行所述操作。

14.根据前述权利要求中任一项所述的听觉假体(110)，其中所述刺激器(120)包括：

刺激器单元(122)，设置在所述壳体内；

刺激器组件(124)，至少部分地设置在所述壳体的外部；以及

电极触点阵列，设置在所述刺激器组件(124)上。

15.一种非暂时性计算机可读介质，包括指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器：

从感觉设备的受体附近的多个传感器(130)接收(210)传感器数据；

使用所述传感器数据检测(214)所述感觉设备附近的感觉事件(10)的发生；

将所述感觉事件分类(220)为相关感觉事件或无关感觉事件；

响应(222)于所述感觉事件是相关感觉事件，使用所述响应传感器数据(231)检测(230)所述受体对所述感觉事件(10)的所述发生的响应(20)；

使用所述响应传感器数据(231)表征(240)所述受体的所述响应(20)；以及

基于所述表征采取(250)与所述受体相关的处理动作(251)。

16.根据权利要求15所述的非暂时性计算机可读介质，其中相关感觉事件(10)是预期在所述受体中引发特征反应的事件。

17.根据权利要求16所述的非暂时性计算机可读介质，其中表征(240)所述受体的所述响应包括：

确定(246)所述传感器数据是否指示所述受体正在执行所述特征反应。

18.根据权利要求15至17中任一项所述的非暂时性计算机可读介质，其中将所述感觉事件分类为相关感觉事件或无关感觉事件包括：

分析(221)由所述传感器数据指定的位置。

19.根据权利要求15至18中任一项所述的非暂时性计算机可读介质，其中将所述感觉事件分类为相关感觉事件或无关感觉事件包括：

将阈值与所述传感器数据进行比较(222)；

响应于所述传感器数据满足所述阈值，将所述感觉事件分类(224)为相关感觉事件；以及

响应于所述传感器数据未满足所述阈值，将所述感觉事件分类(226)为无关感觉事件。

20.根据权利要求15至19中任一项所述的非暂时性计算机可读介质，其中所述指令还使所述处理器：

响应于所述感觉事件是无关感觉事件，避免(228)检测所述受体对所述感觉事件的发生的所述响应。

21.根据权利要求15至20中任一项所述的非暂时性计算机可读介质，其中采取所述处理动作包括：

通过改变所述感觉设备的一个或多个设置来修改(252)所述感觉设备的处理操作。

22.根据权利要求15至21中任一项所述的非暂时性计算机可读介质，其中表征所述响应包括：

将所述响应标记为适合于所述感觉事件。

23.根据权利要求15至22中任一项所述的非暂时性计算机可读介质，

其中所述感觉设备是包括所述非暂时性计算机可读介质的听觉假体。

24.一种系统(100)，包括：

非暂时性计算机可读介质，包括指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器：

选择性地(310)在监测模式(30)或非监测模式(40)下操作；

当(320)在所述监测模式(30)下操作时：

从多个传感器(130)接收(210)事件传感器数据(212)；

检测(214)感觉假体(110)附近的感觉事件(10)的发生；

使用响应传感器数据(231)检测(230)所述受体对所述感觉事件(10)的所述发生的响应(20)；

存储(340)关于所述感觉事件(10)的感觉事件数据(342)和关于所述受体的所述响应(20)的响应数据(344)；以及

转换(350)到所述非监测模式(40)；以及

响应于从所述监测模式(30)转换到所述非监测模式(40)，将基于所述感觉事件数据(342)的分析(362)传输(360)到看护者设备。

25.根据权利要求24所述的系统，其中选择性地在所述监测模式或所述非监测模式下操作包括：

响应于所述感觉假体与所述看护者设备之间的接近，在所述非监测模式下操作(312)。

26.根据权利要求24或25所述的系统，其中选择性地在所述监测模式或所述非监测模式下操作包括：

基于一天中的时间在所述非监测模式下操作(314)。

27.根据权利要求24至26所述的系统，其中所述指令在由所述一个或多个处理器执行时，使所述一个或多个处理器：

当处于所述非监测模式(40)时：

避免(330)检测所述感觉假体附近的感觉事件的发生。

28.根据权利要求24至27中任一项所述的系统，其中所述分析(362)包括描述对所述感觉事件的响应的适当性的度量。

29.根据权利要求24至28中任一项所述的系统，其中将所述分析(362)传输到所述看护者设备包括：

直接、自动和无线地将所述分析(362)从所述感觉假体传输到所述看护者设备。

30.根据权利要求24至29中任一项所述的系统，还包括：

第一感觉假体(110)，包括：

第一感觉假体传感器；和

所述非暂时性计算机可读介质；以及

辅助设备(162)，包括辅助设备传感器(130)，

其中所述指令在由一个或多个处理器执行时，还使得所述一个或多个处理器：

汇集(218)来自所述第一感觉假体传感器和所述辅助设备传感器的传感器输出数据，以形成汇集数据；以及

其中检测所述感觉假体的所述受体附近的所述感觉事件的发生包括使用所述汇集数据。

Images