CN117715578A - 用于监测组织振动的生物传感器系统 - Google Patents

Abstract

一种头戴式设备(102)包括框架(110)和振动传感器(195)，该振动传感器耦接到框架(110)。振动传感器(195)可以位于框架(110)的鼻托中，且被配置为在用户佩戴着头戴式设备(102)时测量用户的组织的振动。控制器接收来自振动传感器(195)的、与测量到的振动数据相对应的信号，并分析接收到的信号以推断接收到的信号的状态序列(例如呼吸状态序列)。控制器还基于所推断的状态序列确定健康指标的值(例如，用户的呼吸频率)，并使用所确定的健康指标的值执行动作。

Description

用于监测组织振动的生物传感器系统

技术领域

本公开总体上涉及生物传感器，并且更具体地，涉及一种用于监测组织振动的生物传感器系统。

背景技术

在可穿戴设备领域中，许多应用包括收集来自安装在可穿戴设备上的传感器的如下数据：该数据使得能够对用户的不同状况进行评估。头戴式设备(headset)具有相对较小的形状要素，并且存在有限的用于传感器的空间。这可能使得难以包括用于监测例如头戴式设备佩戴者的健康、活动等的传感器。

发明内容

根据一些实施例，头戴式设备包括：框架；振动传感器，该振动传感器耦接到框架；以及控制器。在一些实施例中，振动传感器被配置为对佩戴着头戴式设备的用户的组织的振动进行监测。控制器被配置为：接收来自振动传感器的、与监测到的振动相对应的信号；分析接收到的信号以推断接收到的信号的状态序列；基于所推断的状态序列确定健康指标的值；以及使用所确定的健康指标的值执行动作。

在一些实施例中，振动传感器位于框架的鼻托内。例如，在一些实施例中，鼻托包括包覆模制件，该包覆模制件包围振动传感器的至少一部分。该包覆模制件包含被配置为容纳振动传感器的槽或腔。在一些实施例中，振动传感器附接到安装在包覆模制件内的弹簧、或附接到包覆模制件的柔性部分。

在一些实施例中，所推断的状态序列与用户的多个呼吸状态相对应，并且所确定的健康指标的值与用户的呼吸频率相对应。在一些实施例中，控制器使用第一模型将接收到的信号的多个片段分类成与不同呼吸阶段相对应的两个或更多个类别；以及使用第二模型，基于由第一模型生成的分类结果来推断状态序列。第一模型可以对应于k-最近邻(k-Nearest Neighbors，kNN)模型，然而第二模型对应于隐半马尔可夫模型(hidden semi-Markov model，HSMM)。

在一些实施例中，控制器还被配置为：监测接收到的信号以检测接收到的信号内的预定特性；响应于检测到该预定特性：分析接收到的信号以识别关联于该预定特性的事件，以及基于所识别的事件的类型执行动作。在一些实施例中，监测接收到的信号以检测预定特性可以与分析接收到的信号以推断接收到的信号的状态序列并行地进行。

在一些实施例中，所识别的事件与用户的进食动作或饮用动作相对应，并且执行动作包括向用户通知该用户的食物消耗或液体消耗的水平。

根据本公开的第一方面，提供了一种头戴式设备，该头戴式设备包括：框架；振动传感器，该振动传感器耦接到框架，该振动传感器被配置为对佩戴着头戴式设备的用户的组织的振动进行监测；以及控制器，该控制器被配置为：接收来自振动传感器的、与监测到的振动相对应的信号；分析接收到的信号以推断接收到的信号的状态序列；基于所推断的状态序列确定健康指标的值，以及使用所确定的健康指标的值执行动作。

振动传感器可以位于框架的鼻托内。

鼻托可以包括包覆模制件，该包覆模制件被配置为包围振动传感器的至少一部分。

包覆模制件可以包含被配置为容纳振动传感器的槽或腔。

振动传感器可以附接到安装在包覆模制件内的弹簧、或附接到包覆模制件的柔性部分。

状态序列可以与用户的多个呼吸状态相对应。

控制器可以进一步被配置为：使用第一模型将接收到的信号的多个片段分类成与不同呼吸阶段相对应的两个或更多个类别；以及使用第二模型，基于由第一模型生成的分类结果来推断状态序列。

第一模型可以是kNN模型。

第二模型可以是隐半马尔可夫模型(HSMM)。

控制器可以进一步被配置为：基于状态序列确定用户的呼吸频率；以及至少部分地基于该呼吸频率来确定健康指标，其中，该健康指标指示用户的身体状况或情绪状况。控制器还可以被配置为：监测接收到的信号以检测接收到的信号内的预定特性；响应于检测到该预定特性：识别振动信号中与关联于该预定特性的事件相对应的部分；分析该振动信号的所识别部分以对所识别的事件进行分类；以及基于所识别的事件的类型执行动作。

控制器可以与分析接收到的信号以推断接收到的信号的状态序列并行地、监测接收到的信号以检测预定特性。

事件可以与用户的进食动作或饮用动作相对应。

执行动作可以包括向用户通知该用户的食物消耗或液体消耗的水平、或该用户所消耗的食物类型。

控制器还可以被配置为监测所识别的随时间的事件以确定用户的习惯。

控制器还可以被配置为对基于所推断的状态序列确定的健康指标的值与关联于所识别的事件的数据进行交叉参考，以确定用户的身体状况或情绪状况。

该控制器还可以被配置为使用接收到的信号来确定用户的潮气量或呼吸流速。根据本公开的第二方面，提供了一种计算机实现的方法，该计算机实现的方法包括：接收来自耦接到头戴式设备的框架的振动传感器的、与监测到的佩戴着头戴式设备的用户的组织的振动相对应的信号；分析接收到的信号以推断接收到的信号的状态序列；基于所推断的状态序列确定健康指标的值；以及使用所确定的健康指标的值执行动作。

状态序列可以与用户的多个呼吸状态相对应。

分析接收到的信号以推断接收到的信号的状态序列可以包括：使用第一模型将接收到的信号的多个片段分类成与不同呼吸阶段相对应的两个或更多个类别；以及使用第二模型，基于由第一模型生成的分类结果来推断状态序列。

第一模型可以是kNN模型，并且第二模型可以是隐半马尔可夫模型(HSMM)。

该计算机实现的方法还可以包括：监测接收到的信号以检测接收到的信号内的预定特性；响应于检测到该预定特性，分析接收到的信号以识别关联于该预定特性的事件；以及基于所识别的事件的类型执行动作。

将理解的是，本文中被描述为适合于结合到本公开的一个或多个方面或实施例中的任何特征旨在在本公开的任何和所有的方面和实施例中具有普遍性。本领域技术人员可以根据本公开的说明书、权利要求书和附图，理解本公开的其它方面。前面的总体描述和以下详细描述仅是示例性和说明性的，且不对权利要求书进行限制。

附图说明

图1是根据一个或多个实施例的被实现为眼镜设备的头戴式设备的透视图。

图2A示出了根据一些实施例的头戴式设备的鼻托的示例横截面图，该鼻托包括振动传感器。

图2B示出了根据另一实施例的头戴式设备的鼻托的示例透视图，该鼻托包括振动传感器。

图2C示出了根据一些实施例的头戴式设备的鼻托的另一视图，该鼻托包含振动传感器。

图3A至图3C示出了根据一些实施例的、用于通过将振动传感器安装到弹簧来提高该振动传感器的顺应性水平的示例设计。

图3A示出了根据一些实施例的鼻托内的振动传感器的示例横截面图，该振动传感器附接到弹簧，该弹簧位于包覆模制件中形成的槽或腔内。

图3B示出了根据一些实施例的鼻托内的振动传感器的示例横截面图，该振动传感器被安装在包覆模制件中充当硅胶弹簧的薄而柔软的部分上。

图3C示出了根据一些实施例的鼻托内的振动传感器的示例横截面图，该振动传感器被安装在包覆模制件中如下部分上：所述部分被形成为一端没有支撑的悬臂。

图4示出了根据一些实施例的可由集成到用户所佩戴的头戴式设备中的振动传感器测量的振动频率和振幅的示例图形，这些振动频率和振幅指示不同类型的用户活动。

图5示出了根据一些实施例的分析用户的组织振动数据以识别不同呼吸阶段的示例。

图6示出了根据一些实施例的显示了可以如何使用两阶段分割方法来分析用户的呼吸数据的示意图。

图7示出了根据一些实施例的可用于基于分类结果执行分割的HSMM的示意图。

图8示出了根据一些实施例的用于并行地执行呼吸监测和事件检测的系统的框图。

图9是根据一些实施例的用于利用安装在可穿戴设备上的传感器来评估用户状况的方法的流程图。

图10是根据一些实施例的用于使用安装在可穿戴设备上的振动传感器来确定用户的健康指标的方法的流程图。

图11是根据一个或多个实施例的包括音频系统的头戴式设备的示例系统环境。

各附图仅出于说明的目的而描绘了本公开的多个实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本文所描述的本公开的原理或所宣称的益处的情况下，可以采用本文所示出的结构和方法的替代实施例。

具体实施方式

本文描述了与用于监测组织振动的生物传感器系统有关的多个实施例。如本文中所使用的，组织例如可以包括皮肤、软骨、骨或它们的某种组合。组织振动可以通过一种或多种传导机制(例如，软骨传导、骨传导等)传播。生物传感器系统包括一个或多个振动传感器，该一个或多个振动传感器监测组织的振动以用于健康监测。生物传感器系统至少部分地集成在头戴式设备中。例如，一个或多个振动传感器耦接到头戴式设备、和/或集成在头戴式设备内。生物传感器系统可以使用模型(例如，机器学习模型)和监测到的组织振动(以及在一些情况下，来自头戴式设备上的其它传感器的数据)来确定一个或多个健康指标的值。健康指标概括地描述用户的健康和/或习惯。生物传感器系统包括一个或多个振动传感器和控制器。

在一些实施例中，一个或多个振动传感器对佩戴着头戴式设备的用户的组织的振动进行监测。振动传感器例如可以是加速度计、陀螺仪(例如，1轴陀螺仪、2轴陀螺仪和/或三轴陀螺仪)、振动计、接触式传声器、可直接和/或间接用于测量组织振动的某种其它传感器、或它们的某种组合。一个或多个振动传感器可以耦接到头戴式设备的多个部分、和/或集成在头戴式设备的多个部分内。例如，在一些实施例中，至少一个振动传感器集成在头戴式设备的框架中、或集成在附接到头戴式设备的框架的鼻托内等。

控制器被配置为使用监测到的组织振动确定健康指标的值，其中，健康指标描述用户的健康和/或习惯。健康指标例如可以是生理性信号(例如，心率、呼吸频率等)、健康事件(例如，心脏杂音、异常心跳/声音)、症状(例如，心脏病发作或癫痫的预警)、磨牙症、估算的热量摄入量、情绪状态、和/或描述用户的健康和/或习惯的其它指标、或它们的某种组合。控制器可以将来自一个或多个传感器(包括一个或多个振动传感器)的数据输入到模型中。一个或多个传感器包括一个或多个振动传感器，并且可以包括头戴式设备上的其它传感器(例如，惯性测量单元(IMU)、温度传感器、光学体积描记传感器、血氧传感器、摄像头等)。模型例如可以是机器学习模型(例如，使用大量测试用户进行训练的机器学习模型)，该机器学习模型将来自传感器的数据(包括监测到的振动)映射到一个或多个相应的健康指标。在一些实施例中，可以将来自一个或多个传感器的传感器数据输入到多个并行的模型中。例如，在一些实施例中，传感器数据可以输入到与信号分类和分割模型相对应的第一模型、以及与深度学习分类模型相对应的第二模型，其中每个模型被配置为以不同的方式分析接收到的传感器数据。例如，信号分类和分割模型可以用于监测来自一个或多个传感器的传感器数据以追踪用户随时间的健康指标(例如，呼吸频率、心率等)，而深度学习分类模型用于检测和分类离散事件(例如，用户进行的咀嚼或饮用)。

在一些实施例中，来自一个或多个振动传感器的信息还可以用于确定用户的移动。例如，3轴加速度计可以用于检测头部移动、行走等。控制器可以是振动传感器的一部分。在一些实施例中，控制器是头戴式设备的一部分。在其它实施例中，控制器的部分或全部与头戴式设备分开。例如，控制器可以位于通信耦接到头戴式设备的服务器、智能手机、可穿戴计算机、或它们的某种组合上。

在一些实施例中，头戴式设备包括框架、振动传感器和控制器。振动传感器耦接到框架。振动传感器被配置为对佩戴着头戴式设备的用户的组织的振动进行监测。控制器位于框架内。该控制器被配置为使用监测到的振动确定健康指标的值。该控制器还被配置为使用所确定的健康指标的值来执行动作。

本发明的各实施例可以包括人工现实系统，或者可以结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括，虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容，或与采集到的(例如，真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，以上中的任何一种都可以在单通道或多通道中呈现(例如，给观看者带来三维效果的立体视频)。另外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或它们的某种组合相关联，这些应用、产品、附件、服务或它们的某种组合用于在人工现实中创建内容和/或以其它方式在人工现实中使用。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的可穿戴设备(例如，头戴式设备)、独立的可穿戴设备(例如，头戴式设备)、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其它硬件平台。

头戴式设备组件

图1是根据一个或多个实施例的被实现为眼镜设备的头戴式设备102的透视图。在一些实施例中，眼镜设备是近眼显示器(near eye display，NED)。通常，头戴式设备100可以佩戴在用户的面部上，使得使用显示组件和/或音频系统来呈现内容(例如，媒体内容)。然而，头戴式设备100还可以以如下方式使用：使得以不同的方式向用户呈现媒体内容。由头戴式设备100呈现的媒体内容的示例包括一个或多个图像、视频、音频、或它们的某种组合。头戴式设备100包括框架，并且可以包括显示组件、深度摄像头组件(depth cameraassembly，DCA)、音频系统、位置传感器190以及生物传感器系统等其它部件，该显示组件包括一个或多个显示元件120。尽管图3示出了头戴式设备100的多个部件处于该头戴式设备100上的示例位置，但是这些部件可以位于头戴式设备100上的其它位置、位于与头戴式设备100配对的外围设备上、或它们的某种组合。类似地，头戴式设备100上可以具有比图1所示出的部件更多的部件或更少的部件。

框架110固定头戴式设备100的其它部件。框架110包括固定一个或多个显示元件120的前部、以及附接到用户的头部的端部件(例如，镜腿)。框架110的前部横跨用户鼻子的顶部。端部件的长度可以是可调整的(例如，可调整的镜腿长度)，以适应不同的用户。端部件还可以包括卷曲在用户耳朵后面的部分(例如，镜腿末端、耳承(ear piece))。

一个或多个显示元件120向佩戴着头戴式设备100的用户提供光。如所示出的，针对用户的每只眼睛，头戴式设备包括一显示元件120。在一些实施例中，显示元件120生成图像光，该图像光被提供到头戴式设备100的适眼区(eyebox)。适眼区是用户在佩戴着头戴式设备100时的眼睛所占据的空间中的位置。例如，显示元件120可以是波导显示器。波导显示器包括光源(例如，二维源、一个或多个线源、一个或多个点源等)和一个或多个波导。来自光源的光被内耦合到该一个或多个波导中，该一个或多个波导以使得在头戴式设备100的适眼区中存在光瞳复制的方式输出光。光的内耦合和/或光从一个或多个波导的外耦合可以使用一个或多个衍射光栅来完成。在一些实施例中，波导显示器包括扫描元件(例如，波导、反射镜等)，该扫描元件在来自光源的光被内耦合到一个或多个波导中时对该光进行扫描。注意，在一些实施例中，该两个显示元件120中的一者或两者是不透明的，并且不透射来自头戴式设备100周围的局部区域的光。该局部区域是头戴式设备100周围的区域。例如，该局部区域可以是佩戴着头戴式设备100的用户所在的房间，或者佩戴着头戴式设备100的用户可能在户外并且该局部区域是户外区域。在这种背景下，头戴式设备100生成VR内容。替代地，在一些实施例中，这两个显示元件120中的一者或两者是至少部分透明的，使得来自局部区域的光可以与来自该一个或多个显示元件的光组合，以生成AR内容和/或MR内容。

在一些实施例中，显示元件120不生成图像光，而是该显示元件是将来自局部区域的光传输到适眼区的镜片。例如，这两个显示元件120中的一者或两者可以是没有矫正的镜片(非处方用镜片)或处方用镜片(例如，单光镜片、双焦和三焦镜片或者渐变镜片)以帮助矫正用户视力的缺陷。在一些实施例中，显示元件120可以是偏光的和/或着色的，以保护用户的眼睛免受太阳伤害。

在一些实施例中，显示元件120可以包括附加的光学块(optics block)(未示出)。该光学块可以包括一个或多个光学元件(例如，透镜、菲涅耳透镜等)，该一个或多个光学元件将来自显示元件120的光引导到适眼区。光学块例如可以校正一些或全部图像内容中的像差、放大一些或全部图像、或它们的某种组合。

DCA确定头戴式设备100周围的局部区域的一部分的深度信息。DCA包括一个或多个成像设备130和DCA控制器(图1中未显示)，并且还可以包括照明器140。在一些实施例中，照明器140用光照射局部区域的一部分。该光例如可以是红外光(infrared，IR)中的结构光(例如，点图案结构光、条形结构光等)、用于飞行时间(time-of-flight，ToF)的IR闪光等。在一些实施例中，该一个或多个成像设备130采集局部区域中包括来自照明器140的光的部分的图像。如所示出的，图1显示了单个照明器140和两个成像设备130。在替代实施例中，不具有照明器140且具有至少两个成像设备130。

DCA控制器使用采集到的图像和一种或多种深度确定技术来计算局部区域的一部分的深度信息。深度确定技术例如可以是直接飞行时间(ToF)深度感测、间接ToF深度感测、结构光、被动立体分析、主动立体分析(使用由来自照明器140的光添加到场景的纹理)、用于确定场景的深度的某种其它技术、或它们的某种组合。

DCA可以包括确定眼动追踪信息的眼动追踪单元。眼动追踪信息可以包括关于单眼或双眼(在其各自的适眼区内)的位置和方位的信息。眼动追踪单元可以包括一个或多个摄像头。眼动追踪单元基于一个或多个摄像头对单眼或双眼的图像采集来估计单眼或双眼的角度方位。在一些实施例中，眼动追踪单元还可以包括一个或多个照明器，该一个或多个照明器用照明图案(例如，结构光、闪光等)来对单眼或双眼进行照明。眼动追踪单元可以使用采集到的图像中的照明图案来确定眼动追踪信息。头戴式设备100可以提示用户选择加入以允许运行眼动追踪单元。例如，通过选择加入，头戴式设备100可以检测、存储用户的任何图像或用户的眼动追踪信息。

音频系统提供音频内容。音频系统包括转换器阵列、传感器阵列和音频控制器。然而，在其它实施例中，音频系统可以包括不同的部件和/或附加的部件。类似地，在一些情况下，参考音频系统中的各部件描述的功能可以以与此处所描述的方式不同的方式而分布在这些部件之中。例如，该控制器的一些或全部功能可以由远程服务器执行。

转换器阵列向用户呈现声音。转换器阵列包括多个转换器。转换器可以是扬声器160或组织转换器170(例如，骨传导转换器或软骨传导转换器)。尽管扬声器160被显示为在框架110的外部，但是扬声器160可以封在框架110中。在一些实施例中，替代用于每只耳朵的单独扬声器，头戴式设备100包括扬声器阵列，该扬声器阵列包括集成到框架110中的多个扬声器以用于改善所呈现的音频内容的方向性。组织转换器170耦接到用户的头部，并直接振动用户的组织(例如，骨或软骨)，以产生声音。转换器的数量和/或位置可以与图3中所示出的数量和/或位置不同。

传感器阵列检测头戴式设备100的局部区域内的声音。传感器阵列包括多个声学传感器180。声学传感器180采集从局部区域(例如，房间)中的一个或多个声源发出的声音。每个声学传感器被配置为检测声音并将检测到的声音转换为电子格式(模拟的或数字的)。声学传感器180可以是声波传感器、传声器、声音转换器或适合于检测声音的类似传感器。

在一些实施例中，一个或多个声学传感器180可以被放置在每只耳朵的耳道中(例如，充当双声道传声器)。在一些实施例中，声学传感器180可以被放置在头戴式设备100的外表面上、被放置在头戴式设备100的内表面上、与头戴式设备100分开(例如，是某种其它设备的一部分)、或它们的某种组合。声学传感器180的数量和/或位置可以与图3中所示出的数量和/或位置不同。例如，可以增加声学检测位置的数量，以增加收集到的音频信息量以及信息的灵敏度和/或准确性。声学检测位置可以被定向为使得传声器能够检测佩戴着头戴式设备100的用户周围的宽范围方向上的声音。

音频控制器150对来自传感器阵列的、描述由该传感器阵列检测到的声音的信息进行处理。音频控制器可以包括处理器和计算机可读存储介质。音频控制器可以被配置为生成波达方向(direction of arrival，DOA)估计结果、生成声学传递函数(例如，阵列传递函数和/或头部相关传递函数)、追踪声源的位置、在声源的方向上形成波束、对声源进行分类、生成用于扬声器160的声音滤波器、或它们的某种组合。

位置传感器190响应于头戴式设备100的运动而生成一个或多个测量信号。位置传感器190可以位于头戴式设备100的框架110的一部分上。位置传感器190可以包括惯性测量单元(inertial measurement unit，IMU)。位置传感器190的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU的误差校正的一类传感器、或它们的某种组合。位置传感器190可以位于IMU外部、IMU内部或它们的某种组合。

在一些实施例中，头戴式设备100可以针对头戴式设备100的位置以及对局部区域的模型更新而提供同步定位与地图构建(simultaneous localization and mapping，SLAM)。例如，头戴式设备100可以包括生成彩色图像数据的无源摄像头组件(passivecamera assembly，PCA)。PCA可以包括一个或多个RGB摄像头，该一个或多个RGB摄像头采集局部区域中的一些或全部区域的图像。在一些实施例中，DCA中的一些或全部成像设备130也可以充当PCA。由PCA采集的图像和由DCA确定的深度信息可以用于确定局部区域的参数、生成局部区域的模型、更新局部区域的模型、或它们的某种组合。此外，位置传感器190追踪头戴式设备100在房间内的定位(position)(例如，位置和姿态)。

生物传感器系统包括一个或多个振动传感器(例如，振动传感器195)。如图1所示，振动传感器195处于框架110的鼻子区域中。在一些实施例中，框架110可以包括鼻托，并且振动传感器195可以集成到该鼻托中。注意，尽管振动传感器195被示出为处于框架110的鼻子区域中，但是在其它实施例中，一个或多个振动传感器可以位于框架110上被配置为在用户佩戴着头戴式设备100时与该用户的身体表面接触的不同位置。例如，在一些实施例中，振动传感器195可以被实现为组织转换器170的一部分，且被配置为在用户佩戴着头戴式设备100时与该用户的鬓角区域接触。如上所述，生物系统使用一个或多个振动传感器来监测用户的组织的振动，并使用监测到的振动来确定一个或多个健康指标。

在一些实施例中，振动传感器195可以被实现为声音加速度计或接触式加速度计。在一些实施例中，振动传感器195还可以被称为传导传声器。由于振动传感器195耦接到用户的组织(例如，骨头)而不是空气耦接的，因此振动传感器195能够在来自源于用户外部的振动(例如风噪)的最小干扰范围内准确地测量用户的组织振动。这与传统传声器形成对比，传统传声器通常被设计为采集空中振动(例如，用户发出的声波)，同时寻求最小化由用户内部的振动(例如磨牙、呼吸等)造成的影响。在一些实施例中，振动传感器195被配置为沿单个轴(例如，与振动传感器195所在的用户身体表面(例如用户鼻子的侧面)正交的轴线，后文中称为z轴)测量振动。在其它实施例中，振动传感器195被配置为沿超过一个的轴测量振动。在一些实施例中，振动传感器195被配置为直接接触用户的皮肤，而在其它实施例中，振动传感器195通过一层或多层中间材料(例如鼻托包覆模制层)耦接到用户的身体。

振动传感器的安装及硬件

图2A至图2C示出了根据一些实施例的振动传感器如何集成到头戴式设备的鼻托中的示例视图。在一些实施例中，振动传感器集成到头戴式设备的鼻托中，以便直接接触或通过一个或多个中间层接触用户身体上的位置(例如当用户佩戴着头戴式设备时的用户的鼻子侧面)，可以从该位置准确地检测和测量指示用户呼吸以及用户活动(例如进食、饮用、咳嗽等)的振动信号。图2A示出了根据一些实施例的头戴式设备的鼻托的示例横截面图，该鼻托包括振动传感器。在一些实施例中，鼻托组件200包括包覆模制件215，该包覆模制件通过支架220或其它结构部件附接到头戴式设备的框架上。在一些实施例中，支架220包括刚性材料(例如金属或硬塑料)，而包覆模制件215因被设计为在头戴式设备被佩戴着时直接接触用户的皮肤而可以包括硅胶材料或橡胶材料，以便增加用户的舒适度。

在一些实施例中，例如图2A中所示出的，包覆模制件215形成有一个或多个槽或腔，以便容纳支架220的一部分、以及诸如振动传感器等附加部件。例如，振动传感器205(该振动传感器可以与图1中所示出的振动传感器195相对应)可以安装在电路板(例如柔性印刷电路(flexible printed circuit，FPC)210)上，其中振动传感器205和FPC 210的至少一部分被容纳在包覆模制件215中所形成的槽内，使得包覆模制件215包围振动传感器205的至少一部分。在一些实施例中，槽可以被调整大小以进一步容纳一个或多个附加部件，例如用于向FPC 210和传感器205提供附加结构支撑的加强件225、和/或FPC 210或加强件225与支架220之间的间隔件230，该间隔件用于将传感器205固定在形成于包覆模制件215中的槽内。由于包覆模制件215可以由柔性材料(例如硅胶或橡胶)制成，因此容纳在槽内的各部件(例如，传感器205、FPC 210、加强件225、间隔件230和/或支架220)可以滑入该槽内，并通过摩擦力固定到位。这可以允许不同的传感器换入或换出鼻托(例如，用于维修或更换)，或允许传感器在不同的包覆模制件(例如，不同尺寸或材料的包覆模制件，其对于不同用户可能更加舒适)之间交换。在其它实施例中，可以使用粘合剂或其它材料来将各部件固定在槽内。尽管图2A示出了鼻托200包含各部件的特定组合，但是应理解的是，在其它实施例中，可以包括更少的部件或附加的部件。例如，在一些实施例中，传感器205和FPC 210可以在没有间隔件和/或加强件的情况下，被容纳在形成于包覆模制件215中的槽内。

图2B示出了根据另一实施例的头戴式设备的鼻托的示例透视图，该鼻托包括振动传感器。如图2B所示，在一些实施例中，包覆模制件可以由多个部件(例如基部215a和盖215b)制成。在一些实施例中，通过将传感器205和FPC 210的至少一部分放置在基部215a上或放置在形成于基部215a中的腔内，来组装鼻托。另外，支架220的至少一部分也可以放置在基部215a上或放置在形成于基部215a中的腔内。

然后，盖215b可以放置在基部215a上，从而将传感器205、FPC 210的一部分和支架220的一部分夹在基部215a与盖215b之间。在一些实施例中，(例如使用粘合剂)将盖215b固定到基部215a。在一些实施例中，基部215a和盖215b可以由不同的材料制成。例如，在用户佩戴着头戴式设备时不接触用户皮肤的盖215b可以由硬塑料材料制成，而在头戴式设备被佩戴着时接触用户皮肤的基部215a可以包括硅胶材料或橡胶材料。在一些实施例中，基部215a和盖215b在接合处连接，从而形成翻盖式设计。

图2C示出了根据一些实施例的头戴式设备的鼻托的另一视图，该鼻托包含振动传感器。在一些实施例中，传感器205形成在FPC 210在头戴式设备时面向用户的侧面上，并且被定向为与包覆模制件215接触用户皮肤的表面大致平行。在一些实施例中，传感器205被配置为在与用户皮肤表面大致正交的方向上(例如，沿着z轴，该z轴与正交于传感器205的以下表面的轴相对应：该表面被配置为在用户佩戴着头戴式设备时被定向为与用户皮肤表面大致平行)测量用户的组织振动。

如图2C所示，支架220和FPC 210延伸到包覆模制件215的外部。例如，支架220的另一端(图2C中未示出)可以固定到框架225，从而对包覆模制件215和传感器205相对于框架225的位置进行固定。另外，FPC 210可以延伸到包覆模制件215的外部并沿着框架225延伸，从而将传感器205连接到头戴式设备的控制器。

尽管图2A至图2C示出了鼻托通过支架连接到头戴式设备的框架，但是在其它实施例中，鼻托可以是集成的刚性鼻托。例如，在一些实施例中，鼻托包覆模制件可以形成在头戴式设备的框架上或直接附接到头戴式设备的框架。在其它实施例中，鼻托可以与框架的、被成形为在用户佩戴着头戴式设备时置于用户的鼻子上的部分相对应，而不需要单独的包覆模制材料，其中传感器205及其相关部件(例如，FPC 210)被插入到形成于框架中的腔或槽内或者以其它方式被容纳在该腔或该槽内。另外，应理解的是，在其它实施例中，振动传感器可以位于头戴式设备的、在用户佩戴着该头戴式设备时(直接或通过一个或多个中间层)接触用户头部的表面的不同部分，例如框架的在用户佩戴着头戴式设备时接触用户头部的鬓角或侧面的部分。通过将振动传感器放置在头戴式设备上的一位置处以测量用户头部的一位置(例如，鼻子、鬓角等)处的振动数据，振动传感器能够检测和测量指示用户的呼吸以及用户活动(例如进食、饮用、咳嗽等)的振动信号。

在一些实施例中，振动传感器采集不同频率的振动数据的能力是基于传感器的顺应性水平的，该顺应性水平可能受传感器如何集成到鼻托中的影响。例如，如果振动传感器刚性地附接到头戴式设备的鼻托或框架，则传感器可能会表现出较低的顺应性，这可能会导致该传感器表现得像高通滤波器，且抑制了该传感器检测低频振动的能力。在一些实施例中，为了改善传感器采集与较低频率(例如，在300赫兹(Hz)至1200Hz之间的呼吸信号)相对应的振动数据的能力，可以将振动传感器安装在弹簧上，从而提高该振动传感器的顺应性水平。

图3A至图3C示出了根据一些实施例的、通过将振动传感器安装到弹簧来提高该振动传感器的顺应性水平的示例设计。例如，在一些实施例中，例如，如图3A所示，容纳在包覆模制件300内的传感器302可以附接到顺应性弹簧304，该顺应性弹簧容纳在形成于该包覆模制件中的槽或腔内。在其它实施例中，鼻托的包覆模制件被成形为使得包覆模制件的安装有传感器的部分能够弯曲，从而形成弹性硅胶弹簧。例如，如图3B所示，传感器被安装在包覆模制件中充当硅胶弹簧306的薄而柔软的部分上，从而提高传感器的顺应性水平。例如，如图3B所示，硅胶弹簧306可以能够沿着与用户身体上的在用户佩戴着头戴式设备时被包覆模制件300接触的表面正交的方向(例如，如图3B中所示出的虚线箭头所指示的方向)弯曲，从而提高传感器的顺应性以用于测量用户身体的振动。图3C示出了另一实施例，在该实施例中，传感器被安装在包覆模制件的如下部分上，该部分被形成为一端没有支撑、从而充当弹性弹簧308的悬臂。在一些实施例中，传感器302可以附接到与围绕包覆模制件300的材料不同的衬垫材料312。例如，衬垫材料312可以是比硅胶包覆模制件300的材料更密集的材料，以便使传感器302与用户皮肤之间的耦接能够更刚性。在其它实施例中，可以省略衬垫材料312。尽管图3A至图3C将包覆模制件300示出为直接附接到框架310，但是应理解的是，在其它实施例中，包覆模制件300可以通过支架或其它部件连接到框架310，例如，如图2A至图2C所示。

振动传感器采集到的数据可以用于监测用户的呼吸特征(例如，呼吸频率(respiratory rate，RR)、呼吸深度等)，以及检测在用户的行为中表现出的事件(例如咳嗽/打喷嚏、进食/咀嚼、饮用等)。图4示出了根据一些实施例的可由集成到用户所佩戴的头戴式设备中的振动传感器测量的振动频率和振幅的示例图形，这些振动频率和振幅指示不同类型的用户活动。例如，图形402示出了指示用户呼吸的振幅和频率的曲线图，而图形404示出了咳嗽事件的振幅和频率的曲线图，并且图形406示出了正在进食或咀嚼的用户的振幅和频率的曲线图。例如，如图形404所示，咳嗽可以由一系列具有与正常呼吸相比更高的强度和更短的持续时间的一个或多个高振幅脉冲408来表征。另外，进食/咀嚼可以因由在较长时间段内出现更多较低振幅的周期性脉冲来表征而与咳嗽区分开。

应理解的是，根据一些实施例，除了上文结合图4A至图4C所描述的事件之外，还可以使用对采集到的振动数据的分析，来基于测量到的振动的振幅和频率模式识别其它类型的事件。例如，在一些实施例中，采集到的振动数据还可以用于识别用户的诸如磨牙或咬指甲等习惯以及饮用液体，这些习惯中的每种习惯可以由不同的振动模式来表征。在一些实施例中，采集到的振动数据可以用于对检测到的事件进行分类。例如，可以对用户的呼吸模式进行分类，以识别用户的情绪状态(例如，用户是平静的还是焦虑的)或用户的活动状态(例如，用户是否在睡觉、在锻炼、在吸烟等)。类似地，可以对诸如进食/咀嚼、咳嗽等事件进行进一步分类，以识别不同类型的进食(例如，用户正在吃的是硬的食物还是软的食物)、不同类型的咳嗽(例如，干咳、哮喘咳嗽等)等。

在一些实施例中，头戴式设备可以包含多个振动传感器(例如，集成在头戴式设备的鼻托内的第一振动传感器，和位于头戴式设备的鬓角区域中的第二振动传感器，和/或具有不同属性(例如不同的顺应性水平)的不同振动传感器)。在一些实施例中，由不同振动传感器采集到的振动数据在分析期间(例如，在分析用户的呼吸特性时，和/或在对事件进行检测和分类时)被汇总或交叉参考。

呼吸监测

用户的呼吸特性可以是用户的健康(health)、健康(wellness)、情绪状态和体力活动的重要预测因子，该呼吸特性可以包括呼吸(respiratory)(呼吸(breathing))频率、潮气量(呼吸深度)和/或流速。例如，在许多情况下，呼吸频率(RR)的变化对健康的突然恶化较敏感，潮气量可以作为心肺并发症的有用的预测因子。如果用户的任一项测量的静息平均值显著上升，则这可能指示健康状态的重大变化或环境中空气质量的可能问题。用户的RR也可以对压力因素(例如，情绪压力、认知负荷、疼痛、和疲劳)作出反应，并且可以很好地预测情绪健康。另外，有控制的深呼吸对改善情绪和减轻压力非常有效。用户的RR也可以对体力耗费和身体素质敏感，例如，更健壮的人可能表现得呼吸频率更低且恢复到静息频率更快。潮气量与身体的氧气摄入量有关，并因此是体力消耗和恢复的准确预测因子。

在一些实施例中，在一段时间内连续监测用户的组织振动，以便分析其呼吸模式(例如，以确定用户的静息RR、检测用户RR的变化等)。

图5示出了根据一些实施例的分析用户的组织振动数据以识别不同呼吸阶段的示例。可以通过以下方式来分析用户的呼吸频率：将采集到的振动数据划分为多个类别，每个类别与不同呼吸阶段相对应。例如，在一些实施例中，将振动数据划分为三个类别，这三个类别对应于：吸气阶段(图5中示为C1)；呼气阶段(图5中示为C2)；以及发生在吸气阶段与呼气阶段之间的空值阶段或静默阶段。在其它实施例中，将振动数据划分为两个类别，这两个类别对应于：呼吸阶段(包括吸气和呼气两者)；以及空值阶段或静默阶段。

在一些实施例中，由振动传感器采集的振动数据的片段被标记有多个类别中的一个类别(例如，指示每个类别的开始时间和结束时间的标签)，并且呼吸频率是基于所识别的类别的时间来计算的，例如，ΔT_吸气＝t_i[n+1]-t_i[n]对应于连续的吸气类别(例如，t_i[n+1]和t_i[n])的上升沿之间的时间增量，并且ΔT_呼气＝t_e[n+1]-t_e[n]对应于连续的呼气类别的上升沿之间的时间增量。

图6示出了根据一些实施例的显示了可以如何使用两阶段分割方法来分析用户的呼吸数据的示意图。在数据获取期间，可以将传感器数据605采集为记录由振动传感器(例如，接触式加速度计)检测到的z轴振动的时间序列波形，并且可以通过第一分类阶段610和第二分割阶段615对该传感器数据进行处理。在一些实施例中，传感器数据605在被第一分类阶段610和第二分割阶段615处理之前，可以例如通过预处理电路而：被预处理以去除伪影(例如，间歇振动(popping))；被带通滤波以去除噪声(例如，心脏噪声)；和/或被与附加数据(例如，与加速度计的其它轴相对应的振动数据)结合以提高信号的信噪比(signal-to-noise ratio，SNR)。

第一分类阶段610接收传感器数据605，并使用经训练的用于识别振动波形中存在的指示呼吸(例如，吸气或呼气)的特征(例如，呼吸标记)的位置的模型，对接收到的传感器数据605的波形的多个片段进行分类。在一些实施例中，第一分类阶段610将传感器数据波形划分为多个窄帧，计算每一帧的一组特征，并使用经训练的模型来对每一帧的特征向量进行分类以确定与该帧相对应的类别(例如，呼吸类别(吸气c1或呼气c2)或非呼吸类别(例如，表示所有其它声音的空值类别))。在一些实施例中，每一帧可以具有预定的长度(例如，100毫秒(ms))，并且可以与相邻帧在时间上重叠(例如，50％重叠)。经训练的模型是被训练为辨别有呼吸存在的帧与无呼吸存在的帧之间的差异的分类器模型，并且可以被实现为kNN模型、朴素贝叶斯(Naive Bayes，NB)模型、和/或支持向量机(Support VectorMachine，SVM)等。在一些实施例中，经训练的分类器模型被训练为将多个帧分类成三个类别(例如，如图6所示，非呼吸类别c0、吸气类别c1和呼气类别c2)，而在其它实施例中，经训练的分类器模型被训练为将多个帧分类成两个类别(例如，非呼吸类别c0和呼吸类别c1，该呼吸类别包括吸气和呼气两者)。

由于第一分类阶段610将传感器数据605的波形划分为离散的多个帧，因此其可能不足以准确地测量用户的呼吸频率，因为序列边界(例如，用于确定如以上所论述的ΔT_吸气和/或ΔT_呼气的序列边界)不能被准确地预测。另外，分类器阶段对单个帧之外的上下文和时间序列的理解有限。例如，如图6所示，由于分类器模型分析单个帧(例如，100ms的帧)，因此其可能会将呼吸类别(例如，吸气类别c1)的各帧之间的某些帧分类成非呼吸类别c1，从而导致在直接根据分类后的帧数据确定呼吸频率时的潜在不准确。

替代地，第一分类阶段610的分类结果由第二分割阶段615进一步处理，该第二分割阶段使用经训练的模型，基于该分类结果、以及对呼吸周期特性(例如，持续时间和转换)的先验知识来推断最可能的状态序列。例如，如图6所示，第二分割阶段615可以推断状态序列，该状态序列依次包括空值状态s1、吸气状态s2、暂停状态s3和呼气状态s4，以及每对状态之间的转换时间。在一些实施例中，分段模型区分空值状态s1(指呼气之后直到下一个吸气周期的时段)与暂停状态s3(指吸气与呼气之间的间隙)，因为即使这两个状态通常表现出相似的频率特性和振幅特性，但是与呼气与吸气之间的空值状态相比，吸气与呼气之间的暂停状态可能表现出更可预测的持续时间，而空值状态在持续时间上可能表现出更大变化。在其它实施例中，空值状态s1和暂停状态s3可以使用单个非呼吸状态来表示，而不是使用单独的状态来表示。在一些实施例中，由第二分割阶段615使用的经训练的模型是被训练为基于第一阶段分类结果来预测最大似然的状态序列的隐半马尔可夫模型(HSMM)。

图7示出了根据一些实施例的可用于基于分类结果执行分割的HSMM的示意图。HSMM模型700由四个隐状态组成，这些状态可以使用三个参数来描述：传输矩阵A、发射矩阵B和持续时间向量d。

传输矩阵A管理从任一隐状态转换到另一隐状态(例如，从S1空值状态到S2吸气状态、从S2吸气状态到S3暂停状态等)的概率。在一些实施例中，传输矩阵A可以从训练注释的状态序列中提取。在其它实施例中，各状态被标记以使每个状态是连续的，并且转换概率是持续时间和发射矩阵B所指示的概率的函数。发射矩阵B被配置为在多项式发射模型中采集在每个隐状态下遇到每个观测值(例如，由第一分类阶段确定的类别)的概率，并且可以基于由分类器模型在第一分类阶段610期间生成的预测的准确性来训练。持续时间向量d表征在每个隐状态下花费的持续时间的概率分布。在一些实施例中，通过将训练数据拟合到对数正态分布函数来在统计学上提取持续时间向量。

在一些实施例中，HSMM基于上述参数，通过最大化状态序列的概率(例如，通过确定使每对状态之间的转换概率A最大化的状态序列)来预测所记录的振动数据的状态序列。例如，在一些实施例中，基于A、B中的信息和由分类器模型输出的观测状态序列(例如，作为分类阶段610的一部分)进行最大似然估计。如图7所示，可以基于分类器的先前观测和未来观测确定每一节(segment)。传输矩阵A是持续时间向量d的函数，因此状态转换概率反映了状态持续时间的合理比率。发射矩阵B指定由分类器输出的观测状态给定的状态概率，并用于修改传输矩阵A以确定最大似然估计，该最大似然估计指定观测到的振动数据内的状态转换的时序，根据该时序可以确定状态序列和状态持续时间。一旦预测出状态序列，就可以基于多个重复状态之间的一段时间(例如，ΔT_吸气和/或ΔT_呼气)来估计用户的呼吸频率。

通过测量用户的RR，控制器可能能够确定与用户有关的多个不同的健康指标。例如，如以上所论述的，控制器可以监测用户随时间的RR以确定静息RR、检测由用户进行的活动(例如，对应于与用户的静息RR的偏离，例如可能与增加的RR相对应的锻炼、或者可能与降低的RR相对应的睡觉)的周期，和/或识别用户RR的趋势等。在一些实施例中，用户的RR可以与诸如潮气量和/或流速等其它呼吸测量结果结合使用，以确定用户的一个或多个呼吸相关的健康指标。控制器可能能够使用该信息，做出与用户的当前健康状况和/或总体健康状态有关的推断。另外，在一些实施例中，控制器可以确定可用于向用户提供反馈的信息，向用户提供反馈例如为：向用户通知一个或多个所确定的健康趋势；向用户通知当前活动强度；指示用户执行一个或多个动作以控制其呼吸(例如，作为冥想锻炼的一部分)；基于用户的身体状态或情绪状态选择要向用户播放的合适媒体(例如，在锻炼期间使用户充满热情的音乐、或在用户焦虑时使用户平静的音乐)。

事件检测及分类

在一些实施例中，所记录的用户的振动数据还可以用于检测特定类型的事件，例如咳嗽、打喷嚏、进食、咀嚼和/或饮用。在一些实施例中，控制器使用深度学习模型(例如卷积神经网络(convolutional neural network，CNN)、门控循环单元(gated recurrentunit，GRU)、长短期记忆(long short-term memory，LSTM)模型等)，基于接收到的振动数据，来识别所发生的事件的类型。与呼吸(breathing)/呼吸(respiration)不同，这类事件通常不会持续发生，而是更有可能在所监测的时间段内偶发地发生。在一些实施例中，由于使用深度学习模型持续处理接收到的振动数据以识别事件可能要求大量计算且耗电量大，因此控制器替代地因触发事件(例如，与语音识别应用中使用的唤醒词类似)而监测接收到的振动信号。例如，在一些实施例中，触发事件可以对应于如下情况：接收到的振动信号表现出特定图案、超过阈值振幅、表现出预定范围内的频率、或它们的某种组合(例如，预定频率范围内的振动在一定时间段内超过阈值振幅)。一旦检测到触发事件，就会使用深度学习模型来分析与关联于该触发事件的时间段(例如，周围时间段)相对应的所记录振动数据，以确定所发生的事件的类型。

在一些实施例中，深度学习模型除了被训练为识别振动数据中所反映的事件的类型外，还被训练为将事件分类成一个或多个子类型。例如，用户可以例如基于所消耗的食物的类型，执行不同类型的咀嚼。由于不同类型的食物(例如，软的食物、脆的食物等)可能会引起不同的声音，因此深度学习模型可以被训练为响应于确定用户正在咀嚼而识别正在被用户消耗的食物的类型。在一些实施例中，基于以下中的一者或多者来对事件进行分类：振动数据中所识别的与该事件相对应的部分的频率含量(frequency content)、振幅和持续时间。在一些实施例中，可以使用决策树模型，基于所识别的事件的频谱特征和时间特征来对所识别的事件执行分类(例如，基于不同的食物类型和/或摄取方式对咀嚼/进食事件进行分类)。

在一些实施例中，深度学习模型还可以确定与所识别的事件相关联的摄入量(例如，在检测到的咀嚼事件期间用户消耗了多少食物，在检测到的饮用事件期间用户消耗了多少液体等)。例如，深度学习模型可以响应于检测到饮用事件，确定在检测到的饮用事件期间用户所执行的大口饮用或小口饮用的次数，并基于所确定的大口饮用或小口饮用的次数来估计用户所消耗的液体量。

在一些实施例中，系统可以对接收到的事件进行分析以为用户生成一个或多个健康建议。例如，在一些实施例中，通过检测由用户进行的饮用事件，系统确定自用户上一次饮用已经过去了多长时间，并且可以响应于确定用户在阈值时间段内(例如，在过去的四小时内)未饮用任何液体而通知该用户。另外，在一些实施例中，系统可以基于对检测到的饮用事件的分析来估计用户所饮用的水量，并向用户提供建议，例如通知用户其距完成推荐的每日液体摄入量还有多少。在一些实施例中，系统可以通过检测由用户进行的进食事件/咀嚼事件，确定(例如，使用决策树模型，基于振动信号的频率含量、振幅和持续时间的组合进行确定)用户所摄入的食物的量和/或用户所消耗的食物的类型。

在一些实施例中，系统对接收到的随时间的事件进行分析以监测用户的一个或多个习惯。例如，系统可以基于系统通常检测由用户进行的进食事件或饮用事件的时序、由用户执行的进食事件或饮用事件的类型、或它们的某种组合，来推断用户的进食习惯或饮用习惯。系统还可以确定与其它类型的事件相关联的用户习惯(例如咬指甲或磨牙)，这些用户习惯可以与其它数据(例如，呼吸频率数据)交叉参考以确定用户的身体状况或情绪状况(例如，压力、焦虑等)。

使用多传感器组合的健康监测

在一些实施例中，头戴式设备包含可与振动传感器结合使用的附加传感器，以用于监测用户健康的不同方面。例如，如以上所论述的，振动传感器可以用于检测用户的鼻子、嘴巴和头部处的细微振动，这些细微振动可以指示用户健康。在一些实施例中，振动传感器可以与声学传声器结合使用，其中振动传感器可以在检测到初始事件(例如，咳嗽事件)时触发声学传声器，或者作为信号是真正的健康指标的双重验证。IMU传感器还可以检测(例如，在打喷嚏或咳嗽期间的)突然移动，该突然移动与来自温度计(该温度计位于智能眼镜的臂上，与用户的后脑勺或耳垂非常接近或相接触)的温度测量结果结合，从而检测用户咳嗽，发烧，以及感染、流感或其它疾病的发作。

在一些实施例中，振动传感器所采集的数据可以与由其它类型的传感器采集的数据交叉参考，以便于确定用户的健康状态。例如，头戴式设备可以包含被配置为测量用户的语音信号的声学传感器，该语音信号可以根据用户的健康状态表现出音调转变(例如，当用户鼻塞时，由声学传感器检测到的用户语音的音调可能会改变)。该数据可以与通过分析振动数据检测到的事件(例如，用户咳嗽或打喷嚏)交叉参考，以推断用户的总体健康状态(例如，用户感冒了)。

在一些实施例中，光学体积描记(photoplethysmography，PPG)传感器可以被配置为提供对血管和毛细血管的光学测量结果，以提供心率监测和脉搏血氧仪读数等。如本文所公开的PPG传感器可以提供指示各种心血管相关疾病(例如动脉粥样硬化和动脉僵硬等)的波形，这些波形可以与使用振动传感器确定的呼吸信息(例如，呼吸频率、潮气深度等)相结合，以评估用户的总体心血管健康状况。

在一些实施例中，使用振动传感器的事件检测功能可以用于激活其它类型的传感器或输入设备。例如，系统可以响应于检测到某些类型的事件(例如咀嚼)，激活位于头戴式设备上或其它设备上的摄像头以采集正在被消耗的食物的图像。替代地，控制器可以与用户设备(例如，用户的移动设备)通信，以提示用户输入与其正在吃什么有关的信息。标识正被用户消耗的食物类型的信息可以与检测到的咀嚼事件信息结合使用，用于执行进食量分类，其包括对用户热量摄入的估计。

可使用所示出的各传感器的组合来评估的多个健康状态中的一些健康状况可以包括哮喘监测、长期咳嗽检测以及可通过敏感的运动传感器/声学传感器来检测的(例如，与冠状病毒-COVID-、肺炎、和季节性流感等相关联的)其它慢性呼吸系统疾病(例如，环境健康)。通过对用于压力检测的呼吸频率进行测量，多个传感器的一种或多种组合还可以用于在智能眼镜上加载的健康应用和健身应用、或将健康应用和健身应用加载到相关联的移动设备。这些测量结果也可以集成到冥想(meditation)应用、镇静(calming)应用和其它心理/精神支持应用中。

并行处理流水线

如以上所论述的，接收到的来自振动传感器的振动数据可以用于执行连续健康监测(例如，呼吸监测)以及检测特定类型的事件(例如，咳嗽、打喷嚏、咀嚼、饮用等)。在一些实施例中，可以通过单独的处理流水线并行地执行这两个功能。例如，可以对由振动传感器生成的振动数据进行持续分析以监测用户的呼吸频率，同时还对触发事件进行监测以用于触发深度学习模型来执行事件识别和/或分类。

图8示出了根据一些实施例的用于并行地执行呼吸监测和事件检测的系统的框图。如图8所示，控制器804可以接收来自振动传感器(例如图1和图2A至图2C所示出的振动传感器)的传感器数据802(例如振动数据)。通过不同的处理流水线对传感器数据802进行处理，这些不同的处理流水线对传感器数据802执行不同类型的分析以生成与用户的健康有关的各种指标。例如，如图8所示，通过呼吸信号分析模块810和事件分析模块820并行地对传感器数据802进行处理，以生成不同类型的信息，用户健康分析模块830可使用这些不同类型的信息，(例如，通过生成用户的呼吸健康指标、分析与用户相关联的事件等)来分析用户的健康。

在一些实施例中，控制器804包括在头戴式设备(例如，图1中所示出的头戴式设备100)上实现的一个或多个处理器。在一些实施例中，控制器可以包括位于在头戴式设备外部的设备(例如，与头戴式设备通信的外部控制台、移动设备或服务器)上的一个或多个处理器。尽管图8示出了单个控制器804，但是应理解的是，在一些实施例中，控制器804的不同操作可以由不同的处理器执行和/或在不同的设备上执行。例如，在一些实施例中，呼吸信号分析模块810的操作可以由头戴式设备上的处理器执行，而用户健康分析模块830的操作由单独的设备(例如，移动设备)上单独的处理器执行。

呼吸信号分析模块810被配置为对传感器数据802进行分析，以确定与用户有关的呼吸指标(例如，用户的呼吸频率、潮气深度等)。由于预期用户在所监测的时间段内会持续呼吸，因此呼吸信号分析模块810可以对基本上所有的传感器数据802进行分析以确定呼吸指标。在一些实施例中，呼吸信号分析模块810使用信号分类模型812和状态分割模型814分两个阶段对传感器数据802进行处理。信号分类模型812将传感器数据802划分为多个帧，并分析每个帧的特征以将该帧分类成多个预定状态(例如，呼吸状态或非呼吸状态)中的一个状态。在一些实施例中，信号分类模型812与图6中所示出的分类阶段610相对应，并且可以被实现为kNN模型。

状态分割模型814被配置为基于由信号分类模型812生成的分类结果、以及呼吸周期特性的先验知识来推断最可能的状态序列，并且可以与图6中所示出的分割阶段615相对应，且被实现为隐半马尔可夫模型(HSMM)(例如图7中所示出的HSMM)。例如，状态分割模型814可以基于由信号分类模型812生成的分类后的帧，来预测分类后的传感器数据的不同状态之间的转换点，可以根据这些转换点(例如，基于重复状态之间的时间量)确定用户的呼吸频率。用户健康分析模块830可以使用呼吸频率数据来生成(即，通过呼吸健康指标生成模块832生成)一个或多个呼吸健康指标。例如，在一些实施例中，可以对用户的呼吸频率进行监测以建立用户的静息呼吸频率，和/或分析用户呼吸频率的变化(例如，由于健康状况、压力和/或体力活动)。在一些实施例中，用户的呼吸频率可以用于推断用户的当前身体状态(例如，休息、睡眠、锻炼等，和/或用户是否正在经历导致异常呼吸模式(例如鼾音、啰音或呼吸急促等)的任何与呼吸有关的症状(例如呼吸道阻塞、呼吸道炎症或呼吸性肺水肿))、或者用户的情绪状态(例如，用户当前是否焦虑或遭受惊恐发作)。另外，用户呼吸模式的趋势可以指示用户健康状态的总体变化。在一些实施例中，系统可以检测用户呼吸的变化，这些变化指示某些症状(例如，心脏病发作/癫痫、反流、狭窄等)的消失。

在一些实施例中，应用可以接收为用户确定的呼吸信息，并向用户提供与其呼吸有关的反馈，例如，向用户通知其锻炼正处于的强度、向用户提供关于控制其RR以作为冥想锻炼的一部分的反馈、基于所确定的用户焦虑水平来动态地选择要向用户播放的媒体(例如，当用户的焦虑水平超过预定阈值时的平静音乐)、向用户通知可能发作的某些症状并推荐预防措施等。

在一些实施例中，呼吸信号分析模块810还被配置为使用一个或多个附加模型(例如回归模型(图8中未示出))，来分析接收到的传感器数据802，以确定用户的其它类型的呼吸特性(例如，潮气量、流速)(例如，确定用户呼吸的潮气量的第一模型，以及确定用户呼吸的流速的第二模型)。在一些实施例中，这些模型与由状态分割模型814生成的状态序列相互补充或交叉参考，或者这些模型接收所生成的状态序列作为输入，例如通过将用户吸气状态的持续时间与呼吸量相关联来提高所确定的呼吸特性的质量。在一些实施例中，健康指标生成模块832基于用户的呼吸频率、潮气量和/或流速的组合来生成呼吸健康指标，例如以推断用户的身体状况或情绪状况。例如，所确定的指示用户所经历的锻炼强度水平的健康指标或用户的焦虑水平可以基于包括呼吸频率、潮气量和流速的多个呼吸特性来确定。

事件分析模块820被配置为预测用户的振动数据中所反映的特定类型的事件的发生，并且包括事件检测模块822和深度学习分类模型824。事件检测模块822被配置为监测传感器数据802，并检测指示感兴趣事件的预定触发事件的出现。在一些实施例中，触发事件可以与具有预定范围内的振幅特性和频率特性的预定振动模式相对应。由于使用深度学习可能要求大量计算且耗电量大，因此事件分析模块820可以被配置为仅在事件检测模块822检测到指示感兴趣事件的预定触发事件时，才使用深度学习分类模型824来分析接收到的振动数据。响应于检测到触发事件，深度学习分类模型824分析传感器数据805中与该触发事件相关联的部分，并预测振动数据中所反映的发生的事件的类型。在一些实施例中，事件检测模块822可以检测与不同事件类型相对应的不同类型的触发事件，而深度学习分类模型824在预测事件类型时可以考虑检测到的触发事件的类型。例如，在一些实施例中，咳嗽事件可以与第一类型的触发事件相关联，而咀嚼事件与第二不同类型的触发事件相关联。在一些实施例中，除了预测事件的类型之外，深度学习分类模型824还可以确定事件的一个或多个属性，例如，检测到的咳嗽或打喷嚏的程度、和/或与咀嚼事件相关联的食物的类型等。在一些实施例中，深度学习分类模型824可以包括多个不同的模型，每个模型被训练为对不同类型的事件进行分类。例如，在一些实施例中，深度学习分类模型824可以基于由事件检测模块822检测到的触发事件的一个或多个特性，来选择一个或多个特定的经训练的分类模型。

用户健康分析模块830的事件分析模块834接收来自深度学习分类模型824的事件信息(例如事件类型信息、事件属性信息等)，并对接收到的事件信息进行分析以生成用户的一个或多个健康指标。例如，在一些实施例中，事件分析模块834可以监测某些事件类型的发生频率以确定用户的健康状况，例如，监测用户打喷嚏的频率以确定用户是否正遭受过敏、监测用户饮用事件以确定用户是否消耗了足够的液体等。在一些实施例中，事件分析模块834结合来自一个或多个附加传感器840的数据来分析接收到的事件信息。例如，如以上所论述的，振动数据可以与使用声学传声器和/或IMU采集到的数据结合使用，以评估咳嗽或打喷嚏的程度。在一些实施例中，事件分析模块834可以根据检测到的事件的类型，访问来自不同传感器的数据(例如，响应于检测到的打喷嚏事件访问来自第一组传感器的数据，以及响应于检测到的咀嚼事件访问来自第二组不同的传感器的数据。

在一些实施例中，用户健康分析模块830被配置为：基于由呼吸健康指标生成模块832和/或事件分析模块834生成的一个或多个健康指标、和/或响应于一个或多个所识别的事件，来执行一个或多个动作。例如，用户健康分析模块830可以基于用户的呼吸健康指标向用户提供一个或多个建议，例如向用户提供调节其呼吸频率以作为冥想锻炼的一部分的建议、在用户的呼吸频率和潮气深度指示与体力锻炼相关联的活动的时间段之后提供与锻炼相关的建议、和/或提醒用户异常呼吸活动并推荐预防措施等。另外，用户健康分析模块830还可以基于一个或多个所识别的事件对用户执行一个或多个动作，例如，在检测到饮用事件之后生成指示用户当前每日液体摄入的报告、响应于检测到打喷嚏事件和/或在阈值时间段内发生了多个打喷嚏事件而推荐治疗选项等。在一些实施例中，用户健康分析模块830可以将与用户的监测到的呼吸有关的健康指标和与检测到的事件有关的健康指标结合起来或交叉参考，以确定用户的一个或多个总体健康指标和/或检测用户的症状。例如，与用户的呼吸有关的健康指标(例如，呼吸频率和/或潮气深度)结合与用户的咳嗽/打喷嚏事件的频率和程度有关的指标可以用于生成指示用户的总体心血管健康的简档。

处理流

图9是根据一些实施例的用于利用安装在可穿戴设备上的传感器来评估用户状况的方法900的流程图。在一些实施例中，方法900中多个步骤中的至少一个或多个步骤可以由包括一个或多个处理器的控制器(例如，图8中所示出的控制器804)执行。在一些实施例中，该一个或多个处理器包括执行存储在存储器中的指令的处理器，该存储器位于以下中的任一者中：智能眼镜、头戴式设备或用户身体部位(例如，头部、手臂、手腕、腿、脚踝、手指、脚趾、膝盖、肩膀、胸部、和背部等)上的其它可穿戴设备。在一些实施例中，该一个或多个处理器包括执行存储在存储器中的指令的处理器，其中，处理器或存储器中的任一者、或这两者是用户的移动设备的一部分、远程服务器的一部分或数据库的一部分，该移动设备、远程服务器和数据库通过网络彼此通信耦接。此外，移动设备、智能眼镜和可穿戴设备等可以通过无线通信系统和协议(例如，无线电、Wi-Fi、蓝牙、和近场通信(near-fieldcommunication，NFC)等)彼此通信耦接。在一些实施例中，与本公开一致的方法可以包括来自方法900的一个或多个步骤，该一个或多个步骤以任意顺序、同时、准同时或时间上重叠地执行。

系统接收910来自位于用户所佩戴的头戴式设备上的一个或多个传感器的信号，所述信号至少包括振动信号，该振动信号包括由振动传感器收集到的振动数据。在一些实施例中，振动信号包括指示随时间测量的特定轴(例如，被定位为与传感器的一表面正交的z轴，其中传感器的该表面被配置为与用户面部的表面(例如当用户佩戴着头戴式设备时用户鼻子的侧面)大致平行)上的振动幅度的波形。在一些实施例中，振动传感器位于头戴式设备的鼻托内，或者位于头戴式设备的接触用户身体的另一部分内。

系统分析920振动信号以推断该振动信号的状态序列。在一些实施例中，振动信号被传递通过两阶段模型，例如第一分类模型和第二分割模型。在一些实施例中，状态序列与使用接收到的振动信号确定的用户的不同呼吸状态相对应。在一些实施例中，系统监测接收到的振动信号，并在接收到振动信号时推断该振动信号的状态序列。

系统基于所推断的监测到的振动信号的状态序列确定930健康指标的值。例如，在状态序列与多个呼吸状态相对应的情况下，系统可以基于所确定的状态序列的时序来确定用户的呼吸频率。

系统监测940振动信号以检测振动的预定特性，例如预定触发事件。在一些实施例中，该系统可以监测多个不同类型的触发事件的振动信号，每个触发事件与不同类型的事件相对应。

系统响应于检测到预定特性(例如，触发事件)，识别950与该预定特性相关联的事件。例如，系统可以响应于检测到触发事件，识别振动信号的与关联于触发事件的时间段(例如，周围时间段)相对应的部分，以与所识别的事件相关联。在一些实施例中，该时间段可以与检测到的特性(例如，触发事件)周围的预定时间段相对应。在其它实施例中，该时间段可以与检测到的特性之前和之后的、振动信号继续表现出一个或多个预定特性的时间段(例如，至少具有出现在高于某一频率的阈值振幅的脉冲)相对应。在一些实施例中，预定特性可以基于检测到的特性/触发事件的类型。

对所识别的事件进行分类960。例如，系统可以响应于检测到所识别的事件，使用深度学习模型来分析振动信号的与所识别的事件相关联的部分，以确定所发生的事件的类型(例如，诸如咳嗽或打喷嚏等呼吸事件、进食/咀嚼事件、饮用事件等)。例如，在一些实施例中，基于以下中的一者或多者来对事件进行分类：所识别的振动信号中与事件相关联的部分的频率含量、振幅和持续时间。在一些实施例中，使用决策树模型，基于所识别的事件的频谱特征和时间特征来对事件进行分类。

在一些实施例中，系统通过可并行地执行的多个不同的流水线来分析接收到的信号。例如，如图9所示，系统可以分析振动信号以推断状态序列并基于所推断的状态序列来确定健康指标的值(步骤920和930)，并监测振动信号以检测预定特性，于是可以并行地执行对与该预定特性相关联的事件的识别和分类(步骤940、950和960)。

系统还基于所确定的健康指标和/或所识别的事件执行970动作。例如，在一些实施例中，系统可以基于用户的呼吸健康指标向用户提供一个或多个建议，或者基于所识别的一个或多个事件的类型生成一个或多个报告，例如，在检测到饮用事件后的指示用户的当前每日液体摄入的报告。在一些实施例中，系统可以将所确定的健康指标与所识别的事件相结合或交叉参考，以生成指示用户的总体健康特性的简档，例如，将用户的监测到的呼吸频率和与检测到的咳嗽事件或打喷嚏事件有关的信息相结合，以生成指示用户的总体心血管健康的简档。系统还可以基于所生成的简档执行附加的动作(例如，向用户生成一个或多个通知或报告，选择要向用户播放的合适媒体等)。

图10是根据一些实施例的用于使用安装在可穿戴设备上的振动传感器来确定用户的健康指标的方法1000的流程图。在一些实施例中，方法1000中多个步骤中的至少一个或多个步骤可以由包括一个或多个处理器的控制器(例如，图8中所示出的控制器804)执行。在一些实施例中，方法1000可以作为如结合图9所描述的第一流水线(步骤920和930)的一部分来执行。

系统接收1010来自位于用户所佩戴的头戴式设备上的一个或多个传感器的信号，所述信号至少包括振动信号，该振动信号包括由振动传感器收集到的振动数据。系统使用第一模型将接收到的振动信号的多个片段分类1020成两个或更多个类别。在一些实施例中，第一模型是kNN模型、NB模型或SVB。该两个或更多个类别可以与用户的不同呼吸状态(例如用户的呼吸状态和非呼吸状态，或者用户的吸气状态、呼气状态和非呼吸状态)相对应。

系统使用第二模型，基于由第一模型生成的分类结果来预测1030振动信号的状态序列。在一些实施例中，第二模型包括HSMM，该HSMM被配置为基于分类结果和呼吸周期特性(例如，持续时间和转换)的先验知识，通过预测不同呼吸状态之间最高转换概率的时间，来预测最可能的状态序列。

系统基于所预测的状态序列来估计1040用户的健康指标。例如，在一些实施例中，系统基于所预测的呼吸状态序列(例如，基于连续的相同类型状态之间的时间段)来估计用户的呼吸频率。

示例系统环境

图11是根据一个或多个实施例的包括音频系统的头戴式设备的示例系统环境。系统1100可以在人工现实环境中运行。图11中所示出的系统1100包括头戴式设备1105、以及耦接到控制台1115的输入/输出(input/output，I/O)接口1110。头戴式设备1105可以是头戴式设备100的实施例。尽管图11显示了示例系统1100包括一个头戴式设备1105和一个I/O接口1110，但是在其它实施例中，系统1100中可以包括任意数量的这些部件。例如，可以存在多个头戴式设备1105，每个头戴式设备具有相关联的I/O接口1110，其中每个头戴式设备1105和I/O接口1110与控制台1115通信。在替代配置中，系统1100中可以包括不同的部件和/或附加的部件。另外，在一些实施例中，结合图11中所示出的多个部件中的一个或多个部件而描述的功能可以以与结合图11描述的方式不同的方式而分布在这些部件之中。例如，控制台1115的一些或全部功能由头戴式设备1105提供。

在一些实施例中，头戴式设备1105可以矫正或增强用户的视力、保护用户的眼睛、或向用户提供图像。头戴式设备1105可以是矫正用户视力缺陷的眼镜。头戴式设备1105可以是保护用户的眼睛免受阳光伤害的太阳镜。头戴式设备1105可以是保护用户的眼睛免受撞击的安全眼镜。头戴式设备1105可以是夜视设备或红外护目镜，以增强用户在夜间的视力。替代地，头戴式设备1105可以不包括透镜，并且可以仅是具有向用户提供音频(例如，音乐、广播电台、播客)的音频系统1120的框架。

在一些实施例中，头戴式设备1105可以是向用户呈现内容的头戴式显示器，该内容包括具有计算机生成的元素(例如，二维(two dimensional，2D)或三维(threedimensional，3D)图像、2D或3D视频、声音等)的物理、真实世界环境的增强视图。在一些实施例中，所呈现的内容包括通过音频系统1120呈现的音频，该音频系统接收来自头戴式设备1105、控制台1115或这两者的音频信息，并基于该音频信息呈现音频数据。在一些实施例中，头戴式设备1105向用户呈现这样的虚拟内容：该虚拟内容部分地基于用户周围的真实环境。例如，可以向眼镜设备的用户呈现虚拟内容。用户在物理上可能处于一房间中，并且该房间的虚拟墙壁和虚拟地板被渲染为虚拟内容的一部分。在图11的实施例中，头戴式设备1105包括音频系统1120、电子显示器1125、光学块1130、振动传感器1135、深度摄像头组件(DCA)1140、惯性测量单元(IMU)1145和控制器1150。头戴式设备1105的一些实施例具有与结合图11而描述的那些部件不同的部件。另外，在其它实施例中，结合图11而描述的各个部件所提供的功能可以不同地分布在头戴式设备1105的多个部件之中，或者可以在远离头戴式设备1105的单独组件中获取。

电子显示器1125根据接收到的来自控制台1115的数据向用户显示2D或3D图像。在各个实施例中，电子显示器1125包括单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。电子显示器1125的示例包括：液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、有源矩阵有机发光二极管显示器(active-matrix organic light-emitting diode display，AMOLED)、某种其它显示器、或它们的某种组合。

光学块1130放大接收到的来自电子显示器1125的图像光，校正与该图像光相关联的光学误差，并向头戴式设备1105的用户呈现校正后的图像光。电子显示器1125和光学块1130可以是显示元件110的实施例。在各个实施例中，光学块1130包括一个或多个光学元件。光学块1130中所包括的示例光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器、反射表面、或影响图像光的任何其它合适的光学元件。此外，光学块1130可以包括不同光学元件的组合。在一些实施例中，光学块1130中的多个光学元件中的一个或多个光学元件可以具有一个或多个涂层，例如部分反射涂层或抗反射涂层。

通过光学块1130对图像光进行放大和聚焦允许电子显示器1125与较大的显示器相比，在物理上更小、重量更轻并且消耗更少功率。另外，放大可以增大电子显示器1125所呈现的内容的视场。例如，所显示的内容的视场使得所显示的内容使用几乎全部的用户视场(例如，约110度对角线)来呈现，并且在一些情况下，所显示的内容使用全部的用户视场来呈现。另外，在一些实施例中，可以通过添加或移除光学元件来调整放大的量。

在一些实施例中，光学块1130可以被设计为校正一种或多种类型的光学误差。光学误差的示例包括桶形失真或枕形失真、纵向色差或横向色差。其它类型的光学误差还可以包括：球面像差；色差；或由于透镜场曲、像散引起的误差；或任何其它类型的光学误差。在一些实施例中，提供给电子显示器1125用于显示的内容是预失真的，并且光学块630在其接收到来自电子显示器1125的基于该内容生成的图像光时，校正该失真。

振动传感器1135可以包括加速度计、陀螺仪(例如，1轴陀螺仪、2轴陀螺仪和/或三轴陀螺仪)、振动计、接触式传声器、可直接和/或间接用于测量组织振动的某种其它传感器、或它们的某种组合。在一些实施例中，振动传感器1135可以与图1中所示出的振动传感器195相对应，并集成到头戴式设备1105的接触用户身体的部分中(例如，集成到在用户佩戴着头戴式设备1105时接触用户鼻子侧面的鼻托内)。

DCA 1140采集描述头戴式设备1105周围的局部区域的深度信息的数据。在一个实施例中，DCA1140可以包括结构光投影仪、成像设备和控制器。该成像设备可以是成像设备120的实施例。结构光投影仪可以是照明器125的实施例。采集到的数据可以是由成像设备采集到的、由结构光投影仪投射到局部区域上的结构光的图像。在一个实施例中，DCA 1140可以包括两个或更多个摄像头和控制器，该两个或更多各摄像头被定向为以立体方式采集局部区域的部分。采集到的数据可以是由两个或更多个摄像头以立体方式采集的局部区域的图像。控制器使用采集到的数据计算局部区域的深度信息。控制器基于深度信息确定头戴式设备1105在局部区域内的绝对位置信息。DCA 1140可以与头戴式设备1105集成在一起，或者可以被定位在头戴式设备1105外部的局部区域内。

IMU 1145是这样的电子设备：该电子设备基于接收到的来自一个或多个位置传感器的测量信号生成指示头戴式设备1105位置的数据。位置传感器响应于头戴式设备1105的运动而生成一个或多个测量信号。位置传感器1135的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU 1145的误差校正的一类传感器、或它们的某种组合。位置传感器可以位于IMU 1145外部、IMU 1145内部、或它们的某种组合。

IMU 1145基于来自一个或多个位置传感器的一个或多个测量信号，生成指示头戴式设备1105相对于该头戴式设备1105的初始位置的估计当前位置的数据。例如，位置传感器包括用于测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和用于测量转动运动(例如，俯仰、左右摇摆以及侧倾)的多个陀螺仪。在一些实施例中，IMU 1145对测量信号进行快速地采样，并且根据所采样的数据计算头戴式设备1105的估计当前位置。例如，IMU 1145随时间对接收到的来自加速度计的测量信号进行整合来估计速度矢量，并且随时间对速度矢量进行整合来确定头戴式设备1105上的参考点的估计当前位置。替代地，IMU 1145向控制台1115提供所采样的测量信号，该控制台对数据进行解译，以减少误差。参考点是可以用于描述头戴式设备1105的位置的点。该参考点可以被概括地定义为空间中的一点，或者被概括地定义为与眼镜设备1105的方位和位置相关联的一位置。

IMU 1145接收来自控制台1115的一个或多个参数。如以下所进一步论述的，该一个或多个参数用于保持对头戴式设备1105的追踪。IMU 1145可以基于接收到的参数来调整一个或多个IMU参数(例如，采样频率)。在一些实施例中，来自DCA 1140的数据使IMU 1145对参考点的初始位置进行更新，以使该初始位置对应于该参考点的下一位置。将参考点的初始位置更新为该参考点的下一个经校准的位置有助于减少与IMU 1145的估计当前位置相关联的累积误差。累积误差(也称为漂移误差)使参考点的估计位置随时间“漂移”偏离该参考点的实际位置。在头戴式设备1105的一些实施例中，IMU 1145可以是专用硬件部件。在其它实施例中，IMU 1145可以是在一个或多个处理器中实现的软件部件。

控制器150包括一个或多个处理器，该一个或多个处理器被配置为接收由振动传感器1135生成的振动数据，并使用监测到的组织振动确定健康指标的值，其中，该健康指标描述了用户的健康和/或习惯，并且可以与生理性信号、健康事件、症状、情绪状态等相对应。如以上所论述的，控制器1150可以将来自振动传感器1135的数据输入到一个或多个模型中。在一些实施例中，该一个或多个模型可以与两个或更多个不同的模型流水线相对应，该两个或更多个不同的模型流水线例如为：对监测到的振动数据进行分割和分类以推断状态序列(例如，呼吸状态)的第一模型流水线；用于(例如，响应于检测到触发事件)检测事件并对检测到的事件进行分类的第二模型流水线。在一些实施例中，控制器1150还可以对来自振动传感器1135的数据与来自头戴式设备1105上的一个或多个其它传感器(例如IMU、温度传感器、血氧传感器、摄像头等)的数据进行交叉参考。在一些实施例中，控制器1150的一个或多个操作可以在控制台1115或其它电子设备(例如，移动设备)上实现。

I/O接口1110是允许用户发送动作请求并接收来自控制台1115的响应的设备。动作请求是对执行特定动作的请求。例如，动作请求可以是开始或结束对图像数据或视频数据的采集的指令、开始或结束音频系统1120发出声音的指令、开始或结束头戴式设备1105的校准过程的指令、或在应用内执行特定动作的指令。I/O接口1110可以包括一个或多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并向控制台1115传送该动作请求的任何其它合适的设备。由I/O接口1110接收的动作请求被传送到控制台1115，该控制台执行与该动作请求相对应的动作。在一些实施例中，I/O接口1115包括IMU1145，如以上所进一步描述的，该IMU采集校准数据，该校准数据指示I/O接口1110相对于该I/O接口1110的初始位置的估计位置。在一些实施例中，I/O接口1110可以根据接收到的来自控制台1115的指令来向用户提供触觉反馈。例如，触觉反馈在动作请求被接收时被提供，或者控制台1115向I/O接口1110传送指令，使该I/O接口1110在该控制台1115执行动作时生成触觉反馈。

控制台1115向头戴式设备1105提供内容，以用于根据接收到的来自以下中的一者或两者的信息进行处理：头戴式设备1105和I/O接口1110。在图11中所示出的示例中，控制台1115包括应用存储库1155、追踪模块1160和引擎1165。控制台1115的一些实施例具有与结合图11所描述的模块或部件不同的模块或部件。类似地，以下所进一步描述的各功能可以以与结合图11所描述的方式不同的方式而分布在控制台1115的各部件中。

应用存储库1155存储供控制台1115执行的一个或多个应用。应用是一组指令，所述指令在被处理器执行时生成用于向用户呈现的内容。由应用生成的内容可以响应于通过头戴式设备1105或I/O接口1110的移动接收到的来自用户的输入。应用的示例包括：游戏应用、会议应用、视频播放应用、校准过程、或其它合适的应用。

追踪模块1160使用一个或多个校准参数来校准系统环境1100，并且可以调整一个或多个校准参数以减小确定头戴式设备1105的位置或I/O接口1110的位置的误差。由追踪模块1160执行的校准还考虑接收到的来自头戴式设备1105中的IMU 1145、和/或被包括在I/O接口1110中的IMU 1145的信息。另外，如果失去了对头戴式设备1105的追踪，则追踪模块1160可以重新校准系统环境1100的一些或全部。

追踪模块1160使用来自以下项的信息来追踪头戴式设备1105的移动或I/O接口1110的移动：一个或多个传感器设备1135、IMU 1145、或它们的某种组合。例如，追踪模块1160基于来自头戴式设备1105的信息，确定头戴式设备1105的参考点在局部区域的地图构建中的位置。追踪模块1160还可以使用来自IMU 1145的指示头戴式设备1105的位置的数据、或使用来自被包括在I/O接口1110中的IMU 1145的指示I/O接口1110的位置的数据，来分别确定头戴式设备1105的参考点的位置、或I/O接口1110的参考点的位置。另外，在一些实施例中，追踪模块1160可以使用来自IMU 1145的指示头戴式设备1105的位置的数据中的部分来预测头戴式设备1105的未来位置。追踪模块1160向引擎1165提供头戴式设备1105或I/O接口1110的估计的或预测的未来位置。

引擎1165还在系统环境1100内执行应用，并接收来自追踪模块1160的头戴式设备1105的位置信息、加速度信息、速度信息、预测的未来位置、音频信息、或它们的某种组合。引擎1165基于接收到的信息，确定向头戴式设备1105提供以用于向用户呈现的内容。例如，如果接收到的信息指示用户看向了左边，则引擎1165生成用于头戴式设备605的如下内容：该内容反映用户在虚拟环境中的移动或在使用附加内容增强了局部区域的环境中的移动。另外，引擎1165响应于接收到的来自I/O接口1110的动作请求，在控制台1115上执行的应用内执行动作，并向用户提供该动作被执行了的反馈。所提供的反馈可以是通过头戴式设备1105的视觉反馈或听觉反馈，或者是通过I/O接口1110的触觉反馈。

附加配置信息

已经为了说明而呈现了实施例的前述描述；前述描述不旨在是详尽的、或者不旨在将专利权限制于所公开的精确形式。相关领域的技术人员可以理解的是，考虑到上述公开内容，许多修改和变型是可能的。

本说明书的一些部分描述了对信息的操作的算法表示和符号表示方面的多个实施例。数据处理领域的技术人员通常使用这些算法描述和表示，来向本领域的其他技术人员有效地传达他们工作的实质。尽管在功能上、计算上或逻辑上对这些操作进行了描述，但这些操作被理解为通过计算机程序或等效电路、或微代码等来实现。此外，在不失一般性的情况下，有时将这些操作的布置称为模块也被证明是方便的。所描述的操作及其相关联的模块可以以软件、固件、硬件或它们的任意组合来体现。

本文所描述的多个步骤、多个操作或多个过程中的任何步骤、操作或过程可以用一个或多个硬件或软件模块单独地或与其它设备组合地执行或实现。在一个实施例中，软件模块用包括计算机可读介质的计算机程序产品来实现，该计算机可读介质包括计算机程序代码，该计算机程序代码可以由计算机处理器执行以用于执行所描述的任何或全部的步骤、操作或过程。

各实施例还可以涉及用于执行本文中的操作的装置。该装置可以出于所需目的而专门构造，和/或该装置可以包括通用计算设备，该通用计算设备由存储在计算机中的计算机程序选择性地激活或重新配置。这样的计算机程序可以存储在非暂态有形的计算机可读存储介质、或适合于存储电子指令的任何类型的介质中，上述介质可以耦接到计算机系统总线。此外，在本发明中提及的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以用于增加的计算能力的架构。

各实施例还可以涉及一种由本文所描述的计算过程产生的产品。这样的产品可以包括从计算过程得到的信息，其中，该信息存储在非暂态有形计算机可读存储介质上，并且可以包括本文所描述的计算机程序产品或其它数据组合的任何实施例。

最后，本发明中所使用的语言主要是出于可读性和指导性目的而选择的，并且该语言可能不是为了界定或限制专利权而选择的。因此，专利权的范围不旨在受本具体实施方式的限制，而是由基于本文的申请所公布的任何权利要求来限制的。因此，各实施例的公开旨在对专利权的范围进行说明而非限制，在以下权利要求书中对专利权的范围进行了阐述。

Claims (15)

1.一种头戴式设备，包括：

框架；

振动传感器，所述振动传感器耦接到所述框架，所述振动传感器被配置为对佩戴着所述头戴式设备的用户的组织的振动进行监测；以及

控制器，所述控制器被配置为：

接收来自所述振动传感器的、与监测到的所述振动相对应的信号；

分析接收到的所述信号以推断接收到的所述信号的状态序列；

基于所推断的所述状态序列确定健康指标的值，以及

使用所确定的所述健康指标的值执行动作。

2.根据权利要求1所述的头戴式设备，其中，所述振动传感器位于所述框架的鼻托内。

3.根据权利要求2所述的头戴式设备，其中，所述鼻托包括包覆模制件，所述包覆模制件被配置为包围所述振动传感器的至少一部分，其中，优选地，所述包覆模制件包含被配置为容纳所述振动传感器的槽或腔，或者优选地，所述振动传感器附接到安装在所述包覆模制件内的弹簧、或附接到所述包覆模制件的柔性部分。

4.根据任一项前述权利要求所述的头戴式设备，其中，所述状态序列与所述用户的多个呼吸状态相对应。

5.根据权利要求4所述的头戴式设备，其中，所述控制器进一步被配置为：

使用第一模型将接收到的所述信号的多个片段分类成与不同呼吸阶段相对应的两个或更多个类别；以及

使用第二模型，基于由所述第一模型生成的分类结果来推断所述状态序列，其中，优选地，所述第一模型是kNN模型，或者优选地，所述第二模型是隐半马尔可夫模型(HSMM)。

6.根据权利要求4所述的头戴式设备，其中，所述控制器进一步被配置为：

基于所述状态序列确定所述用户的呼吸频率；以及

至少部分地基于所述呼吸频率来确定所述健康指标，其中，所述健康指标指示所述用户的身体状况或情绪状况。

7.根据任一项前述权利要求所述的头戴式设备，其中，所述控制器还被配置为：

监测接收到的所述信号以检测接收到的所述信号内的预定特性；

响应于检测到所述预定特性：

识别所述振动信号中与关联于所述预定特性的事件相对应的部分；

分析所述振动信号的所识别部分以对所识别的事件进行分类；以及

基于所识别的所述事件的类型执行动作。

8.根据权利要求7所述的头戴式设备，其中，所述控制器与分析接收到的所述信号以推断接收到的所述信号的状态序列并行地、监测接收到的所述信号以检测所述预定特性，或者所述控制器还被配置为对基于所推断的所述状态序列确定的所述健康指标的值与关联于所识别的所述事件的数据进行交叉参考，以确定所述用户的身体状况或情绪状况。

9.根据权利要求7或8所述的头戴式设备，其中，所述事件与所述用户的进食动作或饮用动作相对应。

10.根据权利要求9所述的头戴式设备，其中，执行所述动作包括向所述用户通知所述用户的食物消耗或液体消耗的水平、或所述用户所消耗的食物类型，或者所述控制器还被配置为监测所识别的随时间的事件以确定所述用户的习惯。

11.根据任一项前述权利要求所述的头戴式设备，其中，所述控制器还被配置为使用接收到的所述信号来确定所述用户的潮气量或呼吸流速。

12.一种计算机实现的方法，包括：

接收来自耦接到头戴式设备的框架的振动传感器的、与监测到的佩戴着所述头戴式设备的用户的组织的振动相对应的信号；

分析接收到的所述信号以推断接收到的所述信号的状态序列；

基于所推断的所述状态序列确定健康指标的值，以及

使用所确定的所述健康指标的值执行动作。

13.根据权利要求12所述的计算机实现的方法，其中，所述状态序列与所述用户的多个呼吸状态相对应。

14.根据权利要求13所述的计算机实现的方法，其中，分析接收到的所述信号以推断接收到的所述信号的状态序列包括：

使用第一模型将接收到的所述信号的多个片段分类成与不同呼吸阶段相对应的两个或更多个类别；以及

使用第二模型，基于由所述第一模型生成的分类结果来推断所述状态序列，

和/或所述第一模型是kNN模型，并且所述第二模型是隐半马尔可夫模型(HSMM)。

15.根据权利要求12至14中任一项所述的计算机实现的方法，还包括：

监测接收到的所述信号以检测接收到的所述信号内的预定特性；

响应于检测到所述预定特性，分析接收到的所述信号以识别关联于所述预定特性的事件；以及

基于所识别的所述事件的类型执行动作。