CN118019488A - 用于测量心脏和呼吸信号的系统和方法 - Google Patents

Abstract

可提供一种可穿戴电子设备，该可穿戴电子设备包括：第一图像传感器，该第一图像传感器被定向为当穿戴该可穿戴电子设备时捕获用户的眼睛周围的皮肤区域的亮度；和第二图像传感器，该第二图像传感器被定向为当穿戴该可穿戴电子设备时捕获该用户的鼻子周围的皮肤区域的亮度。该可穿戴电子设备进一步包括处理器，该处理器被配置为基于使用该第一图像传感器或该第二图像传感器中的至少一者随时间捕获的亮度的变化来确定脉冲信号。

Description

用于测量心脏和呼吸信号的系统和方法

相关申请的交叉引用

本申请要求2021年9月24日提交的名称为“SYSTEMS AND METHODS FOR MEASURINGCARDIAC AND RESPIRATORY SIGNALS”的美国临时申请63/248,356号的权益，该申请的全部内容以引用方式并入本文。

技术领域

本说明书整体涉及电子设备，包括例如使用电子设备测量心脏和呼吸信号的系统和方法。

背景技术

心脏和呼吸信号可使用专门针对该目的而设计的电子设备来估计。这些专用电子设备通常需要与身体和皮肤紧密接触，并且因此可能会刺激用户或使用户分心。

附图说明

本主题技术的一些特征在所附权利要求书中予以阐述。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。

图1是描绘根据本主题技术的各方面的可头戴式设备的部件的框图。

图2是示出根据本主题技术的各方面的由用户穿戴的可头戴式设备的图像传感器捕获的感兴趣区域的图。

图3是示出根据本主题技术的各方面的用于测量心脏速率和呼吸速率的示例处理的流程图。

图4描绘了根据本主题技术的各方面的亮度信号和真实呼吸信号。

图5描绘了根据本主题技术的各方面的信号的呼吸分析的示例。

图6示出了根据本公开的一些实施方案的可头戴式设备的框图。

具体实施方式

下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，对于本领域的技术人员来说将清楚和显而易见的是，本主题技术不限于本文示出的具体细节并且可在没有这些具体细节的情况下被实践。在一些情况下，以框图形式示出了熟知的结构和部件，以便避免使本主题技术的概念模糊。

诸如可头戴式显示器的可头戴式设备通常包括被定向为捕获关于穿戴用户的不同感兴趣区域的相机的组合。例如，由相机捕获的图像可用于可头戴式设备在其环境中的定位和映射、跟踪手部/身体姿势和移动、跟踪用于用户表示的下颌和口部、跟踪眼睛移动等。相机可以是红绿蓝(RGB)相机、红外相机或这两种类型的相机的组合。本主题技术提出在可头戴式设备中使用这些现有的相机来代替专用传感器以测量心脏和呼吸信号。

根据本主题技术的各方面，相机被用来捕获穿戴可头戴式设备的用户的不同区域的亮度值。例如，相机可捕获用户的眼睛周围或用户的鼻子周围的皮肤区域的亮度。这些随时间捕获的亮度值可用于确定穿戴用户的脉冲信号。类似地，随时间捕获的用户的胸部的亮度值可用于确定穿戴用户的呼吸信号。

图1是描绘根据本主题技术的各方面的可头戴式设备的部件的框图。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

如图1中所描绘，可头戴式设备100包括：图像传感器105、110、115、120、125和130(图像传感器105至130)、处理器140、显示单元150和155以及惯性测量单元(IMU)160。图像传感器105至130可被单独定向为捕获穿戴用户的身体上的不同感兴趣区域。例如，图像传感器105和110可被定向为捕获穿戴用户的眼睛周围的皮肤区域，如由图2中所描绘的用户200的感兴趣区域210所表示的。图像传感器115和120可被定向为捕获用户鼻子周围的诸如上脸颊的皮肤区域，如由图2中所描绘的感兴趣区域220所表示的。图像传感器125和130可被定向为捕获穿戴用户的诸如胸部区域和肩部的上身上的感兴趣区域，如由图2中所描绘的感兴趣区域230和240所表示的。图像传感器105至130可以是红外图像传感器，并且可具有相关联红外照明器以用红外光照亮相应的感兴趣区域。

处理器140可包括使得能够处理数据和/或控制可头戴式设备100的操作的合适逻辑部件、电路系统和/或代码。就这一点而言，处理器140可经启用以向可头戴式设备100的各个其他部件提供控制信号。处理器140还可控制可头戴式设备100的各个部分之间的数据传送。另外，处理器140可使得能够实现操作系统或以其他方式执行代码以管理可头戴式设备100的操作。处理器140或其一个或多个部分可在软件(例如，指令、子例程和代码)中实现，可在硬件(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、状态机、门控逻辑部件、分立硬件部件或任何其他合适设备)中实现，和/或在两者的组合中实现。

显示单元150和155被配置为向穿戴用户显示视觉信息。显示单元150和155可提供视觉(例如，图像或视频)输出。显示单元150和155可以是或包括不透明、透明和/或半透明显示器。显示单元150和155可具有透明或半透明介质，表示图像的光通过该介质被引导到用户的眼睛。显示单元150和155可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任何组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。可头戴式设备100可包括光学子组件，该光学子组件被配置为帮助光学地调整和正确地投影由显示单元150和155显示的基于图像的内容以供近距离查看。光学子组件可以包括一个或多个透镜、反射镜或其他光学设备。

IMU 160是可被配置为在可头戴式设备100被用户穿戴时测量和报告该可头戴式设备的特定力、角速率和/或定向的传感器单元。IMU 160可包括加速度计、陀螺仪和/或磁力计的组合。

图3是示出根据本主题技术的各方面的用于测量心脏速率和呼吸速率的示例处理的流程图。出于说明目的，过程300的框在本文中被描述为顺序地或线性地发生。然而，过程300的多个框可以并行地发生。此外，过程300的框不需要按所示的顺序执行，和/或过程300的一个或多个框不需要执行和/或可由其他操作替代。

过程300包括：当可头戴式设备100由用户穿戴时，用该可头戴式设备的图像传感器105至130中的一个或多个图像传感器来周期性地捕获用户的图像(框310)。例如，图像传感器105和/或110可捕获用户的眼睛周围的皮肤区域的图像。如上所述，图像传感器可以是红外图像传感器，并且可具有相关联红外照明器以照亮感兴趣区域(例如，用户的眼睛周围的皮肤区域)。可头戴式设备100可包括光密封件，该光密封件被配置为在穿戴可头戴式设备100时阻挡外部光源以免影响用户的眼睛，并且因此最小化对捕获用户的眼睛周围的感兴趣区域的图像传感器的干扰。

图像由图像传感器周期性地捕获。捕获图像的速率可受到图像传感器的能力和可用于处理图像的处理功率的限制。可以例如每秒24帧或30帧的速率来捕获图像。可使用诸如每秒10帧或5帧的较低速率来保持用于其他用途的处理功率，同时相对于所期望的心脏速率和/或呼吸速率维持足够高的采样速率。这些速率表示示例并且不旨在限制本主题技术。

由皮肤反射的光的量根据皮下血容量而改变，并且与心脏循环很好地相关。对于由图像传感器捕获的每个图像，确定亮度值并使用来自对应图像的一系列亮度值来生成亮度信号(框320)。例如，亮度值可以是捕获感兴趣区域(诸如用户的眼睛周围的皮肤区域)的所有像素的平均亮度值。亮度信号可作为脉冲信号记录或存储在存储器中。

为了移除噪声并专注于感兴趣速率，所生成的亮度信号可通过频带来滤波(框330)。例如，对于心脏信号或心脏速率，亮度信号可通过1Hz至2.5Hz的频带来滤波。该频带旨在作为示例并且在本主题技术的范围内可使用不同频带。心脏速率可基于经滤波的亮度信号中的峰值频率来确定。然后可提供指示心脏速率的经滤波的亮度信号或数值，以在由用户穿戴的可头戴式设备或与该可头戴式设备通信的另一电子设备的显示单元上向用户显示(框340)。另选地或另外地，心脏速率可与应用程序一起使用，诸如在可头戴式设备或与该可头戴式设备通信的另一电子设备上执行的放松、冥想或健身应用程序。

上述示例参考捕获用户的眼睛周围的皮肤区域的图像来确定用户的心脏速率。同一过程可用于使用用户的鼻子周围的皮肤区域的图像来确定用户的心脏速率。例如，被定向为捕获用户鼻子周围的诸如上脸颊的皮肤区域(如由图2中所描绘的感兴趣区域220所表示)的图像传感器115和120可被用来捕获图像并基于与那些图像相关联的亮度值来确定用户的心脏速率。

用一个图像传感器捕获的图像可单独地或与由第二图像传感器捕获的图像结合地使用以确定用户的心脏速率。这两个图像传感器可被定向为捕获用户的面部的不同侧上的皮肤区域，诸如图像传感器105和110各自被定向为捕获不同的相应眼睛周围的皮肤区域，或者图像传感器115和120各自被定向为捕获用户的鼻子的不同侧上的皮肤区域。另外，用户的眼睛周围的皮肤区域的图像可与用户的鼻子周围的皮肤区域的图像结合地使用。当使用多组图像时，与同时捕获的图像相关联的亮度值可被求平均或以另一种方式结合以生成亮度值以便生成亮度信号。

前述示例基于所反射的光的量根据皮下血容量而改变的概念讨论了使用来自用户的皮肤的图像的亮度值来确定心脏速率。根据本主题技术的其他方面，由于用户的移动而引起的亮度的变化可用于确定用户的呼吸速率。当用户呼吸时，细微头部运动引起用户的面部上的亮度的变化，该变化可使用朝向用户的鼻子周围的皮肤区域定向的图像传感器115和120来捕获。使用以上过程，亮度信号可基于由图像传感器捕获的一系列图像和相关联亮度值来生成。该亮度信号可作为呼吸信号记录或存储在存储器中。亮度信号可通过诸如0.1Hz至0.6Hz的频带来滤波以移除噪声并专注于呼吸速率。该频带表示一个示例，并且可使用其他频带来实践本主题技术。呼吸速率可基于经滤波的亮度信号的峰值来确定。类似于所确定的心脏速率，呼吸速率可经提供以向用户显示或与应用程序一起使用，诸如在可头戴式设备或与该可头戴式设备通信的另一电子设备上执行的放松、冥想或健身应用程序。

图4描绘了根据本主题技术的各方面的亮度信号和真实呼吸信号。如图4中所描绘，曲线图400表示从来自所捕获的用户的鼻子周围的皮肤区域的一系列图像的亮度值生成的亮度信号。曲线图410表示从呼吸传感器获得的真实呼吸信号，该呼吸传感器诸如为使用放置在用户的躯干周围的松紧带测量用户的胸部和腹壁的移动和压力变化的呼吸传感器。由正方形420突出显示的小峰值表示用户的心脏速率，而由正方形430突出显示的大峰值表示用户的呼吸速率。比较曲线图400与曲线图410表明基于亮度的变化确定的呼吸速率与使用专用传感器获得的真实呼吸速率很好地相关。

用户的胸部的运动可使用图像传感器125和130来捕获并且用于生成呼吸信号。根据本主题技术的各方面，亮度信号可以与上述方式类似的方式使用周期性捕获的用户的胸部区域的图像来生成并且经滤波以确定呼吸速率。从用户的胸部反射的光的变化可能是由阴影、光方向等的变化(作为呼吸时胸部移动的结果)引起的。

另选地，由图像传感器125和130捕获的用户的上身的图像可使用计算机视觉算法来处理，以跟踪对应于呼吸循环的上身的扩张和收缩。例如，计算机视觉算法可处理用户的上身的图像以定位诸如用户的肩部和腰部的身体关节。所定位的身体关节可用于近似上身上的感兴趣区域，诸如图2中针对胸部的感兴趣区域230和图2中针对肩部的感兴趣区域240。特征检测可用于识别感兴趣区域内的可跟踪特征。当在感兴趣区域中检测到多个特征时，检测到的特征的位置的平均值可被用作该感兴趣区域内用于跟踪用户的上身的移动的点。然后，可使用光流跟踪来跟踪感兴趣胸部区域230中的点与感兴趣肩部区域240中的一个感兴趣肩部区域中的点的相对位置，并且捕获一连串所捕获的图像上的两个点之间的距离以生成反映用户的呼吸活动的振荡信号。所捕获的图像的速率可受到图像传感器的能力的限制。例如，以每秒30帧的速率捕获图像的图像传感器可以30Hz的速率提供图像和用于振荡信号的对应距离值。功率和/或处理限制可进一步将该速率限制为低于图像传感器的帧速率(例如，5Hz)。

图5描绘了根据本主题技术的各方面的信号的呼吸分析的示例。例如，曲线图510描绘了由点表示的相对于使用由用户穿戴的机械胸带捕获的真实信号的检测到的呼吸速率。该呼吸速率可使用在一定时间段(例如，一分钟、五分钟等)内累积的上述所生成的振荡信号的数据来检测。可对累积的数据执行功率谱分析，以确定振荡信号内的不同频率的功率水平。将功率谱的分析限制到呼吸频率范围(例如，4次呼吸/分钟到15次呼吸/分钟)内的频率，在该范围内具有最高功率水平的频率可用作该时间段内的检测到的呼吸速率(例如，6次呼吸/分钟)。检测到的呼吸速率可经检测并且在一定时间段或一段活动结束时呈现给用户，或者可经检测并且在该时间段或该段活动期间呈现。

根据本主题技术的各方面，曲线图520描绘了相对于真实信号将所生成的振荡信号分割成吸气周期和呼气周期。该分割可使用振荡信号的导数来执行，其中正导数指示由上身的扩张(即，吸气)导致的上升振荡信号，并且负导数指示由上身的收缩(即，呼气)导致的下降振荡信号。可用比上述用于呼吸速率检测的数据窗口更短的数据窗口来确定吸气周期和呼气周期的分割。例如，振荡信号的前2秒至3秒的数据可用来确定分割。可使用不同视觉指示器和/或不同音频信号来将吸气周期和呼气周期呈现给用户。

根据本主题技术的各方面，曲线图530描绘了来自所生成的振荡信号的用户的呼吸的完整时间序列近似。振荡信号可能有噪声并且可随时间漂移。因此，可对所生成的振荡信号进行归一化和平滑化以提供完整时间序列近似。例如，可确定先前时间段(例如，5秒至10秒)的所生成的振荡信号的平均值和方差，并且可通过从振荡信号值减去平均值并将结果除以方差来归一化振荡信号。可通过对先前时间段(例如，一秒)内的信号求平均来进行振荡信号的平滑化。所得完整时间序列近似可经提供以向用户显示和/或被提供给应用程序以供进一步分析。

根据本主题技术的方面，图像传感器115和120可被配置为随时间捕获用户的鼻孔的图像。可使用计算机视觉算法来跟踪吸气和呼气期间鼻孔尖端的移动。用户的鼻孔的这种移动可用于生成信号以确定用户的呼吸速率。

基于所捕获的用户的鼻子周围的皮肤区域的图像的呼吸信号可被求平均，或者以另一种方式与从上述所生成的振荡信号确定的呼吸信号相结合以确定用户的呼吸速率。另外，来自IMU 160和/或视觉-惯性测距(VIO)算法的测量结果可用于检测穿戴用户的细微头部移动。这些检测到的头部移动可用于生成信号，该信号可与从上述所生成的振荡信号确定的呼吸信号相结合以确定用户的呼吸速率。此外，布置在可头戴式设备100中的一个或多个麦克风可被配置为捕获呼吸噪声，呼吸信号可从该呼吸噪声生成。该呼吸信号可与上述其他呼吸信号相结合以确定用户的呼吸速率。

可头戴式设备可由用户穿戴以在用户的视场内显示视觉信息。可头戴式设备可用作虚拟现实系统、增强现实系统和/或混合现实系统。用户可观察由可头戴式设备提供的输出，诸如在显示器上提供的视觉信息。显示器可任选地允许用户观察在可头戴式设备外部的环境。由可头戴式设备提供的其他输出可包括扬声器输出和/或触觉反馈。用户可通过提供输入以供可头戴式设备的一个或多个部件进行处理来进一步与该可头戴式设备交互。例如，在设备安装到用户的头部的同时，该用户可以提供触觉输入、语音命令和其他输入。

物理环境是指人们在不必需要电子设备的帮助的情况下可与其交互和/或对其进行感测的物理世界。计算机生成的现实环境涉及人们在具有电子设备的帮助的情况下对其进行感测和/或与其交互的部分或完全模拟的环境。计算机生成现实的示例包括但不限于混合现实和虚拟现实。混合现实的示例可包括增强现实和增强虚拟。使得人能够感测各种计算机生成的现实环境和/或与各种计算机生成的现实环境交互的电子设备的示例包括：可头戴式设备、基于投影的设备、平视显示器(HUD)、具有集成显示能力的车辆挡风玻璃、具有集成显示能力的窗户、被形成为设计成放置在人的眼睛上的透镜(例如类似于隐形眼镜)的显示器、耳机/听筒、扬声器阵列、输入设备(例如具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话以及台式/膝上型计算机。可头戴式设备可具有集成不透明显示器，具有透明或半透明显示器，或者被配置为接受来自另一设备(例如，智能电话)的外部不透明显示器。

图6是根据本主题技术的各方面的可头戴式设备100的框图。应当理解，可在可头戴式设备100的框架和/或固定元件中的任一个或两个上设有本文所述的部件。应当理解，可在本主题公开的范围内利用附加部件、不同部件或比所示的那些更少的部件。

如图6中所示，可头戴式设备100可包括具有一个或多个处理单元的控制器602(例如，控制电路系统)，该一个或多个处理单元包括或被配置为访问在其上存储有指令的存储器604。该指令或计算机程序可被配置为执行相对于可头戴式设备100所述的操作或功能中的一者或多者。控制器602可作为能够处理、接收或发送数据或指令的任何电子设备来实现。例如，控制器602可包括以下项中的一者或多者：微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP)或此类设备的组合。如本文所述，术语“处理器”意在涵盖单个处理器或处理单元、多个处理器、多个处理单元或一个或多个其他适当配置的计算元件。

存储器604可存储可由可头戴式设备100使用的电子数据。例如，存储器604可存储电子数据或内容，诸如例如音频和视频文件、文档和应用程序、设备设置和用户偏好、用于各种模块、数据结构或数据库的定时和控制信号或数据等。存储器604可被配置为任何类型的存储器。仅以举例的方式，存储器604可被实现为随机存取存储器、只读存储器、闪存存储器、可移除存储器或其他类型的存储元件或此类设备的组合。

可头戴式设备100可进一步包括用于为用户显示视觉信息的显示单元606。显示单元606可提供视觉(例如，图像或视频)输出。显示单元606可以是或包括不透明，透明和/或半透明显示器。显示单元606可具有透明或半透明介质，代表图像的光通过该介质被引导到用户的眼睛。显示单元606可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任何组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。可头戴式设备100可包括光学子组件，该光学子组件被配置为帮助光学地调整和正确地投影由显示单元606显示的基于图像的内容以供近距离查看。光学子组件可以包括一个或多个透镜、反射镜或其他光学设备。

可头戴式设备100可包括输入/输出部件610，该输入/输出部件可包括用于将可头戴式设备100连接到其他设备的任何合适的部件。合适的部件可包括例如音频/视频插孔、数据连接器、或任何附加的或另选的输入/输出部件。输入/输出部件610可包括按钮、按键或者可充当供用户操作的键盘的另一特征部。输入/输出部件610可包括麦克风。麦克风可以可操作地连接到控制器602以用于声音水平的检测和检测的传达以用于进一步处理，如本文进一步所描述的。输入/输出部件610还可包括扬声器。扬声器可以可操作地连接到控制器602以控制包括声音水平的扬声器输出，如本文进一步所描述的。

可头戴式设备100可包括一个或多个其他传感器612。此类传感器可以被配置为基本上感测任何类型的特性，诸如但不限于图像、压力、光、触摸、力、温度、位置、运动等。例如，传感器可以是光电探测器、温度传感器、光或光学传感器、大气压力传感器、湿度传感器、磁体、陀螺仪、加速度计、化学传感器、臭氧传感器、微粒计数传感器等等。通过进一步的示例，该传感器可以是用于跟踪生物特征特性(诸如健康和活动量度)的生物传感器。其他用户传感器可执行面部特征检测、面部移动检测、面部识别、眼睛跟踪、用户情绪检测、用户情感检测、语音检测等。传感器612可包括图像传感器105至130以及IMU 160。

可头戴式设备100可包括用于使用任何合适的通信协议与一个或多个服务器或其他设备通信的通信电路系统614。例如，通信电路系统614可支持Wi-Fi(例如，802.11协议)、以太网、蓝牙、高频系统(例如，900MHz、2.4GHz和5.6GHz通信系统)、红外、TCP/IP(例如，TCP/IP层中的每个层中所使用的协议中的任何协议)、HTTP、BitTorrent、FTP、RTP、RTSP、SSH、任何其他通信协议或它们的任何组合。通信电路系统614还可包括用于发射和接收电磁信号的天线。

可头戴式设备100可包括电池616，该电池可对可头戴式设备100的部件充电和/或供电。电池也可对连接到可头戴式设备100的部件充电和/或供电。

尽管相对于可头戴式设备示出了本公开的各种实施方案和方面，但应当理解，主题技术可涵盖并应用于其他电子设备。此类电子设备可为或包括台式计算设备、膝上型计算设备、显示器、电视、便携式设备、电话、平板计算设备、移动计算设备、可穿戴设备、手表和/或数字媒体播放器。

可以利用编写有一个或多个指令的有形计算机可读存储介质(或一种或多种类型的多个有形计算机可读存储介质)部分地或全部地实现本公开范围之内的具体实施。有形计算机可读存储介质实质上也可以是非暂态的。

计算机可读存储介质可以是任何可以由通用或专用计算设备读、写或以其他方式访问的存储介质，包括任何能够执行指令的处理电子器件和/或处理电路。例如，非限制地，计算机可读介质可包括任何易失性半导体存储器，诸如RAM、DRAM、SRAM、T-RAM、Z-RAM和TTRAM。计算机可读介质也可包括任何非易失性半导体存储器，诸如ROM、PROM、EPROM、EEPROM、NVRAM、闪存、nvSRAM、FeRAM、FeTRAM、MRAM、PRAM、CBRAM、SONOS、RRAM、NRAM、赛道存储器、FJG和Millipede存储器。

此外，计算机可读存储介质可包括任何非半导体存储器，诸如光盘存储装置、磁盘存储装置、磁带、其他磁性存储设备或者能够存储一个或多个指令的任何其他介质。在一个或多个具体实施中，有形计算机可读存储介质可直接耦接到计算设备，而在其他具体实施中，有形计算机可读存储介质可例如经由一个或多个有线连接、一个或多个无线连接、或它们的任意组合而间接地耦接到计算设备。

指令可以是直接能执行的，或者可用于开发可执行指令。例如，指令可被实现为可执行的或不可执行的机器代码，或者可被实现为可被编译以产生可执行的或不可执行的机器代码的高级语言指令。此外，指令也可被实现为数据，或者可包括数据。计算机可执行指令也可以任何格式组织，包括例程、子例程、程序、数据结构、对象、模块、应用程序、小程序、函数等。如本领域技术人员认识到的那样，包括但不限于指令的数量、结构、序列和组织的细节可明显不同，而不改变底层的逻辑、功能、处理和输出。

虽然以上论述主要涉及执行软件的微处理器或多核处理器，但一个或多个具体实施由一个或多个集成电路诸如ASIC或FPGA执行。在一个或多个具体实施中，此类集成电路执行存储在电路自身上的指令。

根据本主题技术的各方面，提供了一种可头戴式设备，该可头戴式设备包括：第一图像传感器，该第一图像传感器被定向为在穿戴该可头戴式设备时捕获用户的眼睛周围的皮肤区域的亮度；和第二图像传感器，该第二图像传感器被定向为在穿戴该可头戴式设备时捕获用户的鼻子周围的皮肤区域的亮度。该设备进一步包括处理器，该处理器被配置为基于使用第一图像传感器或第二图像传感器中的至少一者随时间捕获的亮度的变化来确定脉冲信号。

该处理器可被进一步配置为基于由第一图像传感器捕获的亮度的变化和由第二图像传感器捕获的亮度的变化的平均值来确定脉冲信号。该处理器可被进一步配置为在第一频带中对由第一图像传感器或第二图像传感器随时间捕获的亮度的变化进行滤波以获得脉冲信号。第一图像传感器可以是红外图像传感器。该可头戴式设备可进一步包括被定向为照亮用户的眼睛周围的皮肤区域的红外照明器。该可头戴式设备可进一步包括光密封件，该光密封件被配置为阻挡用户的眼睛周围的皮肤区域免受外部光源的影响。

该可头戴式设备可进一步包括被定向为在穿戴该可头戴式设备时捕获用户的胸部的一部分的图像的第三图像传感器。第二图像传感器可被配置为当穿戴该可头戴式设备时捕获用户的鼻孔的图像。处理器可被配置为使用由第二图像传感器捕获的图像基于检测到的用户的鼻孔随时间的运动或使用由第三图像传感器捕获的图像基于检测到的用户的胸部的运动来确定呼吸信号。

第三图像传感器，该第三图像传感器被定向为当穿戴该可头戴式设备时捕获用户的胸部的一部分的亮度。处理器可被进一步配置为基于使用第二图像传感器或第三图像传感器中的至少一者随时间捕获的亮度的变化来确定呼吸信号。处理器可被进一步配置为基于由第二图像传感器捕获的亮度的变化和由第三图像传感器捕获的亮度的变化的平均值来确定呼吸信号。

可头戴式设备可进一步包括被配置为检测可头戴式设备的运动的惯性测量单元。处理器可被进一步配置为基于由惯性测量单元检测到的可头戴式设备的运动和由第二图像传感器或第三图像传感器中的至少一者捕获的亮度的变化来确定呼吸信号。处理器可被进一步配置为在第二频带中对由第二图像传感器或第三图像传感器中的至少一者随时间捕获的亮度的变化进行滤波以获得呼吸信号。

第二图像传感器和第三图像传感器可以是单个图像传感器。第二图像传感器和第三图像传感器可以是红外图像传感器。可头戴式设备可进一步包括被定向为照亮用户的鼻子周围的皮肤区域和用户的胸部的部分的红外照明器。可头戴式设备可进一步包括显示单元，其中处理器可被进一步配置为提供脉冲信号或呼吸信号以在该显示单元上向用户显示。

根据本主题技术的各方面，提供了一种可头戴式设备，该可头戴式设备包括：第一红外图像传感器，该第一红外图像传感器被定向为在穿戴该可头戴式设备时捕获用户的眼睛周围的皮肤区域的亮度；第二红外图像传感器，该第二红外图像传感器被定向为在穿戴该可头戴式设备时捕获用户的鼻子周围的皮肤区域的亮度；第三红外图像传感器，该第三红外图像传感器被定向为在穿戴该可头戴式设备时捕获用户的胸部的一部分的亮度；和惯性测量单元，该惯性测量单元被配置为检测该可头戴式设备的运动。处理器被配置为基于使用第一红外图像传感器或第二红外图像传感器中的至少一者随时间捕获的亮度的变化来确定脉冲信号，并且基于使用第二红外图像传感器或第三红外图像传感器中的至少一者随时间捕获的亮度的变化以及基于由惯性测量单元检测到的可头戴式设备的运动来确定呼吸信号。

处理器可被进一步配置为基于由第一红外图像传感器捕获的亮度的变化和由第二红外图像传感器捕获的亮度的变化的平均值来确定脉冲信号。处理器可被进一步配置为基于由第二红外图像传感器捕获的亮度的变化和由第三红外图像传感器捕获的亮度的变化的平均值来确定呼吸信号。处理器可被进一步配置为在第一频带中对由第一红外图像传感器或第二红外图像传感器中的至少一者随时间捕获的亮度的变化进行滤波以获得脉冲信号。处理器可被进一步配置为在第二频带中对由第二红外图像传感器或第三红外图像传感器中的至少一者随时间捕获的亮度的变化进行滤波以获得呼吸信号。

根据本主题技术的各方面，提供了一种方法，该方法包括：利用由用户穿戴的可头戴式设备的第一图像传感器来周期性地捕获用户的眼睛周围的皮肤区域的第一多个图像；确定该第一多个图像中的每个图像的亮度值以生成第一亮度信号；通过第一频带对该第一亮度信号进行滤波以确定心脏速率；以及提供该心脏速率以供显示。

该方法可进一步包括：利用由用户穿戴的可头戴式设备的第二图像传感器来周期性地捕获用户的鼻子周围的皮肤区域的第二多个图像；确定该第二多个图像中的每个图像的亮度值以生成第二亮度信号；以及对该第一亮度信号和该第二亮度信号求平均以生成第一平均亮度信号。该第一平均亮度信号通过第一频带进行滤波以确定心脏速率。

该方法可进一步包括：利用由用户穿戴的可头戴式设备的第三图像传感器来周期性地捕获用户的胸部的一部分的第三多个图像；确定该第三多个图像中的每个图像的亮度值以生成第三亮度信号；通过第二频带对该第三亮度信号进行滤波以确定呼吸速率；以及提供该呼吸速率以供在由用户穿戴的可头戴式设备的显示器上显示。该方法可进一步包括：对第二亮度信号和第三亮度信号求平均以生成第二平均亮度信号，其中该第二平均亮度信号通过第二频带进行滤波以确定呼吸速率。该方法可进一步包括：使用惯性测量单元来周期性捕获可头戴式设备的运动；以及将所捕获的运动与第三亮度信号相组合，其中组合的捕获运动和第三亮度信号通过第二频带进行滤波以确定呼吸速率。

如本文所述，本主题技术的各方面可包括采集和使用数据。本公开设想，在一些实例中，所采集的数据可包括唯一地识别或可用于定位或联系特定人员的个人信息或其他数据。本公开设想负责收集、分析、公开、传送、存储或其他使用此类个人信息或其他数据的实体将遵守既定隐私实践和/或隐私政策。本公开还设想了用户可选择性地阻止使用或访问个人信息或其他数据(例如，被管理以使无意或未授权访问或使用的风险最小化)的实施方案。

除非特别指出，否则以单数形式提及的元素并不意味着是唯一的，而是指一个或多个。例如，“一个”模块可指一个或多个模块。以“一个”，“一种”，“该”或“所述”为前缀的元素在没有进一步的限制的情况下不排除存在附加的相同元素。

标题和副标题(如果有的话)仅用于方便，并不限制本发明。“示例性”一词用于表示用作示例或说明。在使用术语“包括”、“具有”等的意义上，此类术语旨在以类似于术语“包含”的方式是包含性的，因为在用作权利要求中的过渡词时解释为包含。诸如“第一”和“第二”等的关系术语可用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的此类关系或顺序。

短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、构型、该构型、另一构型、一些构型、一个或多个构型、主题技术、公开、本公开、其他变型等等都是为了方便，并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的，或者此类公开适用于主题技术的所有构型。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面，反之亦然，并且这与其他前述短语类似地应用。

在一系列项目之前的短语“至少一个”，用术语“和”或“或”分开项目中的任一者，将列表作为整体修改而不是列表中的每个成员。短语“至少一个”不需要选择至少一个项目；相反，该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。以举例的方式，短语“A、B和C中的至少一个”或“A、B或C中的至少一个”中的每个短语仅指A、仅指B或仅指C；A、B和C的任意组合；和/或A、B和C中的每一个中的至少一个。

应该理解，公开的步骤、操作或过程的具体顺序或层次是示例性方法的说明。除非另有明确说明，否则可理解的是，步骤、操作或过程的具体顺序或层次可以不同的顺序执行。步骤、操作或过程中的一些可同时执行。所附方法权利要求书(如果有的话)以示例顺序呈现各个步骤、操作或过程的元素，并不意味着限于所呈现的具体顺序或层次。这些可以串行、线性、并行或不同的顺序执行。应当理解，所描述的指令、操作和系统通常可一起集成在单个软件/硬件产品中，或者被封装到多个软件/硬件产品中。

在一个方面，术语“耦接”等可指代直接耦接。另一方面，术语“联接”等可指间接联接。

术语诸如顶部、底部、前部、后部、侧部、水平、竖直等是指任意的参照系，而不是指通常的重力参照系。因此，此类术语可在重力参考系中向上、向下、对角或水平延伸。

提供本公开是为了使本领域的技术人员能够实践本文所述的各个方面。在一些情况下，以框图形式示出了熟知的结构和部件，以便避免使本主题技术的概念模糊。本公开提供了本主题技术的各种示例，并且本主题技术不限于这些示例。这些方面的各种修改对于本领域技术人员将是显而易见的，并且这里描述的原理可应用于其他方面。

本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文，并且旨在被权利要求书所涵盖。此外，本文所公开的任何内容并非旨在提供给公众，而与该公开是否明确地被陈述在权利要求中无关。根据35U.S.C.§112第六段的规定，不需要解释任何权利要求元素，除非使用短语“方法用以”明确陈述了该元素，或者就方法权利要求而言，使用短语“步骤用以”陈述了该元素。

标题、背景、附图的简要说明、摘要和附图在此被结合到本公开中，并且被提供作为本公开的说明性示例，而不是作为限制性描述。认为它们不会被用来限制权利要求的范围或含义。此外，在详细描述中可看出，出于使本公开简化的目的，描述提供了例示性示例，并且各种特征在各种具体实施中被组合在一起。公开的方法不应被解释为反映所要求保护的主题需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如权利要求所反映的，发明主题在于少于单个公开的构型或操作的所有特征。权利要求由此被并入到具体实施方式中，每个权利要求本身作为单独要求保护的主题。

权利要求不旨在限于本文所述的方面，而是要被赋予与权利要求的语言一致的全部范围，并且涵盖所有的法律等同物。尽管如此，这些权利要求都不包含不符合适用专利法要求的主题，也不应该以此类方式解释。

Claims (22)

1.一种可头戴式设备，包括：

第一图像传感器，所述第一图像传感器被定向为捕获眼睛周围的第一皮肤区域的第一亮度；

第二图像传感器，所述第二图像传感器被定向为捕获鼻子周围的第二皮肤区域的第二亮度；和

处理器，所述处理器被配置为基于使用所述第一图像传感器或所述第二图像传感器中的至少一者随时间捕获的所述第一亮度或所述第二亮度中的至少一者的变化来确定脉冲信号。

2.根据权利要求1所述的可头戴式设备，其中所述处理器被进一步配置为基于由所述第一图像传感器捕获的所述第一亮度的所述变化和由所述第二图像传感器捕获的所述第二亮度的所述变化的平均值来确定所述脉冲信号。

3.根据权利要求1所述的可头戴式设备，其中所述处理器被进一步配置为在第一频带中对由所述第一图像传感器或所述第二图像传感器随时间捕获的所述第一亮度或所述第二亮度中的至少一者的所述变化进行滤波以获得所述脉冲信号。

4.根据权利要求1所述的可头戴式设备，其中所述第一图像传感器是红外图像传感器。

5.根据权利要求4所述的可头戴式设备，进一步包括被定向为照亮所述眼睛周围的所述第一皮肤区域的红外照明器。

6.根据权利要求1所述的可头戴式设备，进一步包括光密封件，所述光密封件被配置为阻挡所述眼睛周围的所述第一皮肤区域免受外部光源的影响。

7.根据权利要求1所述的可头戴式设备，进一步包括：

第三图像传感器，所述第三图像传感器被定向为捕获胸部的一部分的图像，

其中所述第二图像传感器被进一步配置为捕获鼻孔的图像，并且其中所述处理器被进一步配置为使用由所述第二图像传感器捕获的所述图像基于检测到的所述鼻孔随时间的运动或者使用由所述第三图像传感器捕获的所述图像基于检测到的所述胸部的运动来确定呼吸信号。

8.根据权利要求7所述的可头戴式设备，进一步包括：

惯性测量单元，所述惯性测量单元被配置为检测所述可头戴式设备的运动，

其中所述处理器被进一步配置为基于由所述惯性测量单元检测到的所述可头戴式设备的所述运动和由所述第二图像传感器或所述第三图像传感器中的至少一者捕获的所述第一亮度或所述第二亮度中的至少一者的所述变化来确定所述呼吸信号。

9.根据权利要求7所述的可头戴式设备，其中所述处理器被进一步配置为在第二频带中对由所述第二图像传感器或所述第三图像传感器中的至少一者随时间捕获的所述第一亮度或所述第二亮度中的至少一者的所述变化进行滤波以获得所述呼吸信号。

10.根据权利要求7所述的可头戴式设备，其中所述第二图像传感器和所述第三图像传感器是单个图像传感器。

11.根据权利要求7所述的可头戴式设备，其中所述第二图像传感器和所述第三图像传感器是红外图像传感器。

12.根据权利要求11所述的可头戴式设备，进一步包括被定向为照亮所述鼻子周围的所述第二皮肤区域和所述胸部的所述一部分的红外照明器。

13.根据权利要求7所述的可头戴式设备，进一步包括：

显示单元，

其中所述处理器被进一步配置为提供所述脉冲信号或所述呼吸信号中的至少一者以供在所述显示单元上显示。

14.一种可头戴式设备，包括：

第一红外图像传感器，所述第一红外图像传感器被定向为捕获眼睛周围的第一皮肤区域的第一亮度；

第二红外图像传感器，所述第二红外图像传感器被定向为捕获鼻子周围的第二皮肤区域的第二亮度；

第三红外图像传感器，所述第三红外图像传感器被定向为捕获胸部的一部分的第三亮度；

惯性测量单元，所述惯性测量单元被配置为检测所述可头戴式设备的运动；以及

处理器，所述处理器被配置为：(1)基于使用所述第一红外图像传感器或所述第二红外图像传感器中的至少一者随时间捕获的所述第一亮度或所述第二亮度中的至少一者的变化来确定脉冲信号；以及(2)基于使用所述第二红外图像传感器或所述第三红外图像传感器中的至少一者随时间捕获的所述第二亮度或所述第三亮度中的至少一者的变化并且基于由所述惯性测量单元检测到的所述可头戴式设备的所述运动来确定呼吸信号。

15.根据权利要求14所述的可头戴式设备，其中所述处理器被进一步配置为基于由所述第一红外图像传感器捕获的所述第一亮度的所述变化和由所述第二红外图像传感器捕获的所述第二亮度的所述变化的平均值来确定所述脉冲信号。

16.根据权利要求14所述的可头戴式设备，其中所述处理器被进一步配置为基于由所述第二红外图像传感器捕获的所述第二亮度的所述变化和由所述第三红外图像传感器捕获的所述第三亮度的所述变化的平均值来确定所述呼吸信号。

17.根据权利要求14所述的可头戴式设备，其中所述处理器被进一步配置为在第一频带中对所述第一亮度或所述第二亮度中的至少一者随时间的所述变化进行滤波以获得所述脉冲信号。

18.根据权利要求14所述的可头戴式设备，其中所述处理器被进一步配置为在第二频带中对所述第二亮度或所述第三亮度中的至少一者随时间的所述变化进行滤波以获得所述呼吸信号。

19.一种方法，包括：

利用可头戴式设备的第一图像传感器来周期性地捕获眼睛周围的第一皮肤区域的第一多个图像；

确定所述第一多个图像中的每个图像的第一亮度值以生成第一亮度信号；

利用所述可头戴式设备的第二图像传感器来周期性地捕获鼻子周围的第二皮肤区域的第二多个图像；

确定所述第二多个图像中的每个图像的第二亮度值以生成第二亮度信号；

对所述第一亮度信号和所述第二亮度信号求平均以生成第一平均亮度信号；

通过第一频带对所述第一平均亮度信号进行滤波以确定心脏速率；以及

提供所述心脏速率以供显示。

20.根据权利要求19所述的方法，进一步包括：

利用所述可头戴式设备的第三图像传感器来周期性地捕获胸部的一部分的第三多个图像；

确定所述第三多个图像中的每个图像的第三亮度值以生成第三亮度信号；

通过第二频带对所述第三亮度信号进行滤波以确定呼吸速率；以及

提供所述呼吸速率以在所述可头戴式设备的显示单元上显示。

21.根据权利要求20所述的方法，进一步包括：

对所述第二亮度信号和所述第三亮度信号求平均以生成第二平均亮度信号，

其中所述第二平均亮度信号通过所述第二频带进行滤波以确定所述呼吸速率。

22.根据权利要求20所述的方法，进一步包括：

使用惯性测量单元来周期性捕获所述可头戴式设备的运动；以及

组合所捕获的运动与所述第三亮度信号，其中组合的所捕获的运动和所述第三亮度信号通过所述第二频带进行滤波以确定所述呼吸速率。