CN112512411A - 使用电子设备的情境感知呼吸率确定 - Google Patents

使用电子设备的情境感知呼吸率确定 Download PDF

Info

Publication number
CN112512411A
CN112512411A CN201980050737.5A CN201980050737A CN112512411A CN 112512411 A CN112512411 A CN 112512411A CN 201980050737 A CN201980050737 A CN 201980050737A CN 112512411 A CN112512411 A CN 112512411A
Authority
CN
China
Prior art keywords
sensor data
electronic device
subject
context
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980050737.5A
Other languages
English (en)
Other versions
CN112512411B (zh
Inventor
麦德·马布布尔·拉曼
况吉龙
高军
纳索·布鲁曼德
易卜拉欣·内玛蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112512411A publication Critical patent/CN112512411A/zh
Application granted granted Critical
Publication of CN112512411B publication Critical patent/CN112512411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0803—Recording apparatus specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

用于情境感知地确定呼吸的方法，包括：由电子设备获得情境信息，并且由电子设备基于情境信息选择与对象的呼吸活动相关联的一组传感器数据。该方法还包括基于所选择的一组传感器数据从用于确定对象的呼吸率的多种算法中选择算法，并且通过将所选择的算法应用于与对象的呼吸活动相关联的所选择的一组传感器数据来确定对象的呼吸率。

Description

使用电子设备的情境感知呼吸率确定
技术领域
本发明大体上涉及健康测量技术。更具体地，本公开涉及使用一个或多个电子设备的情境感知呼吸率确定。
背景技术
呼吸率或每分钟呼吸次数可以是关于人的心肺健康的高度有效的数据，并且在患有诸如慢性阻塞性肺病(COPD)的状况的患者的情况下，是患者状况的潜在致命恶化的早期指标。另外，当与其它心肺状况的度量(例如氧饱和度(SpO2))结合使用时，呼吸率可以提供丰富的关于患者的心肺健康的信息。
智能电子设备(例如智能移动电话)已经变得广泛可用，并且对于许多人来说是始终佩戴的不可缺少的生活方式配件，该智能电子设备可以包括多种传感器(例如，麦克风和运动测量传感器)。从临床的角度来看，利用便携式且始终由人携带的设备测量呼吸率为早期检测和治疗其它重要的甚至致命的心肺事件提供了显著的机会。然而，这种测量技术的实施存在许多技术挑战，包括但不限于，跨越测量环境时设备的传感器的有效性的变化。
发明内容
本公开提供了用于使用一个或多个电子设备的情境感知呼吸率确定的系统和方法。
在第一实施例中，用于情境感知呼吸确定的方法包括：由电子设备获得情境信息；以及由电子设备基于情境信息来选择与对象的呼吸活动相关联的一组传感器数据。该方法还包括基于所选择的一组传感器数据从用于确定对象的呼吸率的多种算法中选择算法，并且通过将所选择的算法应用于与对象的呼吸活动相关联的所选择的一组传感器数据来确定对象的呼吸率。
在第二实施例中，装置包括处理器、一个或多个传感器和存储器，其中，一个或多个传感器联接到处理器并且经配置以捕获一组或多组传感器数据。存储器包括计算机可读程序代码，当计算机可读程序代码被处理器执行时，计算机可读程序代码使得装置：获得情境信息，并基于情境信息选择与对象的呼吸活动相关联的一组传感器数据。存储器还包括计算机可读程序代码，当计算机可读程序代码被处理器执行时，计算机可读程序代码使得装置：基于所选择的一组传感器数据从用于确定对象的呼吸率的多种算法中选择算法，并且通过将所选择的算法应用于与对象的呼吸活动相关联的所选择的一组传感器数据来确定对象的呼吸率。
在第三实施例中，非暂时性计算机可读介质包括程序代码，程序代码在由处理器执行时使装置：获得情境信息并基于情境信息选择与对象的呼吸活动相关联的一组传感器数据。另外，该非暂时性计算机可读介质包括程序代码，当该程序代码被处理器执行时，该程序代码使得该装置：基于所选择的一组传感器数据从用于确定对象的呼吸率的多种算法中选择算法，并且通过将所选择的算法应用于与对象的呼吸活动相关联的所选择的一组传感器数据来确定对象的呼吸率。
根据所附的附图、说明和权利要求，其它技术特征对于本领域技术人员来说是显而易见的。
在进行以下详细描述之前，阐述贯穿本专利文件使用的某些词和短语的定义可能是有利的。术语“联接”及其派生词是指两个或多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”以及其派生词包括直接和间接通信。术语“包括(include)”和“包括(comprise)”以及其派生词意指非限制性地包括。术语“或”是包括性的，意味着和/或。短语“与…相关联”以及其派生词意味着包括、被包括在…内、与…互连、包括、被包括在…内、连接到或与…连接、联接到或与…联接、可与…通信、与…协作、交织、并列、接近、绑定到或与…绑定、具有、具有…的特性、与具有…的关系、等等。术语“控制器”是指控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。短语“至少一个”当与项目列表一起使用时，意味着可以使用所列项目中的一个或多个的不同组合，并且可以仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任一者：A、B、C、A和B、A和C、B和C以及A和B和C。
此外，下面描述的各种功能可以由一个或多个计算机程序来实现或支持，每个计算机程序由计算机可读程序代码形成，并包括在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、示例、相关数据，或其适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其它类型的存储器。“非暂时性”计算机可读介质排除了有线、无线、光或其它通信链路，这些链路传输暂时性电或其它信号。非暂时性计算机可读介质包括可以永久存储数据的介质，并且可以包括可以存储数据并随后重写数据的介质，例如可重写光盘或可擦除存储设备。
在整个本专利文件中提供了对其它某些单词和短语的定义。本领域普通技术人员应该理解，在许多情况下(如果不是大多数情况下)，这样的定义适用于如此定义的单词和短语的现有以及将来的使用。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：
图1示出了其中可以实现根据本公开的各种实施例的电子设备的示例；
图2示出了根据本公开的各种实施例的测量对象的呼吸率的移动设备的示例；
图3示出了根据本公开的某些实施例的用于执行情境感知地确定对象呼吸率的方法的操作；
图4示出了根据本公开的某些实施例的用于基于一个或多个学习模型来确定对象的呼吸率的情境、传感器数据的类型和算法的组合；
图5示出了根据本公开的一些实施例的用于使用装置来确定和映射情境、传感器数据的类型以及用于确定对象的呼吸率的算法的组合的方法的各方面；以及
图6示出了根据本公开的一些实施例的用于执行情境感知呼吸率确定的方法的操作；
图7示出了根据本公开的各种实施例的用于在所选择的测量模式中监视用户的呼吸率的方法的操作；
图8示出了根据本公开的某些实施例，当设备处于连续测量模式时，用于提供跨情境改变的无缝转换的处理流程图的各方面；以及
图9示出了根据本公开的某些实施例的用于在以事件触发测量模式操作的同时执行情境感知呼吸率测量的方法的操作。
具体实施方式
下面讨论的图1至图9以及用于描述本专利文件中的本公开的原理的各种实施例仅仅是示例性的，而不应以任何方式解释为限制本公开的范围。所属领域的技术人员将了解，本发明的原理可实施于任何适当布置的无线通信系统中。
图1示出了根据本公开的用于实现对呼吸率的情境感知的确定的设备100的示例。图1所示的设备100的实施例仅用于说明，其它配置也是可能的。然而，合适的设备具有多种配置，并且图1不将本公开的范围限制于设备的任何特定实现方式。
如图1的非限制性示例所示，设备100包括通信单元110、发射(TX)处理电路115、麦克风120和接收(RX)处理电路125，通信单元110可以包括例如射频(RF)收发器、收发器或收发器等。设备100还包括扬声器130、主处理器140、输入/输出(I/O)接口(IF)145、输入/输出设备150和存储器160。存储器160包括操作系统(OS)程序161和一个或多个应用162。
应用162可以包括游戏、健康监视应用、虚拟现实(VR)应用、增强现实(AR)应用、操作系统、设备安全(例如，防盗和设备跟踪)应用、或者用户呼吸率构成其相关数据的任何其它应用。另外，根据实施例，应用162可以在输入/输出设备150上输出呼吸率信息，作为屏幕上的显示内容的一部分。
通信单元110可以接收进入的RF信号，例如近场通信信号，诸如蓝牙或Wi-Fi信号。通信单元110可以对输入的RF信号下变频以生成中频(IF)或基带信号。IF或基带信号被发送到RX处理电路125，RX处理电路125通过对基带或IF信号进行滤波、解码或数字化来生成经处理的基带信号。RX处理电路125将经处理的基带信号发送到扬声器130(例如用于语音数据)或主处理器140以用于进一步处理(例如用于web浏览数据、在线游戏数据、通知数据或其它消息数据)。
TX处理电路115从主处理器140接收包括来自麦克风120的呼吸或语音数据或其它输出基带数据(例如web数据、电子邮件或交互式视频游戏数据)的模拟或数字声音。TX处理电路115对输出的基带数据进行编码、多路复用或数字化以生成经处理的基带或IF信号。通信单元110从TX处理电路115接收输出的经处理的基带或IF信号，并将基带或IF信号上变频为RF信号以供传输。
主处理器140可以包括一个或多个处理器或其它处理设备，并且执行存储在存储器160中的OS程序161以便控制设备100的整体操作。例如，主处理器140可以根据公知的原理通过通信单元110、RX处理电路125和TX处理电路115控制对前向信道信号的接收和反向信道信号的发送。在一些实施例中，主处理器140包括至少一个微处理器或微控制器。
主处理器140还能够执行驻留在存储器160中的其它进程和程序。主处理器140可根据执行过程的需要将数据移入或移出存储器160。在一些实施例中，主处理器140被配置为基于OS程序161或响应于来自用户、传感器180或应用162的输入来执行应用162。应用162可以包括为设备100的平台专门开发的应用，或者为较早的平台开发的传统应用。主处理器140还联接到I/O接口145，该I/O接口145向设备100提供连接到诸如膝上型计算机和手持计算机之类的其它设备的能力。I/O接口145是这些配件和主处理器140之间的通信路径。
主处理器140还联接到输入/输出设备150。设备100的操作者可以使用输入/输出设备150将数据输入到设备100中。输入/输出设备150可以包括键盘、触摸屏、鼠标、跟踪球或其它能够用作用户界面以允许用户与电子设备100交互的设备。在一些实施例中，输入/输出设备150可以包括触摸面板、心率监测器、智能卡或用于获得光心描记(PPG)数据的设备、虚拟现实耳机、(数字)笔传感器、按键或超声输入设备。根据某些实施例，输入/输出设备150与一个或多个传感器180相关联，以向主处理器140提供输入。
输入/输出设备150可以包括一个或多个屏幕，其可以是液晶显示器、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)或能够呈现图形的其它屏幕。
存储器160联接到主处理器140。根据某些实施例，存储器160的一部分包括随机存取存储器(RAM)，而存储器160的另一部分包括闪存或其它只读存储器(ROM)。尽管图1示出了设备100的一个示例。可以对图1进行各种改变。
例如，根据某些实施例，设备100还可以包括单独的图形处理单元(GPU)170和传感器180。
传感器180可以包括用于生成由设备100处理的输入的各种传感器，并且包括但不限于加速度计、气压传感器、惯性测量单元(IMU)、数字相机、触摸传感器、数字温度计、压力传感器和全球定位系统传感器。例如，传感器180可以包括惯性测量单元182。惯性测量单元182可以是光学传感器、加速度计或陀螺仪传感器。另外，惯性测量单元182可以包括多个IMU，例如联接到用户头部或肢体的运动检测器。另外，传感器180可以包括温度计184、相机186和用于执行光体积描记术测量的传感器188(例如，红色LED)。相机186可以是设置在设备外部以捕获外部图像数据的多个相机，例如用于提供增强现实(AR)体验的相机，其中数字图像叠加在位于用户眼睛上或附近的相机视图上。相机186也可以是能够基于电磁频谱(例如可见光或红外)的可见或不可见区域中的发射来生成适于跟踪运动的图像数据的任何合适的相机。此外，传感器180可包括经配置以监视系统资源的使用的传感器，系统资源包括(但不限于)主处理器140、GPU 170或存储器160。
尽管图1示出了用于实现环境中知晓的呼吸率的确定的设备100的一个示例，但是可以对图1进行各种改变。例如，设备100可以包括任何适当布置的任何数量的部件。类似地，根据某些实施例，设备100可以是用于执行对呼吸率的情境感知的确定的多个设备(例如，智能电话和智能手表)中的一个。通常，包括计算和通信系统的设备具有多种配置，并且图1不将本公开的范围限制于任何特定配置。虽然图1示出了其中可以使用本专利文件中公开的各种特征的一个操作环境，但是这些特征可以用在任何其它合适的系统中。
图2示出了根据本公开的各种实施例的测量对象的呼吸率的移动设备的示例。
呼吸率(RR)(也称为每分钟呼吸)以及氧饱和度(SpO2)是健康人和患有慢性阻塞性肺病(COPD)或哮喘的患者中心肺健康的重要指标。同时，健康个体以及患有心肺状况的患者经常携带智能电话和其它多传感器装置(例如，平板和智能卡)。因此，根据本公开的实施例提供了用于通过共同携带的装置(例如，智能电话)获得对象呼吸率的临床上有用的估计的系统和方法，从而使得医生和患者不太依赖于专门的和/或医院专用的设备(例如，呼吸速度计或呼吸带)来获得RR数据。
参照图2的非限制性示例，图1中的设备100的电子设备(例如智能电话205或智能手表210)包括一组传感器，其被配置为获得关于设备状态的数据。这种传感器可以包括惯性测量单元(IMU)(例如加速度计、陀螺仪、磁力计等)，其能够检测设备沿着3个或更多轴的运动。智能电话205和智能手表210的电路板上传感器(on-board sensors)可以进一步包括全球定位单元、麦克风、温度计，并且在一些情况下可以进一步包括红色LED PPG传感器。另外，智能电话205和智能手表210可以作为能够通过网络请求和接收患者数据的健全软件(wellness software)的平台来操作。在智能电话中提供的车载传感器技术可以例如通过用户215在他或她的胸部上保持智能电话205，或者通过用户220在他的胸部上保持智能电话205并且在他的腹部上保持智能手表210，而用于收集与用户的肺活动相关联的一组或多组数据。
与确定来自诸如智能电话205和智能手表210之类的设备的用户呼吸率的临床上有用的估计相关的技术挑战包括但不限于，由设备的传感器获得的、可能在测量环境的变化中大大地变化的数据的可靠性和噪声。例如，在某些情况中，例如当用户在室内时，麦克风数据可能是与用户的肺活动相关联的良好数据源，而在其它情况中，例如当用户在室外或移动时，麦克风数据可能是不可靠的数据源。类似地，在IMU数据中发现的噪声的类型可以根据用户的姿势(例如当用户躺下时)或其它环境因素(例如用户是否正在移动)而变化。
假设传感器数据的可靠性和在与用户的呼吸活动相关的传感器数据中发现的噪声的性质可能在环境中变化，则在从传感器数据获得用户的呼吸率的临床上有用的估计中相关联的挑战还包括选择传感器数据的适当源和用于处理传感器数据以从噪声中提取呼吸信号的适当算法。根据本公开的实施例通过执行传感器数据源的情境感知选择和用于确定用户呼吸率的算法的情境感知选择来增强作为用于用户呼吸率的按需或连续测量的工具的设备(例如，智能电话和智能手表)的性能。
图3示出了根据本公开的某些实施例的用于执行情境感知地确定对象呼吸率的方法300的操作。
参考图3的非限制性示例，尽管根据其中单个电子设备(例如图1中的设备100)收集传感器数据并执行操作的实施例来描述方法300的操作，但是本公开不限于此。其中在多个设备(例如，智能电话和智能手表)上收集传感器数据或者其中在多个计算平台(例如，在用户设备上运行的后端服务器和客户端应用)上执行选择和确定步骤的实施例被认为处于本公开的范围内。
参考图3的非限制性示例，方法300包括操作310，其中电子设备获得情境信息。如本公开中所使用的，术语“情境信息”包括关于要测量其呼吸率的设备和对象的状态的信息，其影响估计对象的呼吸率的准确性和/或可行性。
设备情境信息或关于设备状态的信息包括但不限于音频数据、图像数据(例如，照明条件、周围的图像等)、位置信息、关于电子设备相对于对象的位置的信息和/或电子设备的定向。在这样的设备情境信息之中，设备状况的方面与呼吸率测量的准确性和可行性相关(例如，设备是否处于噪声位置从而使得麦克风的使用是困难的？或者设备是否定向在使得很难从对象的胸部获得运动数据的角度上？)。设备情境信息还可以包括关于作为便携式计算平台的电子设备的操作的信息。此类信息包括(但不限于)电池中剩余的电荷量、是否存在到另一启用传感器的设备的连接以及电子设备上运行的其它程序和进程对系统资源的消耗。例如，指示设备的电池为低的信息或者指示另一个应用正在使用设备的大部分内存的信息可以表明使用计算密集型算法的呼吸率确定是不可能的，或者可能耗尽电池。
对象情境信息或关于对象的信息包括但不限于病史信息(例如，显示对象具有受损或变形的肺的信息)、对对象姿势(例如，坐、站立或俯卧)的确定、时间(例如，对象刚刚醒来吗？)、由对象穿着的衣服的估计(例如，材料、厚度等)和/或关于对象当前活动水平的信息(例如，他们是否锻炼或准备床？)。
在根据本公开的某些实施例中，通过电子设备上的传感器明确地或隐含地通过其各种组合获得关于设备和对象的情境信息。如本公开中所使用的，显式地获得信息包括电子设备从源请求情境。明确获得情境信息的电子设备的示例包括但不限于呈现界面(例如，交互式调查，询问诸如“你刚刚唤醒？”或者“今天难以呼吸吗？”的主题问题)，或从宿主计算机下载情境信息(例如病历信息)或情境信息(例如，气象或空气质量信息)。
根据某些实施例，情境信息可以直接从传感器数据获得。例如，电子设备上的PPG传感器可以直接获得对象的SpO2值。类似地，来自麦克风的音频水平可以提供关于环境声音水平对于基于麦克风的测量是否太高的情境信息。作为另一个非限制性示例，来自陀螺仪和/或IMU的传感器数据可以指示该设备是否被适当地定向以便执行呼吸率测量。
另外，在一些实施例中，可以隐式地获得情境信息，或者可以从传感器数据或显式地获得的信息推断出情境信息。例如，电子设备可以明确地获得用户的家庭地址(例如，通过表单或通过下载)，并且结合全球定位系统信息隐含地确定用户在家。
另外，在一些实施例中，可以基于将学习模型应用于与对象的呼吸活动相关联的数据来确定情境信息。例如，学习模型可用于训练电子设备，以通过从经由训练阶段从来自至少一个轴的所捕获的加速度计数据生成和学习用户的代表性心冲击描记图(BCG)信号的至少一个模板，来识别电子设备是否正确地定向在对象的胸部上。根据某些实施例，电子设备可以将随后获得的加速度计数据分段成类似于模板信号的块，以检查模板和实时加速度计数据之间的相似性，从而确定关于电子设备是否正确地定向在对象的胸部的情境信息。电子设备利用学习模型来获得情境信息的实施例包括其中电子设备利用学习模型来解决该设备是否位于对象的胸部或腹部、对象是否穿着沉重的衣服的实施例，并且电子设备利用经过训练的模型来估计该设备与对象嘴部之间的距离的实施例是可能的并且在本公开的预期范围内。这种学习模型可以通过监督的、半监督的或无监督的机器学习来建立，包括涉及神经网络的深度学习。
在一些实施例中，获得情境信息可以包括：检测临床兴趣事件，例如呼吸率测量之间的计时器的流逝；或者接收关于心肺兴趣事件的信息，例如高空气温度或紧急情况(例如，火灾或火山爆发)。
在某些实施例中，执行方法300的电子设备通过提供在电子设备中的传感器捕获一组或多组传感器数据。在某些实施例中，执行方法300的电子设备还可以从第二电子设备(例如与智能电话配对的智能手表)接收传感器数据。例如，设备可以在给定的采样间隔上捕获IMU数据、麦克风数据和与对象的呼吸活动相关的PPG传感器数据。此外，设备的存储器可以包括程序代码，当由设备的处理器执行时，该程序代码执行用于从特定一组或特定多组传感器数据中过滤和确定呼吸率的算法(例如，用于从音频数据或从音频数据和智能手表IMU数据的组合中确定RR的算法)。为了更高的测量精度，某些实施例可以同时利用来自放置在用户身体的一个或多个部分上的多个设备的一组或多组传感器数据。例如，可以将智能电话放置在胸部上，并且可以将联接到智能电话的智能手表放置在腹部上。来自这两个设备的IMU数据的组合可以捕获比单独的设备更好的呼吸信号。在一些实施例中，IMU数据的组合可以是设备信号的总和。实际上，在某些实施例中，电子设备可以具有多个呼吸率确定算法，其中一些算法可以利用不同组的传感器数据。
根据各种实施例，在操作320，电子设备基于情境信息选择与对象的呼吸活动相关联的一组传感器数据。在一些实施例中，所获得的情境信息可以被用于排除这样的传感器数据源，该传感器数据源基于情境预期到会在所确定的呼吸率中产生高误差水平。例如，如果情境信息指示对象或设备在外部，则可以排除来自麦克风的传感器数据。另一方面，如果情境信息指示对象当前正在使用电子设备进行电话呼叫(意味着该设备接近用户的嘴)，则可以基于麦克风被适当地定位以拾取能够可靠地归因于对象的呼吸的音频信号的假设来选择来自麦克风的传感器数据。
另外，作为操作320的一部分，电子设备可以将质量度量(例如，信号强度或信号的动态范围)与阈值进行比较，作为选择一组或多组传感器数据的一部分。可以通过训练阶段来对阈值进行学习，在训练阶段仔细标记对象的变化、情境的变化和信号质量的变化以理解信号的动态范围。根据某些实施例，可以通过查阅在电子设备的存储器中维护的情境、估计的测量误差和多种算法的数据需求的映射表(或其它合适的数据结构)来执行对一组传感器数据的选择。下面的表1提供了这种映射表的说明性示例。
表1
Figure BDA0002923219580000121
如表1的非限制性示例中所示，映射表的某些实施例维持情境的组合、传感器数据需求、以及与情境的组合和各组传感器数据相关联的平均绝对误差(MAE)的估计值、以及(在一些实施例中)用于确定呼吸率的指定算法之间的相关性。
在一些实施例中，方法300的一些或全部操作可以作为在电子设备上进行的或后台的处理来执行。为了改善性能和/或支持呼吸率的连续监测，电子设备可以以规则的间隔接收更新的情境信息。在一些实施例中，电子设备可以基于更新的情境信息通过从一组传感器数据切换到另一组传感器数据来选择与对象的呼吸活动相关联的一组传感器数据。以这种方式，通过预先执行与对象的呼吸活动相关的一组传感器数据的确定，电子设备能够无缝地在方法300的操作之间变动。
在某些实施例中，在操作330，电子设备基于所选择的一组传感器数据从用于确定对象的呼吸率的多种算法中选择算法。在图3的非限制性示例中，可以通过查阅映射表(例如表1)来执行算法的选择，以从利用所选择的传感器数据的算法中识别具有最低平均差错率的算法。根据某些实施例，映射表由学习模型生成，学习模型可以全部或部分地由电子设备训练。在一些实施例中，可以将映射表提供给电子设备，并且电子设备应用所学习的模型来更新和调谐映射表，以弥补对象特定的情境变化(例如，对象是其说话水平使与她的呼吸相关联的音频信号消失的大声电话扬声器)。
在一些实施例中，从用于确定对象的呼吸率的多种算法中选择算法由用户发起的呼吸测量请求触发，诸如点击由健康护理应用(例如，SAMSUNGTM HEALTH应用)的用户界面提供的“测量呼吸率”按钮。根据一些实施例，可以响应于电子设备的感测模式的改变来触发或执行算法的选择。例如，电子设备可以从“按需”切换到连续的或无缝的测量模式，其中方法300在电子设备上作为正在进行的或后台的处理来执行，从而避免了当测量她的呼吸率时记住对象的需要。
如图3的说明性示例所示，在操作340，电子设备通过将所选择的算法应用于与对象的呼吸活动相关联的所选择的传感器数据来确定对象的呼吸率的值。在一些实施例中，电子设备可以从一组算法中进行选择，该组算法包括：对于各组输入的传感器数据、基于时域分析来确定呼吸率的算法、基于频域分析来确定呼吸率的算法、以及使用总变化(TV)滤波器来确定呼吸率的算法。另外，其它算法，例如包括SpO2测量数据的算法或使用其它处理技术(例如卡尔曼滤波器)对传感器数据进行去噪声的算法，也是可能的，并且在本公开的预期范围内。
作为根据本公开的某些实施例的非限制性示例，用于确定呼吸率的时域算法包括以下步骤：1)接收加速度计传感器数据(例如在z轴上采集的加速度计数据)；2)应用低通滤波器平滑数据；3)数据去趋势；4)去除运动伪影；5)例如用三次样条对传感器数据进行插值以填补间隙；6)检测信号中的峰值；以及7)从峰值之间的间隔确定呼吸率。
图4示出了根据本公开的某些实施例的用于基于一个或多个学习模型来确定对象的呼吸率的情境、传感器数据的类型和算法的组合。
参考图4的非限制性示例，对于给定的电子设备，确定对象的呼吸率的整个潜在方式集合400取决于确定的情境集合405、电子设备可用的各组传感器数据的超集410以及用于执行呼吸率测量的算法集合415的大小。根据集合405、410和415中的每一个的大小，整个集合400中的成员的数量可能很大。此外，情境、各组传感器数据和算法的一些可能组合可能呈现不可接受的高差错率，因此具有有限的临床价值。
因此，与在电子设备上实现情境感知测量相关联的技术挑战包括训练模型、生成映射或以其它方式生成控制逻辑，以便电子设备选择一组或多组传感器数据以及生成临床上可接受的差错率的至少一个测量算法。
在图4的说明性示例中，情境集合405包括编号为1-p的情境。类似地，各组测量数据的超集410包括编号为1-n的一组传感器数据，并且算法集合415包括编号为1-m的算法。在该非限制性示例中，从情境集合405的成员到传感器数据的超集410和算法集合415的成员的箭头表示传感器数据和提供给电子设备的算法(例如，作为表的一部分，例如表1)的组合，电子设备可以使用该组合来选择传感器数据(例如，在图3的操作320中)和算法(例如，在图3的操作330中)。注意力集中在这样的事实上，即不是情境、传感器数据和算法的每次排列都用箭头表示，这反映了情境、各组传感器数据和算法的某些组合不能生成具有临床上可接受的误差分布的结果的事实。
图5示出了根据本公开的一些实施例的用于使用设备来确定和映射临床上可接受的情境、传感器数据的类型以及用于确定对象的呼吸率的算法的组合的方法的各方面。在一个实施例中，在训练阶段期间执行该方法。
根据某些实施例，生成具有临床上可接受的误差分布的结果的算法和传感器数据的组合是在逐个情境的基础上确定的。图5描述了用于为特定情境(或如图1所示的情境的特定组合)确定传感器数据和算法的最佳执行组合的处理操作流500。
参考操作流500的非限制性示例，在操作505，在设定间隔期间从电子设备的传感器捕获与编号为1-n的对象的呼吸活动相关联的一组传感器数据。在一些情况下，编号为1-n的一组传感器数据可以对应于电子设备可用的所有传感器集合。在其它情况下，编号为1-n的一组传感器数据可以包括电子设备可用的一组传感器数据的子集，因为可以预先排除某些数据集(例如，在具有大量环境噪声的情境中的麦克风数据)。使用可信传感器(例如呼吸速度描记器)获得在设定的时间间隔期间对象呼吸率的地面真值(ground truthvalue)。
在根据本发明的一些实施例中，在操作510，对每组传感器数据执行信号预处理。这种信号预处理可以包括对传感器数据应用低通滤波器(LPF)或内插传感器数据。
根据图5的非限制性示例，在操作515，将处理的数据集馈送到编号为1-m的算法中的每一个，以在操作520获得对象的估计(如由每一个算法所确定的)呼吸率的m个单独的值。在操作520，将对象呼吸率的每个估计值与对象呼吸率的地面真值进行比较，以获得差错率。由此，可以识别算法和传感器的顶部执行组合，并将其映射到表格或其它数据结构，电子设备可以从表格或其它数据结构中为特定的情境选择传感器数据的适当集合和适当的算法。
图6示出了根据本公开的一些实施例的用于执行情境感知呼吸率确定的方法600的操作。如该说明性示例中所示，根据本公开的某些实施例的用于确定呼吸率的方法的操作可以获得与对象的呼吸活动不直接相关的数据，并且可以应用学习模型来指导用户调整电子设备的位置以更好地捕获与呼吸活动相关的传感器数据。
参考图6的非限制性示例，在操作605，电子设备获得与呼吸活动相关联的传感器数据。可以通过包括在电子设备(例如，图1中的电子设备100)中的传感器(包括但不限于麦克风、相机和IMU)获得传感器数据。
在某些实施例中，在操作610，电子设备获得其它传感器数据，或与对象的呼吸活动不直接相关的传感器数据，例如，氧饱和度水平或对象的心率。在一些实施例中，电子设备从电子设备中提供的传感器(例如用于执行PPG测量的红色LED传感器)获得其它传感器数据。在一些实施例中，电子设备从不包括在电子设备中的传感器获得其它传感器数据，这些传感器包括但不限于智能手表中的传感器或者对象的手指或胸部上的心率监视器中的传感器。
在图6的非限制性示例中，在操作615，电子设备基于传感器数据来确定设备情境。例如，在操作615，电子设备可以通过应用通过比较与对象的呼吸相关联的传感器数据(例如，沿着特定感兴趣的轴，诸如z轴的陀螺仪数据)而开发的学习模型来确定该设备是否被正确定向。除了设备是否正确地定向以用于基于运动的测量(例如，跟踪胸部或腹部的上升和下降)之外，可以在操作615处确定的设备情境还包括但不限于麦克风与用户嘴的距离，在某些实施例中，该距离可以从设备角度、音频水平数据和关于用户的知识中(例如，高度或针对臂长度的其它代理服务)。
此外，在一些实施例中，电子设备可以从传感器数据中确定和去除运动伪影。例如，某些惯性测量单元(IMU)由于校准误差而“漂移(drift)”或提供传感器数据，而不是响应传感器的实际运动。在操作615，电子设备可以处理传感器数据以去除这种伪像。
根据某些实施例，在操作620，设备基于其它传感器数据来确定与用户情境的确定相关的数据的值。根据一些实施例，电子设备基于其它传感器数据和设备情境的组合来确定链接到用户情境的数据。在图6的非限制性示例中，电子设备确定对象的SpO2水平，该SpO2水平可以是用于确定用户情境的方面(包括：例如，用户是否表现出慢性阻塞性肺病的体征)的有用数据。
在操作625，设备基于与对象的呼吸活动相关的传感器数据、所确定的设备情境、其它传感器数据或所确定的链接到用户情境的数据中的至少一个来确定用户情境。例如，在操作625，电子设备可以确定出用户的情境适合一种或多种类型的姿势状态(例如就座、仰卧和站立等)、情感状态(例如激动、平静和专注等)和/或生理状态(例如饥饿、疲倦、头晕或紧张)。
在根据本公开的某些实施例中，在操作630，测量设备执行检查以确定与呼吸活动相关联的至少一组传感器数据是否满足质量阈值。例如，在操作630，电子设备可以确定从以一定角度放置的传感器收集一组传感器数据，该角度在可以从中获得可靠测量的角度范围内。作为另一个示例，电子设备可以确定传感器数据呈现足够大的动态范围或足够大的信号大小。
在图6的非限制性示例中，如果在操作630，电子设备确定没有至少一组与满足质量阈值的呼吸活动相关联的传感器数据，则方法600进行到操作635，其中电子设备向用户提供通知，诸如改变设备或用户情境的方面的请求。例如，在一些实施例中，在操作635，电子设备显示屏幕或播放消息以用于请求用户调整设备位置。在一些实施例中，该设备向用户提供要求用户改变用户情境的消息或屏幕，例如通过从坐姿切换到仰卧姿势。在操作635之后，方法600返回到操作605以重新尝试对呼吸率的确定。
在操作630，如果确定至少一组传感器数据满足质量阈值，则方法600进行到操作640，其中电子设备基于所确定的情境信息选择与对象的呼吸活动相关联并且满足质量阈值的至少一组传感器数据。可以基于设备情境信息(例如，在操作615确定的设备情境)、用户情境(例如，在操作625确定的用户情境)或其组合来执行在操作640执行的确定。
根据一些实施例，在操作645，电子设备基于所选择的一组传感器数据来选择用于确定对象的呼吸率的算法。在某些实施例中，在操作645处基于所选择的一组传感器数据和其它信息(例如，情境信息)来执行算法的选择。在操作645执行的确定可以基于经过训练的映射(例如，使用图5中的操作流500生成的映射)或者基于由电子设备维护和更新的学习模型来执行。
在根据本公开的某些实施例中，在操作650，电子设备通过将所选择的算法应用于所选择的一组(多个)传感器数据来确定对象的呼吸率，并且在电子设备的屏幕上或在另一电子设备的屏幕上显示结果。
图7示出了根据本公开的各种实施例的用于在所选择的测量模式中监视用户的呼吸率的方法700的操作。执行情境感知地确定呼吸率的电子设备可以在一个或多个测量模式下操作。如本公开中所使用的，术语测量模式包括电子设备的操作模式，其特征在于(但不限于)：对呼吸率确定的触发以及对附加功能的使用，诸如传感器融合和算法切换，诸如结合图8中所示的示例所讨论的那样。根据本公开的实施例的用于确定呼吸率的测量模式的示例包括“始终开启”呼吸率测量、“按需”测量和“事件触发”测量。根据某些实施例，电子设备可以呈现允许对象选择测量模式的用户界面。在一些实施例中，电子设备可以在测量模式之间自动切换。例如，电子设备可以响应于相关的情境信息(例如，指示对象可能睡着的时间值或指示电子设备的电池低的指示)，从“始终开启”测量模式切换到“按需”测量模式，而不需要用户输入。
参照图7的非限制性示例，示出了用于在处于“始终开启”测量模式时确定呼吸率的方法700的操作。根据某些实施例，当电子设备处于“始终开启”测量模式时，电子设备不断地监视对象的当前情境，并基于情境处理传感器数据以完成测量。例如，如果电子设备基于诸如GPS数据、光和一天中的时间之类的传感器数据来确定对象处于室外设置，则可以不基于传感器到情境的映射或者由电子设备实现的学习模型来选择来自麦克风的一组传感器数据。相反，在电子设备继续获得指示用户处于室外设置的情境信息时，将使用加速度计测量。然而，在一些实施例中，尽管用户在户外，但是仍然可以收集来自麦克风的传感器数据以完成测量。
根据某些实施例，在操作705，电子设备获得一组或多组传感器数据，例如来自电子设备本身上或连接到电子设备的设备(例如，心率或血压测量设备)上提供的电子传感器。在图7的非限制性示例中，操作705可通过恒定地或周期性地监视以设备上的传感器为来源的传感器数据以及数据质量(例如，与数据相关联的质量值是否超过阈值)来执行。在某些实施例中，监视数据的质量还可以包括：运行用于确定呼吸率的方法的多个示例，以确定算法之间的差异以及算法的任何组合是否生成不可预见的误差(例如，返回对象呼吸率的不可能高或低的值)。
在一些实施例中，在操作710，电子设备基于在操作715获得的传感器数据来确定情境(例如，对象的位置、一天中的时间、照明条件、电子设备的方向或位置、对象的姿势或持有电子设备的对象的活动)，该传感器数据根据要确定的情境被应用于由电子设备实现的一个或多个学习模型。例如，虽然可以直接获得时刻数据，但是可以从传感器数据的组合(例如设备定向和加速度的组合(或没有加速度))推断出诸如用户姿势的其它情境信息。在一些实施例中，在操作710，电子设备确定情境的特定组合，例如“用户坐着”和“设备户外”。
根据某些实施例，在操作715，电子设备基于所确定的情境和电子设备的存储器中的用户简档数据来选择一组或多组传感器数据。在图7的非限制性示例中，在用户简档中维护的数据可以包括与医疗状况相关的数据，对于该医疗状况，如果所确定的呼吸率高于或低于阈值，则应当向对象或临床医生呈现警报。保持在用户简档中的数据还可以包括影响传感器的选择的信息，例如与弱呼吸相关联的状况。在一些实施例中，用户简档数据包括对象的健康记录、病史、所服用的药物和关于患者当前医疗功能单元的信息。
在一些实施例中，在操作720，电子设备基于所选择的一组(多个)传感器数据和相应的数据质量来选择用于确定呼吸率的至少一个算法。根据某些实施例，包括支持无缝切换或传感器融合操作模式的实施例，在操作720，电子设备可以选择与传感器数据和情境的多个组合相关联的多种算法。
根据图7的非限制性示例，在操作725，电子设备应用所选择的算法之一来处理所选择的一组数据以确定对象的呼吸率。
在根据本公开的某些实施例中，在操作730处，响应于确定出对象的呼吸率，电子设备确定一个或多个后续动作(例如，呼叫紧急服务、通知医生、呈现提醒以“放松”等)。在基于所确定的呼吸率确定要采取的一个或多个后续动作之后，方法700循环回到操作705。
图8示出了当设备处于连续测量模式时用于提供跨情境变化的无缝转换从而增强电子设备提供连续呼吸率测量的能力的处理流程图800的各方面。根据一些实施例，用于执行呼吸率的连续监测的操作作为确定步骤的循环序列来执行，诸如确定要使用哪一组数据，以及确定要将哪一算法应用于所选数据。在一些情况下，情境中的改变需要重复该过程的某些确定步骤，这可能需要系统资源并引起等待时间问题。
在图8的非限制性示例中，处理流程图800配置成在没有因等待处理器确定(例如)哪一组特定传感器用于当前情境而引起的连续测量功能性的中断的情况下提供跨越情境的无缝转换。如图8所示，处理流程图引入并行和智能切换，从而在提供连续呼吸率测量功能时去除了选择一组(或多组)传感器数据作为不连续的源的步骤。
如图8的说明性示例所示，处理流程图800包括三个传感器数据流程图，其包括：由PPG传感器捕获的数据流程图805、由三轴加速度计捕获的数据流程图810、以及由三轴陀螺仪捕获的数据流程图815。根据某些实施例，可以存在多于或少于三个的传感器数据流程图。在图8的非限制性示例中，该组传感器流程图包括所有传感器，其可以提供与对象的呼吸率的测量相关联的传感器数据或情境。
根据某些实施例，流程图805提供PPG传感器信息，并输出SpO2水平的值，其可用作呼吸率测量的一部分。
在一些实施例中，流程图810从三轴加速度计的三个测量轴的每一个捕获传感器数据。通过一个或多个适合于传感器数据的滤波器(例如，低通滤波器)对所捕获的数据进行滤波，并对其进行预处理以输出与对象的呼吸率相关联的传感器数据的已清理或处理的集合。
在某些实施例中，流程图815从三轴陀螺仪的三个测量轴的每一个捕获传感器数据。所捕获的数据由适合于传感器数据的一个或多个滤波器(例如卡尔曼滤波器)进行滤波，并且被预处理以输出与对象的呼吸率相关联的传感器数据的二次清理或以其它方式处理的集合。
如图8的非限制性示例中所示，传感器数据流程图805、810和815中的每一个的输出被馈送到智能开关820中，智能开关820通过接收情境数据的周期性更新并且基于情境数据将传感器数据流程图805、810和815的输出馈送到多个融合算法830A和830B中的一个，以便用于最终处理传感器流程图数据从而获得对对象呼吸率的确定来促进跨情境的连续呼吸率测量的无缝实现。
根据某些实施例，第一融合算法825A是利用来自传感器数据流程图805-815的第一组传感器数据的算法，而第二融合算法825B是使用来自传感器数据流程图805-815的第二组传感器数据的算法。在这种情况下，当智能开关接收到更新的情境信息时，响应于情境改变选择与对象的呼吸率相关联的传感器数据的操作包括从第一组传感器数据切换到第二组传感器数据。因此，通过对与预期情境相关联的智能开关和融合算法进行排序或连接到与预期情境相关联的智能开关和融合算法，可以提高电子设备的效率和操作的无缝性，从而选择传感器数据的步骤包括简单的开关，而不是单独确定使用哪个传感器数据。在一些实施例中，第一融合算法830A和第二融合算法830B可以包括相同的基础操作，但是不同之处在于一个版本可以更精确，而算法的另一个版本可以更有效。
图9示出了根据本公开的某些实施例的用于在以事件触发测量模式操作的同时执行情境感知呼吸率测量的方法900的操作。
如上所述，根据本公开的某些电子设备支持多种测量模式，包括但不限于“按需”和连续测量模式(例如，如图7和8所示)。在事件触发测量模式中，电子设备向对象呈现响应于所配置的事件的发生而执行呼吸率测量的通知。
参照图9的非限制性示例，方法900包括操作905，其中电子设备接收触发通知以执行呼吸率测量的事件的配置信息。根据实施例，配置信息可以由临床医生或患者基于他们自己的偏好来配置。可以触发通知的事件包括但不限于：设置在最近的先前呼吸率测量的计时器的流逝、越过另一个临床兴趣度量(例如，心率、血糖或SpO2)的阈值、或大气事件(例如，火山爆发、烟雾警告或附近火灾)。
在一些实施例中，在操作910，发生配置的事件，触发由用户执行呼吸率测量的通知915。在图9的非限制性示例中，可以通过电子设备的屏幕提供通知915，并提供识别事件的文本，并通知对象执行测量。在一些实施例中，当天的当前时间可以是触发测量的事件。例如，预设时间(例如，上午8:00和下午8:00)可以是用于向用户触发警报以执行呼吸率测量的可配置事件。在某些实施例中，通知可以通过电子设备以外的设备来提供，例如链接的智能手表。在一些实施例中，可以经由电子邮件、SMS或其它通信协议来提供通知。
参考图9的非限制性示例，在操作920，电子设备执行根据本公开的各种实施例的情境感知呼吸率测量，并将测量结果925提供给用户。根据一些实施例，可以向测量结果925提供附加信息，诸如推荐主体采取的动作的信息，或者如图9所示，提供关于结果的临床情境的信息。在图9的非限制性示例中，在每分钟35次呼吸的呼吸率值之上示出了警告图标，其指示对象正在过度喘气或以其它方式不寻常地快速呼吸。
本申请中的任何描述都不应被理解为暗示任何特定元素、步骤或功能是必须包括在权利要求范围内的必要元素。要求保护的主题的范围仅由权利要求限定。此外，权利要求中的任何一个都不旨在调用35U.S.C.§112(f)，除非确切的词语“用于……的设备”后面跟有分词。

Claims (11)

1.用于情境感知地确定呼吸率的方法，所述方法包括：
由电子设备获取情境信息；
由所述电子设备基于所述情境信息选择与对象的呼吸活动相关的一组传感器数据；
基于所选择的一组传感器数据，从用于确定所述对象的呼吸率的多种算法中选择算法；以及
通过将所选择的算法应用于与所述对象的呼吸活动相关的所选择的一组传感器数据来确定所述对象的呼吸率。
2.如权利要求1所述的方法，其中，所述情境信息包括音频数据、图像数据、对象姿势的确定、位置信息、所述电子设备的定向、所述对象的病史信息中的至少一个或其组合。
3.如权利要求1所述的方法，其中，用于确定所述呼吸率的算法是基于将学习模型应用于所述情境信息和所选择的一组传感器数据来选择的。
4.如权利要求3所述的方法，还包括：由所述电子设备基于所确定的所述对象的呼吸率来更新所述学习模型。
5.如权利要求1所述的方法，还包括：
由所述电子设备获取更新后的情境信息；以及
由所述电子设备通过基于更新的情境信息从另一组传感器数据切换到所述一组传感器数据来选择与所述对象的呼吸活动相关联的所述一组传感器数据。
6.如权利要求5所述的方法，其中，响应于用户发起的呼吸测量请求以及所述电子设备的感测模式的改变中的至少一个或其组合，执行从用于确定所述呼吸率的多种算法中选择所述算法。
7.如权利要求1所述的方法，其中，从第二电子设备获得与所述对象的呼吸活动相关联的所选择的一组传感器数据。
8.一种装置，包括：
至少一个处理器；
一个或多个传感器，联接到所述至少一个处理器，配置为捕获一组或多组传感器数据；以及
存储器，包括计算机可读程序代码，所述计算机可读程序代码在由所述至少一个处理器执行时使所述装置：
获取情境信息，
基于所述情境信息选择与对象的呼吸活动相关联的一组传感器数据，
基于所选择的一组传感器数据从用于确定所述对象的呼吸率的多种算法中选择算法，以及
通过将所选择的算法应用于与所述对象的呼吸活动相关的、所选择的一组传感器数据来确定所述对象的呼吸率。
9.如权利要求8所述的装置，其中，所述存储器还包括计算机可读程序代码，所述计算机可读程序代码在由所述至少一个处理器执行时使所述装置根据权利要求2至7中的方法之一来操作。
10.非暂时性计算机可读介质，包括程序代码，所述程序代码在由至少一个处理器执行时使装置：
获取情境信息，
基于所述情境信息选择与对象的呼吸活动相关联的一组传感器数据，
基于所选择的一组传感器数据从用于确定所述对象的呼吸率的多种算法中选择算法，以及
通过将所选择的算法应用于与所述对象的呼吸活动相关的所选择的一组传感器数据，确定所述对象的呼吸率。
11.如权利要求10所述的非暂时性计算机可读介质，其中，所述非暂时性计算机可读介质还包括程序代码，所述程序代码在由所述至少一个处理器执行时使所述装置根据权利要求2至7中的方法之一来操作。
CN201980050737.5A 2018-03-27 2019-07-29 使用电子设备的情境感知呼吸率确定 Active CN112512411B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862648750P 2018-03-27 2018-03-27
US16/049,743 2018-07-30
US16/049,743 US11331003B2 (en) 2018-03-27 2018-07-30 Context-aware respiration rate determination using an electronic device
PCT/KR2019/009413 WO2020027523A1 (en) 2018-03-27 2019-07-29 Context-aware respiration rate determination using an electronic device

Publications (2)

Publication Number Publication Date
CN112512411A true CN112512411A (zh) 2021-03-16
CN112512411B CN112512411B (zh) 2024-08-02

Family

ID=68056571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980050737.5A Active CN112512411B (zh) 2018-03-27 2019-07-29 使用电子设备的情境感知呼吸率确定

Country Status (4)

Country Link
US (1) US11331003B2 (zh)
EP (1) EP3773193A4 (zh)
CN (1) CN112512411B (zh)
WO (1) WO2020027523A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210236010A1 (en) * 2018-05-10 2021-08-05 Sharp Kabushiki Kaisha Model setting device, blood-pressure measuring device, and model setting method
KR102560304B1 (ko) * 2018-05-25 2023-07-26 삼성전자주식회사 전자 장치, 전자 장치의 혈압 측정 방법, 및 혈압 측정 시스템
US11205112B2 (en) * 2019-04-01 2021-12-21 Honeywell International Inc. Deep neural network-based inertial measurement unit (IMU) sensor compensation method
US11793453B2 (en) 2019-06-04 2023-10-24 Fitbit, Inc. Detecting and measuring snoring
US11229369B2 (en) 2019-06-04 2022-01-25 Fitbit Inc Detecting and measuring snoring
US20220354432A1 (en) * 2021-05-07 2022-11-10 Cortery AB Cardiac health assessment systems and methods
US20220338756A1 (en) * 2020-11-02 2022-10-27 Insubiq Inc. System and method for automatic detection of disease-associated respiratory sounds
EP4109189A1 (en) * 2021-06-23 2022-12-28 Covestro Deutschland AG Method for selecting a time-series data stream in a production plant

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080139955A1 (en) * 2006-12-07 2008-06-12 Drager Medical Ag & Co. Kg Device and method for determining a respiration rate
US20110257489A1 (en) * 2010-04-19 2011-10-20 Sotera Wireless, Inc. Body-worn monitor for measuring respiratory rate
US20160128638A1 (en) * 2014-11-10 2016-05-12 Bloom Technologies NV System and method for detecting and quantifying deviations from physiological signals normality
US20170071523A1 (en) * 2015-07-16 2017-03-16 Samsung Electronics Company, Ltd. Continuous Stress Measurement with Built-In Alarm Fatigue Reduction Features
CN107408240A (zh) * 2015-03-25 2017-11-28 皇家飞利浦有限公司 用于向可穿戴设备的用户提供充电信息的方法和系统
CN107997767A (zh) * 2016-11-01 2018-05-08 三星电子株式会社 用于识别用户活动的方法及其电子设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040008125A (ko) 2001-01-30 2004-01-28 오르쏘젠 인크. 활액 유도된 조직 또는 세포를 사용하여 관절 연골 내의결함 또는 병변을 치료 및 수복하기 위한 조성물 및 방법
GB0517954D0 (en) 2005-09-02 2005-10-12 Imp College Innovations Ltd Bayesian feature selection
KR20080054855A (ko) 2006-12-13 2008-06-19 엘지전자 주식회사 광혈류측정 센서를 이용한 바이오 피드백 이동 단말기 및그 방법
US9167991B2 (en) * 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
WO2012080920A1 (en) 2010-12-17 2012-06-21 Koninklijke Philips Electronics N.V. System and method for determining one or more breathing parameters of a subject
US9269000B2 (en) 2011-07-29 2016-02-23 Nokia Technologies Oy Method and apparatus for providing adaptive display and filtering of sensors and sensor data
US9485345B2 (en) * 2011-09-21 2016-11-01 University Of North Texas 911 services and vital sign measurement utilizing mobile phone sensors and applications
EP2892429B1 (en) 2012-09-10 2019-07-24 Koninklijke Philips N.V. Device and method to improve dependability of physiological parameter measurements
WO2015168151A1 (en) * 2014-04-28 2015-11-05 The General Hospital Corporation System and method for tracking sleep dynamics using behavioral and physiological information
US10939848B2 (en) * 2014-07-28 2021-03-09 S & V Siu Associates, Llc Method and apparatus for assessing respiratory distress
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
KR101619611B1 (ko) 2014-09-22 2016-05-19 순천향대학교 산학협력단 마이크로폰을 이용한 호흡률 추정 장치 및 기법
US10687729B2 (en) * 2014-11-24 2020-06-23 Koninklijke Philips N.V. Apparatus and method for estimating a value of a physiological characteristic
CN106999106A (zh) 2014-12-02 2017-08-01 皇家飞利浦有限公司 用于使用可穿戴设备的测量结果生成健康数据的系统和方法
CN107257654B (zh) * 2015-02-24 2020-08-25 皇家飞利浦有限公司 用于检测心率和心率变异性的设备
KR20170083909A (ko) 2016-01-11 2017-07-19 건양대학교산학협력단 최적 측정조건을 감지하는 체지방 측정 장치
US10973422B2 (en) * 2016-01-22 2021-04-13 Fitbit, Inc. Photoplethysmography-based pulse wave analysis using a wearable device
US20180055453A1 (en) 2016-08-25 2018-03-01 Htc Corporation Method of estimating respiratory rate and electronic apparatus thereof
US20180285528A1 (en) * 2017-03-30 2018-10-04 Intel Corporation Sensor assisted mental health therapy
US11172875B2 (en) * 2018-01-25 2021-11-16 Cardiac Pacemakers, Inc. Systems and methods for dynamic respiration sensing
US10901508B2 (en) * 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080139955A1 (en) * 2006-12-07 2008-06-12 Drager Medical Ag & Co. Kg Device and method for determining a respiration rate
US20110257489A1 (en) * 2010-04-19 2011-10-20 Sotera Wireless, Inc. Body-worn monitor for measuring respiratory rate
US20160128638A1 (en) * 2014-11-10 2016-05-12 Bloom Technologies NV System and method for detecting and quantifying deviations from physiological signals normality
CN107408240A (zh) * 2015-03-25 2017-11-28 皇家飞利浦有限公司 用于向可穿戴设备的用户提供充电信息的方法和系统
US20170071523A1 (en) * 2015-07-16 2017-03-16 Samsung Electronics Company, Ltd. Continuous Stress Measurement with Built-In Alarm Fatigue Reduction Features
US20170071551A1 (en) * 2015-07-16 2017-03-16 Samsung Electronics Company, Ltd. Stress Detection Based on Sympathovagal Balance
CN107997767A (zh) * 2016-11-01 2018-05-08 三星电子株式会社 用于识别用户活动的方法及其电子设备

Also Published As

Publication number Publication date
EP3773193A1 (en) 2021-02-17
CN112512411B (zh) 2024-08-02
US20190298224A1 (en) 2019-10-03
US11331003B2 (en) 2022-05-17
WO2020027523A1 (en) 2020-02-06
EP3773193A4 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
CN112512411B (zh) 使用电子设备的情境感知呼吸率确定
US20220291820A1 (en) Sedentary Notification Management System for Portable Biometric Devices
US20220079440A1 (en) Sedentary Period Detection Using A Wearable Electronic Device
US8768648B2 (en) Selection of display power mode based on sensor data
US10478589B2 (en) Wearable device for sleep assistance
US8781791B2 (en) Touchscreen with dynamically-defined areas having different scanning modes
US8751194B2 (en) Power consumption management of display in portable device based on prediction of user input
CN112971744B (zh) 用于测量生物信号的方法及其可穿戴电子设备
KR102318887B1 (ko) 웨어러블 전자 장치 및 그 제어 방법
US20170243508A1 (en) Generation of sedentary time information by activity tracking device
US20150182160A1 (en) Function operating method based on biological signals and electronic device supporting the same
US10080530B2 (en) Periodic inactivity alerts and achievement messages
KR20170002346A (ko) 보행 자세에 따른 정보 제공 방법 및 이를 위한 전자 장치
KR20160057837A (ko) 전자 기기의 사용자 인터페이스 표시 방법 및 장치
KR20180097403A (ko) 전자 장치의 생체 정보 획득 방법 및 이를 위한 전자
US20170239523A1 (en) Live presentation of detailed activity captured by activity tracking device
CN110151152B (zh) 利用可穿戴电子装置的久坐时间段检测
US20150277572A1 (en) Smart contextual display for a wearable device
JP7401634B2 (ja) サーバ装置、プログラムおよび方法
CN113646027B (zh) 电子装置和用于由该电子装置提供用于减压的信息的方法
WO2014066703A2 (en) Smart contextual display for a wearable device
US20240268711A1 (en) Contactless monitoring of respiratory rate and breathing absence using face video
US20210161502A1 (en) System and method for determining a likelihood of paradoxical vocal cord motion (pvcm) in a person
Ranjan et al. Human Context Sensing in Smart Cities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant