CN112432662B - 用于检测个体健康相关事件的方法和装置 - Google Patents

用于检测个体健康相关事件的方法和装置 Download PDF

Info

Publication number
CN112432662B
CN112432662B CN202010839719.XA CN202010839719A CN112432662B CN 112432662 B CN112432662 B CN 112432662B CN 202010839719 A CN202010839719 A CN 202010839719A CN 112432662 B CN112432662 B CN 112432662B
Authority
CN
China
Prior art keywords
event
data
processor
audio
qualified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010839719.XA
Other languages
English (en)
Other versions
CN112432662A (zh
Inventor
G·拉普特
J·L·泽布
W·C·阿塔斯
A·E·肖贝尔
S·R·斯库利
B·H·特桑
K·琳奇
C·马卢夫
赵世文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202410220939.2A priority Critical patent/CN117889915A/zh
Publication of CN112432662A publication Critical patent/CN112432662A/zh
Application granted granted Critical
Publication of CN112432662B publication Critical patent/CN112432662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • A61B5/1125Grasping motions of hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0204Operational features of power management
    • A61B2560/0209Operational features of power management adapted for power saving
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204Acoustic sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0257Proximity sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0271Thermal or temperature sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112Global tracking of patients, e.g. by using GPS
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J2001/0257Details portable
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Acoustics & Sound (AREA)
  • Sustainable Development (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

本公开涉及用于检测个体健康相关事件的方法和装置。可以基于包括运动传感器和音频传感器在内的多个传感器来检测个体健康相关事件(例如洗手事件)。检测合格的洗手事件可以包括基于运动数据(例如,加速度计数据)检测合格的擦洗事件并基于音频数据检测合格的冲洗事件。在一些示例中,可以通过实施一个或多个功率节省缓解措施来减少功率消耗。

Description

用于检测个体健康相关事件的方法和装置
相关申请的交叉引用
本申请根据35U.S.C.119(e)要求2019年8月26日提交的美国临时专利申请号62/891,944和2020年6月19日提交的美国临时专利申请号63/041,794的权益,前述美国临时专利申请全文以引用方式并入本文以用于所有目的。
技术领域
本发明整体涉及用于检测个体健康相关事件的方法和装置,并且更具体地,涉及基于包括运动传感器和音频传感器在内的多个传感器用于检测个体健康相关事件的方法和装置。
背景技术
洗手可以防止洗手的人患病,并防止疾病传播给他人。然而,洗手的习惯差别很大。使电子设备检测洗手事件可能是有用的。
发明内容
这涉及基于包括运动传感器和音频传感器在内的多个传感器来检测个体健康相关事件(例如,洗手事件)。检测合格的洗手事件可以包括基于运动数据(例如,加速度计数据)检测合格的擦洗事件并基于音频数据检测合格的冲洗事件。在一些示例中,可以通过实施一个或多个功率节省缓解措施来减少功率消耗。在一些示例中,获取和处理运动数据可以用于触发对音频数据的获取和/或处理。在一些示例中,低功率处理器对运动数据的处理可以用于触发另一个处理器(例如,主机处理器)对音频数据的获取和/或处理。在一些示例中,可以基于一个或多个触发器来改变所获取的数据的质量和/或对所获取的数据流的处理的质量。在一些示例中,可以基于设备的一个或多个功率相关状态来动态地调整本文所述的触发器(例如,将其调高以减少处理/功率消耗)。
附图说明
图1A至图1B示出了根据本公开的示例的基于一个或多个传感器用于检测个体健康相关事件的示例性系统。
图2示出了根据本公开的示例的示例性计算系统的框图,该示例性计算系统可以用于检测个体健康相关事件。
图3示出了了根据本公开的示例的用于检测洗手事件的示例性过程。
图4示出了根据本公开的示例的用于检测洗手事件的另一个示例性过程。
图5示出了根据本公开的示例的用于检测洗手事件的另一个示例性过程。
图6示出了根据本公开的示例的用于检测洗手事件的另一个示例性过程。
图7示出了根据本公开的示例的用于根据不同的音频模型处理音频数据的示例性过程。
具体实施方式
在以下对示例的描述中将参考形成以下描述的一部分的附图并且在附图中以举例的方式示出了可被实施的具体示例。应当理解,在不脱离所公开的示例的范围的情况下,可使用其他示例并且可进行结构性变更。
这涉及基于包括运动传感器和音频传感器在内的多个传感器来检测个体健康相关事件(例如,洗手事件)。检测合格的洗手事件可以包括基于运动数据(例如,加速度计数据)检测合格的擦洗事件并基于音频数据检测合格的冲洗事件。在一些示例中,(运动和音频数据的)数据获取和数据处理可以是“始终开启的”(例如,连续地或以规则的间隔操作),以提供关于检测到洗手事件的直接反馈。在一些示例中,可以通过实施一个或多个功率节省缓解措施来减少功率消耗。功率节省缓解措施可以包括延迟数据获取、处理和/或报告关于检测到洗手事件的反馈。在一些示例中,获取和处理运动数据可以用于触发对音频数据的获取和/或处理。在一些示例中,低功率处理器对运动数据的处理可以用于触发另一个处理器(例如,主机处理器)对音频数据的获取和/或处理。在一些示例中,可以基于一个或多个触发器来改变所获取的数据的质量和/或对所获取的数据流的处理的质量。在一些示例中,可以基于设备的一个或多个功率相关状态来动态地调整本文所述的触发器(例如,将其调高以减少处理/功率消耗)。
如本文所讨论的,检测个体健康相关事件可以包括检测洗手事件(例如,检测该系统认为是洗手的输入)。洗手事件可以包括擦洗事件(例如,检测该系统认为是一起擦洗双手的输入)和冲洗事件(例如,检测该系统认为是用水冲洗双手的输入)。如本文所用,合格事件是指满足为系统设置的一个或多个标准的事件。例如,基于(例如,使用)运动数据检测合格的擦洗事件可以包括检测满足一个或多个标准的运动数据,所述标准任选地包括持续时间标准、幅度标准、速度标准等。所述一个或多个标准可以被设置成在与一起擦洗双手相关联的运动和其他运动(例如,抬起手腕、摆动双臂、各种锻炼、坐、打字等)之间进行区分。同样地,基于(例如,使用)音频数据检测合格的冲洗事件可以包括检测满足一个或多个标准的音频数据,所述标准任选地包括持续时间标准、幅度标准、频率内容标准等。所述一个或多个标准可以被设置成在与冲洗手相关联的音频和其他音频(例如,环境声音、交通、风等)之间进行区分。在一些示例中,检测到合格的洗手事件可以包括满足一个或多个标准。所述一个或多个标准可以包括在检测到合格的擦洗事件的阈值时间段内(例如,30秒内、1分钟内等)检测到合格的冲洗事件。
图1A至图1B示出了根据本公开的示例的基于一个或多个传感器用于检测个体健康相关事件的示例性系统。图1A示出了根据本公开的示例的示例性可穿戴设备150(例如,手表),该示例性可穿戴设备可以包括集成触摸屏152、一个或多个传感器160(例如,加速度计、麦克风、光传感器等)以及被编程为检测个体健康相关事件(例如,洗手事件)的处理电路。例如,可穿戴设备150可以使用条带154附接到用户。应当理解,尽管可穿戴设备150包括触摸屏,但是本文所述的对个体健康相关事件的检测可以应用于不具有触敏显示器或不具有非触敏显示器的设备。应当理解,图1A中示出的可穿戴设备150是可穿戴设备的一个示例,但是对个体健康相关事件的检测可以部分地或完全地在其他可穿戴设备(例如,戒指、智能带、健康带、指套、腕套、手套等)中实现。
图1B示出了根据本公开的示例的用于检测个体健康相关事件的系统的示例性框图100,包括图1A的示例性可穿戴设备150。框图100可以包括与可穿戴设备150相对应的电子设备。可穿戴设备150可以包括光感测系统,该光感测系统包括例如一个或多个光发射器102和一个或多个光传感器104。可穿戴设备150可以包括运动感测系统,该运动感测系统包括例如一个或多个加速度计106。可穿戴设备150可以包括音频感测系统,例如,包括麦克风122。可穿戴设备150还可以包括触摸屏152。可穿戴设备150中的处理电路(任选地包括主机处理器108和低功率处理器109)可以被编程为操作和/或处理来自光感测系统、运动感测系统、音频感测系统和触摸屏152的数据。在一些示例中,光感测系统、运动感测系统、音频感测系统和/或触摸屏可以经由输入/输出(I/O)设备110耦接到处理电路。在一些示例中,I/O设备110可以包括一个或多个模数转换器(ADC),以将来自光感测系统、运动感测系统和/或音频感测系统的模拟信号转换为数字信号,以供处理电路处理。
框图100的这些上述部件可以结合在可穿戴设备150内,该可穿戴设备可以经由条带154附接到用户,或者以其他方式固定到用户的皮肤(例如,用户的手腕),或者以其他方式附接到用户所穿戴的衣物制品(例如,用户的衬衫袖子)。光发射器102和光传感器104可以紧邻用户的皮肤定位,使得来自一个或多个光发射器102(例如,一个或多个发光二极管)的光的一部分可以被皮肤114、脉管系统和/或血液等吸收,并且一部分可以被反射回一个或多个光传感器104(例如,光电二极管)。例如,光传感器104可以将该光转换为指示反射光的强度的电信号。在一些示例中,光传感器104可以与光发射器102共同定位(例如,在可穿戴设备150的背面上)。来自光传感器104的信号可以是光体积变化描记图(PPG)信号,这些PPG信号可以包括生理状况的指示,包括心率、心电图、血液氧合等。
在图1B中由加速度计106表示的运动感测系统可以提供指示由于用户的移动而引起的加速度的加速度输出信号(“加速度数据”或更一般地“运动数据”)。例如,可穿戴设备150可以穿戴在用户的手腕上,并且加速度计输出信号可以指示在洗手时的擦洗运动。在其他示例中,加速度计输出信号可以指示用户的其他手臂或手部移动(例如,手臂摆动)或步态(例如,足部撞击速率)。在一些示例中,加速度计可以是提供三维加速度输出(例如,加速度输出的三个通道)的三轴加速度计。尽管在本文中主要描述为加速度计和加速度数据,但是应该理解,可以使用其他传感器来获取或推断运动数据(例如,陀螺仪、惯性测量单元(IMU)、位置传感器等)。可以处理来自加速度计(和/或其他传感器)的运动数据,以用于检测合格的擦洗事件。
在图1B中由麦克风122表示的音频感测系统可以提供音频输出信号(“音频数据”)。例如,可穿戴设备150可以穿戴在用户的手腕上,并且音频信号可以指示在洗手时正在冲洗。
可以使用ADC(例如,在I/O设备110中)将光感测系统(来自光传感器104)、运动感测系统(来自加速度计106)和/或来自音频感测系统(来自麦克风122)的模拟输出转换为数字形式。在一些示例中,该数字化数据可以存储在可穿戴设备150中的存储器130中。包括主机处理器108和/或低功率处理器109的处理电路可以从这些传感器中的一个或多个传感器(或从存储器130)接收该数字化数据并且可以处理该数据。在一些示例中,如本文所述,运动数据(例如,来自加速度计106)和音频数据(例如,来自麦克风122)可以由处理电路处理,以识别个体健康相关事件。个体健康相关事件可以包括洗手事件。
I/O设备110可以经由有线或无线通信链路124耦接到远程设备118。远程设备118可以是任何可穿戴或不可穿戴设备,包括移动电话、平板计算机、个人计算机、便携式媒体播放器、数据服务器等。在一些示例中,远程设备118可以接收关于由可穿戴设备150的处理电路对个体健康事件的检测的信息。
另外,在一些示例中,这些传感器中的一个或多个传感器以及对检测个体健康相关事件的处理的一些或全部处理可以在包括可穿戴设备或不可穿戴设备在内的一个或多个远程设备中实现。例如,这些传感器中的一个或多个传感器可以在第二可穿戴设备或不可穿戴设备中实现。在一些示例中,可穿戴设备150的加速度计106可以用于收集运动数据,并且与可穿戴设备150通信的移动电话(例如,远程设备118)中的麦克风可以用于收集音频数据。来自可穿戴设备和/或不可穿戴设备的一个或多个传感器的数据流可以由可穿戴设备和/或不可穿戴设备中的处理电路处理。例如,一个或多个数据流(运动数据、音频数据)可以经由有线信道或无线信道被传送到可穿戴设备或不可穿戴设备中的处理电路。例如,运动数据和/或音频数据可以从可穿戴设备150被传送到远程设备118,并且远程设备118中的处理电路可以用于处理数据流以检测个体健康相关事件。在一些示例中,本文所述处理中的一些处理可以由可穿戴设备中的处理电路执行并且/或者所述处理中的一些处理可以由不可穿戴设备中的处理电路执行。
图2示出了根据本公开的示例的示例性计算系统200的框图,该示例性计算系统可以用于检测个体健康相关事件。计算系统200可以对应于本文所述的可穿戴设备和不可穿戴设备中的电路。该框图通常可以包括计算机可读介质201(例如,包括存储器分级结构,包括但不限于高速缓存、主存储器和辅助存储器)、处理电路204、I/O子系统206、射频(RF)电路208、音频电路210和传感器电路211。这些部件可以通过一条或多条通信总线或信号线203而被耦接。
射频电路208可以用于通过无线链路或网络向一个或多个其他设备发送信息并从所述一个或多个其他设备接收信息(例如,在设备之间传送音频数据和/或运动数据),并且包括用于执行该功能的众所周知的电路。射频电路208和音频电路210可以经由外围设备接口216(例如,对应于图1B中的I/O设备110)耦接到处理电路204。外围设备接口216可以包括用于在外围设备与处理电路204之间建立和维持通信的各种已知的部件。
音频电路210可以耦接到音频扬声器250和麦克风252(例如,对应于图1B中的麦克风122),并且可以包括用于处理从外围设备接口216接收的语音信号以使用户能够与其他用户实时通信的已知电路。在一些示例中,音频电路210可以包括耳机插孔(未示出)。传感器电路211可以耦接到各种传感器,包括但不限于一个或多个发光二极管(LED)或其他光发射器(例如,对应于图1B中的光发射器102)、一个或多个光电二极管或其他光传感器(例如,对应于图1B中的光传感器104)、一个或多个光热传感器、一个或多个磁力计、一个或多个加速度计(例如,对应于图1B中的加速度计106)、一个或多个陀螺仪、一个或多个惯性测量单元(IMU)或者一个或多个IMU子部件、一个或多个气压计、一个或多个罗盘、一个或多个接近传感器(例如,红外传感器)、一个或多个相机、一个或多个环境光传感器、一个或多个温度计、一个或多个全球定位系统(GPS)传感器,以及可以感测剩余电池寿命、功率消耗、处理器速度、CPU负载等的各种系统传感器。
外围设备接口216可以经由控制器220将计算系统200的输入外围设备和输出外围设备耦接到一个或多个处理器218(例如,对应于图1B中的主机处理器108和/或低功率处理器109)和一个或多个计算机可读介质201。一个或多个处理器218经由控制器220与一个或多个计算机可读介质201通信。一个或多个计算机可读介质201可以是可以存储供一个或多个处理器218使用的代码和/或数据的任何设备或介质。
需注意,本文所述功能中的一种或多种功能(包括检测个体健康相关事件)可以由存储在存储器或程序存储装置(例如,介质201)中的固件来执行,并且可以由一个或多个处理器(例如,低功率处理器109和/或主机处理器108)来执行。该固件也可以在任何非暂态计算机可读存储介质(例如,计算机可读介质)内存储和/或输送,以供指令执行系统、装置或设备(诸如基于计算机的系统、包含处理器的系统,或者可以从指令执行系统、装置或设备获取指令并执行这些指令的其他系统)使用或与其结合。在本文档的上下文中,“非暂态计算机可读存储介质”可以是可包含或存储程序以供指令执行系统、装置或设备使用或与其结合的任何介质(不包括信号)。计算机可读存储介质可包括但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备,便携式计算机磁盘(磁性)、随机存取存储器(RAM)(磁性)、只读存储器(ROM)(磁性)、可擦除可编程只读存储器(EPROM)(磁性)、便携式光盘诸如CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW,或闪存存储器诸如紧凑型闪存卡、安全数字卡、USB存储设备、记忆棒等。
该固件也可传播于任何传输介质内以供指令执行系统、装置或设备诸如基于计算机的系统、包括处理器的系统或可从指令执行系统、装置或设备获取指令并执行指令的其他系统使用或与其结合。在本文的上下文中,“传输介质”可以是可传送、传播或传输程序以供指令执行系统、装置或设备使用或与其结合的任何介质。传输介质可包括但不限于电子、磁性、光学、电磁或红外有线或无线传播介质。该传输介质可以包括通信网络,该通信网络包括但不限于互联网(也称为万维网)、内联网、局域网(LAN)、宽局域网(WLAN)、存储区域网(SAN)、城域网(MAN)等。
一个或多个处理器218可以运行存储在介质201中的各种软件部件,以执行计算系统200的各种功能。在一些示例中,这些软件部件可以包括操作系统222、通信模块(或指令集)224、触摸处理模块(或指令集)226、图形模块(或指令集)228和一个或多个应用程序(或指令集)223。这些模块和以上提及的应用程序中的每一者可以对应于用于执行上述一种或多种功能以及在本申请中所述的方法(例如,本文所述的计算机实现的方法和其他信息处理方法)的指令集。这些模块(即,指令集)不必被实现为单独的软件程序、过程或模块,因此这些模块的各种子集可以在各种示例中被组合或以其他方式重新布置。在一些示例中,介质201可以存储以上所标识的模块和数据结构的子集。此外,介质201可以存储以上未描述的附加模块和数据结构。
操作系统222可以包括各种过程、指令集、软件部件和/或驱动器以用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电源管理等),并且有利于各种硬件部件与软件部件之间的通信。通信模块224可以有利于通过一个或多个外部端口236或经由射频电路208与其他设备通信,并且可以包括用于处理从射频电路208和/或外部端口236接收的数据的各种软件部件。图形模块228可以包括用于在显示表面上渲染、以动画方式显示和显示图形对象的各种已知的软件部件。在其中触摸I/O设备212是触敏显示器(例如,与图1B中的触摸屏152相对应的触摸屏)的示例中,图形模块228可以包括用于在触敏显示器上渲染、显示和以动画方式显示对象的部件。
计算系统200还可以包括触摸I/O设备212(例如,对应于触摸屏152)和/或其他I/O设备214(例如,对应于光感测系统)。触摸I/O设备212还可以结合UI接口,当触摸I/O设备被结合到图1B的可穿戴设备150中时,该UI接口允许用户在显示个体健康事件数据的编程模式(例如,显示洗手行为、显示关于洗手行为的通知或其他反馈等)之间进行选择。
一种或多种应用程序223可以包括安装在计算系统200上的任何应用程序,包括但不限于浏览器、地址簿、联系人列表、电子邮件、即时消息、文字处理、键盘仿真、桌面小程序、支持JAVA的应用程序、加密、数字权限管理、语音识别、语音复制、位置确定能力(诸如由GPS提供的位置确定能力)、音乐播放器等。
触摸处理模块226可以包括用于执行与触摸I/O设备212相关联的各种任务的各种软件部件,包括但不限于经由触摸I/O设备控制器232接收和处理从触摸I/O设备212接收的触摸输入。触摸输入可以由被存储在程序存储装置201中的计算机程序用于执行动作,这些动作可以包括但不限于:移动诸如光标或指针的对象、滚动或平移、调节控制设置、打开文件或文档、查看菜单、作出选择、执行指令、操作连接到主机设备的外围设备、应答电话呼叫、拨打电话呼叫、终止电话呼叫、改变音量或音频设置、存储与电话通信相关的信息(诸如地址、频繁拨打的号码、已接来电、未接来电)、登录到计算机或计算机网络上、允许经授权的个体访问计算机或计算机网络的受限区域、加载与用户偏好的计算机桌面的布置相关联的用户配置文件、允许访问网页内容、启动特定程序、对消息加密或解码等等。存储在程序存储装置201中的计算机程序还可以使处理电路执行本文所述的个体健康相关事件检测。
I/O子系统206(对应于图1B的I/O设备110)可以耦接到触摸I/O设备212和一个或多个其他I/O设备214,以用于控制或执行各种功能。触摸I/O设备212可以经由触摸I/O设备控制器232与处理系统204通信,该控制器可以包括用于处理用户触摸输入的各种部件(例如,扫描硬件)。一个或多个其他输入控制器234可以从/向其他I/O设备214接收/发送电信号。其他I/O设备214可以包括物理按钮、拨号盘、滑动开关、操作杆、键盘、触摸板、附加显示屏或它们的任何组合。如果被实现为触摸屏,则触摸I/O设备212可以在GUI中向用户显示视觉输出。视觉输出可包括文本、图形、视频、以及它们的任何组合。
视觉输出中的一些或全部视觉输出可以对应于图形用户界面对象。触摸I/O设备212可以包括接受来自用户的触摸输入的触敏表面。触摸I/O设备212和触摸屏控制器232(连同介质201中的任何关联模块和/或指令集)可以检测并跟踪触摸I/O设备212上的触摸或接近触摸(以及触摸的任何移动或释放),并将所检测的触摸输入转换为与图形对象(诸如一个或多个用户界面对象)的交互。在其中触摸I/O设备212被实现为触摸屏的示例中,用户可以与可以显示在触摸屏上的图形用户界面对象直接交互。作为替代,在其中触摸I/O设备212被实现为除触摸屏之外的触摸设备(例如,触摸板)的情况下,用户可以与可以显示在被实现为I/O设备214的独立显示屏上的图形用户界面对象间接交互。
触摸I/O设备212可以类似于美国专利6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman)以及/或者美国专利公布2002/0015024A1中描述的多点触摸感测表面,前述专利中的每一者以引用方式并入本文以用于所有目的。在其中触摸I/O设备212是触摸屏的示例中,该触摸屏可以使用液晶显示器(LCD)技术、发光聚合物显示器(LPD)技术、有机LED(OLED)或有机电致发光(OEL),但在其他示例中也可以使用其他显示技术。
触摸I/O设备212(和/或其他I/O设备214)可以基于用户的触摸输入以及正在显示的内容和/或计算系统的一种状态或多种状态来提供反馈。可以通过光学(例如,光信号或所显示的图像)、机械(例如,触觉反馈、触摸反馈、力反馈等)、电气(例如,电刺激)、嗅觉、声学(例如,嘟嘟声等)等方式或它们的任何组合并且以可变或不可变的方式来传输反馈。
计算系统200还可以包括用于为各种硬件部件供电的电力系统244,并且可以包括电源管理系统、一个或多个电源、再充电系统、电源故障检测电路、电源转换器或逆变器、电源状态指示器以及通常与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。在一些示例中,如本文更详细描述的,电源管理系统可以调整数据的获取、数据的处理和检测个体健康相关事件的一个或多个方面。
在一些示例中,处理电路204的外围设备接口216、一个或多个处理器218和存储器控制器220可以在单个芯片(特定于应用的集成电路)上或在单个印刷电路板上实现。在一些其他示例中,它们可以在单独的芯片上和/或在多个印刷电路板上实现。
应当理解,图2所示的框图可以具有比所示的更多或更少的部件,或者具有不同的部件配置。图2中所示的各种部件可在硬件、软件、固件或它们的任何组合(包括一个或多个信号处理和/或专用集成电路)中实现。
如本文所讨论的,检测个体健康相关事件可以包括检测洗手事件。检测合格的洗手事件可以包括检测合格的擦洗事件和合格的冲洗事件。在一些示例中,可以使用一个或多个传感器数据流来检测洗手事件。在一些示例中,传感器数据流可以包括运动数据(例如,从加速度计获取)和音频数据(例如,从麦克风获取)。运动数据可以用于检测合格的擦洗事件,并且音频数据可以用于检测合格的冲洗事件。在一些示例中,运动数据和音频数据可以用于检测合格的擦洗事件和/或合格的冲洗事件。如本文所用,合格事件是指满足一个或多个标准的事件。例如,基于运动数据检测合格的擦洗事件可以包括检测满足一个或多个标准的运动数据,所述标准任选地包括持续时间标准、幅度标准、速度标准等。所述一个或多个标准可以被设置成在与一起擦洗双手相关联的运动和其他运动(例如,抬起手腕、摆动双臂、各种锻炼、坐、打字等)之间进行区分。同样地,基于音频数据检测合格的冲洗事件可以包括检测满足一个或多个标准的音频数据,所述标准任选地包括持续时间标准、幅度标准、频率内容标准等。所述一个或多个标准可以被设置成在与冲洗手相关联的音频和其他音频(例如,环境声音、交通、风等)之间进行区分。在一些示例中,检测到合格的洗手事件可以包括满足一个或多个标准。所述一个或多个标准可以包括在检测到合格的擦洗事件的阈值时间段内(例如,30秒内、1分钟内等)检测到合格的冲洗事件。这样的标准可以用于排除可能不指示典型洗手事件的假阳性的合格擦洗事件和/或假阳性的冲洗事件。
图3示出了了根据本公开的示例的用于检测洗手事件的示例性过程。过程300可以包括从多个传感器获取数据。例如,可以分别在305和310处获取运动数据(例如,加速度计数据)和音频数据。例如,加速度计数据可以由加速度计106获取,而音频数据可以由麦克风122获取。可以对加速度计数据和音频数据进行处理。例如,该处理可以由低功率处理器108和/或主机处理器109执行。该处理可以包括分析加速度计数据以检测合格的擦洗事件(例如,满足合格的擦洗事件标准)以及分析音频数据以检测合格的冲洗事件(例如,满足合格的冲洗事件标准)。该处理还可以包括例如在320处确定是否检测到合格的洗手事件。当没有检测到合格的洗手事件时,对加速度计数据和音频数据的处理可以在315处针对后续的加速度计数据和音频数据继续进行(任选地,在获取和/或处理后续的加速度计数据和/或音频数据之前,处于某种睡眠或空闲状态一段持续时间)。当检测到合格的洗手事件时,可以报告洗手事件。在一些示例中,当报告了合格的洗手事件时,对加速度计数据和音频数据的获取和/或处理可以在315处针对后续的加速度计数据和音频数据继续进行。报告的洗手事件可以用于跟踪和/或记录用户的洗手行为。用户的洗手行为也可以用于触发反馈。在一些示例中,检测到洗手事件可以启动倒计时定时器来帮助用户提高洗手的效率。
在一些示例中,可以通过对数据的获取和/或处理进行排序来降低功率消耗。在一些示例中,对运动数据的处理可以用于触发(或不触发)对音频数据的获取和/或处理,以减轻传感器和/或处理电路的功率消耗。图4示出了根据本公开的示例的用于检测洗手事件的另一个示例性过程。过程400可以包括从多个传感器获取数据。例如,可以获取运动数据(例如,加速度计数据)和音频数据。然而,与过程300中不同,在过程400中,可以在405处(经由加速度计106)获取加速度计数据,而无需在触发之前同时获取音频数据。在410处,可以对加速度计数据进行处理。例如,该处理可以由低功率处理器108和/或主机处理器109执行。该处理可以包括分析加速度计数据以检测合格的擦洗事件(例如,满足合格的擦洗事件标准)。该处理还可以包括例如在415处确定是否检测到合格的擦洗事件。当没有检测到合格的擦洗事件时,对加速度计数据的获取和/或处理可以在410处针对后续的加速度计数据继续进行(任选地,在获取和/或处理后续的加速度计数据之前,处于某种睡眠或空闲状态一段持续时间)。当检测到合格的擦洗事件时,可以在425处(经由麦克风122)获取音频数据。在425处,可以对音频数据进行处理。例如,该处理可以由低功率处理器108和/或主机处理器109执行。该处理可以包括分析音频数据以检测合格的冲洗事件(例如,满足合格的冲洗事件标准)。该处理还可以包括例如在430处确定是否检测到合格的冲洗事件。当没有检测到合格的冲洗事件时,系统可以在440处停止获取音频数据,对加速度计数据的获取和/或处理可以在410处针对后续的加速度计数据继续进行(任选地,在获取和/或处理后续的加速度计数据之前,处于某种睡眠或空闲状态一段持续时间)。当检测到合格的冲洗事件时,可以在435处报告洗手事件。在一些示例中,当报告合格的洗手事件时,对加速度计数据的获取和/或处理可以在410处针对后续的加速度计数据继续进行(任选地,在获取和/或处理后续的加速度计数据之前,处于某种睡眠或空闲状态一段持续时间)。
如过程400中所示,对音频数据的获取和处理可以通过检测到合格的擦洗事件来触发。因此,可以通过在不必要时不获取音频数据(例如,通过使音频传感器和/或相关联电路(诸如ADC)掉电)和/或通过在先前没有合格的擦洗事件时不处理音频数据来节省功率。在一些示例中,音频数据可以与加速度计数据同时获取(例如,如在过程300中),但对音频数据的处理可以基于检测到合格的擦洗事件而被触发(例如,如在过程400中)。在一些示例中,用于获取音频数据的触发器和用于处理音频数据的触发器可以是不同的触发器。例如,对音频数据的获取可以通过检测到少于合格的擦洗事件(例如,检测到可以满足合格的擦洗事件标准中的一些但不是全部标准的运动,诸如检测到满足幅度标准但小于阈值持续时间的擦洗运动)来触发,并且对音频数据的处理可以通过检测到合格的擦洗事件(例如,检测到满足合格的擦洗事件标准中的全部标准的运动)来触发。
在一些示例中,过程300和过程400可以在低功率处理器(例如,低功率处理器109)中实现。在一些示例中,过程300和过程400可以在比低功率处理器消耗更多功率的处理器(例如,主机处理器108)中实现。应当理解,本文所述的“低功率”处理器是相对于另一个处理器(例如,主机处理器)具有较低的功率。在一些示例中,低功率处理器包含的资源(例如,存储器、处理能力等)可能不足以实现过程300或过程400中的全部过程。在一些示例中,可以通过在两个处理器之间(例如,在低功率处理器109与主机处理器108之间)划分处理来改善功率消耗。在一些示例中,低功率处理器对运动数据的处理可以用于触发(或不触发)主机处理器对音频数据的获取和/或处理,以减轻功率消耗和/或减少处理需求。
图5示出了根据本公开的示例的用于检测洗手事件的另一个示例性过程500。在505处,可以获取加速度计数据(经由加速度计106)。在510处,可以由低功率处理器(例如,低功率处理器109)处理加速度计数据,以检测合格的擦洗事件(或更一般地,合格的运动事件)。当没有检测到合格的擦洗事件时,对加速度计数据的获取和/或处理可以在505处针对后续的加速度计数据继续进行。当检测到合格的擦洗事件时(例如,响应于检测到合格的擦洗事件),可以在515处唤醒(激活)另一个处理器(例如,主机处理器108)。在一些示例中,检测到合格的擦洗事件(或另一种触发)可以用于在520处(经由麦克风122)获取音频数据。在一些示例中,可以在没有基于加速度计的触发的情况下获取对音频数据的获取(例如,如过程300中所示)。
在525处,主机处理器可以处理音频数据,并且任选地,主机处理器还可以处理加速度计数据(530)。该处理可以包括在535处检测合格的冲洗事件(或更一般地,合格的音频事件)。当没有检测到合格的冲洗事件时,系统可以在545处使主机处理器掉电(停用),并且低功率处理器对加速度计数据的获取和/或处理可以在505处针对后续的加速度计数据继续进行。在一些示例中,当在535处未检测到合格的冲洗事件时,系统可以在550处停止获取音频数据(并任选地使音频传感器掉电)。当检测到合格的冲洗事件时,可以在540处报告洗手事件。在一些示例中,主机处理器还可以先在535处检测到合格的洗手事件,之后再报告合格的洗手事件。例如,合格的洗手事件可以基于检测到合格的擦洗事件和合格的冲洗事件这两者,并且任选地基于其他标准(例如,这两个事件在阈值时间段内发生或至少部分地同时发生)而被检测到。在一些示例中,当没有检测到合格的冲洗事件时,系统可以放弃对检测合格的洗手事件的处理。
当报告合格的冲洗事件和合格的洗手事件时,系统可以在545处使主机处理器掉电(停用)(并且/或者在550处停止获取音频数据),并且在一些示例中,对加速度计数据的获取和/或处理可以在505处在低功率处理器中针对后续的加速度计数据继续进行。
如上所述,加速度计数据可以由低功率处理器处理(在510处)以检测合格的擦洗事件(或更一般地,合格的运动事件),然后在515处唤醒另一个处理器(例如,主机处理器)。加速度计数据也可以由主机处理器处理。在一些示例中,在510处的处理可以包括将第一加速度计数据模型(例如,机器学习模型)应用于加速度计数据,并且在530处的处理可以包括应用第二加速度计数据模型(例如,机器学习模型)。在一些示例中,第一加速度计数据模型可以比第二加速度计数据模型更小(在存储器资源方面)并且/或者质量更低(在处理精度方面)。在一些示例中,第一加速度计数据模型可以用于对合格的运动/擦洗事件进行第一确定。第二加速度计数据模型可以用于完善对合格的运动/擦洗事件的确定。例如,与第一加速度计模型相比,质量更高的第二加速度计数据模型可以提供更好的精度,这是由于其质量更高,并且有潜力在清洗/冲洗的持续时间内访问加速度计数据,还有潜力在触发唤醒第二处理器之前访问加速度计数据。在一些示例中,与在530处用于检测合格的擦洗事件的阈值相比,可以减小在510处用于检测合格的运动/擦洗事件的阈值。例如,设置用于唤醒处理器的低杆触发器对于避免错过潜在的洗手事件(例如,触发更高精度、更高功率模型的高上升速率、低功率模型)可能是有用的。在一些示例中,第一加速度计数据模型的输出可以用作第二加速度计数据模型的输入,以便完善第二加速度计数据模型。在一些示例中,第二加速度计数据模型的输出可以用于完善第一加速度计数据模型。例如,由第二加速度计数据模型使用来自第一加速度计数据模型的一些数据对擦洗事件进行后续标记的结果可以用于改善第一加速度计数据模型在检测合格的擦洗事件中的表现。
在一些示例中,可以通过改变所获取的数据流的质量和/或通过基于各种触发来改变对所获取的数据流的处理的质量,由此改善功率消耗(以减轻功率消耗和/或减少处理需求)。图6示出了根据本公开的示例的用于检测洗手事件的另一个示例性过程600。分别在605和610处,可以获取加速度计数据(经由加速度计106),并且可以获取音频数据(经由音频传感器610)。在615处,加速度计数据和音频数据可以由低功率处理器(例如,低功率处理器109)处理。对加速度计数据的处理可以包括使用第一加速度计数据处理,并且对音频数据的处理可以包括使用第一音频数据处理。在一些示例中,第一加速度计数据处理可以包括将第一加速度计数据模型(例如,机器学习模型)应用于加速度计数据(620)。在一些示例中,第一音频数据处理可以包括将第一音频数据模型(例如,机器学习模型)应用于音频数据(620)。
该处理可以包括在625处检测合格的洗手事件(例如,包括基于加速度计数据检测合格的擦洗事件并基于音频数据检测合格的冲洗事件)。当没有检测到合格的洗手事件时,对加速度计数据的获取和/或处理可以在615处针对后续的加速度计数据和/或音频数据继续进行。当检测到合格的洗手事件时,可以在630处唤醒(激活)另一个处理器(例如,主机处理器108)。尽管在625的处理是参考检测合格的洗手事件来描述的,但是应当理解,可以对该处理进行排序,使得加速度计数据可以首先被处理以检测合格的擦洗事件。当没有检测到合格的擦洗事件时,系统可能检测不到洗手事件,并且绕过对音频数据的后续处理。同样地,可以对该处理进行排序,使得可以响应于合格的擦洗事件来处理音频数据。当没有检测到合格的冲洗事件时,系统可能检测不到洗手事件,并且绕过基于合格的擦洗事件和合格的冲洗事件来检测洗手事件的发生的后续处理。
在635处,主机处理器可以处理音频数据和/或加速度计数据。该处理可以包括在640处检测合格的洗手事件。对加速度计数据的处理可以包括使用第二加速度计数据处理,并且对音频数据的处理可以包括使用第二音频数据处理。在一些示例中,对加速度计数据和/或音频数据的第一处理和第二处理可以是相同的。在一些示例中,对加速度计数据和/或音频数据的第一处理和第二处理可以是不同的。在一些示例中,第二加速度计数据处理可以包括将第二加速度计数据模型(例如,机器学习模型)应用于加速度计数据(640)。在一些示例中,第二加速度计数据模型可以与第一加速度计数据模型不同。在一些示例中,第一加速度计数据模型可以比第二加速度计数据模型更小(在存储器资源方面)并且质量更低(在处理精度方面)。在一些示例中,可以使用比用于创建第一加速度计模型更多的训练数据来创建第二加速度计模型。在一些示例中,第二音频数据处理可以包括将第二音频数据模型(例如,机器学习模型)应用于音频数据(640)。在一些示例中,第二音频数据模型可以与第一音频数据模型不同。在一些示例中,第一音频数据模型可以比第二音频数据模型更小(在存储器资源方面)并且质量更低(在处理精度方面)。在一些示例中,可以使用比用于创建第一音频模型更多的训练数据来创建第二音频模型。在一些示例中,第一音频数据模型和/或第二音频数据模型可以基于时域音频数据。在一些示例中,可以通过使用音频数据的频域表示(例如,使用傅立叶变换(诸如快速傅里叶变换)或另一种变换)来减小音频数据模型的大小/复杂度。在一些示例中,可以通过使用音频数据的均方根(RMS)表示来减小音频数据模型的大小/复杂度。在一些示例中,可以通过使用音频数据的梅尔频率倒谱(MelFrequency Cepstral,MFC)表示(例如,使用MFC系数)来减小音频数据模型的大小/复杂度。
该处理可以包括在645处检测合格的洗手事件(例如,包括基于加速度计数据检测合格的擦洗事件并基于音频数据检测合格的冲洗事件)。可以如上针对由低功率处理器进行的处理所述来对由主机处理器检测合格的洗手事件的处理进行排序。当还没有检测到合格的冲洗事件时,系统可以在655处使主机处理器掉电(停用),并且对加速度计数据的获取和/或处理可以在615处针对后续的加速度计数据和/或音频数据继续进行。当已检测到合格的洗手事件时,可以在650处报告洗手事件。当报告合格的洗手事件时,系统可以在655处使主机处理器掉电(停用),并且在一些示例中,对加速度计数据和音频数据的获取和/或处理可以在615处针对后续的加速度计数据和/或音频数据继续进行。
尽管图6示出了在605和610处至少部分同时获取的音频数据和加速度数据,但是应当理解,在一些示例中,可以以与如以上关于图5所述类似的方式来触发对音频数据的获取(例如,使用基于加速度的触发器)。除此之外,应当理解,在一些示例中,可以基于触发条件来调整数据流的质量。例如,在610处,可以执行对音频数据的获取,使得音频数据具有第一质量,并且响应于基于加速度数据检测到合格的擦洗事件,可以执行对音频数据的获取,使得音频数据具有大于第一质量的第二质量。例如,可以响应于触发事件来增加音频传感器(或对应的ADC)的采样率。在这种情况下,可以连续获取音频数据,其中高质量的音频是在对检测后续的合格冲洗事件最有意义时获取的。在一些示例中,在605处,可以执行对加速度计数据的获取,使得加速度计数据具有第一质量,并且响应于基于加速度数据检测到触发事件(例如,满足合格的擦洗事件的标准中的一些但不是全部标准的运动),可以执行对加速度数据的获取,使得加速度数据具有大于第一质量的第二质量。例如,可以响应于触发事件来增加加速器传感器(或对应的ADC)的采样率。在一些示例中,可以响应于触发事件而使用附加的加速度计通道(例如,使用三轴加速度计数据而不是单轴加速度计数据)。
在一些示例中,过程600可以被进一步修改以减少功率消耗。例如,当由低功率处理器对洗手事件的初始确定令人满意时,可以报告洗手事件,而无需唤醒主机处理器和处理加速度计数据和/或音频数据。在此类情况下,由主机处理器进行处理以再次检测洗手事件将是多余的。然而,当低功率处理器对洗手事件的初始确定本身不足(例如,结果准确度的置信度不足)时,主机处理器可以唤醒并处理加速度计数据和/或音频数据。这种修改在图6中的660处示出。例如,由低功率处理器检测洗手事件可以包括置信度测量值(例如,介于0与1之间)。当在625处检测洗手事件中的置信度小于阈值时,过程600可以继续进行到630并唤醒主机处理器以进行进一步处理。当在625处检测洗手事件中的置信度大于阈值时,过程600可以在650处报告洗手事件并绕过由主机处理器进行的处理。
重新参见图5和图6中所示出的过程500和过程600,这两个过程都假定至少部分地由低功率处理器进行处理,并且基于检测到(或未检测到)合格的洗手事件而使主机处理器上电(或掉电)。然而,在一些示例中,类似于过程500和过程600的处理可以在低功率处理器(例如,低功率处理器109)中或在比低功率处理器消耗更多功率的处理器(例如,主机处理器108)中实现。例如,在615处对加速度计数据和音频数据进行处理(例如,使用第一加速度计数据处理和使用第一音频数据处理)可以在635处在相同的低功率处理器上(例如,不需要唤醒第二处理器或使第二处理器掉电)触发或不触发后续的处理(例如,使用第二加速度计数据处理和使用第二音频数据处理)。
在一些示例中,较低或较高功率处理器/性能处理器可以使用较低功率、较低精度的音频模型和/或加速度计模型或者较高功率、较高精度的音频模型和/或加速度计模型的不同选择。在一些示例中,一般来讲,最低功率音频模型和/或加速度计模型可以在最低功率处理器上运作较高百分比的时间,并且较高功率、较高精度的音频模型和/或加速度计模型可以在较高功率处理器上运作较低百分比的时间,以减少(或最小化)总体功率消耗。在一些示例中,较低功率、较低精度的音频模型和/或加速度计模型(例如,通过较低功率处理器)可以触发较高功率、较高精度的音频模型和/或加速度计模型(例如,通过较低功率或较高功率处理器)的使用,或者反之亦然。在一些示例中,使用较高功率、较高精度的音频模型和/或加速度计模型以及/或者较高功率处理器来确认或否决由较低功率、较低精度的模型对洗手事件的确定。在一些示例中,可以调整音频模型和/或加速度计模型以及运行这些模型的处理器,以获得最佳的总体功率和体验。在一些示例中,这些模型或处理器配置改变可以被自动选择(例如,基于电池电量等)或由用户手动选择。
在一些示例中,可以独立于对洗手事件的检测来使主机处理器上电或掉电。例如,可以使主机处理器上电,以执行可以使用主机处理器的其他处理功能(例如,触摸处理、启动应用程序、显示功能等)。在一些这样的示例中,可以对过程500和过程600进行修改,使得在主机处理器处于活动状态并且(在主机处理器处有足够多的处理资源可用)的同时,可以由主机处理器执行(无需使用低功率处理器)对加速度数据和/或音频数据的处理。在一些示例中,在主机处理器处于活动状态的同时,该处理可以由主机处理器根据过程300或过程400执行。
在一些示例中,还可以基于其他考虑来修改一些过程(例如,过程500和过程600)。例如,可以权衡处理能力与处理等待时间(例如,如由电源管理系统所控制的)。在一些示例中,可以执行低功率处理器对加速度数据和/或音频数据的处理(例如510、615等),但是可以推迟主机处理器进行的处理(例如525、635),直到其他触发条件得到满足。在这样的示例中,加速度计数据和/或音频数据可以被存储以供主机处理器稍后处理(例如,一旦触发条件得到满足)。通过这种修改,增加用于检测洗手事件的处理的等待时间可以减少设备的功率消耗。同样地,减少用于检测洗手事件的处理的等待时间可以增加设备的功率消耗。减少等待时间的触发条件可以包括例如高于阈值的电池电量、充电状态(例如,插入到AC适配器中或经由无线充电电路充电)、设备的正常功率状态(非低功率状态或模式)、查看洗手行为的用户请求或查看洗手行为的应用程序请求(例如,在一天的特定时间,诸如5pm),以及/或者主机处理器被激活用于其他功能(例如,如上所述)。增加等待时间的触发条件可以包括例如电池电量降到阈值(与上述电池阈值相同或不同)以下、非充电状态(从有线或无线充电器移除)、设备的低功率状态(或模式)等。
在一些示例中,一些过程(例如,过程400、过程500或过程600)可以基于功率考虑而被修改,以同时获取加速度数据和音频数据(而不使用基于加速度的触发器触发音频数据收集),并且/或者以获取更高质量的加速度数据和/或音频数据(在没有对应的触发事件的情况下),并且/或者在对功率的关注不太关键时(例如,在充电时、在电池电量高于阈值时等)同时处理以检测合格的擦洗事件和冲洗事件(而不排序以要求先检测擦洗事件,之后再触发处理以检测冲洗事件),并且在对功率的关注更为关键时(例如,在不充电时、在电池电量低于阈值时等)使用触发以获取和/或处理音频数据。
除了考虑等待时间相对于功率的权衡之外,可以修改上述过程中的一些过程以考虑为洗手检测特征提供的功率预算。例如,便携式设备(例如,可穿戴设备150)可以使用电池功率来工作,并且该便携式设备可以支持除了洗手检测特征之外的许多特征(例如,媒体回放、显示等)。因此,可以为洗手检测特征提供功率预算,以便为这些其他特征提供足够的功率。在一些示例中,上述的缓解技术可以允许将功率预算更好地用于洗手检测特征。然而,在一些示例中,洗手检测过程(例如,触发器本身)可以基于该特征的可用功率预算来进一步调整。
在一些示例中,该功率预算可以在一段持续时间内提供最大次数的数据处理。例如,功率预算可以允许每小时最大次数(例如,10次、15次)的处理循环等。一旦达到最大次数,系统就可以放弃对洗手检测的进一步处理。在一些示例中,不是限制处理循环的最大次数(由于假阳性的洗手事件过多,这可能导致遗漏真阳性的洗手事件),而是可以调整用于检测合格的擦洗事件和/或用于检测合格的冲洗事件(和/或针对本文所述的任何其他触发器)的要求。例如,随着在该持续时间内接近最大次数的处理循环,可以提高用于检测合格的擦洗事件的一个或多个标准(例如,需要更长和/或更有力的擦洗)。在一些示例中,该调整还可以基于该持续时间内的真阳性事件和假阳性事件的数量。例如,如果每个合格的擦洗事件最终被检测为合格的洗手事件,那么尽管接近或达到最大数量,触发器和/或标准也可以不被调整(或者可能被向下调整以便更灵敏)。如果每个合格的擦洗事件最终被确定为是不合格的洗手事件,那么随着接近或达到最大数量,触发器和/或标准可以被调整(调高)为较不灵敏。在一些示例中,该调整可以考虑到在该持续时间内的假阳性结果和真阳性结果这两者。可以基于假阳性结果和真阳性结果这两者的数量来调整(调高或降低)触发器和/或标准。
在一些示例中,对触发器和/或标准的调整还可以考虑到设备的电池电量和/或充电状态。例如,在充电时或在电池电量大于阈值时,洗手检测处理可以更灵敏(例如,无需调整/调高触发器),而在不充电时或在电池电量降到阈值之前时,洗手检测处理可以被调整为较不灵敏(例如,通过调整/调高触发器)或该处理可以停止。
应当理解,以上示例是示例性的过程和修改。更一般地,应当理解,如本文所述,用于获取数据和处理数据以检测洗手事件的功率消耗缓解措施可以基于操作模式而变化。例如,这些缓解措施可以包括以下一项或多项:(1)响应于基于加速度的触发器来获取音频数据;(2)响应于基于加速度的触发器来处理音频数据;(3)基于低功率处理器触发器(或其他触发器)在主机处理器中处理音频数据(和/或加速度计数据);(4)基于触发器来提高音频数据和/或加速度计数据的质量;和(5)增加基于触发器用于处理的音频模型和/或加速度计模型的质量或大小。例如,图4中的过程400至少示出了了缓解措施(1)和(2),图5中的过程500示出了缓解措施(1)、(2)和(3),并且图6中的过程600至少示出了缓解措施(3)、(4)和(5)。在各种操作模式下,可以不应用这些缓解措施,也可以应用这些缓解措施中的一些或全部。除此之外,进一步的缓解措施可以包括调整触发器(或合格事件标准)中的一些,以改变洗手检测系统的灵敏度,从而减少处理/功率消耗活动。是否应用上述缓解措施中的一项或多项措施可以取决于操作模式,而操作模式可以取决于各种状态变量。
状态变量可以包括功率相关变量。例如,功率相关的状态变量可以包括可用于洗手检测特征的功率预算、电池电量和/或充电状态。例如,随着洗手检测特征的功率预算下降,可以添加(一些或全部)缓解措施和/或调整触发器以增加功率节省,并且随着洗手检测特征的功率预算上升,可以移除(一些或全部)缓解措施并且/或者可以调整触发器以减少功率节省。随着检测洗手事件的电子设备的电池电量下降,可以添加(一些或全部)缓解措施和/或调整触发器以增加功率节省,并且随着该电子设备的电池电量上升,可以移除(一些或全部)缓解措施并且/或者可以调整触发器以减少功率节省。在电子设备从充电器脱离时,可以添加(一些或全部)缓解措施和/或调整触发器以增加功率节省,并且在电子设备充电时,可以移除(一些或全部)缓解措施并且/或者可以调整触发器以减少功率节省。
在一些示例中,状态变量还可以包括等待时间相关变量。例如,设置可以限定报告洗手事件结果的等待时间。虽然该设置允许报告中存在附加的等待时间,但是可以包括一项或多项缓解措施来降低功率,同时仍然满足等待时间要求。尽管该设置不允许在报告中存在附加的等待时间,但是可以移除一项或多项缓解措施来满足等待时间要求。在一些示例中,用户请求或应用程序请求可以导致移除一项或多项缓解措施,以减少响应于用户请求的等待时间。
在一些示例中,可以实现滞后以避免状态的高频改变。在一些示例中,可以在处理循环之间改变缓解措施和/或触发器,以检测洗手事件。例如,每当处理返回到针对新获取的加速度数据样本的初始处理步骤时(例如,在即将返回到315、410、505、615之前),可以改变缓解措施和/或触发器。
在一些示例中,确定洗手事件的终点可能是有用的。例如,洗手事件的终点可以用于区分两个不同的洗手事件并且/或者可以用于限制洗手事件的数量(例如,出于功率节省的目的)。在一些示例中,在检测到合格的运动事件或合格的洗手事件之后(例如,一旦检测到阈值擦洗持续时间并且/或者一旦检测到后续的冲洗),并且在进一步的运动可以触发对进一步的运动数据(和/或音频数据)的处理之前,必须经过阈值时间段(例如,15秒、30秒、1分钟等)。在一些示例中,可以基于状态变量来确定阈值时间段(例如,当设备具有较多功率或正在充电时,持续时间较短;而当设备具有较少功率、处于低功率状态时,持续时间较长,等等)。
在一些示例中,可以使用置信度参数来确定洗手事件的终点。置信度参数可以是运动数据指示擦洗的概率(例如,介于0与1之间)。当置信度高于阈值(指示擦洗),然后在阈值时间段内转变为低于阈值(指示擦洗的终点)时,可以确定洗手事件已结束。后续的运动可以触发用于检测新洗手事件的处理。
在一些示例中,通过检测水或其他液体的存在,可以提高检测合格的洗手事件的准确度。例如,可穿戴设备的触敏表面(例如,可穿戴设备150的触摸屏152)可以用于检测水的存在,其中水可以指示冲洗事件。该信息可以用于补充或替代经由音频数据检测冲洗。例如,触摸屏上的水的指示可以增加冲洗发生的置信度。例如,水的指示可以增加指示冲洗的音频数据来自于穿戴者冲洗手部(因为接触触摸屏的水可能是由于冲洗而产生的)、而不是指示另一个流动水来源(例如,另一个人正在洗手)的音频数据的置信度。在一些示例中,触敏表面的水的指示可以用于检测冲洗事件而不处理音频数据(例如,针对非水基手部杀菌或者音频数据是否有噪声/损坏/不可用)。
在一些示例中,触敏表面(例如,触摸屏152)可以执行两种不同类型的电容式触摸扫描。第一次(受防护的)触摸扫描可以检测物体(例如手指、触笔等)的存在,而不检测漂浮的水/液体。第二次(无防护的)触摸扫描可以检测物体和漂浮的水/液体这两者的存在。这两次扫描的结果之间的差值可以提供表面上的水/液体和/或水/液体量的指示。在一些示例中,当水/液体的量高于阈值(例如,25%、50%等)时,水量可以指示合格的冲洗事件并且/或者可以使用音频数据来验证或增加检测到合格的冲洗事件的置信度。
在一些示例中,通过区分近场音频数据和远场音频数据,可以提高检测合格的洗手事件的准确度。例如,可穿戴设备150内的多个音频传感器(例如,麦克风)可以用于区分近场音频(在该可穿戴设备的阈值距离内)和远场音频(与可穿戴设备的距离大于阈值距离)。近场音频可以包括指示冲洗手部的音频,而远场音频可以指示来自与冲洗手部无关的另一个来源(例如,来自不与该可穿戴设备的穿戴者紧密靠近的另一个水槽或其他水源)的流动水。近场音频数据和/或远场音频数据可以使用音频波束形成技术或音频三角测量技术来获取。
在一些示例中,为了减少功率消耗,可以仅从近场获取音频数据(例如,使用波束形成技术来获取近场音频)。在一些示例中,音频传感器可以获取近场音频数据和远场音频数据这两者。在一些示例中,为了降低功率消耗,可以获取近场音频数据,并且当在近场音频数据中存在流动水来源的指示时,可以触发对远场音频数据的获取。远场音频数据中不存在流动水/冲洗的声音然后可以用于提高基于近场音频数据确定合格的冲洗事件的置信度。在一些示例中,当在触摸屏上存在水的指示(高于阈值量)时,可以停止(或不执行)远场音频检测,这是因为存在水可以验证或进一步建立检测到合格的冲洗事件的置信度。
在一些示例中,通过在不同的条件下使用不同的音频模型,可以提高检测合格的洗手事件的准确度。例如,取决于音频传感器(例如,麦克风)是否被遮挡,与手部冲洗事件相对应的音频数据可以是不同的。例如,衣物(例如,袖子或手套)可能覆盖并遮挡音频传感器。在一些示例中,遮挡物的存在(或不存在)可以被估计,并且可以用于从多个音频模型中选择音频模型(和/或从多个加速度计模型中选择加速度计模型),该音频模型可以被定制用于在给定的那些条件下使检测洗手事件具有更高的准确度(例如,袖子音频模型可以被定制用于静音音频,这与无袖子音频模型相反)。
在一些示例中,对遮挡物的估计可以基于一个或多个环境光传感器。例如,可穿戴设备150可以包括一个或多个环境光传感器(例如,对应于传感器电路211)。在一些示例中,当物体覆盖环境光传感器时或者当处于弱光环境中时,由环境光传感器检测到的环境光可以低于阈值。为了区分前者(其可能影响音频数据)和后者(其可能不影响音频数据),可以使用环境光传感器的两次测量之间的差值。该可穿戴设备的显示器(例如,触摸屏152)(或另一个光源)可以在一次测量期间打开,而在另一次测量期间关闭。在弱光环境中,无论显示器是打开的还是关闭的,环境光传感器的测量结果都可以是类似的(使得所述差值可以为零或在零的阈值量之内)。然而,当可穿戴设备被覆盖时,由于来自显示器(或另一个光源,诸如红外LED)的光因为遮挡物而散射回到环境光传感器,所以在屏幕打开和关闭时由环境光传感器进行的测量可以不同,使得所述差值可以高于阈值。
在一些示例中,对遮挡物的估计可以基于不同的环境光传感器之间的差值。一个环境光传感器可以位于该设备的第一部分中,并且一个环境光传感器可以位于该设备的相对侧上的该设备的第二部分中。例如,一个环境光传感器可以设置在该设备的左侧上,而一个环境光传感器可以设置在该设备的右侧上。对于戴在左手上的可穿戴设备来说,低于左侧环境光传感器的阈值、但是却高于右侧环境光传感器的阈值的环境光可以指示设备被袖子部分地覆盖(并且测量结果差值可以具有高于阈值的大小),而在低光环境中,这两个环境光传感器都可以检测到低于阈值的环境光(并且这两个传感器之间的测量结果差值可以近似为零)。
在一些示例中,对遮挡物的估计可以基于其他传感器(除了环境光传感器之外或替代所述环境光传感器)。例如,一个或多个接近传感器(例如,红外光接近传感器)或光学传感器(例如,相机)可以用于检测物体(或者袖子,尤其是使用相机)的接近度。物体(在阈值距离内)的接近度可以指示物体覆盖了可穿戴设备并且/或者遮挡了音频传感器。在一些示例中,由音频传感器测量的声学剖面可以用于预测或推断音频传感器被覆盖/遮挡并且/或者检测覆盖(或暴露)音频传感器的动作。
图7示出了根据本公开的示例的用于根据音频模型,取决于音频传感器是被遮挡还是未被遮挡来处理音频数据的示例性过程。过程700可以包括从一个或多个传感器获取数据。例如,如上所述,在705处,可以获取来自一个或多个环境光传感器的环境光数据(例如,在显示器打开和不打开的情况下),可以获取来自一个或多个接近传感器的接近数据,并且/或者可以获取音频数据。应当理解,这些传感器是可以用于检测/估计遮挡或覆盖音频传感器的袖子或其他物体的可能传感器的示例,但是可以使用其他传感器。在710处,可以处理来自一个或多个传感器的数据以进行袖子检测。该数据处理可以包括计算环境光测量结果之间的差值、将环境光测量结果/差值与一个或多个阈值进行比较、将音频数据与音频配置文件或一个或多个阈值进行比较,并且/或者将接近度测量结果与一个或多个阈值进行比较。在715处,该处理可以用于估计是否检测到袖子(或其他遮挡物)。根据检测到袖子或音频传感器的其他遮挡物,在720处,使用当音频传感器被覆盖/遮挡时为检测冲洗事件而创建的音频模型,可以执行对用于洗手检测的音频数据的处理(例如,在315、425、525、615、635处)。根据未检测到袖子或音频传感器的其他遮挡物,在720处,使用当音频传感器未被覆盖/遮挡时为检测冲洗事件而创建的音频模型,可以执行对用于洗手检测的音频数据的处理(例如,在315、425、525、615、635处)。
尽管主要描述了使用袖子检测来确定使用哪个音频模型来处理用于洗手检测的音频数据,但是应当理解,袖子检测也可以用于其他目的。例如,检测可穿戴设备的显示器之上的袖子可以用于在检测到袖子时关闭显示器(或降低其刷新速率)和/或其他过程(例如,触摸屏显示器上的触摸感测等),以降低功率消耗并提高电池寿命。当在显示器之上不再检测到袖子时,可以打开显示器(或增大其刷新速率)并且/或者恢复其他过程。
重新参见过程300、400、500和600,每个过程检测包括合格的擦洗事件(例如,检测系统认为是一起擦洗双手的输入)和合格的冲洗事件(例如,检测系统认为是用水冲洗双手的输入)在内的合格的洗手事件。然而,在一些示例中,手部可以在没有流动水冲洗的情况下被消毒、清洗或以其他方式杀菌。例如,可以使用手部消毒剂凝胶等对手部进行消毒或杀菌,而无需冲洗。这些洗手事件在本文中可以称为手部消毒事件,是洗手事件的一个子类。作为替代,可以用肥皂洗手,并且可以使用固定的供水等(例如,如果被设计为检测从流动水来源冲洗手部的音频,则由上述音频模型可能检测不到)从手部去除肥皂。
在一些示例中,可以利用运动数据和/或音频数据来检测洗手事件和/或手部消毒事件。对于只有运动(例如,没有音频的运动数据)的洗手/消毒检测,合格的擦洗事件可以基于运动数据检测,并且可以包括检测满足一个或多个标准的运动数据,所述标准任选地包括持续时间标准、幅度标准、速度标准等。所述一个或多个标准可以被设置成在与用于洗手/消毒的一起擦洗双手相关联的运动和其他运动(例如,抬起手腕、摆动双臂、各种锻炼、坐、打字等)之间进行区分。同样地,基于音频数据检测合格的手部消毒事件可以包括检测满足一个或多个标准的音频数据,所述标准任选地包括持续时间标准、幅度标准、频率内容标准等。所述一个或多个标准可以被设置成在与用手部消毒凝胶擦洗双手相关联的音频和其他音频(例如,环境声音、交通、风等)之间进行区分。
在一些示例中,可以使用运动数据和擦洗相关联的音频数据而不是冲洗相关联的音频数据来检测包括合格的擦洗事件在内的合格的手部消毒事件(例如,以检测用肥皂或凝胶擦洗的声音)。在这样的示例中,可以将过程300、400、500和600修改为使用不同的预期音频模型(以检测手部消毒相对于冲洗的声音),并且在这些情况下,放弃用于冲洗检测的音频处理(可以将其用于检测到的合格的洗手事件)。在一些这样的示例中,音频数据可以更早地收集或与运动数据平行地收集(例如,300、600),因为手部消毒的音频可以比与冲洗相关联的音频(可以在用肥皂擦洗之后出现)更早地出现(在擦洗时,在凝胶被吸收在皮肤中或蒸发之前)。在一些示例中,可以训练被应用于来自音频传感器和/或运动传感器的数据(以及任选地,来自其他传感器的模型/数据)的更大的音频模型、更大的加速度计模型和/或更大的组合的音频/加速度计模型,以监测多种不同的洗手场景或消毒场景。
在一些示例中,合格的洗手事件包括使用运动数据而不使用音频(例如,只有运动)的合格的擦洗事件。在这样的示例中,可以修改过程300、500和600以排除使用音频模型(使用一个或多个基于加速度计的检测阶段)。在一些示例中,第一阶段(例如,510、615至620)可以使用加速度计数据来检测初始运动,然后第二阶段(例如,530、635至640)可以使用附加的加速度计数据来检测利用凝胶或手部消毒剂的擦洗。
在一些示例中,基于只有运动的洗手检测和/或手部消毒检测(有或没有音频)可以使用与基于运动和音频的洗手检测所用不同的运动质量度量指标。前者可能需要可能与后者所需的那些不同的特定类型的运动(例如,运动的特征)、运动的持续时间(例如,更长的持续时间)和/或运动的幅度(例如,更高的幅度)。例如,基于凝胶的擦洗可以在加速度计流中示出与通过用肥皂擦洗然后冲洗来洗手不同的运动特征(例如,特定的擦洗模式)。在一些示例中,特定的运动特征可以与用于分配凝胶的分配器有关。在一些示例中,与手部消毒剂分配器或手部消毒剂分配器附近的地理位置的通信可以用作输入,以指示检测到的运动对应于洗手事件/消毒事件的更高置信度。
应当理解,在一些示例中,该可穿戴设备可以执行用于检测各个事件的多个过程。例如,该可穿戴设备可以使用运动数据和音频数据,以通过合格的擦洗事件和合格的冲洗事件来检测合格的洗手事件。该可穿戴设备还可以使用运动和/或音频来检测手部消毒事件。因此,该可穿戴设备可以检测和跟踪洗手/手部消毒的另选形式。
在一些示例中,检测洗手事件(既包括合格的,又包括不合格的)可以被监测和/或用于提供反馈。例如,反馈可以鼓励用户根据过去或当前洗手的持续时间和力度来以更长的时间洗手或更有力地洗手。在一些示例中,反馈可以指示洗手“很差”(时间太短并且/或者没有足够大的力度来成为合格的洗手事件),并且任选地可以提示重新洗手。在一些示例中,洗手“适度”(持续时间和/或力度适中)可以引起提供鼓励以便在下一次更好地洗手的反馈。在一些示例中,洗手“良好”(持续时间足够长并且/或者力度足够大,以成为合格的洗手事件)可以引起称赞用户的洗手表现的反馈。
在一些示例中,反馈可以包括倒计时定时器(视觉和/或音频和/或触觉)以鼓励用户在阈值时间段(例如,20秒)内持续擦洗双手。在一些示例中,倒计时定时器可以基于观察到运动数据中的子擦洗事件(例如,该子擦洗事件可以指示运动来自擦洗的第一置信度)而被内部触发,但是该倒计时定时器可以在实现运动数据真正对应于擦洗的更高置信度之后稍后呈现给用户。在一些示例中,反馈可以包括改善擦洗双手的持续时间(擦洗更长的持续时间)和/或质量(例如,更用力地擦洗或擦洗双手的特定部位)的提示。在一些示例中,反馈可以包括清洗手部的特定部位(例如,指甲、手背等)的指令。可以基于运动数据(加速度计流)中的子运动来检测用于清洁指甲和/或手背等的擦洗运动。在一些示例中,如果在达到合格的洗手的目标持续时间之前,擦洗停止/暂停达到阈值持续时间,则可以作出擦洗更长时间的提示。在一些示例中,如果擦洗低于力度目标达阈值时间量,则可以作出对更大力度的提示(例如,当基于加速度计流检测到力度不足时)。在一些示例中,如果用户暂停擦洗达到阈值时间段且未清洗手部的特定部位,则可以作出清洗这些特定部位的提示。
在一些示例中,监测洗手可以包括关于合格和/或不合格的洗手事件、该事件的持续时间(例如,包括擦洗时间)和该事件的质量的信息。该信息还可以包括时间戳、持续时间与目标持续时间的比较,以及关于擦洗的持续时间和/或力度的信息。在一些示例中,洗手事件可以与手部消毒事件分开监测。在一些示例中,父母可以监视有关儿童洗手的信息,而医院可以监视医务工作者的洗手情况,等等。
在一些示例中,用户特殊的洗手方式可能导致触发不充分,或者其他活动可能导致事件通知的错误触发。在一些示例中,用户可以提供反馈(例如,通过一个或多个菜单指示洗手事件或手部消毒事件是否发生),该反馈将允许进一步完善更适于针对特定用户检测这些事件的模型。
在一些示例中,针对合格的洗手事件(例如,触发、阈值、度量)和洗手提醒的要求可以特定于用户和/或位置。例如,可以对儿童使用与成人不同的要求/提醒(或者可以对不同的大龄儿童使用不同的模型),并且可以对医务工作者或食品准备工作者使用与其他工作者不同的要求/提醒,并且/或者对学校或医院使用与其他地方不同的要求/提醒。相比于儿童对于成人的要求通常可能更高(例如,在习惯养成可能比质量更加重要的情况下),并且相比于其他工作者对于医务工作者的要求通常可能更高。当离开具有相对高污染风险的位置(例如,浴室、运动场等)和/或进入具有相对高清洁度要求的位置(例如,医院、病房、厨房等)时,这些要求可能更高并且/或者洗手提醒可能更显著。在一些示例中,提高的要求和/或洗手提醒可以限于高污染风险位置到高清洁度位置之间的特定过渡(例如,从浴室到厨房的过渡,或者从受感染患者的病房到免疫缺陷患者的病房的过渡,或者从运动场到自助餐厅的过渡),而不是其他过渡(例如,浴室与卧室之间的过渡、客厅与厨房之间的过渡等)。在一些示例中,提高的要求可以与特定的人和位置相联系。例如,与医院外的医生或医院中的访客相比,对在医院中的医生可以使用提高的要求。
在一些示例中,如果用户已洗过手并且在到达该位置之后的特定时间段内已经记录了该事件,则与位置相关的警报可以在一段时间内不被调度,并且以这种方式,用户被加强以记得他们自己并避免警报。
在一些示例中,可以生成特定的机器学习模型,该模型基于运动输入和/或音频输入来输出洗手得分。该得分可以代表某些洗手技术的相对有效性,并且该得分可以与病菌计数的减少相关。例如,机器学习模型的输入可以包括来自运动传感器和/或音频传感器的作为模型的输入的运动(例如,加速度计)数据和/或音频数据,并且机器学习模型的输出可以是得分。该得分可以与病菌计数减少的量或达到病菌计数减少的阈值量的指示相关。为了训练该模型,机器学习模型的输入可以包括指示洗手的一些运动/音频之前和之后的病菌计数的训练数据。机器学习模型然后可以学习一种模型,该模型试图将运动输入和/或音频输入与针对训练数据测量或得出的细菌数量减少关联起来。在一些这样的示例中,本文所述的定时器可以由得分补充。例如,洗手可以是在洗手达到定时器的持续时间之后并且/或者在达到期望的得分(例如,可能与期望的病菌计数减少相关)之后的合格的洗手事件。在一些示例中,达到期望的得分可以使得定时器提前结束或以其他方式缩短定时器的持续时间(例如,减少定时器的持续时间)。在一些示例中,未能达到期望的得分可以使得定时器延长。在一些这样的示例中,本文所述的定时器可以由得分代替。例如,代替使用定时器来确定洗手事件的质量和/或使用定时器来反馈给用户,洗手可以在达到如由机器学习模型测量或得出的期望得分之后成为合格的。
响应于检测到基于细菌/污染的事件,针对合格的洗手事件和洗手提醒的要求也可能有所不同。例如,厕所冲水或咳嗽/打喷嚏可以使用音频数据来检测,并且可以用来触发洗手提醒和/或提高的洗手要求。在一些示例中,加速度计数据可以用于检测咳嗽的来源。例如,高频的身体移动(共振、回声)可以指示咳嗽/打喷嚏是由穿戴者(例如,可穿戴设备150的穿戴者)而不是另一个人发出的。当用户咳嗽/打喷嚏时,可以应用提高的洗手要求和/或提醒,但是当另一个人咳嗽/打喷嚏时则不应用。
在一些示例中,音频数据可以用于区分咳嗽和打喷嚏。在一些示例中,音频数据可以用于区分湿咳和干咳。在一些示例中,为了检测咳嗽/打喷嚏,音频传感器(例如,麦克风)可能需要保持活动状态(而不是由事后的运动触发)。在一些示例中,音频数据可以被处理以检测咳嗽/打喷嚏,并且当检测到咳嗽/打喷嚏时,(来自数据缓冲器的)运动流可以用于确认来源(例如,基于检测咳嗽/打喷嚏的触发来源检测)。在一些示例中,该设备可以随时间推移跟踪咳嗽/打喷嚏以测量医学治疗的有效性、建议就诊等(基于咳嗽事件/打喷嚏事件随时间推移的持续时间、频率或变化)。
在一些示例中,可以触发洗手提醒以鼓励洗手。在一些示例中,洗手提醒可以在没有检测到洗手事件的情况下发生超时之时(例如,在检测到基于病菌的事件之后的阈值时间段之后、在进入和/或离开特定位置之后的阈值时间段之后等)被触发。后一种类型的提醒可以减少打扰,因为给予用户不经提醒就记得洗手的机会。
针对合格的洗手事件的要求可以包括洗手事件之间的阈值时间和/或每小时的事件数量。在一些示例中,基于病菌的事件和/或基于位置的事件(例如,进入和/或离开特定位置)可能需要比通常对于传感器预期的更频繁的洗手事件(并且比分配给传感器的基线功率预算更多),因此这些触发器可以缩短洗手事件之间的阈值时间或增加每小时允许的事件的数量。针对合格的洗手事件的要求可以包括诸如目标洗手持续时间、目标洗手力度等的度量。在一些示例中,处理/反馈的等待时间也可以改变。例如,洗手处理和/或反馈可以在基于病菌的事件之后以及/或者当进入和/或离开特定位置时以缩短的等待时间来呈现,而洗手处理和/或反馈可以在没有这些附加触发的情况下被延迟。除此之外或作为替代,等待时间可以基于不同的用户而不同(例如,与典型的成人相比,对于医生或食物准备者可以以缩短的等待时间来呈现洗手处理和/或反馈)。
如上所述,本技术的各方面包括生理信息的收集和使用。该技术可以与涉及收集与用户的健康相关和/或唯一地识别或可以用于联系或定位特定人的个人数据的技术一起实施。此类个人数据可以包括人口统计数据、出生日期、基于位置的数据、电话号码、电子邮件地址、家庭地址,以及与用户的健康或健康水平相关的数据或记录(例如,生命体征测量、药物信息、锻炼信息等)。
本公开认识到,用户的个人数据(包括生理信息,诸如由本技术生成和使用的数据)可以用于造福用户。例如,用户的心率或ECG可以允许用户跟踪或以其他方式获得关于他们的健康水平或体质水平的见解。作为另一个示例,检测洗手事件可以用于跟踪关于预防性健康实践的信息。
本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,此类收集/共享应要求收到用户的知情同意。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。可以根据地理区域和/或被收集和使用的个人数据的特定类型和性质来调整这些策略和实践。
不管前述情况如何,本公开还设想用户选择性地阻止收集、使用或访问包括生理信息的个人数据的实施方案。例如,用户可能能够禁用收集生理信息的硬件和/或软件元件。另外,本公开预期可提供硬件和/或软件元件,以防止或阻止对已收集的个人数据的访问。具体地,用户可选择移除、禁用或限制对某些收集用户的个人健康或健身数据的健康相关应用的访问。
因此,根据以上内容,本公开的一些示例涉及可穿戴设备(或包括至少一个可穿戴设备的系统)。该可穿戴设备可以包括:音频传感器,该音频传感器被配置为获取音频数据;运动传感器(设置在系统的可穿戴设备中),该运动传感器被配置为获取运动数据;以及处理电路,该处理电路被编程为使用音频数据和运动数据来检测合格的洗手事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,该处理电路可以被进一步编程为:使用运动数据检测合格的运动事件;以及响应于检测到合格的运动事件,触发音频传感器获取音频数据。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,使用音频数据和运动数据检测合格的洗手事件可以包括使用运动数据检测合格的擦洗事件并使用音频数据检测合格的冲洗事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,检测到合格的洗手事件可以包括在检测到合格的擦洗事件的阈值时间段内检测到合格的冲洗事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,处理电路可以包括第一处理器和第二处理器。与第二处理器相比,第一处理器在操作期间可以消耗更少的功率。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,检测合格的洗手事件可以包括第一处理器检测触发条件。该处理电路可以被进一步编程为:响应于第一处理器检测到触发条件,触发第二处理器进行处理。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第一处理器可以被进一步编程为响应于触发条件而唤醒第二处理器。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括使用运动数据检测到的合格的运动事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括使用运动数据检测到的合格的运动事件和使用音频数据检测到的合格的音频事件两者。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括在置信度水平小于阈值置信度水平的情况下检测到合格的洗手事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,由第二处理器进行的处理可以包括使用音频数据检测合格的冲洗事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,由第二处理器进行的处理可以包括使用音频数据检测合格的洗手事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,由第二处理器进行的处理可以包括使用音频数据和运动数据检测合格的洗手事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第一处理器检测触发条件可以包括使用被应用于音频数据的第一机器学习音频模型来检测第一合格的音频事件,并且由第二处理器进行的处理可以包括使用被应用于音频数据的第二机器学习模型来检测第二合格的音频事件,其中第二机器学习模型不同于第一机器学习模型。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第二机器学习模型可以具有比第一机器学习模型更高的质量或更大的尺寸。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第一处理器检测触发条件可以包括使用被应用于运动数据的第一机器学习运动模型来检测第一合格的运动事件,并且由第二处理器进行的处理可以包括使用被应用于运动数据的第二机器学习模型来检测第二合格的运动事件,其中第二机器学习模型不同于第一机器学习模型。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第二机器学习模型可以具有比第一机器学习模型更高的质量或更大的尺寸。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,音频数据可以包括第一音频数据和第二音频数据。第二音频数据可以具有比第一音频数据更高的质量。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,运动数据可以包括第一运动数据和第二运动数据。第二运动数据可以具有比第一运动数据更高的质量。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,检测合格的事件可以包括检测触发条件。该处理电路可以被进一步编程为:响应于检测到触发条件,触发第二处理器进行处理。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括第二处理器唤醒。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括检测到设备正在充电或检测到电池电量高于阈值。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以基于用于检测合格事件的设备的功率裕度而动态变化。
本公开的一些示例涉及一种方法。该方法可以包括:在可穿戴设备处,该可穿戴设备包括被配置为获取音频数据的音频传感器和被配置为获取运动数据的运动传感器:使用音频数据和运动数据来检测合格的洗手事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,该方法还可以包括:使用运动数据检测合格的运动事件;以及响应于检测到合格的运动事件,触发音频传感器获取音频数据。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,使用音频数据和运动数据检测合格的事件可以包括使用运动数据检测合格的擦洗事件并使用音频数据检测合格的冲洗事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,检测到合格的事件可以包括在检测到合格的擦洗事件的阈值时间段内检测到合格的冲洗事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,该可穿戴设备可以包括处理电路,该处理电路包括第一处理器和第二处理器。与第二处理器相比,第一处理器在操作期间可以消耗更少的功率。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,检测合格的事件可以包括第一处理器检测触发条件。该方法还可以包括:响应于第一处理器检测到触发条件,触发第二处理器进行处理。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,该方法还可以包括:第一处理器响应于触发条件而唤醒第二处理器。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括使用运动数据检测到的合格的运动事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括使用运动数据检测到的合格的运动事件和使用音频数据检测到的合格的音频事件两者。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括在置信度水平小于阈值置信度水平的情况下检测到合格的事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,由第二处理器进行的处理可以包括使用音频数据检测合格的冲洗事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,由第二处理器进行的处理可以包括使用音频数据检测合格的事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,由第二处理器进行的处理可以包括使用音频数据和运动数据检测合格的事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第一处理器检测触发条件可以包括使用被应用于音频数据的第一机器学习音频模型来检测第一合格的音频事件,并且由第二处理器进行的处理可以包括使用被应用于音频数据的第二机器学习模型来检测第二合格的音频事件,其中第二机器学习模型不同于第一机器学习模型。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第二机器学习模型可以具有比第一机器学习模型更高的质量或更大的尺寸。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第一处理器检测触发条件可以包括使用被应用于运动数据的第一机器学习运动模型来检测第一合格的运动事件,并且由第二处理器进行的处理可以包括使用被应用于运动数据的第二机器学习模型来检测第二合格的运动事件,其中第二机器学习模型不同于第一机器学习模型。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,第二机器学习模型可以具有比第一机器学习模型更高的质量或更大的尺寸。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,音频数据可以包括第一音频数据和第二音频数据。第二音频数据可以具有比第一音频数据更高的质量。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,运动数据可以包括第一运动数据和第二运动数据。第二运动数据可以具有比第一运动数据更高的质量。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,检测合格的事件可以包括检测触发条件,并且该方法还可以包括:响应于检测到触发条件,触发第二处理器进行处理。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括第二处理器唤醒。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以包括检测到设备正在充电或检测到电池电量高于阈值。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,触发条件可以基于用于检测合格事件的设备的功率裕度而动态变化。
本公开的一些示例涉及非暂态计算机可读存储介质。该非暂态计算机可读存储介质可以存储指令,所述指令当由包括被配置为获取音频数据的音频传感器和被配置为获取运动数据的运动传感器的可穿戴设备的一个或多个处理电路执行时,使得所述一个或多个处理电路执行上述方法中的任何方法。
本公开的一些示例涉及一种系统,该系统包括:音频传感器,该音频传感器被配置为获取音频数据;运动传感器(设置在系统的可穿戴设备中),该运动传感器被配置为获取运动数据;以及处理电路,该处理电路被编程为使用音频数据和运动数据来检测合格的洗手事件。
本公开的一些示例涉及可穿戴设备。该可穿戴设备可以包括运动传感器和处理电路。运动传感器可以被配置为获取运动数据。处理电路可以被编程为使用运动数据检测合格的洗手事件或合格的手部消毒事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,该可穿戴设备还包括被配置为获取音频数据的音频传感器。处理电路可以被进一步编程为使用运动数据和音频数据来检测合格的洗手事件或合格的手部消毒事件。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,处理电路可以被进一步编程为:根据确定音频传感器被遮挡,使用被遮挡的音频传感器的被应用于音频数据的第一机器学习音频模型来处理音频数据;以及根据确定音频传感器未被遮挡,使用未被遮挡的音频传感器的被应用于音频数据的第二机器学习音频模型来处理音频数据。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,该可穿戴设备还可以包括一个或多个环境光传感器。确定音频传感器是被遮挡还是未被遮挡可以基于来自一个或多个环境光传感器的测量结果差值(例如,利用在一次测量期间来自光源(诸如屏幕背光源或红外线源)的活动光信号)。除了以上公开的示例中的一者或多者之外或者作为替代,在一些示例中,该可穿戴设备还可以包括一个或多个红外接近传感器。
虽然参照附图对本公开的示例进行了全面的描述,但应注意,各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解,此类变化和修改被认为被包括在由所附权利要求所限定的本公开的示例的范围内。

Claims (19)

1.一种可穿戴设备,包括:
音频传感器,所述音频传感器被配置为获取音频数据;
运动传感器,所述运动传感器被配置为获取运动数据;以及
处理电路,所述处理电路包括第一处理器和第二处理器,所述处理电路被编程为使用所述音频数据和所述运动数据来检测合格的洗手事件;
其中所述第一处理器被编程为基于所述运动数据触发所述第二处理器进行操作,其中所述第一处理器在操作期间比所述第二处理器消耗更少的功率,并且所述第二处理器使用所述音频数据。
2.根据权利要求1所述的可穿戴设备,其中所述处理电路被进一步编程为:
使用所述运动数据来检测合格的运动事件;以及
响应于检测到所述合格的运动事件,触发所述音频传感器获取所述音频数据。
3.根据权利要求1所述的可穿戴设备,其中使用所述音频数据和所述运动数据检测所述合格的洗手事件包括使用所述运动数据检测合格的擦洗事件并使用所述音频数据检测合格的冲洗事件。
4.根据权利要求3所述的可穿戴设备,其中检测所述合格的洗手事件包括在检测所述合格的擦洗事件的阈值时间段内检测所述合格的冲洗事件。
5.根据权利要求1所述的可穿戴设备,其中检测所述合格的洗手事件包括检测触发条件,并且其中所述处理电路被进一步编程为:
响应于检测到所述触发条件,触发所述第二处理器进行处理。
6.根据权利要求1所述的可穿戴设备,其中检测所述合格的洗手事件包括:所述第一处理器检测触发条件,并且其中所述处理电路被进一步编程为:
响应于所述第一处理器检测到所述触发条件,触发所述第二处理器进行处理。
7.根据权利要求6所述的可穿戴设备,其中所述第一处理器被进一步编程为响应于所述触发条件而唤醒所述第二处理器。
8.根据权利要求6所述的可穿戴设备,其中所述触发条件包括使用所述运动数据检测到的合格的运动事件。
9.根据权利要求6所述的可穿戴设备,其中所述触发条件包括使用所述运动数据检测到的合格的运动事件和使用所述音频数据检测到的合格的音频事件两者。
10.根据权利要求6所述的可穿戴设备,其中所述触发条件包括在置信度水平小于阈值置信度水平的情况下检测到所述合格的洗手事件。
11.根据权利要求6所述的可穿戴设备,其中由所述第二处理器进行的处理包括:使用所述音频数据来检测合格的冲洗事件。
12.根据权利要求6所述的可穿戴设备,其中由所述第二处理器进行的处理包括:使用所述音频数据来检测所述合格的洗手事件。
13.根据权利要求6所述的可穿戴设备,其中由所述第二处理器进行的处理包括:使用所述音频数据和所述运动数据来检测所述合格的洗手事件。
14.根据权利要求6所述的可穿戴设备,其中所述第一处理器检测所述触发条件包括使用被应用于所述音频数据的第一机器学习音频模型来检测第一合格的音频事件,并且由所述第二处理器进行的处理包括使用被应用于所述音频数据的第二机器学习模型来检测第二合格的音频事件,所述第二机器学习模型不同于所述第一机器学习音频模型。
15.根据权利要求5所述的可穿戴设备,其中所述第一处理器检测所述触发条件包括使用被应用于所述运动数据的第一机器学习运动模型来检测第一合格的运动事件,并且由所述第二处理器进行的处理包括使用被应用于所述运动数据的第二机器学习模型来检测第二合格的运动事件,所述第二机器学习模型不同于所述第一机器学习运动模型。
16.根据权利要求1所述的可穿戴设备,所述处理电路被进一步编程为:
根据确定所述音频传感器被遮挡,使用被遮挡的音频传感器的被应用于所述音频数据的第一机器学习音频模型来处理所述音频数据;以及
根据确定所述音频传感器未被遮挡,使用未被遮挡的音频传感器的被应用于所述音频数据的第二机器学习音频模型来处理所述音频数据。
17.根据权利要求16所述的可穿戴设备,还包括:
一个或多个环境光传感器;
其中确定所述音频传感器是被遮挡还是未被遮挡是基于来自所述一个或多个环境光传感器的测量结果差值。
18.一种方法,包括:
在可穿戴设备处,所述可穿戴设备包括被配置为获取音频数据的音频传感器和被配置为获取运动数据的运动传感器:
使用所述音频数据和所述运动数据由第一处理器和第二处理器检测合格的洗手事件;
其中所述第一处理器被编程为基于所述运动数据触发所述第二处理器进行操作,其中所述第一处理器在操作期间比所述第二处理器消耗更少的功率,并且所述第二处理器使用所述音频数据。
19.一种存储指令的非暂态计算机可读存储介质,所述指令当由包括被配置为获取音频数据的音频传感器和被配置为获取运动数据的运动传感器的可穿戴设备的一个或多个处理电路执行时,使得包括第一处理器和第二处理器的所述一个或多个处理电路使用所述音频数据和所述运动数据检测合格的洗手事件,其中所述第一处理器被编程为基于所述运动数据触发所述第二处理器进行操作,其中所述第一处理器在操作期间比所述第二处理器消耗更少的功率,并且所述第二处理器使用所述音频数据。
CN202010839719.XA 2019-08-26 2020-08-19 用于检测个体健康相关事件的方法和装置 Active CN112432662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410220939.2A CN117889915A (zh) 2019-08-26 2020-08-19 用于检测个体健康相关事件的方法和装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962891944P 2019-08-26 2019-08-26
US62/891,944 2019-08-26
US202063041794P 2020-06-19 2020-06-19
US63/041,794 2020-06-19
US16/994,524 2020-08-14
US16/994,524 US11639944B2 (en) 2019-08-26 2020-08-14 Methods and apparatus for detecting individual health related events

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410220939.2A Division CN117889915A (zh) 2019-08-26 2020-08-19 用于检测个体健康相关事件的方法和装置

Publications (2)

Publication Number Publication Date
CN112432662A CN112432662A (zh) 2021-03-02
CN112432662B true CN112432662B (zh) 2024-02-13

Family

ID=74679135

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010839719.XA Active CN112432662B (zh) 2019-08-26 2020-08-19 用于检测个体健康相关事件的方法和装置
CN202410220939.2A Pending CN117889915A (zh) 2019-08-26 2020-08-19 用于检测个体健康相关事件的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410220939.2A Pending CN117889915A (zh) 2019-08-26 2020-08-19 用于检测个体健康相关事件的方法和装置

Country Status (2)

Country Link
US (2) US11639944B2 (zh)
CN (2) CN112432662B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4143772A1 (en) 2020-06-02 2023-03-08 Apple Inc. User interfaces for tracking of physical activity events
EP4101377A1 (en) * 2021-06-09 2022-12-14 Essilor International Method for determining cardiac or respiratory activity of a subject and associated system
CN113709419B (zh) * 2021-08-30 2022-09-30 南方医科大学珠江医院 一种智能洗手监控系统
EP4417109A1 (en) * 2023-02-17 2024-08-21 Givaudan SA Method and device for user state data acquisition

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1598804A (zh) * 2003-09-15 2005-03-23 拍档科技股份有限公司 具有运动计量的mp3播放器
WO2008028105A2 (en) * 2006-08-31 2008-03-06 Ati Technologies Ulc Video decoder and/or battery-powered device with reduced power consumption and methods thereof
WO2008154494A1 (en) * 2007-06-08 2008-12-18 University Of Florida Research Foundation Inc. Handwashing compliance detection system
US9373242B1 (en) * 2013-06-17 2016-06-21 Synapse Wireless, Inc. Systems and methods for sensing occurrences of hand washing events
CN108078561A (zh) * 2016-11-23 2018-05-29 三星电子株式会社 用于获得心率的方法和用于该方法的电子设备
CN108701495A (zh) * 2016-02-19 2018-10-23 三星电子株式会社 用于整合和提供从多个设备收集的数据的方法以及用于实现该方法的电子设备
CN109427333A (zh) * 2017-08-25 2019-03-05 三星电子株式会社 激活语音识别服务的方法和用于实现所述方法的电子装置
CN109891032A (zh) * 2016-09-29 2019-06-14 西沃特科技有限公司 用于一流体系统的常规在线水质及安全监测的系统及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69123770T2 (de) 1990-03-23 1997-06-19 Matsushita Electric Ind Co Ltd Hand-Datenverarbeitungsgerät mit reduziertem Leistungsverbrauch
US20080094077A1 (en) * 2006-10-20 2008-04-24 Harald Philipp Capacitive Position Sensor
US8237558B2 (en) 2007-03-30 2012-08-07 University Health Network Hand hygiene compliance system
US20090195385A1 (en) 2008-02-04 2009-08-06 Ching Ching Huang Proactive hand hygiene monitoring system
US20100073162A1 (en) 2008-09-05 2010-03-25 Michael David Johnson Hand washing reminder device and method
PL2478502T3 (pl) * 2009-09-16 2016-11-30 System i sposób zachęcający do mycia rąk
US8758262B2 (en) 2009-11-25 2014-06-24 University Of Rochester Respiratory disease monitoring system
US20120002510A1 (en) 2010-07-02 2012-01-05 Berman Jr Carl R System and apparatus for automatically ensuring the appropriate duration for handwashing
WO2014015378A1 (en) 2012-07-24 2014-01-30 Nexel Pty Ltd. A mobile computing device, application server, computer readable storage medium and system for calculating a vitality indicia, detecting an environmental hazard, vision assistance and detecting disease
US10438476B2 (en) 2013-06-26 2019-10-08 Vypin, LLC Wireless hand hygiene tracking system and related techniques
US20150127365A1 (en) 2013-11-01 2015-05-07 Sidra Medical and Research Center Hand hygiene use and tracking in the clinical setting via wearable computers
US9721452B2 (en) 2015-04-24 2017-08-01 WashSense, Inc. Hand-wash management and compliance system
US10332382B2 (en) 2016-04-08 2019-06-25 Hand-Scan, LLC System and method for monitoring handwashing compliance including soap dispenser with integral hand-washing monitor and smart button system
AU2016412622B2 (en) * 2016-06-28 2022-06-30 Kimberly-Clark Worldwide, Inc. System and method for managing product usage from dispensers
WO2018187557A1 (en) 2017-04-05 2018-10-11 Microsensor Labs, LLC System and method for proximity sensing of movable portions of a premises
US10679488B2 (en) 2017-04-05 2020-06-09 Microsensor Labs, LLC System and method for improving compliance with one or more protocols including hand hygiene and personal protective equipment protocols
US11069220B2 (en) * 2017-07-10 2021-07-20 Biovigil Hygiene Technologies, Llc Hand cleanliness monitoring
WO2019020977A1 (en) 2017-07-27 2019-01-31 Grahame Anthony White INTEGRATED HAND WASH SYSTEM
US10617842B2 (en) 2017-07-31 2020-04-14 Starkey Laboratories, Inc. Ear-worn electronic device for conducting and monitoring mental exercises
WO2019144054A1 (en) 2018-01-19 2019-07-25 Johnson Controls Technology Company Hand hygiene and surgical scrub system
WO2020256630A1 (en) * 2019-06-18 2020-12-24 Cadi Scientific Pte Ltd Devices, systems, and methods for location tracking or proximity detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1598804A (zh) * 2003-09-15 2005-03-23 拍档科技股份有限公司 具有运动计量的mp3播放器
WO2008028105A2 (en) * 2006-08-31 2008-03-06 Ati Technologies Ulc Video decoder and/or battery-powered device with reduced power consumption and methods thereof
WO2008154494A1 (en) * 2007-06-08 2008-12-18 University Of Florida Research Foundation Inc. Handwashing compliance detection system
CN101796553A (zh) * 2007-06-08 2010-08-04 佛罗里达大学研究基金会有限公司 洗手遵守程度检测系统
US9373242B1 (en) * 2013-06-17 2016-06-21 Synapse Wireless, Inc. Systems and methods for sensing occurrences of hand washing events
CN108701495A (zh) * 2016-02-19 2018-10-23 三星电子株式会社 用于整合和提供从多个设备收集的数据的方法以及用于实现该方法的电子设备
CN109891032A (zh) * 2016-09-29 2019-06-14 西沃特科技有限公司 用于一流体系统的常规在线水质及安全监测的系统及方法
CN108078561A (zh) * 2016-11-23 2018-05-29 三星电子株式会社 用于获得心率的方法和用于该方法的电子设备
CN109427333A (zh) * 2017-08-25 2019-03-05 三星电子株式会社 激活语音识别服务的方法和用于实现所述方法的电子装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automated handwashing assistance for persons with dementia using video and a partially observable Markov decision process;Jesse Hoey;Computer Vision and Image Understanding;全文 *
Automatic segmentation of video to aid the study of faucet usability for older adults;Jasper Snoek;2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops;全文 *
养老机构护理员手卫生的现状与护理干预;封超群;健康教育与健康促进;全文 *
基于物联网传感器的手卫生依从性管理;张永昌;无线互联科技;全文 *

Also Published As

Publication number Publication date
US20210063434A1 (en) 2021-03-04
CN112432662A (zh) 2021-03-02
US20230160922A1 (en) 2023-05-25
CN117889915A (zh) 2024-04-16
US11639944B2 (en) 2023-05-02

Similar Documents

Publication Publication Date Title
CN112432662B (zh) 用于检测个体健康相关事件的方法和装置
US10748410B2 (en) System and method for detecting hand hygiene compliance
US11918323B2 (en) System and method for obtaining bodily function measurements using a mobile device
US11257350B2 (en) System and method for opportunity-based reminding or compliance with one or more health protocols
US10679488B2 (en) System and method for improving compliance with one or more protocols including hand hygiene and personal protective equipment protocols
JP7460801B2 (ja) 身体活動イベントを追跡するためのユーザインタフェース
US10219222B2 (en) Adjusting mobile device state based on user intentions and/or identity
US9766370B2 (en) Wrist-detection algorithm
JP2017500069A (ja) モバイルデバイスを用いて身体機能測定値を得るためのシステムおよび方法
JP2016529966A (ja) 咳の検知用、分析用および通信用のプラットフォーム
JP2013180046A (ja) 手洗いモニタ、手洗いモニタ方法および手洗いモニタプログラム
CN110447217B (zh) 一种压力检测的方法及终端
JPWO2018116703A1 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
KR20110064237A (ko) 시계
AU2015252057B2 (en) Adjusting mobile device state based on user intentions and/or identity
Ranjan et al. Human Context Sensing in Smart Cities
Cergolj et al. Drinking event detection on a sensing wristband using machine learning
JP2011050453A (ja) 生体情報収集コンピュータ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant