CN108475295A - 用于预测即将进食时刻的可穿戴系统 - Google Patents

用于预测即将进食时刻的可穿戴系统 Download PDF

Info

Publication number
CN108475295A
CN108475295A CN201680073946.8A CN201680073946A CN108475295A CN 108475295 A CN108475295 A CN 108475295A CN 201680073946 A CN201680073946 A CN 201680073946A CN 108475295 A CN108475295 A CN 108475295A
Authority
CN
China
Prior art keywords
user
data flow
window
feature
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680073946.8A
Other languages
English (en)
Inventor
T·拉赫曼
M·切尔文斯基
R·吉拉德-巴赫拉赫
P·R·约翰斯
A·罗斯韦
K·R·罗恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108475295A publication Critical patent/CN108475295A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0092Nutrition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/10Positions
    • A63B2220/12Absolute positions, e.g. by using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/17Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/30Speed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/30Speed
    • A63B2220/34Angular speed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/40Acceleration
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/04Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations
    • A63B2230/06Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations heartbeat rate only
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/50Measuring physiological parameters of the user temperature
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/65Measuring physiological parameters of the user skin conductivity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/75Measuring physiological parameters of the user calorie expenditure
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

提供了一种预测用户的进食事件的系统。该系统包括一组传感器,每个传感器被配置为连续测量与用户相关联的不同的生理变量并且输出包括该变量的当前值的时间戳数据流。从每个传感器输出的数据流中周期性地提取一组特征,其中这些特征已经被确定为特别地指示即将进食时刻。然后将该组特征输入到即将进食时刻分类器中,该分类器已经被训练以基于该组特征来预测用户何时处于即将进食时刻。每当分类器的输出指示用户当前处于即将进食时刻时,通过即时进食干预来通知用户。

Description

用于预测即将进食时刻的可穿戴系统
背景技术
全球肥胖流行已经成为全世界医疗系统和经济的主要挑战。例如,肥胖与很多慢性疾病有关,包括糖尿病、心脏病和癌症。均衡饮食和健康饮食习惯(例如,行为)对于控制肥胖和保持良好的整体健康至关重要。由于饮食和健康密切相关,膳食教育和保持个人饮食习惯意识的方法已经并且即将继续成为普遍重要的健康主题。实际上,现代公共卫生政策的基石之一就是要教育全球人民健康的饮食行为并且鼓励/激励他们相应地改变他们的饮食习惯。
发明内容
本文中描述的可穿戴系统实现总体上涉及一种用于预测用户的进食事件的系统。在一个示例性实现中,该系统包括一组移动传感器,其中每个移动传感器被配置为连续测量与用户相关联的不同的生理变量并且输出包括该变量的当前值的时间戳数据流。对于每个移动传感器,接收从移动传感器输出的数据流,并且从接收到的数据流中周期性地提取一组特征,在能够从接收到的这个数据流中提取出的很多特征之中,该组特征已经被确定为特别地指示即将进食时刻。然后将从每个移动传感器接收到的数据流中周期性地提取出的一组特征输入到即将进食时刻分类器,即将进食时刻分类器已经被训练以基于该组特征来预测用户何时处于即将进食时刻。然后,每当分类器的输出指示用户当前处于即将进食时刻时,通过即时进食干预来通知用户。在另一示例性实现中,从每个移动传感器接收到的数据流中周期性地提取出的一组特征被输入到基于回归的下一进食事件时间预测器中,该预测器已经被训练以基于该组特征来预测直到用户的下一进食事件的开始的剩余时间。然后,每当预测器的输出指示直到用户的下一进食事件的开始的当前剩余时间少于规定阈值时,通过即时进食干预来通知用户。
应当注意,前面的“发明内容”被提供用于以简化形式介绍将在以下“具体实施方式”中进一步描述的概念的选择。本“发明内容”并非旨在确定所要求保护的主题的关键特征或基本特征,也不旨在用作确定所要求保护的主题的范围的辅助手段。其唯一目的是以简化形式介绍所要求保护的主题的一些概念,作为以下呈现的更详细描述的序言。
附图说明
本文中描述的可穿戴系统实现的具体特征、方面和优势关于以下描述、所附权利要求和附图将变得更好理解,在附图中:
图1是示出用于实现本文中描述的可穿戴系统实现的系统框架的简化形式的一个实现的图。
图2是示出用于实现本文中描述的可穿戴系统实现的系统框架的简化形式的另一实现的图。
图3是示出用于预测用户的进食事件的过程的简化形式的示例性实现的流程图。
图4是示出用于训练机器学习的进食事件预测器的过程的简化形式的示例性实现的流程图。
图5是示出用于预测用户的进食事件的进食事件预报器计算机程序的简化形式的示例性实现的图。
图6是示出用于训练机器学习的进食事件预测器的进食事件预测训练器计算机程序的简化形式的示例性实现的图。
图7和图8示出了从一组移动传感器接收的简化形式的一组示例性时间戳数据流,其中每个移动传感器被配置为连续测量与用户相关联的不同的生理变量并且输出包括该变量的当前值的时间戳数据流。
图9是示出用于从一组移动传感器中的每个移动传感器接收到的时间戳数据流中周期性地提取一组特征的过程的简化形式的示例性实现的流程图。
图10是示出不同的特征组在训练独立于用户的即将进食时刻分类器以预测任何用户的即将进食时刻时的估计贡献的图。
图11是示出在使用本文中描述的可穿戴系统实现被训练之后的不同类型的独立于用户的即将进食时刻分类器的性能的表。
图12是示出了TreeBagger类型的独立于用户的即将进食时刻分类器的性能如何随着用于周期性特征提取出的统一窗口长度的改变而改变的图。
图13是示出了TreeBagger类型的独立于用户的即将进食时刻分类器的性能如何随着即将进食定义窗口的大小的改变而改变的图。
图14是示出在使用本文中描述的可穿戴系统实现被训练之后的不同类型的独立于用户的基于回归的下一进食事件时间预测器的性能的表。
图15是示出了如何相对于真值参考来执行由TreeBagger类型的独立于用户的基于回归的下一进食事件时间预测器预测的直到用户的下一进食事件的开始的剩余时间。
图16是示出了TreeBagger类型独立于用户的基于回归的下一进食事件时间预测器的性能如何随着用于周期性特征提取出的统一窗口长度的改变而的改变的图。
图17是示出可以在其上实现如本文中描述的可穿戴系统的各种实现和元件的通用计算机系统的简化示例的图。
具体实施方式
在以下对可穿戴系统实现的描述中,参考形成其一部分并且其中通过说明的方式示出了可以实践可穿戴系统的特定实现的附图。应当理解,在不脱离可穿戴系统实现的范围的情况下,可以利用其他实现并且可以进行结构改变。
还应当注意,为了清楚起见,在描述本文中描述的可穿戴系统实现时将采取特定术语,并且这些实现不旨在被限制为所选择的特定术语。此外,应当理解,每个特定术语包括以大致类似的方式操作以达到类似目的的所有技术等同物。本文中对“一个实现”或“另一实现”或“示例性实现”或“替代实现”或“一个版本”或“另一版本”或“示例性版本”或“替代版本”的引用表示结合实现或版本描述的特定特征、特定结构或特定特性可以被包括在可穿戴系统的至少一个实现中。短语“在一个实现中”、“在另一实现中”、“在示例性实现中”、“在替代实现中”、“在一个版本中”、“在另一版本中”、“在示例性版本中”和“在替代版本中”的出现不一定都指代相同的实现或版本,也不一定是与其他实现/版本互斥的单独的或替代的实现/版本。此外,表示可穿戴系统的一个或多个实现或版本的处理流程的顺序并不固有地指示任何特定顺序,也不暗示可穿戴系统的任何限制。
如本文中使用的,术语“组件”、“系统”、“客户端”等旨在指代计算机相关实体,其是硬件、软件(例如,执行软件)、固件或其组合。例如,组件可以是在处理器、对象、可执行文件、程序、函数、库、子例程、计算机或软件和硬件的组合上运行的进程。作为说明,在服务器上运行的应用和服务器都可以是组件。一个或多个组件可以驻留在进程中,并且组件可以位于一个计算机上和/或分布在两个或更多个计算机之间。术语“处理器”通常被理解为指代硬件组件,诸如计算机系统的处理单元。
此外,就术语“包括”、“含有”、“具有”、“包含”、其变体以及其他类似词语在本说明书或权利要求书中使用的程度而言,这些术语旨在以类似于术语“包括”的方式作为开放式过渡词,而不排除任何附加或其他元件。
1.0简介
本部分介绍在以下呈现的可穿戴系统实现的更详细描述中采用的简化形式的几个不同概念。
正如健康科学和人类生物学领域所理解的,进食是人体最基本但复杂的生物过程之一。一个人的饮食习惯(例如,行为)在决定他们的身体健康、心理健康和幸福方面起着主要作用。不规律的饮食习惯和不成比例的或不适当的饮食行为可能增加诸如肥胖等严重健康问题的可能性。如此前所描述的,在全球范围内存在肥胖症的流行。更具体地,根据世界卫生组织的统计,2014年全球有超过19亿成年人(18岁及以上)超重。在美国,每三个成年人中有两个被认为超重或肥胖。肥胖症的流行已经成为世界卫生保健系统和经济的主要挑战。例如,肥胖是仅次于吸烟的可预防死亡的主要原因。总之,肥胖是全球面临的一个严重问题。
正如在行为矫正和行为干预技术领域中所理解的,当人们开始执行使干预旨在防止发生或减少这类活动时(这种干预有时被称为即时干预),干预是最有效的。各种健康领域的在先研究发现,即时干预在鼓励和激励期望的行为改变方面是最有效的,因为它们促使人处于决定的关键点(例如,在人开始希望改变的行为之前)。在很多健康领域,即时干预是在检测到某些事件或情况时被触发的,这些事件或情况通常是负面健康结果的前兆。这样的高风险或高度脆弱的时刻加上一个人的无效应对反应可能容易导致这个人的自我效能下降,并且可能导致复发。在酒精成瘾、吸毒成瘾、吸烟成瘾和压力管理等领域工作的研究人员使用这些高风险和高度脆弱的时刻作为触发即时患者干预的最佳时刻,因为患者有机会在他们开始行为之前应付、转移或规避构成负面健康结果的行为。研究还表明,在这些高风险和高度脆弱的时刻,患者往往特别容易接受干预策略。
正如在健康科学和人类生物学领域中也认识到的,肥胖的根本原因之一是很多人过度食用食物。特别是对于人们的饮食习惯,先前的研究也发现,成年人服用的食物约占食物总量的92%,而不管他们的自我控制、当前的情绪状态和其他外部变量。这一发现表明,即时饮食干预可以朝着更好和更健康的饮食行为最大限度地有效地改变一个人的饮食习惯,因为这种干预恰好发生在人们的实际进食事件之前——在以下直觉中可以发现对这种断言的支持:在一个人决定吃一块饼干并且可能已经吃了一块饼干之后,这个人停止吃饼干要困难得多。
2.0用于预测即将进食时刻的可穿戴系统
术语“进食事件”在本文中用于指代在人的一生中该人吃一种或多种类型的食物的给定有限时间段。示例性的饮食活动类型包括早餐、早午餐、午餐、晚餐和小吃。术语“即将进食时刻”在本文中用于指代恰好在人的生活中在人开始新的进食事件之前的时刻(例如,时间发作)。换言之,即将进食时刻是在人开始吃饭之前的一段时间,这段时间在下文中被称为即将进食定义窗口。应当注意,即将进食定义窗口可以具有各种值。作为示例而非限制,在本文中描述的可穿戴系统的测试实现中,即将进食定义窗口被设置为30分钟。术语“用户”在本文中用于指代正在使用本文中描述的可穿戴系统实现的人。
本文中描述的可穿戴系统实现通常可应用于自动预测用户的进食事件的任务。换言之,不是简单地检测用户何时正在进食,而是可以利用可穿戴系统实现来提前预测用户的下一进食事件(例如,在用户的下一进食事件的开始(例如,开始的/开启)之前的规定时间段),从而为用户提供修改其行为并且选择不开始/开启进食事件的机会。更具体地并且如将在下文中更详细地描述的,在可穿戴系统的一个实现中,预测用户的即将进食时刻,并且可以通过即时进食干预来向用户自动通知这样的时刻。在可穿戴系统的另一实现中,预测直到用户的下一进食事件的开始的当前剩余时间,并且每当该时间少于规定阈值时,可以通过即时进食干预来自动通知用户。
本文中描述的可穿戴系统实现由于包括但不限于以下的各种原因而是有利的。从以下更详细的描述可以理解,可穿戴系统实现可以用于鼓励/激励用户的健康饮食习惯(例如,可穿戴系统实现可以朝着健康的饮食决策推进用户)。可穿戴系统实现也是无创的,并且为具有多种饮食风格的用户产生准确的结果(例如,可以准确地预测用户的进食事件)。可穿戴系统实现也是上下文感知的,因为它们根据从给定用户及其环境持续感测的当前信息来调节其行为。可穿戴系统实现还将每个进食事件预测离散地传达给每个用户,并且因此解决很多希望减肥或改变他们的饮食习惯的人的隐私问题。
如上所述,提供给本文中描述的可穿戴系统实现的用户的即时饮食干预在鼓励和激励用户朝着更好和更健康的饮食行为来改变他们的饮食习惯方面是最有效的。可穿戴系统实现也易于使用并且消耗很少的用户时间和关注(例如,可穿戴系统实现需要非常低水平的用户参与)。例如,可穿戴系统实现消除了用户不得不利用各种常规手动食物记录方法(诸如笔和纸、或移动软件应用等)以精心记录他们每天吃的所有东西。可穿戴系统实现还简单地将每个进食事件预测传达给每个用户,而不会向用户呈现过多且不相关的信息。因此,即使在这些实现的新颖性消失之后,用户仍然倾向于持续使用可穿戴系统实现。
2.1系统和过程框架
本部分描述可以用于实现本文中描述的可穿戴系统实现的系统框架和过程框架的不同示例性实现。应当注意,除了本部分中描述的系统框架和过程框架实现之外,也可以使用各种其他系统框架和过程框架实现来实现可穿戴系统实现。
图1示出了用于实现本文中描述的可穿戴系统实现的系统框架的简化形式的一个实现。如图1所示,系统框架100包括一组移动(例如,便携式)传感器102,每个传感器在用户104进行日常活动时物理地附接到用户104的身体(例如,佩戴在身体上)或由用户104携带。从以下更详细的描述中可以理解,该组移动传感器102是多模式的,其中每个移动传感器102被配置为在用户104进行日常活动时连续地(例如,在持续的基础上)和被动地测量(例如,捕获)与用户104相关联的不同的生理变量,并且输出包括该变量的当前值的时间戳数据流。换言之,该组移动传感器102连续地收集与用户104的当前生理机能及其不同进食事件相关的各种类型的信息。下文中将更详细地描述可以在可穿戴系统实现中采用的示例性类型的移动传感器102。
再次参考图1,系统框架100还包括由用户104携带的常规移动计算设备106。在本文中描述的可穿戴系统的示例性实现中,移动计算设备是常规智能手机或常规平板电脑。每个移动传感器102被配置为将从传感器输出的时间戳数据流无线地传输108到移动计算设备106。移动计算设备106被相应地配置为无线地接收108从该组移动传感器102传输的各种数据流。从该组移动传感器102输出的各种数据流的无线通信108可以使用各种无线技术来实现。例如,在本文中描述的可穿戴系统实现的测试版本中,该无线通信108使用常规蓝牙个人区域网络来实现。在无线通信108使用常规Wi-Fi局域网来实现的情况下,可穿戴系统实现的另一版本是可能的。在无线通信108使用不同无线联网技术的组合来实现的情况下,可穿戴系统实现的又一版本也是可能的。
图2示出了用于实现本文中描述的可穿戴系统实现的系统框架的简化形式的另一实现。如图2所示,系统框架200包括上述的一组移动传感器202/220,每个移动传感器在一个或多个用户204/218进行日常活动时物理地附接到一个或多个用户204/218中的每个用户的身体或由用户携带。系统框架200还包括上述移动计算设备206/224,移动计算设备206/224由用户204/218中的每个用户携带的并且被配置为无线地接收208/222从该组移动传感器202/220传输的各种时间戳数据流。移动计算设备206/224还被配置为通过诸如因特网(其他类型的网络也是可能的)等数据通信网络210与云服务212通信,云服务212在位于远离移动计算设备206/224的一个或多个其他计算设备214/216上操作。远程计算设备214/216也可以经由网络210彼此通信。术语“云服务”在本文中用于指代在云中操作并且可以被托管在(例如,被部署在)可以位于不同的地理区域(例如,世界的不同地区)的多个数据中心上的一种网络应用。
图3示出了用于预测用户的进食事件的过程的简化形式的示例性实现。如图3所示,该过程开始于针对在用户进行日常活动时物理地附接到用户的身体或由用户携带的每个移动传感器而发生的以下动作(过程动作300)。首先,接收从移动传感器输出的数据流(过程动作302)。然后,从接收到的数据流中周期性地提取一组特征,在能够从接收到的数据流中提取出的很多特征之中,该组特征已经被确定为特别地指示即将进食时刻(过程动作304)。下面将更详细地描述用于执行该周期性特征提取的示例性方法和可以周期性地提取的示例性类型的特征。在本文中描述的可穿戴系统的一个实现中,然后将从每个移动传感器接收到的数据流中周期性地提取出的该组特征输入到即将进食时刻分类器(过程动作306),即将进食时刻分类器已经被训练以基于该组特征来预测用户何时处于即将进食时刻。换言之,即将进食时刻分类器已经被训练以预测用户的进食事件何时即将发生(例如,预期在上述即将进食定义窗口内发生)。这个分类器训练在下文中更详细地描述。
本文中描述的可穿戴系统实现可以训练各种类型的分类器。作为示例而非限制,在本文中描述的可穿戴系统的一个实现中,被训练的分类器是常规的线性类型分类器。在可穿戴系统的另一实现中,被训练的分类器是常规的减少误差修剪(也被称为REPTree)类型分类器。在可穿戴系统的另一实现中,被训练的分类器是常规的支持向量机类型分类器。在可穿戴系统的另一实现中,被训练的分类器是常规的TreeBagger类型分类器。再次参考图3,每当即将进食时刻分类器的输出指示用户当前处于即将进食时刻(例如,即将发生用户的进食事件)时,通过即时进食干预来自动通知用户(过程动作308)。该通知可以以各种方式提供给用户。作为示例而非限制,用户通知可以包括显示在用户携带的移动计算设备的显示屏幕上的消息。用户通知还可以包括从移动计算设备输出的可听警报。用户通知还可以包括从移动计算设备输出的触觉警报。以下将更详细地描述示例性类型的即时进食干预。
用户的即时进食干预的自动生成有利地最大化用户以各种方式携带的移动计算设备的可用性。例如,如上所述,用户不必在他们的移动计算设备上运行食物日志记录应用并且辛苦地将他们吃的所有东西记录到这个应用中。另外,这种干预很简洁,并且不会给用户提供过多且不相关的信息。这样,自动生成的即时进食干预有利地在用户使用其移动计算设备时最大化用户的效率。
再次参考图3,在本文中描述的可穿戴系统的另一实现中,将从每个移动传感器接收到的数据流中周期性地提取出的一组特征输入到基于回归的下一进食事件时间预测器(过程动作310),基于回归的下一进食事件时间预测器已经被训练以基于该组特征来预测直到用户的下一进食事件的开始的剩余时间。该预测器训练在下文中更详细地描述。本文中描述的可穿戴系统实现可以训练各种类型的预测器。作为示例而非限制,在可穿戴系统的一个实现中,被训练的预测器是常规的线性类型预测器。在可穿戴系统的另一实现中,被训练的预测器是常规的减少误差修剪类型预测器。在可穿戴系统的另一实现中,被训练的预测器是常规的顺序最小优化类型预测器。在可穿戴系统的另一实现中,被训练的预测器是常规的TreeBagger类型预测器。
再次参考图3,每当基于回归的下一进食事件时间预测器的输出指示直到用户的下一进食事件的开始的当前剩余时间少于规定的时间阈值时,通过即时进食干预来自动通知用户(过程动作312)。该通知可以以上文中描述的各种方式提供给用户。在本文中描述的可穿戴系统的测试实现中,上述时间阈值被设置为30分钟。
本文中描述的即时进食干预可以包括欢迎积极进食行为的各种类型的信息。作为示例而非限制,在本文中描述的可穿戴系统的一个实现中,即时进食干预可以包括饮食相关信息,诸如提醒用户食用平衡膳食,或者提醒用户他们的卡路里限额,等等。在可穿戴系统的另一实现中,即时进食干预可以建议用户再次吃东西的不同时间。在可穿戴系统的又一实现中,即时进食干预可以由用户定制/个性化以满足他们的特定需求/期望。在可穿戴系统的又一实现中,可以使用常规的PopTherapy微干预方法来生成即时进食干预(例如,即时进食干预可以包括告诉用户该做什么的文本提示和以下的URL(统一资源定位符),该URL在由用户选择时会启动提供适当微观干预的规定的网站应用)。
图4示出了用于训练机器学习的进食事件预测器的过程的简化形式的示例性实现。如图4所示,该过程开始于针对在一个或多个用户进行日常活动时物理地附接到一个或多个用户的身体或由用户携带的每个移动传感器而发生的以下动作(过程动作400)。首先,接收从移动传感器输出的数据流(过程动作402)。然后,从接收到的数据流中周期性地提取上述一组特征(过程动作404)。然后,使用从每个移动传感器接收到的数据流中周期性地提取出的该组特征来训练预测器以预测用户的进食事件何时即将发生(过程动作406)。然后,输出经训练的预测器(过程动作408)。如将在下文中更详细地描述的,在本文中描述的可穿戴系统的一个实现中,从每个移动传感器接收到的数据流中周期性地提取出的一组特征被选择为使得经训练的预测器是用户独立的并且因此可以用于预测任何用户的进食事件何时即将发生。在可穿戴系统的测试实现中,该组移动传感器被物理地附接到由年龄从26岁到54岁不等的八个不同用户(三位女性和五位男性)的身体或由用户携带,并且数据流是在五天的时段内从该组移动传感器接收到的。可穿戴系统的如下替代实现也是可能的:从每个移动传感器接收到的数据流中周期性地提取出的一组特征被选择为使得经训练的预测器是用户相关的。
本文中描述的可穿戴系统的一个实现中,机器学习进食事件预测器是被训练以预测用户何时处于即将进食时刻的上述即将进食时刻分类器。在可穿戴系统的另一实现中,机器学习进食事件预测器是上述基于回归的下一进食事件时间预测器。再次参考图4,在这种特定实现中,从每个移动传感器接收到的数据流中周期性地提取一组特征的动作(动作404)包括以下动作:将从接收到的数据流中周期性地提取出的该组特征中的每个特征映射到直到下一进食事件的当前剩余时间,其中该当前剩余时间通过分析从每个移动传感器接收到的数据流而被确定。另外,使用从每个移动传感器接收到的数据流中周期性地提取出的一组特征来训练预测器以预测用户的进食事件何时即将发生的动作(动作406)包括以下动作:使用从每个移动传感器接收到的数据流中周期性地提取出的一组特征,结合先前描述的该组特征中的每个特征的映射,来训练下一进食事件时间预测器,以预测直到用户的下一进食事件的开始的剩余时间。
再次参考图4,在本文中描述的可穿戴系统的替代实现中,使用从每个移动传感器接收到的数据流中周期性地提取出的一组特征来训练预测器以预测用户的进食事件何时即将发生的动作(动作406)可以如下实现。首先,可以将从每个移动传感器接收到的数据流中周期性地提取出的一组特征输入到整组特征中。然后,可以使用常规的基于相关性的特征选择方法和常规的最佳优先决策树机器学习方法的组合来选择整组特征中的特征子集。然后,可以使用所选择的特征子集来训练预测器以预测用户的进食事件何时即将发生。如在机器学习领域中理解的,基于相关性的特征选择方法基于中心假定,即,良好特征集包含与目标类别高度相关但是彼此不相关的特征。相应地,基于相关性的特征选择方法基于两个准则来评估整组特征中的每个特征的“良好性”,即,特征是否高度指示目标类别,以及特征是否与已经从整组特征中选择出的特征高度不相关。换言之,基于相关性的特征选择方法从整组特征中选择高度指示目标类别并且与已经从整组特征中选择的特征高度不相关的特征。
图5示出了用于预测用户的进食事件的进食事件预报器计算机程序的简化形式的示例性实现。如图5所简化的,进食事件预报器计算机程序500包括数据流接收子程序504、特征提取子程序506和用户通知子程序514。这些子程序504/506/514中的每一个被实现在诸如随后的“示例性操作环境”部分中更详细描述的计算设备上实现。更具体地并且作为示例而非限制,在本文中描述的可穿戴系统的一个实现中,子程序504/506/514可以全部被实现在用户携带的移动计算设备上。在可穿戴系统的另一实现中,子程序504/506/514中的一个或多个可以在移动计算设备上实现,并且其他子程序可以在远离移动计算设备定位的上述其他计算设备上实现。
再次参考图5,数据流接收子程序504接收从移动传感器输出的数据流502。特征提取子程序506从接收到的每个数据流中周期性地提取上述一组特征508,并且将该组特征508输入到已经被训练以基于该组特征508来预测用户何时处于即将进食时刻的即将进食时刻分类器510,或者将该组特征508输入到已经被训练以基于该组特征508来预测直到用户的下一进食事件的开始的剩余时间的基于回归的下一进食事件时间预测器512。每当分类器510的输出指示用户当前处于即将进食时刻时,用户通知子程序514通过即时进食干预来通知用户。每当预测器512的输出指示直到用户的下一进食事件的开始的当前剩余时间少于前述规定的时间阈值时,通过即时进食干预来通知用户。
图6示出了用于训练机器学习的进食事件预测器的进食事件预测训练器计算机程序的简化形式的示例性实现。如图6所示,进食事件预测训练器计算机程序600包括数据流接收子程序604、特征提取子程序606和进食事件预测器训练子程序610。这些子程序604/606/610中的每一个被实现在诸如随后的“示例性操作环境”部分中更详细描述的计算设备上。更具体地并且作为示例而非限制,在本文中描述的可穿戴系统的一个实现中,子程序604/606/610可以全部被实现在用户携带的移动计算设备上。在可穿戴系统的另一实现中,子程序604/606/610中的一个或多个可以被实现在移动计算设备上,并且其他子程序可以被实现在远离移动计算的其他计算设备上。
再次参考图6,数据流接收子程序604接收从移动传感器输出的数据流602。特征提取子程序606从接收到的每个数据流中周期性地提取一组特征608。进食事件预测器训练子程序610使用该组特征608来训练机器学习进食事件预测器以预测用户的进食事件何时即将发生。在这个训练已经完成之后,进食事件预测器训练子程序610输出经训练的进食事件预测器612。
2.2用户数据收集
如上所述,本文中描述的可穿戴系统实现采用一组多模态移动传感器,每个移动传感器物理地附接到用户的身体或由用户携带。每个移动传感器被配置为在用户进行日常活动时持续地且被动地测量与用户相关联的不同的生理变量,并且输出包括该变量的当前值的时间戳数据流。可穿戴系统实现可以采用多种不同类型的移动传感器技术中的一种或多种。例如,该组移动传感器可以包括常规的心率传感器,其输出的数据流包括心率传感器附接到身体的用户的当前心率。该组移动传感器还可以包括常规的皮肤温度传感器,其输出的数据流包括皮肤温度传感器附接到身体的用户的当前皮肤温度。该组移动传感器还可以包括常规的3轴加速度计,其输出的数据流包括加速度计附接到身体的或者携带加速度计的用户的当前三维(3D)线速度。该组移动传感器还可以包括常规的陀螺仪,其输出的数据流包括陀螺仪附接到身体的或者携带陀螺仪的用户的当前3D角速度。该组移动传感器还可以包括常规的全球定位系统(GPS)传感器,其输出的数据流包括GPS传感器附接到身体的或者携带GPS传感器的用户的当前经度,并且还输出的另一数据流包括该用户的当前纬度。如在全球定位领域中所理解的,用户的当前经度和纬度的组合定义用户的当前物理位置。
该组移动传感器还可以包括常规的皮肤电活动传感器,其输出包括皮肤电活动传感器附接到身体的用户的当前皮肤电活动的数据流。如情感分析领域所理解的,皮肤电活动是指当皮肤从人的大脑接收到神经支配信号时在人的皮肤表面测量到的电变化。对于大多数人,当他们经历情绪唤醒、认知负荷增加或体力消耗时,他们的大脑向他们的皮肤发送信号以增加他们的出汗水平,这以显著增加了他们的皮肤电导率。因此,一个人的皮肤电活动是他们的心理唤起水平的一个很好的指示符。在本文中描述的可穿戴系统实现的测试版本中,由Affectiva公司制造的常规的Q传感器被用于皮肤电活动传感器。但是,应当注意,可穿戴系统实现还支持使用任何其他类型的皮肤电活动传感器。
该组移动传感器还可以包括常规的身体传导麦克风(也被称为骨传导麦克风),其输出的数据流包括被传导通过用户的身体表面的当前非语音身体声音,身体传导麦克风物理地附接到该用户的身体。在本文中描述的可穿戴系统的示例性实现中,身体传导麦克风直接附接到用户的脖子的喉咽区域中的用户皮肤。在本文中描述的可穿戴系统实现的测试版本中,常规的基于BodyBeat压电传感器的麦克风被用作身体传导麦克风,该特定麦克风捕获各种非语音身体声音(例如,咀嚼和吞咽(其他食物摄取声音)、呼吸、笑声、咳嗽等)。但是,应当注意,可穿戴系统实现还支持使用任何其他类型的身体传导麦克风。
该组移动传感器还可以包括常规的可穿戴计算设备,其提供健康和健身跟踪功能,并且输出一个或多个时间戳数据流,每个时间戳数据流包括与可穿戴计算设备物理地附接到身体的用户相关联的不同的生理变量的当前值。为了简单起见,这样的可穿戴计算设备在下文中被称为健康/健身跟踪设备。应当理解,一个或多个上述不同类型的移动传感器被集成到健康/健身跟踪设备中。在本文中描述的可穿戴系统的测试实现中,健康/健身跟踪设备直接附接到用户的手腕。应当注意,很多不同类型的健康/健身跟踪设备现在可以在市场上买到。作为示例而非限制,在本文中描述的可穿戴系统实现的测试版本中,常规的微软手环(Microsoft Band)用于健康/健身跟踪设备。在可穿戴系统的示例性实现中,健康/健身跟踪设备输出的数据流包括用户的步数的当前累计值。可穿戴计算设备还输出的数据流包括用户的卡路里消耗的当前累计值。可穿戴计算设备还输出的数据流包括可穿戴计算设备附接到的用户身体的部位的当前运动速度。例如,在可穿戴计算设备附接到用户手腕的上述测试实现中,该数据流包括用户手臂的当前运动速度。
该组移动传感器还可以包括由用户携带的上述移动计算设备,并且输出一个或多个时间戳数据流,每个时间戳数据流包括与用户相关联的不同的生理变量的当前值。在本文中描述的可穿戴系统的示例性实现中,移动计算设备包括在其上运行并且允许用户手动输入/记录(例如,自我报告)与他们的每个实际进食事件相对应的各种类型的信息的应用。在可穿戴系统的测试实现中,该应用允许用户自我报告他们开始给定进食事件的时间、他们在进食事件开始时的情感(例如,他们的情绪状态)和压力水平、他们在进食事件开始时的渴望和饥饿感的强度、他们在进食事件期间消耗的食物类型、他们在进食事件期间消耗的食物的食物量和“健康性”、他们何时结束进食事件、他们在进食事件结束时的情感和压力水平、以及他们在进食事件结束时的满意度/满足程度。在这种测试实现的示例性实现中,用户使用常规照相情感测量仪(Photographic Affect Meter)工具报告其影响;用户报告他们的压力水平、他们的渴望和饥饿感的强度、他们消耗的食物量、他们消耗的食物的健康性以及使用数字标度(例如,1到7)表示的他们的满意度/满足程度。移动计算设备输出包括这个自我报告的信息的数据流。
用户携带的移动计算设备也可以输出包括移动计算设备的当前网络位置的数据流。如在无线联网领域中认识到的,在包括用户的当前经度和当前纬度的数据流当前不可用的情况下,移动计算设备的当前网络位置可以用于近似到用户的当前物理位置。移动计算设备的当前网络位置可以使用各种常规方法来确定。例如,移动计算设备的当前网络位置可以通过在具有已知物理位置的蜂窝电话塔之间或者在具有已知物理位置的Wi-Fi基站之间执行多点定位或三角测量来确定。
图7和图8示出了从一组移动传感器接收的简化形式的一组示例性时间戳数据流。更具体地,图7示出了标记为“麦克风”的时间戳数据流,其包括被传导通过用户的身体表面的当前非语音身体声音。图7还示出了标记为“皮肤电活动”的时间戳数据流,其包括用户的当前皮肤电活动。图7还示出了标记为“加速度计”的时间戳数据流,其包括用户的当前3D线速度。图7还示出了标记为“陀螺仪”的时间戳数据流,其包括用户的当前3D角速度。图7还示出了标记为“卡路里消耗”的时间戳数据流,其包括用户的卡路里消耗的当前累计值。图7还示出了标记为“步数”的时间戳数据流,其包括用户的步数的当前累计值。图8示出了标记为“运动速度”的时间戳数据流,其包括用户的手臂的当前运动速度。图8还示出了标记为“皮肤温度”的时间戳数据流,其包括用户的当前皮肤温度。图8还示出了标记为“心率”的时间戳数据流,其包括用户的当前心率。图8还示出了标记为“纬度”的时间戳数据流,其包括用户的当前纬度。图8还示出了标记为“经度”的时间戳数据流,其包括用户的当前经度。图8还示出了标记为“自我报告”的时间戳数据流,其包括用户手动输入/录入移动计算设备上运行的上述应用中的信息。
2.3特征提取
图9示出了用于从上述一组移动传感器中的每个移动传感器接收到的数据流中周期性地提取一组特征的过程的简化形式的示例性实现。如图9所示,该过程开始于对于从该组移动传感器接收的每个数据流执行以下动作(过程动作900)。首先,预处理接收到的数据流(过程动作902)。对接收到的数据流执行的特定类型的预处理取决于输出该数据流的特定类型的移动传感器以及由该移动传感器测量的特定类型的生理变量。作为示例而非限制,每当从给定移动传感器接收到的数据流包括用户的当前3D线速度时,接收到的数据流预处理包括对接收到的数据流进行归一化。每当从给定移动传感器接收到的数据流包括用户的当前3D角速度时,接收到的数据流预处理还包括对接收到的数据流进行归一化。每当从给定移动传感器接收到的数据流包括用户的步数的当前累计值时,接收到的数据流预处理包括对接收到的数据流进行内插,并且然后使用经内插的接收到的数据流的差分来估计用户的步数在每个时间点的瞬时值。每当从给定移动传感器接收到的数据流包括用户的卡路里消耗的当前累计值时,接收到的数据流预处理还包括对接收到的数据流进行内插,并且然后使用经内插的接收到的数据流的差分来估计用户的卡路里消耗在每个时间点的瞬时值。
每当从给定移动传感器接收到的数据流包括用户的当前皮肤电活动时,接收到的数据流预处理包括以下动作。首先,计算接收到的数据流的平均值,并且从接收到的数据流中减去该平均值。然后将得到的数据流分解为两个不同的分量,即慢变(例如,长期响应)主调分量和快变(例如,瞬时响应)阶段分量。在本文中描述的可穿戴系统的示例性实现中,用户的皮肤电活动的主调分量通过向接收到的数据流应用截止频率为0.05Hz的低通信号滤波器来估计。在该实现的测试版本中,使用常规的Butterworth类型低通信号滤波器。对于低通信号滤波器和其他类型的低通信号滤波器,可穿戴系统的其他实现也可以使用其他截止频率。在可穿戴系统的示例性实现中,用户的皮肤电活动的阶段分量通过向接收到的数据流应用截止频率为0.05Hz和1.0Hz的带通信号滤波器来估计。可穿戴系统的其他实现也可以使用带通信号滤波器的其他截止频率。
每当从给定移动传感器接收到的数据流包括被传导通过用户的身体表面的当前非语音身体声音时,接收到的数据流预处理包括检测这个数据流中的每个进食事件。在本文中描述的可穿戴系统的示例性实现中,该进食事件检测使用常规的BodyBeat咀嚼和吞咽声音检测方法来执行,该方法检测接收到的数据流中的特征性进食声音(诸如咀嚼和吞咽等)。每当从上述健康/健身跟踪设备接收到数据流时,接收到的数据流预处理可以可选地还包括使用固定采样频率重新采样接收到的数据流。这种重新采样适用于健康/健身跟踪设备的采样率随时间轻微变化的情况,并且因此是有利的,因为它确保了从健康/健身跟踪设备接收的每个数据流的采样频率在接收到的数据流中的所有数据上基本恒定。
再次参考图9,在已经预处理所接收到的数据流(动作902)之后,从经预处理的接收到的数据流中周期性地提取一组特征(过程动作904)。在本文中描述的可穿戴系统的示例性实现中,该周期性特征提取如下执行。首先,将经预处理的接收到的数据流分割成窗口(过程动作906),每个窗口具有规定的统一窗口长度(例如,持续时间)和规定的统一窗口偏移。一般而言,窗口长度决定从经预处理的接收到的数据流中提取出的特征的质量(例如,某些窗口长度导致较低质量特征,而其他窗口长度导致较高质量特征)。在该实现的测试版本中,窗口偏移被设置为一分钟,五分钟与120分钟之间的不同窗口长度被测试,并且基于即将进食时刻分类器和基于回归的下一进食事件时间预测器的性能凭经验选择在该范围内的最佳窗口长度。
再次参考图9,在将经预处理的接收到的数据流分割成窗口(动作906)之后,向每个窗口应用一组统计函数,其中每个统计函数从每个窗口中提取不同的特征(过程动作908)。应当注意,可以从分割后的经预处理的数据流中的每个窗口中提取很多不同类型的特征。在本文中描述的可穿戴系统的示例性实现中,可以被提取出的特征可以如下分类。提取出的一类特征捕获每个窗口内的数据极值。例如,统计函数之一可以确定每个窗口内的最小数据值。另一统计函数可以确定每个窗口内的最大数据值。提取出的另一类特征捕获每个窗口内的数据平均。例如,统计函数之一可以确定每个窗口内的平均数据值。另一统计函数可以确定每个窗口内的均方根数据值。提取出的另一类特征捕获每个窗口中的数据四分位数。例如,统计函数之一可以确定每个窗口内的数据的第一四分位数。另一统计函数可以确定每个窗口内的数据的第二四分位数。又一统计函数可以确定每个窗口内的数据的第三四分位数。另一类提取出的特征捕获每个窗口内的数据离差。例如,统计函数之一可以确定每个窗口内的数据的标准偏差。另一统计函数可以确定每个窗口内的数据的四分位差。提取出的另一类特征捕获每个窗口内的数据峰值。例如,统计函数之一可以确定每个窗口内的数据峰值的总数。另一统计函数可以确定每个窗口内的连续数据峰值之间的平均距离。另一统计函数可以确定每个窗口内的数据峰值的平均幅度。提取出的另一类特征捕获每个窗口内的数据变化的速率。例如,统计函数之一可以确定每个窗口内的数据的平均交叉率(例如,给定窗口内的数据跨越窗口内的平均数据值的平均频率)。另一类提取出的特征捕获每个窗口内的数据的形状。例如,统计函数之一可以确定每个窗口内的数据的线性回归斜率。提取出的另一类特征捕获每个窗口内的时间相关信息。例如,统计函数之一可以确定自用户的一天的开始以来所经过的时间。在可穿戴系统的示例性实现中,用户的一天的开始是在用户的给定一天中可穿戴系统开始从该组移动传感器接收一个或多个数据流的特定时间。另一统计函数可以确定自用户的上次进食事件以来所经过的时间。在可穿戴系统的一个实现中,用户的上次进食事件的时间可以根据用户手动输入/记录到在其移动计算设备上运行的应用中的上述信息来确定。在可穿戴系统的另一实现中,用户的上次进食事件的时间可以根据从物理地附接到用户身体的身体传导麦克风接收的数据流而被确定。另一统计函数可以确定自用户的一天的开始以来的用户的先前进食事件的数目。
图10示出了不同特征组在训练独立于用户的即将进食时刻分类器以预测任何用户的即将进食时刻时的估计贡献。更具体地,图10所示的每个特征组的贡献通过测量在分类器在没有特征组的情况下被训练时分类器的性能下降/降低多少来估计。如图10所示,使用常规的F度量(也称为平衡F得分)度量来度量分类器的性能。如图10所示,如果没有用于训练分类器,则所有特征组都不会对分类器的性能下降/降低贡献很大。然而,除了与位置相关的特征(例如,纬度、经度和网络位置相关特征)之外的所有特征组在用于训练分类器时对分类器的性能的增加做出贡献。有趣的是,能注意到,贡献最多的特征组是步数相关特征,随后是卡路里消耗相关的特征。对此的直观基础可以是,用户在某个时间(例如,午餐时间)从某个位置(例如,用户的家或工作场所)朝着诸如餐馆或咖啡馆等另一位置的步数可以指示用户的即将进食时刻。类似地,用户的某一卡路里消耗值可以是饥饿或渴望的间接指示符,并且因此也可以指示用户的即将进食时刻。应当注意,陀螺仪相关特征比加速度计相关特征的贡献更大。对此的直观基础可以是,陀螺仪相关特征可以在进食事件之前从用户活动捕获特征性手势,诸如在键盘上敲打,打开门或步行等。另外,有趣的是,应当注意,当前时间也有显著贡献,这是直观的,因为用户的进食通常由例程来管理。另外,有趣的是,应当注意,皮肤电活动相关特征和心率相关特征贡献最少。如果分类器在没有位置相关特征的情况下被训练,则分类器的性能会增加;这是由于每个用户在给定时间点通常具有不同的位置,因此位置相关特征对于每个用户来说通常是不同的。
2.4即将进食时刻分类器训练
位于上述即将进食定义窗口的边界之内的提取出的特征的每个窗口被标记为即将进食时刻。位于即将进食定义窗口的边界之外的提取出的特征的每个窗口被标记为非即将进食时刻。即将进食时刻分类器被训练以使用常规的机器学习方法来区分即将进食时刻和非即将进食时刻。由于如前所述,由于在位置相关特征被用于训练独立于用户的即将进食时刻分类器时这些特征在所提取出的特征空间中引入了噪声,因此不使用位置相关特征来训练独立于用户的即将进食时刻分类器。
图11示出了在使用本文中描述的可穿戴系统实现被训练之后的上述不同类型的即将进食时刻分类器的性能。如图11所示,每种不同类型的即将进食时刻分类器的性能使用常规的“留出一人”(Leave-One-Person-Out,LOPO)交叉验证方法和常规的WEKA(Waikato知识分析环境)机器学习软件套件在召回率(R)、精确率(P)和F度量(F)方面来测量。如图11所示,当使用上述选择的特征子集用于训练TreeBagger类型分类器时,TreeBagger类型分类器表现出最高的性能。
图12示出了随着用于周期性特征提取的上述统一窗口长度从五分钟递增地改变为120分钟,TreeBagger类型的即将进食时刻分类器的性能如何改变。图12所示的性能测量数据是在将上述即将进食定义窗口的大小设置为30分钟的情况下收集的。如图12所示,非常小和非常大的窗口长度都导致分类器的性能提高。实际上,当窗口长度设置为120分钟时,实现了分类器的最高性能(例如,提取最高质量的特征)。
图13示出了随着即将进食定义窗口的大小的改变,TreeBagger类型的独立于用户的即将进食时刻分类器的性能如何改变。一般来说,随着即将进食定义窗口的大小增加,即将进食时刻变得更加严格。改变即将进食定义窗口的大小也会影响分类器的性能。在选择即将进食定义窗口的大小时存在以下折衷。如图13所示,随着即将进食定义窗口的大小增加,分类器的性能通常增加。这是直观有意义的,因为由于增加即将进食定义窗口的大小使得分类器更有机会在提取出的特征空间中捕获细微模式并且准确地预测用户的即将进食时刻。然而,即将进食定义窗口的较大尺寸不太有用,因为如上所述,以下这样的干预最有效:刚好在人开始执行干预旨在防止其发生或减少的那种活动之前发生上述干预(例如,干预尽可能接近用户的下一进食事件的开始而发生)。
2.5基于回归的下一进食事件时间预测器训练
直到用户的下一进食事件的开始的剩余时间根据每个上述经预处理的接收到的数据流被分割而成的每个窗口的端点来估计。如果从任何特定窗口的端点起的这个剩余时间大于或等于规定的剩余时间阈值,则忽略从该特定窗口中提取出的一组特征(例如,该组特征不用于训练基于回归的下一进食事件时间预测器),因为假定这个特定的窗口捕获非进食生活事件(诸如睡眠以及其他类型的非进食生活事件)。在本文中描述的可穿戴系统实现的测试版本中,剩余时间阈值被设置为五个小时。
图14示出了在已经使用本文中描述的可穿戴系统实现进行训练之后的上述不同类型的基于回归的下一进食事件时间预测器的性能。如图14所示,每种不同类型的基于回归的下一进食事件时间预测器的性能使用上述“留出一人”(LOPO)交叉验证方法和常规的WEKA机器学习软件套件在常规的皮尔森(Person)相关系数(ρ)和平均绝对误差(MAE)方面来测量。如图14所示,当使用上述选择的特征子集用于训练TreeBagger类型预测器时,TreeBagger类型预测器表现出最高的性能。
图15示出了如何相对于真值参考来执行由TreeBagger类型的独立于用户的基于回归的下一进食事件时间预测器预测出的直到用户的下一进食事件的开始的剩余时间,其中该预测器使用所选择的特征子集来训练。在用户的每次进食事件期间,真值参考被认为是零。如图15所示,在进食事件的开始之前,预测器表现出最高的性能。
图16示出了随着用于周期性特征提取的上述统一窗口长度从五分钟逐渐改变为120分钟,TreeBagger类型的独立于用户的基于回归的下一进食事件时间预测器的性能如何改变。如图16所示,当窗口长度被设置为100分钟时,实现了预测器的最高性能(例如,提取最高质量的特征)。在窗口长度小于或大于100分钟的情况下提取出的特征不能捕获用户的即将进食时刻的全部动态,并且从而导致预测器性能的下降。
3.0其他实现
尽管已经通过具体参考其实现描述了可穿戴系统,但是应当理解,可以在不脱离可穿戴系统的真实精神和范围的情况下对其进行变化和修改。作为示例而非限制,除了如上所述使用从该组移动传感器接收到的数据流来训练机器学习的进食事件预测器之外,可穿戴系统的替代实现也是可能的,其中这些数据流可以用于预测用户在其即将进食时刻期间的渴望和饥饿。另外,机器学习的进食事件预测器的性能可以通过选择并入特定用户的特质(例如,他们的特定饮食模式、生活方式等)的一组用户特定特征来进一步增加。例如,在本文中描述的TreeBagger类型的用户相关的即将进食时刻分类器被训练以预测特定用户的即将进食时刻的一个可穿戴系统测试实现中,即将进食时刻分类器展示出0.85的召回率、0.82的精确率和0.84的F度量。类似地,在TreeBagger类型的用户相关的基于回归的下一进食事件时间预测器被训练以预测直到特定用户的下一进食事件的开始的剩余时间的另一可穿戴系统测试实现中,下一进食事件时间预测器展示出0.65的皮尔森相关系数。
应当注意,整个说明书中的任何或全部上述实现可以以期望的任何组合来使用以形成附加的混合实现。此外,尽管已经用特定于结构特征和/或方法动作的语言描述了主题,但是应当理解,所附权利要求中限定的主题不一定限于上述特定特征或动作。相反,上述特定特征和动作被公开作为实现权利要求的示例形式。
以上描述的内容包括示例实现。当然,不可能描述组件或方法的每个可想到的组合以用于描述所要求保护的主题的目的,但是本领域普通技术人员可以认识到,很多另外的组合和排列是可能的。因此,所要求保护的主题旨在涵盖落入所附权利要求的精神和范围内的所有这些变更、修改和变化。
关于由上述组件、设备、电路、系统等执行的各种功能,除非另有指示,否则用于描述这样的组件的术语(包括对“装置”的引用)旨在对应于执行所描述的组件的指定功能的任何组件(例如,功能等同物),即使在结构上与所公开的结构不同,其执行所要求保护的主题的本文中示出的示例性方面中的功能。在这方面,还将认识到,上述实现包括系统以及具有用于执行所要求保护的主题的各种方法的动作和/或事件的计算机可执行指令的计算机可读存储介质。
存在实现上述实现的多种方式(诸如适当的应用编程接口(API)、工具套件、驱动程序代码、操作系统、控制、独立或可下载的软件对象等),其使得应用和服务能够使用本文中描述的实现。所要求保护的主题从API(或其他软件对象)的角度以及从根据本文中阐述的实现进行操作的软件或硬件对象的角度来考虑这种使用。因此,本文中描述的各种实现可以具有完全硬件、或者部分硬件并且部分软件、或者完全软件的方面。
已经关于若干组件之间的交互描述了上述系统。应当理解,这样的系统和组件可以包括那些组件或指定的子组件、一些指定的组件或子组件、和/或附加组件,并且根据上述内容的各种排列和组合。子组件也可以被实现为通信地耦合到其他组件而不是被包括在父组件中的组件(例如,分层组件)。
另外,应当注意,一个或多个组件可以被组合成提供聚合功能的单个组件,或者被划分成若干分离的子组件,并且诸如管理层等任何一个或多个中间层可以被提供以通信地耦合到这样的子组件以提供集成功能。本文中描述的任何组件还可以与本文中未具体描述、但本领域技术人员通常已知的一个或多个其他组件交互。
4.0示例性操作环境
本文中描述的可穿戴系统实现在多种类型的通用或专用计算系统环境或配置内操作。图17示出了可以在其上实现可穿戴系统的各种实现和元件的通用计算机系统的简化示例。应当注意,在图17所示的简化的计算设备10中,由间断线或虚线表示的任何框都表示简化的计算设备的替代实现。如下所述,可以将这些替代实现中的任何或全部实现与贯穿本文描述的其他替代实现结合使用。简化的计算设备10通常存在于具有至少一些最小计算能力的设备中,诸如个人计算机(PC)、服务器计算机、手持计算设备、膝上型或移动计算机、如手机和个人数字助理(PDA)等通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机以及音频或视频媒体播放器。
为了支持设备实现本文中描述的可穿戴系统实现,该设备应当具有足够的计算能力和系统存储器以实现基本的计算操作。特别地,图17所示的简化的计算设备10的计算能力通常由一个或多个处理单元12示出,并且还可以包括与系统存储器16通信的一个或多个图形处理单元(GPU)14。注意,简化的计算设备10的处理单元12可以是专用微处理器(诸如数字信号处理器(DSP)、超长指令字(VLIW)处理器、现场可编程门阵列(FPGA)或其他微控制器),或者可以是具有一个或多个处理核的常规的中央处理单元(CPU)。
另外,简化的计算设备10还可以包括其他组件,诸如例如通信接口18。简化的计算设备10还可以包括一个或多个常规的计算机输入设备20(例如,触摸屏、触敏表面、指示设备、键盘、音频输入设备、基于声音或语音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备等)或这类设备的任何组合。
类似地,与简化的计算设备10以及本文中描述的可穿戴系统实现的任何其他组件或特征的各种交互(包括对一个或多个用户或者与可穿戴系统实现相关联的其他设备或系统的输入、输出、控制、反馈和响应)可以通过各种自然用户界面(NUI)场景来启用。由可穿戴系统实现启用的NUI技术和场景包括但不限于允许一个或多个用户以“自然”方式与可穿戴系统实现交互而无需诸如鼠标、键盘、遥控器等输入设备施加的人为约束的接口技术。
这样的NUI实现通过使用各种技术来实现,包括但不限于使用从经由麦克风或其他传感器捕获的用户语音或发声而导出的NUI信息(例如,语音和/或语音识别)。这样的NUI实现还可以通过使用各种技术来启用,包括但不限于从用户的面部表情以及从用户的手、手指、手腕、手臂、腿、身体、头部、眼睛等的位置、运动或定向而导出的信息,其中这样的信息可以使用各种类型的2D或深度成像设备来捕获,诸如立体或飞行时间相机系统、红外相机系统、RGB(红、绿和蓝)相机系统等、或这样的设备的任何组合。这样的NUI实现的另外的示例包括但不限于从触摸和触笔识别、手势识别(屏幕上和屏幕或显示表面附近)、空中或基于触摸的手势、用户触摸(在各种表面、对象或其他用户上)、基于悬停的输入或动作等导出的NUI信息。这样的NUI实现还可以包括但不限于使用各种预测性机器智能过程,这些过程单独地或者与其他NUI信息相结合地评估当前或过去的用户行为、输入、动作等以预测诸如用户意图、愿望和/或目标等信息。不管基于NUI的信息的类型或来源如何,这样的信息然后可以被用来发起、终止或以其他方式控制或与本文中描述的可穿戴系统实现的一个或多个输入、输出、动作或功能特征交互。
然而,应当理解,通过将人为约束或附加信号的使用与NUI输入的任何组合进行组合,可以进一步增强上述示例性NUI场景。这样的人为约束或附加信号可以通过输入设备(诸如鼠标、键盘和遥控器)或者通过各种远程或用户佩戴的设备来施加或生成,这样的远程或用户佩戴的设备诸如是加速度计、用于接收表示由用户肌肉生成的电信号的肌电信号的肌电描记术(EMG)传感器、心率监测器、用于测量用户出汗的电流皮肤传导传感器、用于测量或以其他方式感测用户大脑活动或电场的可穿戴或远程生物传感器、用于测量用户体温变化或差异的可穿戴或远程生物传感器等、或者迄今为止描述的任何其他类型的移动传感器。从这些类型的人为约束或附加信号导出的任何这样的信息可以与任何一个或多个NUI输入组合以启动、终止或以其他方式控制或与本文中描述的可佩带系统实现的一个或多个输入、输出、动作或功能特征交互。
简化的计算设备10还可以包括其他可选组件,诸如一个或多个常规计算机输出设备22(例如,一个或多个显示设备24、音频输出设备、视频输出设备、用于传输有线或无线数据传输的设备等)。注意,用于通用计算机的典型通信接口18、输入设备20、输出设备22和存储设备26对于本领域技术人员来说是公知的,并且本文中不会详细描述。
图17所示的简化的计算设备10还可以包括各种计算机可读介质。计算机可读介质可以是可以由计算机10经由存储设备26访问的任何可用介质,并且可以包括用于存储诸如计算机可读或计算机可执行指令、数据结构、程序、子程序或其他数据等信息的易失性和非易失性介质,其可以是可移除介质28和/或不可移除介质30。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质是指有形的计算机可读或机器可读介质或存储设备,诸如数字多功能盘(DVD)、蓝光盘(BD)、光盘(CD)、软盘、磁带驱动器、硬盘驱动器、光学驱动器、固态存储器设备、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其他光盘存储器、智能卡、闪存(例如,卡、棒和密钥驱动器)、磁带盒、磁带、磁盘存储器、磁条或其他磁存储设备。此外,传播的信号不包括在计算机可读存储介质的范围内。
诸如计算机可读或计算机可执行指令、数据结构、程序、子程序等信息的保留也可以通过使用多种上述通信介质(与计算机存储介质相反)中的任何一种对一个或多个调制数据信号或载波或其他传输机制或通信协议进行编码来完成,并且可以包括任何有线或无线信息传送机制。注意,术语“调制数据信号”或“载波”通常是指如下的信号,该信号的一个或多个特征以使得能够在该信号中对信息进行编码的方式被设置或改变。例如,通信介质可以包括有线介质(诸如承载一个或多个调制数据信号的有线网络或直接有线连接)以及无线介质(诸如声学、射频(RF)、红外、激光和用于传输和/或接收一个或多个调制数据信号或载波的其他无线介质)。
此外,实施本文中描述的各种可穿戴系统实现中或其部分的一些或全部的软件、程序、子程序和/或计算机程序产品可以以计算机可执行指令或其他数据结构的形式从计算机可读或机器可读介质或存储设备和通信介质的任何期望组合来存储、接收、传输或读取。另外,所要求保护的主题可以被实现为使用标准编程和/或工程技术来产生软件、固件、硬件或其任何组合以控制计算机实现所公开的主题的方法、装置或制造品。本文中使用的术语“制造品”旨在包含从任何计算机可读设备或介质可访问的计算机程序。
本文中描述的可穿戴系统实现可以在由计算设备执行的计算机可执行指令(诸如程序和子程序)的一般上下文中进一步描述。通常,子程序包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。可穿戴系统实现还可以被实施在任务由一个或多个远程处理设备执行的分布式计算环境中,或者被实施在通过一个或多个通信网络链接的一个或多个设备的云内。在分布式计算环境中,子程序可以位于包括媒体存储设备在内的本地和远程计算机存储介质两者中。此外,上述指令可以部分或全部实现为硬件逻辑电路,其可以包括或不包括处理器。
替代地或另外地,本文中描述的功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如而非限制,可以使用的说明性类型的硬件逻辑组件包括FPGA、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
5.0权利要求支持和另外的实现
以下段落总结了可以在本文档中要求保护的实现的各种示例。然而,应当理解,下面总结的实现无意限制可以考虑到前面的描述来要求保护的主题。此外,下面总结的任何或全部实现可以与贯穿上述说明书描述的一些或全部实现以及在一个或多个附图中说明的任何实现以及下面描述的任何其他实现的任何期望的组合来被要求保护。另外,应当注意,以下实现要在本文中通篇描述的以上描述和附图基础上进行理解。
在一个实现中,采用了一种用于预测用户的进食事件的系统。该系统包括一组移动传感器,移动传感器中的每个移动传感器被配置为连续测量与用户相关联的不同的生理变量并且输出包括该变量的当前值的时间戳数据流。该系统还包括:包括一个或多个计算设备的进食事件预报器,每当存在多个计算设备时,这些计算设备经由计算机网络彼此通信,并且该系统还包括具有由一个或多个计算设备可执行的多个子程序的计算机程序。一个或多个计算设备由计算机程序的子程序引导以对于上述移动传感器中的每个移动传感器:接收从移动传感器输出的数据流,并且从接收到的数据流中周期性地提取一组特征,在能够从接收到的所述数据流中提取出的很多特征之中,该组特征已经被确定为特别地指示即将进食时刻;将从移动传感器中的每个移动传感器接收到的数据流中周期性地提取出的一组特征输入到即将进食时刻分类器,即将进食时刻分类器已经被训练以基于该组特征来预测用户何时处于即将进食时刻,并且每当分类器的输出指示用户当前处于即将进食时刻时,通过即时进食干预来通知用户。
在上述系统的一个实现中,移动传感器包括以下中的一项或多项:物理地附接到用户的身体并且为用户提供健康和健身跟踪功能的可穿戴计算设备;或者由用户携带的移动计算设备。在另一实现中,移动传感器包括以下中的一项或多项:物理地附接到用户身体的心率传感器;或者物理地附接到用户的身体的皮肤温度传感器;或者物理地附接到用户或由用户携带的加速度计;或者物理地附接到用户或由用户携带的陀螺仪;或者物理地附接到用户或由用户携带的全球定位系统传感器;或者物理地附接到用户的身体的皮肤电活动传感器;或者物理地附接到用户的身体的身体传导麦克风。在另一实现中,分类器包括以下中的一项:线性类型分类器;或者减少误差修剪类型分类器;或者支持向量机类型分类器;或者TreeBagger类型分类器。
在另一实现方式中,上述计算设备中的一个计算设备包括由用户携带的移动计算设备,并且用户通知包括以下中的一项或多项:显示在移动计算设备的显示屏幕上的消息;或从移动计算设备输出的可听警报;或者从移动计算设备输出的触觉警报。在另一实现中,接收到的数据流包括以下中的一项:用户的当前心率;或者用户的当前皮肤温度;或者用户的当前三维线速度;或者用户的当前三维角速度;或者用户的当前经度;或者用户的当前纬度;或者用户的当前皮肤电活动;或者被传导通过用户的身体表面的当前非语音身体声音,这些声音包括用户的咀嚼和吞咽声音;或者用户的步数的当前累计值;或者用户的卡路里消耗的当前累计值;或者用户的手臂的当前运动速度。
在另一实现中,用于从接收到的数据流中周期性地提取一组特征的子程序包括用于进行以下操作的子程序:预处理所接收到的数据流;以及从经预处理的接收到的数据流中周期性地提取一组特征,周期性提取包括用于进行以下操作的子程序:将经预处理的接收到的数据流分割成窗口,每个窗口包括规定的统一窗口长度和规定的统一窗口偏移,以及向这些窗口中的每个窗口应用一组统计函数,每个统计函数从这些窗口中的每个窗口中提取不同的特征。在另一实现中,用于预处理接收到的数据流的子程序包括用于进行以下操作的子程序:每当接收到的数据流包括用户的当前三维线速度时,对接收到的数据流进行归一化;每当接收到的数据流包括用户的当前三维角速度时,对接收到的数据流进行归一化;每当接收到的数据流包括用户的步数的当前累计值时,对接收到的数据流进行内插,并且使用经内插的接收到的数据流的差分来估计用户的步数在每个时间点的瞬时值;每当接收到的数据流包括用户的卡路里消耗的当前累计值时,对接收到的数据流进行内插,并且使用经内插的接收到的数据流的差分来估计用户的卡路里消耗在每个时间点的瞬时值;每当接收到的数据流包括用户的当前皮肤电活动时,计算接收到的数据流的平均值,从接收到的数据流中减去该平均值,并且将得到的数据流分解成慢变主调分量和快变阶段分量;以及每当接收到的数据流包括被传导通过用户的身体表面的当前非语音身体声音时,检测所接收到的数据流中的每个进食事件。在另一实现中,用于检测所接收到的数据流中的每个进食事件的子程序包括用于使用BodyBeat咀嚼和吞咽声音检测方法来检测所接收到的数据流中的特征进食声音的子程序。
在另一实现中,从经预处理的接收到的数据流中周期性地提取出的一组特征包括以下中的两项或更多项:每个窗口内的最小数据值;或者每个窗口内的最大数据值;或者每个窗口内的平均数据值;或者每个窗口内的均方根数据值;或者每个窗口内的数据的第一四分位数;或者每个窗口内的数据的第二四分位数;或者每个窗口内的数据第三四分位数;或者每个窗口内的数据的标准偏差;或者每个窗口内的数据的四分位差;或者每个窗口内的数据峰值的总数;或者每个窗口内的连续数据峰值之间的平均距离;或者每个窗口内的数据峰值的平均幅度;或者每个窗口内的数据的平均交叉率;或者每个窗口内的数据的线性回归斜率;或者自用户的一天的开始以来所经过的时间;或者自用户的上次进食事件以来所经过的时间;或者自用户的一天的开始以来的用户的先前进食事件的数目。
本部分中在任何前面的段落中描述的实现也可以彼此组合,并且与本部分之前描述的一个或多个实现和版本组合。例如,上述实现和版本中的一些或全部可以与其中分类器包括以下中的一项的上述实现组合:线性类型分类器;或者减少误差修剪类型分类器;或者支持向量机类型分类器;或者TreeBagger类型分类器。另外,上述实现中的一些或全部可以与其中用于从接收到的数据流中周期性地提取一组特征的子程序包括用于进行以下操作的子程序的上述实现组合:预处理接收到的数据流;并且从经预处理的接收到的数据流中周期性地提取一组特征,周期性提取包括用于进行以下操作的子程序:将经预处理的接收到的数据流分割成窗口,每个窗口包括规定的统一窗口长度和规定的统一窗口偏移,以及向这些窗口中的每个窗口应用一组统计函数,统计函数中的每个统计函数从这些窗口中的每个窗口中提取不同的特征。
在另一实现中,采用一种用于预测用户的进食事件的系统。该系统包括一组移动传感器,移动传感器中的每个移动传感器被配置为连续测量与用户相关联的不同的生理变量并且输出包括该变量的当前值的时间戳数据流。该系统还包括:包括一个或多个计算设备的进食事件预报器,每当存在多个计算设备时,这些计算设备经由计算机网络彼此通信,并且该系统还包括具有由一个或多个计算设备可执行的多个子程序的计算机程序,一个或多个计算设备由计算机程序的子程序引导以对于上述移动传感器中的每个移动传感器:接收从移动传感器输出的数据流,并且从接收到的数据流中周期性地提取一组特征,在能够从接收到的数据流中提取出的很多特征之中,该组特征已经被确定为特别地指示即将进食时刻;将从每个移动传感器接收到的数据流中周期性地提取出的一组特征输入到基于回归的下一进食事件时间预测器,基于回归的下一进食事件时间预测器已经被训练以基于该组特征来预测直到用户的下一进食事件的开始的剩余时间,并且每当该预测器的输出指示直到用户的下一进食事件的开始的当前剩余时间少于规定阈值时,通过即时进食干预来通知用户。
在上述系统的一个实现中,预测器包括以下中的一项:线性类型预测器;或者减少误差修剪类型预测器;或者顺序最小优化类型预测器;或者TreeBagger类型预测器。在另一实现中,上述计算设备中的一个计算设备包括由用户携带的移动计算设备,并且用户通知包括以下中的一项或多项:显示在移动计算设备的显示屏幕上的消息;或者从移动计算设备输出的可听警报;或者从移动计算设备输出的触觉警报。在另一实现中,所接收到的数据流包括以下中的一项:用户的当前心率;或者用户的当前皮肤温度;或者用户的当前三维线速度;或者用户的当前三维角速度;或者用户的当前经度;或用者户的当前纬度;或者用户的当前皮肤电活动;或者被传导通过用户的身体表面的当前非语音身体声音,这些声音包括用户的咀嚼和吞咽声音;或者用户的步数的当前累计值;或者用户的卡路里消耗的当前累计值;或者用户的手臂的当前运动速度。
在另一实现中,用于从接收到的数据流中周期性地提取一组特征的子程序包括用于进行以下操作的子程序:预处理接收到的数据流;并且从经预处理的接收到的数据流中周期性地提取一组特征,周期性提取包括用于进行以下操作的子程序:将经预处理的接收到的数据流分割成窗口,每个窗口包括规定的统一窗口长度和规定的统一窗口偏移,以及向这些窗口中的每个窗口应用一组统计函数,每个统计函数从这些窗口中的每个窗口中提取不同的特征。在另一实现中,从经预处理的接收到的数据流中周期性地提取出的一组特征包括以下中的两项或更多项:每个窗口内的最小数据值;或者每个窗口内的最大数据值;或者每个窗口内的平均数据值;或者每个窗口内的均方根数据值;或者每个窗口内的数据的第一四分位数;或者每个窗口内的数据的第二四分位数;或者每个窗口内的数据的第三四分位数;或者每个窗口内的数据的标准偏差;或者每个窗口内的数据的四分位差;或者每个窗口内的数据峰值的总数;或者每个窗口内的连续数据峰值之间的平均距离;或者每个窗口内的数据峰值的平均幅度;或者每个窗口内的数据的平均交叉率;或者每个窗口内的数据的线性回归斜率;或者自用户的一天的开始以来所经过的时间;或者自用户的上次进食事件以来所经过的时间;或者自用户的一天的开始以来的用户的先前进食事件的数目。
如前所述,本部分中在任何前面的段落中描述的实现也可以彼此组合,并且与本部分之前描述的一个或多个实现和版本组合。例如,上述实现和版本中的一些或全部可以与其中用于从接收到的数据流中周期性地提取一组特征的子程序包括用于进行以下操作的子程序的上述实现组合:预处理接收到的数据流;并且从经预处理的接收到的数据流中周期性地提取一组特征,周期性提取包括用于进行以下操作的子程序:将经预处理的接收到的数据流分割成窗口,每个窗口包括规定的统一窗口长度和规定的统一窗口偏移,以及向这些窗口中的每个窗口应用一组统计函数,每个统计函数从这些窗口中的每个窗口中提取不同的特征。
在另一实现中,采用一种用于训练机器学习的进食事件预测器的系统。该系统包括一组移动传感器,每个移动传感器被配置为连续测量与一个或多个用户中的每个用户相关联的不同的生理变量,并且输出包括该变量的当前值的时间戳数据流。该系统还包括:包括一个或多个计算设备的进食事件预测训练器,每当存在多个计算设备时,这些计算设备经由计算机网络彼此通信,并且该系统还包括具有由一个或多个计算设备可执行的多个子程序的计算机程序,一个或多个计算设备由计算机程序的子程序引导以对于移动传感器中的每个移动传感器:接收从移动传感器输出的数据流,并且从接收到的数据流中周期性地提取一组特征,在能够从接收到的数据流中提取出的很多特征之中,该组特征已经被确定为特别地指示即将进食时刻,使用从每个移动传感器接收到的数据流中周期性地提取出的一组特征来训练预测器以预测用户的进食事件何时即将发生,并且输出经训练的预测器。
在上述系统的一个实现中,预测器包括被训练以预测用户何时处于即将进食时刻的即将进食时刻分类器。在另一实现中,预测器包括基于回归的下一进食事件时间预测器,用于从接收到的数据流中周期性地提取一组特征的子程序包括用于进行以下操作的子程序:将从接收到的数据流中周期性地提取出的一组特征中的每个特征映射到直到下一进食事件的当前剩余时间,当前剩余时间通过分析从每个移动传感器接收到的数据流而被确定,并且用于使用从每个移动传感器接收到的数据流中周期性地提取出的一组特征来训练预测器以预测用户的进食事件何时即将发生的子程序包括用于进行以下操作的子程序:使用从每个移动传感器接收到的数据流中周期性地的一组特征,结合该组特征中的每个特征的映射,来训练下一进食事件时间预测器以预测直到用户的下一进食事件的开始的剩余时间。
在另一实现中,用于使用从每个移动传感器接收到的数据流中周期性地提取出的一组特征来训练预测器以预测用户的进食事件何时即将发生的子程序包括用于进行以下操作的子程序:将从每个移动传感器接收到的数据流中周期性地提取出的一组特征输入到整组特征中;使用基于相关性的特征选择方法和最佳优先决策树机器学习方法的组合来选择整组特征中的特征子集;以及使用所选择的特征子集来训练预测器以预测用户的进食事件何时即将发生。
在一个实现中,进食事件预测系统通过用于预测用户的进食事件的装置来实现。进食事件预测系统包括用于连续测量与用户相关联的生理变量的一组移动感测装置,每个移动感测装置被配置为连续测量与用户相关联的不同的生理变量并且输出包括该变量的当前值的时间戳数据流。进食事件预测系统还包括:包括一个或多个计算设备的用于预测进食事件的预测装置,每当存在多个计算设备时,这些计算设备经由计算机网络彼此通信,这些计算设备包括被配置为对于每个移动感测装置进行以下操作的处理器:用于接收从移动感测装置输出的数据流的数据接收步骤;以及用于从接收到的数据流中周期性地提取一组特征的特征提取步骤,在能够从接收到的数据流中提取出的很多特征之中,该组特征已经被确定为特别地指示即将进食时刻;输入步骤,用于将从每个移动感测装置接收到的数据流中周期性地提取出的一组特征输入到用于预测即将进食时刻的分类装置,该分类装置已经被训练以基于该组特征来预测用户何时处于即将进食时刻,并且每当该分类装置的输出指示用户当前处于即将进食时刻时,用于通过即时进食干预来通知用户的用户通知步骤。
在上述进食事件预测系统的一个实现中,移动感测装置包括以下中的一项或多项:物理地附接到用户的身体并且为用户提供健康和健身跟踪功能的可穿戴计算设备;或者由用户携带的移动计算设备。在另一实现中,移动感测装置包括以下中的一项或多项:物理地附接到用户的身体的心率传感器;或者物理地附接到用户的身体的皮肤温度传感器;或者物理地附接到用户或由用户携带的加速度计;或者物理地附接到用户或由用户携带的陀螺仪;或者物理地附接到用户或由用户携带的全球定位系统传感器;或者物理地附接到用户的身体的皮肤电活动传感器;或者物理地附接到用户的身体的身体传导麦克风。在另一实现中,分类装置包括以下中的一项:线性类型分类器;或者减少误差修剪类型分类器;或者支持向量机类型分类器;或者TreeBagger类型分类器。
在另一实现中,用于从接收到的数据流中周期性地提取一组特征的特征提取步骤包括:用于预处理接收到的数据流的预处理步骤;以及用于从经预处理的接收到的数据流中周期性地提取该组特征的周期性提取步骤,周期性提取步骤包括:用于将经预处理的接收到的数据流分割成窗口的分割步骤,每个窗口包括规定的统一窗口长度和规定的统一窗口偏移;以及用于向这些窗口中的每个窗口应用一组统计函数应的函数应用步骤,每个统计函数从这些窗口中的每个窗口中提取不同的特征。在另一实现中,用于预处理接收到的数据流的预处理步骤包括:用于每当接收到的数据流包括用户的当前三维线速度时对接收到的数据流进行归一化的归一化步骤;用于每当接收到的数据流包括用户的当前三维角速度时对接收到的数据流进行归一化的归一化步骤;用于每当接收到的数据流包括用户的步数的当前累计值时对接收到的数据流进行内插的内插步骤和用于使用经内插的接收到的数据流的差分来估计用户的步数在每个时间点的瞬时值的差分步骤;用于每当接收到的数据流包括用户的卡路里消耗的当前累计值时对接收到的数据流进行内插的内插步骤和用于使用经内插的接收到的数据流的差分来估计用户的卡路里消耗在每个时间点的瞬时值的差分步骤;用于每当接收到的数据流包括用户的当前皮肤电活动时计算接收到的数据流的平均值的平均计算步骤,用于从接收到的数据流中减去该平均值的平均值减法步骤,以及用于将得到的数据流分解为慢变主调分量和快变阶段分量的分解步骤;以及用于每当接收到的数据流包括被传导通过用户的身体表面的当前非语音身体声音时检测所接收到的数据流中的每个进食事件的检测步骤。
在一个实现中,一种进食事件预测系统通过用于预测用户的进食事件的装置来实现。进食事件预测系统包括用于连续测量与用户相关联的生理变量的一组移动感测装置,每个移动感测装置被配置为连续测量与用户相关联的不同的生理变量并且输出包括该变量的当前值的时间戳数据流。进食事件预测系统还包括:包括一个或多个计算设备的用于预测进食事件的预测装置,每当存在多个计算设备时,这些计算设备经由计算机网络彼此通信,这些计算设备包括被配置为对于每个移动感测装置进行以下操作的处理器:用于接收从移动感测装置输出的数据流的数据接收步骤;以及用于从接收到的数据流中周期性地提取一组特征的征提取步骤,在能够从接收到的数据流中提取出的很多特征之中,该组特征已经被确定为特别地指示即将进食时刻;输入步骤,用于将从每个移动感测装置接收到的数据流中周期性地提取出的一组特征输入到用于预测直到进食事件的开始的剩余时间的基于回归的预测装置,该预测装置已经被训练以基于该组特征来预测直到用户的下一进食事件的开始的剩余时间,并且用于每当预测装置的输出指示直到用户的下一进食事件的开始的当前剩余时间少于规定阈值时通过即时进食干预来通知用户的用户通知步骤。
在上述进食事件预测系统的一个实现中,预测装置包括以下中的一项:线性类型预测器;或者减少误差修剪类型预测器;或者顺序最小优化类型预测器;或者TreeBagger类型预测器。在另一实现中,用于从接收到的数据流中周期性地提取一组特征的特征提取步骤包括:用于预处理接收到的数据流的预处理步骤;以及用于从经预处理的接收到的数据流中周期性地提取该组特征的周期性提取步骤,该周期性提取步骤包括:用于将经预处理的接收到的数据流分割成窗口的分割步骤,每个窗口包括规定的统一窗口长度和规定的统一窗口偏移;以及用于向这些窗口中的每个窗口应用一组统计函数的函数应用步骤,每个统计函数从这些窗口中的每个窗口中提取不同的特征。
在一个实现中,一种预测器训练系统通过用于训练机器学习的进食事件预测器的装置来实现。预测器训练系统包括用于连续测量与一个或多个用户相关联的生理变量的一组移动感测装置,每个移动感测装置被配置为连续测量与一个或多个用户中的每一个相关联的不同的生理变量并且输出包括该变量的当前值的时间戳数据流。预测器训练系统还包括用于训练包括一个或多个计算设备的预测器的训练装置,每当存在多个计算设备时,这些计算设备经由计算机网络彼此通信,这些计算设备包括处理器,这些处理器被配置为对于每个移动感测装置执行以下操作:用于接收从移动感测装置输出的数据流的数据接收步骤;以及用于从接收到的数据流中周期性地提取一组特征的特征提取步骤,在能够从接收到的数据流中提取出的很多特征之中,该组特征已经被确定为特别地指示即将进食时刻;用于使用从每个移动感测装置接收到的数据流中周期性地提取出的一组特征来训练预测器以预测用户的进食事件何时即将发生的特征利用步骤;以及用于输出经训练的预测值的输出步骤。
在上述预测器训练系统的一个实现中,预测器包括基于回归的下一进食事件时间预测器,用于从接收到的数据流中周期性地提取一组特征的特征提取步骤包括:映射步骤,用于将从接收到的数据流中周期性地提取出的一组特征中的每个特征映射到直到下一进食事件的当前剩余时间,当前剩余时间通过分析从每个移动感测装置接收到的数据流而被确定;以及用于使用从每个移动感测装置接收到的数据流中周期性地提取出的一组特征来训练预测器以预测用户的进食事件何时即将发生的特征利用步骤包括使用从每个移动感测装置接收到的数据流中周期性地提取出的一组特征,结合该组特征中的每个特征的映射,来训练下一进食事件时间预测器的训练步骤,以预测直到用户的下一进食事件的开始的剩余时间。
在另一实现中,用于使用从每个移动感测装置接收到的数据流中周期性地提取出的一组特征来训练预测器以预测用户的进食事件何时即将发生的特征利用步骤包括:用于将从每个移动传感器接收到的数据流中周期性地提取出的一组特征输入到整组特征中的输入步骤;用于使用基于相关性的特征选择方法和最佳优先决策树机器学习方法的组合来选择整组特征中的特征子集的特征选择步骤;以及用于使用选择的特征子集来训练预测器以预测用户的进食事件何时即将发生的训练步骤。

Claims (15)

1.一种用于预测用户的进食事件的系统,包括:
一组移动传感器,所述移动传感器中的每个移动传感器被配置为连续测量与所述用户相关联的不同的生理变量并且输出包括所述变量的当前值的时间戳数据流;以及
包括一个或多个计算设备的进食事件预报器,每当存在多个计算设备时,所述计算设备经由计算机网络彼此通信,所述计算设备包括处理器,所述处理器被配置为:
对于所述移动传感器中的每个移动传感器,
接收从所述移动传感器输出的所述数据流,以及
从接收到的所述数据流中周期性地提取一组特征,在能够从接收到的所述数据流中提取出的很多特征之中,所述一组特征已经被确定为特别地指示即将进食时刻;
将从所述移动传感器中的每个移动传感器接收到的数据流中周期性地提取出的所述一组特征输入到即将进食时刻分类器,所述即将进食时刻分类器已经被训练以基于所述一组特征来预测所述用户何时处于即将进食时刻;以及
每当所述分类器的输出指示所述用户当前处于即将进食时刻时,通过即时进食干预来通知所述用户。
2.根据权利要求1所述的系统,其中所述移动传感器包括以下中的一项或多项:
物理地附接到所述用户的身体并且为所述用户提供健康和健身跟踪功能的可穿戴计算设备;或者
由所述用户携带的移动计算设备。
3.根据权利要求1所述的系统,其中所述移动传感器包括以下中的一项或多项:
物理地附接到所述用户的身体的心率传感器;或者
物理地附接到所述用户的身体的皮肤温度传感器;或者
物理地附接到所述用户或由所述用户携带的加速度计;或者
物理地附接到所述用户或由所述用户携带的陀螺仪;或者
物理地附接到所述用户或由所述用户携带的全球定位系统传感器;或者
物理地附接到所述用户的身体的皮肤电活动传感器;或者
物理地附接到所述用户的身体的身体传导麦克风。
4.根据权利要求1、2或3所述的系统,其中所述分类器包括以下中的一项:
线性类型分类器;或者
减少误差修剪类型分类器;或者
支持向量机类型分类器;或者
TreeBagger类型分类器。
5.根据权利要求1所述的系统,其中
所述计算设备中的一个计算设备包括由所述用户携带的移动计算设备,以及
所述用户通知包括以下中的一项或多项:
显示在所述移动计算设备的显示屏幕上的消息;或者
从所述移动计算设备输出的可听警报;或者
从所述移动计算设备输出的触觉警报。
6.根据权利要求1所述的系统,其中接收到的所述数据流包括以下中的一项:
所述用户的当前心率;或者
所述用户的当前皮肤温度;或者
所述用户的当前三维线速度;或者
所述用户的当前三维角速度;或者
所述用户的当前经度;或者
所述用户的当前纬度;或者
所述用户的当前皮肤电活动;或者
被传导通过所述用户的身体表面的当前非语音身体声音,所述声音包括所述用户的咀嚼和吞咽声音;或者
所述用户的步数的当前累计值;或者
所述用户的卡路里消耗的当前累计值;或者
所述用户的手臂的当前运动速度。
7.根据权利要求1或6所述的系统,其中从接收到的所述数据流中周期性地提取一组特征包括:
预处理接收到的所述数据流;以及
从经预处理的接收到的数据流中周期性地提取所述一组特征,所述周期性提取包括,
将所述经预处理的接收到的数据流分割成窗口,所述窗口中的每个窗口包括规定的统一窗口长度和规定的统一窗口偏移,以及
向所述窗口中的每个窗口应用一组统计函数,所述统计函数中的每个统计函数从所述窗口中的每个窗口中提取不同的特征。
8.一种用于预测用户的进食事件的系统,包括:
一组移动传感器,所述移动传感器中的每个移动传感器被配置为连续测量与所述用户相关联的不同的生理变量并且输出包括所述变量的当前值的时间戳数据流;以及
包括一个或多个计算设备的进食事件预报器,每当存在多个计算设备时,所述计算设备经由计算机网络彼此通信,所述计算设备包括处理器,所述处理器被配置为:
对于所述移动传感器中的每个移动传感器,
接收从所述移动传感器输出的所述数据流,以及
从接收到的所述数据流中周期性地提取一组特征,在能够从接收到的所述数据流中提取出的很多特征之中,所述一组特征已经被确定为特别地指示即将进食时刻;
将从所述移动传感器中的每个移动传感器接收到的所述数据流中周期性地提取出的所述一组特征输入到基于回归的下一进食事件时间预测器,所述基于回归的下一进食事件时间预测器
已经被训练以基于所述一组特征来预测直到所述用户的下一进食事件开始的剩余时间;以及
每当所述预测器的输出指示直到所述用户的下一进食事件开始的当前剩余时间少于规定阈值时,通过即时进食干预来通知所述用户。
9.根据权利要求8所述的系统,其中所述预测器包括以下中的一项:
线性类型预测器;或者
减少误差修剪类型预测器;或者
顺序最小优化类型预测器;或者
TreeBagger类型预测器。
10.根据权利要求8或9所述的系统,其中从接收到的所述数据流中周期性地提取一组特征包括:
预处理接收到的所述数据流;以及
从经预处理的接收到的数据流中周期性地提取所述一组特征,所述周期性提取包括,
将所述经预处理的接收到的数据流分割成窗口,所述窗口中的每个窗口包括规定的统一窗口长度和规定的统一窗口偏移,以及
向所述窗口中的每个窗口应用一组统计函数,所述统计函数中的每个统计函数从所述窗口中的每个窗口中提取不同的特征。
11.根据权利要求7所述的系统,其中预处理接收到的所述数据流包括:
每当接收到的所述数据流包括所述用户的当前三维线速度时,对接收到的所述数据流进行归一化;
每当接收到的所述数据流包括所述用户的当前三维角速度时,对接收到的所述数据流进行归一化;
每当接收到的所述数据流包括所述用户的步数的当前累计值时,对接收到的所述数据流进行内插,并且使用经内插的接收到的数据流的差分来估计所述用户的步数在每个时间点的瞬时值;
每当接收到的所述数据流包括所述用户的卡路里消耗的当前累计值时,对接收到的所述数据流进行内插,并且使用所述经内插的接收到的数据流的差分来估计所述用户的卡路里消耗在每个时间点的瞬时值;
每当接收到的所述数据流包括所述用户的当前皮肤电活动时,计算接收到的所述数据流的平均值,从接收到的所述数据流中减去所述平均值,并且将所得到的数据流分解为慢变主调分量和快变阶段分量;以及
每当接收到的所述数据流包括被传导通过所述用户的身体表面的当前非语音身体声音时,检测接收到的所述数据流中的所述进食事件中的每个进食事件。
12.根据权利要求7所述的系统,其中从所述经预处理的接收到的数据流中周期性地提取出的所述一组特征包括以下中的两项或更多项:
所述窗口中的每个窗口内的最小数据值;或者
所述窗口中的每个窗口内的最大数据值;或者
所述窗口中的每个窗口内的平均数据值;或者
所述窗口中的每个窗口内的均方根数据值;或者
所述窗口中的每个窗口内的数据的第一四分位数;或者
所述窗口中的每个窗口内的数据的第二四分位数;或者
所述窗口中的每个窗口内的数据的第三四分位数;或者
所述窗口中的每个窗口内的数据的标准偏差;或者
所述窗口中的每个窗口内的数据的四分位差;或者
所述窗口中的每个窗口内的数据峰值的总数;或者
所述窗口中的每个窗口内的连续数据峰值之间的平均距离;或者
所述窗口中的每个窗口内的数据峰值的平均幅度;或者
所述窗口中的每个窗口内的数据的平均交叉率;或者
所述窗口中的每个窗口内的数据的线性回归斜率;或者
自所述用户的一天的开始以来所经过的时间;或者
自所述用户的上次进食事件以来所经过的时间;或者
自所述用户的一天的开始以来的所述用户的先前进食事件的数目。
13.一种用于训练机器学习的进食事件预测器的系统,包括:
一组移动传感器,所述移动传感器中的每个移动传感器被配置为连续测量与一个或多个用户中的每个用户相关联的不同的生理变量并且输出包括所述变量的当前值的时间戳数据流;以及
包括一个或多个计算设备的进食事件预测训练器,每当存在多个计算设备时,所述计算设备经由计算机网络彼此通信,所述计算设备包括处理器,所述处理器被配置为:
对于所述移动传感器中的每个移动传感器,
接收从所述移动传感器输出的数据流,以及
从接收到的所述数据流中周期性地提取一组特征,在能够从接收到的所述数据流中提取出的很多特征之中,所述一组特征已经被确定为特别地指示即将进食时刻;
使用从所述移动传感器中的每个移动传感器接收到的数据流中周期性地提取出的所述一组特征来训练所述预测器以预测用户的进食事件何时即将发生;以及
输出所述经训练的预测器。
14.根据权利要求13所述的系统,其中
所述预测器包括基于回归的下一进食事件时间预测器,
从接收到的所述数据流中周期性地提取一组特征包括将从接收到的所述数据流中周期性地提取出的所述一组特征中的每个特征映射到直到下一进食事件的当前剩余时间,所述当前剩余时间通过分析从所述移动传感器中的每个移动传感器接收到的数据流而被确定,以及
使用从所述移动传感器中的每个移动传感器接收到的数据流中周期性地提取出的所述一组特征来训练所述预测器以预测用户的进食事件何时即将发生包括:使用从所述移动传感器中的每个移动传感器接收到的数据流中周期性地提取出的所述一组特征,结合所述一组特征中的所述特征中的每个特征的所述映射,来训练所述下一进食事件时间预测器,以预测直到所述用户的下一进食事件的开始的剩余时间。
15.根据权利要求13所述的系统,其中使用从所述移动传感器中的每个移动传感器接收到的所述数据流中周期性地提取出的所述一组特征来训练所述预测器以预测用户的进食事件何时即将发生包括:
将从所述移动传感器中的每个移动传感器接收到的所述数据流中周期性地提取出的所述一组特征输入到整组特征中;
使用基于相关性的特征选择方法和最佳优先决策树机器学习方法的组合来选择所述整组特征中的特征子集;以及
使用选择的特征子集来训练所述预测器以预测用户的进食事件何时即将发生。
CN201680073946.8A 2015-12-17 2016-12-02 用于预测即将进食时刻的可穿戴系统 Pending CN108475295A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/973,645 2015-12-17
US14/973,645 US20170172493A1 (en) 2015-12-17 2015-12-17 Wearable system for predicting about-to-eat moments
PCT/US2016/064514 WO2017105867A1 (en) 2015-12-17 2016-12-02 Wearable system for predicting about-to-eat moments

Publications (1)

Publication Number Publication Date
CN108475295A true CN108475295A (zh) 2018-08-31

Family

ID=57590858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073946.8A Pending CN108475295A (zh) 2015-12-17 2016-12-02 用于预测即将进食时刻的可穿戴系统

Country Status (4)

Country Link
US (1) US20170172493A1 (zh)
EP (1) EP3391256A1 (zh)
CN (1) CN108475295A (zh)
WO (1) WO2017105867A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110236526A (zh) * 2019-06-28 2019-09-17 李秋 基于咀嚼吞咽动作及心电活动的摄食行为分析和检测方法
CN112016740A (zh) * 2020-08-18 2020-12-01 北京海益同展信息科技有限公司 数据处理方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762517B2 (en) * 2015-07-01 2020-09-01 Ebay Inc. Subscription churn prediction
CN109863758A (zh) * 2016-10-28 2019-06-07 松下知识产权经营株式会社 骨传导头戴式耳机
DE102017011368A1 (de) 2017-12-11 2019-06-13 Qass Gmbh Verfahren, Vorrichtung, und Komponenten davon, zum Erkennen von Ereignissen in einem Materialbearbeitungs- und/oder Herstellungsprozess unter Verwendung von Ereignismustern
KR102186059B1 (ko) * 2019-04-22 2020-12-03 한국과학기술원 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치
WO2020255414A1 (ja) * 2019-06-21 2020-12-24 日本電気株式会社 学習支援装置、学習支援方法、及びコンピュータ読み取り可能な記録媒体
US11950895B2 (en) * 2021-05-28 2024-04-09 Infineon Technologies Ag Radar sensor system for blood pressure sensing, and associated method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1748217A (zh) * 2002-12-18 2006-03-15 Ge医疗系统环球技术有限公司 增强计算机辅助医疗数据处理系统及方法
US20140377724A1 (en) * 2013-06-25 2014-12-25 Clemson University Device and Method for Detecting Eating Activities

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005009205A2 (en) * 2003-07-09 2005-02-03 Gensym Corporation System and method for self management of health using natural language interface
US8463618B2 (en) * 2007-09-18 2013-06-11 Humana Innovations Enterprises, Inc. Method for tailoring strategy messages from an expert system to enhance success with modifications to health behaviors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1748217A (zh) * 2002-12-18 2006-03-15 Ge医疗系统环球技术有限公司 增强计算机辅助医疗数据处理系统及方法
US20140377724A1 (en) * 2013-06-25 2014-12-25 Clemson University Device and Method for Detecting Eating Activities

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110236526A (zh) * 2019-06-28 2019-09-17 李秋 基于咀嚼吞咽动作及心电活动的摄食行为分析和检测方法
CN110236526B (zh) * 2019-06-28 2022-01-28 李秋 基于咀嚼吞咽动作及心电活动的摄食行为分析和检测方法
CN112016740A (zh) * 2020-08-18 2020-12-01 北京海益同展信息科技有限公司 数据处理方法和装置

Also Published As

Publication number Publication date
EP3391256A1 (en) 2018-10-24
WO2017105867A1 (en) 2017-06-22
US20170172493A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN108475295A (zh) 用于预测即将进食时刻的可穿戴系统
US11069443B2 (en) Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US11006896B2 (en) Food intake monitor
US11728024B2 (en) Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US10433052B2 (en) System and method for identifying speech prosody
JP6723952B2 (ja) 非一時的コンピュータ可読媒体、デバイス及び方法
Rahman et al. Predicting" about-to-eat" moments for just-in-time eating intervention
US8446275B2 (en) General health and wellness management method and apparatus for a wellness application using data from a data-capable band
CN108366732A (zh) 困倦起始检测
US20130141235A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with data-capable band
US20130004923A1 (en) Nutrition management method and apparatus for a wellness application using data from a data-capable band
US20140129007A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
Karar et al. A survey of IoT-based fall detection for aiding elderly care: sensors, methods, challenges and future trends
US20140129008A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140129239A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
AU2016200450A1 (en) General health and wellness management method and apparatus for a wellness application using data from a data-capable band
US20140129242A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140125493A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140125480A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140125481A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
Fan et al. Eating gestures detection by tracking finger motion
Ozkaynak et al. Emerging methods for patient ergonomics
Oo Daily human activity recognition using adaboost classifiers on wisdm dataset
Luštrek et al. Counting bites with a smart watch
Kyritsis Automatic and Objective Measurement of Eating Behavior using Wrist Mounted Inertial Sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180831

WD01 Invention patent application deemed withdrawn after publication