CN110432908A - 对婴儿的感知和活动分类 - Google Patents

对婴儿的感知和活动分类 Download PDF

Info

Publication number
CN110432908A
CN110432908A CN201910371922.6A CN201910371922A CN110432908A CN 110432908 A CN110432908 A CN 110432908A CN 201910371922 A CN201910371922 A CN 201910371922A CN 110432908 A CN110432908 A CN 110432908A
Authority
CN
China
Prior art keywords
activity
prediction model
baby
measurement result
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910371922.6A
Other languages
English (en)
Inventor
A.帕萨克
D.何
M.加德纳
B.阿里兹提
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Ltd
Procter and Gamble Co
Verily Life Sciences LLC
Original Assignee
Procter and Gamble Ltd
Verily Life Sciences LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Ltd, Verily Life Sciences LLC filed Critical Procter and Gamble Ltd
Publication of CN110432908A publication Critical patent/CN110432908A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04Babies, e.g. for SIDS detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance

Abstract

描述了使用运动传感器来检测婴儿活动的各种示例。在示例中,活动分类系统包括被配置为测量婴儿的活动的传感器和外部监视器。监视器从传感器接收包括针对每个时间段的惯性测量结果的时间序列的数据。监视器从时间序列和通过使用预测模型来确定来从已识别的活动的列表确定活动。已识别的活动的示例是深睡眠、浅睡眠、坐着、清醒、母乳进食或奶瓶进食。

Description

对婴儿的感知和活动分类
技术领域
本申请一般涉及电子地检测活动,但更具体地涉及对婴儿的感测和活动分类。在特定示例中,活动分类系统感测穿戴传感器的婴儿正在执行诸如坐起或睡觉的特定活动。
背景技术
婴儿的总体健康幸福是父母和其他照顾者最关心的问题。此外,对于新手父母来说,让新生儿适应睡眠和进食周期可能很困难,往往会造成压力。因此,确定和记录婴儿的活动,例如婴儿正在睡觉、坐起还是进食,都是有用的。
存在用于跟踪成人的活动的解决方案。例如,健身和睡眠追踪器能够跟踪诸如步数的锻炼、睡眠周期等。但是这些解决方案并不适于婴儿的独特要求。例如,成人健身追踪器不适合婴儿穿戴。
现有的婴儿监视解决方案也存在缺陷。例如,简单地将音频从婴儿的房间发送给父母的解决方案无法测量活动或睡眠。一些产品测量婴儿的血液氧合,如果婴儿的血氧水平低于某个阈值则提醒父母。但是这些解决方案需要将笨重的传感器附接到婴儿,这需要皮肤接触,并且可能被踢掉。基于相机的婴儿监视解决方案也存在,但是这样的基于相机的系统简单地指示婴儿的存在。一些基于相机的解决方案使用人工智能,但仍无法区分大运动和小运动。因此,这些解决方案缺乏确定婴儿活动的精确度,例如婴儿是处于浅睡眠还是深睡眠。
发明内容
描述了使用运动传感器来检测婴儿活动的各种示例。在示例中,活动分类系统包括被配置为测量婴儿的活动的传感器和监视器。加速度计或陀螺仪在时间段内检测三维的惯性测量结果(inertial measurement)的集合。监视器接收惯性测量结果的集合。监视器计算惯性测量结果的方差或惯性测量结果的均方根。监视器将惯性测量结果和惯性测量结果的方差或均方根提供给预测模型。监视器从预测模型接收基于测量结果从预定义的活动的集合确定的活动。监视器将确定的活动提供给输出设备。
在一个方面,统计数据包括(i)惯性测量结果的方差,或(ii)惯性测量结果的均方根。
在一个方面,预定义的活动包括(i)睡觉、(ii)清醒、(iii)朝下趴着、(iv)朝上躺着、(v)平静(settled)、或(vi)摇摆(stirring)中的一个或多个。
在一个方面,预定义的活动包括(i)清醒、(ii)睡觉、(iii)摇摆、或(iv)平静。
在一个方面,监视器进一步调整所确定的活动。例如,当确定的活动是平静时,监视器将所确定的活动改变为不同的状态。当确定的活动是摇摆时,监视器将确定的活动改变为睡觉。当确定的活动是(i)睡觉、(ii)低于时间阈值、以及(iii)在白天期间发生时,监视器将确定的活动改变为清醒。当确定的活动是(i)清醒、(ii)低于时间阈值、以及(iii)在夜晚期间发生时,监视器将确定的活动改变为睡觉。
在一个方面,预定义的活动包括(i)婴儿是否正在母乳进食、(ii)婴儿是否正在奶瓶进食、或(iii)婴儿在进食期间的朝向。监视器还从陀螺仪接收朝向或角速度测量结果。监视器为预测模型提供朝向或角速度测量结果。所确定的活动至少部分地基于角速度测量结果。
在一个方面,监视器接收训练数据,该训练数据包括指示在时间段内测量的惯性测量结果的时间序列数据。训练数据用训练标签注释,该训练标签指示活动中的针对每个时间段的相应活动。监视器还在基于预测与相应训练标签的比较的损失函数(lossfunction)的基础上迭代地调整预测模型。迭代地调整预测模型包括通过预测模型确定对与时间段相对应的数据是否对应于活动之一的预测,以及修改预测模型以使得在随后迭代(subsequent iteration)中损失函数的随后值(subsequent value)被减小。
在一个方面,监视器还从监视器设备接收包括时间序列数据的附加训练数据,该时间序列数据指示在附加的时间段内测量结果的惯性测量结果。能够用指示活动中的相应活动的训练标签来注释附加训练数据。监视器还基于附加训练数据和损失函数更新预测模型。更新包括通过预测模型确定对与时间段相对应的数据是否对应于活动中的一个的预测。更新还包括基于预测与训练标签的比较来减小损失函数的值。
在一方面,监视器还接收训练数据,该训练数据包括指示在时间段上测量的惯性测量结果的时间序列数据。训练数据用训练标签注释,该训练标签针对每个时间段指示婴儿是清醒还是睡觉。监视器还基于训练数据和损失函数训练预测模型。训练能够包括:通过预测模型确定对(i)清醒、(ii)睡觉,、(iii)摇摆、或(iv)平静的预测,并且基于预测与训练标签的比较来最小化损失函数。
在一方面,监视器还在存储器中存储针对时间段的集合的时间序列数据。监视器基于预测模型确定活动的集合。每个活动对应于时间段中的不同的一个。响应于确定预定时间阈值已经过去,监视器生成日志报告以及在用户界面上显示日志报告,该日志报告包括针对每个时间段的所确定的活动。
在另一方面,监视器通过无线收发器接收包括新的预测模型的软件更新。监视器利用新的预测模型进一步更新预测模型。
在一个方面,婴儿监视设备被配置为确定婴儿的活动。婴儿监视设备包括惯性测量传感器和处理器。处理器被配置为执行操作。操作包括从惯性测量传感器接收针对时间段的三维的惯性测量结果。操作包括计算从惯性测量结果导出的统计数据。操作包括将惯性测量结果和统计数据提供给预测模型。操作包括从预测模型和基于惯性测量结果接收婴儿的呼吸速率。操作包括向输出设备提供呼吸速率。
在一个方面,操作还包括从预测模型接收婴儿在进食期间消耗的液体的体积。
在一个方面,操作还包括从预测模型接收对(i)直到下一次进食的时间或(ii)预期在下一次进食时消耗的液体的体积的估计。
在一个方面,惯性测量传感器能够附接到吸收性物品(absorbent article)或从吸收性物品移除。
在一个方面,惯性测量传感器被配置为附接到吸收性物品而不是婴儿的身体。
在一个方面,婴儿监视系统包括监视装置。监视器设备包括第一无线收发器和第一处理器。第一处理器可配置为运行使得第一处理器执行操作的指令。操作包括从感测设备的第一无线收发器接收加速度测量结果。操作还包括将加速度测量结果提供给预测模型。操作还包括从预测模型并基于加速度测量结果接收来自预定义活动的确定的活动。操作还包括将确定的活动提供给输出设备。感测设备包括:加速度计,被配置为感测至少一个自由度中的加速度;第二无线收发器;以及第二处理器。第二处理器被配置为运行使得第二处理器从加速度计接收加速度测量结果并向第一无线收发器提供加速度测量结果的指令。
在一个方面,输出设备在监视器设备外部。此外,将确定的活动提供给输出设备包括通过数据网络连接将确定的活动发送到输出设备。
在一个方面,将加速度测量结果提供给预测模型包括通过网络将加速度测量结果发送到服务器设备。接收所确定的活动还包括通过网络从服务器设备接收所确定的活动。
在一个方面,第一处理器还可配置为执行指令,该指令在存储器中存储针对时间段的时间序列数据,基于预测模型确定活动,每个活动对应于时间段中的不同的一个;并且响应于确定预定时间阈值已经过去,生成包括活动和相应时间段的日志报告。
在一个方面,第一处理器还可配置为运行指令,该指令使得第一处理器通过数据网络将加速度测量结果发送到被配置为记录来自婴儿监视系统的测量结果的服务器设备。
在一个方面,预定义的活动包括(i)清醒、(ii)睡觉、(iii)摇摆、或(iv)平静。在一个方面,第一处理器还调整所确定的活动。例如,当所确定的活动是平静时,第一处理器将所确定的活动改变为不同的状态。当所确定的活动是摇摆时,第一处理器将所确定的活动改变为睡觉。当所确定的活动是(i)睡觉时、(ii)低于时间阈值,并且(iii)发生在白天期间时,第一处理器将所确定的活动改变为清醒。当所确定的活动是(i)清醒、(ii)低于时间阈值、以及(iii)在夜晚期间发生时,第一处理器将所确定的活动改变为睡眠。
在另一方面,婴儿监视系统包括附加传感器。第一处理器可配置为运行使得第一处理器执行操作的指令。操作包括从附加传感器接收(i)电导率变化、(ii)光学性质变化、(iii)电容变化、(iv)颜色变化、或(v)检测到的挥发性有机化合物的变化的附加测量结果。操作还包括经由第一无线收发器将附加测量结果发送到监视设备。传感设备可配置为运行指令,该指令使第二处理器经由第二无线收发器从第一无线收发器接收附加测量结果;从附加测量结果确定(i)尿液或(ii)排便的存在的指示;并向输出设备提供所述指示。
在一个方面,可穿戴设备包括处理器、光学传感器、和惯性传感器。光学传感器被配置为获得颜色测量结果并将颜色测量结果发送到处理器。惯性传感器被配置为检测惯性测量结果并向处理器提供惯性测量结果。处理器被配置为执行操作。操作包括从惯性测量传感器接收惯性测量结果。操作还包括将惯性测量结果提供给预测模型。操作还包括从预测模型接收基于惯性测量结果从预定义的活动中确定的活动。该操作还包括从颜色测量结果中确定吸收性物品中的湿度指示。操作还包括将确定的活动和湿度指示提供给输出设备。
在一个方面,可穿戴设备包括可操作以为处理器和惯性测量传感器供电的电池。
提及这些说明性实施例不是为了限制或限定本公开的范围,而是提供示例以帮助理解本公开。在具体实施方式中讨论了说明性示例,其提供了进一步的描述。通过检查本说明书,能够进一步理解各种示例提供的优点。
附图说明
当参考附图阅读以下详细描述时,将更好地理解本公开的特征、实施例和优点。
图1描绘了根据本公开的某些方面的活动分类系统的框图。
图2描绘了根据本公开的某些方面的来自加速度计的传感器输出的示例。
图3是根据本公开的某些方面的用于从运动传感器确定活动的示例性方法的流程图。
图4是根据本公开的某些方面的用于通过使用预测模型来从运动传感器确定活动的示例性方法的流程图。
图5描绘了根据本公开的某些方面的示出由预测模型基于从加速度计检测到的运动而确定的活动的图表。
图6描绘了根据本公开的某些方面的来自加速度计的用预测状态注释的传感器输出的示例。
图7描绘了根据本公开的某些方面的来自加速度计的指示睡眠和清醒的传感器输出的示例。
图8描绘了根据本公开的某些方面的指示检测到的婴儿呼吸速率的传感器输出的示例。
图9是根据本公开的某些方面的用于训练预测模型以从运动确定活动的示例性方法的流程图。
图10是根据本公开的各方面的用于确定活动水平的示例性状态机的状态图。
图11是根据本公开的某些方面的由平滑滤波器执行的示例性方法的流程图。
图12-图15是示出根据本公开的各方面的由平滑滤波器执行的示例性操作的示图。
图16和图17描绘了根据本公开的某些方面的用于查看婴儿的睡眠模式(pattern)的示例性用户界面。
图18-图20描绘了根据本公开的某些方面的用于查看婴儿的进食模式的示例性用户界面。
图21描绘了根据本公开的某些方面的被配置为确定传感器的穿戴者的活动的处理器的框图。
具体实施方式
本文描述的各方面提供了用于活动分类系统的解决方案,特别是被设计用于检测婴儿的运动并确定婴儿是否正在执行诸如睡眠、进食(feeding)、母乳进食(nursing)或坐起的特定活动的活动分类系统。
在示例中,活动分类系统包括运动传感器和外部监视器。传感器附接到婴儿服装或诸如尿布的吸收性物品上。能够包括加速度计或陀螺仪的传感器通过经由无线通信信道向监视器提供测量结果。监视器是能够从传感器接收测量结果并运行监视器应用和预测模型(诸如,机器学习模型、状态流模型或算法)以确定婴儿执行的活动的电子设备。在这个示例中,预测模型被训练以基于婴儿的运动确定婴儿正在执行的活动,诸如睡眠或坐起。然后,活动分类系统能够向监视器的操作者指示预测的婴儿的活动,例如婴儿处于深睡眠。
本公开的各方面提供优于现有解决方案的某些优点。例如,使用从加速度计或陀螺仪收集的精确运动,活动分类系统能够区分婴儿正在执行的活动。例如,活动分类系统能够被配置(诸如训练)以区分深睡眠和浅睡眠,婴儿是朝下趴着还是朝上躺着,或者婴儿是否在母乳进食。此外,本文描述的某些方面能够使用预测模型来进一步细化系统确定活动的能力。例如,分类系统能够区分浅睡眠和深睡眠或测量婴儿的呼吸速率。
图1描绘了根据本公开的某些方面的活动分类系统的框图。活动分类系统100包括测量婴儿的运动的组件,和分析测量结果以确定婴儿的活动的一个或多个处理器。运动能够通过惯性测量结果来确定,惯性测量结果包括加速度或角速度测量结果。一个或多个处理器使用活动函数或预测模型,诸如分类器,来确定婴儿的活动。
活动分类系统100包括一个或多个传感器101、经由无线网络130无线连接到传感器101的监视器110、活动分类服务器180或移动设备199。
在示例中,监视器110(也能够称为集线器(hub))能够足够小以放置在婴儿附近,诸如在桌子或梳妆台上。监视器110与传感器101无线地通信,并且可选地与其他传感器通信,所述其他传感器诸如挥发性有机化合物传感器、尿液湿度传感器、噪声传感器、光传感器、电导率传感器、光学传感器、电容传感器、颜色变化传感器等。监视器110能够聚合来自传感器101或其他传感器的数据。
监视器110能够可选地包括用户界面121,其中在用户界面121上能够显示警报、状态信息或其他信息。用户界面121能够包括按钮、拨号盘、旋钮、触摸屏等。监视器110能够通过数据网络150与移动设备199通信,并使移动设备199发出警告、警报或提供其他信息。
在一个方面,用户界面121还能够从用户接收反馈,该反馈能够帮助监视器应用113更好地确定婴儿何时正在睡觉。例如,监视器应用113能够询问用户婴儿是否正在睡觉,并且用户界面121能够从用户接收关于婴儿是否实际正在睡觉的指示。这样的信息能够作为训练数据合并到预测模型中,并能够帮助预测模型随着时间的推移变得更加准确。
在示例中,训练预测模型以基于婴儿的运动确定婴儿正在执行的活动,诸如睡眠或坐起。能够通过针对个体或个体的组收集的数据来训练预测模型。
例如,预测模型能够接收代表特定个体的训练数据。训练数据能够包括由传感器101确定的个体的运动和相关联的基础事实(由训练标签指定正确的活动)。因此,在从传感器101接收到新数据时,训练的预测模型预测活动。在另一个示例中,能够基于从个体的组收集的训练数据来训练预测模型,该个体的组不需要包括其活动将在稍后被预测的个体。因此,预测模型能够从特定个体或个体的组的记录的行为中学习,并使用学习的行为来预测该个体或其他个体的活动。
为了测量运动,传感器101被放置在或固定到诸如婴儿的人的身上。传感器101包括一个或多个传感器设备,诸如加速度计102或陀螺仪103。传感器101还包括无线收发器104和处理器105。传感器101收集运动的测量结果并将测量结果发送到外部设备,诸如监视器110。基于测量结果,监视器110能够确定婴儿正在执行的活动,并且能够采取行动,诸如通知操作者婴儿正在执行什么活动。
确保传感器101能够以不同的方式实现。例如,传感器101能够附接到尿布或衣物上。或者,传感器101能够钉在或粘附到衣服或吸收性物品或尿布上,或以任何其他方式固定到婴儿上。传感器101能够被附接、移除和重新附接,从而导致传感器可重复使用。传感器101不需要接触婴儿的皮肤。传感器101能够插入袋中并根据需要移除。传感器101能够放在婴儿身体上的任何位置。但如进一步讨论的,将传感器101放置在婴儿腰部附近允许某些优点,诸如确定呼吸速率的能力。
为了确定运动,处理器105从诸如加速度计102和陀螺仪103的一个或多个传感器接收测量结果。处理器105将测量结果转换成适合于通过无线网络130传输的形式,诸如通过将测量结果编码成网络分组(packet)。处理器105将测量结果提供给无线收发器104,其中无线收发器104将测量结果发送到诸如监视器110的外部设备。
加速度计102在一个或多个维度上测量婴儿的加速度。例如,加速度计102能够是测量x、y和z方向上的加速度的三维加速度计。在这种情况下,加速度计102提供对应于x、y和z方向的三重数值。
陀螺仪103测量角速度。陀螺仪103能够输出与婴儿的角速度成比例的信号。角速度在施加到陀螺仪的扭矩方向上变化。因此,当穿戴传感器101的婴儿翻身时,陀螺仪103检测到角速度的增加。当婴儿停止翻滚时,角速度返回到零。
角速度的方向分量能够以各种方式使用。例如,速度的方向能够帮助指示婴儿被放置在哪一侧,例如左还是右,朝下还是朝上。处理器105能够在特定时刻对陀螺仪103进行采样并且周期性地获得角速度。
来自加速度计102或陀螺仪103的输出能够被活动函数或预测模型使用,以提供婴儿的活动、呼吸速率、或诸如婴儿正在哪一侧母乳进食或奶瓶进食的朝向的指示。
处理器105周期性地对加速度计102和/或陀螺仪103进行采样以根据需要获得测量结果。处理器105将采样的测量结果提供给无线收发器104,以便传输到外部设备。处理器105能够以不同的速率对加速度计102或陀螺仪103进行采样。例如,处理器105能够使用自适应采样率。例如,当基于来自加速度计102和陀螺仪103的测量结果的检测到的运动水平低于阈值时,处理器105能够更不频繁地采样。
采样率的降低能够通过禁用诸如无线收发器104的设备或进入并保持在低功率状态来帮助降低功耗。处理器105还能够在向无线收发器104提供测量结果之前对测量结果执行附加处理或分析。例如,当测量结果指示活动阈值水平时,处理器105可以仅经由无线收发器104向外部设备提供测量结果。以这种方式,处理器105能够通过不使无线收发器104发送数据来节省电力。相反,当测量结果指示高于第二阈值的活动时,处理器105能够更频繁地对加速度计102和陀螺仪103进行采样。以这种方式,处理器105能够在活动突发期间获得更详细的测量结果。
处理器105使用无线收发器104将测量结果发送到诸如监视器110的外部设备。在一些示例中,处理器105能够将测量结果发送到外部设备,诸如监视器110,因为它们是从加速度计102和陀螺仪103接收的,或者在一些示例中,处理器105能够缓冲测量结果并且一次将一组测量结果发送到监视器110。
无线收发器104被配置为传送和接收无线电通信以使能在传感器101与一个或多个外部设备(诸如监视器110)之间的通信。无线收发器104能够使用诸如蓝牙或者WiFi的任何合适的无线协议来提供无线通信,以将数据或其他信息(诸如来自加速度计102的加速度测量结果或角速度的测量结果)发送到监视器110。在一些示例中,无线收发器104还能够发送其他信息,诸如指示传感器101可操作、处于待机模式还是被停用的状态消息。在一方面,无线收发器104能够从外部设备接收无线电传输。例如,无线收发器能够从监视器110接收信息和命令。例如,监视器110能够向无线收发器104发送使传感器101开启、进入低功率状态或关闭的消息。
在这个示例中,监视器110包括输出设备111、处理器112、监视器应用113、无线收发器114和预测模型120。监视器110与传感器101一起并且可选地与活动分类服务器180一起操作以确定婴儿正在执行的活动。为此,监视器110从传感器101接收传感器测量结果,诸如加速度和角速度,并结合预测模型120使用监视器应用113,以基于所接收的传感器测量结果确定活动。在这个示例中,预测模型120是状态机或算法,但是在不同示例中可以是任何合适类型的预测模型,诸如机器学习模型或分类模型。
无线收发器114能够经由诸如蓝牙、WiFi或任何其他无线协议的无线协议传送和接收消息。在这个示例中为了启用无线通信,无线收发器114能够与诸如传感器101的传感器设备配对。无线收发器114从无线收发器104接收从加速度计102或陀螺仪103获得的传感器数据。
监视器110使用测量结果来确定婴儿正在执行的活动。例如,监视器110能够将测量结果应用于预测模型120,其中所述预测模型120能够确定穿戴传感器101的婴儿是在左手侧进食、在右手侧进食、睡觉、清醒并朝上躺着玩耍,被抱着、坐着、还是执行一些其他的活动。
基于所确定的活动,监视器110能够采取行动。例如,监视器110能够向操作者显示消息或发出警报,或者监视器110能够使用输出设备111向监视器110的操作者对活动进行警告,诸如穿戴传感器101的婴儿是清醒还是睡着了。输出设备111能够是诸如LCD或LED显示器的显示器、触摸屏显示器、灯、闪光灯、扬声器或其他输出设备。
在一个方面,预测模型120能够确定婴儿的呼吸速率。例如,如果传感器101放置在婴儿的腰部或腹部上,则婴儿的呼吸将使传感器在一个方向上来回移动,使得传感器输出指示运动的一个或多个传感器信号。监视器应用113能够根据活动的测量结果来确定婴儿的呼吸频率。监视器应用113还能够使用活动水平来区分小的跌倒和大的跌倒(诸如,需要干预的跌倒)。类似地,监视器应用113能够确定婴儿的心脏何时跳动并由此确定婴儿的心率。心率和呼吸速率能够用于帮助确定婴儿何时处于不同的睡眠阶段,诸如浅睡眠、深睡眠、即将清醒等。心率或静息心率与活动心率之间的差异还能够指示婴儿的健康,诸如婴儿是否发烧。
在另一方面,预测模型120能够从过去活动确定未来活动。例如,预测模型120能够被训练以识别趋势,诸如时间序列的传感器值,其指示一个时间段的深睡眠,之后运动水平增加。时间序列的加速度数据中的这种趋势能够指示婴儿正在醒来。关于图2示出了一些示例。
在一个方面,监视器110能够使用无线收发器114经由数据网络150连接到活动分类服务器180。数据网络150能够是本地网络、因特网或两者。例如,无线收发器114能够无线地连接到活动分类服务器180或移动设备199。
活动分类服务器180能够被配置为执行附加分析,诸如多个婴儿的运动的群体水平分析、或一个或多个预测模型的训练以及向监视器110提供预测模型。
活动分类服务器180包括预测模型190、处理器192和网络适配器194。从监视器110到活动分类服务器180的网络连接提供了若干优点。例如,经由数据网络150,监视器110能够从供应商接收软件更新或者向供应商发送状态信息。软件更新能够包括对预测模型120的更新。
预测模型190能够是机器学习模型,诸如决策树分类器或回归模型。预测模型190能够被训练以执行与预测模型120类似的功能。例如,预测模型120能够被训练以确定传感器的穿戴者是在左手侧进食、在右手侧进食、在睡觉、清醒并朝上躺着、正被抱着还是正在坐着。特别地,陀螺仪103检测到的运动对于预测进食是有用的。
对预测模型的更新是可能的。例如,预测模型190还能够更新预测模型120。例如,如本文进一步解释的,能够使用来自多个监视器110a-n的数据来训练预测模型190。以这种方式,预测模型190能够变得更加准确,因为它已经在比仅从一个监视器可获得的更大的数据集合上被训练。利用预测模型190的训练来更新预测模型120为每个监视器110a-n提供了受益于基于群体的训练的能力。
网络适配器194连接到数据网络,诸如数据网络150。以这种方式,网络适配器194能够经由无线收发器114与监视器110通信。因此网络适配器194能够接收更新,诸如从监视器110收集的新训练数据。网络适配器194还能够向监视器110提供更新的软件或训练的预测模型。
处理器192是通过数据网络150从网络适配器194接收数据的处理器。处理器能够是诸如图20中描述的处理器2102的处理器。处理器192能够执行与处理器112类似的操作。例如,处理器192能够运行诸如监视器应用113的应用。这样的应用能够训练诸如预测模型190的预测模型,通过数据网络150接收测量结果数据,并使用预测模型190来确定婴儿的活动。
移动设备199能够是智能电话、平板计算机、膝上型计算机或其他设备。移动设备199能够包括输出数据的图形用户界面,所述数据诸如婴儿已经睡了多久、预测的母乳进食时间等,如图10-图14中进一步描绘的。移动设备199能够向操作者传送警报,诸如婴儿被唤醒、入睡、哭泣等的指示。移动设备199能够通过数据网络150与监视器110或活动分类服务器180通信。移动设备199能够包括执行处理器105、112或192着手的处理的一些或全部。
传感器101、监视器110和活动分类服务器180彼此结合操作以确定婴儿的活动。测量结果数据的处理和婴儿活动的确定能够在传感器101上,例如经由处理器105、在监视器110上,例如,经由处理器112或在活动分类服务器180上,例如,经由处理器192,执行。
例如,处理器105能够接收诸如加速度和角速度的测量结果,并且传感器101能够将未修改的测量结果数据跨无线网络130提供给监视器110。反过来,处理器112经由无线收发器114从传感器101接收测量结果。处理器112,例如经由监视器应用113,使用活动函数来确定婴儿的活动。
或者,处理器105能够从加速度和角速度测量结果导出活动函数。处理器105向无线收发器104提供活动函数。处理器112接收活动测量函数数据并对婴儿的活动进行预测。
在另一方面,监视器110还能够经由数据网络150将来自传感器101的测量结果提供给能够确定婴儿的活动的活动分类服务器180。活动分类服务器180能够提供额外的处理资源,以得到对婴儿的活动的更准确的预测,或者活动分类服务器180能够基于所接收的测量结果和/或基于基础事实而注释的附加训练数据(例如,诸如睡觉或清醒的实际活动的指示)来更新其预测模型190。
在一个方面,活动分类服务器180连接到多个活动监视器110并聚合测量结果数据或确定多个婴儿的活动。活动分类服务器180能够分析数据以得到趋势。使用多个数据集合能够更容易地辨别难以识别的趋势。例如,结合诸如被测量的婴儿的年龄的人口统计信息,活动分类服务器180能够确定特定年龄的婴儿接收的平均睡眠量。
活动分类服务器180还能够聚合来自多个婴儿的训练数据并且改进预测模型190的训练。能够将预测模型190部署到每个监视器110的预测模型120中。
图2描绘了根据本公开的某些方面的来自加速度计的传感器输出的示例。图2包括图表200,其包括波形202、203和204。波形202表示传感器101的x维度中的活动的测量结果,波形203表示传感器101的y维度中的活动的测量结果,并且波形204表示传感器101的z维度中的活动的测量结果。图表200包括指示加速度(g)的垂直轴、以及指示时间(小时)的水平轴。
如在图表200中能够看到的,存在显示为更高值的活动突发,诸如突发210,其与传感器101检测到的运动相关。当婴儿以使得一个或多个传感器输出指示例如加速度的传感器信号的某种方式运动时,可能发生活动突发。例如,当婴儿翻身时,检测到活动突发,因为一个或多个加速度计输出指示大于远离零加速度的阈值的加速度或者在翻滚方向上(在图2中未示出)的大于远离零角速度的阈值的角速度的传感器信号。类似地,当婴儿休息时,婴儿的呼吸能够表现为呼吸速率下的活动突发。相反,在没有活动突发的时期期间,婴儿要么不运动要么运动很少。如进一步说明的,监视器应用113能够使用活动函数或预测模型120来区分运动。
图3是根据本公开的某些方面的用于从运动传感器确定活动的示例性方法的流程图。出于示例目的,关于监视器应用113示出了方法300。但是方法300能够由在诸如活动分类服务器180的远程设备的诸如处理器192的处理器上运行的软件来执行。
在框301处,监视器应用113从运动传感器接收包括针对时间段的集合中的每一个时间段的惯性测量结果的一个时间序列的数据。惯性测量结果能够包括加速度或角速度。例如,加速度计102向处理器105提供对应于x、y和z方向的三元组的数值,所述处理器105向无线收发器104提供所述三元组。处理器105周期性地对加速度计102进行采样以创建一个时间序列的数据。处理器105用时间戳注释每个三元组,创建包括传感器测量结果和时间戳的对。处理器105还能够周期性地对陀螺仪103进行采样。结合来自加速度计102的测量结果数据,处理器105能够向监视器110提供数据的集合。所述数据的集合能够包括陀螺仪测量结果(例如,角速度)、加速度计测量结果(例如,x-y-z值的三元组)、和时间戳。
在一方面,活动分类系统100实时分析测量结果数据。例如,处理器105能够使无线收发器104实时地将每个采样的三元组和时间戳的对分开发送到监视器110。以这种方式,监视器应用113能够实时更新活动测量函数或预测模型120。
或者,活动分类系统100能够一次分析样本块。例如,处理器105能够缓冲所述对,直到已经接收到阈值数量的对,然后将由收集到的所有的对组成的一批发送到监视器110。处理器105还能够缓冲所述对,直到经过阈值时间量,然后将所述对提供给监视器110。通过这种方式,处理器105能够分析不同时间窗口上的运动。
能够使用其他类型的运动传感器,诸如振动传感器、超声波传感器或无源红外传感器。这样的传感器能够具有单个或多个维度。处理器105能够对这样的传感器进行采样,并创建包含传感器值和时间戳的数据的集合以发送到监视器110。
在框302处,监视器应用113从时间序列的数据的子集,根据从惯性测量结果导出的统计数据计算活动函数。统计数据可包括诸如(i)惯性测量结果的统计方差或(ii)惯性测量结果的均方根的数据。监视器应用113使用活动测量函数以确定活动水平。能够导出不同的活动测量结果。例如,监视器应用113能够计算信号的统计方差、标准偏差或均方根(root mean square,RMS)。监视器应用113能够基于加速度计或陀螺仪数据使用另一个定制的度量。例如,能够使用以下函数针对给定数量n个样本计算量化活动水平A的定制度量,其中Sx、Sy和Sz是x、y和z维中各个均值的平方差的总和:
在框303处,监视器应用113基于来自活动函数的大于第一阈值且小于第二阈值的度量来确定由时间序列数据的子集指示的活动。监视器应用113能够基于具有一定范围的值的活动水平来确定诸如睡眠或清醒的活动。例如,如果活动函数测量出低于第一阈值但高于零的活动水平,则监视器应用113确定婴儿处于浅睡眠。如果活动函数测量出运动水平低于更低的第二阈值,则监视器应用确定婴儿处于深睡眠。如关于图10进一步讨论的,监视器应用113能够使用状态机来确定活动状态。
在框304处,监视器应用113将活动提供给用户界面。例如,监视器应用113能够,例如,通过向输出设备111提供静音警报以向照顾者指示婴儿在睡觉,来输出诸如“深睡眠”或“浅睡眠”的活动。监视器应用113还能够将活动和时间戳记录在存储器中,并将记录的信息提供给活动分类服务器180。
监视器应用113还能够输出从婴儿的活动导出的信息。例如,输出设备111能够向操作者提供诸如“婴儿已经睡了两个小时”的指示。监视器应用113还能够,例如,当婴儿在睡了预定时间量之后清醒时,引发诸如来自输出设备111的警报的声音。监视器应用113还能够将信息发送到远程设备,诸如活动分类服务器180。以这种方式,活动分类系统100对于例如在医院或日托中的多个婴儿的照顾者可以有用的。
如所讨论的,在一个方面,除了算法或状态机之外或代替算法或状态机,活动分类系统100能够使用诸如预测模型120或预测模型190的预测模型来确定婴儿的活动。监视器应用113将加速度计测量结果、陀螺仪测量结果或活动测量函数的输出提供给预测模型120或两者。
本文讨论的预测模型能够是机器学习模型,诸如决策树分类器或回归模型。其他模型也是可能的。预测模型120被训练以确定传感器的穿戴者是在左手侧进食、在右手侧进食、在睡觉、清醒并朝上躺着玩耍、被抱着还是坐着。其他可检测的活动能够包括坐着、玩耍、爬行、走路等。监视器应用113将一个或多个时间段的数据提供给预测模型120。以这种方式,因此预测模型120可以基于当前或过去的活动水平来确定活动。
能够例如经由数据网络150更新或升级预测模型120。如本文进一步讨论的,还能够在监视器110上本地训练预测模型120。例如,诸如父母的操作者能够指示监视器110在特定时间段期间传感器的穿戴者在睡觉或清醒。然后,监视器应用113能够基于所提供的附加信息更新预测模型120。以这种方式,预测模型120能够针对个体或婴儿进行个性化。潜在的好处包括相对于使用其他个体的数据更高的准确度。
图4是根据本公开的某些方面的用于通过使用预测模型来从运动传感器确定活动的示例性方法的流程图。出于示例目的,关于监视器应用113和预测模型120示出了方法400。但是,活动分类服务器180和预测模型190也能够执行方法400。
在方法400的框401处,监视器应用113从惯性测量传感器接收对时间段的测量结果。在框401处,监视器应用113通常如关于框301所描述的那样接收惯性测量结果。能够在一个或多个维度上获得测量结果。
在方法400的框402处,监视器应用113根据惯性测量结果计算活动函数或统计数据。活动函数的示例包括(i)惯性测量结果的统计方差和(ii)惯性测量结果的均方根。在框402处,监视器应用使用通常如关于框302所描述的活动测量函数。
在方法400的框403处,监视器应用113将惯性测量结果和/或统计数据提供给预测模型。更具体地,监视器应用113向预测模型120提供传感器测量结果和/或活动函数的输出。能够例如通过使用关于图9描述的过程来训练预测模型。当被训练时,预测模型能够基于所述训练和惯性测量结果或统计数据,识别活动列表中的活动。
预测模型120被训练以从指示运动的测量结果来确定活动。预测模型120基于其训练从预定义的类的集合确定活动属于哪个类。活动类的示例性列表包括在左侧进食、在右侧进食、睡觉、清醒但朝上躺着玩耍、被抱着、和坐着。
其他训练类是可能的。例如,能够训练预测模型120以区分深睡眠和浅睡眠,以及将诸如爬行、翻滚、坐起、进食或母乳进食之类的活动彼此区分。例如,监视器110能够包括被训练以区分睡觉、清醒、摇摆或平静状态的预测模型,以及被训练以区分浅睡眠和深睡眠的另一预测模型。关于图9进一步讨论训练。摇摆表示婴儿运动超过第一阈值量的状态并且平静表示婴儿已经冷静且运动小于第二阈值量的状态。
在方法400的框404处,监视器应用113从预测模型接收基于惯性测量结果确定的活动。确定的活动能够来自预定义活动的列表。
例如,预测模型120向监视器应用113提供来自训练的类别之一的预测,诸如在左手侧进食、在右手侧进食、睡觉、清醒并朝上躺着玩耍、被抱着,或坐着。由预测模型确定的活动的图示如图5所示。
图5描绘了根据本公开的某些方面的图表500,其示出了由预测模型基于从加速度计和陀螺仪检测到的运动确定的活动。图表500包括波形501、清醒状态510、进食状态511和睡觉状态512。图表500指示基于图2的图表200中所示的传感器信息确定的活动。
波形501表示诸如预测模型120的预测模型随时间推移的输出。在图表500描绘的方面中,训练预测模型120以确定三个活动之一:清醒、进食或睡觉。图表500包括与清醒相对应的清醒状态510、与进食或母乳进食相对应的进食状态511、和与睡觉相对应的睡觉状态512。因此,在给定的时间点,由波形501表示的输出处于状态510-512之一。
在图表500中,时间单位是小时。因此,能够看出,预测模型120已经预测婴儿已经睡了几个小时到七个小时或更长时间的各种时间段。由进食状态511指示的点表示进食,其表示由预测模型测量的20-30分钟的典型进食时间。
状态510-512还能够表示提供给预测模型120的注释的训练信息。例如,指示婴儿活动的数据能够经由监视器110或另一设备获得,并且提供有预测状态和用户输入提示。例如,监视器110能够提示诸如照顾者的操作者诸如“监视器已经确定婴儿在睡觉。对或错?”的提示。
返回到图4,在方法400的框405处,在方法400的框405处,监视器应用113将所确定的活动提供给输出设备,例如外部设备或用户界面。在框405处,监视器应用113通常如关于框304所描述的那样输出活动。
如所讨论的,在使用之前训练诸如预测模型120或预测模型190的预测模型。能够用监督或无监督学习来训练预测模型120。利用监督学习,预测模型被提供注释或标记的训练数据,其指示婴儿的实际活动,诸如婴儿是在睡觉、清醒还是进食。将训练数据提供给预测模型,该预测模型创建损失函数并将损失函数与实际的、注释的或标记的值进行比较。
在一个方面,能够由监视器应用113的操作者在本地执行附加训练。例如,训练数据能够在运行时由诸如照顾者的设备来增强。例如,监视器110能够提示操作者“活动监视器认为您的宝宝正在睡觉,这是正确的吗?”以这种方式,预测模型120能够随时间不断更新和改进。预测模型120能够针对一个特定婴儿的倾向而特别定制。例如,一个婴儿可能比另一个婴儿睡得更浅,导致对一个婴儿的预测需要调整以用在第二个婴儿上。
图6描绘了根据本公开的某些方面的用预测状态注释的来自加速度计的传感器输出的示例。图6包括图表601。图表601示出了附接到婴儿主体的传感器在x、y和z轴上的加速度计输出。图表601用标识的或预测的活动状态602、603、604和605注释。活动状态602表示婴儿正在进食的状态。能够看出,与诸如表示婴儿正朝上躺着并与婴儿健身房玩耍的时间的604的其他状态相比,由加速度计检测到的运动相对较小。活动状态603表示更换尿布。能够看出,状态605显示聊胜于无的运动,描绘婴儿正在睡觉的时候。能够训练本文描述的方面以预测活动状态,诸如602-605描绘的活动状态,以及诸如朝下趴着、侧躺的其他活动状态。
图7描绘了根据本公开的某些方面的来自加速度计的指示睡眠和清醒的传感器输出的示例。图7包括图表701,其描绘了活动状态702和703。活动状态702指示表示婴儿主体在慢慢清醒并积累到最终哭泣的过程中的数据。活动状态703表示婴儿清醒。能够训练本文描述的各方面以区分活动状态702和703。
图8描绘了根据本公开的某些方面的指示检测到的婴儿呼吸速率的传感器输出的示例。当婴儿主体在睡觉时,加速度计能够检测基于频率变化的一个或多个方向上的小运动并将那些运动识别为呼吸。图8包括图表801和802。图表801描绘了与呼吸速率相关的波形。图表802描绘了从图表801中的波形导出但是由(例如,允许0.1-1Hz频率通过的)带通滤波器滤波的波形。能够看出,波形803易于辨别。波形803示出了大约每分钟28次呼吸的呼吸频率。
图9是根据本公开的某些方面的用于训练预测模型以从婴儿的运动确定活动的示例性方法的流程图。预测模型120能够由在监视器110上运行的监视器应用113或诸如图21中所描绘的计算系统2100的计算系统来训练。类似地,诸如活动分类服务器180的外部设备能够使用方法900训练预测模型190。
在框901处,监视器应用113接收包括指示在时间段的集合上测量的惯性测量结果的时间序列数据的训练数据,该训练数据用训练标签注释,该训练标签指示针对每个时间段的相应的活动。在某些情况下,训练数据标签由照顾者提供。例如,照顾者能够指示婴儿在特定时间正在做什么,并且监视器应用113能够将该指示与加速度计或陀螺仪数据组合以提供训练数据以训练预测模型之一。
例如,训练数据由训练数据的多个实例组成。每个实例都包括运动的测量结果。运动的测量结果包括加速度,例如x-y-z三元组,或来自陀螺仪的角速度的测量结果。因此,每个实例代表运动时的快照。
训练数据用对应于真实的测量的活动的标签来注释,诸如婴儿是在睡觉还是清醒。例如,训练数据的每个实例用标签注释,该标签指示婴儿的实际确定的活动,具体地,婴儿在对应于训练数据的实例的时间(例如,在进行测量时)执行的活动。
在一方面,训练数据能够包括表示时间段的实例。例如,实例能够表示一秒的时段。因此,该实例能够包括具有一个相关联的活动注释的运动数据的多个样本。
在框902处,监视器应用113将注释的训练数据提供给预测模型。监视器应用113一次向预测模型120提供训练数据的一个实例。
在框903处,监视器应用113通过由预测模型确定对与时间段相对应的数据是否对应于活动中的一个的预测,在基于预测与训练标签的比较的损失函数的基础上迭代地调整预测模型。
具体地,预测模型120输出来自预定义的活动的集合的活动。例如,活动的集合能够是在左侧进食、在右侧进食、睡觉、清醒但朝上躺着玩耍、被抱着和坐着。损失函数是预测活动(例如,由预测模型确定的对应于时间序列数据的那个活动)与由训练标签指示的活动的比较。预测的活动能够用数字表示或以其他方式表示。
在框904处,监视器应用113基于从预测模型所确定的活动与标记的活动的比较来减小损失函数的值。损失函数计算所确定的活动与标记的活动(例如,作为训练数据的主体的婴儿在那时实际执行的活动)之间的差异。预测模型120尝试在每次迭代时最小化损失函数并相应地调整其内部参数。
监视器应用113重复步骤902-904以及随后的训练数据的实例。预测模型通过每次迭代继续更新并减小损失函数的值。
在足够量的训练数据之后,预测模型学习区分睡觉和不睡觉。例如,在足够数量的深睡眠和浅睡眠的示例之后,预测模型能够学习区分深睡眠和浅睡眠。其他训练实例包括区分婴儿朝上躺着的时候和朝下趴着的时候,以及婴儿是否正在母乳进食,如果是,则区分婴儿在哪个乳房进食母乳。婴儿的朝向对于区分母乳进食、奶瓶进食和食用固体食物是有用的。例如,某些朝向(诸如完全垂直或完全水平)的相比于其他方向而言不太可能。
在框905处,监视器应用113利用与训练数据分开的测试数据的集合来测试训练模型,并测量预测的准确度水平。测试数据与用于训练目的的如关于方框901-904所描述的训练数据分开。直到测试时,测试数据才被提供给预测模型120。以这种方式,测试数据对于预测模型120是新的,因此不能影响模型的预测。因此,测试数据能够用于严格测试训练是否有效。如果预测模型在阈值数量的测试中失败了,则进一步训练模型。
在一个方面,活动分类系统100能够与能够测量尿布中的尿液、温度、湿度、婴儿的排便或其他数据的系统集成。例如,集成的传感器能够包括传感器101,例如加速度计102和陀螺仪103,以及诸如温度、湿度等的附加传感器。传感器101,特别是处理器105,能够将诸如温度测量结果和湿度测量结果的附加测量结果发送到监视器110。依次地,然后,监视器应用113能够确定何时需要更换婴儿的尿布并且例如经由输出设备提供警报。在另一方面,监视器110能够接收从测量彩条的颜色的传感器发送的数据。监视器110能够通过彩条的颜色检测婴儿尿布中存在的尿量。监视器110能够经由输出设备111向照顾者输出警报。
在一些情况下,活动监视器110能够使用状态机来确定婴儿的活动状态。示例性状态机在图10中示出。状态机能够由监视器110、活动分类服务器180、移动设备199或另一设备实现。预测的状态能够被周期性地输出给照顾者。
图10是根据本公开的各方面的用于确定活动水平的示例性状态机的状态图。图10描绘了状态机1000,其包括各种状态和状态之间的转换。
更具体地,状态机1000包括四个状态:摇摆1010、清醒1011、睡觉1012和平静1013。其他状态是可能的。状态机1010还包括状态之间的转换的示例。例如,转换1020是摇摆1010和清醒1011之间的转换。转换1021是摇摆1010和睡觉1012之间的转换。转换1022是清醒1011和睡觉1012之间的转换。转换1023是清醒1011和平静1013之间的转换。最后,转换1024是睡觉1012和平静1013之间的转换。
能够通过婴儿活动的检测来触发转换1020-1024,例如通过使用方法300或400。
在一些情况下,来自加速度计或陀螺仪的测量结果能够导致状态的短暂转换。一个例子是当婴儿在睡觉但在睡觉期间短时间(例如五分钟)摇摆时。这样的短的时段可能被错误地标记为清醒,导致照顾者对监视器感到担忧或沮丧。在另一个例子中,“睡觉”状态之前是一定量的平静时间,这实际上是婴儿正在入睡,例如冷静下来。此外,在白天,少量活动的时间段可能被错误地测量为睡觉。
在某些情况下,活动监视器的用户可能不期望或不知道如何对这样的活动状态检测进行操作。因此,在某些情况下,活动监视器能够使用平滑滤波器来消除短暂或看似古怪的转换。平滑滤波器帮助减少由后来被另一个转换取代的转换引起的混淆。例如,如果活动监视器确定婴儿在睡觉、随后在短时间段内摇摆并且继续睡觉,则婴儿不在醒来的过程中。相反,活动监视器不应报告摇摆时段。
图11中描绘了一个这样的平滑滤波器的示例,并且关于图12-图15进一步描述了该平滑滤波器的示例。
图11是根据本公开的某些方面的由平滑滤波器执行的示例性方法1100的流程图。出于讨论目的,参考图12-图15来说明图11。
图12-图15是示出根据本公开的各方面的由平滑滤波器执行的示例性操作的示图。
在框1101,平滑滤波器将指定为“平静”的所有活动片段改变为后续状态。图12描绘了图表1210和1250,每个图表描绘了随时间推移的状态(“清醒”、“摇摆”、“平静”、和“睡觉”)。更具体地,图表1210描绘了预测1211,其表示在框1101处的活动监视器的输出。输出1251表示在框1101完成之后的输出。
能够看出,图表1210包括区域1212、1213和1214,其指示到平静状态的转换。如区域1252中所描绘的,预测状态从平静转换为睡觉的时段被重新分类为睡觉。如在区域1252之后的输出1251中所描绘的,在区域1213和1214中识别的从平静到清醒的转换被转变为清醒。
在框1102处,平滑滤波器将指定为“摇摆”的所有活动片段改变为“睡觉”。图13描绘了图表1310和1350,每个图表描绘了随时间推移的状态。更具体地,图表1310描绘了预测1311,其表示在框1102处对平滑滤波器的输入。图表1351表示在框1101完成之后的输出。
能够看出,区域1312、1313和1314,每个区域表示在“睡觉”的时段之前和之后状态为“摇摆”的短暂时间。区域1312-1314被平滑滤波器移除或“消除”。能够看出,图表1351描绘了恒定的“睡觉”状态。
在框1103,平滑滤波器将(i)被指定为“睡觉”、并且(ii)低于长度阈值、并且(iii)在白天期间的所有片段改变为“清醒”。图14描绘了图表1410和1450,每个图表描绘了随时间推移的状态。更具体地,图表1410描绘了预测1411,其表示在框1103处对平滑滤波器的输入。图表1451表示在框1103完成之后的输出。
能够看出,区域1412-1414是预测状态从清醒改变为睡觉改变为清醒的区域,仅在短时间段内保持在睡觉状态。这样的活动时段可能被错误地识别为睡觉,因为它们太短而不能真正入睡。因此,平滑滤波器将这些状态改变为清醒,得到图表1451。长度(或时间)阈值的示例包括10分钟、20分钟或30分钟。
在框1104,平滑滤波器将(i)被指定为“清醒”、并且(ii)低于长度阈值、并且(iii)在夜间的所有片段改变为“睡觉”。图15描绘了图表1510和1550,每个图表描绘了随时间推移的状态。更具体地,图表1510描绘了预测1511,其表示在框1104处对平滑滤波器的输入。图表1551表示在框1104完成之后的输出。图表1551中描绘的输出能够被输出到用户界面。
能够看出,区域1512-1515表示在“睡觉”区域内被预测为“清醒”的区域。鉴于婴儿已经睡了相对较长的时间段并且之后继续睡觉,这样的活动时段可能被错误地识别为清醒,因为它们太短而不能真正清醒。因此,平滑滤波器将这些状态改变为睡觉,得到图表1551。
替代地或另外地,监视器应用113能够以图形格式或在日历显示器上显示婴儿的历史睡眠信息,以使照顾者能够进行观看睡觉趋势或日常。
图16和图17描绘了根据本公开的某些方面的用于查看婴儿的睡眠模式的示例性用户界面。图16包括用户界面1600和图表1601。用户界面1600包括睡觉日常显示,其针对一周中的多天和一天中的每个时间段指示婴儿主体被预测为睡觉还是清醒。包括用户界面1700的图17在图表1701中示出了婴儿每天的总睡眠。图表1701能够按每周、每月或终生(lifetime)来滤波。
监视器应用113还能够输出从婴儿的活动导出的进食信息。例如,输出设备111能够提供关于何时发生最后一次进食、进食事件持续多长时间、以及母乳进食事件发生在左乳房还是右乳房上的信息。监视器应用113还可以使照顾者能够输入来自奶瓶进食事件的信息。监视器应用113能够以图形格式或在日历显示器上显示婴儿的历史进食信息,以使照顾者能够观看进食趋势或日常。
图18描绘了根据本公开的某些方面的用于查看婴儿的进食模式的示例性用户界面。图18包括用户界面1800,睡觉或进食键1801、和图表1802。与进食键1801一起读取图表1802示出了多天的每天的时间段,婴儿主体在睡觉、进食还是都不是。
图19包括用户界面1900,其描绘了图表1901以及文本信息1902。用户界面1900允许按周、按月或按终生进行滤波。图表1901显示了每天进食或母乳进食所用的小时。文本信息1902向操作者提供特定反馈,诸如平均值。
图20包括用户界面2000,其描绘了文本信息框2001和最近信息2002。文本信息框2001向设备的操作者提供详细信息,诸如当天的进食次数、当天母乳进食的总时间、和观察。最近信息2002显示了最后一次进食的时间和持续时间。
图21描绘了根据本公开的某些方面的被配置为确定传感器的穿戴者的活动的处理器的框图。计算系统2100的一些或所有组件能够属于图1的处理器105或处理器112。例如,监视器应用113和预测模型120能够在计算系统2100上操作。计算系统2100包括通信地耦合到一个或多个存储器设备2114的一个或多个处理器2102。处理器2102运行存储在存储器设备2114中的能够是非暂时性计算机可执行指令的形式的计算机可执行程序代码,访问存储在存储器设备2114中的信息,或两者。处理器2102的示例包括微处理器、专用集成电路(“application-specific integraged circuit,ASIC”)、现场可编程门阵列(“field-programmable gate array,FPGA”)或任何其他合适的处理设备。处理器2102能够包括任何数量的处理设备,包括一个处理设备。
存储器设备2114包括程序代码2120和程序数据2130。程序代码2120能够包括由监视器应用113、预测模型120、预测模型190、在移动设备199上运行的移动应用、或者本文描述的任何其他应用运行的代码。程序数据2130能够包括用于预测模型的训练数据、加速度计或陀螺仪测量结果、或用于本文描述的任何应用(诸如监视器应用113、预测模型120或预测模型190)的程序数据。
存储器设备2114包括任何合适的计算机可读介质,诸如电子存储设备,光学存储设备,磁存储设备或能够向处理器提供计算机可读指令或其他程序代码的其他存储设备。计算机可读介质的非限制性示例包括磁盘、存储器芯片、ROM、RAM、ASIC、光学储存器、磁带或其他磁储存器、或处理设备能够从其读取指令的任何其他介质。指令可以包括由编译器或解释器从以任何合适的计算机编程语言编写的代码生成的处理器专用指令,所述计算机编程语言包括例如C、C++、C#、Visual Basic、Java、Python、Perl、JavaScript和ActionScript。
计算系统2100还可以包括许多外部或内部设备,诸如输入设备或输出设备。例如,计算系统2100被示出为具有能够从输入设备接收输入或者向输出设备提供输出的输入/输出(“I/O”)接口2108。总线2106还能够包括在计算系统2100中。总线2106能够通信地耦合计算系统2100的一个或多个组件并允许这些组件之间的通信。
计算系统2100运行配置处理器2102以执行以上关于图1-4或9-11描述的操作中的一个或多个的程序代码。能够是非暂时性计算机可执行指令的形式的监视器应用113的程序代码能够驻留在存储器设备2114或任何合适的计算机可读介质中,并且能够由处理器2102或任何其他一个或多个合适的处理器运行。这样的程序代码的运行配置或使得(多个)处理器执行本文关于处理器2102描述的操作。在附加或替代的方面,上述程序代码能够存储在计算系统2100可经由数据网络从远程存储设备访问的一个或多个存储器设备中。处理器2102和任何进程能够使用存储器设备2114。存储器设备2114能够存储例如附加程序或由在处理器2102上运行的应用(诸如监视器应用113)使用的数据。
计算系统2100还能够包括至少一个网络接口2104。网络接口2104包括适合于建立到一个或多个数据网络的有线或无线数据连接的任何设备或设备组。网络接口2104的非限制性示例包括以太网网络适配器、WiFi网络、调制解调器和/或类似物。计算系统2100能够使用网络接口2104经由数据网络与一个或多个其他计算设备或计算机可读数据源通信。
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而,本领域技术人员将理解,可以在没有这些具体细节的情况下实践所要求保护的主题。在其他情况下,没有详细描述本领域普通技术人员已知的方法、装置或系统,以免模糊所要求保护的主题。
除非另外特别说明,否则应理解,在整个说明书讨论中利用诸如“处理”、“计算”、“确定”和“识别”等术语指的是计算设备的动作或过程,诸如,操纵或转变表示为计算平台的存储器、寄存器、或其他信息存储设备、传输设备、或显示设备内的物理电子量或磁量的数据的一个或多个计算机或类似的电子计算设备或多个电子计算设备。
本文讨论的系统不限于任何特定的硬件架构或配置。计算设备能够包括提供以一个或多个输入为条件的结果的任何合适的组件布置。合适的计算设备包括访问存储的软件的多用途的基于微处理器的计算机系统,该存储的软件将计算系统从通用计算装置编程或配置为实现本主题的一个或多个方面的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在将用于编程或配置计算设备的软件中实现本文包含的教导。
已经仅出于说明和描述的目的呈现了一些示例的前述描述,并且前述描述不旨在穷举或将本公开限制于所公开的精确形式。在不脱离本公开的精神和范围的情况下,本领域技术人员将清楚本公开的许多修改和改变。

Claims (25)

1.一种用于确定活动的计算机实施的方法,所述方法包括:
从惯性测量传感器接收一定时间段内三维的多个惯性测量结果;
计算根据惯性测量结果导出的统计数据;
将所述多个惯性测量结果和统计数据提供给预测模型;
从预测模型接收基于惯性测量结果根据多个预定义的活动确定的活动;以及
将确定的活动提供给输出设备。
2.根据权利要求1所述的方法,其中,所述统计数据包括(i)多个惯性测量结果的方差,或(ii)多个惯性测量结果的均方根。
3.根据权利要求1或2所述的方法,其中,所述多个预定义的活动包括(i)睡觉、(ii)清醒、(iii)朝下趴着、(iv)朝上躺着、(v)平静、或(vi)摇摆中的一个或多个。
4.根据权利要求1或2所述的方法,其中,所述多个预定义的活动包括(i)清醒、(ii)睡觉、(iii)摇摆、或(iv)平静中的一个或多个。
5.根据权利要求1所述的方法,还包括:
基于预测模型确定多个活动,每个活动对应于多个时间段中的不同时间段;以及
通过执行以下中的一个或多个来调整来自所述多个活动中的活动:
当活动是平静时,将活动改变为之前识别的活动;
当活动是摇摆时,将活动改变为睡觉;
当活动是(i)睡觉、(ii)低于时间阈值、以及(iii)在白天期间发生时,将活动改变为清醒;以及
当活动是(i)清醒、(ii)低于时间阈值、以及(iii)在夜晚期间发生时,将活动改变为睡觉。
6.根据权利要求1至4中任一项所述的方法,其中所述多个预定义的活动包括(i)婴儿是否正在母乳进食、(ii)婴儿是否正在奶瓶进食、或(iii)婴儿在进食期间的朝向,包括:
从陀螺仪接收多个朝向或角速度测量结果;以及
为预测模型提供所述多个朝向或角速度测量结果,
其中,所确定的活动至少部分地基于角速度测量结果。
7.根据权利要求1至6中任一项所述的方法,还包括:
从监视器设备接收附加训练数据,所述附加训练数据包括指示在附加时间段内测量的惯性测量结果的时间序列数据,所述附加训练数据用指示多个活动中的活动的训练标签注释;和
基于附加训练数据和损失函数更新预测模型,所述更新包括:
通过预测模型确定预测,该预测指示与时间段相对应的数据是否对应于所述多个活动之一,以及
基于所述预测与所述训练标签的比较来减小损失函数的值。
8.根据权利要求7所述的方法,其中所述多个活动包括(i)清醒、(ii)睡觉、(iii)摇摆、或(iv)平静中的一个或多个。
9.根据权利要求1至5和7中任一项所述的方法,还包括:
在存储器中存储多个时间段的时间序列数据;
基于预测模型确定多个活动,每个活动对应于所述多个时间段中的不同时间段;和
响应于确定预定时间阈值已经过去,生成日志报告并在用户界面上显示日志报告,所述日志报告包括针对所述多个时间段中的每个时间段的确定的活动。
10.根据权利要求1所述的方法,还包括:
通过无线收发器接收包括新的预测模型的软件更新;和
使用新的预测模型更新预测模型。
11.一种婴儿监视系统,包括:
惯性测量传感器;和
处理器,被配置为执行操作,包括:
从惯性测量传感器接收多个惯性测量结果;
计算根据惯性测量结果导出的统计数据;
将所述多个惯性测量结果和统计数据提供给预测模型;
从预测模型接收婴儿的确定的活动;和
将确定的活动提供给输出设备。
12.根据权利要求11所述的婴儿监视系统,其中,所述处理器还被配置为执行操作,包括:
从预测模型接收由预测模型确定的呼吸速率;和
向输出设备提供呼吸速率。
13.根据权利要求11所述的婴儿监视系统,其中,所述处理器还被配置为执行操作,包括从所述预测模型接收所述婴儿在进食期间消耗的液体体积的指示。
14.根据权利要求11所述的婴儿监视系统,其中,所述处理器还被配置为执行操作,包括从预测模型接收对(i)距下一次进食的时间或(ii)预期在下一次进食时消耗的液体体积的估计,其中,所述估计基于所述多个惯性测量结果。
15.根据权利要求11所述的婴儿监视系统,还包括:
无线发送器,被配置为将所述多个惯性测量结果发送给外部设备,其中,所述外部设备包括:
附加无线收发器,被配置为从无线发送器接收所述多个惯性测量结果;和
附加处理器,被配置为运行指令以使得附加处理器:
从附加无线收发器接收从惯性测量传感器获得的所述多个惯性测量结果;
将所述多个惯性测量结果提供给附加的预测模型;和
从附加预测模型接收婴儿的确定的活动。
16.根据权利要求11所述的婴儿监视系统,其中,所述处理器还被配置为执行操作,包括:
从陀螺仪接收多个角速度测量结果;和
将所述多个角速度测量结果提供给预测模型,
其中,预测模型基于所述多个角速度测量结果计算确定的活动。
17.根据权利要求15所述的婴儿监视系统,其中,所述外部设备在所述惯性测量传感器和所述处理器的外部,并且,其中所述惯性测量结果通过数据网络连接被发送到所述外部设备。
18.根据权利要求11所述的婴儿监视系统,其中,将所述多个惯性测量结果提供给预测模型包括通过网络将所述多个惯性测量结果发送到服务器设备,并且,其中接收所确定的活动还包括通过网络从服务器设备接收所确定的活动。
19.根据权利要求11所述的婴儿监视系统,其中,所述处理器还被配置为执行操作,包括:
在存储器中存储多个时间段的惯性测量结果;
基于预测模型确定多个活动,每个活动对应于所述多个时间段中的不同时间段;和
响应于确定预定时间阈值已经过去,生成包括所述多个活动和相应时间段的日志报告。
20.根据权利要求11所述的婴儿监视系统,其中所述处理器还被配置为运行指令以使得所述处理器:
通过数据网络将所述多个惯性测量结果发送到服务器设备,所述服务器设备被配置为记录来自多个婴儿监视系统的多个测量结果。
21.根据权利要求11所述的婴儿监视系统,其中,所确定的活动是多个预定义的活动中的一个,所述预定义的活动包括(i)清醒、(ii)睡觉、(iii)摇摆、或(iv)平静,并且所述处理器还被配置为运行指令以使得所述处理器:
基于预测模型确定多个活动,每个活动对应于多个时间段中的不同时间段;
当所述多个活动中的一个活动是平静时,将所述多个活动中的所述一个活动改变为所述多个活动中的另一个活动;
当所述多个活动中的一个活动是摇摆时,将所述多个活动中的所述一个活动改变为睡觉;
当所述多个活动中的一个活动是(i)睡觉、(ii)低于时间阈值、以及(iii)在白天期间发生时,将所述多个活动中的所述一个活动改变为清醒;和
当所述多个活动中的一个活动是(i)清醒、(ii)低于时间阈值、以及(iii)在夜晚期间发生时,将所述多个活动中的所述一个活动改变为睡觉。
22.根据权利要求11所述的婴儿监视系统,还包括附加传感器,其中:
所述处理器被配置为运行指令以使得处理器:
从附加传感器接收(i)电导率变化、(ii)光学性质变化、(iii)电容变化、(iv)颜色变化、或(v)检测到的挥发性有机化合物的变化的附加测量结果;
根据附加测量结果确定(i)尿液或(ii)排便的存在的指示;和
向输出设备提供所述指示。
23.根据权利要求11所述的婴儿监视系统,还包括:
光学传感器,被配置为:
获得颜色测量结果;和
将颜色测量结果发送给处理器,其中,所述处理器还被配置为执行操作,包括:
根据颜色测量结果确定吸收性物品的湿度指示;和
向输出设备提供确定的活动和所述湿度指示。
24.根据权利要求11所述的婴儿监视系统,还包括电池,其能够操作为向处理器和惯性测量传感器供电。
25.一种用于训练预测模型以确定活动的计算机实现的方法,所述方法包括:
接收包括指示在多个时间段内测量的惯性测量结果的时间序列数据的训练数据,所述训练数据用多个训练标签注释,所述训练标签指示多个活动当中在每个时间段内的相应活动;和
基于损失函数迭代地调整预测模型,所述损失函数基于所述预测与相应训练标签的比较,其中迭代地调整预测模型包括:
通过预测模型确定对与时间段相对应的数据是否对应于所述多个活动之一的预测,以及
修改预测模型以使得损失函数的随后值在随后迭代中被减小。
CN201910371922.6A 2018-05-04 2019-05-06 对婴儿的感知和活动分类 Pending CN110432908A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862666987P 2018-05-04 2018-05-04
US62/666,987 2018-05-04
US16/383,136 2019-04-12
US16/383,136 US11373102B2 (en) 2018-05-04 2019-04-12 Sensing and activity classification for infants

Publications (1)

Publication Number Publication Date
CN110432908A true CN110432908A (zh) 2019-11-12

Family

ID=68385367

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910371922.6A Pending CN110432908A (zh) 2018-05-04 2019-05-06 对婴儿的感知和活动分类
CN201920639694.1U Active CN211796408U (zh) 2018-05-04 2019-05-06 婴儿服装、吸收性物品

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201920639694.1U Active CN211796408U (zh) 2018-05-04 2019-05-06 婴儿服装、吸收性物品

Country Status (4)

Country Link
US (1) US11373102B2 (zh)
EP (1) EP3787477A1 (zh)
CN (2) CN110432908A (zh)
WO (1) WO2019213590A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114027795A (zh) * 2021-11-11 2022-02-11 展讯半导体(南京)有限公司 婴儿睡眠状态监测方法、装置、终端设备及可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10575390B2 (en) 2018-05-04 2020-02-25 Verily Life Sciences Llc Color sensing using pulsed light
US11679036B2 (en) 2019-04-12 2023-06-20 Verily Life Sciences Llc Determining diaper loading using color detection or activity state
AU2020254611A1 (en) * 2019-04-01 2021-09-30 Duke University Devices and systems for promoting continuous sleep of a subject and methods of using same
US11607143B2 (en) 2019-04-12 2023-03-21 Verily Life Sciences Llc Sensing physiological parameters through an article
US20220071558A1 (en) * 2020-09-08 2022-03-10 LEDO Network, Inc. System, device, and method for wireless health monitoring
US20220071563A1 (en) * 2020-09-08 2022-03-10 LEDO Network, Inc. Wearable health monitoring system
WO2023012780A1 (en) * 2021-08-02 2023-02-09 Hisense Ltd. Systems, methods and smart mattresses for monitoring a subject in a specific environment
JP7464759B2 (ja) * 2021-10-21 2024-04-09 グーグル エルエルシー 睡眠者タイプに基づくユーザ分類により睡眠データの測定を改善する方法およびシステム
CN114191684B (zh) * 2022-02-16 2022-05-17 浙江强脑科技有限公司 基于脑电的睡眠控制方法、装置、智能终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116337A1 (en) * 2010-11-10 2012-05-10 Kimberly-Clark Worldwide, Inc. Apparatus and method for product and signaling device matching
US20160287074A1 (en) * 2015-04-05 2016-10-06 Smilables, Inc. Infant caregiver system
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3013257A (en) 1959-03-11 1961-12-12 Dual Lite Company Inc Battery failure alarm
US3261987A (en) 1963-06-06 1966-07-19 Bell Telephone Labor Inc Latch circuit utilizing single transistor and energized by alternating current
JPS54154382A (en) 1978-05-25 1979-12-05 Canon Inc Photo sensor device
JPS61296239A (ja) 1985-06-25 1986-12-27 Omron Tateisi Electronics Co 尿糖測定装置
US5069214A (en) 1988-12-14 1991-12-03 Gms Engineering Corporation Flash reflectance oximeter
US5079541A (en) 1990-06-04 1992-01-07 Moody Thomas O System and method for detecting movement of an infant from a secure area
US5699038A (en) 1993-07-12 1997-12-16 Hill-Rom, Inc. Bed status information system for hospital beds
US5616140A (en) 1994-03-21 1997-04-01 Prescott; Marvin Method and apparatus for therapeutic laser treatment
US5654803A (en) 1996-05-09 1997-08-05 Bayer Corporation Apparatus and method for determination of non-hemolyzed levels of occult blood in urine
US6287253B1 (en) 1999-06-25 2001-09-11 Sabolich Research & Development Pressure ulcer condition sensing and monitoring
DE60027158T2 (de) 1999-06-29 2006-12-21 The Procter & Gamble Company, Cincinnati Wegwerfartikel mit einer messvorrichtung zur anzeige bevorstehender entleerung
US20020124295A1 (en) 2000-10-30 2002-09-12 Loel Fenwick Clothing apparatus, carrier for a biophysical sensor, and patient alarm system
AU2002222488A1 (en) 2000-12-13 2002-06-24 Teldor Wires And Cables Ltd. Electroluminescent cable and mounting system therefor
DE60215924T2 (de) 2001-02-08 2007-05-10 Mini-Mitter Co., Inc., Bend Hautpflaster mit temperatursensor
US6926957B2 (en) 2001-06-29 2005-08-09 3M Innovative Properties Company Water-based ink-receptive coating
US8111165B2 (en) 2002-10-02 2012-02-07 Orthocare Innovations Llc Active on-patient sensor, method and system
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
CN101472543B (zh) 2006-05-02 2013-06-12 佛瑞德伯格曼保健有限公司 潮湿监视系统
MX2009000580A (es) 2006-07-21 2009-03-09 Procter & Gamble Articulos absorbentes desechables que tienen un sensor de ventana.
US20080262381A1 (en) * 2007-04-12 2008-10-23 Magneto Inertial Sensing Technology, Inc. Infant SID Monitor Based On Accelerometer
US8134042B2 (en) 2007-12-14 2012-03-13 Kimberly-Clark Worldwide, Inc. Wetness sensors
US20090275908A1 (en) 2008-04-30 2009-11-05 Kimberly-Clark Worldwide, Inc. Absorbent Articles Capable of Indicating the Presence of Urine
US8628506B2 (en) 2008-06-30 2014-01-14 Kimberly-Clark Worldwide, Inc. Multifunctional monitoring device for absorbent articles
US8274393B2 (en) 2008-12-31 2012-09-25 Kimberly-Clark Worldwide, Inc. Remote detection systems for absorbent articles
US20100241094A1 (en) * 2009-03-20 2010-09-23 Sherron Mark Smart diaper
US20100290948A1 (en) 2009-05-15 2010-11-18 Xuedong Song Absorbent articles capable of indicating the presence of urinary tract infections
JP5465996B2 (ja) 2009-12-24 2014-04-09 ユニ・チャーム株式会社 排泄検出装置及び吸収性物品
IT1407125B1 (it) 2010-09-07 2014-03-28 Alta Lab S R L Apparato e metodo per il monitoraggio del rischio di insorgenza della sindrome della morte in culla (sids) e della plagiocefalia posizionale.
WO2012160546A1 (en) 2011-05-25 2012-11-29 Digisense Ltd. Devices, systems and methods for sensing the well-being of a subject
US20130001422A1 (en) 2011-06-29 2013-01-03 The Procter & Gamble Company Apparatus And Method For Monitoring The Condition Of A Living Subject
EP2734166B8 (en) 2011-07-20 2018-08-15 etectRx, Inc. Wetness sensors, wetness monitoring system, and related methods
US8911681B2 (en) 2011-09-12 2014-12-16 Kimberly-Clark Worldwide, Inc. Wetness indicator having varied hues
US8948832B2 (en) 2012-06-22 2015-02-03 Fitbit, Inc. Wearable heart rate monitor
US9846845B2 (en) 2012-11-21 2017-12-19 Disney Enterprises, Inc. Hierarchical model for human activity recognition
US20150164377A1 (en) * 2013-03-13 2015-06-18 Vaidhi Nathan System and method of body motion analytics recognition and alerting
EP2832323A1 (en) 2013-07-31 2015-02-04 Digisense Ltd. Sensor for urine and stool detection
US9589442B2 (en) * 2013-09-03 2017-03-07 Verizon Telematics Inc. Adaptive classification of fall detection for personal emergency response systems
US10327670B2 (en) 2014-03-26 2019-06-25 GestureLogic Inc. Systems, methods and devices for exercise and activity metric computation
CN113205015A (zh) * 2014-04-08 2021-08-03 乌迪森斯公司 用于配置婴儿监控器摄像机的系统和方法
US10653339B2 (en) 2014-04-29 2020-05-19 Nxp B.V. Time and frequency domain based activity tracking system
US20170049336A1 (en) 2014-05-01 2017-02-23 Reveal Biosensors, Inc. Physiological sensors, systems, kits and methods therefor
US20160120455A1 (en) 2014-11-04 2016-05-05 Stichting Imec Nederland Method for monitoring incontinence
US20160256086A1 (en) 2015-03-03 2016-09-08 Co-Optical Non-Invasive, Bioelectric Lifestyle Management Device
US20160292584A1 (en) 2015-03-31 2016-10-06 Microsoft Technology Licensing, Llc Inferring User Sleep Patterns
US10223497B2 (en) 2015-04-05 2019-03-05 Smilables Inc. Infant learning receptivity detection system
US10117598B1 (en) 2015-11-08 2018-11-06 Sensogram Technologies, Inc. Non-invasive wearable respiration rate monitoring system
US20170128274A1 (en) 2015-11-11 2017-05-11 The Procter & Gamble Company Methods and Apparatuses for Registering Substrates in Absorbent Article Converting Lines
CN205246547U (zh) 2015-12-30 2016-05-18 四川医科大学 基于颜色传感器的尿液分析检测系统
US10470719B2 (en) 2016-02-01 2019-11-12 Verily Life Sciences Llc Machine learnt model to detect REM sleep periods using a spectral analysis of heart rate and motion
US10285871B2 (en) 2016-03-03 2019-05-14 The Procter & Gamble Company Absorbent article with sensor
CN106198538A (zh) 2016-06-24 2016-12-07 武汉山不厌高科技有限公司 一种试纸读取方法和装置
CN106093026A (zh) 2016-07-06 2016-11-09 哈尔滨贝贝凯尔科技发展有限公司 具有尿液检测功能的儿童纸尿裤及微量元素检测方法
US11896368B2 (en) 2016-08-31 2024-02-13 Apple Inc. Systems and methods for determining swimming metrics
US10720040B2 (en) 2017-03-02 2020-07-21 5Tech Llc Soiled diaper detection system
US11389094B2 (en) 2017-07-17 2022-07-19 Nemocare Wellness Private Limited Apparatus and methods for infant monitoring
US11679036B2 (en) 2019-04-12 2023-06-20 Verily Life Sciences Llc Determining diaper loading using color detection or activity state
US10575390B2 (en) 2018-05-04 2020-02-25 Verily Life Sciences Llc Color sensing using pulsed light
US11529291B2 (en) * 2018-10-26 2022-12-20 The Board Of Trustees Of The University Of Alabama Instrumented infant feeding bottle
US11607143B2 (en) 2019-04-12 2023-03-21 Verily Life Sciences Llc Sensing physiological parameters through an article

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116337A1 (en) * 2010-11-10 2012-05-10 Kimberly-Clark Worldwide, Inc. Apparatus and method for product and signaling device matching
US20160287074A1 (en) * 2015-04-05 2016-10-06 Smilables, Inc. Infant caregiver system
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114027795A (zh) * 2021-11-11 2022-02-11 展讯半导体(南京)有限公司 婴儿睡眠状态监测方法、装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
EP3787477A1 (en) 2021-03-10
WO2019213590A1 (en) 2019-11-07
WO2019213590A9 (en) 2019-12-26
US20190340515A1 (en) 2019-11-07
US11373102B2 (en) 2022-06-28
CN211796408U (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN110432908A (zh) 对婴儿的感知和活动分类
CN105446480B (zh) 可穿戴电子装置,由其执行的方法及电脑可读存储装置
US9712629B2 (en) Tracking user physical activity with multiple devices
US8849610B2 (en) Tracking user physical activity with multiple devices
CN104799826B (zh) 一种智能安康服务系统及报警可靠检测方法
US10983945B2 (en) Method of data synthesis
US8775120B2 (en) Method of data synthesis
EP3565467A1 (en) System and method for monitoring respiration
CN106028915A (zh) 婴儿监测装置
CN107920754A (zh) 监测婴幼儿情绪状态并确定与婴幼儿相关联的生理测量值
CN109480868B (zh) 一种智能婴儿监护系统
US20130130213A1 (en) Activity monitor and analyzer with voice direction for exercise
US10223497B2 (en) Infant learning receptivity detection system
CN109475304A (zh) 用于监测哮喘症状的系统和方法
CN108012560A (zh) 智能婴幼儿监测系统和婴幼儿监测中心及婴幼儿学习接受度检测系统
CN207492218U (zh) 一种健康智能手环
JP2019155071A (ja) 事象予測システム、センサ信号処理システム、事象予測方法及びプログラム
Shamsir et al. Smart infant-monitoring system with machine learning model to detect physiological activities and ambient conditions
CN107280679A (zh) 一种智能婴幼儿监控照顾系统及其操作方法
CN111148467A (zh) 用于分析对象的行为或活动的系统和方法
JP2018051188A (ja) 活動状況管理装置
RU181733U1 (ru) Система мониторинга показателей жизнедеятельности младенца, встраиваемая в пояс матраса
US11457875B2 (en) Event prediction system, sensor signal processing system, event prediction method, and non-transitory storage medium
JP6980872B2 (ja) 活動状況管理装置
US20230363668A1 (en) Device for detecting challenging behaviors in people with autism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination