CN106488741A - 活动和锻炼监测系统 - Google Patents
活动和锻炼监测系统 Download PDFInfo
- Publication number
- CN106488741A CN106488741A CN201680000569.5A CN201680000569A CN106488741A CN 106488741 A CN106488741 A CN 106488741A CN 201680000569 A CN201680000569 A CN 201680000569A CN 106488741 A CN106488741 A CN 106488741A
- Authority
- CN
- China
- Prior art keywords
- experimenter
- electromagnetic signal
- data
- image
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title description 11
- 238000012544 monitoring process Methods 0.000 title description 11
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000005855 radiation Effects 0.000 claims description 10
- 230000005670 electromagnetic radiation Effects 0.000 abstract description 10
- 230000035479 physiological effects, processes and functions Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000003647 oxidation Effects 0.000 description 4
- 238000007254 oxidation reaction Methods 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000001217 buttock Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001513 elbow Anatomy 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010011953 Decreased activity Diseases 0.000 description 1
- 206010019196 Head injury Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 239000003146 anticoagulant agent Substances 0.000 description 1
- 229940127219 anticoagulant drug Drugs 0.000 description 1
- 230000002917 arthritic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000002612 cardiopulmonary effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007407 health benefit Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 230000009529 traumatic brain injury Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
- A61B5/015—By temperature mapping of body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0008—Temperature signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
- A61B5/02427—Details of sensor
- A61B5/02433—Details of sensor for infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physical Education & Sports Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
Abstract
本发明提供了用于提供物理治疗锻炼方案并且检测与运动和生理相关联的电磁辐射的系统和方法。
Description
交叉引用
本申请要求提交于2015年4月23日的美国临时申请号62/151,652的权益，通过引用而将其全文并入于此。
发明背景
包括约10分钟至约15分钟的平衡、锻炼和力量训练的在家的物理治疗计划可以减缓个体的机能减退，尤其是老年人和身体虚弱的人。结构化锻炼或物理治疗的规律方案可以改善移动性和适应性的度量，例如，力量和有氧能力。结构化锻炼的正面效应可以发生在慢性病患者和健康成年人身上。锻炼还可以产生步态和平衡上的改善，以及其他长期的功能性利益，并且减轻疼痛症状，例如，在关节炎的疼痛症状。
锻炼提升骨骼矿物质密度，从而降低骨折风险。锻炼还可以抵消跌倒的关键风险因素，诸如糟糕的平衡，从而降低跌倒的风险。跌倒可能引起创伤性脑损伤，并且跌倒相关的头部损伤可能使个体，特别是服用抗凝血剂的那些个体，易患颅内出血。然而，实际的以及与成本相关的限制可能制约这种类型的方案在家庭护理环境中的传播。
援引并入
本申请中所引用的每个专利、出版物和非专利文献均通过引用而将其全文并入本文如同每个单独地通过引用而并入。
发明内容
在一些实施方式中，本发明提供了一种方法，包括：a)由计算机系统接收与来自受试者的身体的第一电磁信号相关联的数据，其中与所述第一电磁信号相关联的数据与所述受试者的姿势相关联；b)由所述计算机系统接收与来自所述受试者的身体的第二电磁信号相关联的数据，其中与所述第二电磁信号相关联的数据与所述受试者的生理特征相关联；c)由所述计算机系统的处理器基于与来自所述受试者的身体的所述第一电磁信号相关联的数据和与来自所述受试者的身体的所述第二电磁信号相关联的数据来为所述受试者确定合适的锻炼方案；以及d)在输出装置上输出所述合适的锻炼方案。
附图说明
图1图示了活动和锻炼监测系统(AEMS)临床界面，其示出了GRS图像(左)和DIRI图像(右)。
图2图示了提供与用户锻炼方案相对应的音频/视觉反馈的AEMS用户界面。
图3图示了提供多光谱成像、NIR/GRS和LWIR/DIRI传感器的AEMS家庭用户模块。
图4图示了通过应用程序接口(API)将家庭用户模块连接至AEMS临床系统和其他系统的AEMS云服务器。
图5示出了其中AEMS可以与监测装置结合使用的步骤序列。
图6示出了其中AEMS的对象检测器模块标识用户想要追踪的对象的步骤序列。
图7示出了用于训练姿势识别系统(GRS)的图解。
图8图示了使用长波红外成像(LWIR)的发射检测。
图9示出了距离与使用LWIR检测器的光子计数之间的关系。
具体实施方式
本文提出了包括检测与人类运动和生理相关联的电磁辐射的传感器的系统和方法。当与网络技术和各种形式的结构化的个性化锻炼计划相结合时，本发明可以提供按需的锻炼方案。本发明可以在家里或在其他环境中使用。
在一些实施方式中，本发明包括：结合到单个模块中的姿势识别系统(GRS)和动态红外成像(DIRI)(图1)；用于信息的递送的网络系统；以及结构化锻炼计划的系统。这些锻炼计划可以远程地递送到家里或其他环境。可以对运动进行实时监测或记录，用于研究人员分析。
本文的系统可以将近红外/姿势识别(NIR/GRS)技术与长波红外/动态红外成像(LWIR/DIRI)技术结合到单个多光谱模块中，该模块比任一传感器技术单独地用于监测运动和生理更有效。
如图1中所示，活动和锻炼监测系统(AEMS)临床界面可以显示GRS图像(左)和DIRI图像(右)。通过显示出使用NIR(左)不可见的假腿突出了DIRI(右)的灵敏度。融合这些数据流提供了与活动和相对应的生理变化二者有关的并发信息，所述生理变化以皮肤温度或心率上的变化来测量，其可以在远处通过分析红外发射上的变化来测量。在一些实施方式中，生理变化可以包括，例如，温度、心率、呼吸率、血流量、出汗、锻炼强度、肌肉收缩、肌肉松弛、肌肉力量、耐力、心肺适能、身体成分和灵活性上的变化。
如图2中所示，游戏化方法可以用于使用户更愉快和更有动机地与这个系统交互。包括例如人类活动监测(HAM)系统的可穿戴式追踪装置可以用于：用户的监测；检测对锻炼的需要，其包括例如通过跌倒风险评估进行检测；制定对锻炼方案的推荐；以及用户的进一步监测。可以基于用户的需要和兴趣而全部或部分地重复该过程。在一些实施方式中，本发明可以包括使用电磁辐射成像来标识目标并且测量X-Y-Z位置和运动的方法，该电磁辐射成像包括例如无源LWIR/DIRI红外成像。AEMS用户界面游戏化特征提供了与用户锻炼方案相对应的音频/视觉反馈以提供吸引人的体验。用户可以通过只是简单地移动他们的身体，与房间中的其他人一起或通过虚拟存在而参与多项活动，包括“绘画”和“音乐指挥”。
在一些实施方式中，本发明包括人体运动和生理变化的追踪作为物理治疗或结构化锻炼系统的一部分。物理治疗或结构化锻炼可以由远程的临床观察者(例如，物理治疗师)来监测。本发明可以在家庭或其他环境中用于各种各样的年龄组，包括例如家庭护理环境中的老年个体。
除了通过促进在家的锻炼计划给用户提供健康利益以外，本文提出的系统还可以向研究者和临床医师提供锻炼生理学研究平台。集成的网络可以具有其他的益处，包括，例如，通过提供允许位于不同位置的用户加入单个虚拟的团体锻炼计划的平台而增进老年人之间的社会接触和交互，以及通过类似的硬件/软件基础设施来增进其他社会交互。
在一些实施方式中，本发明包括以下组件：多光谱便携式模块，其包括带有NIR光源的NIR/GRS成像传感器；LWIR/DIRI成像传感器；可见光谱成像传感器；麦克风；扬声器；有线或无线的显示界面，例如，高清晰度电视或智能移动装置；实时分析身体运动和生理反应的算法；在远程服务器上运行的网络应用，其可以提供锻炼指令管理功能、数据收集、存储、分析、虚拟存在和数据分发功能；以及针对个体的应用程序接口(API)，其用以实时地或回顾地追踪和分析用户活动和身体健康(图3和图4)。AEMS云服务器通过API将家庭用户模块连接至AEMS临床系统和其他系统(图4)。
在一些实施方式中，本发明可以与其他装置结合使用。在非限制性示例中，老年用户穿戴HAM装置。如图5中所示，该装置可以收集和分析由系统记录的信息。首先，HAM装置可以收集与用户有关的活动信息，包括，例如，所测的步数、步行或跑步的距离、心率、热量摄入和睡眠模式。继而可以使用机器学习算法来分析活动信息，该机器学习算法可以评估用户的整体活动以预测是否有重大的跌倒风险。继而该装置可以为处于跌倒风险下的用户建议介入。使用本发明，用户继而可以使用被设计用于减少跌倒风险的本公开内容的系统来加入锻炼方案。处于跌倒风险下的用户还可以与本发明的其他用户参与虚拟的团体锻炼。监测、分析和锻炼的循环可以以迭代的方式继续。例如，来自HAM装置的反馈可以指导对本发明所描述的锻炼方案的需要。HAM装置继而可以分析结果，从而确定活动后风险。如果初始的活动不足，可以做进一步的推荐。HAM装置可以继续监测用户以确定未来风险是否增加。在一些实施方式中，本发明可以追踪用户的身体健康的整体提高或下降。本发明还可以向例如健康护理专业人员或研究者的其他个体传输由HAM装置记录和呈现的信息，以用于进一步的分析。使用与监测装置结合的AEMS可以通过向用户或其他人提供进展的反馈回路而产生非常强大的协同增效效应。
追踪对象的GRS过程包括两个步骤。首先，该过程可以教系统检测该系统正在评估的领域内的一个或多个特定的对象。在给定图像的情况下，该系统可以找出给定类别的所有对象的位置和规模。其次，该过程可以执行用于计算所标识的一个或多个对象在X-Y-Z空间中的位置和路径所需要的功能。
机器学习是人工智能的分支并且从属于这样的系统的构造和研究，该系统可以从数据学习而不需要被明确地编程以执行其被设计用于的特定的功能。机器学习的核心处理表示和泛化。数据实例的表示和这些实例评估的功能是机器学习系统的部分。
将机器学习技术应用于对象追踪可以允许确定图像的视场中的一个或多个对象的当前位置和路径。所有的数字图像由在X-Y空间中排列的像素的阵列组成。这些帧由在X和Y方向上排列的一定数目的像素组成。例如，1024×768意指宽度(X)包括1024个像素而高度(Y)包括768个像素。运动视频图像由在一段时间内捕获的多个这些帧组成，例如，每秒30帧。对象可能出现在任何单个帧中，并且随着视频进展，这些对象可以继续在每一帧中占据相同的X-Y位置或者作为在随后的帧上位于不同的X-Y位置的结果而在任何方向上移动。
如图6中所示，输入图像可以由对象检测器检测。继而，从输入图像接收到的信息可以经过校准和预处理，以使得系统可以连续地识别和追踪感兴趣的对象。
对象检测器模块是对象识别所需要的第一模块。追踪过程包括首先教系统标识用户想要追踪的一个或多个对象，以及继而训练系统即使在该一个或多个对象的外观、大小或形状在视频序列期间可能显著地改变的情况下识别所述一个或多个对象。
这个过程的第一部分，教系统识别对象，包括将对象简化为其数字特征。这个过程可以包含分析对象颜色特征、形状、亮度或以上的任何组合。例如，系统可以使用级联分类器方法以标识对象。
训练级联分类器包括训练数据的准备和运行训练应用。类Haar(Viola2001)和局部二值模式(LBP-Liao2007)特征都可以使用。类Haar特征考虑在检测窗口中的特定位置处的相邻矩形区域，对每个区域中像素强度求和并且计算这些和之间的差异。该差异继而用于对图像的分区进行分类。例如，对于具有人脸的图像数据库，眼睛区域比脸颊区域更暗。因此，用于脸部检测的类Haar特征是在眼睛和脸颊区域之上的两个相邻矩形的集合。这些矩形的位置相对于检测窗口被限定，该检测窗口充当目标对象(以上示例中的脸部)的边界框。
LBP是简单的局部描述符，其生成像素邻域的二进制代码，所述像素邻域包括给定像素和在二维或三维空间中与边缘邻近的那些像素。LBP可以着重于进行灰度值测量的位置的清晰度，或着重于改善二进制代码的辨别力。与类Haar特征不同，LBP特征是整数值，所以利用LBP特征的训练和检测二者都比利用类Haar特征快若干倍。基于LBP的分类器可以被训练以提供与基于Haar的分类器类似的质量，从而允许以减少的处理时间得到类似的检测精度。LBP和类Haar检测的质量取决于训练：训练数据集和训练参数二者的质量。
图7图示了GRS系统的数据集训练的过程。该训练需要两个样本集：正样本(对象图像；“包含对象的图像”)和负样本(非对象图像；“不包含对象的图像(小集)”)。正样本集可以使用应用实用程序来准备，而负样本集可以手动准备。首先，可以由标记模块标记对象图像以便与非对象样本区分开(小集和大集)，非对象样本代替地由窗口采样模块来处理。对象样本和非对象样本二者统称为训练数据集，其可以由分类器训练模块进行分类(“自展”)。新的非对象样本也可以由分类器模块进行分类。分类器训练模块可以将对象样本与非对象样本区分开。可以从不包含所检测的对象的任意图像中移除正样本。继而，对象样本可以经受评估和增强。当由分类器训练模块接收新的对象样本时，这一评估和增强的过程可以再循环一次。非对象样本可以经受分类和自展代替评估和增强。当由分类器训练模块接收新的非对象样本时，这一分类和自展的过程也可以再循环一次。
负样本可以列举在特殊文件中。数据可以存储在文本文件中，其中每一行包含负样本图像的图像文件名(相对于描述文件的目录)。这个文件也可以手动创建。负样本和样本图像也可以被称为背景样本或背景样本图像。
可以从具有一个或多个对象的单个图像创建或者从先前注释的图像来创建正样本。呈现出多样化的表示场景集的较大数目的图像提供了最佳的训练结果。例如，单个对象图像可以包含公司徽标。然而，可以通过随机旋转、改变徽标强度以及将徽标放置在任意背景上而从给定对象图像创建较大的正样本集。为实现非常高的识别率(大于约90％)，在开发过程期间，训练的每次迭代可能需要数小时或数天。
一旦系统可以标识目标，算法就被开发用于限定所标识的对象在3D空间中的位置。首先，使用利用对象相对于像素阵列中每个像素的绝对位置的感知位置的方法来将对象放置在X-Y轴上，该像素阵列限定每一帧的单领域。然而，标识Z轴的位置可能更复杂并且可以利用专用硬件。一种3D测量技术，称为光编码，通过利用对人眼不可见的NIR光来对场景编码而工作。互补金属氧化物半导体(CMOS)图像传感器可以从场景读取回经编码的光。
光编码通过使用具有IR滤波器的常规CMOS图像传感器来投射来自传感器的IR点的图案并且检测这些点而工作。图案可以基于反射光的对象而改变。点可以基于对象距源多远而改变大小和位置。硬件从图像传感器取得结果并且确定差异以生成深度图。深度图的示例分辨率可以是1024×768，但是CMOS传感器可以具有高得多的分辨率。可以由硬件捕获的图像分辨率可以是1600×1200，并且可以提供深度图。芯片可以管理对点进行标识并且将其状态转化为深度值的计算负荷。利用硬件中的实现，芯片可以维护。
本文所提出的调查表明系统可以报告至少约0.8米至约1.5米的深度。视场可以是约水平58°×约垂直45°的矩形椎。本文所提出的调查进一步表明了对许多因素的灵敏度，包括环境光、场景中的表面的反射率和角度，以及反射光的振幅。因此，这些系统可能限于仅在近距离应用中使用，例如，在检测器的约半米之内的屏幕上移动光标。
在一些实施方式中，本发明可以采用GRS模块，该GRS模块使用NIR光源和检测器的有源成像系统。通过编码具有投射到场景上并且继而反射回检测器的信息的光源来实现运动追踪，该检测器继而分析所反射的光以检测X-Y-Z位置和位置上的变化。
在一些实施方式中，本发明包括无源、DIRI模块。在一些实施方式中，没有人工光源与该模块一起使用。受试者，例如，人类用户，是红外光的源。人体组织发射电磁辐射(波长从约8μm至约10μm)。在一些实施方式中，成像传感器检测这种电磁辐射以产生图像。在一些实施方式中，本发明可以将对象与背景区分开，并且继而测量X-Y-Z位置和位置上的变化。本文提出的这个方法与单独的GRS成像(如上文所述)相比可以在更大的深度和角度上使用。在一些实施方式中，该方法也可以不受环境照明条件影响。
在一些实施方式中，系统检测的主要对象是人类受试者，或人类受试者的某些部分，例如，脸、手或手指。在一些实施方式中，系统可以检测受试者的肢体的运动，所述肢体包括，例如，手臂和腿。在一些实施方式中，系统可以检测受试者的身体部分的运动，所述身体部分包括，例如，手、手指、脚趾、肩、肘、膝盖、臀部、腰、背、胸、躯干、头和颈。
如图8中所示，LWIR/DIRI系统用于检测来自用户的电磁辐射发射。受试者既是目标又是光源。在受试者的脸(左)、颈(中)或前臂(右)中的视觉图案表明了高发射与低发射相对比的区域。系统可以细化来自这个装置的数据以从发射输出中提取运动和生理数据二者。
在一些实施方式中，电磁辐射信号可以附接至受试者的身体部分，包括例如，手腕、踝、肘、膝盖、臀部、腰、胸和头。在一些实施方式中，电磁辐射传感器可以用于检测电磁辐射。多个电磁辐射传感器可以用于测量来自不同的观察位置的运动和生理变化并且生成多维数据集。使用多个传感器可以通过降低传感器的随机运动或失准的影响而提供精确测量。
在一些实施方式中，特定应用的算法可以用于对象追踪。级联检测模型，其是基于训练类型追踪方法，可以提供良好的追踪精度。本文的系统可以与机器人安装的热目标一起使用以迭代地开发这些算法。如图9中所示，这个方法使用对象的测量的辐射率(以光子计数的方式测量)作为对象距检测器的距离的函数。
在本发明的方法中所使用和检测的红外辐射发射可以在约700nm至约1mm波长的可见光谱的红边的范围内变动，其相当于约430THz至约300GHz的频率。红外光谱内的区域包括，例如，近红外(NIR)、短波红外(SWIR)、中波红外(MWIR)、中红外(IIR)、长波红外(LWIR)和远红外(FIR)。近红外可以在约0.7μm至约1.4μm的范围内变动，其相当于约214THz至约400THz的频率。长波红外可以在约8μm至约15μm的范围内变动，其相当于约20THz至约37THz的频率。
在一些实施方式中，系统可以检测具有以下波长的红外辐射：约700nm至约1.5μm、约1.5μm至约5μm、约5μm至约10μm、约10μm至约20μm、约20μm至约50μm、约50μm至约100μm、约100μm至约150μm、约150μm至约200μm、约200μm至约250μm、约250μm至约300μm、约300μm至约350μm、约350μm至约400μm、约400μm至约450μm、约450μm至约500μm、约500μm至约550μm、约550μm至约600μm、约600μm至约650μm、约650μm至约700μm、约700μm至约750μm、约750μm至约800μm、约800μm至约850μm、约850μm至约900μm、约900μm至约950μm或者约950μm至约1mm。
在一些实施方式中，系统可以检测具有以下波长的红外辐射：约700nm、约1.5μm、约5μm、约10μm、约20μm、约30μm、约40μm、约50μm、约100μm、约150μm、约200μm、约250μm、约300μm、约350μm、约400μm、约450μm、约500μm、约550μm、约600μm、约650μm、约700μm、约750μm、约800μm、约850μm、约900μm、约950μm或者约1mm。
在一些实施方式中，锻炼计划、运动和生理数据可以传输至输出装置，包括，例如，个人计算机(PC)(诸如便携式PC、板式和平板PC)、电话、智能电话、智能手表、智能眼镜或个人数字助理。
实施方式
下述非限制性实施方式提供了本发明的说明性实施例，但是不限制本发明的范围。
实施方式1.一种方法，包括：a)由计算机系统接收与来自受试者的身体的第一电磁信号相关联的数据，其中与所述第一电磁信号相关联的数据与所述受试者的姿势相关联；b)由所述计算机系统接收与来自所述受试者的身体的第二电磁信号相关联的数据，其中与所述第二电磁信号相关联的数据与所述受试者的生理特征相关联；c)由所述计算机系统的处理器基于与来自所述受试者的身体的所述第一电磁信号相关联的数据和与来自所述受试者的身体的所述第二电磁信号相关联的数据来为所述受试者确定合适的锻炼方案；以及d)在输出装置上输出所述合适的锻炼方案。
实施方式2.如实施方式1所述的方法，其中所述第一电磁信号是近红外信号。
实施方式3.如实施方式1-2中任一项所述的方法，其中所述第二电磁信号是长波红外信号。
实施方式4.如实施方式1-3中任一项所述的方法，其中所述姿势是所述受试者的肢体的运动。
实施方式5.如实施方式1-4中任一项所述的方法，其中所述生理特征是所述受试者的皮肤温度。
实施方式6.如实施方式1-4中任一项所述的方法，其中所述生理特征是所述受试者的心率。
实施方式7.实施方式1-6中任一项所述的方法，还包括输出所述第一电磁信号的图像。
实施方式8.实施方式1-7中任一项所述的方法，还包括输出所述第二电磁信号的图像。
实施方式9.如实施方式1-8中任一项所述的方法，其中所述第一电磁信号的源附接至所述受试者的身体。
实施方式10.如实施方式1-9中任一项所述的方法，其中所述第二电磁信号的源附接至所述受试者的身体。
实施方式11.如实施方式1-8中任一项所述的方法，其中所述第一电磁信号的源是所述受试者的身体。
实施方式12.如实施方式1-8中任一项所述的方法，其中所述第二电磁信号的源是所述受试者的身体。
实施方式13.如实施方式1-12中任一项所述的方法，其中所述第一电磁信号从所述受试者的身体发射。
实施方式14.如实施方式1-13中任一项所述的方法，其中所述第二电磁信号从所述受试者的身体发射。
实施方式15.如实施方式1-8中任一项所述的方法，其中所述第一电磁信号由辐射源向所述受试者的身体发射，其中由所述辐射源向所述受试者的身体发射的所述第一电磁信号在由传感器检测之前被反射离开所述受试者的身体。
实施方式16.如实施方式1-8中任一项所述的方法，其中所述第二电磁信号由辐射源向所述受试者的身体发射，其中由所述辐射源向所述受试者的身体发射的所述第二电磁信号在由传感器检测之前被反射离开所述受试者的身体。
实施方式17.如实施方式1-16中任一项所述的方法，其中所述受试者是人类。
Claims (17)
1.一种方法，包括：
a)由计算机系统接收与来自受试者的身体的第一电磁信号相关联的数据，其中与所述第一电磁信号相关联的数据与所述受试者的姿势相关联；
b)由所述计算机系统接收与来自所述受试者的身体的第二电磁信号相关联的数据，其中与所述第二电磁信号相关联的数据与所述受试者的生理特征相关联；
c)由所述计算机系统的处理器基于与来自所述受试者的身体的所述第一电磁信号相关联的数据和与来自所述受试者的身体的所述第二电磁信号相关联的数据来为所述受试者确定合适的锻炼方案；以及
d)在输出装置上输出所述合适的锻炼方案。
2.如权利要求1所述的方法，其中所述第一电磁信号是近红外信号。
3.如权利要求1所述的方法，其中所述第二电磁信号是长波红外信号。
4.如权利要求1所述的方法，其中所述姿势是所述受试者的肢体的运动。
5.如权利要求1所述的方法，其中所述生理特征是所述受试者的皮肤温度。
6.如权利要求1所述的方法，其中所述生理特征是所述受试者的心率。
7.如权利要求1所述的方法，还包括输出所述第一电磁信号的图像。
8.权利要求1所述的方法，还包括输出所述第二电磁信号的图像。
9.如权利要求1所述的方法，其中所述第一电磁信号的源附接至所述受试者的身体。
10.如权利要求1所述的方法，其中所述第二电磁信号的源附接至所述受试者的身体。
11.如权利要求1所述的方法，其中所述第一电磁信号的源是所述受试者的身体。
12.如权利要求1所述的方法，其中所述第二电磁信号的源是所述受试者的身体。
13.如权利要求1所述的方法，其中所述第一电磁信号从所述受试者的身体发射。
14.如权利要求1所述的方法，其中所述第二电磁信号从所述受试者的身体发射。
15.如权利要求1所述的方法，其中所述第一电磁信号由辐射源向所述受试者的身体发射，其中由所述辐射源向所述受试者的身体发射的所述第一电磁信号在由传感器检测之前被反射离开所述受试者的身体。
16.如权利要求1所述的方法，其中所述第二电磁信号由辐射源向所述受试者的身体发射，其中由所述辐射源向所述受试者的身体发射的所述第二电磁信号在由传感器检测之前被反射离开所述受试者的身体。
17.如权利要求1所述的方法，其中所述受试者是人类。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562151652P | 2015-04-23 | 2015-04-23 | |
| US62/151,652 | 2015-04-23 | ||
| PCT/US2016/028943 WO2016172549A1 (en) | 2015-04-23 | 2016-04-22 | Activity and exercise monitoring system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106488741A true CN106488741A (zh) | 2017-03-08 |
Family
ID=57144299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680000569.5A Pending CN106488741A (zh) | 2015-04-23 | 2016-04-22 | 活动和锻炼监测系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20160310791A1 (zh) |
| EP (1) | EP3122253A4 (zh) |
| CN (1) | CN106488741A (zh) |
| WO (1) | WO2016172549A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154911A (zh) * | 2017-11-14 | 2018-06-12 | 珠海格力电器股份有限公司 | 信息提示方法及装置 |
| US20210125728A1 (en) * | 2018-06-29 | 2021-04-29 | Koninklijke Philips N.V. | System and method that optimizes physical activity recommendations based on risks of falls |
| US20200155040A1 (en) * | 2018-11-16 | 2020-05-21 | Hill-Rom Services, Inc. | Systems and methods for determining subject positioning and vital signs |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103141080A (zh) * | 2010-09-23 | 2013-06-05 | 索尼电脑娱乐公司 | 使用热成像的用户接口系统和方法 |
| CN103518203A (zh) * | 2010-11-24 | 2014-01-15 | 耐克国际有限公司 | 包括训练程序的自动化个人训练的方法和系统 |
| US20140228712A1 (en) * | 2013-02-14 | 2014-08-14 | Marcus Elliott | Generation of personalized training regimens from motion capture data |
| CN104023634A (zh) * | 2011-12-30 | 2014-09-03 | 皇家飞利浦有限公司 | 用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备 |
| WO2015054312A1 (en) * | 2013-06-03 | 2015-04-16 | Mc10, Inc. | Conformal sensor systems for sensing and analysis |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8494227B2 (en) * | 2007-04-17 | 2013-07-23 | Francine J. Prokoski | System and method for using three dimensional infrared imaging to identify individuals |
| US10258259B1 (en) * | 2008-08-29 | 2019-04-16 | Gary Zets | Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders |
| US7988647B2 (en) * | 2008-03-14 | 2011-08-02 | Bunn Frank E | Assessment of medical conditions by determining mobility |
| US7967728B2 (en) * | 2008-11-16 | 2011-06-28 | Vyacheslav Zavadsky | Wireless game controller for strength training and physiotherapy |
| US10188295B2 (en) * | 2009-06-01 | 2019-01-29 | The Curators Of The University Of Missouri | Integrated sensor network methods and systems |
| US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
| US9457256B2 (en) * | 2010-11-05 | 2016-10-04 | Nike, Inc. | Method and system for automated personal training that includes training programs |
| US8718748B2 (en) * | 2011-03-29 | 2014-05-06 | Kaliber Imaging Inc. | System and methods for monitoring and assessing mobility |
| EP2763588B1 (en) * | 2011-10-09 | 2022-07-06 | The Medical Research, Infrastructure, And Health Services Fund Of The Tel Aviv Medical Center | Virtual reality for movement disorder diagnosis |
| JP2013103010A (ja) * | 2011-11-15 | 2013-05-30 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| US9216320B2 (en) * | 2012-08-20 | 2015-12-22 | Racer Development, Inc. | Method and apparatus for measuring power output of exercise |
| US9199122B2 (en) * | 2012-10-09 | 2015-12-01 | Kc Holdings I | Personalized avatar responsive to user physical state and context |
-
2016
- 2016-04-22 CN CN201680000569.5A patent/CN106488741A/zh active Pending
- 2016-04-22 EP EP16731490.5A patent/EP3122253A4/en not_active Withdrawn
- 2016-04-22 US US15/136,320 patent/US20160310791A1/en not_active Abandoned
- 2016-04-22 WO PCT/US2016/028943 patent/WO2016172549A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103141080A (zh) * | 2010-09-23 | 2013-06-05 | 索尼电脑娱乐公司 | 使用热成像的用户接口系统和方法 |
| CN103518203A (zh) * | 2010-11-24 | 2014-01-15 | 耐克国际有限公司 | 包括训练程序的自动化个人训练的方法和系统 |
| CN104023634A (zh) * | 2011-12-30 | 2014-09-03 | 皇家飞利浦有限公司 | 用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备 |
| US20140228712A1 (en) * | 2013-02-14 | 2014-08-14 | Marcus Elliott | Generation of personalized training regimens from motion capture data |
| WO2015054312A1 (en) * | 2013-06-03 | 2015-04-16 | Mc10, Inc. | Conformal sensor systems for sensing and analysis |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3122253A4 (en) | 2017-11-29 |
| EP3122253A1 (en) | 2017-02-01 |
| WO2016172549A1 (en) | 2016-10-27 |
| US20160310791A1 (en) | 2016-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gochoo et al. | Novel IoT-based privacy-preserving yoga posture recognition system using low-resolution infrared sensors and deep learning | |
| Ni et al. | A review of deep learning-based contactless heart rate measurement methods | |
| Singh et al. | Transforming sensor data to the image domain for deep learning—An application to footstep detection | |
| Moro et al. | Markerless vs. marker-based gait analysis: A proof of concept study | |
| Achilles et al. | Convolutional neural networks for real-time epileptic seizure detection | |
| Selvaraju et al. | Continuous monitoring of vital signs using cameras: A systematic review | |
| Eskofier et al. | Marker-based classification of young–elderly gait pattern differences via direct PCA feature extraction and SVMs | |
| Chaichulee et al. | Cardio-respiratory signal extraction from video camera data for continuous non-contact vital sign monitoring using deep learning | |
| Lv et al. | Class energy image analysis for video sensor-based gait recognition: A review | |
| Tran et al. | A robust real time system for remote heart rate measurement via camera | |
| Barcelos et al. | A combined method for segmentation and registration for an advanced and progressive evaluation of thermal images | |
| CN106999116A (zh) | 用于皮肤检测的设备和方法 | |
| Jiang et al. | A data-driven approach to predict fatigue in exercise based on motion data from wearable sensors or force plate | |
| Brieva et al. | A contactless respiratory rate estimation method using a hermite magnification technique and convolutional neural networks | |
| Li et al. | The 1st challenge on remote physiological signal sensing (repss) | |
| Molinaro et al. | Multi-roi spectral approach for the continuous remote cardio-respiratory monitoring from mobile device built-in cameras | |
| Cho | Automated mental stress recognition through mobile thermal imaging | |
| CN106488741A (zh) | 活动和锻炼监测系统 | |
| Athota et al. | Human activity recognition based on hybrid learning algorithm for wearable sensor data | |
| Rana et al. | Markerless gait classification employing 3D IR-UWB physiological motion sensing | |
| Khanal et al. | A review on computer vision technology for physical exercise monitoring | |
| Albuquerque et al. | Remote Gait type classification system using markerless 2D video | |
| Stogiannopoulos et al. | A study of machine learning regression techniques for non-contact spo2 estimation from infrared motion-magnified facial video | |
| Han et al. | Research method of discontinuous-gait image recognition based on human skeleton keypoint extraction | |
| CN109948481B (zh) | 一种基于窄带射频链路采样的无源人体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170308 |