CN117297594A - 基于毫米波雷达与热成像的居家健康协同监测方法及装置 - Google Patents

基于毫米波雷达与热成像的居家健康协同监测方法及装置 Download PDF

Info

Publication number
CN117297594A
CN117297594A CN202311437277.6A CN202311437277A CN117297594A CN 117297594 A CN117297594 A CN 117297594A CN 202311437277 A CN202311437277 A CN 202311437277A CN 117297594 A CN117297594 A CN 117297594A
Authority
CN
China
Prior art keywords
old
data
thermal imaging
state
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311437277.6A
Other languages
English (en)
Inventor
高昆
王明琪
陈久宸
傅檬
方业皓
史佳灵
刘卓
张嫦红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202311437277.6A priority Critical patent/CN117297594A/zh
Publication of CN117297594A publication Critical patent/CN117297594A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08—Elderly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency

Abstract

本发明公开了一种基于毫米波雷达与热成像的居家健康协同监测方法及装置，涉及智能看护领域和人工智能技术领域，包括：传感器模块、微处理器、数据上传模块；通过各个模块之间协同，将老人所处的状态进行划分，对原始数据进行预处理，分析与概率计算，明确待监测老人所处状态，采取对应的监测模式，监测模式可根据老人状态实时自动切换，通过毫米波雷达与红外热成像探头的监测数据互补，提前预判老人的跌倒风险，及时作出提醒；本发明具有易用性、准确性高的优点，能够实时监测和记录老人的心率、呼吸频率和动作数据，并确定老年人身体状态，在老年人身体状态异常时及时触发求助。

Description

基于毫米波雷达与热成像的居家健康协同监测方法及装置
技术领域
本发明涉及智能看护领域和人工智能技术领域，更具体地，涉及一种基于毫米波雷达与热成像的居家健康协同监测方法及装置。
背景技术
随着社会老龄化程度的加剧，如何保障老年人的居家安全成为亟待解决的问题。跌倒是老年居家常见的事故之一，可能导致骨折、擦伤或其他身体损伤。对于独居老人来说，尤其是在没有他人在场的情况下，跌倒事件的风险更加严重。疾病发作同样具有严重的潜在危害，如中风或心脏病发作，如果不及时识别和处理，可能会导致严重的后果。现有技术中的识别方法通常只针对老人的动作数据识别跌倒行为，无法对昏迷等疾病发作情况进行识别。此外，现有技术通常仅使用毫米波雷达或红外热成像探头中的一种捕捉待监测目标数据，而毫米波雷达空间分辨率和精度较低、红外热成像探头穿透能力较弱，单独使用其中一种获取的监测数据不够精确。
因此，为了进一步保障老年人的居家安全，研发一种能够准确全方位监测和记录老人身体状态并在必要时提供及时的干预和警报的方法和装置，具有重要的现实意义。
发明内容
有鉴于此，本发明提供一种基于毫米波雷达与热成像的居家健康协同监测方法及装置，可以全方位监测和准确记录老人身体状态并在必要时提供及时的干预和警报。
第一方面，本申请提供一种基于毫米波雷达与热成像的居家健康协同监测方法，包括以下步骤：
S1：根据红外热成像数据判断待监测老人状态，状态集合包括老人未出现在画面中、老人平躺，老人站立或行走、老人下蹲或静坐、其他状态；
S2：当老人处于站立或行走状态时进入跌倒监测模式；所述跌倒监测模式包括以下步骤：
S21：根据毫米波雷达数据获得待监测老人在滑动窗口时间Δt内最大加速度a，单位为m2/s，和最大速度v，单位为m/s，根据红外热成像数据实时获得老人轮廓最高点坐标(xH，yH)和老人轮廓最低点坐标(xL,yL)；
S22：计算老人在任意时刻i的上体朝向角并获得老人在Δt时间的最大上体朝向角θmax和最小上体朝向角θmin；
S23：计算老人在Δt时间内上体朝向角速度其中，Δθ＝θmax-θmin；
S24：判断老人在Δt时间内最大速度v是否超过速度阈值v0、角速度ω是否超过角速度阈值ω0、最大加速度a是否超过加速度阈值a0；如果最大速度v、角速度ω、最大加速度a中两个及以上超过对应阈值，则判断老人跌倒；反之，则老人未跌倒；
其中，v0取1.20-1.32m/s；ω0取3.8-4.2rad/s；a0的计算公式为K取17-21；
S3：当老人由未出现在画面中、站立或行走、下蹲或静坐、其他状态转为平躺状态时进入心率与呼吸异常监测模式；所述心率与呼吸异常监测模式具体步骤如下：
S31：在进入心率与呼吸异常监测模式的初始t0时间内，以Δt′＝t0/m的间隔取样m次，得到m个心率数据集X和m个呼吸数据集H；
S32：对于每个心率数据集Xi和呼吸数据集Hi，分别计算老人心率数据的最大值Ximax、最小值Ximin、平均值Xiave和波动性指标Xis，以及呼吸频率数据的最大值Himax、最小值Himin、平均值Hiave和波动性指标His；
其中，波动性指标为数据与数据集平均值的均方根误差；
S33：比较m个数据集的Xis，取Xis最小的数据集的Xiave作为t0时间内的心率平均值Xave；比较m个数据集的His，取His最小的数据集的Hiave作为t0时间内的呼吸频率平均值Have；
S34：计算Xid＝Ximin/Xiave，对所有Xid取均值后获得Xd；
计算Xiu＝Ximax/Xiave，对所有Xiu取均值后获得Xu；
计算Hid＝Himin/Hiave，对所有Hid取均值后获得Hd；
计算Hiu＝Himax/Hiave，对所有Hiu取均值后获得Hu；
S35：实时监测老人心率Xt和呼吸频率Ht；判断Xt和Ht是否满足ζXd＜Xt/Xave＜ηXu、ζHd＜Ht/Have＜ηHu；其中，ζ和η为常量，如果Xt和Ht均满足上式，则老人心率与呼吸正常；反之，则老人心率与呼吸异常；
S4：当老人状态不满足站立或行走以及老人下蹲或静坐情况时不进行异常监测。
可选地，根据红外热成像数据判断待监测老人状态，所述判断方法包括：
获取红外热成像画面中近似人体体温部分轮廓点集，
若画面中不存在近似人体体温部分，则判断待监测老人为未出现在画面中状态；
若画面中存在近似人体体温部分，则利用预训练的人体轮廓识别模型，对所述人体体温部分轮廓点集进行人体轮廓识别；
若未识别到人体轮廓，则判断待监测老人为未出现在画面中状态；
若识别到人体轮廓，则利用预训练的身体状态识别模型，对所述人体轮廓点集图像进行身体状态特征识别；身体状态识别模型输出待监测老人分别处于平躺、站立或行走、下蹲或静坐状态的概率；
若待监测老人分别处于平躺、站立或行走、下蹲或静坐状态的概率均低于50％，则判断老人处于其他状态；若待监测老人分别处于平躺、站立或行走、下蹲或静坐状态的概率有一个或者多个高于50％，则判断老人处于最大概率对应的状态。
可选地，所述滑动窗口时间Δt取2s至5s之间；所述初始t0时间取8s至12s之间，取样次数a取5次。
可选地，所述ζ取值在0.78至0.87之间，η取值在1.12至1.23之间。
可选地，对毫米波雷达和红外热成像探头的原始监测数据，首先进行数据预处理，所述数据预处理包含以下步骤：
对毫米波雷达数据和红外热成像数据进行时空对齐；
对原始监测数据进行清洗，消除异常值并借助插值方法来填补缺失数据点；
对红外热成像图像进行平均值滤波，得到降噪图像；对所述降噪图像进行去模糊及对比度增强操作。
第二方面，本申请还提供一种基于毫米波雷达与热成像的居家健康协同监测装置，用于实现上述基于毫米波雷达与热成像的居家健康协同监测方法，所述装置包括传感器模块、微处理器、数据上传模块、电源模块、显示屏、控制按键；
所述传感器模块，包括毫米波雷达和红外热成像探头，用于实时收集待监测老人的数据，并将监测数据传递给所述微处理器；
所述微处理器用于从所述监测数据中提取待监测老人的心率、呼吸频率和动作数据；
所述数据上传模块用于将所述心率、呼吸频率、动作数据上传至终端，便于用户或用户亲属查看；
所述微处理器用于判断老人状态，如果老人身体状态异常，数据上传模块会将警告信息上传至终端。
可选地，所述数据上传模块包括嵌入式处理器或微控制器，所述数据上传模块通过运行定制的通信程序，发送老人身体状况数据；所述数据上传模块还包括无线通信模块，所述无线通信模块与终端设备的连接方式包括蓝牙、WIFI、ZigBee中的至少一种。
与现有技术相比，本发明提供的一种基于毫米波雷达与热成像的居家健康协同监测方法及装置，至少实现了如下的有益效果：
1、识别速度更快：本发明在装置内对数据进行处理与计算，相较于云端处理模式，实时性更高；此外，还通过红外热成像探头获得人体热力图进行状态监测，主要区分老人未出现在画面中、平躺、站立行走等状态，相较于传统机器视觉，图像处理步骤简化，识别正确率较高、识别速度更快、对硬件资源需求更小。
2、多种模式切换：本发明对用户的身体姿势进行监控，当用户的作息状态变为平躺状态时，启动呼吸和心率异常监测过程；当用户处于站立行走状态，启动跌倒异常监测过程；当室内处于无人状态时，系统处于待机状态。多种模式切换不仅能够降低系统功耗，还能提高识别准确率，减少误报情况发生。
3、用户适应性更好：通过合理设计数据采集窗口期与间隔，对相应数据进行清洗、转换单位和归一化处理，便于计算模块计算，提高计算和阈值警示准确率；本装置可对不同个体采集特定的呼吸心率数据特征，提高用户适应性。
4、多模数据融合：将毫米波雷达数据与红外热成像数据进行功能协同，完美解决了毫米波雷达空间分辨率低、红外热成像穿透能力弱的缺点。获取多方面数据包括速度、加速度、角度等，设置多个阈值并引入热力图成像技术弥补人体快速运动等行为造成的跌倒误判，使得判断跌倒的准确率更高、算法适应性更强。
5、集成高效：本发明将心率与呼吸异常监测功能和跌倒监测集成在同一装置中，在识别跌倒风险的同时，可以尽早识别心率和呼吸异常，提高装置报警时效性。
当然，实施本发明的任一产品不必特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1所示为本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法示意图；
图2所示为本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法中判断目标是否跌倒的流程框图；
图3所示为本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法中判断目标心率和呼吸是否异常的流程框图；
图4所示为本发明实施例中提供的一种基于毫米波雷达与热成像的居家健康协同监测装置连接示意图；
图5所示为本发明实施例中提供的一种基于毫米波雷达与热成像的居家健康协同监测装置外观示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
在不脱离本发明的精神或范围的情况下，在本发明中能进行各种修改和变化，这对于本领域技术人员来说是显而易见的。因而，本发明意在覆盖落入所对应权利要求(要求保护的技术方案)及其等同物范围内的本发明的修改和变化。需要说明的是，本发明实施例所提供的实施方式，在不矛盾的情况下可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1所示为本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法示意图，图2所示为本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法中判断目标是否跌倒的流程框图，图3所示为本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法中判断目标心率和呼吸是否异常的流程框图，请参考图1至图3，本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法包括以下步骤：
S1：根据红外热成像数据判断待监测老人状态，状态集合包括老人未出现在画面中L0、老人平躺L1，老人站立或行走L2、老人下蹲或静坐L3、其他状态L4；
S2：当老人处于站立或行走L2状态时进入跌倒监测模式C2；跌倒监测模式C2包括以下步骤：
S21：根据毫米波雷达数据获得待监测老人在滑动窗口时间Δt内最大加速度a，单位为m2/s，和最大速度v，单位为m/s，根据红外热成像数据实时获得老人轮廓最高点坐标(xH，yH)和老人轮廓最低点坐标(xL,yL)；
S22：计算老人在任意时刻i的上体朝向角并获得老人在Δt时间的最大上体朝向角θmax和最小上体朝向角θmin；
S23：计算老人在Δt时间内上体朝向角速度其中，Δθ＝θmax-θmin；
S24：判断老人在Δt时间内最大速度v是否超过速度阈值v0、角速度ω是否超过角速度阈值ω0、最大加速度a是否超过加速度阈值a0；如果最大速度v、角速度ω、最大加速度a中两个及以上超过对应阈值，则判断老人跌倒；反之，则老人未跌倒；
其中，v0取1.20-1.32m/s；ω0取3.8-4.2rad/s；a0的计算公式为K取17-21；
S3：当老人由未出现在画面中L0、站立或行走L2、下蹲或静坐L3、其他状态L4转为平躺L1状态时进入呼吸与心率异常监测模式C1；呼吸与心率异常监测模式C1具体步骤如下：
S31：在进入呼吸与心率异常监测模式C1的初始t0时间内，以Δt′＝t0/m的间隔取样m次，得到m个心率数据集X和m个呼吸数据集H；
S32：对于每个心率数据集Xi和呼吸数据集Hi，分别计算老人心率数据的最大值Ximax、最小值Ximin、平均值Xiave和波动性指标Xis，以及呼吸频率数据的最大值Himax、最小值Himin、平均值Hiave和波动性指标His；
其中，波动性指标为数据与数据集平均值的均方根误差；
S33：比较m个数据集的Xis，取Xis最小的数据集的Xiave作为t0时间内的心率平均值Xave；比较m个数据集的His，取His最小的数据集的Hiave作为t0时间内的呼吸频率平均值Have；
S34：计算Xid＝Ximin/Xiave，对所有Xid取均值后获得Xd；
计算Xiu＝Ximax/Xiave，对所有Xiu取均值后获得Xu；
计算Hid＝Himin/Hiave，对所有Hid取均值后获得Hd；
计算Hiu＝Himax/Hiave，对所有Hiu取均值后获得Hu；
S35：实时监测老人心率Xt和呼吸频率Ht；判断Xt和Ht是否满足ζXd＜Xt/Xave＜ηXu、ζHd＜Ht/Have＜ηHu；其中，ζ和η为常量，如果Xt和Ht均满足上式，则老人心率与呼吸正常；反之，则老人心率与呼吸异常；
S4：当老人状态不满足站立或行走L2以及下蹲或静坐L3情况时不进行异常监测。
具体而言，请参考图1，本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法，首先将老人所处的状态分为老人未出现在画面中L0、老人平躺L1，老人站立或行走L2、老人下蹲或静坐L3、其他状态L4这五个类别，对应监测到的老人不同的状态，切换不同的监测模式。
请参考图2，在本发明的一种可选实施方式中，当老人处于站立或行走状态L2时，装置进入跌倒监测模式C2。根据毫米波雷达数据获得待监测老人在滑动窗口时间Δt内最大加速度a和最大速度v。根据红外热成像数据实时获得老人轮廓最高点坐标(xH，yH)和老人轮廓最低点坐标(xL，yL)。
计算老人在任意时刻i的上体朝向并获得老人在Δt时间的最大上体朝向角θmax和最小上体朝向角θmin。
计算老人在Δt时间内上体朝向角速度其中，Δθ＝θmax-θmin。
判断老人在Δt时间内最大速度v是否超过速度阈值v0、角速度ω是否超过角速度阈值ω0、最大加速度a是否超过加速度阈值a0。如果上述三个条件满足其中两个或全部满足，则判断老人跌倒；反之，则老人未跌倒。
其中，v0取1.20-1.32m/s；ω0取3.8-4.2rad/s；a0的计算公式为K取17-21。也即，当老人处于站立或行走状态L2时，装置进入跌倒监测模式C2，该模式通过毫米波雷达202获得老人在一定时间内的最大速度和最大加速度，再协同红外热成像数据获得老人轮廓最高点坐标和最低点坐标，从而计算出在一定时间内老人的上体朝向角加速度，通过将测得与计算得到的最大速度、最大加速度、角速度与对应的阈值进行对比，若三者中有两者及以上数据超过对应阈值，则系统判定老人跌倒，反之，则老人未跌倒；如此，通过毫米波雷达202与红外热成像探头201的监测数据互补，可计算出老人处于站立或行走状态时的速度与跌倒倾向，从而提前预判老人的跌倒风险，及时作出提醒。
请参考图3，在本发明的另一种可选实施方式中，当老人处于平躺L1状态时，装置进入心率与呼吸异常监测模式C1。初始t0时间内，以Δt′＝t0/m的间隔取样m次，得到m个心率数据集X和m个呼吸数据集H。
对于每个心率数据集Xi和呼吸数据集Hi，分别计算老人心率数据的最大值Ximax、最小值Ximin、平均值Xiave和波动性指标Xis，以及呼吸频率数据的最大值Himax、最小值Himin、平均值Hiave和波动性指标His。
其中，波动性指标为数据与数据集平均值的均方根误差。
计算Xid＝Ximin/Xiave，对所有Xid取均值后获得Xd；
计算Xiu＝Ximax/Xiave，对所有Xiu取均值后获得Xu；
计算Hid＝Himin/Hiave，对所有Hid取均值后获得Hd；
计算Hiu＝HimaxHHiave，对所有Hiu取均值后获得Hu；
比较m个数据集的Xis，得到Xis最小的数据集的Xiave作为t0时间内的心率平均值Xave；比较m个数据集的His，得到His最小的数据集的Hiave作为t0时间内的呼吸频率平均值Have。
实时监测老人心率Xt和呼吸频率Ht。判断Xt和Ht是否满足ζXd＜Xt/Xave＜ηXu、ζHd＜Ht/Have＜ηHu。如果Xt和Ht均满足上述条件，则老人心率与呼吸正常；反之，则老人心率与呼吸异常。也即，当老人由非平躺状态转为平躺L1状态时，进入心率与呼吸异常监测模式C1，通过对在一定时间内采集到的心率数据集和呼吸数据集进行最大值、最小值、平均值和波动性指标进行分析，判定老人心率和呼吸是否正常，如此，从非平躺状态转为平躺L1状态时，将其它监测模式切换到心率与呼吸异常监测模式C1，可及时对老人平躺L1状态下的呼吸和心率进行监测。
优选地，ζ取值在0.78至0.87之间，η取值在1.12至1.23之间。
优选地，滑动窗口时间Δt取2s至5s之间；初始t0时间取8s至12s之间，取样次数a取5次。具体而言，滑动窗口时间Δt可取2s、3s、4s、5s；初始t0时间可取8s、9s、10s、11s、12s；取样次数a取5次，若取样次数小于5次，则取样次数太少，导致计算粗放，监测结果不精确，若取样次数大于5次，则取样次数太多，数据繁杂，计算量过大，增加运行负载。如此，通过设置滑动窗口时间Δt取2s至5s之间；初始t0时间取8s至12s之间，取样次数a取5次，可在不增加运行负载的前提下获得较为精确的判定结果。
在本发明的一种可选实施例中，本发明提供的一种基于毫米波雷达与热成像的居家健康协同监测方法可根据红外热成像数据判断待监测老人状态，判断方法包括：
获取红外热成像画面中近似人体体温部分轮廓点集，
若画面中不存在近似人体体温部分，则判断待监测老人为未出现在画面中L0状态；
若画面中存在近似人体体温部分，则利用预训练的人体轮廓识别模型，对人体体温部分轮廓点集进行人体轮廓识别；
若未识别到人体轮廓，则判断待监测老人为未出现在画面中L0状态；
若识别到人体轮廓，则利用预训练的身体状态识别模型，对人体轮廓点集图像进行身体状态特征识别；身体状态识别模型输出待监测老人分别处于平躺L1、站立或行走L2、下蹲或静坐L3状态的概率；
若待监测老人分别处于平躺L1、站立或行走L2、下蹲或静坐L3状态的概率均低于50％，则判断老人处于其他状态L4；若待监测老人分别处于平躺L1、站立或行走L2、下蹲或静坐L3状态的概率有一个或者多个高于50％，则判断老人处于最大概率对应的状态。
也即，判断老人所处状态时，先获取红外热成像数据中人体体温部分轮廓点集，通过识别画面中近似人体体温部分及人体轮廓，将画面中不存在近似人体体温部分以及未识别到人体轮廓状态判定为待监测老人未出现在画面中L0状态；如果画面中存在近似人体体温部分，则利用预训练的人体轮廓识别模型对存在近似人体体温部分轮廓点集进行人体轮廓识别，当识别到人体轮廓后，进一步利用预训练的身体状态识别模型对人体轮廓点集图像进行身体状态特征识别，由于老人并不会长时间处于一个状态静止不动，因此监测一定时间内老人分别处于平躺L1、站立或行走L2、下蹲或静坐L3状态的概率，将最大概率对应的老人所处的状态判定为老人当前所处的状态，从而采取对应的监测模式，可选地，老人并不会长期处于同一种状态，因此各个监测模式之间可实时灵活自动切换；如此，通过对红外热成像数据中近似人体体温部分轮廓点集的分析与概率计算，可明确待监测老人所处的状态，采取对应的监测模式，又由于老人的状态实时变化，对应的监测模式也实时自动切换，从而实现监测模式动态切换。
在本发明的一种可选实施例中，本发明提供的一种基于毫米波雷达与热成像的居家健康协同监测方法中，对毫米波雷达202和红外热成像探头201的原始监测数据，首先进行数据预处理，数据预处理包含以下步骤：
对毫米波雷达数据和红外热成像数据进行时空对齐；
对原始监测数据进行清洗，消除异常值并借助插值方法来填补缺失数据点；
对红外热成像图像进行平均值滤波，得到降噪图像；对降噪图像进行去模糊及对比度增强操作。
具体而言，本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测方法，数据提取模块在收到传感器模块200传递的监测数据时，首先进行数据预处理，数据预处理包括将毫米波雷达数据和红外热成像数据进行时空对齐，时空对齐可改进数据集和分析结果的准确性和一致性；对原始监测数据进行清洗，对出现的明显异常值进行消除，并在消除异常值之后的缺失数据点位借助插值方法进行填补；对红外热成像图像进行平均值滤波，得到降噪图像；对降噪图像进行去模糊及对比度增强操作，即可得到所需的预处理后的数据集，如此，通过对原始数据进行时空对齐、数据清洗、滤波降噪以及去模糊对比增强，可初步对数据进行预处理，剔除无效数据，缩小数据范围，从而精确判定结果。
图4所示为本发明实施例中提供的一种基于毫米波雷达与热成像的居家健康协同监测装置连接示意图，图5所示为本发明实施例中提供的一种基于毫米波雷达与热成像的居家健康协同监测装置外观示意图，请参考图4和图5，本发明实施例提供的一种基于毫米波雷达与热成像的居家健康协同监测装置中的传感器模块200，包括毫米波雷达202和红外热成像探头201，用于实时收集待监测老人的数据，并将监测数据传递给微处理器206；
微处理器206用于从监测数据中提取待监测老人的心率、呼吸频率和动作数据；
数据上传模块208用于将心率、呼吸频率、动作数据上传至终端，便于用户或用户亲属查看；
微处理器206用于判断老人状态，如果老人身体状态异常，数据上传模块208会将警告信息上传至终端。
具体而言，在本发明实施例所提供的一种可选实施方式中，本发明提供的一种基于毫米波雷达与热成像的居家健康协同监测装置用于实现上述基于毫米波雷达与热成像的居家健康协同监测方法，装置包括传感器模块200、微处理器206、数据上传模块208、电源模块207、显示屏203、控制按键204、报警装置205；其中，传感器模块200位于装置前端、便于收集待监测老人数据，控制按键204位于显示屏203下端，可选地，控制按键204可以为多个，用于控制电源接通、开关启动以及查询部分历史数据；报警装置205位于显示屏203侧后位，用于装置对待监测老人提前预判的风险状态进行报警，可选地，报警装置205可为警铃或声光报警器。
请继续参考图4和图5，传感器模块200包括毫米波雷达202传感器，毫米波雷达202传感器采用成熟的毫米波雷达芯片和天线设计方案，搭配嵌入式处理器和定制的固件，实现对待监测老人的动作监测。选择老人居住区域的主要活动空间进行安装，例如客厅、卧室和走廊等，确保传感器位置能够覆盖整个活动空间，并避免与其他电子设备干扰。
请继续参考图4和图5，传感器模块200还包括红外热成像探头201，红外热成像探头201通过微控制器采集待监测老人数据，并发送至数据上传模块208；安装在老人居住区域的主要活动空间的墙壁或天花板上，确保传感器能够覆盖整个活动空间，以便监测到人体的运动。
需要说明的是，如图4所示，装置中各个模块的连接方式为：电源模块207分别对微处理器206、数据上传模块208、传感器模块200提供电源，微处理器206与数据上传模块208为双通信方式，由于装置设置了多种工作模式，导致监测不同状态时参与的传感器和获取的信息是不同的，设置微处理器206与数据上传的双通信方式可以在不同模式下给传感器发送信息来启动相应的传感器，从而获取该监测模式下对应的监测数据；此外，由于数据上传模块208也是一个通讯模块，通过设置数据上传模块208与微处理器206双通信方式，可以通过装置配有的应用端进行一些必要的操作来实现对装置的一些控制，比如使用应用端的用户可通过手机来让装置中的报警装置205，及时提醒陪护人员关注老人的风险状态，或者亲属也可通过报警装置205定时提醒有慢性病的老人按时用药，起到日常监督服药的作用，如此，通过微处理器206与数据上传模块208的双通信，可实现用户端对装置的一定控制，通过传感器模块200与微处理器206之间的双通信，可在不同模式下给传感器发送信息来启动相应的传感器，从而获取该监测模式下对应的监测数据
请继续参考图4和图5，在本发明的一种可选实施方式中，居家健康协同监测装置还包括微处理器206，微处理器206采用高性能嵌入式处理器作为核心处理器，并运行定制的数据处理程序，以对接收到的传感器数据进行预处理和提取所需特征数据，微处理器206与传感器模块200可通过无线或有线方式进行连接，对于无线连接，可以使用蓝牙、WIFI、ZigBee等无线技术；数据上传模块208的安装位置应尽量靠近传感器模块200，以确保信号传输的稳定性；如果传感器布置较为分散，还可以设置多个数据上传模块208分别与不同的传感器连接，确保数据的及时传递；与此同时，在微处理器206上运行老人身体状态监测算法，实现特征变量的计算并判断老人身体状态是否异常。
请继续参考图4，在本发明的一种可选实施方式中，居家健康协同监测装置还包括数据上传模块208，数据上传模块208使用嵌入式处理器或微控制器作为核心控制单元，运行定制的通信程序，实现老人身体状态数据的上传；数据上传模块208还包括无线通信模块，如WIFI、蜂窝网络(4G/5G)等，实现用户终端或云服务器的通讯；用户终端允许用户设置数据上传方式和紧急情况提醒方式；数据上传模块208与微处理器206可使用有线或无线方式连接。
在本发明的一种可选实施方式中，在传感器模块200和数据上传模块208的基础上，还可以通过引入循环神经网络(RNN)进行长期趋势分析。通过记录和分析历史数据来监测慢性疾病或病情恶化的迹象，以便更好地了解老年人的整体健康趋势。RNN是一种非常适合处理序列数据的深度学习模型，可以自动学习出数据中的序列信息。基于趋势分析的结果，系统可以生成个性化的健康建议。此外，当趋势分析发现重要的健康变化或风险时，能够及时通知老年人或其照顾者。这可以在疾病恶化之前提供警告，以采取适当的应对措施。
在本发明的一种可选实施方式中，还可以使用多模态融合技术将不同传感器收集到的数据进行融合，以进一步提高识别的准确性。例如，可以考虑将本发明与智能手环、心率监测器等设备连接，将各种传感器产生的数据进行协同分析，以识别不同数据源之间的关联性和互补性。这可以帮助更好地理解老年人的整体健康状况。与此同时，整合多模态数据可以更好地跟踪老年人的健康趋势，如心率和活动水平的变化，以及与慢性疾病相关的因素，有助于更早地发现潜在的健康问题。
在本发明的一种可选实施方式中，为了提高本发明在实际应用中的可靠性和实用性，还可以采用云端计算和边缘计算相结合的方式，对传感器数据进行处理和分析。将数据存储在云端可以确保数据的安全性和可访问性。老年人的监测数据可以在各种设备之间共享，并随时随地访问，以便医护人员和家庭成员能够远程监测老人身体状况。并且云端计算可以提供强大的计算资源，用于对大规模数据进行分析和机器学习，以监测趋势、异常和提供更精确的健康建议；边缘计算可以处理即时数据，降低延迟，特别是在紧急情况下可以实现更快速的响应，如紧急警报或迅速采取措施来避免摔倒等情况。综合考虑云端计算和边缘计算的优势，可以为老人身体状态监测方法提供更强大的功能，更广泛的应用和更好的用户体验。这一融合将在远程监测、智能健康管理和老年人护理领域带来许多创新机会。
通过上述实施例可知，本发明提供的一种基于毫米波雷达与热成像的居家健康协同监测方法及装置，至少实现了如下的有益效果：本发明提供的一种基于毫米波雷达与热成像的居家健康协同监测装置包括传感器模块、微处理器、数据上传模块、电源模块、显示屏、控制按键，各个模块之间协同，可运行本发明提供的一种基于毫米波雷达与热成像的居家健康协同监测方法，该方法首先将老人所处的状态分为老人未出现在画面中、老人平躺，老人站立或行走、老人下蹲或静坐、其他状态这五个类别，对应监测到的老人不同的状态，切换不同的监测模式；通过对红外热成像数据中近似人体体温部分轮廓点集的分析与概率计算，可明确待监测老人所处的状态，采取对应的监测模式，又由于老人的状态实时变化，对应的监测模式也实时自动切换，从而实现监测模式动态切换；通过对原始数据进行时空对齐、数据清洗、滤波降噪以及去模糊对比增强，可初步对数据进行预处理，提出无效数据，缩小数据范围，从而精确判定结果；从非平躺状态转为平躺状态时，将其它监测模式切换到心率与呼吸异常监测模式，可及时对老人平躺状态下的呼吸和心率进行监测；通过毫米波雷达与红外热成像探头的监测数据互补，可计算出老人处于站立或行走状态时的速度与跌倒倾向，从而提前预判老人的跌倒风险，及时作出提醒。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种基于毫米波雷达与热成像的居家健康协同监测方法，其特征在于，所述方法包括以下步骤：
S1：根据红外热成像数据判断待监测老人状态，状态集合包括老人未出现在画面中、老人平躺，老人站立或行走、老人下蹲或静坐、其他状态；
S2：当老人处于站立或行走状态时进入跌倒监测模式；所述跌倒监测模式包括以下步骤：
S21：根据毫米波雷达数据获得待监测老人在滑动窗口时间Δt内最大加速度a，单位为m2/s，和最大速度v，单位为m/s，根据红外热成像数据实时获得老人轮廓最高点坐标(xH，yH)和老人轮廓最低点坐标(xL,yL)；
S22：计算老人在任意时刻i的上体朝向角并获得老人在Δt时间的最大上体朝向角θmax和最小上体朝向角θmin；
S23：计算老人在Δt时间内上体朝向角速度其中，Δθ＝θmax-θmin；
S24：判断老人在Δt时间内最大速度v是否超过速度阈值v0、角速度ω是否超过角速度阈值ω0、最大加速度a是否超过加速度阈值a0；如果最大速度v、角速度ω、最大加速度a中两个及以上超过对应阈值，则判断老人跌倒；反之，则老人未跌倒；
其中，v0取1.20-1.32m/s；ω0取3.8-4.2rad/s；a0的计算公式为K取17-21；
S3：当老人由未出现在画面中、站立或行走、下蹲或静坐、其他状态转为平躺状态时进入心率与呼吸异常监测模式；所述心率与呼吸异常监测模式具体步骤如下：
S31：在进入心率与呼吸异常监测模式的初始t0时间内，以Δt′＝t0/m的间隔取样m次，得到m个心率数据集X和m个呼吸数据集H；
S32：对于每个心率数据集Xi和呼吸数据集Hi，分别计算老人心率数据的最大值Ximax、最小值Ximin、平均值Xiave和波动性指标Xis，以及呼吸频率数据的最大值Himax、最小值Himin、平均值Hiave和波动性指标His；
其中，波动性指标为数据与数据集平均值的均方根误差；
S33：比较m个数据集的Xis，取Xis最小的数据集的Xiave作为t0时间内的心率平均值Xave；比较m个数据集的His，取His最小的数据集的Hiave作为t0时间内的呼吸频率平均值Have；
S34：计算Xid＝Ximin/Xiave，对所有Xid取均值后获得Xd；
计算Xiu＝Ximax/Xiave，对所有Xiu取均值后获得Xu；
计算Hid＝Himin/Hiave，对所有Hid取均值后获得Hd；
计算Hiu＝Himax/Hiave，对所有Hiu取均值后获得Hu；
S35：实时监测老人心率Xt和呼吸频率Ht；判断Xt和Ht是否满足ζXd＜Xt/Xave＜ηXu、ζHd＜Ht/Have＜ηHu；其中，ζ和η为常量，如果Xt和Ht均满足上式，则老人心率与呼吸正常；反之，则老人心率与呼吸异常；
S4：当老人状态不满足站立或行走以及老人下蹲或静坐情况时不进行异常监测。
2.根据权利要求1所述的一种基于毫米波雷达与热成像的居家健康协同监测方法，其特征在于，根据红外热成像数据判断待监测老人状态，所述判断方法包括：
获取红外热成像画面中近似人体体温部分轮廓点集，
若画面中不存在近似人体体温部分，则判断待监测老人为未出现在画面中状态；
若画面中存在近似人体体温部分，则利用预训练的人体轮廓识别模型，对所述人体体温部分轮廓点集进行人体轮廓识别；
若未识别到人体轮廓，则判断待监测老人为未出现在画面中状态；
若识别到人体轮廓，则利用预训练的身体状态识别模型，对所述人体轮廓点集图像进行身体状态特征识别；身体状态识别模型输出待监测老人分别处于平躺、站立或行走、下蹲或静坐状态的概率；
若待监测老人分别处于平躺、站立或行走、下蹲或静坐状态的概率均低于50％，则判断老人处于其他状态；若待监测老人分别处于平躺、站立或行走、下蹲或静坐状态的概率有一个或者多个高于50％，则判断老人处于最大概率对应的状态。
3.根据权利要求1所述的一种基于毫米波雷达与热成像的居家健康协同监测方法，其特征在于，所述滑动窗口时间Δt取2s至5s之间；所述初始t0时间取8s至12s之间，取样次数a取5次。
4.根据权利要求1所述的一种基于毫米波雷达与热成像的居家健康协同监测方法，其特征在于，所述ζ取值在0.78至0.87之间，η取值在1.12至1.23之间。
5.根据权利要求1所述的一种基于毫米波雷达与热成像的居家健康协同监测方法，其特征在于，对毫米波雷达和红外热成像探头的原始监测数据，首先进行数据预处理，所述数据预处理包含以下步骤：
对毫米波雷达数据和红外热成像数据进行时空对齐；
对原始监测数据进行清洗，消除异常值并借助插值方法来填补缺失数据点；
对红外热成像图像进行平均值滤波，得到降噪图像；对所述降噪图像进行去模糊及对比度增强操作。
6.一种基于毫米波雷达与热成像的居家健康协同监测装置，用于实现权利要求1至5中任一所述的基于毫米波雷达与热成像的居家健康协同监测方法，其特征在于，所述装置包括传感器模块、微处理器、数据上传模块、电源模块、显示屏、控制按键；
所述传感器模块，包括毫米波雷达和红外热成像探头，用于实时收集待监测老人的数据，并将监测数据传递给所述微处理器；
所述微处理器用于从所述监测数据中提取待监测老人的心率、呼吸频率和动作数据；
所述数据上传模块用于将所述心率、呼吸频率、动作数据上传至终端，便于用户或用户亲属查看；
所述微处理器用于判断老人状态，如果老人身体状态异常，数据上传模块会将警告信息上传至终端。
7.根据权利要求6所述的一种基于毫米波雷达与热成像的居家健康协同监测装置，其特征在于，所述数据上传模块包括嵌入式处理器或微控制器，所述数据上传模块通过运行定制的通信程序，发送老人身体状况数据；所述数据上传模块还包括无线通信模块，所述无线通信模块与终端设备的连接方式包括蓝牙、WIFI、ZigBee中的至少一种。
CN202311437277.6A 2023-11-01 2023-11-01 基于毫米波雷达与热成像的居家健康协同监测方法及装置 Pending CN117297594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311437277.6A CN117297594A (zh) 2023-11-01 2023-11-01 基于毫米波雷达与热成像的居家健康协同监测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311437277.6A CN117297594A (zh) 2023-11-01 2023-11-01 基于毫米波雷达与热成像的居家健康协同监测方法及装置

Publications (1)

Publication Number Publication Date
CN117297594A true CN117297594A (zh) 2023-12-29

Family

ID=89286548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311437277.6A Pending CN117297594A (zh) 2023-11-01 2023-11-01 基于毫米波雷达与热成像的居家健康协同监测方法及装置

Country Status (1)

Country Link
CN (1) CN117297594A (zh)

Similar Documents

Publication Publication Date Title
US9972187B1 (en) Biomechanical parameter determination for emergency alerting and health assessment
Deep et al. A survey on anomalous behavior detection for elderly care using dense-sensing networks
US11270799B2 (en) In-home remote monitoring systems and methods for predicting health status decline
CA2631870C (en) Residual-based monitoring of human health
Augustyniak et al. Seamless tracing of human behavior using complementary wearable and house-embedded sensors
CN107092806A (zh) 一种面向老人家居智能化的信息融合与预警方法
US20210063214A1 (en) Activity Monitoring Systems And Methods
US20210065891A1 (en) Privacy-Preserving Activity Monitoring Systems And Methods
Rastogi et al. A systematic review on machine learning for fall detection system
Zhang et al. A context-aware mhealth system for online physiological monitoring in remote healthcare
CN110197732B (zh) 一种基于多传感器的远程健康监控系统、方法与设备
CN106599802A (zh) 一种基于云技术的智能楼道监控系统
Zhao et al. Detecting abnormal patterns of daily activities for the elderly living alone
JP7258918B2 (ja) モニタリング対象者のバイタルサインの信頼性の決定
EP3807890B1 (en) Monitoring a subject
Zhang et al. A framework for remote interaction and management of home care elderly adults
AU2021236462B2 (en) Residual-based monitoring of human health
CN113688740B (zh) 一种基于多传感器融合视觉的室内姿势检测方法
Poorani et al. Sensor based decision making inference system for remote health monitoring
CN116098595B (zh) 一种心源性及脑源性猝死监测预防系统和方法
CN117297594A (zh) 基于毫米波雷达与热成像的居家健康协同监测方法及装置
Sujin et al. Public e-health network system using arduino controller
CN113671489A (zh) 状态提醒方法及装置、电子设备和计算机可读存储介质
JP2023521416A (ja) 環境健康監視および予測的評価を可能にする非接触型センサー駆動デバイス、システム、および方法
US20160228067A1 (en) System and method for intelligent monitoring of patient vital signs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination