CN114469076B - 一种融合身份特征的独居老人跌倒识别方法及系统 - Google Patents
一种融合身份特征的独居老人跌倒识别方法及系统 Download PDFInfo
- Publication number
- CN114469076B CN114469076B CN202210079525.3A CN202210079525A CN114469076B CN 114469076 B CN114469076 B CN 114469076B CN 202210079525 A CN202210079525 A CN 202210079525A CN 114469076 B CN114469076 B CN 114469076B
- Authority
- CN
- China
- Prior art keywords
- heart rate
- rate
- falling
- human body
- respiratory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000036387 respiratory rate Effects 0.000 claims abstract description 68
- 238000012544 monitoring process Methods 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 230000002159 abnormal effect Effects 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 21
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000000241 respiratory effect Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/08—Elderly
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
本发明公开了一种融合身份特征的独居老人跌倒识别方法，所述方法包括：获取人体反射信号和居家环境下的监控视频，并进行时间同步；基于人体反射信号，当居家环境内人数为1时，提取人体心率与呼吸率；基于监控视频进行人脸识别，当识别是被监护独居老人时，监测独居老人的心率与呼吸率；基于监控视频中的图像进行跌倒动作识别，得到独居老人跌倒识别结果和跌倒置信度；将提取与监测的心率与呼吸率进行加权融合，进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别独居老人的跌倒情况。本发明能够弥补现有跌倒识别系统缺少独居老人身份信息的问题，能够有针对性地监护识别。
Description
技术领域
本发明涉及一种融合身份特征的独居老人跌倒识别方法及系统，属于计算机视觉技术领域。
背景技术
根据2020年第七次人口普查结果，中国60岁以上人口占18.7％，与2010年相比，上升超过5个百分点，人口老龄化进程进一步加深。数据显示，跌倒是我国伤害死亡的第四位原因，而在65岁以上的老年人中则为首位。除了导致死亡外，跌倒还可能会导致严重的损伤甚至是残疾。对于独居老人，能否及时发现其跌倒行为直接关系到生命安全。目前，由于医疗资源分布不均，现有的有限医疗资源不足以满足中国老人日常看护的需求。传统的以“医院”为核心的看护模式逐渐向“医院+家庭”的智慧模式进行转变。近年来，随着信息化进程加快，智能监控系统不断得到发展和完善，许多家庭逐渐在家中安装摄像头，以确保家庭财产安全和生命安全。但是从应用场景来看，视频监控系统仍然存在监控盲区和禁区，并且受光照、遮挡等因素影响较大。随着通信技术的普及推广，越来越多的无线设备，如LTE、WiFi、毫米波雷达等为无线感知技术提供了广阔的发展平台，推动其走向智能家居、健康监护等更多应用场景。
目前跌倒识别的研究主要集中在基于传感器的方法和基于计算机视觉的方法。基于传感器的方法主要依赖于一些可穿戴的设备，将传感器嵌入其中，通过收集人体的加速度特征、角速度特征等运动参数或生理参数的序列数据，应用阈值法等传统分类方法，对跌倒这一异常行为进行识别，优点是，速度快且准确率高，但是这类设备需要定期更换或进行充电才能持续使用，并且可能给使用者带来感觉上的不适。基于视觉的方法主要通过摄像头采集图像序列，利用图像处理技术对其进行分析。由于跌倒时身体姿势的变化与日常行为有很大不同，传统方法大多采用人体轮廓或外形等作为鉴别特征，再采用支持向量机(Support Vector Machine,SVM)来识别出跌倒行为。深度学习的方法可以主动学习图像序列中的时空特征，避免了复杂的特征提取和数据重建过程。将图像序列直接作为深度卷积神经网络的输入，使得其应用得到极大的扩展。基于视觉的方法，识别准确度高，但是其性能受光照影响较大。并且，现有的跌倒识别系统缺少被监护者的身份信息，无法对特定对象进行针对性地监护，缺乏可信度。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种融合身份特征的独居老人跌倒识别方法能够弥补现有跌倒识别系统缺少独居老人身份信息的问题，能够有针对性地监护识别。为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种融合身份特征的独居老人跌倒识别方法，包括：
获取人体反射信号和居家环境下的监控视频，并进行时间同步；
基于人体反射信号，当居家环境内人数为1时，从人体反射信号中提取人体心率与呼吸率；基于监控视频进行人脸识别，当识别是被监护的独居老人时，监测独居老人当前的心率与呼吸率；基于监控视频中的图像进行跌倒动作识别，得到独居老人跌倒识别结果和跌倒置信度；
将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别独居老人的跌倒情况。
结合第一方面，进一步地，所述时间同步包括：
根据获取人体反射信号的雷达和获取居家环境下的监控视频的摄像头采样的速率差，取雷达和摄像头采样周期的公倍数为采样时刻，将采样时刻的人体反射信号和监控视频进行数据融合，完成时间同步。
结合第一方面，进一步地，所述从人体反射信号中提取人体心率与呼吸率，包括：
对获取到的人体反射信号采用恒虚警率算法进行处理，检测人体目标，确定居家环境内的人数；
当人数为1时，根据心跳和呼吸信号的频率特性，采用0.9-2Hz的带通滤波器对获取到的人体反射信号进行处理，提取心跳信号；采用0.1-0.8Hz的带通滤波器对获取到的人体反射信号进行处理，提取呼吸信号；
对提取到的心跳信号和呼吸信号进行降采样并基于快速傅里叶变换进行频谱估计，得到人体心率与呼吸率e1以及置信度c1。
结合第一方面，进一步地，所述基于监控视频进行人脸识别，包括：
将监控视频中的图像序列输入MTCNN人脸检测网络，标定出人脸区域坐标与5个关键点坐标；
根据标定结果，确定居家环境内的人数；
当人数为1时，将标定的人脸区域进行对齐，利用dlib图形库中的Face_recognition进行特征提取，得到128维向量；
计算得到的128维向量与人脸库中的特征之间的欧式距离；
基于计算结果确定识别到的人脸是否为被监护的独居老人，当确定是被监护的独居老人时，跟踪并提取人脸区域。
结合第一方面，进一步地，所述监测独居老人当前的心率与呼吸率，包括：
对提取的人脸区域进行依次欧拉影像颜色放大、互补集合经验模态分解、联合盲源分离和三阶巴特沃斯带通滤波器，得到独居老人当前的心率与呼吸率e2以及置信度c2；
响应于对人脸区域的跟踪，实现对独居老人当前的心率与呼吸率的监测。
结合第一方面，可选的，所述得到独居老人跌倒识别结果和跌倒置信度，包括：
将每30帧图像序列输入卷积跌倒动作识别网络，得到针对特定监护对象的跌倒识别结果，跌倒为1，非跌倒为0，跌倒置信度cA。
结合第一方面，进一步地，所述将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，通过下式表示：
式(1)中，e(k)表示加权融合的生命特征，ei(k)包括心率与呼吸率在k时刻的估计值，包括提取的心率与呼吸率在k时刻的估计值e1(k)、监测的心率与呼吸率在k时刻的估计值e2(k)；ωi表示权重，通过下式进行计算：
式(2)中，ci表示置信度，包括提取的心率与呼吸率的置信度c1、监测的心率与呼吸率的置信度c2。
结合第一方面，可选的，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度，异常为1，正常为0，异常置信度cL。
结合第一方面，进一步地，还包括：当识别独居老人跌倒，将跌倒情况发送至亲属手机端和医疗机构服务平台。
第二方面，本发明提供了一种融合身份特征的独居老人跌倒识别系统，包括：微波射频感知模块、AI摄像头模块和数据融合分析模块；
所述微波射频感知模块获取人体反射信号进行处理，提取心率与呼吸率并传输至数据融合分析模块；
所述AI摄像头模块获取居家环境下的监控视频进行处理，监测心率与呼吸率并传输至数据融合分析模块；
所述数据融合分析模块用于将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别独居老人的跌倒情况。
结合第二方面，进一步地，还包括：终端通讯模块，
所述终端通讯模块用于将识别到的独居老人跌倒情况发送至亲属手机端和医疗机构服务平台。
第三方面，本发明提供了一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据第一方面所述的方法中的任一方法。
与现有技术相比，本发明实施例所提供的一种融合身份特征的独居老人跌倒识别方法及系统所达到的有益效果包括：
本发明获取人体反射信号和居家环境下的监控视频，并进行时间同步；基于人体反射信号，当居家环境内人数为1时，从人体反射信号中提取人体心率与呼吸率；基于监控视频进行人脸识别，当识别是被监护的独居老人时，监测独居老人当前的心率与呼吸率；基于监控视频中的图像进行跌倒动作识别，得到独居老人跌倒识别结果和跌倒置信度；本发明能够确定监控视频中出现对象的身份，再对其进行跌倒识别，能够做到针对性监护，增加识别结果的可信度；
本发明将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别独居老人的跌倒情况；本发明结合人体反射信号和监控视频进行交叉验证，能够克服单一传感器和视频动作识别精度低、灵活性差的缺点。
附图说明
图1是本发明实施例一提供的一种融合身份特征的独居老人跌倒识别方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明实施例提供了一种融合身份特征的独居老人跌倒识别方法，包括：
获取人体反射信号和居家环境下的监控视频，并进行时间同步；
基于人体反射信号，当居家环境内人数为1时，从人体反射信号中提取人体心率与呼吸率；基于监控视频进行人脸识别，当识别是被监护的独居老人时，监测独居老人当前的心率与呼吸率；基于监控视频中的图像进行跌倒动作识别，得到独居老人跌倒识别结果和跌倒置信度；
将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别独居老人的跌倒情况。
具体步骤如下：
步骤1：获取人体反射信号和居家环境下的监控视频，并进行时间同步。
通过微波射频感知模块中的60GHz毫米波雷达和AI摄像头模块分别获取人体反射信号和居家环境下的监控视频，并进行时间同步。本实例中，监护对象为独居老人，监护环境为居家室内环境。
根据获取人体反射信号的雷达和获取居家环境下的监控视频的摄像头采样的速率差，取雷达和摄像头采样周期的公倍数为采样时刻，将采样时刻的人体反射信号和监控视频进行数据融合，完成时间同步。本实例中，毫米波雷达的采样帧速率为20帧/秒，摄像头的采样帧速率为30帧/秒，假设两种传感器同时开始工作，则每隔100ms同时获取两种传感器采集的数据，实现时间同步。
步骤2：基于人体反射信号，当居家环境内人数为1时，从人体反射信号中提取人体心率与呼吸率。
步骤2-1：获取到的人体反射信号采用恒虚警率算法进行处理，检测人体目标，确定居家环境内的人数。
步骤2-2：当人数为1时，根据心跳和呼吸信号的频率特性，采用0.9-2Hz的带通滤波器对获取到的人体反射信号进行处理，提取心跳信号；采用0.1-0.8Hz的带通滤波器对获取到的人体反射信号进行处理，提取呼吸信号。
步骤2-3：对提取到的心跳信号和呼吸信号进行降采样并基于快速傅里叶变换进行频谱估计，得到人体心率与呼吸率e1以及置信度c1。
步骤3：基于监控视频进行人脸识别，当识别是被监护的独居老人时，监测独居老人当前的心率与呼吸率。
步骤3-1：将监控视频中的图像序列输入MTCNN人脸检测网络，标定出人脸区域坐标与5个关键点坐标，根据标定结果，判断居家环境内的人数与雷达检测出的人数是否相同。
步骤3-2：当人数为1时，将标定的人脸区域进行对齐，利用dlib图形库中的Face_recognition进行特征提取，得到128维向量。
步骤3-3：与人脸库中的特征计算距离，判定视频中的出现目标是否为特定监护对象，并对人脸特定区域进行跟踪。
采用下式进行计算距离：
式(1)中，A为标定的人脸区域特征向量，B为人脸库特征向量列表里的一项。
步骤3-4：将人脸区域坐标与关键点坐标输入到跟踪器，生成Detections类；利用卡尔曼滤波根据单个Detection生成的均值、方差、id，预测目标的下一个位置的跟踪框Tracks；使用匈牙利算法将预测后的Tracks和当前帧中的Detections进行匹配，根据匹配结果更新卡尔曼滤波的预测数据；如果跟踪框Tracks与Detection的马氏距离在阈值内，则两个ID关联，如果新获得的目标对象Detection无匹配的跟踪框Tracks，则产生新的Tracks。
步骤3-5：对提取的人脸区域进行依次欧拉影像颜色放大、互补集合经验模态分解、联合盲源分离和三阶巴特沃斯带通滤波器，得到居家老人当前的心率与呼吸率e2以及置信度c2；响应于对人脸区域的跟踪，实现对居家老人当前的心率与呼吸率的监测。
步骤4：基于监控视频中的图像进行跌倒动作识别，得到独居老人跌倒识别结果和跌倒置信度。
将每30帧图像序列输入到训练好的slowfast跌倒动作识别网络，提取该图像序列的时空特征，通过全连接层进行分类，得到针对特定监护对象的跌倒识别结果，跌倒为1，非跌倒为0，及跌倒置信度cA；所述训练好的跌倒动作识别网络通过训练公开跌倒数据集Le2i-Fall和FDD得到。
步骤5：将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别独居老人的跌倒情况。
将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，通过下式表示：
式(2)中，e(k)表示加权融合的生命特征，ei(k)包括心率与呼吸率在k时刻的估计值，包括提取的心率与呼吸率在k时刻的估计值e1(k)、监测的心率与呼吸率在k时刻的估计值e2(k)；ωi表示权重，通过下式进行计算：
式(3)中，ci表示置信度，包括提取的心率与呼吸率的置信度c1、监测的心率与呼吸率的置信度c2。
将加权融合结果输入到训练好的正常/异常生命特征分类模型，获得分类结果，异常为1，正常为0，及异常置信度cL。所述训练好的正常/异常生命特征分类模型通过采集实验者跌倒和非跌倒情况下心率和呼吸率数值得到。
将异常置信度cL与步骤4得到的跌倒置信度cA进行最大值融合形成融合跌倒置信度，以此判断监护对象的跌倒情况。
步骤6：当识别居家老人跌倒，将跌倒情况发送至亲属手机端和医疗机构服务平台。
本实施例获取人体反射信号和居家环境下的监控视频，并进行时间同步；基于人体反射信号，当居家环境内人数为1时，从人体反射信号中提取人体心率与呼吸率；基于监控视频进行人脸识别，当识别是被监护的居家老人时，监测居家老人当前的心率与呼吸率；本实施例对人体反射信号进行信号处理，确定该环境下的人数是否为1，对监控视频中出现的对象进行人脸检测和识别，对环境下的人数进行交叉验证，确定视频中出现对象的身份，实现针对性地监护，增加识别结果的可信度。
本实施例将基于监控视频中的图像进行跌倒动作识别，得到居家老人跌倒识别结果和跌倒置信度；同时，将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，进行异常/正常分类，获得分类结果及异常置信度，通过与跌倒置信度进行融合形成融合跌倒置信度，以此判断居家老人的跌倒情况，克服了单一传感器和视频动作识别精度低、灵活性差的缺点。
本实施例能够及时将跌倒情况发送至亲属手机端和医疗机构服务平台，具有响应迅速，报警及时等优势。
实施例二：
如图1所示，本实施例提供了一种融合身份特征的居家老人跌倒识别系统，包括：微波射频感知模块、AI摄像头模块、数据融合分析模块和终端通讯模块。
微波射频感知模块，用于感知室内老人运动轨迹和心率及呼吸率，通过获取人体微波射频反射信号进行特定的信号处理，提取心率与呼吸率并传输至数据融合分析模块。
AI摄像头模块用于人脸识别、老人动作行为分析及心率的采集和异常行为判别，AI摄像头通过人脸识别和跌倒动作识别网络判断居家老人的身份和动作异常，并通过对老人人脸的特定区域进行检测与跟踪，调用心率及呼吸率算法线程对该区域进行心率及呼吸率监测，并将监测结果传输至数据融合分析模块。
数据融合分析模块用于将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别居家老人的跌倒情况。
终端通讯模块，用于将识别到的居家老人跌倒情况发送至亲属手机端和医疗机构服务平台。
实施例三：
本发明实施例提供了一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据实施例一中所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.一种融合身份特征的独居老人跌倒识别方法，其特征在于，包括：
获取人体反射信号和居家环境下的监控视频，并进行时间同步；通过微波射频感知模块中的60GHz毫米波雷达和AI摄像头模块分别获取人体反射信号和居家环境下的监控视频，监护对象为独居老人，监护环境为居家室内环境；
基于人体反射信号，当居家环境内人数为1时，从人体反射信号中提取人体心率与呼吸率，所述从人体反射信号中提取人体心率与呼吸率，包括：
对获取到的人体反射信号采用恒虚警率算法进行处理，检测人体目标，确定居家环境内的人数；
当人数为1时，根据心跳和呼吸信号的频率特性，采用0.9-2Hz的带通滤波器对获取到的人体反射信号进行处理，提取心跳信号；采用0.1-0.8Hz的带通滤波器对获取到的人体反射信号进行处理，提取呼吸信号；
对提取到的心跳信号和呼吸信号进行降采样并基于快速傅里叶变换进行频谱估计，得到人体心率与呼吸率e1以及置信度c1；
基于监控视频进行人脸识别，当识别是被监护的独居老人时，监测独居老人当前的心率与呼吸率；所述基于监控视频进行人脸识别，包括：
将监控视频中的图像序列输入MTCNN人脸检测网络，标定出人脸区域坐标与5个关键点坐标；
根据标定结果，确定居家环境内的人数；
当人数为1时，将标定的人脸区域进行对齐，利用dlib图形库中的Face_recognition进行特征提取，得到128维向量；
计算得到的128维向量与人脸库中的特征之间的欧式距离；
基于计算结果确定识别到的人脸是否为被监护的独居老人，当确定是被监护的独居老人时，跟踪并提取人脸区域；
所述监测独居老人当前的心率与呼吸率，包括：
对提取的人脸区域进行依次欧拉影像颜色放大、互补集合经验模态分解、联合盲源分离和三阶巴特沃斯带通滤波器，得到独居老人当前的心率与呼吸率e2以及置信度c2；
响应于对人脸区域的跟踪，实现对独居老人当前的心率与呼吸率的监测；
基于监控视频中的图像进行跌倒动作识别，得到独居老人跌倒识别结果和跌倒置信度；所述基于监控视频中的图像进行跌倒动作识别，包括：
将每30帧图像序列输入到训练好的slowfast跌倒动作识别网络，提取该图像序列的时空特征，通过全连接层进行分类，得到针对特定监护对象的跌倒识别结果，跌倒为1，非跌倒为0，及跌倒置信度cA；所述训练好的跌倒动作识别网络通过训练公开跌倒数据集Le2i-Fall和FDD得到；
将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别独居老人的跌倒情况，
其中，所述将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，通过下式表示：
式(1)中，e(k)表示加权融合的生命特征，ei(k)包括心率与呼吸率在k时刻的估计值，包括提取的心率与呼吸率在k时刻的估计值e1(k)、监测的心率与呼吸率在k时刻的估计值e2(k)；ωi表示权重，通过下式进行计算：
式(2)中，ci表示置信度，包括提取的心率与呼吸率的置信度c1、监测的心率与呼吸率的置信度c2。
2.根据权利要求1所述的融合身份特征的独居老人跌倒识别方法，其特征在于，所述时间同步包括：
根据获取人体反射信号的雷达和获取居家环境下的监控视频的摄像头采样的速率差，取雷达和摄像头采样周期的公倍数为采样时刻，将采样时刻的人体反射信号和监控视频进行数据融合，完成时间同步。
3.根据权利要求1所述的融合身份特征的独居老人跌倒识别方法，其特征在于，还包括：当识别独居老人跌倒，将跌倒情况发送至亲属手机端和医疗机构服务平台。
4.一种融合身份特征的独居老人跌倒识别系统，其特征在于，包括：微波射频感知模块、AI摄像头模块和数据融合分析模块；
所述微波射频感知模块获取人体反射信号进行处理，提取心率与呼吸率并传输至数据融合分析模块；从人体反射信号中提取人体心率与呼吸率，包括：
对获取到的人体反射信号采用恒虚警率算法进行处理，检测人体目标，确定居家环境内的人数；
当人数为1时，根据心跳和呼吸信号的频率特性，采用0.9-2Hz的带通滤波器对获取到的人体反射信号进行处理，提取心跳信号；采用0.1-0.8Hz的带通滤波器对获取到的人体反射信号进行处理，提取呼吸信号；
对提取到的心跳信号和呼吸信号进行降采样并基于快速傅里叶变换进行频谱估计，得到人体心率与呼吸率e1以及置信度c1；
所述AI摄像头模块获取居家环境下的监控视频进行处理，监测心率与呼吸率并传输至数据融合分析模块；基于监控视频进行人脸识别，包括：
将监控视频中的图像序列输入MTCNN人脸检测网络，标定出人脸区域坐标与5个关键点坐标；
根据标定结果，确定居家环境内的人数；
当人数为1时，将标定的人脸区域进行对齐，利用dlib图形库中的Face_recognition进行特征提取，得到128维向量；
计算得到的128维向量与人脸库中的特征之间的欧式距离；
基于计算结果确定识别到的人脸是否为被监护的独居老人，当确定是被监护的独居老人时，跟踪并提取人脸区域；
监测独居老人当前的心率与呼吸率，包括：
对提取的人脸区域进行依次欧拉影像颜色放大、互补集合经验模态分解、联合盲源分离和三阶巴特沃斯带通滤波器，得到独居老人当前的心率与呼吸率e2以及置信度c2；
响应于对人脸区域的跟踪，实现对独居老人当前的心率与呼吸率的监测；
基于监控视频中的图像进行跌倒动作识别，得到独居老人跌倒识别结果和跌倒置信度；所述基于监控视频中的图像进行跌倒动作识别，包括：
将每30帧图像序列输入到训练好的slowfast跌倒动作识别网络，提取该图像序列的时空特征，通过全连接层进行分类，得到针对特定监护对象的跌倒识别结果，跌倒为1，非跌倒为0，及跌倒置信度cA；所述训练好的跌倒动作识别网络通过训练公开跌倒数据集Le2i-Fall和FDD得到；
所述数据融合分析模块用于将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，将加权融合结果进行异常/正常分类，得到分类结果及异常置信度；将跌倒置信度与异常置信度进行最大值融合，得到融合跌倒置信度，以此识别独居老人的跌倒情况；其中，所述将提取的心率与呼吸率与监测的心率与呼吸率进行加权融合，通过下式表示：
式(1)中，e(k)表示加权融合的生命特征，ei(k)包括心率与呼吸率在k时刻的估计值，包括提取的心率与呼吸率在k时刻的估计值e1(k)、监测的心率与呼吸率在k时刻的估计值e2(k)；ωi表示权重，通过下式进行计算：
式(2)中，ci表示置信度，包括提取的心率与呼吸率的置信度c1、监测的心率与呼吸率的置信度c2。
5.根据权利要求4所述的融合身份特征的独居老人跌倒识别系统，其特征在于，还包括：终端通讯模块，
所述终端通讯模块用于将识别到的独居老人跌倒情况发送至亲属手机端和医疗机构服务平台。
6.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至3所述的方法中的任一方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210079525.3A CN114469076B (zh) | 2022-01-24 | 2022-01-24 | 一种融合身份特征的独居老人跌倒识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210079525.3A CN114469076B (zh) | 2022-01-24 | 2022-01-24 | 一种融合身份特征的独居老人跌倒识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114469076A CN114469076A (zh) | 2022-05-13 |
| CN114469076B true CN114469076B (zh) | 2024-04-19 |
Family
ID=81474742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210079525.3A Active CN114469076B (zh) | 2022-01-24 | 2022-01-24 | 一种融合身份特征的独居老人跌倒识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114469076B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171335A (zh) * | 2022-06-17 | 2022-10-11 | 南京邮电大学 | 一种融合图像和语音的独居老人室内安全保护方法及装置 |
| CN116602663B (zh) * | 2023-06-02 | 2023-12-15 | 深圳市震有智联科技有限公司 | 一种基于毫米波雷达的智能监测方法及系统 |
| CN116883946B (zh) * | 2023-07-24 | 2024-03-22 | 武汉星巡智能科技有限公司 | 老人异常行为实时检测方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102499664A (zh) * | 2011-10-24 | 2012-06-20 | 西双版纳大渡云海生物科技发展有限公司 | 基于视频图像的非接触式生命体征的检测方法及检测系统 |
| CN112801000A (zh) * | 2021-02-05 | 2021-05-14 | 南京邮电大学 | 一种基于多特征融合的居家老人摔倒检测方法及系统 |
| KR20210068749A (ko) * | 2019-12-02 | 2021-06-10 | 한국전자기술연구원 | 낙상감지 및 사용자 인증이 가능한 생체신호 측정용 스마트 변기 시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9629566B2 (en) * | 2011-03-11 | 2017-04-25 | Spacelabs Healthcare Llc | Methods and systems to determine multi-parameter managed alarm hierarchy during patient monitoring |
| US11004567B2 (en) * | 2017-08-15 | 2021-05-11 | Koko Home, Inc. | System and method for processing wireless backscattered signal using artificial intelligence processing for activities of daily life |
| US10629048B2 (en) * | 2017-09-29 | 2020-04-21 | Apple Inc. | Detecting falls using a mobile device |
-
2022
- 2022-01-24 CN CN202210079525.3A patent/CN114469076B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102499664A (zh) * | 2011-10-24 | 2012-06-20 | 西双版纳大渡云海生物科技发展有限公司 | 基于视频图像的非接触式生命体征的检测方法及检测系统 |
| KR20210068749A (ko) * | 2019-12-02 | 2021-06-10 | 한국전자기술연구원 | 낙상감지 및 사용자 인증이 가능한 생체신호 측정용 스마트 변기 시스템 |
| CN112801000A (zh) * | 2021-02-05 | 2021-05-14 | 南京邮电大学 | 一种基于多特征融合的居家老人摔倒检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Android平台的手机老人用户助理系统的设计与实现;周江南;中国优秀硕士学位论文全文数据库 (信息科技辑);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114469076A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114469076B (zh) | 一种融合身份特征的独居老人跌倒识别方法及系统 | |
| Vishnu et al. | Human fall detection in surveillance videos using fall motion vector modeling | |
| Mubashir et al. | A survey on fall detection: Principles and approaches | |
| Liu et al. | A fall detection system using k-nearest neighbor classifier | |
| Wang et al. | Fall detection based on dual-channel feature integration | |
| Foroughi et al. | Intelligent video surveillance for monitoring fall detection of elderly in home environments | |
| Liao et al. | Slip and fall event detection using Bayesian Belief Network | |
| Shoaib et al. | View-invariant fall detection for elderly in real home environment | |
| Chaaraoui et al. | Abnormal gait detection with RGB-D devices using joint motion history features | |
| Chen et al. | Fall detection system based on real-time pose estimation and SVM | |
| Planinc et al. | Robust fall detection by combining 3D data and fuzzy logic | |
| Lezzar et al. | Camera-based fall detection system for the elderly with occlusion recognition | |
| Cardile et al. | A vision-based system for elderly patients monitoring | |
| Krupitzer et al. | Beyond position-awareness—Extending a self-adaptive fall detection system | |
| CN114792429A (zh) | 多视角摔倒检测方法、装置及存储介质 | |
| Dileep et al. | Suspicious human activity recognition using 2d pose estimation and convolutional neural network | |
| De et al. | Fall detection method based on spatio-temporal feature fusion using combined two-channel classification | |
| Ezatzadeh et al. | ViFa: an analytical framework for vision-based fall detection in a surveillance environment | |
| Suriani et al. | Sudden fall classification using motion features | |
| Oumaima et al. | Vision-based fall detection and prevention for the elderly people: A review & ongoing research | |
| De et al. | Fall detection approach based on combined two-channel body activity classification for innovative indoor environment | |
| Lewandowski et al. | I see you lying on the ground—Can I help you? Fast fallen person detection in 3D with a mobile robot | |
| Soman et al. | A Novel Fall Detection System using Mediapipe | |
| CN114373142A (zh) | 基于深度学习的行人跌倒检测方法 | |
| Chong et al. | Visual based fall detection with reduced complexity horprasert segmentation using superpixel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |