CN112435440A - 一种基于物联网平台的非接触式室内人员跌倒识别方法 - Google Patents
一种基于物联网平台的非接触式室内人员跌倒识别方法 Download PDFInfo
- Publication number
- CN112435440A CN112435440A CN202011194529.3A CN202011194529A CN112435440A CN 112435440 A CN112435440 A CN 112435440A CN 202011194529 A CN202011194529 A CN 202011194529A CN 112435440 A CN112435440 A CN 112435440A
- Authority
- CN
- China
- Prior art keywords
- infrared thermal
- thermal image
- image
- posture
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000036544 posture Effects 0.000 claims description 56
- 238000012544 monitoring process Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 22
- 238000001931 thermography Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 210000000629 knee joint Anatomy 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000009849 deactivation Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 231100001160 nonlethal Toxicity 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于物联网平台的非接触式室内人员跌倒识别方法，通过NB‑IoT窄带无线通信模块，将捕捉的包括室内人员热信息红外热图像实时传输至云服务器，同时，将人员跌倒的报警信息返回室内监测区域安装的监测装置，实现双向无线连接，无本地网关、无中心网络，具有工业级系统可靠性，这样，无需连接家庭宽带网络，实现广覆盖的非接触式室内人员跌倒识别。本发明通过红外热图像低分辨率采集NB‑IoT窄带传输‑红外热图像分辨率增强‑人体姿态特征提取与跌倒‑返回跌倒信息至监护人手机以及报警信息到报警装置发出报警声音的流程，实现智能、快速的跌倒行为识别。
Description
技术领域
本发明属于跌倒识别技术领域，更为具体地讲，涉及一种基于物联网平台的非接触式室内人员跌倒识别方法。
背景技术
随着中国人口老龄化的加剧，老年人的健康看护问题成为社会普遍关注的热点之一。截止2019年底，我国65岁及以上人口已超过1.76亿人，占总人口12.6％(国家统计局，2019人口统计调查)。按联合国标准，65岁及以上人口占总人口的14％，即该地区视为进入“老龄社会”。以14％为分界线，2019年底我国距离“老龄社会”仅差1.4％，2018年我国四川、江苏、重庆等多个省份已经跨过14％线，即已进入“老龄社会”。
调查显示，跌倒是老年人发生意外伤害事故的首要原因(耳玉亮，段蕾蕾，叶鹏鹏等，2014年全国伤害监测系统老年跌倒/坠落伤害特征分析[J]，中华流行病学杂志，2016，37(1):24-28)。大约34％的65岁及以上老年人每年至少发生过一次摔倒，其中64.4％的跌倒发生在室内(朱月妹，袁浩斌，陈雷，老人跌倒危险因素等调查[J]，护理实践与研究，2007,4(10):5-7)。2013年全国疾病监测系统死因监测数据集显示65岁及以上老年人跌倒死亡率为44.3/10万人，跌倒已经成为老年人因伤害致死的第一原因(中国疾病预防控制中心，全国疾病监测系统死因数据集[M]，军事医学科学出版社，2013)。随着独居老人越来越多，老人在家中发生跌倒后往往难以及时获得救助。因此，对室内环境下老年人的跌倒进行识别并及时通知相关监护人员，缩短救助等待时间，有效减少因跌倒救助不及时造成的残疾等非致死性后果，同时显著节省看护老人的人力和成本，具有社会效益。
目前的跌倒识别方法可被归纳为接触式方法和非接触式方法。接触式方法需要监测对象佩戴电子手环、智能手表等穿戴式电子设备，通过设备中内置的加速计、陀螺仪等传感器采集并分析人体活动过程中产生的加速度与角速度等信号，实现跌倒姿态的判别。非接触式方法包括利用可见光成像、红外成像、多普勒雷达、无线信号反射成像等手段获取人体姿态信息。非接触式方法无需要求监测对象佩戴电子传感设备，体验性好，活动不受限制。在非接触式方法中，红外成像手段兼具保护隐私、低成本、低硬件复杂度等优势，被视为最理想的解决方案。
在非接触式相关领域，Tao等人提出了一种基于二进制红外传感器的室内人员活动识别系统(S.Tao,M.Kudo,H.Nonaka,and J.Toyama,″Camera view usage of binaryinfrared sensors for activity recognition,in Proc.Int.Conf.PatternRecognition(ICPR),pp.1759-1762,Nov.2012)。该识别系统通过对安装在天花板上的红外传感器获得的温度数据进行分析，从而识别人体姿态。Mashiyama等人提出了一种基于红外阵列传感器的室内人体摔倒检测系统(A fall detection system using low resolutioninfrared array sensor[C],IEEE,International Symposium on Personal,Indoor,andMobile Radio Communication.IEEE,2015：2109-2113)。该系统通过红外阵列式传感器采集监测区域内的温度分布，再使用K近邻算法对温度数据进行分类，最终实现跌倒姿态识别，正确率高达94％。许超超等人(许超超.基于红外阵列传感器的室内人员监测系统的设计.福州大学,2018.)提出了一种基于红外传感器的室内人员跌倒监测系统。该跌倒监测系统利用低分辨率红外传感器采集室内的背景温度和人体温度分布图，利用支持向量机算法从温度分布图中提取出人体姿态特征值，再通过人工神经网络对姿态特征进行分类实现跌倒姿态的识别。
然而，现有技术的非接触式室内人员跌倒识别方法基于家庭宽带网络构建，占据家庭宽带网络的带宽。同时，对于红外传感器的连接，如果采用Wi-Fi无线连接，无法覆盖一些房间，通信效果不够稳定，如果采用有线连接，则布线比较麻烦，部署成本较高。此外，对于没有连接互联网的家庭，如边远农村，则无法实施。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于物联网平台的非接触式室内人员跌倒识别方法，无需连接家庭宽带网络，实现广覆盖的非接触式室内人员跌倒识别。
为实现上述发明目的，本发明提供基于物联网平台的非接触式室内人员跌倒识别方法，其特征在于，包括以下步骤：
(1)、利用红外热成像传感器捕捉(采集)室内监测区域内的红外热图像，通过NB-IoT窄带无线通信模块，将捕捉的包括室内人员热信息的红外热图像实时传输至云服务器；
(2)、在云服务器中，对于每一帧红外热图像，利用压缩感知技术对其进行超分辨率重建(增强)，获取分辨率更高的红外热图像；
(3)、将增强后红外热图像进行人体姿态关键特征提取并转换成人体姿态热力图，然后输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒；
(4)、如果判别人员跌倒，则云服务器发送报警信息至监护人手机，同时，通过NB-IoT窄带无线通信模块返回报警信息到室内监测区域安装的报警装置，发出报警声音。
本发明的目的是这样实现的。
本发明基于物联网平台的非接触式室内人员跌倒识别方法，通过NB-IoT窄带无线通信模块，将捕捉的包括室内人员热信息红外热图像实时传输至云服务器，同时，将人员跌倒的报警信息返回室内监测区域安装的监测装置，实现双向无线连接，无本地网关、无中心网络，具有工业级系统可靠性，这样，无需连接家庭宽带网络，实现广覆盖的非接触式室内人员跌倒识别。此外，NB-IoT窄带无线传输避免网络布线，红外热图像被传输至云平台集中处理分析避免本地数据处理重复配置硬件，最终降低监控装置硬件成本。本发明采用压缩感知技术克服NB-IoT技术传输速率较低导致的图像帧率低、解析度较低问题。基于压缩感知技术对红外热图像进行超分辨率重建，将较低分辨率图像增强为较高分辨率图像。本发明通过红外热图像低分辨率采集NB-IoT窄带传输-红外热图像分辨率增强-人体姿态特征提取与跌倒-返回跌倒信息至监护人手机以及报警信息到报警装置发出报警声音的流程，实现智能、快速的跌倒行为识别。
附图说明
图1是基于红外热成像传感器的跌倒识别示意图；
图2是本发明基于物联网平台的非接触式室内人员跌倒识别方法一种具体实施方式流程图；
图3是基于压缩感知的红外热图像超分辨率重建效果图；
图4是本发明使用的深度卷积神经网络模型结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
图1是基于红外热成像传感器的跌倒识别示意图。
如图1所示，在室内监测区域的上方安装红外热成像传感器，用于监测人体姿态(图1左侧所示)，捕捉(采集)的包括室内人员热信息的红外热图像如图1右侧所示，其中，(a)为站立姿态的红外热图像，(b)为跌倒姿态的红外热图像。从图1，我们可以看出，站立姿态与跌倒姿态的红外热图像存在明显的不同，利用该不同，我们可以对室内人员是否跌倒进行判别。
为实现本发明，本发明中包括两个部分：监测装置以及云平台。在本实施例中，监测装置包括微控制器、红外热成像传感器、NB-IoT窄带无线通信模块以及报警装置，电源模块；2)云平台，主要包括云服务器、红外人体姿态特征数据库，红外图像信号处理算法。如图1所示，监测装置部署于室内的天花板，其内置的红外热成像传感器以俯视角度拍摄红外图像，并通过NB-IoT窄带无线通信技术将原始数据传输至云平台进行处理分析，当检测到人体跌倒行为发生时将结果发送至监护人手机。
图2是本发明基于物联网平台的非接触式室内人员跌倒识别方法一种具体实施方式流程图。
在本实施例中，如图2所示，本发明提供基于物联网平台的非接触式室内人员跌倒识别方法，包括以下步骤：
步骤S1：利用红外热成像传感器捕捉(采集)室内监测区域内的红外热图像，通过NB-IoT窄带无线通信模块，将捕捉的包括室内人员热信息的红外热图像实时传输至云服务器。
在本实施例中，红外热成像传感器采用热电偶式检测原理，由其接收来自室内监测区域辐射的热量，并将热量被动地转化为电势并产生标定为预期热电偶特性的毫伏信号，毫伏信号将遵循热辐射物理的规律并受过程中固有的非线性影响。本发明所采用的红外热成像传感器的主要技术参数如表1所示：
| 名称 | 指标 |
| 型号 | MLX90640-D55 |
| 图像分辨率 | 32*24 |
| 温度输出分辨率 | 1℃ |
| 测量温度范围 | -40-80℃ |
| 探测距离 | ≤5m |
| 探测视角 | 水平视角：55°垂直视角：35° |
| 最大采样速率 | 64帧/秒 |
表1
红外热成像传感器的分辨率直接影响跌倒的识别率。分辨率越高，人体姿态成像越清晰，跌倒识别的准确率就越高。因此，选择分辨率高的红外热成像传感器有助于提升系统的检测性能。然而，NB-IoT技术的理论上、下行传输速率为160kbps至250kbps，以单帧分辨率为128*96色深为8位的红外热图像为例，其数据量约为98304字节，通过NB-IoT每秒仅能传输1.4-2.5帧图像。实际运行过程中，受到障碍物、电磁干扰等因素的影响，NB-IoT的传输速率会低于理论值，导致每秒可传输的红外图像帧数进一步降低。过低的图像帧数会导致图像出现拖影、扭曲等变化，对人体姿态的识别造成严重影响。为解决这一技术问题，在本实施例中，选择分辨率为32*24的红外热成像传感器，减小单帧红外热图像的数据量，保证图像传输速率不低于每秒10帧，具体步骤为：
在本实施例中，红外热成像传感器以每秒10Hz的速率对室内监测区域采集大小为32*24的温度矩阵，并将温度矩阵传递至微控制器；微控制器对比相邻两个温度矩阵中温度数值变化并根据预设的阈值判定室内监测区域的温度分布是否发生显著变化；当温度分布发生显著变化(室内监测区域的温度分布变化大于设定的阈值Th)则代表有人员在监测区域活动，微控制器将采集的温度矩阵转换成相应二维的分辨率为32*24的红外热图像，即捕捉的包括室内人员热信息的红外热图像，经过NB-IoT模块实时上传至云服务器，当温度分布没有发生显著变化(不大于设定的阈值Th)时，则停止上传红外热图像。
步骤S2：在云服务器中，对于每一帧红外热图像，利用压缩感知技术对其进行超分辨率重建(增强)，获取分辨率更高的红外热图像，即利用基于压缩感知技术的超分辨率重建对低分辨率红外热图像进行分辨率增强。
压缩感知(Compressed Sensing,CS)技术原本被用于实现数据采集过程中同步进行压缩，从而突破传统奈奎斯特采样定理对信号采集速率的限制。压缩感知利用信号在某个变换域具有稀疏表示的先验知识，通过一个与变换基不相关的测量矩阵将信号投影到低维空间，然后通过一些非线性优化算法从这些少量的观测值中精确重构出原始信号。研究表明，红外图像在某些变换域下都具有强稀疏性，这使得将压缩感知应用于红外图像的超分辨率重建成为可能。本发明涉及的基于压缩感知的红外图像超分辨率冲击算法原理如下：
根据压缩感知理论，一个低分辨率图像可看作相应的高分辨率图像在某个稀疏变换基下的低维投影，即：
y＝φx
其中y代表输入的低分辨率红外图像，x代表超分辨重建后得到的高分辨率红外图像，φ为投影矩阵。根据信号的稀疏表示理论，x可由某个稀疏变换基下的多个向量的线形组合表示，即：
由此可得到：
其中ψ代表稀疏变换基,
是高分辨率图像x在ψ下的等价表示。A＝φψ为m×n矩阵，称为感知矩阵。由于y和A可以预先确定，因此红外图像的超分辨率重建问题可通过利用上式求解
解决。求解的过程等价为一个L1优化问题即：
其中
表示
中非零元素的个数
求解时预设一个目标函数f(x)：
其中λ>0为正则化参数，将目标函数最小化就可以得到最优解，即
在本实施例中，32*24的红外热图像进行超分辨率重建后，获得分辨率为128*96的红外热图像，将增强后红外热图像拉伸至128*128像素。图3是基于压缩感知的红外热图像超分辨率重建效果图，包括仰面跌倒与侧卧跌倒增强前后的红外热图像，从图3可见，增强后分辨率明显增加。
步骤S3：将增强后红外热图像进行人体姿态关键特征提取并转换成人体姿态热力图，然后输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒。
在本实施例中，所述将增强后红外热图像进行人体姿态关键特征提取并转换成人体姿态热力图，然后输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒流程如下：
3.1)、定义X为增强后红外热图像长度，Y为增强后红外热图像宽度，Bg(x,y)为红外背景图像(初始选取第k帧之前的任意一帧增强红外热图像)，fk(x,y)代表第k帧增强后红外热图像；
3.2)、通过如下公式计算第k帧增强后红外热图像的无背景图：
Ak(x,y)＝fk(x,y)-Bg(x,y)
其中，x、y为增强后红外热图像的像素点坐标，x＝0,1,2,…X-1，y＝0,1,2,…Y-1
3.2)、通过如下公式计算连续两帧无背景图像的差分图：
Pk(x.y)＝Ak+1(x,y)-Ak(x,y)
3.3)、对每一个差分图像Pk(x.y)计算人体头部、手部、手肘、膝关节、脚等关键点(人体姿态关键特征)的坐标，并将相关坐标带入高斯热力公式建立由关键点组成的第k帧人体姿态热力图Ik(x,y)；
3.4)、对人体姿态热力图进行二值化处理，得到二值化人体姿态热力图：
其中，M为设定的阈值；
3.5)、计算k帧和k+1帧二值化人体姿态热力图之间的皮尔逊相关系数(k+1帧二值化人体姿态热力图也按照步骤3.1)～3.4)获得)：
若满足C≥0.5，则无需更新背景图Bg(x,y)，并将二值化人体姿态热力图Rk+1(x,y)输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒，否则，将第k+1帧增强后红外热图像fk+1(x,y)作为红外背景图像Bg(x,y)，k＝k+2，返回步骤3.2)。
如图4所示，深度卷积神经网络模型包含6个隐藏层，每个隐藏层包含一个卷机层(Convolutional Layer)、一个激活函数层(Activation Function Layer)、一个批量标准化层(Batch Normalization Layer)、以及一个池化层(Pooling Layer)。最后一个隐藏层还包括一个随机失活层(Dropout Layer)和一个全连接层(Fully Connected Layer)。全连接层的输出连接SoftMax分类器。其中卷机层核函数的尺寸为3x3，随机失活率为0.5，激活函数选择为线性整流函数(Rectified Linear Unit,ReLU)，池化操作选择最大池化(MaxPooling)。
本实施例包含一个红外人体姿态图像数据库，用于训练和验证深度卷积神经网络模型。该数据库包含300张不同人体姿态下的红外热图像，其中270张图片用于模型训练，30张图片用于模型验证。此外，每张照片包含一个用数字0或1代表的姿态标签，0表示跌倒姿态，1表示非跌倒姿态。数据库中的跌倒姿态样本和非跌掉姿态样本各占比50％。通过模型训练、卷积神经网络在验证集的分类准确率达到96.1％。
深度卷积神经网络模型的工作流程如下：
1)、输入层接收分辨率为128x128的二值化人体姿态热力图Rk+1(x,y)；
2)、各隐藏层自动对图像进行卷积、池化、降维等操作，经全连接层输出长度为1024的特征向量；
3)、将特征向量输入至SoftMax分类器进行姿态分类、最终输出一个用0或1代表的预测标签，即跌倒姿态或非跌倒姿态。
4)、采用gird search算法对模型的学习率(learning rate)、批量尺寸(batchsize)、随机失活率(dropout rate)参数进行优化，确定最佳参数设置。
步骤S4：如果判别人员跌倒，则云服务器发送报警信息至监护人手机，同时，通过NB-IoT窄带无线通信模块返回报警信息到室内监测区域安装的报警装置，发出报警声音。
深度卷积神经网络输出的预测标签实现跌倒行为的判定，若输出为1则代表未在输入的红外图像中检测到跌倒行为，若输出为0则代表情况相反。当判定为跌倒时，云服务器可经过无线链路发送警报信息至微控制器，微控制器命令报警装置(蜂鸣器)发出警报声；此外云服务器可通过相应程序自动发送警报通知至监护人的手机。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种基于物联网平台的非接触式室内人员跌倒识别方法，其特征在于，包括以下步骤：
(1)、利用红外热成像传感器捕捉(采集)室内监测区域内的红外热图像，通过NB-IoT窄带无线通信模块，将捕捉的包括室内人员热信息的红外热图像实时传输至云服务器；
(2)、在云服务器中，对于每一帧红外热图像，利用压缩感知技术对其进行超分辨率重建(增强)，获取分辨率更高的红外热图像；
(3)、将增强后红外热图像进行人体姿态关键特征提取并转换成人体姿态热力图，然后输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒；
(4)、如果判别人员跌倒，则云服务器发送报警信息至监护人手机，同时，通过NB-IoT窄带无线通信模块返回报警信息到室内监测区域安装的报警装置，发出报警声音。
2.根据权利要求1所述的基于物联网平台的非接触式室内人员跌倒识别方法，其特征在于，所述利用红外热成像传感器捕捉(采集)室内监测区域内的红外热图像，通过NB-IoT窄带无线通信模块，将捕捉的包括室内人员热信息的红外热图像实时传输至云服务为：
红外热成像传感器以每秒10Hz的速率对室内监测区域采集大小为32*24的温度矩阵，并将温度矩阵传递至微控制器；微控制器对比相邻两个温度矩阵中温度数值变化并根据预设的阈值判定室内监测区域的温度分布是否发生显著变化；当温度分布发生显著变化(室内监测区域的温度分布变化大于设定的阈值Th)则代表有人员在监测区域活动，微控制器将采集的温度矩阵转换成相应二维的分辨率为32*24的红外热图像，即捕捉的包括室内人员热信息的红外热图像，经过NB-IoT模块实时上传至云服务器，当温度分布没有发生显著变化(不大于设定的阈值Th)时，则停止上传红外热图像。
3.根据权利要求1或2所述的基于物联网平台的非接触式室内人员跌倒识别方法，其特征在于，将增强后红外热图像进行人体姿态关键特征提取并转换成人体姿态热力图，然后输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒为：
3.1)、定义X为增强后红外热图像长度，Y为增强后红外热图像宽度，Bg(x,y)为红外背景图像(初始选取第k帧之前的任意一帧增强红外热图像)，fk(x,y)代表第k帧增强后红外热图像；
3.2)、通过如下公式计算第k帧增强后红外热图像的无背景图：
Ak(x,y)＝fk(x,y)-Bg(x,y)
其中，x、y为增强后红外热图像的像素点坐标，x＝0,1,2,…X-1，y＝0,1,2,…Y-1
3.2)、通过如下公式计算连续两帧无背景图像的差分图：
Pk(x.y)＝Ak+1(x,y)-Ak(x,y)
3.3)、对每一个差分图像Pk(x.y)计算人体头部、手部、手肘、膝关节、脚等关键点(人体姿态关键特征)的坐标，并将相关坐标带入高斯热力公式建立由关键点组成的第k帧人体姿态热力图Ik(x,y)；
3.4)、对人体姿态热力图进行二值化处理，得到二值化人体姿态热力图：
其中，M为设定的阈值；
3.5)、计算k帧和k+1帧二值化人体姿态热力图之间的皮尔逊相关系数(k+1帧二值化人体姿态热力图也按照步骤3.1)～3.4)获得)：
若满足C≥0.5，则无需更新背景图Bg(x,y)，并将二值化人体姿态热力图Rk+1(x,y)输入预设的深度卷积神经网络模型，根据人体姿态特征判别人员是否跌倒，否则，将第k+1帧增强后红外热图像fk+1(x,y)作为红外背景图像Bg(x,y)，k＝k+2，返回步骤3.2)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011194529.3A CN112435440B (zh) | 2020-10-30 | 2020-10-30 | 一种基于物联网平台的非接触式室内人员跌倒识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011194529.3A CN112435440B (zh) | 2020-10-30 | 2020-10-30 | 一种基于物联网平台的非接触式室内人员跌倒识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112435440A true CN112435440A (zh) | 2021-03-02 |
| CN112435440B CN112435440B (zh) | 2022-08-09 |
Family
ID=74694896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011194529.3A Active CN112435440B (zh) | 2020-10-30 | 2020-10-30 | 一种基于物联网平台的非接触式室内人员跌倒识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112435440B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763536A (zh) * | 2021-09-03 | 2021-12-07 | 济南大学 | 一种基于rgb图像的三维重建方法 |
| CN114374878A (zh) * | 2021-12-28 | 2022-04-19 | 苏州金螳螂文化发展股份有限公司 | 一种基于动作识别的交互展示系统 |
| CN114627618A (zh) * | 2022-03-30 | 2022-06-14 | 成都理想科技开发有限公司 | 一种探测老人跌倒并报警的方法 |
| CN114724172A (zh) * | 2022-02-11 | 2022-07-08 | 深圳市创索佳电子有限公司 | 一种红外成像人体姿态识别方法及装置 |
| CN115376161A (zh) * | 2022-08-22 | 2022-11-22 | 北京航空航天大学 | 一种基于低分辨率红外阵列传感器的居家伴学系统 |
| CN115497251A (zh) * | 2022-08-19 | 2022-12-20 | 浙江智物慧云技术有限公司 | 人体晕倒躺卧姿态检测告警方法及其检测装置 |
| CN117352151A (zh) * | 2023-12-05 | 2024-01-05 | 吉林大学 | 智能陪护管理系统及其方法 |
| CN117593797A (zh) * | 2024-01-19 | 2024-02-23 | 深圳市美思先端电子有限公司 | 基于热电堆阵列的人体倾倒识别方法、装置及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999059116A1 (en) * | 1998-05-08 | 1999-11-18 | Primary Image Limited | Method and apparatus for detecting motion across a surveillance area |
| JP2002269572A (ja) * | 2001-03-14 | 2002-09-20 | Nec Corp | 移動物体検出方法、移動物体検出装置及び移動物体検出プログラム |
| JP2012027953A (ja) * | 2011-11-07 | 2012-02-09 | Seiko Epson Corp | 変化画像検出装置、変化画像検出方法、及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体 |
| CN102542377A (zh) * | 2010-12-17 | 2012-07-04 | 中科怡海高新技术发展江苏股份公司 | 水环境智能管理方法 |
| CN103634556A (zh) * | 2012-08-27 | 2014-03-12 | 联想(北京)有限公司 | 一种信息传输、接收方法及电子设备 |
| CN105590409A (zh) * | 2016-02-26 | 2016-05-18 | 江苏大学 | 一种基于大数据的人体跌倒检测方法及系统 |
| CN106851302A (zh) * | 2016-12-22 | 2017-06-13 | 国网浙江省电力公司杭州供电公司 | 一种基于帧内编码压缩域的监控视频运动目标检测方法 |
| CN108460320A (zh) * | 2017-12-19 | 2018-08-28 | 杭州海康威视数字技术股份有限公司 | 基于改进单元分析的监控视频异常事件检测方法 |
| US20180338017A1 (en) * | 2017-05-17 | 2018-11-22 | CodeShop, B.V. | System and Method for Aggregation, Archiving and Compression of Internet Of Things wireless Sensor Data |
| CN110008822A (zh) * | 2019-02-18 | 2019-07-12 | 武汉高德智感科技有限公司 | 一种基于红外传感器的姿态识别方法及系统 |
| CN110191281A (zh) * | 2019-05-31 | 2019-08-30 | 北京安诺信科技股份有限公司 | 图像识别抄表终端及系统、图像识别引擎服务器、智能表 |
| CN110215212A (zh) * | 2019-04-19 | 2019-09-10 | 福州大学 | 一种基于低分辨率红外热成像的智能跌倒检测系统 |
| CN110324626A (zh) * | 2019-07-10 | 2019-10-11 | 武汉大学苏州研究院 | 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法 |
| CN110366000A (zh) * | 2019-08-30 | 2019-10-22 | 北京青岳科技有限公司 | 一种视频画面传输方法及系统 |
| CN111274954A (zh) * | 2020-01-20 | 2020-06-12 | 河北工业大学 | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 |
| CN111448589A (zh) * | 2017-12-06 | 2020-07-24 | 皇家飞利浦有限公司 | 用于检测患者的身体移动的设备、系统和方法 |
-
2020
- 2020-10-30 CN CN202011194529.3A patent/CN112435440B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999059116A1 (en) * | 1998-05-08 | 1999-11-18 | Primary Image Limited | Method and apparatus for detecting motion across a surveillance area |
| JP2002269572A (ja) * | 2001-03-14 | 2002-09-20 | Nec Corp | 移動物体検出方法、移動物体検出装置及び移動物体検出プログラム |
| CN102542377A (zh) * | 2010-12-17 | 2012-07-04 | 中科怡海高新技术发展江苏股份公司 | 水环境智能管理方法 |
| JP2012027953A (ja) * | 2011-11-07 | 2012-02-09 | Seiko Epson Corp | 変化画像検出装置、変化画像検出方法、及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体 |
| CN103634556A (zh) * | 2012-08-27 | 2014-03-12 | 联想(北京)有限公司 | 一种信息传输、接收方法及电子设备 |
| CN105590409A (zh) * | 2016-02-26 | 2016-05-18 | 江苏大学 | 一种基于大数据的人体跌倒检测方法及系统 |
| CN106851302A (zh) * | 2016-12-22 | 2017-06-13 | 国网浙江省电力公司杭州供电公司 | 一种基于帧内编码压缩域的监控视频运动目标检测方法 |
| US20180338017A1 (en) * | 2017-05-17 | 2018-11-22 | CodeShop, B.V. | System and Method for Aggregation, Archiving and Compression of Internet Of Things wireless Sensor Data |
| CN111448589A (zh) * | 2017-12-06 | 2020-07-24 | 皇家飞利浦有限公司 | 用于检测患者的身体移动的设备、系统和方法 |
| CN108460320A (zh) * | 2017-12-19 | 2018-08-28 | 杭州海康威视数字技术股份有限公司 | 基于改进单元分析的监控视频异常事件检测方法 |
| CN110008822A (zh) * | 2019-02-18 | 2019-07-12 | 武汉高德智感科技有限公司 | 一种基于红外传感器的姿态识别方法及系统 |
| CN110215212A (zh) * | 2019-04-19 | 2019-09-10 | 福州大学 | 一种基于低分辨率红外热成像的智能跌倒检测系统 |
| CN110191281A (zh) * | 2019-05-31 | 2019-08-30 | 北京安诺信科技股份有限公司 | 图像识别抄表终端及系统、图像识别引擎服务器、智能表 |
| CN110324626A (zh) * | 2019-07-10 | 2019-10-11 | 武汉大学苏州研究院 | 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法 |
| CN110366000A (zh) * | 2019-08-30 | 2019-10-22 | 北京青岳科技有限公司 | 一种视频画面传输方法及系统 |
| CN111274954A (zh) * | 2020-01-20 | 2020-06-12 | 河北工业大学 | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王召军等: ""基于红外阵列传感器的人体行为识别系统研究"", 《红外技术》 * |
| 许超超: ""基于红外阵列传感器的室内人员监测系统的设计"", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763536A (zh) * | 2021-09-03 | 2021-12-07 | 济南大学 | 一种基于rgb图像的三维重建方法 |
| CN114374878A (zh) * | 2021-12-28 | 2022-04-19 | 苏州金螳螂文化发展股份有限公司 | 一种基于动作识别的交互展示系统 |
| CN114374878B (zh) * | 2021-12-28 | 2023-04-11 | 苏州金螳螂文化发展股份有限公司 | 一种基于动作识别的交互展示系统 |
| CN114724172A (zh) * | 2022-02-11 | 2022-07-08 | 深圳市创索佳电子有限公司 | 一种红外成像人体姿态识别方法及装置 |
| CN114627618A (zh) * | 2022-03-30 | 2022-06-14 | 成都理想科技开发有限公司 | 一种探测老人跌倒并报警的方法 |
| CN114627618B (zh) * | 2022-03-30 | 2024-02-06 | 成都理想科技开发有限公司 | 一种探测老人跌倒并报警的方法 |
| CN115497251A (zh) * | 2022-08-19 | 2022-12-20 | 浙江智物慧云技术有限公司 | 人体晕倒躺卧姿态检测告警方法及其检测装置 |
| CN115497251B (zh) * | 2022-08-19 | 2024-03-29 | 浙江智物慧云技术有限公司 | 人体晕倒躺卧姿态检测告警方法及其检测装置 |
| CN115376161A (zh) * | 2022-08-22 | 2022-11-22 | 北京航空航天大学 | 一种基于低分辨率红外阵列传感器的居家伴学系统 |
| CN117352151A (zh) * | 2023-12-05 | 2024-01-05 | 吉林大学 | 智能陪护管理系统及其方法 |
| CN117352151B (zh) * | 2023-12-05 | 2024-03-01 | 吉林大学 | 智能陪护管理系统及其方法 |
| CN117593797A (zh) * | 2024-01-19 | 2024-02-23 | 深圳市美思先端电子有限公司 | 基于热电堆阵列的人体倾倒识别方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112435440B (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112435440B (zh) | 一种基于物联网平台的非接触式室内人员跌倒识别方法 | |
| US10080513B2 (en) | Activity analysis, fall detection and risk assessment systems and methods | |
| Li et al. | Fall detection for elderly person care using convolutional neural networks | |
| Wang et al. | Human fall detection in surveillance video based on PCANet | |
| Chen et al. | Remote recognition of in-bed postures using a thermopile array sensor with machine learning | |
| CN111595453A (zh) | 一种基于人脸识别的红外测温系统及方法 | |
| US20130289449A1 (en) | Activity analysis, fall detection and risk assessment systems and methods | |
| CN111898580B (zh) | 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备 | |
| CN112163564B (zh) | 基于人体关键点行为识别与lstm的跌倒预判方法 | |
| CN104038738A (zh) | 一种提取人体关节点坐标的智能监控系统及方法 | |
| KR102580434B1 (ko) | 위험 상황 감지 장치 및 위험 상황 감지 방법 | |
| Li et al. | Collaborative fall detection using smart phone and Kinect | |
| Xiang et al. | Remote safety monitoring for elderly persons based on omni-vision analysis | |
| Liang et al. | Activity recognition based on thermopile imaging array sensor | |
| Chiu et al. | A convolutional neural networks approach with infrared array sensor for bed-exit detection | |
| CN114373142A (zh) | 基于深度学习的行人跌倒检测方法 | |
| Pires et al. | A real-time position monitoring system for fall detection and analysis using human pose estimation | |
| CN117352151A (zh) | 智能陪护管理系统及其方法 | |
| US10990859B2 (en) | Method and system to allow object detection in visual images by trainable classifiers utilizing a computer-readable storage medium and processing unit | |
| CN111915616A (zh) | 一种基于弱监督图像分割进行红外测温的方法及装置 | |
| Al Maashri et al. | A novel drone-based system for accurate human temperature measurement and disease symptoms detection using thermography and AI | |
| CN115886800A (zh) | 基于wifi信号的跌倒检测方法、装置、电子设备和存储介质 | |
| Miaou et al. | A smart vision-based human fall detection system for telehealth applications | |
| Poobt et al. | An Automated Infant Monitoring System Utilizing Microsensor Technology for Motion Detection and Audio Surveillance | |
| Gao | Abnormal behavior detection and warning based on deep intelligent video analysis for geriatric patients |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |