CN113450538A - 基于痛苦表情识别及跌倒行为检测的警示系统 - Google Patents

基于痛苦表情识别及跌倒行为检测的警示系统 Download PDF

Info

Publication number
CN113450538A
CN113450538A CN202110720650.3A CN202110720650A CN113450538A CN 113450538 A CN113450538 A CN 113450538A CN 202110720650 A CN202110720650 A CN 202110720650A CN 113450538 A CN113450538 A CN 113450538A
Authority
CN
China
Prior art keywords
warning system
module
expression
axis coordinate
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110720650.3A
Other languages
English (en)
Inventor
潘哲琦
付晓峰
张佳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110720650.3A priority Critical patent/CN113450538A/zh
Publication of CN113450538A publication Critical patent/CN113450538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种痛苦表情识别及跌倒行为检测的警示系统。基于痛苦表情识别及跌倒行为检测的警示系统，包括摄像头、数据库服务器、云计算服务器和智能手机。还包括数据存储模块、中心识别模块和报警模块，其中数据存储模块位于数据库服务器中，中心识别模块和报警模块位于云计算服务器中。数据存储模块用于存储警示系统所需的相关信息。中心识别模块是用于检测异常状况。报警模块用于即时主动向管理员发送报警信息。本发明结合痛苦表情识别及跌倒行为检测对图像视频流进行检测，识别准确率高且识别速度并没有因为多种检测而下降。本发明适用范围广，能检测更多种危险状况且适用于实时视频检测。

Description

基于痛苦表情识别及跌倒行为检测的警示系统
技术领域
本发明属于智能监控与人脸及行为识别技术领域，具体为一种室内环境的痛苦表情识别及跌倒行为检测的警示系统。
背景技术
人工智能现在已经进入场景驱动阶段，深入落地到各个行业之中去解决不同场景的问题。在传统监控领域，管理员需要长时间盯着监控视频。一方面人不能长时间集中注意力，另一个方面存在管理员玩忽职守的可能，导致危险情况发生的时候并不能及时发现。
现将传统监控结合人工智能，设计基于痛苦表情识别及跌倒行为检测的警示系统，当检测到图像中出现人的痛苦表情或者人的跌倒行为发生时，及时发出警示。上述系统可以在医院、养老院等地方进行应用。
现有的针对于老人、病人遇到危险情况(如突然病情加重、跌倒等)的自动报警系统一般由可穿戴设备进行检测或者单一监测某种类型，如只进行痛苦表情检测或只进行跌倒检测。穿戴设备对病人、老人并不友好，而单一监测某种危险情况的报警系统的功能不够齐全，会出现监测不到某些危险发生、不能及时报警的情况，存在一定的隐患。
发明内容
针对现有技术的不足，本发明提供一种室内痛苦表情识别及跌倒行为检测的警示系统，以解决如何在无监护人情况下病人摔倒或产生其他痛苦症状时，及时发出警示信息的技术问题。
为实现上述目的，本发明提供如下技术方案：
本发明包括部署在建筑房屋居室内且用于监控病人活动的摄像头、用于存储本警示系统所产生数据的数据库服务器、运行有本警示系统服务端软件且架设在远程云端的云计算服务器、运行有本警示系统用户端软件且由管理员随身携带的智能手机。
所述摄像头与数据库服务器进行通信连接，数据库服务器与云计算服务器进行通信连接，数据库服务器与智能手机进行通信连接，云计算服务器与智能手机进行通信连接。
所述警示系统还包括数据存储模块、中心识别模块和报警模块，其中数据存储模块位于数据库服务器中，中心识别模块和报警模块位于云计算服务器中。
所述数据存储模块用于存储警示系统所需的相关信息，包括人脸信息、摄像头及对应房间号信息、用户信息。
所述中心识别模块用于检测异常状况，在摄像头下检测到痛苦表情或者跌倒行为后，对人进行身份识别。
所述报警模块接收来自所述中心识别模块的报警信息，同时主动向管理员发送报警信息。
本发明相对于现有方法具有以下有益效果：本发明结合痛苦表情识别及跌倒行为检测对图像视频流进行检测，识别准确率高且识别速度并没有因为多种检测而下降。本发明适用范围广，能检测更多种危险状况且适用于实时视频检测。
附图说明
图1表示中心识别模块检测流程图；
图2表示人体特征点示例图；
图3表示人脸检测示意图；
图4表示本发明构建痛苦表情所用的卷积神经网络模型。
具体实施方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施实例仅旨在便于对本发明的理解，而对其不起任何限定作用。
基于痛苦表情识别及跌倒行为检测的警示系统，包括如下设备：(1)部署在建筑房屋居室内且用于监控病人活动的摄像头；(2)用于存储本警示系统所产生数据的数据库服务器；(3)运行有本警示系统服务端软件且架设在远程云端的云计算服务器；(4)运行有本警示系统用户端软件且由管理员随身携带的智能手机。
警示系统中各个设备之间包括如下通信连接：(1)所述摄像头与数据库服务器进行通信连接；(2)数据库服务器与云计算服务器进行通信连接；(3)数据库服务器与智能手机进行通信连接；(4)云计算服务器与智能手机进行通信连接。
所述警示系统包括数据存储模块、中心识别模块和报警模块，其中数据存储模块位于数据库服务器中，中心识别模块和报警模块位于云计算服务器中。数据存储模块用于存储警示系统所需的相关信息，如人脸信息、摄像头及对应房间号信息、用户信息。中心识别模块是用于检测异常状况的，在摄像头下检测到痛苦表情或者跌倒行为后，对人进行身份识别；然后，中心识别模块直接将报警信息发送给报警模块。报警模块用于即时主动向管理员发送报警信息。具体地，中心识别模块与数据存储模块、报警模块之间要进行通信。
图1表示中心识别模块的整个识别流程，具体流程如下：
步骤S1:由摄像头采集室内画面，将图像传送到中心识别模块，由中心识别模块对图像进行检测。
步骤S2:对图像进行预处理操作，对图片进行归一化操作。
步骤S3:对预处理后的图像并行进行跌倒行为识别和痛苦表情检测，得到结果。
步骤S4:如果发现步骤S3中有任何一种危险情况发生，则对图像中的人进行身份识别。
步骤S5:结合之前检测到的危险情况、人物身份信息进行分析并形成警示信息。根据不同的情况，将警示分为两个等级。从高到低分别是Ⅰ、Ⅱ级。Ⅰ级代表有危险情况且持续时间超过两分钟，Ⅱ级代表有危险情况但持续时间小于两分钟。
图2表示人体特征点识别示意图。其中人体特征点由OpenPose进行识别，本系统只使用识别出的鼻子、左膝盖、右膝盖这三个特征点。跌倒检测的流程如下：
步骤S1：判断是否有跌倒趋势。
根据当前图像与当前图像前第八帧图像的鼻子与左膝盖(右膝盖)之间长度的变化，来判断是否有跌倒趋势。具体公式如下：
Figure BDA0003136768640000041
或者
Figure BDA0003136768640000042
其中NoseBoforePointsY代表当前帧之前的第八帧中鼻子所在位置的y轴坐标，LkneeBeforePointsY(RKneeBeforePointsY)代表当前帧之前的第八帧中左(右)膝盖所在位置的y轴坐标。NosePointsY代表当前帧中鼻子所在位置的y轴坐标。LKneePointsY(RKneePointsY)代表当前帧中左(右)膝盖所在位置的y轴坐标。
步骤S2：判断是否为跌倒状态。
根据鼻子与膝盖之间的倾斜度判断是否为跌倒状态。具体公式如下：
Figure BDA0003136768640000043
或者
Figure BDA0003136768640000044
其中NosePointsX代表当前帧中鼻子所在位置的x轴坐标。LKneePointsX(RKneePointsX)代表当前帧中左(右)膝盖所在位置的x轴坐标。
图3代表对视频中某一张图像进行人脸检测后的结果示意图。对预处理后的图像进行人脸检测，若检测到人脸就截取相应的人脸。
图4代表本次训练痛苦表情分类器所使用的卷积网络。数据集有两万多张图片，分为痛苦表情和非痛苦表情。训练前先对图片进行预处理操作，预处理公式为：
Figure BDA0003136768640000045
x代表图片中的数据，类型是向量类型。
该网络最后生成一个痛苦表情二分类器，损失函数为二值交叉熵损失函数，公式如下：
Figure BDA0003136768640000051
其中，N代表样本量，yi代表第i个样本的经过处理后的标签，p代表概率。
痛苦表情分类器返回的结果是[a1,a2]二元组，其中a1代表痛苦表情的概率，a2代表非痛苦表情的概率。哪个高即判定为哪种类型。经过训练得到识别准确率高的痛苦表情分类器。
根据深度学习的知识可知，在一定范围中加深网络深度和使用较小的卷积核能提升最终分类效果。本发明使用较深的网络结构和较小的卷积核，具体地，使用十二层网络以及3*3、5*5卷积核，这样使得最终分类效果更好；本发明在卷积层或者全连接层之后进行Batch Normalization和Dropout操作，减少过拟合并加快训练速度，同时使用ReLu激活函数，增强学习能力；本发明使用三层全连接层，加深全连接层，提高模型非线性表达能力，增强模型的学习能力。
综上，本发明提供更加完善的监测功能，在检测到痛苦表情或者跌倒行为后，进行身份识别，形成报警信息，其中报警信息会详细描述报警类别、发生危险人员。本发明更大程度地检测危险情况、区分报警类型以及定位发生危险的人员。
前面已经具体描述了本发明的实施方案，应当理解，对于一个具有本技术领域的普通技能的人，不在背离本发明的范围的情况下，在上述的和在附加的权利要求中特别提出的本发明的范围内进行变化和调整能同样达到本发明的目的。

Claims (4)

1.基于痛苦表情识别及跌倒行为检测的警示系统，其特征在于：包括部署在建筑房屋居室内且用于监控病人活动的摄像头、用于存储本警示系统所产生数据的数据库服务器、运行有本警示系统服务端软件且架设在远程云端的云计算服务器、运行有本警示系统用户端软件且由管理员随身携带的智能手机；
所述摄像头与数据库服务器进行通信连接，数据库服务器与云计算服务器进行通信连接，数据库服务器与智能手机进行通信连接，云计算服务器与智能手机进行通信连接；
所述警示系统还包括数据存储模块、中心识别模块和报警模块，其中数据存储模块位于数据库服务器中，中心识别模块和报警模块位于云计算服务器中；
所述数据存储模块用于存储警示系统所需的相关信息，包括人脸信息、摄像头及对应房间号信息、用户信息；
所述中心识别模块用于检测异常状况，在摄像头下检测到痛苦表情或者跌倒行为后，对人进行身份识别；
所述报警模块接收来自所述中心识别模块的报警信息，同时主动向管理员发送报警信息。
2.根据权利要求1所述的基于痛苦表情识别及跌倒行为检测的警示系统，其特征在于：所述的中心识别模块被配置为执行以下步骤：
步骤S1:中心识别模块接收摄像头采集的室内图像；
步骤S2:对室内图像进行预处理操作，对图像进行归一化操作；
步骤S3:对预处理后的图像并行进行跌倒行为识别和痛苦表情检测，得到结果；
步骤S4:如果发现步骤S3中有任何一种危险情况发生，则对图像中的人进行身份识别；
步骤S5:结合之前检测到的危险情况、人物身份信息进行分析并形成警示信息；根据不同的情况，将警示分为两个等级；从高到低分别是Ⅰ、Ⅱ级；Ⅰ级代表有危险情况且持续时间超过两分钟，Ⅱ级代表有危险情况但持续时间小于两分钟。
3.根据权利要求2所述的基于痛苦表情识别及跌倒行为检测的警示系统，其特征在于：所述的跌倒行为识别具体是：
步骤S1：判断是否有跌倒趋势；
根据当前图像与当前图像的前第八帧图像的鼻子与左膝盖或鼻子与右膝盖之间长度的变化，来判断是否有跌倒趋势；具体公式如下：
Figure FDA0003136768630000021
或者
Figure FDA0003136768630000022
其中NoseBoforePointsY代表当前帧之前的第八帧中鼻子所在位置的y轴坐标，LkneeBeforePointsY代表当前帧之前的第八帧中左膝盖所在位置的y轴坐标，RKneeBeforePointsY代表当前帧之前的第八帧中右膝盖所在位置的y轴坐标，NosePointsY代表当前帧中鼻子所在位置的y轴坐标；LKneePointsY代表当前帧中左膝盖所在位置的y轴坐标，RKneePointsY代表当前帧中右膝盖所在位置的y轴坐标；
步骤S2：判断是否为跌倒状态；
根据鼻子与膝盖之间的倾斜度判断是否为跌倒状态；具体公式如下：
Figure FDA0003136768630000023
或者
Figure FDA0003136768630000024
其中NosePointsX代表当前帧中鼻子所在位置的x轴坐标；LKneePointsX代表当前帧中左膝盖所在位置的x轴坐标，RKneePointsX代表当前帧中右膝盖所在位置的x轴坐标。
4.根据权利要求2所述的基于痛苦表情识别及跌倒行为检测的警示系统，其特征在于：所述的痛苦表情检测采用痛苦表情分类器，所述痛苦表情分类器为二分类器，其损失函数Loss为二值交叉熵损失函数，公式如下：
Figure FDA0003136768630000031
其中，N代表样本量，yi代表第i个样本的经过处理后的标签，p代表概率；
痛苦表情分类器返回的结果是[a1,a2]二元组，其中a1代表痛苦表情的概率，a2代表非痛苦表情的概率。
CN202110720650.3A 2021-06-28 2021-06-28 基于痛苦表情识别及跌倒行为检测的警示系统 Pending CN113450538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110720650.3A CN113450538A (zh) 2021-06-28 2021-06-28 基于痛苦表情识别及跌倒行为检测的警示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110720650.3A CN113450538A (zh) 2021-06-28 2021-06-28 基于痛苦表情识别及跌倒行为检测的警示系统

Publications (1)

Publication Number Publication Date
CN113450538A true CN113450538A (zh) 2021-09-28

Family

ID=77813509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110720650.3A Pending CN113450538A (zh) 2021-06-28 2021-06-28 基于痛苦表情识别及跌倒行为检测的警示系统

Country Status (1)

Country Link
CN (1) CN113450538A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186420A (zh) * 2008-10-16 2011-09-14 皇家飞利浦电子股份有限公司 跌倒检测系统
CN104994335A (zh) * 2015-06-11 2015-10-21 广东欧珀移动通信有限公司 一种报警的方法及终端
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN110647812A (zh) * 2019-08-19 2020-01-03 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN111259786A (zh) * 2020-01-14 2020-06-09 浙江大学 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111383421A (zh) * 2018-12-30 2020-07-07 奥瞳系统科技有限公司 隐私保护跌倒检测方法和系统
CN111415750A (zh) * 2020-03-18 2020-07-14 浙江网新恩普软件有限公司 一种基于规则的用户信息结构化和快速检索的方法及系统
CN111513823A (zh) * 2020-04-30 2020-08-11 成都思多科医疗科技有限公司 基于多任务神经网络与偏转扫描的穿刺针定位方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186420A (zh) * 2008-10-16 2011-09-14 皇家飞利浦电子股份有限公司 跌倒检测系统
CN104994335A (zh) * 2015-06-11 2015-10-21 广东欧珀移动通信有限公司 一种报警的方法及终端
CN111383421A (zh) * 2018-12-30 2020-07-07 奥瞳系统科技有限公司 隐私保护跌倒检测方法和系统
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN110647812A (zh) * 2019-08-19 2020-01-03 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN111259786A (zh) * 2020-01-14 2020-06-09 浙江大学 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111415750A (zh) * 2020-03-18 2020-07-14 浙江网新恩普软件有限公司 一种基于规则的用户信息结构化和快速检索的方法及系统
CN111513823A (zh) * 2020-04-30 2020-08-11 成都思多科医疗科技有限公司 基于多任务神经网络与偏转扫描的穿刺针定位方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张雄伟 等: "《智能语音处理》", 31 October 2020 *

Similar Documents

Publication Publication Date Title
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
CN106600888B (zh) 一种森林火灾自动检测方法及系统
CN110781914B (zh) 一种设备故障的监控处理方法、装置、设备和存储介质
CN112287816A (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN110287825B (zh) 一种基于关键骨骼点轨迹分析的摔倒动作检测方法
CN112437280A (zh) 一种基于大数据分析的智慧监控安防数据处理管理系统
CN111127830A (zh) 基于监控设备的报警方法、报警系统和可读存储介质
CN114469076B (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
CN112489368A (zh) 智能跌倒识别与检测报警方法及系统
CN110852222A (zh) 一种基于目标检测的校园走廊场景智能监控方法
CN113297926B (zh) 行为检测识别方法及系统
CN115880784A (zh) 基于人工智能的景区多人动作行为监测方法
CN112183219A (zh) 一种基于人脸识别的公共安全视频监测方法及系统
CN113223046A (zh) 一种监狱人员行为识别的方法和系统
CN114898261A (zh) 一种基于视频和生理数据融合的睡眠质量评估方法及系统
CN114187561A (zh) 异常行为的识别方法、装置、终端设备及存储介质
CN102043963A (zh) 一种图像人数识别统计方法
CN113313186B (zh) 一种不规范穿戴工作服识别方法及系统
Mai et al. A fall detection alert system based on lightweight openpose and spatial-temporal graph convolution network
CN113450538A (zh) 基于痛苦表情识别及跌倒行为检测的警示系统
CN113420739B (zh) 基于神经网络的智能应急监控方法、系统和可读存储介质
CN115049875A (zh) 一种基于深度学习的变电站中佩戴绝缘手套的检测方法
CN115170059A (zh) 户外工地智能安全监测系统及工作方法
CN112307896A (zh) 一种社区监控场景下电梯猥亵行为异常检测方法
CN113420626A (zh) 一种施工现场安全行为判别方法和存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210928