CN114333047A - 一种基于双光感知信息融合的人体摔倒检测装置与方法 - Google Patents
一种基于双光感知信息融合的人体摔倒检测装置与方法 Download PDFInfo
- Publication number
- CN114333047A CN114333047A CN202111446536.2A CN202111446536A CN114333047A CN 114333047 A CN114333047 A CN 114333047A CN 202111446536 A CN202111446536 A CN 202111446536A CN 114333047 A CN114333047 A CN 114333047A
- Authority
- CN
- China
- Prior art keywords
- human body
- prediction
- image
- width
- double
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于双光感知信息融合的人体摔倒检测装置与方法，涉及人体行为检测技术领域，旨在解决现有目标检测技术中，可见光图像受光照影响大；红外图像对比度低、特征信息不丰富、噪声多；以及现有人体姿态识别模型计算量大等问题，提出一种基于光照强度自适应算法，将可见光图像与红外热成像信息进行特征级融合，并通过温宽掩码筛选出人体目标候选区域，降低算法计算复杂度，提高模型识别精度和实时性，有效实现看护场景下对人体姿态的识别与检测。
Description
技术领域
本发明涉及人体行为检测技术领域，更具体的是涉及一种基于双光感知信 息融合的人体摔倒检测装置与方法。
背景技术
当今中国步入老龄化社会，由于社会的高速发展，独居、孤寡的空巢老人 也正以前所未有的速度增长。近年来，独居老人家中意外摔倒死亡事件频发， 相关研究表明，老人摔倒后若能及时得到帮助，可有效降低死亡风险和住院长 期治疗风险。
目前现有的摔倒检测系统以穿戴传感器和视觉摄像头实现摔倒行为监测， 由于穿戴式设备存在续航弱、穿戴舒适度较差等问题，老年人也容易忘记佩戴 设备，视觉摄像头能够较好的弥补这些缺陷。市面上普遍是基于可见光摄像头 实现的摔倒检测系统，存在隐私泄露等问题，不适用于光照昏暗、过曝等环境。 对此，我们采用以红外热成像为主的双光相机获取感知信息，通过深度学习的 方法检测出异常摔倒行为，并通过报警装置提醒看护人员进行及时的救助。该 系统能够全天候工作，不存在隐私泄露，对居家看护具有非常大的应用价值。
发明内容
本发明能够提高模型识别精度和实时性，有效实现看护场景下对人体姿态 的识别与检测。
为了实现上述目的，具体采用以下技术方案：一种基于双光感知信息融合 的人体摔倒检测装置，包括双光相机、终端处理器及报警设备；
所述双光相机安装于房间内墙体上部，以水平夹角-15°进行安装，俯视监 控区域，同时所述双光相机通过网络与终端处理器连接，将拍摄的视频流传输 至终端处理器中，通过所述终端处理器中部署的深度学习模型，依照检测算法 流程对接收到的视频流进行实时监控，在检测到异常摔倒信息后，向报警设备 发送动作指令，所述报警设备在接收到所述动作指令后进行报警。
为了实现上述目的，还包括一种基于双光感知信息融合的人体摔倒检测装 置的检测方法，包括以下步骤：
步骤S1：设置固定温宽区间[15℃，40℃]，通过所述双光相机采集多角 度、多场合的人体姿态视频图像，同时获取同一时间序列的红外数据及可见光 数据，其中包含多种人体姿态；
步骤S2：对红外数据通过中值滤波算子，去除噪声，同时对红外图像数据 通过非线性灰度变换算子，将图像的灰度映射至新的区间，增加图像对比度；
步骤S3：对可见光图像数据通过Scharr算子提取其边沿信息，得到可见 光图像数据的特征图像，再读取可见光图像数据的平均亮度值Lmean，并进行归 一化，得到亮度影响因子γ：
通过自适应权重拟合算子将可见光图像数据的特征图像Irgb与红外图像数 据Ir进行特征级融合：
I＝Ir+γIrgb；
步骤S4：对融合后的图像数据进行标注，设置3个类别：fall、stand及 sit，严格按照姿态角度进行标注，并且将拍摄的多张图像数据，按照8：1：1 的比例设置训练集、验证集与测试集；
步骤S5：本发明采用CenterNet网络模型，该网络主要采用anchor-free 检测模型；
步骤S6：对模型输出的结果进行二进制编码，当检测结果为fall状态时， 输出值为x＝1,当检测结果为sit或stand状态时，输出值为x＝0，对一帧图像 时所有检测结果进行编码，并且对输出值进行相加：
sum＝x1+x2+...+xi
依据以下判断条件，若sum≥1，则向控制通道传递摔倒信息flag，并开始 计时，在ts内持续收到flag信息，则向报警设备发出动作指令，以提示相关 人员监控区域出现人员异常摔倒行为：
进一步的：所述步骤S5包括以下步骤：
步骤S51：首先将输入数据Resize变换成512×512的尺寸，以ResNet50 作为特征提取骨干网络，对输出尺寸为(16，16，2048)的特征图像加上温宽 掩码，获取可能的目标区域；
步骤S52：然后利用三次反卷积进行上采样，获得尺寸为(128，128，64) 的高分辨率特征图像，该特征图像把原始图片划分为128×128个区域，其中掩 码区域为候选区域，每个候选区域都存在一个特征点，如果人体的中心点落在 一个区域，则由此区域左上角的特征点进行替代；
步骤S53：最后分别通过三个分支进行，包括热力图预测、中心点预测及宽 高预测。
进一步的：所述热力图预测为Heatmap热力图预测，其设定人体姿态类别 数量c＝3，经过3×3+1×1卷积核，生成三个通道的热力图，每个通道的热力 图代表一个人体姿态的类别，每个通道的热力图上的热力点代表是否有该类别 的人体姿态出现。
进一步的：所述中心点预测为Reg中心点预测，输出通道数为2，代表每个 目标距离热力点的偏移情况，从而得到当前特征点对应预测点的偏移量。
进一步的：所述宽高预测为WH宽高预测，输出通道为2，代表每个目标的 宽高预测情况，得到当前特征点对应预测框的宽高。
进一步的：所述温宽掩码为根据人体温宽信息(Tmin,Tmax)设置掩码，获取可 能的人体目标区域；
温宽：Ti＝{T1，T2...，Tn}
图像灰度数值范围：hmin～hmax
max||Ti||-min||Ti||＝n
hmax-hmin＝s
每℃对应的灰度值区域范围：m＝s/n
hmin+n*m＝min||Ti||+n
据研究，在标准大气压下，人体各部位的体表温度分布在33.2℃-36.4℃， 通过服装表面温度与人体体表温度的关系拟合算子得出，穿着轻薄衣物的人体 区域温度分布在26.7℃-36.4℃，灰度区域在120-230范围内，根据灰度设置 掩码，添加到骨干网输出特征图像，保留可能的人体目标区域。
本发明的有益效果如下：
1：提出一种基于光照强度自适应的特征级融合算法，增强了红外图像的边 缘信息，提升不同光照环境下的目标检测的鲁棒性，通过温宽掩码筛选出人体 目标候选区域，提高模型实时性，通过CenterNet网络模型对数据进行分类与 检测，对人体行为进行判定，有效实现看护场景下对人体姿态的识别与检测。
2:提出了温宽掩码的机制，根据人体温宽信息设置掩码范围，获取粗略的 人体目标区域，降低模型计算复杂度，同时便于对人体姿势进行判断。
3：能够对监测区域进行实时监控，并且在有人员出现摔倒时，及时进行现 场的声光报警，同时对相关人员发送信息进行提醒。
附图说明
图1是本发明的方法流程示意图；
图2是本发明的算法流程示意图；
图3是本发明中温宽、灰度值的拟合函数示意图；
图4是本发明中人体温宽信息掩码提取人体可能区域示意图；
图5是本发明中自然光图像数据与红外图像数据的融合对比示意图；
图6是CenterNet网络结构示意图；
图7是摔倒检测装置系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附 图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要 求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的 实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
如图6所示，本发明提供一种基于双光感知信息融合的人体摔倒检测装置， 包括双光相机、终端处理器及报警设备；
所述双光相机安装于房间内不墙体上部，以水平夹角-15°进行安装，俯视 监控区域，同时所述双光相机通过网络与终端处理器连接，将拍摄的视频流传 输至终端处理器中，在所述终端处理器中设置有训练完成的神经网络模型，依 照检测算法流程对接收到的视频流进行实时监控，在检测到异常摔倒信息后， 向报警设备发送动作指令，所述报警设备在接收到所述动作指令后进行报警。
如图1-图5所示，本发明还提供一种基于双光感知信息融合的人体摔倒检 测装置的检测方法，包括以下步骤：
步骤S1：设置固定温宽区间[15℃，40℃]，通过所述双光相机采集多角 度、多场合的人体姿态视频图像，同时获取同一时间序列的红外数据及可见光 数据，其中包含多种人体姿态；
步骤S2：对红外数据通过中值滤波算子，去除噪声，同时对红外图像数据 通过非线性灰度变换算子，将图像的灰度映射至新的区间，增加图像对比度；
步骤S3：对可见光图像数据通过Scharr算子提取其边沿信息，得到可见 光图像数据的特征图像，再读取可见光图像数据的平均亮度值Lmean，并进行归 一化，得到亮度影响因子γ：
通过自适应权重拟合算子将可见光图像数据的特征图像Irgb与红外图像数 据Ir进行特征级融合：
I＝Ir+γIrgb；
步骤S4：对融合后的图像数据进行标注，设置3个类别：fall、stand及 sit，严格按照姿态角度进行标注，并且将拍摄的多张图像数据，按照8：1：1 的比例设置训练集、验证集与测试集；
步骤S5：本发明采用CenterNet网络模型，该网络主要采用anchor-free 检测模型；首先将输入数据Resize变换成512×512的尺寸，以ResNet50作为 特征提取骨干网络，对输出尺寸为(16，16，2048)的特征图像加上温宽掩码， 获取可能的目标区域；然后利用三次反卷积进行上采样，获得尺寸为(128，128， 64)的高分辨率特征图像，该特征图像把原始图片划分为128×128个区域，其 中掩码区域为候选区域，每个候选区域都存在一个特征点，如果人体的中心点 落在一个区域，则由此区域左上角的特征点进行替代；最后分别通过三个分支 进行，包括热力图预测、中心点预测及宽高预测。
步骤S6：对模型输出的结果进行二进制编码，当检测结果为fall状态时， 输出值为x＝1,当检测结果为sit或stand状态时，输出值为x＝0，对一帧图像 时所有检测结果进行编码，并且对输出值进行相加：
sum＝x1+x2+…+xi
依据以下判断条件，若sum≥1，则向控制通道传递摔倒信息flag，并开始 计时，在ts内持续收到flag信息，则向报警设备发出动作指令，以提示相关 人员监控区域出现人员异常摔倒行为：
所述热力图预测为Heatmap热力图预测，其设定人体姿态类别数量c＝3， 经过3×3+1×1卷积核，生成三个通道的热力图，每个通道的热力图代表一个 人体姿态的类别，每个通道的热力图上的热力点代表是否有该类别的人体姿态 出现；所述中心点预测为Reg中心点预测，输出通道数为2，代表每个目标距 离热力点的偏移情况，从而得到当前特征点对应预测点的偏移量；所述宽高预 测为WH宽高预测，输出通道为2，代表每个目标的宽高预测情况，得到当前特 征点对应预测框的宽高。
所述温宽掩码为根据人体温宽信息(Tmin,Tmax)设置掩码，获取可能的人体目 标区域；
温宽：Ti＝{T1，T2…，Tn}
图像灰度数值范围：hmin～hmax
max||Ti||-min||Ti||＝n
hmax-hmin＝s
每℃对应的灰度值区域范围：m＝s/n
hmin+n*m＝min||Ti||+n
据研究，在标准大气压下，人体各部位的体表温度分布在33.2℃-36.4℃， 通过服装表面温度与人体体表温度的关系拟合算子得出，穿着轻薄衣物的人体 区域温度分布在26.7℃-36.4℃，灰度区域在120-230范围内，根据灰度设置 掩码，添加到骨干网输出特征图像，保留可能的人体目标区域。
Claims (7)
1.一种基于双光感知信息融合的人体摔倒检测装置，其特征在于，包括双光相机、终端处理器及报警设备；
所述双光相机安装于房间内墙体上部，以水平夹角-15°进行安装，俯视监控区域，同时所述双光相机通过网络与终端处理器连接，将拍摄的视频流传输至终端处理器中，通过所述终端处理器中部署的深度学习模型，依照检测算法流程对接收到的视频流进行实时监控，在检测到异常摔倒信息后，向报警设备发送动作指令，所述报警设备在接收到所述动作指令后进行报警。
2.基于权利要求1所述的一种基于双光感知信息融合的人体摔倒检测装置的检测方法，其特征在于，包括以下步骤：
步骤S1：设置固定温宽区间[15℃，40℃]，通过所述双光相机采集多角度、多场合的人体姿态视频图像，同时获取同一时间序列的红外数据及可见光数据，其中包含多种人体姿态；
步骤S2：对红外数据通过中值滤波算子，去除噪声，同时对红外图像数据通过非线性灰度变换算子，将图像的灰度映射至新的区间，增加图像对比度；
步骤S3：对可见光图像数据通过Scharr算子提取其边沿信息，得到可见光图像数据的特征图像，再读取可见光图像数据的平均亮度值Lmean，并进行归一化，得到亮度影响因子γ：
通过自适应权重拟合算子将可见光图像数据的特征图像Irgb与红外图像数据Ir进行特征级融合：
I＝Ir+γIrgb；
步骤S4：对融合后的图像数据进行标注，设置3个类别：fall、stand及sit，严格按照姿态角度进行标注，并且将拍摄的多张图像数据，按照8：1：1的比例设置训练集、验证集与测试集；
步骤S5：本发明采用CenterNet网络模型，该网络主要采用anchor-free检测模型；
步骤S6：对模型输出的结果进行二进制编码，当检测结果为fall状态时，输出值为x＝1,当检测结果为sit或stand状态时，输出值为x＝0，对一帧图像时所有检测结果进行编码，并且对输出值进行相加：
sum＝x1+x2+...+xi
依据以下判断条件，若sum≥1，则向控制通道传递摔倒信息flag，并开始计时，在ts内持续收到flag信息，则向报警设备发出动作指令，以提示相关人员监控区域出现人员异常摔倒行为：
3.根据权利要求2所述的一种基于双光感知信息融合的人体摔倒检测装置的检测方法，其特征在于，所述步骤S5包括以下步骤：
步骤S51：首先将输入数据Resize变换成512×512的尺寸，以ResNet50作为特征提取骨干网络，对输出尺寸为(16，16，2048)的特征图像加上温宽掩码，获取可能的目标区域；
步骤S52：然后利用三次反卷积进行上采样，获得尺寸为(128，128，64)的高分辨率特征图像，该特征图像把原始图片划分为128×128个区域，其中掩码区域为候选区域，每个候选区域都存在一个特征点，如果人体的中心点落在一个区域，则由此区域左上角的特征点进行替代；
步骤S53：最后分别通过三个分支进行，包括热力图预测、中心点预测及宽高预测。
4.根据权利要求3所述的一种基于双光感知信息融合的人体摔倒检测装置的检测方法，其特征在于，所述热力图预测为Heatmap热力图预测，其设定人体姿态类别数量c＝3，经过3×3+1×1卷积核，生成三个通道的热力图，每个通道的热力图代表一个人体姿态的类别，每个通道的热力图上的热力点代表是否有该类别的人体姿态出现。
5.根据权利要求3所述的一种基于双光感知信息融合的人体摔倒检测装置的检测方法，其特征在于，所述中心点预测为Reg中心点预测，输出通道为2，代表每个目标距离热力点的偏移情况，从而得到当前特征点对应预测点的偏移量。
6.根据权利要求3所述的一种基于双光感知信息融合的人体摔倒检测装置的检测方法，其特征在于，所述宽高预测为WH宽高预测，输出通道为2，代表每个目标的宽高预测情况，得到当前特征点对应预测框的宽高。
7.根据权利要求3所述的一种基于双光感知信息融合的人体摔倒检测装置的检测方法，其特征在于，所述温宽掩码为根据人体温宽信息(Tmin,Tmax)设置掩码，获取可能的人体目标区域；
温宽：Ti＝{T1，T2...，Tn}
图像灰度数值范围：hmin～hmax
max||Ti||-min||Ti||＝n
hmax-hmin＝s
每℃对应的灰度值区域范围：m＝s/n
hmin+n*m＝min||Ti||+n
据研究，在标准大气压下，人体各部位的体表温度分布在33.2℃-36.4℃，通过服装表面温度与人体体表温度的关系拟合算子得出，穿着轻薄衣物的人体区域温度分布在26.7℃-36.4℃，灰度区域在120-230范围内，根据灰度设置掩码，添加到骨干网输出特征图像，保留可能的人体目标区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111446536.2A CN114333047A (zh) | 2021-11-30 | 2021-11-30 | 一种基于双光感知信息融合的人体摔倒检测装置与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111446536.2A CN114333047A (zh) | 2021-11-30 | 2021-11-30 | 一种基于双光感知信息融合的人体摔倒检测装置与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114333047A true CN114333047A (zh) | 2022-04-12 |
Family
ID=81048313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111446536.2A Pending CN114333047A (zh) | 2021-11-30 | 2021-11-30 | 一种基于双光感知信息融合的人体摔倒检测装置与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114333047A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114999108A (zh) * | 2022-08-03 | 2022-09-02 | 杭州乐湾科技有限公司 | 基于影像处理的老年跌倒侦测方法 |
| CN117915047A (zh) * | 2024-01-17 | 2024-04-19 | 广州视声健康科技有限公司 | 基于计算机视觉的智能病房监测方法及装置 |
-
2021
- 2021-11-30 CN CN202111446536.2A patent/CN114333047A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114999108A (zh) * | 2022-08-03 | 2022-09-02 | 杭州乐湾科技有限公司 | 基于影像处理的老年跌倒侦测方法 |
| CN114999108B (zh) * | 2022-08-03 | 2022-11-29 | 杭州乐湾科技有限公司 | 基于影像处理的老年跌倒侦测方法 |
| CN117915047A (zh) * | 2024-01-17 | 2024-04-19 | 广州视声健康科技有限公司 | 基于计算机视觉的智能病房监测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569772B (zh) | 一种泳池内人员状态检测方法 | |
| CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
| US10796140B2 (en) | Method and apparatus for health and safety monitoring of a subject in a room | |
| CN114333047A (zh) | 一种基于双光感知信息融合的人体摔倒检测装置与方法 | |
| CN112183238B (zh) | 一种远程教育注意力检测方法及系统 | |
| CN106934377B (zh) | 一种改进的人脸检测系统 | |
| CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
| JP2007264860A (ja) | 顔領域抽出装置 | |
| CN107958572B (zh) | 一种婴儿监控系统 | |
| CN110751635B (zh) | 一种基于帧间差分和hsv颜色空间的口腔检测方法 | |
| CN108737785B (zh) | 基于tof 3d摄像机的室内跌倒自动检测系统 | |
| CN112489371A (zh) | 一种基于计算机视觉的泳池防溺水预警系统 | |
| CN111259763B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| CN106881716A (zh) | 基于3d摄像头机器人的人体跟随方法及系统 | |
| CN114898261A (zh) | 一种基于视频和生理数据融合的睡眠质量评估方法及系统 | |
| CN112365618A (zh) | 一种基于人脸识别和二维码测温考勤系统及方法 | |
| CN107247934A (zh) | 一种基于快速特征点定位的全天候哈欠检测方法及系统 | |
| CN115482485A (zh) | 视频处理方法、装置、计算机设备及可读存储介质 | |
| Celik et al. | Computer vision based fire detection in color images | |
| JP2000184359A (ja) | 監視装置及び監視システム | |
| CN109028234B (zh) | 一种能够对烟雾等级进行标识的油烟机 | |
| CN108375920A (zh) | 基于深度传感器的设备控制系统 | |
| CN111695479A (zh) | 基于图像减影技术的跌倒预警方法 | |
| CN113780262A (zh) | 人脸识别智能光照补偿方法、装置、设备及系统 | |
| TWI614698B (zh) | 四足動物發情偵測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |