CN112101180B - 一种人的不安全行为识别方法及系统 - Google Patents

Abstract

本发明公开一种人的不安全行为识别方法及系统，所述方法包括：分别对场景、防护用品、人三类因素进行多级因子划分，进行人的不安全行为归类分组；对每个标准安全行为，分别配置标准安全图像，形成标准图像库；通过双目相机采集作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息；对所述第一图像、第二图像按照基础因子进行图像分割；确定不同场景的安全作业范围，建立每个场景与防护用品、人之间的关联关系；将分割后的子图像按照所述关联关系分组，每组子图像分别与标准图像库中的图像进行匹配，分别识别出各种场景下人的不安全行为。本发明可实现复杂场景下不安全行为精细化识别，避免一刀切。

Description

一种人的不安全行为识别方法及系统

技术领域

本发明涉及隐患排查技术领域，具体涉及一种人的不安全行为识别方法及系统。

背景技术

隐患是指作业场所、设备及设施的不安全状态，人的不安全行为和管理上的缺陷，是引发安全事故的直接原因。消除隐患就能从根本上杜绝事故的发生，因此，隐患管理在安全生产管理中的作用越来越突出。隐患管理涉及隐患排查和治理，隐患排查是隐患管理核心环节，隐患排查能力的高低反映了企业隐患管理能力的高低。

据统计，70％以上的事故是由人的不安全行为造成的，因此隐患排查的重点是对人的不安全行为的排查，其中，未佩戴或未正确佩戴防护用具占据人的不安全行为中的重要比例。目前，企业对人的不安全行为的排查基本依靠人员现场检查，这种方式一方面依赖于现场检查人员的隐患排查能力，隐患排查的质量无法保证，另一方面，人员现场检查工作的动态性、全面性、准确性无法保证。大多数作业现场场景复杂，可能包含多种设备及多位工作人员，不同工作人员使用不同设备工作时的安全标准不同，现有技术中一些的基于图像的不安全行为识别大多无法做到精细化识别，容易一刀切。

发明内容

本发明提出一种人的不安全行为识别方法和系统，用于解决场景复杂、人员众多情况下人的不安全行为的排查方式存在的排查不精细、错误率高问题。

本发明第一方面，公开一种人的不安全行为识别方法，所述方法包括：

分别对场景、防护用品、人三类因素进行多级因子划分，根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库；

针对每个场景基础因子的不安全行为，获取对应的标准安全行为，对每个标准安全行为，分别配置场景基础因子、防护用品基础因子和对应的标准安全行为的标准安全图像，形成标准图像库；

通过双目相机按预设周期获取作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息；

通过神经网络图像分割模型分别将所述第一图像、第二图像分割为场景、防护用品和人三类对象，对每类对象，按照基础因子进行图像再分割；

确定不同场景的安全作业范围，根据场景、防护用品和人的三维位置信息建立每个场景与对应的安全作业范围内的防护用品、人之间的关联关系；

将分割后的子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为。

优选的，所述分别对场景、防护用品、人三类因素进行多级因子划分具体为：

将场景划分为固定设备、手持工器具、其他工具、环境4个二级因子，针对每个二级因子划分三级因子；其中，固定设备的三级因子包括配电柜、起重设备、焊接/气割设备、压力容器；手持工器具的三级因子包括电钻、手提砂轮、电烙铁、行灯；其他工具的三级因子包括移动平台、移动梯、防护栏杆、警戒线；环境的三级因子包括现场火源、输电线路、夜间以及孔洞、坑、井、沟；

将防护用品划分为头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具9个二级因子；

将人划分为头部、眼面部、耳部、颈部、躯干、手部、足部7个二级因子。

优选的，所述根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库具体为：将场景的三级因子、防护用品的二级因子、人的二级因子排列组合，结合相应的安全行为标准形成人的不安全行为库。

将场景的三级因子、防护用品的二级因子、人的二级因子排列组合，结合相应的安全行为标准形成人的不安全行为库。

优选的，所述对每类对象，按照基础因子进行图像再分割具体为：

针对场景，根据每个三级因子进行特征提取；

针对劳动防护用品，直接进行头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具特征提取；

针对人，直接进行头部、眼面部、耳部、颈部、躯干、手部、足部特征提取；

所述基础因子为场景、防护用品、人三类因素的所划分的最小因子级别。

优选的将分割后的子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为具体为：

分别将第一图像、第二图像再分割后的子图像按照场景与对应的安全作业范围内的防护用品、人分组；将分组输入的子图像与标准图像库中每个标准安全行为对应的标准安全图像进行匹配，，分别计算场景子图像、防护用品子图像、人的行为子图像与对应的标准安全图像之间的相似度，当相似度均超过对应的阈值时，匹配成功，没有不安全行为；

当人的行为子图像中有任何一个匹配失败，输出匹配失败的图像和对应的不安全行为作为识别结果；

比较第一图像和第二图像的对应的子图像识别结果，若存在子图像识别结果不同，选取匹配成功的作为识别结果。

本发明第二方面，公开一种人的不安全行为识别系统，所述系统包括：

行为库建立模块：分别对场景、防护用品、人三类因素进行多级因子划分，根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库；

图像库建立模块：针对每个场景的不安全行为分组，获取对应的标准安全行为，对每个标准安全行为，分别配置场景基础因子、防护用品基础因子和对应的标准安全行为的标准安全图像，形成标准图像库；

位置确定模块：通过双目相机按预设周期获取作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息，获取不同场景的安全作业范围；建立每个场景与对应的安全作业范围内的防护用品、人之间的关联关系；

图像分割模块：通过神经网络图像分割模型分别将所述第一图像、第二图像分割为场景、防护用品、人三类对象，对每类对象，按照多级因子进行图像再分割；

行为识别模块：将分割后的子图像按照所述关联关系分组，每组子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为。

本发明的相对于现有技术具有以下有益效果：

1)本发明分别对场景、防护用品、人三类因素进行多级因子划分，通过排列组合方式建立了不安全行为库，及对应的安全标准库，实现标准行为和标准安全图像的精细化划分，为不安全行为检测提供了健全的检测环境；

2)通过双目相机对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息；确定不同场景的安全作业范围和对应安全作业范围内的防护用品、人，分别对每个场景各自对应的安全作业范围内的不安全行为进行检测，对复杂场景、可实现交叉检测，避免一刀切。

3)本发明结合安全标准库，对不同场景采用不同的检测标准，可实现复杂场景下不安全行为精细化识别，防止场景与人的对应关系混乱造成识别错误，提高识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的人的不安全行为识别方法流程示意图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，本发明提出一种人的不安全行为识别方法，所述方法包括：

S1、分别对场景、防护用品、人三类因素进行多级因子划分，根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库；

将场景划分为固定设备、手持工器具、其他工具、环境4个二级因子，针对每个二级因子划分三级因子；其中，固定设备的三级因子包括配电柜、起重设备、焊接/气割设备、压力容器；手持工器具的三级因子包括电钻、手提砂轮、电烙铁、行灯；其他工具的三级因子包括包括移动平台、移动梯、防护栏杆、警戒线；环境的三级因子包括现场火源、输电线路、夜间以及孔洞、坑、井、沟；

将防护用品划分为头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具9个二级因子；

将人划分为头部、眼面部、耳部、颈部、躯干、手部、足部7个二级因子。

将场景的三级因子、防护用品的二级因子、人的二级因子排列组合，结合相应的安全行为标准形成人的不安全行为库。

S2、针对每个场景基础因子的不安全行为，获取对应的标准安全行为，对每个标准安全行为，分别配置场景基础因子、防护用品基础因子和人的行为标准安全图像，形成标准图像库；即每个标准安全行为，分别有场景基础因子标准安全图像、防护用品基础因子的标准安全图像、人的行为的标准安全图像。其中人的行为标准安全图像包括正确佩戴头部、眼面部、耳部、颈部、躯干、手部、足部防护用品的图像。表1所示为不安全行为及标准安全行为对应关系示例。

表1

S3、通过双目相机按预设周期采集作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息；

S4、通过神经网络图像分割模型分别将所述第一图像、第二图像图像分割为场景、防护用品和人三类对象，对每类对象，按照基础因子进行图像再分割；

针对场景，根据每个三级因子进行特征提取，结合图像特征库识别出图像中的三级场景；

针对劳动防护用品，直接进行头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具特征提取；

针对人，直接进行头部、眼面部、耳部、颈部、躯干、手部、足部特征提取；

所述基础因子为场景、防护用品、人三类因素的所划分的最小因子级别，按照基础因子进行图像再分割后，分别得到场景子图像、防护用品子图像、人的行为子图像。

S5、确定不同场景的安全作业范围，根据场景、防护用品和人的三维位置信息建立每个场景与对应的安全作业范围内的防护用品、人之间的关联关系；

所示不同场景的安全作业范围为不同三级因子的安全作业范围，根据不同场景三级因子的类型、具体应用确定，比如移动平台，人站在移动平台的可移动范围和移动平台的移动范围即可作为其安全作业范围；焊接/气割设备由于危险系数较高，安全作业范围可设置为比其作业区域要大的范围。某一场景的安全作业范围内的防护用具和人与该场景关联。

S6、将分割后的子图像按照所述关联关系分组，每组子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为。

建立图像匹配模型，将第一图像再分割后的子图像按照场景与对应的安全作业范围内的防护用品、人分组，分别将每组图像输入图像匹配模型，得到每个场景的安全作业范围内的不安全行为。同理将第二图像再分割后的子图像按照场景与对应的安全作业范围内的防护用品、人分组，分别将每组图像输入图像匹配模型，得到每个场景的安全作业范围内的不安全行为。

图像匹配模型识别出作业现场图像中人的不安全行为具体方法为：

分别将、分组输入的子图像与标准图像库中每个标准安全行为对应的标准安全图像进行匹配，分别计算场景子图像与场景基础因子标准安全图像之间的相似度、防护用品子图像与防护用品基础因子的标准安全图像之间的相似度、人的子图像与人的行为标准安全图像之间的相似度，当相似度均超过对应的阈值时，匹配成功，没有不安全行为；

人的子图像与人的行为标准安全图像匹配中有任何一个匹配失败，输出匹配失败的图像和对应的不安全行为作为识别结果；

比较第一图像和第二图像的对应的子图像识别结果，若存在子图像识别结果不同，选取匹配成功的作为识别结果。由于拍摄角度、遮挡等问题可能存在某个图像识别不准确的问题，将双目相机第一图像和第二图像的结果比较可获得多角度识别结果，进一步减少识别错误。

为保证安全，一旦进入某一场景A的安全作业范围内的人都应正确佩戴相应的防护用品，否则属于不安全行为，对于该安全作业范围之外的区域，由于超出该场景A的作用区域，因此可认为相对于该场景A是安全的，但是若其在其他场景的安全作业范围之内，应满足其他场景的下的安全需求。其他场景下同理。若某一区域同时在场景A和B的安全作业范围内，则进入该区域的人应同时佩戴场景A和B下的防护用品，否则属于不安全行为。

由于实际作业现场场景复杂，可能同时包含多种作业场景及多位工作人员，不同工作人员使用不同设备工作时的安全标准不同，本发明通过双目相机对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息；根据不同场景的安全作业范围确定对应安全作业范围内的防护用品、人，分别对每个场景各自对应的安全作业范围内的不安全行为进行检测，复杂场景下可同时进行交叉检测，避免一刀切的方式将作业现场作业范围之外的人的行为识别为不安全行为。本发明结合安全标准库，对不同场景采用不同的检测标准，可实现复杂场景环境下不安全行为精细化识别，防止场景与人的对应关系混乱造成识别错误，提高识别准确率。

与所述方法实施例相对应，本发明还提出一种人的不安全行为识别系统，所述系统包括：

行为库建立模块：分别对场景、防护用品、人三类因素进行多级因子划分，根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库；

图像库建立模块：针对每个场景的不安全行为分组，获取对应的标准安全行为，对每个标准安全行为，分别配置场景基础因子、防护用品基础因子和对应的标准安全行为的标准安全图像，形成标准图像库；

基于所述标准图像库构建神经网络图像检测模型；

位置确定模块：通过双目相机按预设周期获取作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息，获取不同场景的安全作业范围；建立每个场景与对应的安全作业范围内的防护用品、人之间的关联关系；

图像分割模块：通过神经网络图像分割模型分别将所述第一图像、第二图像分割为场景、防护用品、人三类对象，对每类对象，按照多级因子进行图像再分割；

行为识别模块：将再分割后的子图像按照场景与对应的安全作业范围内的防护用品、人分组输入所述神经网络图像检测模型，分别识别出各种场景下人的不安全行为。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种人的不安全行为识别方法，其特征在于，所述方法包括：

分别对场景、防护用品、人三类因素进行多级因子划分，根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库；所述分别对场景、防护用品、人三类因素进行多级因子划分具体为：

将场景划分为固定设备、手持工器具、其他工具、环境4个二级因子，针对每个二级因子划分三级因子；其中，固定设备的三级因子包括配电柜、起重设备、焊接/气割设备、压力容器；手持工器具的三级因子包括电钻、手提砂轮、电烙铁、行灯；其他工具的三级因子包括移动平台、移动梯、防护栏杆、警戒线；环境的三级因子包括现场火源、输电线路、夜间以及孔洞、坑、井、沟；

将防护用品划分为头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具9个二级因子；

将人划分为头部、眼面部、耳部、颈部、躯干、手部、足部7个二级因子；

将场景的三级因子、防护用品的二级因子、人的二级因子排列组合，结合相应的安全行为标准形成人的不安全行为库；针对每个场景基础因子的不安全行为，获取对应的标准安全行为，对每个标准安全行为，分别配置场景基础因子、防护用品基础因子和人的行为的标准安全图像，形成标准图像库；

通过双目相机按预设周期采集作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息；

通过神经网络图像分割模型分别将所述第一图像、第二图像分割为场景、防护用品和人三类对象，对每类对象，按照基础因子进行图像再分割，得到子图像；

确定不同场景的安全作业范围，根据场景、防护用品和人的三维位置信息建立每个场景与对应的安全作业范围内的防护用品、人之间的关联关系；所述不同场景的安全作业范围为不同三级因子的安全作业范围，根据不同场景三级因子的类型、具体应用确定；将分割后的子图像按照所述关联关系分组，每组子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为；

分别对每个场景各自对应的安全作业范围内的不安全行为进行检测，对于多个场景的安全作业范围交叉的复杂场景，同时进行交叉检测。

2.根据权利要求1所述人的不安全行为识别方法，其特征在于，所述对每类对象，按照基础因子进行图像再分割具体为：

针对场景，根据每个三级因子进行特征提取；

针对劳动防护用品，直接进行头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具特征提取；

针对人，直接进行头部、眼面部、耳部、颈部、躯干、手部、足部特征提取；

所述基础因子为场景、防护用品、人三类因素的所划分的最小因子级别。

3.根据权利要求2所述人的不安全行为识别方法，其特征在于，所述将分割后的子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为具体为：

分别将第一图像、第二图像再分割后的子图像按照场景与对应的安全作业范围内的防护用品、人分组；将分组输入的子图像与标准图像库中每个标准安全行为对应的标准安全图像进行匹配，分别计算场景子图像、防护用品子图像、人的行为子图像与对应的标准安全图像之间的相似度，当相似度均超过对应的阈值时，匹配成功，没有不安全行为；

当人的行为子图像中有任何一个匹配失败，输出匹配失败的图像和对应的不安全行为作为识别结果；

比较第一图像和第二图像的对应的子图像识别结果，若存在子图像识别结果不同，选取匹配成功的作为识别结果。

4.一种人的不安全行为识别系统，其特征在于，所述系统包括：

行为库建立模块：分别对场景、防护用品、人三类因素进行多级因子划分，根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库；所述分别对场景、防护用品、人三类因素进行多级因子划分具体为：

将场景划分为固定设备、手持工器具、其他工具、环境4个二级因子，针对每个二级因子划分三级因子；其中，固定设备的三级因子包括配电柜、起重设备、焊接/气割设备、压力容器；手持工器具的三级因子包括电钻、手提砂轮、电烙铁、行灯；其他工具的三级因子包括移动平台、移动梯、防护栏杆、警戒线；环境的三级因子包括现场火源、输电线路、夜间以及孔洞、坑、井、沟；

将防护用品划分为头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具9个二级因子；

将人划分为头部、眼面部、耳部、颈部、躯干、手部、足部7个二级因子；

将场景的三级因子、防护用品的二级因子、人的二级因子排列组合，结合相应的安全行为标准形成人的不安全行为库；

图像库建立模块：针对每个场景的不安全行为分组，获取对应的标准安全行为，对每个标准安全行为，分别配置场景基础因子、防护用品基础因子和对应的标准安全行为的标准安全图像，形成标准图像库；

位置确定模块：通过双目相机按预设周期获取作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息，获取不同场景的安全作业范围；建立每个场景与对应的安全作业范围内的防护用品、人之间的关联关系；所述不同场景的安全作业范围为不同三级因子的安全作业范围，根据不同场景三级因子的类型、具体应用确定；

图像分割模块：通过神经网络图像分割模型分别将所述第一图像、第二图像分割为场景、防护用品、人三类对象，对每类对象，按照多级因子进行图像再分割；

行为识别模块：将分割后的子图像按照所述关联关系分组，每组子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为；

分别对每个场景各自对应的安全作业范围内的不安全行为进行检测，对于多个场景的安全作业范围交叉的复杂场景，同时进行交叉检测。

Images