CN115171037A - 基于视觉识别的危化品存储室安全作业穿戴识别装置及方法 - Google Patents

Abstract

本发明提出了一种基于视觉识别的危化品存储室安全作业穿戴识别装置及方法，装置包括：实时数据采集模块、行人检测模块、多目标跟踪模块、电子围栏模块、穿戴设备检测模块、穿戴合规分析模块、语音播报模块。本发明结合行人检测技术、目标跟踪技术、目标检测技术，利用高清数字摄像机采集视频流数据，实时对整个安全作业穿戴合规流程通过人工智能进行识别和分析其否合规，与门禁进行联动，并通过语音播报设备对各个不合规部分进行播报，方便作业人员调整，最终完成作业人员进入作业区安全穿戴主动监控，保护了作业人员的人身安全。

Description

基于视觉识别的危化品存储室安全作业穿戴识别装置及方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于视觉识别的危化品存储室安全作业穿戴识别装置及方法。

背景技术

危化品大多具有易燃、易爆、腐蚀特性，还有剧毒性。因此危化品存放的安全监管工作秉持安全第一、预防为主原则。作业人员在进行危化品存储日常安全作业时存在不容忽视的的潜在危险：人身中毒。因此，安全监管部门针对危化品存储室的安全作业也建设了安全管理规章制度，保证危化品的安全使用和管理。同时相关的企业都设立有严格的安全作业规章制度。

随着信息化和数据化加速建设，很多工作场所都安装了数字摄像机，并在后台就可以远程监控到安全作业的画面，能够高效地进行监管工作，也确实大大提高了监管的力度。但是由于工作环境的差异性和作业人员的主观认知等一系列复杂因素，实际生产过程中并不能很好地执行规范中设立的规章。此外，一方面监控需要人工长时间盯着监控屏幕，容易疲劳，效率低下；另一方面，监控基本都是发生事故后再进行调查，然后追责，无法杜绝事故的发生，从根本上解决问题。因此如要执行安全第一、预防为主的重要方针，保障作业人员的人身安全，目前依靠规章制约，培养员工安全意识或者进行视频监控的方式并不能完全解决作业的安全问题。

在进入危化品存储室之前，作业人员需要按照安全作业规范穿戴好作业装备，如作业服、氧气罩、氧气瓶等，预防作业过程中出现事故导致中毒。很多企业或者单位确实有明确的安全作业规范，企业也非常重视，设定了很高的安全等级。但在具体作业执行时，由于缺少有效的监管，无法从根本上杜绝这类事故的发生。目前主要存在以下几个问题：

1.现有的监控系统比较老旧，只能依靠人工来进行远程监督。厂区有很多的危化品存储室，人工监督无法全部覆盖。此外，作业在晚上时间段进行时，由于监督人员疲劳，人工监控效率也很低，还也带来了很大的人力成本。

2.虽然各个企业都会有独立的安保单位来支撑日常的安全作业规范监督。但是由于工作环境的复杂因素，加上工作人员主观上也存在侥幸的思维，也无法做到作业前的检查。一般只能出了事故后再来翻阅历史录像，进行批评教育，对于那些安全隐患还是没有完全杜绝。

发明内容

为解决上述问题，本发明公开了一种基于视觉识别的危化品存储室安全作业穿戴识别装置及方法，基于人工智能技术，通过智能视觉感知和规范逻辑分析，在安全作业人员在进入危化品存储室之前，依据规范规定，检测作业人员着装穿戴，进行着装智能识别和合规分析，在作业前保证着装的穿戴是合规的，并与门禁进行联动，穿戴合规之后才打开门禁。完全避免了作业人员会抱有侥幸心理直接进入危化品存储室作业，做到了预防为主，安全第一。

为达到上述目的，本发明的技术方案如下：

基于视觉识别的危化品存储室安全作业穿戴识别方法，包括如下步骤：

步骤1，设置电子围栏

在视频画面中，在进入危化品存储室前的区域设置识别区，作为人员开始识别和人员数据检测的触发区域；在识别区中设置穿戴规范检测区，穿戴规范检测区数量与作业人员数量相匹配，各穿戴规范检测区彼此独立；

步骤2，作业人员检测和作业人员数量识别

作业人员进入电子围栏区域，通过摄像机采集并解码后获得视频数据，自动检测到进入识别区的作业人员，识别出人员的在图像中的位置信息和人员数量，根据视频实时数据进行多目标跟踪；当识别到进入识别区的人员数量不足并持续一段时间时，则判断为人员闯入；若超过规定数量的人员进入识别区时，则判断为识别作业不符合规范，通知其他人员离开该区域；若跟踪法检测到两个目标的跟踪ID发生变化，则提示人员回到开始检测的位置；

步骤3，穿戴设备的检测

当作业人员分别进入穿戴规范检测区时，通过目标检测算法检测出作业人员的所有穿戴设备及设备之间的连接关系；

步骤4，时序数据分析

持续接收来自步骤3的实时穿戴设备数据进行分析，对于每张图像进行识别，判断图像中的穿戴设备及其连接是否符合规范，若出现不符合规范的设备或其连接，作为不符合规范图像，并通过语音播报的方式提醒作业人员微调；单位时间内符合规范的图像占单位时间内分析总图像数量超过阈值时，则满足规范，授权门禁开启权限进入作业区域，否则进入下一个识别单元。

进一步的，所述步骤3中若跟踪ID发生变化，则回到步骤2。

一种基于视觉识别的危化品存储室安全作业穿戴识别装置，包括以下几个模块：实时数据采集模块、行人检测模块、多目标跟踪模块、电子围栏模块、穿戴设备检测模块、穿戴合规分析模块、语音播报模块；所述实时数据采集模块通过摄像机采集视频数据，再进行实时解码，解码好的数据分别输出到装置中的行人检测模块、多目标跟踪模块、穿戴设备检测模块进行视觉内容的识别；所述行人检测模块用于对图像中进入电子围栏识别区的作业人员进行自动检测，识别出人员的在图像中的位置信息和数量；所述多目标跟踪模块用于对多个作业人员进行实时跟踪和标记，跟踪人员ID是否发生变化；所述电子围栏模块用于在作业的摄像机拍摄画面中，画出围栏区域范围，与行人检测模块、多目标跟踪模块、穿戴设备检测模块解析出的结果共同输入到穿戴合规分析模块来判断作业人员是否合规作业；所述穿戴设备检测模块用于通过目标检测算法检测作业人员穿戴的设备；所述穿戴合规分析模块用于综合前面的识别数据，分析是否满足作业人员穿戴合规要求，并输出合规或者不合规的数据给语音播报模块；所述语音播报模块用于向作业人员发出信息提示，如当不合规时提示不合规播报，提醒进行穿戴纠正，若合规提醒进行下一步操作。

进一步的，穿戴合规分析模块分析过程包括：识别区内作业人员数量是否为规定数量，检测时人员位置是否分别处于穿戴规范检测区中，跟踪ID是否有变化，每个规定穿戴的设备及各部件连接是否均已检出，是否按照顺序穿戴。

本发明的有益效果为：

本发明结合行人检测技术、目标跟踪技术、目标检测技术，利用高清数字摄像机采集视频流数据，实时对整个安全作业穿戴合规流程通过人工智能进行识别和分析是否合规，与门禁进行联动，并通过语音播报设备对各个不合规部分进行播报，方便作业人员调整，最终完成作业人员进入作业区安全穿戴主动监控，实现了预防为主，消除隐患的目的，保护了作业人员的人身安全。

附图说明

图1为基于视觉识别的危化品存储室安全作业穿戴识别装置整体结构示意图。

图2为基于视觉识别的危化品存储室安全作业穿戴识别装置设置场景示意图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供了一种基于视觉识别的危化品存储室安全作业穿戴识别装置，如图1所示，包括以下几个模块：实时数据采集模块、行人检测模块、多目标跟踪模块、电子围栏模块、穿戴设备检测模块、穿戴合规分析模块、语音播报模块。其中实时数据采集模块通过网络摄像机采集到视频数据，再通过RTSP(Real Time Streaming Protocol)协议将摄像机的视频采集数据拉取过来并进行实时解码，解码的数据格式为支持后续识别的位图数据格式(如视觉第三方库OpenCV的数据格式Mat)。解码好的数据分别输出到装置中的行人检测模块、多目标跟踪模块、穿戴设备检测模块进行视觉内容的识别。经过这个过程，从视频的非结构化数据就转换成了结构化数据。这些结构化的数据根据安全规范的要求，进行时间序列上的分析。并实时的将不符合规范的状态通过语音播报设备进行播报，通知作业人员进行调整。当所有规定的穿戴都满足规范时，门禁系统可以进行刷卡作业流程。行人检测模块用于对图像中进入电子围栏识别区的作业人员进行自动检测，识别出人员的在图像中的位置信息和数量。多目标跟踪模块用于对多个作业人员进行实时跟踪和标记，防止中间换人，此装置涉及到两个人(或两个人以上)的作业，因此需实现多目标跟踪功能，多目标跟踪算法可以选择DeepSort，但不限于此算法，此处主要用于对人员的标记。电子围栏模块用于在作业的摄像机拍摄画面中，画出围栏区域范围，与行人检测模块、多目标跟踪模块、穿戴设备检测模块解析出的结果共同输入到穿戴合规分析模块来判断作业人员是否合规作业；穿戴设备检测模块用于通过目标检测算法检测作业人员穿戴的设备；穿戴合规分析模块用于综合前面的识别数据，分析是否满足作业人员穿戴合规要求(包括：识别区内作业人员数量是否达到规定作业人数(本例中规定作业人数为两名)，检测时人员位置是否分别在指定的电子围栏中，跟踪ID是否有变化，每位作业人员穿戴的设备及各部件连接是否均已检出，是否按照顺序穿戴，比如严格按照规范穿戴作业服，佩戴呼吸器，氧气罩等穿戴设备)，并输出合规或者不合规的数据给语音播报模块；语音播报模块用于向作业人员发出信息提示，如当不合规时会提示不合规播报，提醒进行穿戴纠正，若合规则提醒进行下一步操作。

本发明还提供了基于视觉识别的危化品存储室安全作业穿戴识别方法，基于上述基于视觉识别的危化品存储室安全作业穿戴识别装置实现，装置设置场景如图2所示。本方法包括如下步骤：

步骤1，设置电子围栏。此处设定工作人员规范数为2人同时作业。如图2，设置了两种电子围栏：其一是在视频画面中，在进入危化品存储室前的区域设置识别区，该区域主要用作人员开始识别和人员数据检测的触发区域，范围较大，人员进入作业区域时，提示作业人员需要进行作业着装识别，触发行人检测模块工作。另一种是图中标注的1和2的两个小型电子围栏区域，这些区域用作对俩个作业人员进行检测，两位作业人员必须在这两个围栏内部区域完成穿戴规范检测，对应的作业人员也表记为1号作业人员和2号作业人员，当作业人员分别进入这两个小型电子围栏区域时，触发穿戴设备检测模块工作。

步骤2，作业人员检测和作业人员数量识别。设置好电子围栏，装置通过网络摄像机采集到视频数据，再进行解码后获得视频数据。当有人员进入电子围栏区域时，装置基于视频数据自动检测到进入识别区的作业人员，触发识别流程，识别出人员的在图像中的位置信息和人员数量，根据视频实时数据进行多目标跟踪(多目标跟踪算法可以选择DeepSort，但不限于此算法，此处主要用于对人员的标记)。若该过程中，作业人员不是2人时，便进行不合规播报告警。当识别到一个人进入识别区且只有一个人进入并持续一段时间时(可设置为1分钟)，则判断为人员闯入。若超过2个人进入该区域，则判断为识别作业不符合规范，通知其他人员离开该区域。若跟踪算法检测到两个目标的跟踪ID发生变化，则提示工作人员回到开始检测的位置，即1和2两个电子围栏中。当识别到两个目标且无上述异常时，则表示作业人员就位，进入下一个步骤。

步骤3，穿戴设备的检测。步骤2中的作业人员已分别在各电子围栏就位之后，便开始检测作业人员的穿戴设备(本例中，设定检测的设备为：呼吸阀、氧气罩、氧气瓶、防毒防尘面罩)。由于设备是可拆卸的(如呼吸阀与氧气罩是连接的)，穿戴设备的检测要按照规范的要求，将不规范的穿戴逐一进行检测。其中，穿戴算法的检测可以采用YOLOV5等成熟检测算法，但也可以用其他的检测算法实现。本步骤检测图像中是否包含设定检测的穿戴设备，基于检测到的设备数据由步骤4进一步进行分析。这个过程中若跟踪ID发生变化，则回到步骤2。

步骤4，时序数据分析。在本步骤中持续接收来自步骤3的实时数据进行分析。对这些数据进行规范分析：每个作业人员穿戴的设备是否齐备，若出现未检测到的设备或其连接，或是穿戴不符合规范(例如，穿戴空气呼吸器时，氧气罩、呼吸阀及氧气瓶必须都存在并且呼吸阀与氧气罩应相互连接)，则通过语音播报的方式提醒作业人员微调。

具体的，本步骤中对数据进行规范分析，判断设备或其连接是否规范的过程包括以下步骤：

1.对设备和设备连接问题建立数据集，如各设备ID(用于标识各设备)，设备穿戴标识(例如A设备存在时，则设置A设备标识为1，A设备不存在时,则设置A设备标识为0)，设备两两之间的连接状态标识(例如A连接设备B时设置则设置AB连接标识为1，设备A未连接设备B时设置则设置AB连接标识为0)。

2.设计检测算法模型，可以采用视觉感知算法实现，根据设备的形状设计对应的检测算法，以检测并识别出不同的设备及其连接。

3.训练算法模型，以使其识别精确。

4.将算法模型应用于图像识别中，并基于识别结果，为每幅图像赋予设备穿戴标识和两两连接状态标识相应的值。

5.将步骤4得到的表示与预先设置好的符合规范穿戴的标识(例如，A、B、C、D设备应穿戴，A应与B连接等)相对比，当一致则表示该图像符合规范，不一致则标识该图像不符合规范。本步骤中判断结果用于后续的时序分析。

为了保障检测的准确率，时序分析的数据进行如下判断：假设对于实时分析的图像是1秒k帧，一个识别单元是s秒。那么在单位时间需要识别的图像数据为k*s张。对于每张图像进行识别，符合规范的记为a张，不符合记为b,(b＝k*s-a)张,整个投票机制为：c＝a/(a+b)＝a/(k*s)。若投票的分数大于一个阈值t(如t＝0.85)，则满足规范，授权门禁开启权限进入作业区域，否则进入下一个识别单元。为了降低误检率，在一个识别单元时间内进行多次检测。

需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。

Claims (4)

1.基于视觉识别的危化品存储室安全作业穿戴识别方法，其特征在于，包括如下步骤：

步骤1，设置电子围栏

在视频画面中，在进入危化品存储室前的区域设置识别区，作为人员开始识别和人员数据检测的触发区域；在识别区中设置穿戴规范检测区，穿戴规范检测区数量与作业人员数量相匹配，各穿戴规范检测区彼此独立；

步骤2，作业人员检测和作业人员数量识别

作业人员进入电子围栏区域，通过摄像机采集并解码后获得视频数据，自动检测到进入识别区的作业人员，识别出人员的在图像中的位置信息和人员数量，根据视频实时数据进行多目标跟踪；当识别到进入识别区的人员数量不足并持续一段时间时，则判断为人员闯入；若超过规定数量的人员进入识别区时，则判断为识别作业不符合规范，通知其他人员离开该区域；若跟踪法检测到两个目标的跟踪ID发生变化，则提示人员回到开始检测的位置；

步骤3，穿戴设备的检测

当作业人员分别进入穿戴规范检测区时，通过目标检测算法检测出作业人员的所有穿戴设备及设备之间的连接关系；

步骤4，时序数据分析

持续接收来自步骤3的实时穿戴设备数据进行分析，对于每张图像进行识别，判断图像中的穿戴设备及其连接是否符合规范，若出现不符合规范的设备或其连接，作为不符合规范图像，并通过语音播报的方式提醒作业人员微调；单位时间内符合规范的图像占单位时间内分析总图像数量超过阈值时，则满足规范，授权门禁开启权限进入作业区域，否则进入下一个识别单元。

2.根据权利要求1所述的基于视觉识别的危化品存储室安全作业穿戴识别方法，其特征在于，所述步骤3中若跟踪ID发生变化，则回到步骤2。

3.一种基于视觉识别的危化品存储室安全作业穿戴识别装置，其特征在于，包括：实时数据采集模块、行人检测模块、多目标跟踪模块、电子围栏模块、穿戴设备检测模块、穿戴合规分析模块、语音播报模块；所述实时数据采集模块通过摄像机采集视频数据，再进行实时解码，解码好的数据分别输出到装置中的行人检测模块、多目标跟踪模块、穿戴设备检测模块进行视觉内容的识别；所述行人检测模块用于对图像中进入电子围栏识别区的作业人员进行自动检测，识别出人员的在图像中的位置信息和数量；所述多目标跟踪模块用于对多个作业人员进行实时跟踪和标记，跟踪人员ID是否发生变化；所述电子围栏模块用于在作业的摄像机拍摄画面中，画出围栏区域范围，与行人检测模块、多目标跟踪模块、穿戴设备检测模块解析出的结果共同输入到穿戴合规分析模块来判断作业人员是否合规作业；所述穿戴设备检测模块用于通过目标检测算法检测作业人员穿戴的设备；所述穿戴合规分析模块用于综合前面的识别数据，分析是否满足作业人员穿戴合规要求，并输出合规或者不合规的数据给语音播报模块；所述语音播报模块用于向作业人员发出信息提示，如当不合规时提示不合规播报，提醒进行穿戴纠正，若合规提醒进行下一步操作。

4.根据权利要求3所述的基于视觉识别的危化品存储室安全作业穿戴识别装置，其特征在于，穿戴合规分析模块分析过程包括：识别区内作业人员数量是否为规定数量，检测时人员位置是否分别处于穿戴规范检测区中，跟踪ID是否有变化，每个规定穿戴的设备及各部件连接是否均已检出，是否按照顺序穿戴。

Images