CN114387665A - 一种基于便携布控球的登高无人扶梯识别系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，尤其为一种基于便携布控球的登高无人扶梯识别系统，具体操作流程如下:S1，全景抓拍；S2，人员与梯子目标定位；S3，位置关系判断；S4，局部抓拍；S5，人体姿态识别；S6，异常人员排除；S7，无人扶梯告警触发，本系统通过控制摄像头移动和变焦控制，实现实际作业场景的智能抓拍，能提升对作业人员登高行为和扶梯行为的识别效果，解决了远距离下目标检测和行为识别算法准确率低的问题，本系统结合基于RGB图像的人体姿态估计算法和目标检测算法，代替了现有动作识别的方案，能提升对作业人员登高行为和扶梯行为的识别效果，减少算法的设备依赖度。

Description

一种基于便携布控球的登高无人扶梯识别系统

技术领域

本发明涉及计算机视觉技术领域，具体为一种基于便携布控球的登高无人扶梯识别系统。

背景技术

广东电网公司提出打造全过程可视化的现场智慧安全名片，当前电网公司每日作业点多面广，现场安全管控难度大，虽然当前作业现场可视化监督管理系统已经普及，但单纯依靠人力盯盘的方式进行现场安全管控，不仅效率低下且无法对现场作业违章或危险行为进行实时提醒与告警。目前，仅广东电网每日电力作业点就多达4000-6000个，每日作业现场人员多达4-6万，作业点多面广，现场安全管控难度大。面对这种严峻形势，单纯依靠人力安全督查来进行现场安全管控，存在监管效率低，人力成本高，极易出现监管盲区的问题，现场情况难以全面及时掌控，安全风险难以严格把控。

登高无人扶梯是指：在梯子上作业，无人扶梯子或梯子架设在不稳定的支持物上，根据《中国南方电网有限责任公司电力安全工作规程》中规定，作业中出现该行为即属于违章类(C类)处罚情况。因此，亟需依靠AI图像识别技术，保证在实际作业中能及时提醒和监督作业人员，避免其出现登高无人扶梯的违章情况。

与本发明最相近的现有技术：

1、目标检测

物体检测的任务是找出图像或视频中的感兴趣物体，同时检测出它们的位置和大小，是机器视觉领域的核心问题之一。物体检测过程中有很多不确定因素，如图像中物体数量不确定，物体有不同的外观、形状、姿态，加之物体成像时会有光照、遮挡等因素的干扰，导致检测算法有一定的难度。进入深度学习时代以来，物体检测发展主要集中在两个方向：two-stage算法如R-CNN系列和one-stage算法如YOLO、SSD等。两者的主要区别在于two-stage算法需要先生成proposal(一个有可能包含待检物体的预选框)，然后进行细粒度的物体检测。而one-stage算法会直接在网络中提取特征来预测物体分类和位置。然而这些算法都无法解决摄像头距离物体很远导致的目标物体很小检测不到的问题。

2、动作识别

动作识别研究的是视频中目标的动作，比如判断一个人是在走路，跳跃还是挥手。在视频监督，视频推荐和人机交互中有重要的应用。近几十年来，随着神经网络的兴起，发展出了很多处理行为识别问题的方法。不同于目标识别，行为识别除了需要分析目标的空间依赖关系，还需要分析目标变化的历史信息。这就为行为识别的问题增加了难度。并且现有的行为识别算法要求计算设备很大的算力来运行神经网络中的3D卷积运算，严重拖慢系统性能。

现有技术的缺点：

1、现有的目标检测算法在目标物体距离摄像头远的时候，会导致物体在画面中的尺寸很小，进而使得目标检测算法失效。

2、现有的动作识别算法依赖于3D卷积网络，循环神经网络(LSTM)，图卷积网络(GCN)等，需要计算设备有较高的算力。

因此设计一种新型基于便携布控球的登高无人扶梯识别系统以改变上述技术缺陷，显得尤为重要。

发明内容

本发明的目的在于提供一种基于便携布控球的登高无人扶梯识别系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于便携布控球的登高无人扶梯识别系统，具体操作流程如下:

S1，全景抓拍；

S2，人员与梯子目标定位；

S3，位置关系判断；

S4，局部抓拍；

S5，人体姿态识别；

S6，异常人员排除；

S7，无人扶梯告警触发。

作为本发明优选的方案，所述S1中全景抓拍具体包括：

系统通过ONVIF协议可以控制摄像头的拍摄角度与焦距，尽可能保证作业现场完整呈现在视频画面中，判断依据为画面中出现尽可能多的带安全帽的作业人员，当调整至合适位置时，通过控制摄像头进行全景抓拍留底。

作为本发明优选的方案，所述S2中人员与梯子目标定位具体包括：

经过S1摄像头采集抓拍全景画面后，通过YOLO目标检测算法模型识别定位人员与梯子的大致方位，为了适应边缘计算平台的算力，对YOLO目标检测算法模型进行模型压缩、加速，并通过特定神经网络加速框架进行模型的推理加速，保证检测算法的实时性。

作为本发明优选的方案，所述S3中位置关系判断具体包括：

经过S2人员检测算法计算出全景画面中梯子和人员的位置后，算法模型判断目标画面中梯子与人物的位置关系，判断画面是否存在产生爬梯行为。

作为本发明优选的方案，所述S4中局部抓拍具体包括：

算法分析识别出全景画面梯子位置后，通过ONVIF摄像头控制协议控制摄像头依据梯子的坐标框与摄像头预先设置的目标区域框的位置关系进行移动以及变焦控制、放大到梯子附近局部区域进行抓拍。

作为本发明优选的方案，所述S5中人体姿态识别具体包括：

根据局部的登高图片，利用基于RGB的人体姿态估计算法来判别当前人物此时的姿态，当前人员满足违规姿态时应当进行下一步的甄别。

作为本发明优选的方案，所述S6中异常人员排除具体包括：

针对触发违规报警的人物姿态，进行进一步的甄别，通过算法模型计算识别出身高比例异常的人员，例如远距离视角下的施工人员可能存在身高比例异常问题，但如果该人物恰处识别区域，满足预警初步条件，则需要将其作为异常人员排除后，排除异常人员后，针对满足报警条件的人员实施检查督导。

作为本发明优选的方案，所述S7中无人扶梯告警触发具体包括：

人员满足双重检定识别后，针对满足触发预警条件的情况进行拍摄识别留底，并将其违规操作现场情况汇报至后台监管系统。

与现有技术相比，本发明的有益效果是：

1、本发明中，本系统通过控制摄像头移动和变焦控制，实现实际作业场景的智能抓拍，能提升对作业人员登高行为和扶梯行为的识别效果，解决了远距离下目标检测和行为识别算法准确率低的问题。

2、本发明中，本系统结合基于RGB图像的人体姿态估计算法和目标检测算法，代替了现有动作识别的方案，能提升对作业人员登高行为和扶梯行为的识别效果，减少算法的设备依赖度。

附图说明

图1为本发明系统路线框架结构示意图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解本发明，下面将参照相关对本发明进行更全面的描述,给出了本发明的若干实施例,但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例,相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件,当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件,本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同,本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明,本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，本发明提供一种技术方案：

一种基于便携布控球的登高无人扶梯识别系统，具体操作流程如下:

S1，全景抓拍；

S2，人员与梯子目标定位；

S3，位置关系判断；

S4，局部抓拍；

S5，人体姿态识别；

S6，异常人员排除；

S7，无人扶梯告警触发。

进一步的，S1中全景抓拍具体包括：

系统通过ONVIF协议可以控制摄像头的拍摄角度与焦距，尽可能保证作业现场完整呈现在视频画面中，判断依据为画面中出现尽可能多的带安全帽的作业人员，当调整至合适位置时，通过控制摄像头进行全景抓拍留底。

进一步的，S2中人员与梯子目标定位具体包括：

经过S1摄像头采集抓拍全景画面后，通过YOLO目标检测算法模型识别定位人员与梯子的大致方位，为了适应边缘计算平台的算力，对YOLO目标检测算法模型进行模型压缩、加速，并通过特定神经网络加速框架进行模型的推理加速，保证检测算法的实时性。

进一步的，S3中位置关系判断具体包括：

经过S2人员检测算法计算出全景画面中梯子和人员的位置后，算法模型判断目标画面中梯子与人物的位置关系，判断画面是否存在产生爬梯行为。

进一步的，S4中局部抓拍具体包括：

算法分析识别出全景画面梯子位置后，通过ONVIF摄像头控制协议控制摄像头依据梯子的坐标框与摄像头预先设置的目标区域框的位置关系进行移动以及变焦控制、放大到梯子附近局部区域进行抓拍。

进一步的，S5中人体姿态识别具体包括：

根据局部的登高图片，利用基于RGB的人体姿态估计算法来判别当前人物此时的姿态，当前人员满足违规姿态时应当进行下一步的甄别。

进一步的，S6中异常人员排除具体包括：

针对触发违规报警的人物姿态，进行进一步的甄别，通过算法模型计算识别出身高比例异常的人员，例如远距离视角下的施工人员可能存在身高比例异常问题，但如果该人物恰处识别区域，满足预警初步条件，则需要将其作为异常人员排除后，排除异常人员后，针对满足报警条件的人员实施检查督导。

进一步的，S7中无人扶梯告警触发具体包括：

人员满足双重检定识别后，针对满足触发预警条件的情况进行拍摄识别留底，并将其违规操作现场情况汇报至后台监管系统。

具体实施案例：

请参阅图1：

步骤一：全景抓拍；

系统通过ONVIF协议可以控制摄像头的拍摄角度与焦距，尽可能保证作业现场完整呈现在视频画面中，判断依据为画面中出现尽可能多的带安全帽的作业人员，当调整至合适位置时，通过控制摄像头进行全景抓拍留底；

步骤二：人员与梯子目标定位；

经过步骤一摄像头采集抓拍全景画面后，通过YOLO目标检测算法模型识别定位人员与梯子的大致方位，为了适应边缘计算平台的算力，对YOLO目标检测算法模型进行模型压缩、加速，并通过特定神经网络加速框架进行模型的推理加速，保证检测算法的实时性；

步骤三：位置关系判断；

经过步骤二人员检测算法计算出全景画面中梯子和人员的位置后，算法模型判断目标画面中梯子与人物的位置关系，判断画面是否存在产生爬梯行为；

步骤四：局部抓拍；

算法分析识别出全景画面梯子位置后，通过ONVIF摄像头控制协议控制摄像头依据梯子的坐标框与摄像头预先设置的目标区域框的位置关系进行移动以及变焦控制、放大到梯子附近局部区域进行抓拍；

步骤五：人体姿态识别；

根据局部的登高图片，利用基于RGB的人体姿态估计算法来判别当前人物此时的姿态，当前人员满足违规姿态时应当进行下一步的甄别；

步骤六：异常人员排除；

针对触发违规报警的人物姿态，进行进一步的甄别，通过算法模型计算识别出身高比例异常的人员，例如远距离视角下的施工人员可能存在身高比例异常问题，但如果该人物恰处识别区域，满足预警初步条件，则需要将其作为异常人员排除后，排除异常人员后，针对满足报警条件的人员实施检查督导；

步骤七：无人扶梯告警触发；

人员满足双重检定识别后，针对满足触发预警条件的情况进行拍摄识别留底，并将其违规操作现场情况汇报至后台监管系统。

本发明的关键技术点：

1、基于变焦切换的作业场景智能抓拍技术

为了解决远距离下目标检测和行为识别算法准确率低的问题，本系统通过控制摄像头移动和变焦控制，实现实际作业场景的智能抓拍，能提升对作业人员登高行为和扶梯行为的识别效果。

详细技术描述：根据作业现场实际情况，可以通过ONVIF摄像头控制协议，控制摄像头调整焦距，切换不同视角(宏观视角和微观视角)来识别登高作业行为和扶梯行为。在宏观视角下，通过判断人、梯之间的空间位置，来识别是否有人员正在进行登高作业；在微观视角下，通过分析人员姿态来识别是否有扶梯人员。并且对画面中作业人员的异常行为进行抓拍。

2、基于姿态估计的人员扶梯行为智能识别技术

为了识别视频画面中是否存在爬高无人扶梯的危险行为，本系统结合基于RGB图像的人体姿态估计算法和目标检测算法，代替了现有动作识别的方案，能提升对作业人员登高行为和扶梯行为的识别效果，减少算法的设备依赖度。

详细技术描述：在微观视角下，基于RGB图像的人体姿态估计算法直接通过对红、绿、蓝3个颜色通道的变化以及它们相互之间的叠加来得到的颜色进行人员姿态识别，不会受到其他因素的干扰限制，可实现通过人员姿态判断登高人员和扶梯人员，排除梯子附近非扶梯人员的干扰。

3、基于空间位置判断的登高人员智能识别技术

为了判断画面中人员是否存在爬高的行为，本系统结合目标检测算法判断画面中梯子和人员的相对位置关系来判断登高行为，代替了现有动作识别的方案，减少算法的设备依赖度。

详细技术描述：在宏观视角下，基于YOLOv5目标检测算法检测定位视频中梯子和人员，算法模型判断目标画面中梯子与人员的位置关系，判断画面是否存在产生爬梯行为，针对触发违规报警的人物姿态，进行进一步的甄别。通过计算识别出身高比例异常的人员，例如远距离视角下的施工人员可能存在身高比例异常问题，但如果该人物恰处识别区域，满足预警初步条件，则需要将其作为异常人员排除后。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于便携布控球的登高无人扶梯识别系统，其特征在于，具体操作流程如下:

S1，全景抓拍；

S2，人员与梯子目标定位；

S3，位置关系判断；

S4，局部抓拍；

S5，人体姿态识别；

S6，异常人员排除；

S7，无人扶梯告警触发。

2.根据权利要求1所述的一种基于便携布控球的登高无人扶梯识别系统，其特征在于：所述S1中全景抓拍具体包括：

系统通过ONVIF协议可以控制摄像头的拍摄角度与焦距，尽可能保证作业现场完整呈现在视频画面中，判断依据为画面中出现尽可能多的带安全帽的作业人员，当调整至合适位置时，通过控制摄像头进行全景抓拍留底。

3.根据权利要求1所述的一种基于便携布控球的登高无人扶梯识别系统，其特征在于：所述S2中人员与梯子目标定位具体包括：

经过S1摄像头采集抓拍全景画面后，通过YOLO目标检测算法模型识别定位人员与梯子的大致方位，为了适应边缘计算平台的算力，对YOLO目标检测算法模型进行模型压缩、加速，并通过特定神经网络加速框架进行模型的推理加速，保证检测算法的实时性。

4.根据权利要求1所述的一种基于便携布控球的登高无人扶梯识别系统，其特征在于：所述S3中位置关系判断具体包括：

经过S2人员检测算法计算出全景画面中梯子和人员的位置后，算法模型判断目标画面中梯子与人物的位置关系，判断画面是否存在产生爬梯行为。

5.根据权利要求1所述的一种基于便携布控球的登高无人扶梯识别系统，其特征在于：所述S4中局部抓拍具体包括：

算法分析识别出全景画面梯子位置后，通过ONVIF摄像头控制协议控制摄像头依据梯子的坐标框与摄像头预先设置的目标区域框的位置关系进行移动以及变焦控制、放大到梯子附近局部区域进行抓拍。

6.根据权利要求1所述的一种基于便携布控球的登高无人扶梯识别系统，其特征在于：所述S5中人体姿态识别具体包括：

根据局部的登高图片，利用基于RGB的人体姿态估计算法来判别当前人物此时的姿态，当前人员满足违规姿态时应当进行下一步的甄别。

7.根据权利要求1所述的一种基于便携布控球的登高无人扶梯识别系统，其特征在于：所述S6中异常人员排除具体包括：

针对触发违规报警的人物姿态，进行进一步的甄别，通过算法模型计算识别出身高比例异常的人员，例如远距离视角下的施工人员可能存在身高比例异常问题，但如果该人物恰处识别区域，满足预警初步条件，则需要将其作为异常人员排除后，排除异常人员后，针对满足报警条件的人员实施检查督导。

8.根据权利要求1所述的一种基于便携布控球的登高无人扶梯识别系统，其特征在于：所述S7中无人扶梯告警触发具体包括：

人员满足双重检定识别后，针对满足触发预警条件的情况进行拍摄识别留底，并将其违规操作现场情况汇报至后台监管系统。

Images