CN114299437A - 一种基于视觉感知技术的变电站违规攀爬行为检测预警方法 - Google Patents

Abstract

本发明公开了一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，包括：使用基于YOLO深度卷积神经网络和HSV色彩空间变化的静态目标检测算法实现变电站禁止攀爬标志检测；根据禁止攀爬标志和杆塔位置，采用Hough变换来检测禁止攀爬区域；基于视觉背景提取算法(Vibe)的动态目标跟踪实现人员攀登行为定位检测；根据定位检测与禁止攀爬区域的相对位置判断违规行为，并发出预警信号。本发明在无人变电站内采用中小型视频捕获设备获取图像，通过智能检测手段识别违规登高行为并预警，主动预防减小安全风险，保护人身和变电站设备安全。

Description

一种基于视觉感知技术的变电站违规攀爬行为检测预警方法

技术领域

本发明涉及电力系统的变电站违规行为检测领域，具体涉及一种基于视觉感知技术的变电站违规攀爬行为检测预警方法。

背景技术

变电站是电力系统的重要组成部分，它担负着电压等级变换、投入/切除负荷等重要任务。随着电力系统技术的发展，无人值守变电站得到广泛应用，由于无人值守变电站通常只有少数安全工人来确保工作区的安全，禁止攀爬区域通常只有警示牌的预防告警，一旦有人员疏忽禁止攀登警示牌，容易造成违规登高操作，造成设备损坏甚至人员伤亡。由于现有的监控机制不能有效禁止违规行为，因此迫切需要对变电站工作人员的行为进行自动化在线监控、检测违规登高行为并通过作业现场安全生产智能管控平台发出信号，警示违规人员。

现阶段的变电站防误操作主要从1)提高工作人员的技能水平2)加强对防误装置的管理，对防务装置和标志经常检查更新。但防误装置主要针对变电站室内的开关等操作设备，对于变电站室外的杆塔等处，通常只有禁止操作标志，缺少智能检测违规操作方法。

当前视觉感知技术在电力系统变电站中的应用主要有1)智能识别变电站隔离开关和断路器等开关状态，2)智能检测电气设备故障，3)识别操作人员误入变电站间隔。但以上方法无法识别操作人员在违规操作区域的特定动作，识别效果不是很理想。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，其融合静态目标检测和动态目标跟踪技术，在无人变电站内采用中小型视频捕获设备获取图像，通过智能检测手段识别违规登高行为并预警，主动预防减小安全风险，保护人身和变电站设备安全。

技术方案：为实现上述目的，本发明提供一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，包括如下步骤：

S1：使用基于YOLO(You Only Look Once)深度卷积神经网络和HSV色彩空间变化的静态目标检测算法实现变电站禁止攀爬标志检测；

S2：根据禁止攀爬标志和杆塔位置，采用Hough变换来检测禁止攀爬区域；

S3：基于视觉背景提取算法(Vibe)的动态目标跟踪实现人员攀登行为定位检测；

S4：根据步骤S3的定位检测与步骤S2的禁止攀爬区域的相对位置判断违规行为，并发出预警信号。

进一步地，所述步骤S1具体为：采用HSV色彩空间变化方法对变电站禁止攀爬标志图片集进行数据增强的图片预处理，扩充神经网络训练数据集，防止YOLO神经网络过拟合，HSV色彩空间变化将图像从RGB空间映射到HSV空间，分解得到成亮度分量V、色度分量H和饱和度分量S；

图像数据集预处理后，采用锚框标注图像中需要检测的区域作为正样本，标注远离目标检测部分的区域为负样本，建立YOLO神经网络的训练数据集，搭建由池化层、卷积层和全连接层组成的YOLO神经网络模型，通过变电站禁止攀爬标志图像训练集来训练卷积神经网络，将视频捕获设备采集到的图片输入训练好的YOLO神经网络，输出带有目标检测框的变电站禁止攀爬区域图像，实现变电站禁止攀爬标志检测。

进一步地，所述步骤S1中HSV映射过程如下：

式中，R、G、B表示红绿蓝通道值，H、S、V表示色度、饱和度和亮度分量，其中0≤H≤360，0≤S≤1，0≤V≤1。

进一步地，所述步骤S2具体为：根据步骤S1中检测出的变电站禁止攀爬标志，结合图片中杆塔位置，采用Hough变换来实现禁止攀爬区域的矩形定位，Hough变换利用点与线的对偶性将原始图像空间中的直线转化为参数空间中的点，通过寻找参数空间中的点的峰值实现原始图像的矩形直线定位，将任意直线表示为：

ρ＝xcosθ+ysinθ (2)

式中，0°≤θ≤180°，(x,y)为步骤S1中检测出的变电站禁止攀爬标志边缘像素点坐标，根据(2)式计算出ρ的值并取整，再累加数组c(ρ,θ)代表满足式(2)的变电站原始图像中禁止攀登标志像素点的个数，结合图片中杆塔位置，选择满足c(ρ,θ)＞T阈值条件的点作为检测出的峰值点，根据检测出的4个峰值点得到所对应原始(x,y)平面中的直线方程式，确定变电站攀爬区域的矩形边框定位。

进一步地，所述步骤S3具体为：

基于视觉背景提取算法(Vibe)和视频序列运动检测技术，实现人员攀登行为定位检测，Vibe算法作用于像素级，通过收集背景样本进行背景像素建模，对某像素点构建背景样本集合的初始化公式为：

M⁰(x)＝{v⁰[y|y∈N_G(x)]} (3)

式中，M⁰(x)是像素点x的初始化背景样本集合，v⁰(y)为x在初始化时的采样元素，y为x所在区域内随机选取的像素点，N_G(x)为像素点x相邻且具有相似特征的像素点集合；

将待检测视频序列中人员攀登动作的像素点特征与背景模型进行匹配，通过阈值判断对该点进行背景前景划分，前景则为需要检测的人员攀登动作，S_r[v(x)]是以v(x)为球心，r为半径的球形区域，当S_r[v(x)]与背景样本集合M(x)的交集满足阈值要求，则将像素点v(x)划分为背景像素，即{S_r[v(x)]∩{v₁,v₂,...,v_N}}∈R_#，其中R_#为满足欧式阈值的像素点集合，v_i为x邻域内背景样本集中索引为i的元素，N为样本集大小。

进一步地，所述步骤S4具体为：违规攀登行为辨识，判断步骤S3中人员攀登动作检测定位区域存在且与步骤S2禁止攀爬区域矩形区域相交，则判断为存在违反调度规程行为，并向作业现场安全生产智能管控平台发出预警信号，及时提醒违章人员。

有益效果：本发明与现有技术相比，具备如下优点：

1、本发明提供了一种静态目标检测方法，基于YOLO(You Only LookOnce)深度卷积神经网络和HSV色彩空间变化算法实现变电站禁止攀爬标志检测，基于Hough变换来检测禁止攀爬区域，该方法实现简单，适用于中小型视频捕获设备，能够实现变电站禁止攀爬标志和区域的准确定位。

2、本发明提供了一种动态目标跟踪的基于视觉感知技术的变电站违规攀登行为检测预警方法，基于视觉背景提取算法(Vibe)的动态目标跟踪实现人员攀登行为定位检测，通过人员动态攀登行为与静态禁止攀登区域的相对位置判断违规行为，并发出预警信号，该方法通过智能检测手段识别违规登高行为并预警，对视频监测设备要求小，主动预防减小安全风险，保护人身和变电站设备安全，有利于推广实现。

附图说明

图1为本发明方法的流程图；

图2为本实施例提供的以Darknet53为骨干网络的YOLO模型图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，如图1所示，包括如下步骤：

S1：使用基于YOLO(You Only Look Once)深度卷积神经网络和HSV色彩空间变化的静态目标检测算法实现变电站禁止攀爬标志检测：

采用HSV色彩空间变化方法对变电站禁止攀爬标志图片集进行数据增强的图片预处理，扩充神经网络训练数据集，防止YOLO神经网络过拟合，HSV色彩空间变化将图像从RGB空间映射到HSV空间，分解得到成亮度分量V、色度分量H和饱和度分量S；HSV映射过程如下：

式中，R、G、B表示红绿蓝通道值，H、S、V表示色度、饱和度和亮度分量，其中0≤H≤360，0≤S≤1，0≤V≤1。

图像数据集预处理后，采用锚框标注图像中需要检测的区域作为正样本，标注远离目标检测部分的区域为负样本，建立YOLO神经网络的训练数据集，搭建由池化层、卷积层和全连接层组成的YOLO神经网络模型，通过变电站禁止攀爬标志图像训练集来训练卷积神经网络，将视频捕获设备采集到的图片输入训练好的YOLO神经网络，输出带有目标检测框的变电站禁止攀爬区域图像，实现变电站禁止攀爬标志检测。

S2：根据禁止攀爬标志和杆塔位置，采用Hough变换来检测禁止攀爬区域：

根据步骤S1中检测出的变电站禁止攀爬标志，结合图片中杆塔位置，采用Hough变换来实现禁止攀爬区域的矩形定位，Hough变换利用点与线的对偶性将原始图像空间中的直线转化为参数空间中的点，通过寻找参数空间中的点的峰值实现原始图像的矩形直线定位，将任意直线表示为：

ρ＝xcosθ+ysinθ (2)

式中，0°≤θ≤180°，(x,y)为步骤S1中检测出的变电站禁止攀爬标志边缘像素点坐标，根据(2)式计算出ρ的值并取整，再累加数组c(ρ,θ)代表满足式(2)的变电站原始图像中禁止攀登标志像素点的个数，结合图片中杆塔位置，选择满足c(ρ,θ)＞T阈值条件的点作为检测出的峰值点，根据检测出的4个峰值点得到所对应原始(x,y)平面中的直线方程式，确定变电站攀爬区域的矩形边框定位。

S3：基于视觉背景提取算法(Vibe)的动态目标跟踪实现人员攀登行为定位检测：

基于视觉背景提取算法(Vibe)和视频序列运动检测技术，实现人员攀登行为定位检测，Vibe算法作用于像素级，通过收集背景样本进行背景像素建模，对某像素点构建背景样本集合的初始化公式为：

M⁰(x)＝{v⁰[y|y∈N_G(x)]} (3)

式中，M⁰(x)是像素点x的初始化背景样本集合，v⁰(y)为x在初始化时的采样元素，y为x所在区域内随机选取的像素点，N_G(x)为像素点x相邻且具有相似特征的像素点集合；

将待检测视频序列中人员攀登动作的像素点特征与背景模型进行匹配，通过阈值判断对该点进行背景前景划分，前景则为需要检测的人员攀登动作，S_r[v(x)]是以v(x)为球心，r为半径的球形区域，当S_r[v(x)]与背景样本集合M(x)的交集满足阈值要求，则将像素点v(x)划分为背景像素，即{S_r[v(x)]∩{v₁,v₂,...,v_N}}∈R_#，其中R_#为满足欧式阈值的像素点集合，v_i为x邻域内背景样本集中索引为i的元素，N为样本集大小。

S4：根据步骤S3的定位检测与步骤S2的禁止攀爬区域的相对位置判断违规行为，并发出预警信号：

违规攀登行为辨识，判断步骤S3中人员攀登动作检测定位区域存在且与步骤S2禁止攀爬区域矩形区域相交，则判断为存在违反调度规程行为，并向作业现场安全生产智能管控平台发出预警信号，及时提醒违章人员。

基于上述方案，本实施例中将上述方案进行实例应用，以某实际变电站中带有禁止攀登标志的杆塔区域为例分析，通过智能检测手段识别违规登高行为并预警，其具体步骤如下：

步骤S1：采用HSV色彩空间变化方法对变电站禁止攀爬标志图片集进行数据增强的图片预处理，扩充神经网络训练所需要的图片数据集，防止YOLO神经网络过拟合。HSV色彩空间变化将图像从RGB空间映射到HSV空间，分解得到成亮度分量V、色度分量H和饱和度分量S，HSV映射过程如下：

式中，R、G、B表示红绿蓝通道值，H、S、V表示色度、饱和度和亮度分量，其中0≤H≤360，0≤S≤1，0≤V≤1。变电站禁止标志一般使用红色圆框，本实施例中设置红色色调值范围是0-15&155-180。

图像数据集预处理后，采用锚框标注图像中需要检测的区域作为正样本，标注远离目标检测部分的区域为负样本，建立YOLO神经网络的训练数据集。搭建由池化层、卷积层和全连接层组成的YOLO神经网络模型，以Darknet53为骨干网络的YOLO模型如图2所示。通过变电站禁止攀爬标志图像训练集来训练卷积神经网络。将视频捕获设备采集到的图片输入训练好的YOLO神经网络，输出带有目标检测框的变电站禁止攀爬区域图像，实现变电站禁止攀爬标志检测。

步骤S2：根据S1中检测出的变电站禁止攀爬标志，结合图片中杆塔位置，采用Hough变换来实现禁止攀爬区域的矩形定位。Hough变换利用点与线的对偶性将原始图像空间中的直线转化为参数空间中的点，通过寻找参数空间中的点的峰值实现原始图像的矩形直线定位。将任意直线表示为：

ρ＝xcosθ+ysinθ (2)

式中，0°≤θ≤180°，(x,y)为S1中检测出的变电站禁止攀爬标志边缘像素点坐标。根据式(2)计算出ρ的值并取整，再累加数组c(ρ,θ)代表满足式(2)的变电站原始图像中禁止攀登标志像素点的个数。结合图片中杆塔位置，选择满足c(ρ,θ)＞T阈值条件的点作为检测出的峰值点，本实施例中综合人体身高，取T＝2H/3，其中H为图片对角线长度。根据检测出的4个峰值点得到所对应原始(x,y)平面中的直线方程式，确定变电站禁止攀爬区域的矩形边框定位。

步骤S3：基于视觉背景提取算法(Vibe)和视频序列运动检测技术，实现人员攀登行为定位检测。Vibe算法作用于像素级，通过收集背景样本进行背景像素建模，对某像素点构建背景样本集合的初始化公式为：

M⁰(x)＝{v⁰[y|y∈N_G(x)]} (3)

式中，M⁰(x)是像素点x的初始化背景样本集合，v⁰(y)为x在初始化时的采样元素，y为x所在区域内随机选取的像素点，N_G(x)为像素点x相邻且具有相似特征的像素点集合。

将待检测视频序列中人员攀登动作的像素点特征与背景模型进行匹配，通过阈值判断对该点进行背景前景划分，前景则为需要检测的人员攀登动作。S_r[v(x)]是以v(x)为球心，r为半径的球形区域，当S_r[v(x)]与背景样本集合M(x)的交集满足阈值要求，则将像素点v(x)划分为背景像素，即{S_r[v(x)]∩{v₁,v₂,...,v_N}}∈R_#，其中R_#为满足欧式阈值的像素点集合，v_i为x邻域内背景样本集中索引为i的元素，N为样本集大小。

步骤S4：违规攀登行为辨识，判断S3人员攀登动作检测定位区域存在且与S2禁止攀爬区域矩形区域相交，则判断为存在违反调度规程行为，并向作业现场安全生产智能管控平台发出预警信号，及时提醒违章人员。

Claims (6)

1.一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，其特征在于，包括如下步骤：

S1：使用基于YOLO深度卷积神经网络和HSV色彩空间变化的静态目标检测算法实现变电站禁止攀爬标志检测；

S2：根据禁止攀爬标志和杆塔位置，采用Hough变换来检测禁止攀爬区域；

S3：基于视觉背景提取算法(Vibe)的动态目标跟踪实现人员攀登行为定位检测；

S4：根据步骤S3的定位检测与步骤S2的禁止攀爬区域的相对位置判断违规行为，并发出预警信号。

2.根据权利要求1所述的一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，其特征在于，所述步骤S1具体为：采用HSV色彩空间变化方法对变电站禁止攀爬标志图片集进行数据增强的图片预处理，扩充神经网络训练数据集，防止YOLO神经网络过拟合，HSV色彩空间变化将图像从RGB空间映射到HSV空间，分解得到成亮度分量V、色度分量H和饱和度分量S；

图像数据集预处理后，采用锚框标注图像中需要检测的区域作为正样本，标注远离目标检测部分的区域为负样本，建立YOLO神经网络的训练数据集，搭建由池化层、卷积层和全连接层组成的YOLO神经网络模型，通过变电站禁止攀爬标志图像训练集来训练卷积神经网络，将视频捕获设备采集到的图片输入训练好的YOLO神经网络，输出带有目标检测框的变电站禁止攀爬区域图像，实现变电站禁止攀爬标志检测。

3.根据权利要求2所述的一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，其特征在于，所述步骤S1中HSV映射过程如下：

式中，R、G、B表示红绿蓝通道值，H、S、V表示色度、饱和度和亮度分量，其中0≤H≤360，0≤S≤1，0≤V≤1。

4.根据权利要求1所述的一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，其特征在于，所述步骤S2具体为：根据步骤S1中检测出的变电站禁止攀爬标志，结合图片中杆塔位置，采用Hough变换来实现禁止攀爬区域的矩形定位，Hough变换利用点与线的对偶性将原始图像空间中的直线转化为参数空间中的点，通过寻找参数空间中的点的峰值实现原始图像的矩形直线定位，将任意直线表示为：

ρ＝xcosθ+ysinθ (2)

式中，0°≤θ≤180°，(x,y)为步骤S1中检测出的变电站禁止攀爬标志边缘像素点坐标，根据(2)式计算出ρ的值并取整，再累加数组c(ρ,θ)代表满足式(2)的变电站原始图像中禁止攀登标志像素点的个数，结合图片中杆塔位置，选择满足c(ρ,θ)＞T阈值条件的点作为检测出的峰值点，根据检测出的4个峰值点得到所对应原始(x,y)平面中的直线方程式，确定变电站攀爬区域的矩形边框定位。

5.根据权利要求1所述的一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，其特征在于，所述步骤S3具体为：

基于视觉背景提取算法(Vibe)和视频序列运动检测技术，实现人员攀登行为定位检测，Vibe算法作用于像素级，通过收集背景样本进行背景像素建模，对某像素点构建背景样本集合的初始化公式为：

M⁰(x)＝{v⁰[y|y∈N_G(x)]} (3)

式中，M⁰(x)是像素点x的初始化背景样本集合，v⁰(y)为x在初始化时的采样元素，y为x所在区域内随机选取的像素点，N_G(x)为像素点x相邻且具有相似特征的像素点集合；

将待检测视频序列中人员攀登动作的像素点特征与背景模型进行匹配，通过阈值判断对该点进行背景前景划分，前景则为需要检测的人员攀登动作，S_r[v(x)]是以v(x)为球心，r为半径的球形区域，当S_r[v(x)]与背景样本集合M(x)的交集满足阈值要求，则将像素点v(x)划分为背景像素，即{S_r[v(x)]∩{v₁,v₂,...,v_N}}∈R_#，其中R_#为满足欧式阈值的像素点集合，v_i为x邻域内背景样本集中索引为i的元素，N为样本集大小。

6.根据权利要求1所述的一种基于视觉感知技术的变电站违规攀爬行为检测预警方法，其特征在于，所述步骤S4具体为：违规攀登行为辨识，判断步骤S3中人员攀登动作检测定位区域存在且与步骤S2禁止攀爬区域矩形区域相交，则判断为存在违反调度规程行为，并向作业现场安全生产智能管控平台发出预警信号，及时提醒违章人员。

Images