CN110853002A - 一种基于双目视觉的变电站异物检测方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的变电站异物检测方法，包括以下步骤：S1：在变电站内均匀布置多组双目摄像头；S2：获取双目摄像头内外参数；S3：划分出不同等级的安全警戒区域，保存安全警戒区域的顶点三维坐标值并构建数据库；S4：对动态目标进行双目预处理操作并提取5对特征点的像素坐标，计算动态目标的三维坐标值、侵入速度和运动方向；S5：结合动态目标的三维坐标值、侵入速度和运动方向，综合判断动态目标入侵程度。与现有技术相比，本发明可以获取待检测目标的深度值，还原出检测对象的真实三维坐标；可以精准判断异物所处区域，进而得出异物前进方向和前进速度，综合评判异物入侵等级，合理的采取相应措施。

Description

一种基于双目视觉的变电站异物检测方法

技术领域

本发明涉及变电站安全防护领域，尤其是涉及一种基于双目视觉的变电站异物检测方法。

背景技术

电力输送直接影响着国计民生，变电站又在电能输送环节起到了至关重要的作用。变电站常常建设在城市远郊或偏僻地区，日常值守变电站会投入大量的人力物力。随着视频检测技术在变电站监测领域的应用，一定程度上完成了变电站的无人值守的目标，但是传统的视频监控技术还存在一定的局限性。虽然运维人员可以远程掌握变电站的信息，但传输回主控中心的视频信息还需要人工筛选进而提取有价值的信息；另外，目前监控摄像头大部分为单目摄像头，其不能提供监控场景的深度信息，实际侵入距离只能由人工的主观判断，存在很大的主观因素，增大了误报的概率。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种能够控快速获取目标三维坐标的基于双目视觉的变电站异物检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于双目视觉的变电站异物检测方法，包括以下步骤：

S1：在变电站内均匀布置多组双目摄像头，使监控范围覆盖整个变电站；

S2：对双目摄像头进行标定，获取内外参数；

S3：针对各双目摄像头的检测场景，划分出不同等级的安全警戒区域，保存安全警戒区域的顶点三维坐标值并构建数据库；

S4：双目摄像头的左右相机同时采集视频数据并利用三帧差法提取动态目标，对动态目标进行双目预处理操作并提取5对特征点的像素坐标，利用三角测量原理计算动态目标的三维坐标值、侵入速度和运动方向；

S5：结合动态目标的三维坐标值、侵入速度和运动方向，综合判断动态目标入侵程度。

本发明主要发明内容有：

1)构建监控警戒区域顶点数据库。

在步骤S3中，结合当前监测区域的实际情况合理的划分为预警区域和报警区域。利用已经标定好的双目摄像头，计算出预警区域和报警区域顶点的三维坐标值，并构建监控警戒区域顶点数据库，并与后期侵入异物侵入等级的快速评判。

2)双目监控快速获取异物三维坐标。

首先，左右两摄像机记为在各自的视频数据中同时选取三帧图像记为I_k-2,I_k-1,I_k，其中当前视频帧I_k分别与前一帧I_k-1以及前两帧分别做差分运算，获取特征图像F(x,y)。进一步，在特征图像F(x,y)中选取动态异物的最小内接矩形，并记录该动态异物矩形范围的顶点坐标数据。

利用异物矩形范围的顶点坐标，仅在此范围内对左右两幅图像中的异物进行匹配，最终保存5对特征点的原始像素坐标。

通过同一特征点的像素坐标(u_l,v_l)和(u_r,v_r)计算视差值。通过计算获得的视差d结合三角测量原理便能还原出动态目标在所检测环境下的三维坐标值(X,Y,Z)。

3)综合异物位置、前进速度和方向评判异物入侵等级。

如果检测出侵入异物的三维坐标(X,Y,Z)处于预警区域内，则间隔Δt时间再次确定异物位置。从而获取侵入异物的前进速度V，其计算公式如下：

Δt＝t₂-t₁

其中t₁时刻目标点的坐标值为(X₁,Y₁,Z₁)，t₂时刻目标点的坐标值为(X₂,Y₂,Z₂)。

在图像上选取一条参考线

t₁与t₂时刻两点间的连线

利用参考线

与连线

之间的夹角判断该动态目标的前进方向。

步骤S4根据监测场景以及电力设备类型设置报警阈值：安全警戒速度区间以及安全前进方向区间。评判异物侵入等级的逻辑如下：

a.若异物的三维坐标(X,Y,Z)在监控范围内，不属于安全警戒区域数据库，则不采取报警操作；

b.若异物的三维坐标(X,Y,Z)经过判断，显示此时已经进入预警区域，则引入该异物的速度与前进方向因素。若异物的前进速度V与方向θ同时满足V∈V_s且θ∈θ_s则表明该异物虽然身处预警区域内，但异物的行为未对监测设备造成威胁，所以不采取预警措施；若异物的前进速度V与方向θ至少有一个条件不满足，则立即采取预警措施；

c.若异物的三维坐标(X,Y,Z)经过判断处于报警区域，则立即启动报警程序并采取报警措施。

所述的步骤S1中，双目摄像头检测的画面中包含变电站围墙边缘和站内道路。

所述的步骤S2中，利用张正友棋盘格标定获得左右相机的内部参数，通过立体标定获得左右相机的外部参数。

所述的步骤S3中，结合电力设备安全距离要求，划分出预警区域和报警区域，利用标定好的双目摄像头计算当前场景的三维坐标信息，并将预警区域和报警区域的立体空间顶点的三维坐标数据保存到数据库中。

所述的预警区域和报警区域均为立方体区域，每个区域保存对角2个顶点的三维坐标数据存储至数据库中，每个检测场景下有多组预警区域和报警区域。

所述的步骤S4中，左右两台相机在同一时刻分别利用三帧差法提取动态目标，通过SURF匹配算法匹配左右两幅图片，并选取最可靠的5对特征点计算该动态目标所处的空间位置，间隔一段时间后再次提取动态目标三维坐标并计算侵入速度和运动方向，结合动态目标三维坐标值、侵入速度和运动方向，综合判断动态目标入侵程度。

所述的步骤S4中，动态目标的特征点提取过程包括以下流程：

左右两摄像机在各自的视频数据中同时选取三帧图像，令当前视频帧与前一帧视频数据以及前两帧视频数据分别做差分运算，获取特征图像；

在特征图像中选取动态目标的最小内接矩形，并记录该矩形范围的顶点坐标数据；

利用所述的顶点坐标数据，在最小内接矩形范围内对左右两幅图像中的异物进行匹配，保存5对特征点的原始像素坐标；

计算每一对特征点的视差值，结合三角测量原理，还原出动态目标在检测场景下的三维坐标值。

所述的特征图像计算过程包括：

左右两摄像机在各自的视频数据中同时选取三帧图像记为I_k-2、I_k-1、I_k，其中当前帧I_k分别与前一帧I_k-1数据以及前两帧I_k-2数据分别做差分运算，获取差分图像D₁(x,y)与D₂(x,y)；

对差分图像D₁(x,y)与D₂(x,y)进行阈值化处理：

其中，T_n为设定阈值；

利用像素间的与运算去除影响区域从而得到特征图像F(x,y)，即：

F(x,y)＝B₁(x,y)∧B₂(x,y)。

所述的步骤S4中，动态目标的运动方向计算方法为：在图像上选取一条虚拟参考线，获取一个目标点在两个时刻的位置连线，利用虚拟参考线与连线之间的夹角计算动态目标的运动方向。

所述的步骤S5中，若在监控范围内动态目标的三维坐标不属于安全警戒区域，则不采取报警操作；

若动态目标的三维坐标已经进入预警区域，则引入该动态目标的速度与前进方向因素，若动态目标的前进速度与运动方向均处于安全阈值以内，则不采取预警措施，若动态目标的前进速度与运动方向至少有一个处于安全阈值以外，则立即采取预警措施；

若动态目标的三维坐标处于报警区域，则立即启动报警程序并采取报警措施。

与现有技术相比，本发明具有以下优点：

1)可以获取待检测目标的深度值，还原出检测对象的真实三维坐标；

2)通过已知的三维坐标可以精准判断异物所处区域，进而得出异物前进方向和前进速度，综合评判异物入侵等级，合理的采取相应措施；

3)只有在有异物入侵时才启动双目的三角测量步骤，极大地减小了计算量，显著的提高了程序的运行效率。

4)通过建立预警区域和报警区域顶点三维坐标信息数据库，可以极大地减小入侵程度的判断时间，达到快速处理的目的。

附图说明

图1为本发明基于双目视觉的变电站异物检测方法流程图；

图2为双目视觉原理图；

图3为本实施例的方法应用于入侵事件现场检测的示意图；

图4为本实施例动态目标提取及入侵程度判断流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，一种基于双目视觉的变电站异物检测方法，包括以下步骤：

S1：在变电站内均匀布置多组双目摄像头，使监控范围覆盖整个变电站，双目摄像头所检测的画面中包含变电站围墙边缘以及站内道路，减少动态景物，保证背景的简单性。

S2：利用张正友棋盘格标定法依次对双目摄像头进行标定，获取左右相机的内部参数f_u,f_v,u₀,v₀，其中f_u、f_v为归一化焦距，u₀、v₀为图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

归一化焦距f_u与f_v的计算公式为：

其中f为相机的焦距，单位为mm；d_u与d_v分别是传感器u轴和v轴上单位像素的尺寸大小，单位为像素/mm。

得到相机内部参数矩阵：

通过立体标定得到两台相机的外部参数，外部参数包括旋转矩阵R与平移向量

S3：利用已经标定好的双目摄像头，计算出预警区域和报警区域顶点的三维坐标值，并构建监控警戒区域顶点数据库，并与后期侵入异物侵入等级的快速评判。值得注意的是，所划分的预警区域和报警区域均为立方体区域，每个区域保存立方体区域的对角2个顶点的三维坐标数据存储至数据库中。每个场景下可以有多组的预警区域和报警区域。

S4：左右两台相机同时对检测场景进行拍照，得到如附图2所示的左右图像为P_l(u,v)和P_r(u,v)，进一步对该组图像进行极线约束操作。

进一步利用三帧差分法提取动态目标，进而提取动态目标中同一特征点的像素坐标(u_l,v_l)与(u_r,v_r)。

其中左右两摄像机提取动态目标流程如下：

左右两摄像机在各自的视频数据中同时选取三帧图像记为I_k-2、I_k-1、I_k，其中当前帧I_k分别与前一帧I_k-1数据以及前两帧I_k-2数据分别做差分运算，获取差分图像D₁(x,y)与D₂(x,y)；

对差分图像D₁(x,y)与D₂(x,y)进行阈值化处理：

其中，T_n为设定阈值；

利用像素间的与运算去除影响区域从而得到特征图像F(x,y)，即：

F(x,y)＝B₁(x,y)∧B₂(x,y)。

在特征图像F(x,y)中查找动态异物的最小内接矩形，并记录该动态异物矩形范围的顶点坐标数据。

利用异物矩形范围的顶点坐标，仅在动态异物矩形范围内对左右两幅图像中的异物进行匹配，最终保存最可靠的5对特征点原始像素坐标。

通过同一特征点在左右图像上的像素坐标(u_l,v_l)和(u_r,v_r)计算视差值。计算公式为：

d＝u_l-u_r

结合三角测量原理便能还原出动态目标在所检测环境下的三维坐标值(X,Y,Z)。具体计算公式如下：

其中，B两台可见光摄像机光轴的距离，f为相机的焦距。

如果检测出侵入异物的三维坐标(X,Y,Z)处于预警区域内，则间隔Δt时间再次确定异物位置。从而获取侵入异物的前进速度V，其计算公式如下：

Δt＝t₂-t₁

其中t₁时刻目标点的坐标值为(X₁,Y₁,Z₁)，t₂时刻目标点的坐标值为(X₂,Y₂,Z₂)。

如图3所示，在图像上选取一条参考线

t₁与t₂时刻两点间的连线为

其中参考线

上两端点A、B的坐标为A(X_a,Y_a,Z_a)，B(X_b,Y_b,Z_b)。

利用参考线与连线

之间的夹角判断该动态目标的前进方向，计算公式为：

S5：根据监测场景以及电力设备类型设置报警阈值：安全警戒速度区间V_s以及安全前进方向区间θ_s。

结合附图4详细阐述本方法的工作流程：

a.若异物的三维坐标(X,Y,Z)在监控范围内，不属于安全警戒区域数据库，则不采取报警操作；

b.若异物的三维坐标(X,Y,Z)经过判断，显示此时已经进入预警区域，则引入该异物的速度与前进方向因素。若异物的前进速度V与方向θ同时满足V∈V_s且θ∈θ_s则表明该异物虽然身处预警区域内，但异物的行为未对监测设备造成威胁，所以不采取预警措施；若异物的前进速度V与方向θ至少有一个条件不满足，则立即采取预警措施；

c.若异物的三维坐标(X,Y,Z)经过判断处于报警区域，则立即启动报警程序并采取报警措施。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所述的技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为本发明由所提交的权利要求书确定的保护范围。

Claims (10)

1.一种基于双目视觉的变电站异物检测方法，其特征在于，包括以下步骤：

S1：在变电站内均匀布置多组双目摄像头，使监控范围覆盖整个变电站；

S2：对双目摄像头进行标定，获取内外参数；

S3：针对各双目摄像头的检测场景，划分出不同等级的安全警戒区域，保存安全警戒区域的顶点三维坐标值并构建数据库；

S4：双目摄像头的左右相机同时采集视频数据并利用三帧差法提取动态目标，对动态目标进行双目预处理操作并提取5对特征点的像素坐标，利用三角测量原理计算动态目标的三维坐标值、侵入速度和运动方向；

S5：结合动态目标的三维坐标值、侵入速度和运动方向，综合判断动态目标入侵程度。

2.根据权利要求1所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的步骤S1中，双目摄像头检测的画面中包含变电站围墙边缘和站内道路。

3.根据权利要求1所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的步骤S2中，利用张正友棋盘格标定获得左右相机的内部参数，通过立体标定获得左右相机的外部参数。

4.根据权利要求1所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的步骤S3中，结合电力设备安全距离要求，划分出预警区域和报警区域，利用标定好的双目摄像头计算当前场景的三维坐标信息，并将预警区域和报警区域的立体空间顶点的三维坐标数据保存到数据库中。

5.根据权利要求4所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的预警区域和报警区域均为立方体区域，每个区域保存对角2个顶点的三维坐标数据存储至数据库中，每个检测场景下有多组预警区域和报警区域。

6.根据权利要求1所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的步骤S4中，左右两台相机在同一时刻分别利用三帧差法提取动态目标，通过SURF匹配算法匹配左右两幅图片，并选取最可靠的5对特征点计算该动态目标所处的空间位置，间隔一段时间后再次提取动态目标三维坐标并计算侵入速度和运动方向，结合动态目标三维坐标值、侵入速度和运动方向，综合判断动态目标入侵程度。

7.根据权利要求1所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的步骤S4中，动态目标的特征点提取过程包括以下流程：

左右两摄像机在各自的视频数据中同时选取三帧图像，令当前视频帧与前一帧视频数据以及前两帧视频数据分别做差分运算，获取特征图像；

在特征图像中选取动态目标的最小内接矩形，并记录该矩形范围的顶点坐标数据；

利用所述的顶点坐标数据，在最小内接矩形范围内对左右两幅图像中的异物进行匹配，保存5对特征点的原始像素坐标；

计算每一对特征点的视差值，结合三角测量原理，还原出动态目标在检测场景下的三维坐标值。

8.根据权利要求7所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的特征图像计算过程包括：

左右两摄像机在各自的视频数据中同时选取三帧图像记为I_k-2、I_k-1、I_k，其中当前帧I_k分别与前一帧I_k-1数据以及前两帧I_k-2数据分别做差分运算，获取差分图像D₁(x,y)与D₂(x,y)；

对差分图像D₁(x,y)与D₂(x,y)进行阈值化处理：

其中，T_n为设定阈值；

利用像素间的与运算去除影响区域从而得到特征图像F(x,y)，即：

F(x,y)＝B₁(x,y)∧B₂(x,y)。

9.根据权利要求1所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的步骤S4中，动态目标的运动方向计算方法为：在图像上选取一条虚拟参考线，获取一个目标点在两个时刻的位置连线，利用虚拟参考线与连线之间的夹角计算动态目标的运动方向。

10.根据权利要求4所述的一种基于双目视觉的变电站异物检测方法，其特征在于，所述的步骤S5中，若在监控范围内动态目标的三维坐标不属于安全警戒区域，则不采取报警操作；

若动态目标的三维坐标已经进入预警区域，则引入该动态目标的速度与前进方向因素，若动态目标的前进速度与运动方向均处于安全阈值以内，则不采取预警措施，若动态目标的前进速度与运动方向至少有一个处于安全阈值以外，则立即采取预警措施；

若动态目标的三维坐标处于报警区域，则立即启动报警程序并采取报警措施。

Images