CN105915846A

CN105915846A - 一种单双目复用的入侵物监测方法及系统

Info

Publication number: CN105915846A
Application number: CN201610264483.5A
Authority: CN
Inventors: 龙学军; 周剑; 陆宏伟; 徐丹; 徐一丹
Original assignee: Chengdu Tongjia Youbo Technology Co Ltd
Current assignee: Chengdu Tongjia Youbo Technology Co Ltd
Priority date: 2016-04-26
Filing date: 2016-04-26
Publication date: 2016-08-31
Anticipated expiration: 2036-04-26
Also published as: CN105915846B

Abstract

本发明公开了一种单双目复用的入侵物监测方法及系统，涉及计算机视觉技术领域。本发明技术要点：拍摄背景图像；第一摄像机采集监控区域的监控视频图像；根据背景图像与第一摄像机采集的监控视频图像确定监控区域是否有入侵物进入，如是则控制第二摄像机启动，否则重复前步骤与本步骤；根据第一摄像机拍摄的视频图像及第二摄像机拍摄的视频图像计算入侵物的空间三维坐标及监控区域中被保护物的空间三维坐标，确定入侵物与被保护物的空间距离以及入侵物的运动速度；根据入侵物与被保护物的空间距离以及入侵物的运动速度确定入侵物的威胁等级等。

Description

一种单双目复用的入侵物监测方法及系统

技术领域

本发明涉及计算机视觉技术领域。

背景技术

随着经济发展建设对电力供电可靠性要求的不断提高，使得因电力中断造成的影响越来越不能容忍。输电线路走廊是指架空输电线路的路径所占用的土地面积和空间区域，确保输电线路走廊的安全是保证电力供电可靠性的一个重要方面。然而输电线路走廊时常面临被外物入侵破坏的威胁，尤其是随着国民经济的快速发展，城市化建设的速度越来越快，市政、民用工程挤占输电线路走廊，吊车或者自卸卡车误碰导致线路跳闸的情况也时常发生。

目前，输电线路走廊状态监测设备的功能繁复，种类繁杂，但主要还是以电学、力学、图像/视频、激光/光纤等为监测手段进行的。受限于输电走廊的强电磁环境、高空作业环境、沿线气候恶劣，传统监测传感装置在获取电学、力学等参量时相对困难，导致状态监测设备在监测精度、可靠性、可维护性方面受到了极大制约，因此目前输电线路上最常使用的仍为图像/视频监测方式。然而，由于技术本身制约，图像/视频监测装置在输电线路上的应用尚存在诸多缺陷：利用3G无线视频的防外破监测系统需要专人24小时值守，3G无线传输所消耗的流量费用巨大。

发明内容

针对现有技术中的输电线路走廊的监控技术的不足，本发明提供一种单双目复用的入侵物监测方法及系统，一方面能提高监测精确度，另一方面还可以大大节省数据流量及设备耗电量。

本发明公开的单双目复用的入侵物监测方法包括：

步骤1：拍无入侵物进入时的监控区域的图像，作为背景图像；

步骤2：第一摄像机采集监控区域的监控视频图像；

步骤3：根据背景图像与第一摄像机采集的监控视频图像确定监控区域是否有入侵物进入，如是则执行步骤4，否则重复步骤2与本步骤；

步骤4：控制第二摄像机启动，第二摄像机启动后与第一摄像机同时采集监控区域的监控视频图像；第二摄像机与第一摄像机位于同一水平高度且两者的水平距离为一定值；

步骤5：根据第一摄像机拍摄的视频图像及第二摄像机拍摄的视频图像计算入侵物的空间三维坐标及监控区域中被保护物的空间三维坐标，确定入侵物与被保护物的空间距离以及入侵物的运动速度；

步骤6：根据入侵物与被保护物的空间距离以及入侵物的运动速度确定入侵物的威胁等级。

所述步骤3进一步包括：

步骤31：将第一摄像机采集到的当前图像与背景图像做减法运算得到第一差值；

步骤32：将第一摄像机采集到的当前图像与上一帧图像做减法运算得到第二差值；

步骤33：计算两个差值的和，并在所述和大于设定阈值时认为监控区域有入侵物进入。

步骤5中确定监控区域物体空间三维坐标的方法进一步包括：

假设点P(X_C，Y_C，Z_C)是监测区域中的一点，其在T1时刻第一摄像机采集的图像上的平面坐标为P_a(x₁,y₁)，点P在T1时刻第二摄像机采集的图像上的平面坐标为P_b(x₂,y₂)，可得：

X_{C} = \frac{B_{C} \cdot x_{1}}{| P_{a} - P_{b} |}, Y_{C} = \frac{B_{C} \cdot y_{1}}{| P_{a} - P_{b} |}, Z_{C} = \frac{B_{C} \cdot f}{| P_{a} - P_{b} |};

式中，B_C是两个摄像机之间的基线，f摄像机的焦距。

所述监控区域为输电线路走廊，被保护物为电网，所述步骤5进一步包括：

步骤51：获得电网的空间三维坐标(X₁，Y₁，Z₁)；

步骤52：获得入侵物当前时刻的空间三维坐标(X₀，Y₀，Z₀)；

步骤53：计算入侵物与电网的空间距离

步骤54：获得入侵物在前一时刻的空间三维坐标(X₂，Y₂，Z₂)；

步骤55：入侵物运动速度Δt为当前时刻与前一时刻的时间间隔。

所述步骤6进一步包括：

步骤61：确定安全速度V、输电线路走廊的安全限高H以及与电网的安全距离D；

步骤62：根据已经获取的入侵物运动速度、入侵物与电网的距离及入侵物的高度，判断入侵物对输电线路走廊的威胁等级：

a、若入侵物的高度Z₀≥安全限高H并且运动方向朝向输电线路走廊，则威胁等级标记为一级；

b、若入侵物的高度Z₀≥安全限高H，运动方向与输电线路走廊平行，且与输电线路走廊里面的电网距离d≥安全距离D，则威胁等级标记为二级；

c、若入侵物的速度v≥安全速度V，则威胁等级标记为二级；

d、若入侵物的高度Z₀＜安全限高H，且与输电线路走廊里面的电网距离d≤D，则威胁等级标记为二级；

e、其余情况标记为“无威胁”。

本发明还提供了一种单双目复用的入侵物监测系统，包括：

背景图像获取单元，用于接收第一摄像机采集的无入侵物进入时的监控区域的图像，将其作为背景图像；

监控视频图像获取单元，用于接收第一摄像机采集到的监控区域的监控视频图像；

入侵判断单元，用于根据背景图像与第一摄像机采集的监控视频图像确定监控区域是否有入侵物进入，如是则转到第二摄像机控制单元，否则依次转到监控视频图像获取单元及入侵判断单元；

第二摄像机控制单元，用于控制第二摄像机启动，第二摄像机启动后与第一摄像机同时采集监控区域的监控视频图像；第二摄像机与第一摄像机位于同一水平高度且两者的水平距离为一定值；

入侵物运动状态获取单元，用于根据第一摄像机拍摄的视频图像及第二摄像机拍摄的视频图像计算入侵物的空间三维坐标及监控区域中被保护物的空间三维坐标，确定入侵物与被保护物的空间距离以及入侵物的运动速度；

威胁等级确定单元，用于根据入侵物与被保护物的空间距离以及入侵物的运动速度确定入侵物的威胁等级。

所述入侵判断单元进一步包括：

背景差值计算子单元，用于将第一摄像机采集到的当前图像与背景图像做减法运算得到第一差值；

帧间差值计算子单元，用于将第一摄像机采集到的当前图像与上一帧图像做减法运算得到第二差值；

综合判断子单元，用于计算两个差值的和，并在所述和大于设定阈值时认为监控区域有入侵物进入。

入侵物运动状态获取单元进一步用于：

X_{C} = \frac{B_{C} \cdot x_{1}}{| P_{a} - P_{b} |}, Y_{C} = \frac{B_{C} \cdot y_{1}}{| P_{a} - P_{b} |}, Z_{C} = \frac{B_{C} \cdot f}{| P_{a} - P_{b} |};

式中，B_C是两个摄像机之间的基线，f摄像机的焦距。

所述监控区域为输电线路走廊，被保护物为电网，所述入侵物运动状态获取单元进一步包括：

电网坐标获取子单元，用于获得电网的空间三维坐标(X₁，Y₁，Z₁)；

入侵物坐标获取子单元，用于获得入侵物当前时刻的空间三维坐标(X₀，Y₀，Z₀)；

入侵物与电网空间距离获取子单元，用于计算入侵物与电网的空间距离

入侵物运动速度获取子单元，用于获得入侵物在前一时刻的空间三维坐标(X₂，Y₂，Z₂)；入侵物运动速度Δt为当前时刻与前一时刻的时间间隔。

所述威胁等级确定单元进一步包括：

安全阈值确定子单元，用于确定安全速度V、输电线路走廊的安全限高H以及距离电网的安全距离D；

入侵物运动状态判断子单元，用于根据已经获取的入侵物运动速度、入侵物与电网的距离及入侵物的高度，判断入侵物对输电线路走廊的威胁等级：

c、若入侵物的速度v≥安全速度V，则威胁等级标记为二级；

e、其余情况标记为“无威胁”。

通过采用以上的技术方案，本发明具有以下的有益效果：

1)利用单目目标监测追踪，在能耗上比双目监测要低，并且可以快速高效的监测到输电走廊入侵物，同时帧间图像差值的运算能得到入侵物的移动方向，为之后的威胁等级评价提供依据；

2)当检测到有入侵物进入监控范围后利用双目视觉测量，与单目监测相比能过获取目标的深度信息，计算目标具体三维尺寸，能更准确判断是否会对输电走廊造成威胁；

综上，本发明技术方案既能降低能耗又能提高入侵物检测的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明采用的双目立体视觉三维重建原理图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，很显然，下文所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开的单双目复用的入侵物监测方法包括：

步骤2：第一摄像机采集监控区域的监控视频图像；

在另一个具体实施例中，还包括对采集到的图像，包括背景图像及监控视频图像，进行去噪。

图像中的噪声是一种灰度取值随机信号。常见噪声有脉冲噪声、椒盐噪声、高斯噪声等。脉冲噪声还有随机的白灰度值或黑灰度值；椒盐噪声含有随机出现的黑白灰度值；高斯噪声是灰度服从高斯或正态分布的噪声。

本实施例采用的是线性平滑滤波器(均值滤波器)。它去除高斯噪声的效果很好，且在大多数情况下，对其他噪声去除也有很好的效果。均值滤波器是最简单的线性滤波器，它将每一个点的像素值用其局部邻域内所有像素值的均值来代替：

h [i, j] = \frac{1}{M} \underset{(k, l) &Element; N}{Σ} f [k, l]

其中，h为当前点，M是h点邻域N内的像素点总数，f为像素值。邻域N的大小影响滤波程度。通过滤波获取噪声较少的图像序列，为后面的步骤做准备。

所述步骤3进一步包括：

步骤31：将第一摄像机采集到的当前图像与背景图像做减法运算得到第一差值；这里所说的图像做减法是指两幅图像中对应的像素值做差值。

步骤32：将第一摄像机采集到的当前图像与上一帧图像做减法运算得到第二差值；将此刻的图像与上一帧图像做差值还可以得到入侵物的运动方向。

步骤33：计算两个差值的和，并在所述和大于设定阈值时认为监控区域有入侵物进入。阈值可根据经验获得，不同的环境，阈值可能不相同。

本实施例采用背景差分法和帧间差分法结合的方法对目标进行跟踪并计算目标运动速度，估计目标大致运动方向。

背景差分法采用固定摄像机进行场景监视，认为在这种可控环境下的背景是恒定不变的，入侵物的提取就可以通过对当前图像和背景图像的差值来获得。当摄像机静止时，当前图像I_k+1(x,y)与背景图像u_k+1(x,y)相减后求得绝对值：

D_k+1(x,y)＝|I_k+1(x,y)-u_k+1(x,y)|；

其中，D_k+1(x,y)为图像中各像素值的变化信息。I_k+1(x,y)和u_k+1(x,y)可以是图像的某一像素值，如亮度，也可以是图像的某些特征，如灰度、颜色等。

帧间差分法利用连续图像序列(本说明书中的图像序列是指两帧或两帧以上的视频图像集合)的两个或者三个相邻帧图像，基于像素点之间的差值来提取图像的运动区域及预测其运动方向。假设当前图像为I_k+1(x,y),前一帧图像为I_k(x,y)，差分表达式为：

T_k+1(x,y)＝|I_k+1(x,y)-I_k(x,y)|；

其中，T_k+1(x,y)是图像中各点像素值的时间变化梯度。

最后对两个差值后求和：

A_k+1(x,y)＝|I_k+1(x,y)-u_k+1(x,y)|+|I_k+1(x,y)-I_k(x,y)|

又一优选的实施例会定时更新背景图像，以提高检测准确度。

参见图1，步骤5中确定监控区域物体空间三维坐标的方法进一步包括：

假设点P(X_C，Y_C，Z_C)是监测区域中的一点，其在T1时刻第一摄像机采集的图像a上的平面坐标为P_a(x₁,y₁)，点P在T1时刻第二摄像机采集的图像b上的平面坐标为P_b(x₂,y₂)，可得：

X_{C} = \frac{B_{C} \cdot x_{1}}{| P_{a} - P_{b} |}, Y_{C} = \frac{B_{C} \cdot y_{1}}{| P_{a} - P_{b} |}, Z_{C} = \frac{B_{C} \cdot f}{| P_{a} - P_{b} |};

式中，B_C是两个摄像机之间的基线，f摄像机的焦距。摄像机的外部参数与内部参数是摄像机固有的属性，摄像机出厂时，这两个参数就已经确定。|P_a-P_b|为视差，即点P在两幅图像中的位置偏移。由于本发明中限定了两个摄像机位于同一水平高度，因此y＝y₁＝y₂，则视差为|x₁-x₂|。

根据上述原理，我们可以获取监控场景中任意一点的空间三维坐标。

本发明主要用于输电线路走廊的监控，被保护物为电网。根据本说明书的教导，计算机视觉领域的技术人员及邻近领域技术人员可以料想到本方法并不局限于这一监控场景，还可适用于银行、超市等应用场景。

进一步，本实施例的所述步骤5包括：

步骤51：获得电网的空间三维坐标(X₁，Y₁，Z₁)；电网所占据的空间范围较大，可以选择其最低点的空间三维坐标代表整个电网，也可以使用一个数值范围来表示。

步骤52：获得入侵物当前时刻的空间三维坐标(X₀，Y₀，Z₀)；可选择其最高点的空间三维坐标代表整个入侵物，也可以使用一个数值范围来表示。

步骤53：计算入侵物与电网的空间距离该距离也可以是以电网及入侵物不同空间三维坐标计算出来的多个距离的均值。

所述步骤6进一步包括：

步骤61：确定安全速度V、输电线路走廊的安全限高H以及与电网的安全距离D；安全速度可经过反复试验确定，安全限高及安全距离是根据电网设计规范等标准制定。

步骤62：根据已经获取的入侵物运动速度、入侵物与电网的距离及入侵物的高度，判断入侵物对输电线路走廊的威胁等级，下面是本实施例采用的等级认定原则，但不限于以下内容：

a、若入侵物的高度Z₀≥安全限高H并且运动方向朝向输电线路走廊，则威胁等级标记为一级；朝向输电线路走廊是指入侵物的运动方向不与输电线路走廊平行，且靠近输电线路走廊。

b、若入侵物的高度Z₀≥安全限高H，运动方向与输电线路走廊平行，且与输电线路走廊里面的电网距离d≥安全距离D，则威胁等级标记为二级。

c、若入侵物的速度v≥安全速度V，则威胁等级标记为二级。

d、若入侵物的高度Z₀＜安全限高H，且与输电线路走廊里面的电网距离d≤D，则威胁等级标记为二级。

e、其余情况标记为“无威胁”。

本发明还提供了一种与上述单双目复用的入侵物监测方法一一对应的软系统，包括：

所述入侵判断单元进一步包括：

入侵物运动状态获取单元进一步用于：

X_{C} = \frac{B_{C} \cdot x_{1}}{| P_{a} - P_{b} |}, Y_{C} = \frac{B_{C} \cdot y_{1}}{| P_{a} - P_{b} |}, Z_{C} = \frac{B_{C} \cdot f}{| P_{a} - P_{b} |};

式中，B_C是两个摄像机之间的基线，f摄像机的焦距。

所述威胁等级确定单元进一步包括：

c、若入侵物的速度v≥安全速度V，则威胁等级标记为二级；

e、其余情况标记为“无威胁”。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的软系统的具体工作过程可以参考前述方法实施例中的对应过程，且方法实施例的变形同样适用于软系统实施例，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种单双目复用的入侵物监测方法，其特征在于，包括：

步骤1：拍摄无入侵物进入时的监控区域的图像，作为背景图像；

步骤2：第一摄像机采集监控区域的监控视频图像；

步骤3：根据背景图像与第一摄像机采集的监控视频图像进行运动目标检测，确定监控区域是否有入侵物进入，如是则执行步骤4，否则重复步骤2与本步骤；

2.根据权利要求1所述的一种单双目复用的入侵物监测方法，其特征在于，所述步骤3进一步包括：

3.根据权利要求1所述的一种单双目复用的入侵物监测方法，其特征在于，步骤5中确定监控区域物体空间三维坐标的方法进一步包括：

X_{C} = \frac{B_{C} \cdot x_{1}}{| P_{a} - P_{b} |}, Y_{C} = \frac{B_{C} \cdot y_{1}}{| P_{a} - P_{b} |}, Z_{C} = \frac{B_{C} \cdot f}{| P_{a} - P_{b} |};

式中，B_C是摄像机的外部参数，f摄像机的内部参数。

4.根据权利要求1或3所述的一种单双目复用的入侵物监测方法，其特征在于，所述监控区域为输电线路走廊，被保护物为电网，所述步骤5进一步包括：

步骤51：获得电网的空间三维坐标(X₁，Y₁，Z₁)；

步骤53：计算入侵物与电网的空间距离

5.根据权利要求4所述的一种单双目复用的入侵物监测方法，其特征在于，

所述步骤6进一步包括：

c、若入侵物的速度v≥安全速度V，则威胁等级标记为二级；

e、其余情况标记为“无威胁”。

6.一种单双目复用的入侵物监测系统，其特征在于，包括：

背景图像获取单元，用于接收无入侵物进入时的监控区域的图像，将其作为背景图像；

7.根据权利要求6所述的一种单双目复用的入侵物监测系统，其特征在于，所述入侵判断单元进一步包括：

8.根据权利要求6所述的一种单双目复用的入侵物监测系统，其特征在于，入侵物运动状态获取单元进一步用于：

X_{C} = \frac{B_{C} \cdot x_{1}}{| P_{a} - P_{b} |}, Y_{C} = \frac{B_{C} \cdot y_{1}}{| P_{a} - P_{b} |}, Z_{C} = \frac{B_{C} \cdot f}{| P_{a} - P_{b} |};

式中，B_C是两个摄像机之间的基线，f摄像机的焦距。

9.根据权利要求6或8所述的一种单双目复用的入侵物监测系统，其特征在于，所述监控区域为输电线路走廊，被保护物为电网，所述入侵物运动状态获取单元进一步包括：

10.根据权利要求9所述的一种单双目复用的入侵物监测系统，其特征在于，

所述威胁等级确定单元进一步包括：

安全阈值确定子单元，用于确定安全速度V、输电线路走廊的安全限高H以及与电网的安全距离D；

c、若入侵物的速度v≥安全速度V，则威胁等级标记为二级；

e、其余情况标记为“无威胁”。