CN103914856A - 一种基于熵值的运动目标检测方法 - Google Patents

Abstract

本发明公开一种基于熵值的运动目标检测方法，其首先读入场景图像数据，并进行灰度化处理，然后标定场景中的监控区域，对各监控区域相邻两帧灰度图像做差分运算，基于差分运算结果的熵值，确定图像分割的最佳阈值，再对分割后的图像进行形态学滤波，继而进行连通区域检测，并对检测到的各连通区域进行标记；最后计算各个连通区域的面积，取面积最大的连通区域标记为运动目标，并输出。本发明综合应用多种图像处理基本方法，将目前计算机视觉、模式识别领域的技术，引入输电线路智能监控领域中，利用输电线路场景中的相关视觉信息实现输电线路场景中大型机械的运动检测，从而预防外力破坏对输电线路造成的影响。

Description

一种基于熵值的运动目标检测方法

技术领域

本发明涉及输电线路智能监控技术领域，特别是一种利用计算机视觉技术开发中模式识别方法的基于熵值的运动目标检测方法。

背景技术

近年来，在国民经济持续发展的带动下，我国的电力需求快速增长，电力网络的覆盖范围也迅速扩大，电力线路具有分布区域广、传输距离长、地形条件复杂多变、受环境气候影响大等特点。同时，对于东部经济发达的沿海省份地区，输配电网络大量穿越城市、乡村，受到人们生活、生产活动的干扰，出现一些人为的外力破坏事件，给人们的生活生产活动带来了极大的损失。这类事件通常隐蔽突发，电力监管部门难以对其作出有效地管理。

特别在当前高铁等基础设施建设如火如荼，建设工地大量穿越输电线路的情况下，工地上的大型机械（如吊塔，挖掘机等）成为了潜在的对输电线路具有破坏性的因素。工人在施工时，一旦操作不当，诸如像吊塔、挖掘机吊臂这样的机械弄断高压电线，极易造成人员伤亡，电网停运等严重事故。

发明内容

本发明要解决的技术问题为：通过将目前计算机视觉、模式识别领域的技术，引入输电线路智能监控领域中，利用输电线路场景中的相关视觉信息实现输电线路场景中大型机械的运动检测，从而预防外力破坏对输电线路造成的影响。

本发明将计算机视觉技术应用到输电线路场景监控中时，需要考虑场景图像的主要特征有：

A.摄像头距离目标物都比较远，整个场景视角比较大；

B.目标物体如吊臂在场景中相对孤立，其背景多为天空；

C.目标物体如吊臂长宽比较大，特征明显；

D.输电线路的背景相对单一，多为天空；

E.目标物体的运动速度较慢。

针对上述特征以及要解决的技术问题，本发明采取的技术方案具体为：一种基于熵值的运动目标检测方法，包括以下步骤：

（1）读入场景图像数据，对场景图像数据进行灰度化处理：

对于一个三分量为R、G、B的彩色图像像素，该点的亮度I按以下公式计算：

I＝0.3B+0.59G+0.11R    （1）

按照公式（1）将彩色的场景图像转换成灰度的场景图像；

（2）标定场景中的监控区域，监控区域为覆盖在输电线路周围的1个以上矩形区域：

（3）对于已标定的各监控区域，分别对其相邻两帧场景图像的灰度图像，依下式做差分运算：

D_k(x,y)＝|f_k+1(x,y)-f_k(x,y)|    （2）

式（2）中，f_k+1(x,y)，f_k(x,y)分别表示第k+1、k帧图像，D_k(x,y)表示差分运算后的图像；

（4）针对上述差分运算结果D_k(x,y)，基于其熵值确定图像分割的最佳阈值：

设定一幅M行N列的灰度图像f(x,y)，f(x,y)表示图像中坐标(x,y)处的像素点的灰度值，灰度级为L(1＜L≤256)，其中f(x,y)的取值范围为[0,L-1]，即：C_L＝{0,1,...,L-1}；

设f_i为图像f(x,y)中灰度级i出现的频数，那么i出现的概率为：

$P_i=\frac{f_i}{M\×N},i\∈C_L---\left(3\right)$

假设存在阈值t将图像分割为前景O和背景B，前景O:{f(x,y)≤t}，背景B:{t＜f(x,y)＜L}，归一化变换得到前景和背景的分布：

$F_o=\{\frac{p_0}{P\left(t\right)},\frac{p_1}{P\left(t\right)},\·\·\·,\frac{p_t}{P\left(t\right)}\}---\left(4\right)$

$F_B=\{\frac{p_{t+1}}{1-P\left(t\right)},\frac{p_{t+2}}{1-P\left(t\right)},\·\·\·,\frac{p_{L-1}}{1-P\left(t\right)}\}---\left(5\right)$

其中表示灰度级0到t-1的概率之和；

根据图像熵的定义：得到前景O和背景B的熵分别为：

$E_o=-\underset{i=0}{\overset{t}{\mathrm{\Σ}}}[p_i/p\left(t\right)]\×\ln [p_i/P\left(t\right)]---\left(6\right)$

$E_B=-\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}\{p_i/[1-P\left(t\right)\left]\right\}\×\ln \{p_i/1-[P\left(t\right)\left]\right\}---\left(7\right)$

两部分信息熵之和为：

E＝E_o+E_B＝ln{P(t)×[1-P(t)}-H(t)/P(t)-H'(t)/[1-P(t)]    （8）

其中：

$P\left(t\right)=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{p}_i,H\left(t\right)=-\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{p}_i\ln \left(p_i\right)$

$H^{\′}\left(t\right)=-\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}{p}_i\ln \left(p_i\right)$

图像的最佳分割阈值为：

$\mathrm{Th}=\mathrm{Arg}\underset{t\∈C_L}{\max }\left(E\right)=\mathrm{Arg}\underset{t\∈C_L}{\max }(E_O+E_B)---\left(9\right)$

即求灰度级i使得式（9）最大，那么该灰度级即为图像分割的最佳阈值；

（5）对经上述最佳阈值进行分割后的图像进行形态学滤波，利用开运算消除图像噪声，利用闭运算填补图像空洞；

（6）对形态学滤波后的图像进行连通区域检测，并对检测到的连通区域进行标记；

（7）计算步骤（6）中检测到的各个连通区域的面积，取面积最大的连通区域标记为运动目标；

（8）输出运动目标。

本发明可基于现有的Qt和OpenCV平台进行开发，其中图像的封装基类为CvImage。图像的读入及处理利用CvImage中封装的函数实现。

本发明所涉及的图像灰度化处理、矩形监控区域在场景中的坐标标定皆为现有技术。

步骤（5）中应用到的形态学滤波为现有技术。数学形态学操作包括腐蚀、膨胀、开和闭运算等。图像腐蚀的基本作用是消除物体的边界点，消除小于结构元素的噪声点；膨胀的基本作用是合并物体的边界点，填补空洞。通过膨胀和腐蚀的组合可以构造出新的形态学运算来实现一些复杂的功能，互为逆运算的开运算和闭运算就是其中的两个。开运算是先腐蚀后膨胀的过程，可以消除图像上细小的噪声，并平滑物体边界。闭运算是先膨胀后腐蚀的过程，可以填充物体内细小的空洞，并平滑物体边界。

对分割图进行形态学滤波操作，即可祛除噪声，填补空洞。

进一步的，本发明步骤（6）中，对图像进行连通区域检测及标记的方法包括以下步骤：

6.1）按照从上到下、从左往右的顺序对场景图像进行扫描，找到场景图像中的第一段连通区域；

6.2）标记搜索到的连通区域作为种子段并且压入堆栈；

6.3）从堆栈中取种子段，检查该种子段的上下两行是否存在连通并且没有标记过的区域：如果不存在，就将该种子段弹出堆栈；如果存在，则按先上后下的顺序分别标记上下两行的连通区域，并将其作为新的种子段压入堆栈；

6.4）重复步骤6.3），直到堆栈为空，即完成一个连通区域的标记；

6.5）搜索图像的下一段连通区域，重复步骤6.2）至6.4）；

6.6）重复步骤6.5）直到所有的连通区域标记完毕。

步骤（7）中，最终检测到的运动目标以极坐标或直角坐标界定的矩形范围被存储，即可方便计算各连通区域的面积；运动目标在步骤（8）中亦以坐标界定的矩形范围形式显示输出。上述矩形范围实际显示为与运动目标大小相近的矩形框，存储类型为CvPoint类型的点阵序列。

本发明的算法可封装为Win32环境平台下的动态链接库（DLL）形式，于后台运行，返回结果值供输电线路监控系统的相应的主程序调用。

本发明的有益效果为：将目前计算机视觉、模式识别领域的技术，引入到输电线路智能监控领域中，可直接提供给现有的智能视频监控系统调用，通过在后台执行本发明程序，可将监控场景中的大型机械在图像中的位置数据返回给主系统；也可以单独应用，对监控场景中的大型机械的具体位置进行显示及报告等，从而预防外力破坏对输电线路造成的影响。本发明在应用时，算法的处理时间平均大约为50毫秒，数据处理的冗余量极小，数据处理效率较高。

附图说明

图1所示为本发明方法流程示意图；

图2所示为本发明中连通区域检测算法示意图；

图3所示为应用场景源图像；

图4所示为已标定监控区域的场景图像示意图；

图5所示为运动目标输出的场景图像示意图。

具体实施方式

以下结合附图和具体实施例进一步说明。

本发明基于熵值的运动目标检测方法，方法流程如图1所示，包括以下步骤：

（1）读入场景图像数据，对场景图像数据进行灰度化处理：

（2）标定场景中的监控区域，监控区域为覆盖在输电线路周围的1个以上矩形区域：

（3）对于已标定的各监控区域，分别对其相邻两帧场景图像的灰度图像做差分运算：

（4）针对上述差分运算结果，基于其熵值确定图像分割的最佳阈值：

（5）对经上述最佳阈值进行分割后的图像进行形态学滤波，利用开运算消除图像噪声，利用闭运算填补图像空洞；

（6）对形态学滤波后的图像进行连通区域检测，并标记所有连通区域；

（7）计算步骤（6）中检测到的各个连通区域的面积，取面积最大的连通区域标记为运动目标；

（8）输出运动目标。

实施例

将本发明应用于图3所示的输电线路场景。首先进行步骤（1）：

对于一个三分量为R、G、B的彩色图像像素，该点的亮度I按以下公式计算：

I＝0.3B+0.59G+0.11R    （1）

按照公式（1）将彩色的场景图像转换成图3所示的灰度的场景图像。

然后进行步骤（2），标定场景图像中的监控区域，如图4所示，监控区域可根据实际场景图像来标定，用类似矩形框标出，此为现有技术。继而对图4中监控区域的相邻两帧图像按照式（2）进行差分运算，

D_k(x,y)＝|f_k+1(x,y)-f_k(x,y)|    （2）

式（2）中，f_k+1(x,y)，f_k(x,y)分别表示第k+1、k帧图像，D_k(x,y)表示差分运算后的图像。

再进行步骤（4），对图像进行分割：

设定一幅M行N列的灰度图像f(x,y)，f(x,y)表示图像中坐标(x,y)处的像素点的灰度值，灰度级为L(1＜L≤256)，其中f(x,y)的取值范围为[0,L-1]，即：C_L＝{0,1,...,L-1}；

设f_i为图像f(x,y)中灰度级i出现的频数，那么i出现的概率为：

$P_i=\frac{f_i}{M\×N},i\∈C_L---\left(3\right)$

假设存在阈值t将图像分割为前景O和背景B，前景O:{f(x,y)≤t}，背景B:{t＜f(x,y)＜L}，归一化变换得到前景和背景的分布：

$F_o=\{\frac{p_0}{P\left(t\right)},\frac{p_1}{P\left(t\right)},\·\·\·,\frac{p_t}{P\left(t\right)}\}---\left(4\right)$

$F_B=\{\frac{p_{t+1}}{1-P\left(t\right)},\frac{p_{t+2}}{1-P\left(t\right)},\·\·\·,\frac{p_{L-1}}{1-P\left(t\right)}\}---\left(5\right)$

其中表示灰度级0到t-1的概率之和；

根据图像熵的定义：得到前景O和背景B的熵分别为：

$E_o=-\underset{i=0}{\overset{t}{\mathrm{\Σ}}}[p_i/p\left(t\right)]\×\ln [p_i/P\left(t\right)]---\left(6\right)$

$E_B=-\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}\{p_i/[1-P\left(t\right)\left]\right\}\×\ln \{p_i/1-[P\left(t\right)\left]\right\}---\left(7\right)$

两部分信息熵之和为：

E＝E_o+E_B＝ln{P(t)×[1-P(t)}-H(t)/P(t)-H'(t)/[1-P(t)]    （8）

其中：

$P\left(t\right)=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{p}_i,H\left(t\right)=-\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{p}_i\ln \left(p_i\right)$

$H^{\′}\left(t\right)=-\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}{p}_i\ln \left(p_i\right)$

图像的最佳分割阈值为：

$\mathrm{Th}=\mathrm{Arg}\underset{t\∈C_L}{\max }\left(E\right)=\mathrm{Arg}\underset{t\∈C_L}{\max }(E_O+E_B)---\left(9\right)$

即求灰度级i使得式（9）最大，那么该灰度级即为图像分割的最佳阈值。

在进行步骤（5），对分割后的图像进行形态学滤波，消除噪声，填补空洞；

然后进行步骤（6），连通区域检测的方法可结合图2，具体包括以下步骤：

6.1）按照从上到下、从左往右的顺序对场景图像进行扫描，找到场景图像中的第一段连通区域①；

6.2）标记该区域段①作为种子段并且压入堆栈；

6.3）从堆栈中取种子段①，检查该种子段的上下两行是否存在连通并且没有标记过的区域：如果不存在，就将该种子段①弹出堆栈；如果存在，则按先上后下的顺序分别标记上下两行的连通区域，如图2中的区域段③，并将其作为新的种子段压入堆栈；

6.4）重复步骤6.3），直到堆栈为空，即完成一个连通区域的标记；

6.5）搜索到图像的下一段连通区域，重复步骤6.1）至6.4）进行检测及标记；

6.6）重复步骤6.5）直到所有的连通区域标记完毕。

图2中第一个连通区域的目标段入栈先后顺序为目标段①→③→②→④；出栈顺序正好相反。

计算步骤（6）中检测到的各个连通区域的面积，取面积最大的连通区域标记为运动目标；并输出运动目标。

最终检测到的运动目标将被与其相近大小的矩形框以极坐标或直角坐标方式存储并显示，存储类型为CvPoint类型的点阵序列。

本发明算法本身可封装为Win32平台下的动态链接库（DLL）形式，在后台运行，返回值供输电线路监控系统响应主程序调用。

Claims (3)

1.一种基于熵值的运动目标检测方法，其特征是，包括以下步骤：

（1）读入场景图像数据，对场景图像数据进行灰度化处理：

对于一个三分量为R、G、B的彩色图像像素，该点的亮度I按以下公式计算：

I＝0.3B+0.59G+0.11R    （1）

按照公式（1）将彩色的场景图像转换成灰度的场景图像；

（2）标定场景中的监控区域，监控区域为覆盖在输电线路周围的1个以上矩形区域：

（3）对于已标定的各监控区域，分别对其相邻两帧场景图像的灰度图像，依下式做差分运算：

D_k(x,y)＝|f_k+1(x,y)-f_k(x,y)|    （2）

式（2）中，f_k+1(x,y)，f_k(x,y)分别表示第k+1、k帧图像，D_k(x,y)表示差分运算后的图像；

（4）针对上述差分运算结果D_k(x,y)，基于其熵值确定图像分割的最佳阈值：

设定一幅M行N列的灰度图像f(x,y)，f(x,y)表示图像中坐标(x,y)处的像素点的灰度值，灰度级为L(1＜L≤256)，其中f(x,y)的取值范围为[0,L-1]，即：C_L＝{0,1,...,L-1}；

设f_i为图像f(x,y)中灰度级i出现的频数，那么i出现的概率为：

$P_i=\frac{f_i}{M\×N},i\∈C_L---\left(3\right)$

假设存在阈值t将图像分割为前景O和背景B，前景O:{f(x,y)≤t}，背景B:{t＜f(x,y)＜L}，归一化变换得到前景和背景的分布：

$F_o=\{\frac{p_0}{P\left(t\right)},\frac{p_1}{P\left(t\right)},\·\·\·,\frac{p_t}{P\left(t\right)}\}---\left(4\right)$

$F_B=\{\frac{p_{t+1}}{1-P\left(t\right)},\frac{p_{t+2}}{1-P\left(t\right)},\·\·\·,\frac{p_{L-1}}{1-P\left(t\right)}\}---\left(5\right)$

其中表示灰度级0到t-1的概率之和；

根据图像熵的定义：得到前景O和背景B的熵分别为：

$E_o=-\underset{i=0}{\overset{t}{\mathrm{\Σ}}}[p_i/p\left(t\right)]\×\ln [p_i/P\left(t\right)]---\left(6\right)$

$E_B=-\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}\{p_i/[1-P\left(t\right)\left]\right\}\×\ln \{p_i/1-[P\left(t\right)\left]\right\}---\left(7\right)$

两部分信息熵之和为：

E＝E_o+E_B＝ln{P(t)×[1-P(t)}-H(t)/P(t)-H'(t)/[1-P(t)]    （8）

其中：

$P\left(t\right)=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{p}_i,H\left(t\right)=-\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{p}_i\ln \left(p_i\right)$

$H^{\′}\left(t\right)=-\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}{p}_i\ln \left(p_i\right)$

图像的最佳分割阈值为：

$\mathrm{Th}=\mathrm{Arg}\underset{t\∈C_L}{\max }\left(E\right)=\mathrm{Arg}\underset{t\∈C_L}{\max }(E_O+E_B)---\left(9\right)$

即求灰度级i使得式（9）最大，那么该灰度级即为图像分割的最佳阈值；

（5）对经上述最佳阈值进行分割后的图像进行形态学滤波，利用开运算消除图像噪声，利用闭运算填补图像空洞；

（6）对形态学滤波后的图像进行连通区域检测，并对检测到的各连通区域进行标记；

（7）计算步骤（6）中检测到的各个连通区域的面积，取面积最大的连通区域标记为运动目标；

（8）输出运动目标。

2.根据权利要求1所述的基于熵值的运动目标检测方法，其特征是，步骤（6）中对图像进行连通区域检测及标记的方法包括以下步骤：

6.1）按照从上到下、从左往右的顺序对场景图像进行扫描，找到场景图像中的第一段连通区域；

6.2）标记搜索到的连通区域作为种子段并且压入堆栈；

6.3）从堆栈中取种子段，检查该种子段的上下两行是否存在连通并且没有标记过的区域：如果不存在，就将该种子段弹出堆栈；如果存在，则按先上后下的顺序分别标记上下两行的连通区域，并将其作为新的种子段压入堆栈；

6.4）重复步骤6.3），直到堆栈为空，即完成一个连通区域的标记；

6.5）搜索图像的下一段连通区域，重复步骤6.2）至6.4）；

6.6）重复步骤6.5）直到所有的连通区域标记完毕。

3.根据权利要求1所述的基于熵值的运动目标检测方法，其特征是，步骤（7）中，运动目标以极坐标或直角坐标界定的矩形范围被存储，并在步骤（8）中显示输出。