CN106331636A

CN106331636A - 基于行为事件触发的输油管道智能视频监控系统及方法

Info

Publication number: CN106331636A
Application number: CN201610788205.XA
Authority: CN
Inventors: 马大中; 张化光; 刘金海; 冯健; 熊召喜; 刘聪聪
Original assignee: Northeastern University China
Current assignee: Northeastern University China
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2017-01-11

Abstract

本发明提供一种基于行为事件触发的输油管道智能视频监控系统及方法，涉及输油管道监控技术领域。包括若干视频监控站与一个监控中心，视频监控站包括视频采集模块、视频处理模块、通讯模块、语音模块和控制模块，其中视频处理模块包括实现视频处理的FPGA模块；其监控方法采用FPGA对每一帧视频图像进行处理，对进入监控范围内的行人进行有效的检测和跟踪并根据其行为判断监控站监控范围所处的状态。本发明利用FPGA并行处理机制，结合事件触发的模式和4G无线通讯手段，能有效提高处理速度，节省视频监控在人力上的花费和视频传输流量，使智能监控能够在野外实现。

Description

基于行为事件触发的输油管道智能视频监控系统及方法

技术领域：

本发明涉及输油管道监控技术领域，尤其涉及一种基于行为事件触发的输油管道智能视频监控系统及方法。

背景技术：

在我国国民经济中，石油天然气是国民经济的命脉，占据着重要的战略地位。管道运输与其他运输方式相比具有明显的优势，封闭的管道运输可以减少液体的挥发损耗，运输过程受气候和环境的影响较小，并能适应复杂的地形。因此管道运输已成为石油和天然气运输的主要方式。管道泄漏的原因有以下几个方面：管线内部腐蚀、管线外部腐蚀、外力损伤、违章施工、环境及自然灾害等。石油、天然气等能源产品的管道运输，在我国已经发展了半个多世纪，随着管网的逐年扩建，管道运输已经成为我国陆上油气运输的主要方式。由于近些年来不法分子钻孔偷油恶意破坏的现象多有出现，不仅给国民经济造成损失，甚至造成大面积石油污染，因此管网的安全问题引起了人们的强烈关注。

通常管网的安全监测分为管道内部安全监测和管道外部安全监测。目前管道外部安全监测主要采用传统的视频监控，需要耗费大量的人力对监控视频进行实时查看，而且由于监视人员长时间查看监控视频容易疲劳进而导致漏掉一些可能对管道安全产生严重影响的不法行为。目前，智能监控已经在很多领域投入应用，但是由于输油管道通常位于野外，而且环境复杂多变，系统的通讯畅通和智能性都难以解决。因此尚没有针对输油管道的具体特征的有效的智能视频监控系统。

发明内容：

针对现有技术的缺陷，本发明提供一种基于行为事件触发的输油管道智能视频监控系统及方法，利用FPGA并行处理机制，结合事件触发的模式和4G无线通讯手段，能有效提高处理速度，节省视频监控在人力上的花费和视频传输流量，使智能监控能够在野外实现。

一方面，本发明提供一种基于行为事件触发的输油管道智能视频监控系统，包括若干视频监控站与一个监控中心；

所述视频监控站包括视频采集模块、视频处理模块、通讯模块、语音模块和控制模块；

所述视频采集模块连接视频处理模块和控制模块，用于产生视频数据、时钟信号和行、场同步信号，包括CMOS数字摄像头和视频数据采集电路；所述CMOS数字摄像头用于直接对输油管道及附近范围进行视频采集，所述视频数据采集电路用于辅助摄像头进行视频采集；所述CMOS数字摄像头设有底座和支架，用于CMOS数字摄像头的支撑和固定；

所述视频处理模块连接控制模块，用于对视频采集模块采集到的视频数据进行视频格式转化和实时处理，包括实现视频处理的FPGA模块，FPGA模块用于把计算量很大的视频处理算法转化成逻辑电路，进行视频格式转化、快速行人检测、行人跟踪、行为识别以及泄漏判断的实时处理；

所述通讯模块连接控制模块，用于将视频数据远程传输给监控中心，包括4G无线通信模块和三速以太网接口，当视频监控站位于野外，不能够接入以太网，并且该视频监控站的视频处理模块判定视频有异常时，由无线通信模块通过4G通信向监控中心传输当前的视频，当视频监控站能够连接以太网时，则三速以太网接口连接以太网，该视频监控站通过以太网与监控中心保持连接，实时传输视频数据；

所述语音模块连接控制模块，用于在视频中发现异常情况时，发出报警语音；

所述控制模块为FPGA模块上嵌入的ARM处理器，用于对其他各模块的动作进行控制，使系统正常有序地工作；

所述监控中心用于远程接收各视频监控站的视频数据，根据视频数据的内容做出判断并向各视频监控站下达指令，完成监控处理的任务。

进一步地，视频监控站还包括云台，所述云台连接摄像头底座和支架，用于为CMOS数字摄像头提供水平旋转和垂直旋转，以扩大监控范围。

另一方面，本发明还提供一种基于行为事件触发的输油管道智能视频监控方法，采用上述的基于行为事件触发的输油管道智能视频监控系统实现，包括如下步骤：

步骤1、控制模块控制FPGA上的IP核，以SCCB总线方式对视频采集模块进行配置，使CMOS数字摄像头产生稳定的视频数据、时钟信号以及行、场同步信号，开始进行视频采集；

步骤2、将稳定的视频数据、时钟信号及行、场同步信号传输到FPGA，视频处理模块将这些数据和信号转化为视频流数据；

步骤3、FPGA根据视频流数据，进行快速行人检测、行人跟踪、行为识别和泄漏检测，判断监控范围内的状态为：正常状态、疑似有人盗油状态或疑似泄漏状态，具体包括以下步骤：

步骤3.1、进行快速行人检测，视频处理模块对视频流数据进行预处理，利用小核值相似区(small univalue segment assimilating nucleus，SUSAN)算子及空域合并方法获取视频图像中的感兴趣区域，对感兴趣区域提取多块局部二元模式(Multi-Block LocalBinary Pattern，MB-LBP)特征；利用同可区分度的近似约简算法(common discernibilitydegree-based algorithm for approximate reduction of knowledge，CDDBAARK)对MB-LBP特征约简，得到约简后的MB-LBP模式，判定待测视频图像中是否有行人，若有行人，则执行步骤3.2，若没有行人，则进入下一帧图像，再次执行步骤3.1；

步骤3.2、进行行人跟踪，具体包括以下步骤：

步骤3.2.1、提取行人目标的SIFT(Scale-invariant feature transform，尺度不变特征转换)特征，利用粗糙集方法对SIFT特征进行约简，建立描述行人目标的特征集；

步骤3.2.2、根据行人目标的位置信息与前一时间段检测结果进行对比，判断是否为已有目标，若为新的目标，则进入缓存，暂时记录候选的新的目标特征集，执行步骤3.2.3的跟踪过程；若为已有目标，则直接执行步骤3.2.3的跟踪过程；

步骤3.2.3、跟踪过程中，运用基于几何约束的鲁棒匹配算法对目标特征集的SIFT特征进行匹配，对新缓存的目标特征集和已有目标进行关联；

步骤3.2.4、判断是否有未关联的目标，若目标已关联，则存储目标轨迹，再运用基本的卡尔曼滤波方法对轨迹及相关参数进行估计滤波，同时对目标特征集进行更新，此帧视频图像的行人跟踪完成，执行步骤3.3，若有未关联的目标，则执行步骤3.2.5；

步骤3.2.5、判断未关联目标是否靠近监控视频画面边界，若是，则新增目标并进行关联，此帧视频图像的行人跟踪完成，执行步骤3.3，若否，则直接进入下一帧图像，此帧视频图像的行人跟踪完成，执行步骤3.3；

步骤3.3、进行行人目标的行为识别，具体包括以下步骤：

步骤3.3.1、通过步骤3.1中检测到的行人，获取图像目标，根据步骤3.2.1中的目标特征集，建立并训练获得图像目标的目标特征集网络树模型；

步骤3.3.2、建立SIFT特征RSOM聚类树来对网络树模型中的目标特征集进行检索，从而快速查找目标特征集的邻近目标特征集集合；

步骤3.3.3、对待识别目标特征集，在RSOM聚类树中检索到对应的获胜叶节点以及该叶节点中SIFT特征向量所属的目标特征集标号，对所有的SIFT特征都进行检索，记录这些目标特征集的标号；

步骤3.3.4、统计特征集标号中频率最高的K个目标特征集标号；

步骤3.3.5、通过匹配算法计算匹配特征数目，计算相似性度量值，同时按大小排序；

步骤3.3.6、把最为相似的目标特征集所属目标特征集网络树的目标类别作为目标类别进行输出，通过识别的目标类别结果判断当前状态是否为疑似有人盗油状态，，如果为正常状态，则执行步骤3.4，如果为疑似有人盗油状态，则执行步骤4；

步骤3.4、对输油管道进行泄漏检测，对待检测的一帧视频图像进行预处理，遍历分类图像的像素，统计该帧视频图像中石油像素点的数量，根据石油像素点的数量判断当前状态是否为泄漏状态，如果为正常状态，则返回步骤3.1，进入下一帧视频图像进行处理，如果为疑似泄漏状态，则执行步骤5；

步骤4、通过通讯模块向监控中心发出盗油报警信号，监控中心通过以太网或4G通讯网络远程操控相应视频监控站的视频采集模块，查看此时该视频监控站监控范围内的实际情况，判定此时的真实状态，并向该视频监控站发送相应动作指令：若为正常状态，则执行步骤3.4；若有人盗油，则该视频监控站进入盗油警报状态，语音模块发出盗油警报语音，警告盗油者，结束后执行步骤3.4；

步骤5、通过通讯模块向监控中心发出泄漏报警信号，监控中心通过以太网或4G通讯网络远程操控相应视频监控站的视频采集模块，查看此时该视频监控站监控范围内的实际情况，判定此时的真实状态，并向该视频监控站发送相应动作指令：若为正常状态，则返回步骤3.1，进入下一帧视频图像进行处理；若为管道泄漏状态，则该视频监控站进入泄漏警报状态，语音模块发出泄漏警报语音，提醒工作人员启动抢修机制，结束后返回步骤3.1，进入下一帧视频图像进行处理。

进一步地，步骤3.1所述的快速行人检测的过程，首先选取数据进行离线训练，然后利用训练好的分类器检测待测视频中的行人，具体包括以下步骤：

步骤3.1.1、对视频流数据进行离线训练，得到SVM(Support Vector Machine，支持向量机)分类器，具体方法为：

步骤3.1.1.1、在视频流数据中选取数据，构造行人样本w₁与非行人样本w₀，样本数目分别为n₁和n₀，定义样本总数为L，L＝n₁+n₀；

步骤3.1.1.2、对样本的MB-LBP特征做直方图统计，得到视频图像的MB-LBP模式直方图，如下式所示：

H_{ij} (m) = \underset{x, y}{Σ} I {f_{i, j} (x, y) = m}, m = 0,1, . . ., K - 1

其中，H_ii(m)表示视频图像的MB-LBP模式直方图；i为1或0，分别表示行人类和非行人类图像；j表示图像序号；(x，y)表示图像MB-LBP特征所在区域的中心坐标；f_i，j(x，y)表示行人类或非行人类中的第j幅图像的MB-LBP特征，特征为m时，I{f_i，j(x，y)＝m}值为1，否则为0；K为MB-LBP模式的种类数量，m为其中一个种类；

步骤3.1.1.3、将视频图像的MB-LBP模式直方图H_ij看做一行向量，每一维表示该图像的一个特征，所有训练图像的H_ij组合在一起，则构成一个包含L个对象的决策表，每幅训练图像被看成是一个对象，其中对象f_i，j(x，y)的特征向量H_ij对应的决策值为i，进而得到决策表S＝(O，C，D)，其中，O表示论域，为所有训练图像的集合，C表示条件属性，对应MB-LBP模式直方图H_ij，D表示决策属性，对应图像的类别，D＝1代表行人，D＝0代表非行人；

步骤3.1.1.4、利用同可区分度的近似约简(CDDBAARK)算法对MB-LBP特征约简，得到约简后的MB-LBP模式；

步骤3.1.1.5、用约简后的MB-LBP特征训练支持向量机SVM，对行人与非行人样本训练，得到SVM分类器；

步骤3.1.2、对待测的某一帧视频图像进行预处理，包括彩色图像转换为灰度图像和图像的几何归一化；

步骤3.1.3、利用SUSAN检测算子获取视频图像中的感兴趣区域，先选择SUSAN圆形模板，确定相似度，进而确定感兴趣区域；

步骤3.1.4、对感兴趣区域提取MB-LBP特征，首先将图像中任意3s×3t大小的领域窗口均分为9个子窗口，子窗口大小标记为s×t，然后对每一个子区域求其平均灰度值得到一个3×3的整数矩阵，MB-LBP特征计算公式如下：

MB - {LBP}_{s, t} (x, y) = Σ_{q = 0}^{7} s (g_{q} - g_{c}) * 2^{q}, s (g_{q} - g_{c}) = \{\begin{matrix} 1, g_{q} &GreaterEqual; g_{c} \\ 0, g_{q} < g_{c} \end{matrix}

其中，s表示子窗口像素的行数，t表示子窗口像素的列数，(x，y)表示3s×3t的窗口中心在整个图像中的坐标，q表示子窗口编号，g_c代表中心子窗口的平均灰度，g_q表示周围子窗口的平均灰度值；s(g_q-g_c)表示对中心子窗口的平均灰度与周围子窗口平均灰度的差做二值化处理，若差值大于或等于零则结果为1，否则为0；

步骤3.1.5、对提取的MB-LBP特征进行特征约简，选择约简后的MB-LBP特征；

步骤3.1.6、用步骤3.1.1训练好的SVM分类器对步骤3.1.5选择的简约后的MB-LBP特征进行在线检测，输出结果，判定待测视频中是否有行人，若有行人，则执行步骤3.2，若没有行人，则进入下一帧图像，再次执行步骤3.1。

进一步地，步骤3.1.3中所述获取视频图像中的感兴趣区域的具体方法为：

在图像中，用一个含有37个像素的模板来表示SUSAN圆形模板，SUSAN圆形模板在图像上滑动，在图像的每个位置上比较SUSAN圆形模板内各个像素的灰度值与SUSAN圆形模板核心的灰度值，得出比较结果，相似度比较计算公式：

其中，为相似度，(x₀，y₀)为SUSAN圆形模板核心像素点的坐标，为SUSAN圆形模板其它像素点的坐标；I(x₀，y₀)和分别是SUSAN圆形模板核心点与SUSAN圆形模板其它点所对应的检测图像上像素的灰度值，当两者差值小于等于阈值t时，就认为检测图像上的该像素点在感兴趣区域。

进一步地，步骤3.4所述判断当前状态是否为泄漏状态的具体方法包括以下步骤：

步骤3.4.1、对待检测的一帧视频图像进行几何校正和滤波处理、将视频图像的RGB颜色空间转换到YUV颜色空间和YIQ颜色空间；

RGB-YUV颜色空间的转换公式为：

[\begin{matrix} Y \\ U \\ V \end{matrix}] = [\begin{matrix} 0.299 & 0.587 & 0.114 \\ - 0.147 & 0.289 & 0.436 \\ 0.615 & - 0.515 & - 0.100 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]

YUV颜色空间的色调θ为：

θ＝tan^-1(|V|/|U|)

RGB-YIQ颜色空间的转换公式为：

[\begin{matrix} Y \\ I \\ Q \end{matrix}] = [\begin{matrix} 0.299 & 0.578 & 0.114 \\ 0.596 & 0.274 & 0.322 \\ 0.211 & - 0.523 & - 0.312 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]

步骤3.4.2、对视频图像的像素进行遍历分类，如果YUV颜色空间的色调θ和YIQ颜色空间的颜色分量I分别满足：θ∈[θ_min，θ_max]和I∈[I_min，I_max]，则该像素属于石油像素点，其中θ_max和θ_min分别代表石油在YUV颜色空间下色调的阈值上下限，I_max和I_min分别代表石油在YIQ颜色空间下颜色分量I的阈值上下限；

步骤3.4.3、对视频图像进行二值化和闭运算，统计视频图像的像素点总数量为n、石油像素点数量为n_o，判断当前状态是否为泄漏状态，如果石油像素点数量n_o与图像像素点总数量n之比满足则判定为疑似泄漏状态，其中σ为泄漏判定阈值，否则为正常状态。

由上述技术方案可知，本发明的有益效果在于：本发明提供的基于行为事件触发的输油管道智能视频监控系统及方法，能够对进入监控范围内的行人进行有效的检测和跟踪并根据其行为判断监控站监控范围所处的状态，监控站根据所处状态与监控中心通讯，监控中心接通实时视频并通过实时视频最终判定监控站监控范围所处的真实状态并反馈给监控站，监控站控制语音警报。结合行为事件触发的模式和4G无线通讯手段，既节省了视频监控在人力上的花费，又节省了视频传输流量，使得智能监控能够在野外实现。利用FPGA并行处理机制，将视频处理中大量的计算以FPGA逻辑电路的方式实现，大大提高了处理速度。

附图说明：

图1为本发明实施例提供的基于行为事件触发的输油管道智能视频监控系统的结构框图；

图2为本发明实施例提供的基于事件触发的输油管道智能视频监控方法的整体流程图；

图3为本发明实施例提供的快速行人检测的方法流程图；

图4为本发明实施例提供的行人跟踪的方法流程图；

图5为本发明实施例提供的行为识别的方法流程图；

图6为本发明实施例提供的泄漏检测的方法流程图。

具体实施方式：

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明提供一种基于行为事件触发的输油管道智能视频监控系统，如图1所示，包括若干视频监控站与一个监控中心。视频监控站包括视频采集模块、云台、视频处理模块、通讯模块、语音模块和控制模块。

视频采集模块连接视频处理模块和控制模块，用于产生视频数据、时钟信号和行、场同步信号，包括CMOS数字摄像头和视频数据采集电路；所述CMOS数字摄像头用于直接对输油管道及附近范围进行视频采集，所述视频数据采集电路用于辅助摄像头进行视频采集；CMOS数字摄像头设有底座和支架，用于CMOS数字摄像头的支撑和固定。

云台连接摄像头底座和支架，用于为CMOS数字摄像头提供水平旋转和垂直旋转，以扩大监控范围。

视频处理模块连接控制模块，用于对视频采集模块采集到的视频数据进行视频格式转化和实时处理，包括实现视频处理算法的FPGA模块，利用FPGA丰富的逻辑资源，可以把计算量很大的视频处理算法转化成逻辑电路，进行视频格式转化、快速行人检测、行人跟踪、行为识别以及泄漏判断等实时处理；

通讯模块连接控制模块，用于将视频数据远程传输给监控中心，包括4G无线通信模块和三速以太网接口，当视频监控站位于野外，不能够接入以太网，并且该视频监控站的视频处理模块判定视频有异常时，由无线通信模块通过4G通信向监控中心传输当前的视频，当视频监控站能够连接以太网时，则三速以太网接口连接以太网，该视频监控站通过以太网与监控中心保持连接，实时传输视频数据。采用4G LTE无线通信模块LE910和三速以太网芯片实现无线、有线通信，

语音模块连接控制模块，用于在视频中发现异常情况时，发出报警语音，由WTV020-SD语音模块及扬声器组成。

控制模块为FPGA模块上嵌入的ARM Cortex A9处理器，用于对其他各模块的动作进行控制，使系统正常有序地工作。

监控中心，包括PC机及监控处理软件，用于远程接收各视频监控站的视频数据，根据视频数据的内容做出判断并向各视频监控站下达指令，完成监控处理的任务。

一种基于事件触发的输油管道智能视频监控方法，采用上述上午基于行为事件触发的输油管道智能视频监控系统实现，如图2所示，包括如下步骤。

步骤1、控制模块控制FPGA上的IP核，以SCCB总线方式对视频采集模块进行配置，使CMOS数字摄像头产生稳定的视频数据、时钟信号以及行、场同步信号，开始进行视频采集。

步骤2、将稳定的视频数据、时钟信号及行、场同步信号传输到FPGA，视频处理模块将这些数据和信号转化为视频流数据。

步骤3、FPGA根据视频流数据，首先对监控范围内的行人进行检测与跟踪，并对其行为进行识别，以此判定当前状态是正常状态还是疑似有人盗油状态，其次对监控图像颜色空间进行计算统计，判断是否为疑似泄漏状态，具体包括以下步骤。

步骤3.1、进行快速行人检测，视频处理模块对视频流数据进行预处理，利用小核值相似区(small univalue segment assimilating nucleus，SUSAN)算子及空域合并方法获取视频图像中的感兴趣区域，对感兴趣区域提取多块局部二元模式(Multi-Block LocalBinary Pattern，MB-LBP)特征；利用同可区分度的近似约简算法(common discernibilitydegree-based algorithm for approximate reduction of knowledge，CDDBAARK)对MB-LBP特征约简，得到约简后的MB-LBP模式，判定待测视频图像中是否有行人，具体实施中，首先选取数据进行离线训练，然后利用训练好的分类器检测待测视频中的行人，如图3所示，具体步骤如下：

步骤3.1.1.1、在视频流数据中选取数据，构造行人w₁与非行人w₀样本，样本数目分别为n₁和n₀，定义样本总数为L，L＝n₁+n₀；

步骤3.1.1.2、对样本的MB-LBP特征做直方图统计，得到图像的MB-LBP模式直方图，如下式所示：

H_{ij} (m) = \underset{x, y}{Σ} I {f_{i, j} (x, y) = m}, m = 0,1, . . ., K - 1

其中，i为1或0，分别表示行人类和非行人类图像，j表示图像序号，(x，y)表示图像MB-LBP特征所在区域的中心坐标，f_i，j(x，y)表示行人类或非行人类中的第j幅图像的MB-LBP特征，特征为m时，I{f_i，j(x，y)＝m}值为1，否则为0；K为MB-LBP模式的种类数量，m为其中一个种类；

步骤3.1.1.3、将图像的MB-LBP模式直方图H_ij看做一行向量，每一维表示该图像的一个特征，所有训练图像的H_ij组合在一起，则构成一个包含L个对象的决策表S＝(O，C，D)，每幅训练图像被看成是一个对象，其中对象f_i，j(x，y)的特征向量H_ij对应的决策值为i，进而得到决策表S＝(O，C，D)，其中，O表示论域，为所有训练图像的集合，C表示条件属性，对应MB-LBP模式直方图H_ij，D表示决策属性，对应图像的类别，D＝1代表行人，D＝0代表非行人；

步骤3.1.1.5、用约简后的MB-LBP特征训练支持向量机SVM，选定支持向量机SVM的核函数为感知器核函数，对行人与非行人样本训练，得到SVM分类器；

步骤3.1.2、视频处理模块对待测的某一帧视频图像进行预处理，包括彩色图像转换为灰度图像和图像的几何归一化；

步骤3.1.3、利用SUSAN检测算子获取视频图像中的感兴趣区域，选择SUSAN圆形模板，计算相似度，确定感兴趣区域，具体方法为：

为相似度，(x₀，y₀)为SUSAN圆形模板核心像素点的坐标，为SUSAN圆形模板其它像素点的坐标；I(x₀，y₀)和分别是SUSAN圆形模板核心点与SUSAN圆形模板其它点所对应的检测图像上像素的灰度值，当两者差值小于等于阈值t，就认为检测图像上的该像素点在感兴趣区域；

MB - {LBP}_{s, t} (x, y) = Σ_{q = 0}^{7} s (g_{q} - g_{c}) * 2^{q}, s (g_{q} - g_{c}) = \{\begin{matrix} 1, g_{q} &GreaterEqual; g_{c} \\ 0, g_{q} < g_{c} \end{matrix}

步骤3.1.6、用步骤3.1.1训练好的SVM分类器对步骤3.1.5选择的简约后的MB-LBP特征进行在线检测，判定待测视频中是否有行人，若有行人，则执行步骤3.2，若没有行人，则进入下一帧图像，再次执行步骤3.1。

步骤3.2、进行行人跟踪，如图4所示，具体包括以下步骤：

步骤3.2.5、判断未关联目标是否靠近场景边界即监控视频画面边界，若是，则新增目标并进行关联，此帧视频图像的行人跟踪完成，执行步骤3.3，若否，则直接执行步骤3.3。

步骤3.3、进行行人目标的行为识别，如图5所示，具体包括以下步骤：

步骤3.3.1、通过步骤3.1中检测到的行人，获取图像目标L，获取步骤3.2.1中的目标特征集A_l，建立并训练获得具有N个目标的目标特征集网络树模型，

步骤3.3.2、建立SIFT特征RSOM聚类树来对TOFSN模型中的目标特征集进行检索，从而快速查找目标特征集A_l的邻近目标特征集集合Neb(A_l)；

步骤3.3.3、对待识别目标特征集A_l，任意u_l，i∈A_l都可以在RSOM聚类树中检索到对应的获胜叶节点以及该叶节点中SIFT特征向量所属的目标特征集标号，记录这些目标特征集的标号为idx(u_l，i)＝{idx₁，idx₂，…，idx_k}，对所有的SIFT特征都进行检索，记录这些目标特征集的标号，最终得到IDX(A_l)＝{idx(u_l，1)，idx(u_l，2)，…，idx(u_l，n)}；

步骤3.3.4、统计特征集标号IDX(A_l)中频率最高的K个目标特征集标号{c₁，c₂，…，c_K}，得到N个候选目标特征集

步骤3.3.5、通过匹配算法计算与A_l的匹配特征数目，计算相似性度量值同时按大小排序，得到Neb(A_l)；

步骤3.3.6、把最为相似的目标特征集A_sim所属目标特征集网络树T_NET的目标类别作为目标类别进行输出，通过识别的目标类别结果判断当前状态是否为疑似有人盗油状态，如果为正常状态，则执行步骤3.4，如果为疑似有人盗油状态，则执行步骤4。

步骤3.4、对输油管道进行泄漏检测，对待检测的一帧视频图像进行预处理，遍历分类图像的像素，统计该帧视频图像中石油像素点的数量，判断当前状态是否为泄漏状态，如图6所示，具体步骤如下：

RGB-YUV颜色空间的转换公式为：

[\begin{matrix} Y \\ U \\ V \end{matrix}] = [\begin{matrix} 0.299 & 0.587 & 0.114 \\ - 0.147 & 0.289 & 0.436 \\ 0.615 & - 0.515 & - 0.100 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]

YUV颜色空间的色调θ为：

θ＝tan^-1(|V|/|U|)

RGB-YIQ颜色空间的转换公式为：

[\begin{matrix} Y \\ I \\ Q \end{matrix}] = [\begin{matrix} 0.299 & 0.578 & 0.114 \\ 0.596 & 0.274 & 0.322 \\ 0.211 & - 0.523 & - 0.312 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]

步骤3.4.3、对视频图像进行二值化和闭运算，统计视频图像的像素点总数量为n、石油像素点数量为n_o，判断当前状态是否为泄漏状态，如果n_o与图像像素点数量n之比满足则判定为疑似泄漏状态，执行步骤5，其中σ为泄漏判定阈值，本实施例中，设定σ为0.2，否则为正常状态，返回步骤3.1，进入下一帧视频图像进行处理。

步骤4、通过通讯模块向监控中心发出盗油报警信号，监控中心通过以太网或4G通讯网络远程操控相应视频监控站的视频采集模块，查看此时该视频监控站监控范围内的实际情况，判定此时的真实状态，并向该视频监控站发送相应动作指令：若为正常状态，则执行步骤3.4；若有人盗油，则该视频监控站进入盗油警报状态，语音模块发出盗油警报语音，警告盗油者，结束后执行步骤3.4。

步骤5、通过通讯模块向监控中心发出泄漏报警信号，监控中心通过以太网或4G通讯网络远程操控相应视频监控站的视频采集模块，查看此时该视频监控站监控范围内的实际情况，判定此时的真实状态，并向该视频监控站发送相应动作指令：若为正常状态，则该视频监控站返回步骤3.1，进入下一帧视频图像进行处理；若为管道泄漏状态，则该视频监控站进入泄漏警报状态，语音模块发出泄漏警报语音，提醒工作人员启动抢修机制，结束后返回步骤3.1，进入下一帧视频图像进行处理。

本发明提供的基于行为事件触发的输油管道智能视频监控系统及方法，能够对进入监控范围内的行人进行有效的检测和跟踪并根据其行为判断监控站监控范围所处的状态，监控站根据所处状态与监控中心通讯，监控中心接通实时视频并通过实时视频最终判定监控站监控范围所处的真实状态并反馈给监控站，监控站控制语音警报。结合行为事件触发的模式和4G无线通讯手段，既节省了视频监控在人力上的花费，又节省了视频传输流量，使得智能监控能够在野外实现。利用FPGA并行处理机制，将视频处理中大量的计算以FPGA逻辑电路的方式实现，大大提高了处理速度。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims

1.一种基于行为事件触发的输油管道智能视频监控系统，其特征在于，包括若干视频监控站与一个监控中心；

2.根据权利要求1所述的基于行为事件触发的输油管道智能视频监控系统，其特征在于，所述视频监控站还包括云台，所述云台连接摄像头底座和支架，用于为CMOS数字摄像头提供水平旋转和垂直旋转，以扩大监控范围。

3.一种基于行为事件触发的输油管道智能视频监控方法，其特征在于，该方法采用权利要求1所述的基于行为事件触发的输油管道智能视频监控系统实现，包括如下步骤：

步骤3.2、进行行人跟踪，具体包括以下步骤：

步骤3.3、进行行人目标的行为识别，具体包括以下步骤：

4.根据权利要求3所述的基于行为事件触发的输油管道智能视频监控方法，其特征在于，步骤3.1所述的快速行人检测的过程，首先选取数据进行离线训练，然后利用训练好的分类器检测待测视频中的行人，具体包括以下步骤：

H_{i j} (m) = \underset{x, y}{Σ} I {f_{i, j} (x, y) = m}, m = 0, 1, ..., K - 1

其中，H_ij(m)表示视频图像的MB-LBP模式直方图；i为1或0，分别表示行人类和非行人类图像；j表示图像序号；(x，y)表示图像MB-LBP特征所在区域的中心坐标；f_i，j(x，y)表示行人类或非行人类中的第j幅图像的MB-LBP特征，特征为m时，I{f_i，j(x，y)＝m}值为1，否则为0；K为MB-LBP模式的种类数量，m为其中一个种类；

M B - {LBP}_{s, t} (x, y) = Σ_{q = 0}^{7} s (g_{q} - g_{c}) * 2^{q}, s (g_{q} - g_{c}) = \{\begin{matrix} 1, g_{q} &GreaterEqual; g_{c} \\ 0, g_{q} < g_{c} \end{matrix}

步骤3.1.6、用步骤3.1.1训练好的SVM分类器对步骤3.1.5选择的简约后的MB-LBP特征进行在线检测，判定待测视频中是否有行人并输出结果，若有行人，则执行步骤3.2，若没有行人，则进入下一帧图像，再次执行步骤3.1。

5.根据权利要求4所述的基于行为事件触发的输油管道智能视频监控方法，其特征在于，步骤3.1.3中所述获取视频图像中的感兴趣区域的具体方法为：

6.根据权利要求3所述的基于行为事件触发的输油管道智能视频监控方法，其特征在于，步骤3.4所述判断当前状态是否为泄漏状态的具体方法包括以下步骤：

RGB-YUV颜色空间的转换公式为：

[\begin{matrix} Y \\ U \\ V \end{matrix}] = [\begin{matrix} 0.299 & 0.587 & 0.114 \\ - 0.147 & 0.289 & 0.436 \\ 0.615 & - 0.515 & - 0.100 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]

YUV颜色空间的色调θ为：

θ＝tan^-1(|V|/|U|)

RGB-YIQ颜色空间的转换公式为：

[\begin{matrix} Y \\ I \\ Q \end{matrix}] = [\begin{matrix} 0.299 & 0.578 & 0.114 \\ 0.596 & - 0.274 & - 0.322 \\ 0.211 & - 0.523 & - 0.312 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]