CN102842036A - 面向船闸视频监控的智能多目标检测方法 - Google Patents

Abstract

面向船闸视频监控的智能多目标检测方法，利用船只前沿的图像特征，在有遮挡的情况下，在视频中识别出多个船只，在船只未进入监控区域前，对区域进行背景建模，获得背景图像；对视频流中的每一帧，采用背景剪除方法，通过当前帧和背景帧的差异，获得运动目标所在区域的前景；对步骤1.b所述的前景进行逐行扫描，在每行中记录遇到的第一个像素点的行列坐标及像素值，从而获得船只运动前沿边缘曲线；以记录的边缘曲线形状特征及像素值属性，对边缘曲线进行简化DBSCAN聚类，从而检测出多个船只。本发明提供一种面向船闸视频监控的智能多目标检测方法，利用视频监控设备，对船闸中多目标进行检测和识别，并实现船只位置速度情况的自动判别，以代替目前的人工判定。

Description

面向船闸视频监控的智能多目标检测方法

技术领域

本发明一种面向船闸视频监控的智能多目标检测方法，属于模式识别技术领域。

背景技术

大量的视频监控系统只是作为信息采集和储存的作用，内容分析需要由人来完成。采用计算机对视频信息进行智能处理，是当前模式识别的研究热点之一。船闸是在河流中水电站为了通航设置的机构，船只进入船闸后，闸门关闭。为了避免闸门关闭时对设备及船只的撞损，船闸中设置了禁停线，船只不能越过禁停线。

目前的技术多是检测分离状态的多目标，采用的方法主要有：1）、运动目标的识别方法-通过当前帧和背景帧的差异，获得运动目标所在区域。2）、通过静止图像中根据目标颜色特征，通过匹配模板进行目标识别。上述两种方法在船闸中进行多目标检测中都有困难。第一种方法在船只互相遮挡时，由于不能对目标区域进行分离，只能将多个船只视为一个船只。第二种方法，无法事先获得船只的图像模板，并且在遮挡情况下，模板匹配困难，而且实时性难以保证。在视频流中，利用计算机进行遮挡情况下的多目标检测，是船闸智能监控系统需要解决的主要难点。

以上技术背景参见以下参考文献：

[1] 高韬, 智能交通监控中运动目标检测与跟踪算法研究(博士论文). 天津大学, 2010。

[2] 吴思,林守勋,张勇东. 基于动态背景构造的视频运动对象自动分割. 计算机学报，2005, 28(8):1386-1391。

[3]赵钦君,赵东标,陆永华. 一种基于时空信息的多目标检测新算法, 仪器仪表学报, 2011, 31(4) : 877-882。

[4] 郑锦,李波. 面向室外视频监控的背景重构算法. 电子学报，2009, 37(8):1854-1859。

[5] Changick Kim and Jenq-Neng Hwang. Fast and automatic video object segmentation and tracking for content-based applications. IEEE Transactions on Circuits and Systems for Video Technology, 2002,12(2):122-129。

[6] Junwei Han. Object segmentation from consumer videos: a unified framework based on visual attention. IEEE Transactions on Consumer Electronics, 2009,55(3):1597-1605。

[7] 任明武，曹雨龙，杨静宇，唐振民，复杂条件下的船舶目标检测的图象预处理，计算机工程，2000,26（10）：68-70。

发明内容

本发明提供一种面向船闸视频监控的智能多目标检测方法，利用视频监控设备，对船闸中多目标进行检测和识别，并实现船只位置速度情况的自动判别，以代替目前的人工判定。

本发明的上述目的是通过这样的技术方案来实现的：面向船闸视频监控的智能多目标检测方法，利用船只前沿的图像特征，在有遮挡的情况下，在视频中识别出多个船只，包括以下步骤：

1.a-在船只未进入监控区域前，对区域进行背景建模，获得背景图像；

1.b-对视频流中的每一帧，采用背景剪除方法，通过当前帧和背景帧的差异，获得运动目标所在区域的前景；

1.c-对步骤1.b所述的前景进行逐行扫描，在每行中记录遇到的第一个像素点的行列坐标及像素值，从而获得船只运动前沿边缘曲线；

1.d-以记录的边缘曲线形状特征及像素值属性，对边缘曲线进行简化DBSCAN聚类，从而检测出多个船只。

在步骤1-c 记录的像素值，可以是RGB值，或者是灰度值。

在步骤1-d，采用简化DBSCAN聚类算法，以步骤1-c获得的曲线数据为输入，设定4个阈值H_S, W_S, V_S, N_S其中，H_S规定在纵向上一个像素点的核心点的邻域半径，W_S规定在横向上一个核心点的邻域半径，V_S规定在像素值上核心点的邻域半径，并定义一个核心点的最小邻居点个数N_S.进行聚类；

其中H_S设置为图像高度的1/30，W_S设置为3，VS设置为值范围的1/4， N_S设置为图像高度的1/20。

所采用的简化DBSCAN聚类算法步骤为：

4.1：设定4个阈值H_S, W_S, V_S,N_S；

4.2：i记录当前处理的像素点序号，i初始化为0；

4.3：如果i是核心点，

   4.3.1 认为一个目标出现，目标区域的起点标记start及终点标记stop设定为start=stop=i.并逐个处理后续点，令i=i+1；

     4.3.2 如果 i是核心点，则将终点标记更新 stop = i；

     4.3.3 如果 i是Stop的可达点，则i=i+1 回到 4.3.2 ；

     4.3.4 输出start到stop间的点，作为一个目标识别的结果，

  4.4 ：访问下一个点， i=i+1；

  4.5 ：如果 i 不是最后一个点，回到 4.3步骤；

4.6 ：返回所有目标识别的结果； 

核心点的定义：一个点i， 如果在以H_S,W_S,V_S作为宽度的立方体邻域内，得到的邻居点的个数不少于N_S，则该点是核心点，

可达点的定义：如果一个点i,在某个核心点j的 H_S,W_S,V_S立方体邻域内，则称i是j的可达点。

本发明一种面向船闸视频监控的智能多目标检测方法，可以通过视频检测船闸中处于前排的、相互遮挡的船只的位置、速度等运动信息。采用的主要方法是通过对船头或船尾曲线的形状进行聚类，聚类的依据是一艘船只有一个顶端，多艘船有多个顶端，虽然不同船只的侧面区域是联在一起，但船头或船尾的顶端是不会遮挡的。顶端部分的一簇像素点，其颜色相似，并且构成形状也相似。例如：如果船只水平行驶， 则顶端的一簇像素点的水平坐标基本差别不大, 采用聚类方法检测出顶端，就检测出多个船只。

附图说明

图1为本发明的软件总流程图。

图2为本发明DBSCAN聚类检测流程图。

图3为本发明背景剪除后的运动前景帧。

图4为本发明前沿边缘线。

图5为本发明聚类结果图。

具体实施方式

面向船闸视频监控的智能多目标检测方法，利用船只前沿的图像特征，在有遮挡的情况下，在视频中识别出多个船只，包括以下步骤：

1.a-在船只未进入监控区域前，对区域进行背景建模，获得背景图像；

1.b-对视频流中的每一帧，采用背景剪除方法，通过当前帧和背景帧的差异，获得运动目标所在区域的前景；

1.c-对前景进行逐行扫描，在每行中记录遇到的第一个像素点的行列坐标及像素值，从而获得船只运动前沿边缘曲线；

1.d-以记录的边缘曲线形状特征及像素值属性，对边缘曲线进行简化DBSCAN聚类，从而检测出多个船只。

在步骤1-c中记录的像素值，可以是RGB值，或者是灰度值。

在步骤1-d中采用简化DBSCAN聚类算法，以步骤1-c获得的曲线数据为输入，设定4个阈值H_S， W_S，V_S，N_S。

其中：H_S规定在纵向上一个像素点的核心点的邻域半径，W_S规定在横向上一个核心点的邻域半径，V_S规定在像素值上核心点的邻域半径，并定义一个核心点的最小邻居点个数N_S.进行聚类，其中H_S设置为图像高度的1/30，W_S设置为3，VS设置为值范围的1/4，N_S设置为图像高度的1/20。

本发明采取如下方案，令视频中船闸沿水平方向：

1）、在船只未进入监控区域前，对区域进行背景建模，获得背景图像BkImg;

2）、对视频流中的每一帧Frame，采用背景剪除方法，通过当前帧和背景帧的差异，获得运动目标所在区域的前景FrtImg，即 FrtImg = |Frame - BkImg|;

3）、沿着船只运动方向，对FrtImg进行逐行扫描，记录遇到的第一个像素点的列坐标及像素值，获得船只运动前沿边缘线Curve。该曲线用两个数组V和X表示，其一为V[ImgHeight], 存储当前帧Frame中，处于曲线上的每一点的像素值。另一个为X[ImgHeight],存储曲线上每一个点的列坐标值。

4）、以V和X作为输入，以DBSCAN聚类方法，对边缘曲线进行聚类检测，从而检测出多个船只。

DBSCAN聚类检测具体处理步骤如下：

1：设定4个阈值H_S，W_S，V_S，N_S， H_S，规定在纵向上一个像素点的核心点的邻域半径，W_S规定在横向上一个核心点的邻域半径，V_S规定在像素值上核心点的邻域半径。并定义一个核心点的最小邻居点个数N_S.进行聚类。

2： i记录当前处理的像素点序号，i初始化为0。

3： 如果i是核心点。

3.1 ：认为一个目标出现，目标区域的起点标记start及终点标记stop设定为start=stop=i.并逐个处理后续点，令i=i+1；

     3.2 如果 i是核心点，则将终点标记更新 stop = i；

     3.3 如果 i是Stop的可达点，则i=i+1 回到 3.2 ；

     3.4 输出start到stop间的点，作为一个目标识别的结果。

4 ：访问下一个点， i=i+1。

5 ：如果 i 不是最后一个点，回到 3。

6 ：返回所有目标识别的结果。

其中，核心点的定义：一个点i， 如果在以H_S,W_S,V_S作为宽度的立方体邻域内，得到的邻居点的个数不少于N_S,则该点是核心点。可达点的定义：如果一个点i，在某个核心点j的 H_S,W_S,V_S立方体邻域内，则称i是j的可达点。

阈值设置可参考：H_S设置为图像高度的1/30, W_S设置为3， VS设置为值范围的1/4，N_S设置为图像高度的1/20。

以一次视频多目标检测为例：

1 ：首先，在船只进入前，通过背景建模的方法，获得背景帧BkImg。可以采用连续N帧起平均值的方法，本例中取前100帧，得到的背景图如图3所示。

2 ： 第101帧后，可以对每一帧进行检测。图4是视频监控的某个当前帧Frame。将当前帧和背景帧进行差运算，可以取出进入视频的船只前景FrtImg，如图5所示。

3：从右到左逐行扫描FrtImg， 得到前沿边缘曲线Curve，如图3所示。

4：采用DBSCAN聚类方法，设定H_S=图像高度/30，W_S=3, V_S=图像值范围/4， N_S=图像高度/20，在Curve曲线上发现两个簇，从而完成了两只船的检测，结果如图4所示。

Claims (4)

1.面向船闸视频监控的智能多目标检测方法，其特征在于，利用船只前沿的图像特征，在有遮挡的情况下，在视频中识别出多个船只，包括以下步骤：

1.a-在船只未进入监控区域前，对区域进行背景建模，获得背景图像；

1.b-对视频流中的每一帧，采用背景剪除方法，通过当前帧和背景帧的差异，获得运动目标所在区域的前景；

1.c-对步骤1.b所述的前景进行逐行扫描，在每行中记录遇到的第一个像素点的行列坐标及像素值，从而获得船只运动前沿边缘曲线；

1.d-以记录的边缘曲线形状特征及像素值属性，对边缘曲线进行简化DBSCAN聚类，从而检测出多个船只。

2.根据权利要求1所述面向船闸视频监控的智能多目标检测方法，其特征在于，在步骤1-c 记录的像素值，可以是RGB值，或者是灰度值。

3.根据权利要求1所述面向船闸视频监控的智能多目标检测方法，其特征在于，在步骤1-d，采用简化DBSCAN聚类算法，以步骤1-c获得的曲线数据为输入，设定4个阈值H_S, W_S, V_S, N_S其中，H_S规定在纵向上一个像素点的核心点的邻域半径，W_S规定在横向上一个核心点的邻域半径，V_S规定在像素值上核心点的邻域半径，并定义一个核心点的最小邻居点个数N_S.进行聚类；

其中H_S设置为图像高度的1/30，W_S设置为3，VS设置为值范围的1/4， N_S设置为图像高度的1/20。

4.根据权利要求3所述面向船闸视频监控的智能多目标检测方法，其特征在于，所采用的简化DBSCAN聚类算法步骤为：

4.1：设定4个阈值H_S, W_S, V_S,N_S；

4.2：i记录当前处理的像素点序号，i初始化为0；

4.3：如果i是核心点，

   4.3.1 认为一个目标出现，目标区域的起点标记start及终点标记stop设定为start=stop=i.并逐个处理后续点，令i=i+1；

     4.3.2 如果 i是核心点，则将终点标记更新 stop = i；

     4.3.3 如果 i是Stop的可达点，则i=i+1 回到 4.3.2 ；

     4.3.4 输出start到stop间的点，作为一个目标识别的结果，

  4.4 ：访问下一个点， i=i+1；

  4.5 ：如果 i 不是最后一个点，回到 4.3步骤；

   4.6 ：返回所有目标识别的结果； 

   核心点的定义：一个点i， 如果在以H_S,W_S,V_S作为宽度的立方体邻域内，得到的邻居点的个数不少于N_S，则该点是核心点，

   可达点的定义：如果一个点i,在某个核心点j的 H_S,W_S,V_S立方体邻域内，则称i是j的可达点。

Images