CN102081801A

CN102081801A - 多特征自适应融合船舶跟踪和航迹检测方法

Info

Publication number: CN102081801A
Application number: CN 201110027278
Authority: CN
Inventors: 肖刚; 云霄
Original assignee: Shanghai Jiaotong University
Current assignee: SHANGHAI CAMA OPTOELECTRONIC EQUIPMENT CO., LTD.
Priority date: 2011-01-26
Filing date: 2011-01-26
Publication date: 2011-06-01
Anticipated expiration: 2031-01-26
Also published as: CN102081801B

Abstract

一种图像处理技术领域的多特征自适应融合船舶跟踪和航迹检测方法，采用背景差分法首先选取背景中的一幅或几幅图像的平均作为背景图像，然后把以后的序列图像当前帧和背景图像相减，进行背景消去，当所得到的像素数大于阈值则判定被监视场景中有运动物体，从而得到运动船舶目标；获取运动船舶目标的颜色、形状及纹理特征信息，并通过获取颜色、形状及纹理目标特征直方图在每帧图像中的概率分布图的稳定性，确定各自的融合权值；通过颜色、形状、纹理各自的融合权值和概率分布图计算出的联合概率分布图，即融合特征信息，利用Camshift算法跟踪运动船舶目标并得到每帧目标的位置中心。

Description

多特征自适应融合船舶跟踪和航迹检测方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种多特征自适应融合船舶跟踪和航迹检测方法。

背景技术

随着我国交通运输事业的迅猛发展和综合、立体运输体系的逐步形成，水上运输日趋繁忙，运输安全问题也变得越来越突出。2007年6月15日，一艘佛山籍运沙船“南桂机035”行航经325国道九江大桥时撞击九江大桥桥墩，造成325国道九江大桥约200米桥面坍塌，事故造成4辆汽车坠江，9人死亡，直接经济损失达到3亿元人民币，修复工作预计需要1年时间来完成。广东九江大桥被航道船舶撞断事件改变了水运航道中桥梁被动防撞的观念，提出了对航道中船舶碰撞的主动预警迫切需求。常用传统意义上的人工值守方式进行桥梁安全预警、报警显然无法满足当前市场发展的需求。

视频目标跟踪作为计算机视觉研究的核心课题之一，是一门新兴的技术，它融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域的先进技术。视频可以看成是许多运动图像的顺序组合，而运动图像分析是各种图像处理方法的一种综合应用。

视频目标跟踪系统与传统的目标探测系统相比有一些突出的优点，例如：隐蔽性和抗电子干扰性：与雷达目标跟踪不同的是，视频跟踪系统为被动式工作系统，其成像的本质决定其不受电磁干扰的影响，所以工作时不向外辐射无线电波，不易被敌方的电子侦查装置发现，也不易受到敌方电子干扰装置的干扰，即隐蔽性好，抗干扰能力强。直观性：由于可以直接看到目标图像，因而能方便、直观地辨认目标。性价比高：视频跟踪系统采用了摄像机、光学系统等比较通用的器件，在目标探测系统中，探测装置有电视、红外等类型，与雷达系统比具有更高的性价比。较高的精确性、稳定性和可靠性。

视频跟踪的困难主要来自于以下几个方面：光照强度和天气变化对跟踪的影响；目标外观变化或发生旋转、放缩、位移等各种复杂的变化；目标快速运动时跟踪的稳定性问题；运动物体之间的相互遮挡和重叠问题；复杂的背景干扰、各类噪声、遮挡、光照等因素的影响；运动物体的正确检测和分割问题；图像的数据融合问题，比如多摄像头跟踪；跟踪的实时性问题等。

虽然最近十几年视频目标跟踪问题获得了广泛的研究并取得了长足的进步，但是由于现实环境中的许多情况都会影响视频图像中对目标的可靠观测，因此设计出能够在各种复杂环境下准确、快速、稳定地跟踪视频目标的方法，仍然是一项挑战性的任务和急需解决的课题。

船舶交通管理系统(VTS系统)可以对数公里至数百公里的地理区域中多个目标进行有效的定位、跟踪，因此，可以借鉴已有VTS的经验，布设桥基雷达监控系统，来监控桥址区域的船舶航行行为，判断船桥撞击危险，对有撞击桥梁结构物可能的船舶提前发出警报，从而降低船撞危险。但是，目前用于VTS中的雷达采用微波波段工作，以目标前沿检测跟踪和目标重心跟踪两种方式工作。其缺点在于：(1)建立跟踪的时间太长，达一个天线扫描周期，这不利于对港区机动目标快速建立稳态跟踪；(2)跟踪混迹现象较严重，两船录取和跟踪的分辨率较低，不适应对交通密集的港口水域的目标进行跟踪。因此桥梁防船撞监测系统不能照搬已有的VTS技术，必须针对小区域及高速通航等新应用特点，研究和开发特殊的视频跟踪系统。

因此，满足全天候、全天时、全自动的基于航道内船舶监控图像序列的多目标跟踪技术是实现桥区船舶通航安全，开展船撞主动预警的前提，其核心思想是利用船舶监控系统所安装的光电传感器对桥区内的运动船舶目标进行跟踪，当运动船舶目标超出所设定的安全范围时发出预警。

经过对现有技术的检索发现，何涛等.船舶航迹管理与跟踪系统设计[J].商场现代化.2010.3。该技术构建了某港轮驳公司基于全球卫星定位系统GPS的船舶动态跟踪系统。GPS船舶动态跟踪系统(或称GPS船舶定位监测系统)，是运用了先进的卫星定位、地理信息系统、通信、计算机数据处理功能等技术与设备构成的。可以对船舶(或车辆)的工作状况进行动态跟踪、监测。某港(集团)轮驳公司引进GPS技术开发船舶动态跟踪系统，用于港口作业、沿海运输的船舶动态跟踪管理，改变了过去对船舶作业时看不见，摸不着的管理模式，为公司的调度人员、安监人员、公司经理提供明显直观的船舶调度管理操作平台。该方法不足之处在于：1、GPS容易受到电离层和对流层等天气的干扰；2、容易受到高层建筑以及树木等的影响，造成误差，需要视野较开阔的观测点；3、造价高。

发明内容

本发明针对现有技术存在的上述不足，提供一种多特征自适应融合船舶跟踪和航迹检测方法，由颜色、形状、纹理多种特征自适应融合实现。颜色信息只在有光照亮度时有效，夜间跟踪需要用到形状和纹理信息；而形状信息对目标的旋转变化敏感，这时需要用到具有旋转不变性的颜色和纹理信息；纹理信息在船舶跟踪中，受水波影响较大，不易获得准确的纹理特征模型，这时又需要不受水波影响的颜色和形状信息。利用多特征信息跟踪目标，可以实现各想特征间信息的互补，增加了描述目标模型的可靠性和鲁棒性；在跟踪目标时，将融合信息目标模型结合到Camshift跟踪算法中；将每帧目标中心位置标出，得到航行轨迹，构建基于多特征自适应融合的船舶跟踪和航迹检测的方法，在航道桥梁船舶碰撞预警系统等领域中可有广泛的应用。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、采用背景差分法首先选取背景中的一幅或几幅图像的平均作为背景图像，然后把以后的序列图像当前帧和背景图像相减，进行背景消去，当所得到的像素数大于阈值则判定被监视场景中有运动物体，从而得到运动船舶目标；

第二步、获取运动船舶目标的颜色、形状及纹理特征信息，并通过获取颜色、形状及纹理目标特征直方图在每帧图像中的概率分布图的稳定性，确定各自的融合权值；

所述的颜色信息，是目标图像色度信息的直方图，利用该直方图，在视频每帧图像中得到概率分布图，来表示该帧图像的颜色特征信息，颜色信息只在有光照亮度时有效，夜间跟踪需要用到形状和纹理信息；所述的形状信息，是目标图像边缘梯度方向直方图，利用该直方图，在视频每帧图像中得到概率分布图，来表示该帧图像的形状特征信息，形状信息对目标的旋转变化敏感，这时需要用到具有旋转不变性的颜色和纹理信息；所述的目标图像边缘梯度方向直方图通过以下方式得到：边缘上每一像素都对应此处一个边缘梯度方向，使用Sobel算子检测图像点(x，y)处像素的水平边缘梯度dx和垂直边缘梯度dy。目标图像中点(x，y)处像素的边缘梯度方向为：

θ∈[-π，π]，对边缘像素点的梯度方向进行统计，构造梯度方向直方图，即为目标的形状特征直方图。

所述的纹理信息，是目标图像通过Gabor滤波器滤波得到的图像灰度直方图，利用该直方图，在视频每帧图像中得到概率分布图，来表示该帧图像的纹理特征信息，纹理信息在船舶跟踪中，受水波影响较大，不易获得准确的纹理特征模型，这时又需要不受水波影响的颜色和形状信息。

所述的纹理特征信息通过以下方式得到：采用Gabor滤波器选取方向坐标转换角度θ＝0°，方差σ²＝5的滤波器，其中σ越大能量越分散，越小越集中。将目标图像与滤波器进行卷积，对卷积后的纹理图像计算灰度直方图，得到纹理特征信息。

第三步、通过颜色、形状、纹理各自的融合权值和概率分布图计算出的联合概率分布图，即融合特征信息，利用Camshift算法跟踪运动船舶目标并得到每帧目标的位置中心。

所述的融合包括：颜色-形状自适应融合、颜色-纹理自适应融合、形状-纹理自适应融合和多特征自适应融合。

附图说明

图1为本发明构建的多特征自适应融合船舶跟踪和航迹检测的方法流程图。

图2为本发明涉及的Camshift跟踪算法流程图。

图3为本发明构建的多特征自适应融合船舶跟踪和航迹检测的方法理论框架。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括以下步骤：

第一步、首先对运动船舶目标进行检测，直到检测到目标为止；

所述的船舶检测是通过背景差分法是通过选取背景中的一幅或几幅图像的平均作为背景图像，然后把以后的序列图像当前帧和背景图像相减，进行背景消去。若所得到的像素数大于某一阈值，则判定被监视场景中有运动物体，从而得到目标。

第二步、获取运动船舶目标的颜色、形状、纹理特征信息；

所述的颜色信息，是目标图像色度信息的直方图，利用该直方图，在视频每帧图像中得到概率分布图，来表示该帧图像的颜色特征信息，颜色信息只在有光照亮度时有效，夜间跟踪需要用到形状和纹理信息；

所述的形状信息，是目标图像边缘梯度方向直方图，利用该直方图，在视频每帧图像中得到概率分布图，来表示该帧图像的形状特征信息，形状信息对目标的旋转变化敏感，这时需要用到具有旋转不变性的颜色和纹理信息；

所述的目标图像边缘梯度方向直方图通过以下方式得到：边缘上每一像素都对应此处一个边缘梯度方向，使用Sobel算子检测图像点(x，y)处像素的水平边缘梯度dx和垂直边缘梯度dy。目标图像中点(x，y)处像素的边缘梯度方向为：

第三步、更新融合权值；

所述的更新融合权值是通过获取颜色、形状、纹理目标特征直方图在每帧图像中的概率分布图的稳定性，确定各自的融合权值。

第四步、计算图像的融合特征信息；

所述的融合特征信息是通过颜色、形状、纹理各自的融合权值和概率分布图计算出的联合概率分布图，即融合特征信息。

所述的融合，具体包括以下步骤：

1)颜色-形状自适应融合：目标特征直方图在整幅图像上计算目标出现的概率分布，即为概率分布图。获取颜色、形状信息的特征直方图之后，颜色-形状特征信息的联合概率分布图设计如下：M(k，i)＝αM_c(k，i)+βM_s(k，i)，α+β＝1，其中：M_c(k，i)和M_s(k，i)分别为第k(0≤k≤总帧数)帧第i(0≤i≤总目标数)个目标的颜色和形状特征信息的概率分布图。0≤α，β≤1分别为两种特征信息在融合时的权值。当颜色信息在跟踪期间稳定时，权值α大，β小，否则，当颜色信息发生突变时，反之。为了达到这个目的，利用更新权值的方法，实现各信息间的自适应融合。权值更新方法设计如下：

d_{c} (M_{c} (k, i), M_{c} (k - 1, i)) = Σ_{n = 1}^{7} | \frac{m_{n}^{M_{c} (k, i)} - m_{n}^{M_{c} (k - 1, i)}}{m_{n}^{M_{c} (k, i)}} | - - - (3)

式(3)为颜色特征信息第i个目标对应前后帧的概率分布图的距离计算公式。其中 (i＝1，2，...，7)为M_c(k，i)的7个Hu矩，sgn为符号函数。同理得到形状和纹理特征信息所对应的距离d_s(M_s(k，i)，M_s(k-1，i))，则颜色-形状自适应融合更新权值计算如下：

α = \frac{d_{s} (M_{s} (k, i), M_{s} (k - 1, i))}{d}

β = \frac{d_{c} (M_{c} (k, i), M_{c} (k - 1, i))}{d} - - - (4)

其中d＝d_c(M_c(k，i)，M_c(k-1，i))+d_s(M_s(k，i)，M_s(k-1，i))。根据式(4)的更新规则，对跟踪期间变化较大的特征信息赋予较小的权值，反之，对较稳定的特征信息赋予较大权值。

2)颜色-纹理自适应融合：颜色-纹理自适应权值更新权值计算如下：

其中：M_t(k，i)为第k(0≤k≤总帧数)帧第i(0≤i≤总目标数)个目标的纹理特征信息的概率分布图，d_t(M_t(k，i)，M_t(k-1，i))为纹理特征信息第i个目标对应前后帧的概率分布图的距离计算公式，d＝d_c(M_c(k，i)，M_c(k-1，i))+d_t(M_t(k，i)，M_t(k-1，i))。

3)形状-纹理自适应融合：形状-纹理自适应权值更新权值计算如下：

α = \frac{d_{t} (M_{t} (k, i), M_{t} (k - 1, i))}{d},

β = \frac{d_{s} (M_{s} (k, i), M_{s} (k - 1, i))}{d},

其中：d＝d_s(M_s(k，i)，M_s(k-1，i))+d_t(M_t(k，i)，M_t(k-1，i))。

4)多特征自适应融合：获取颜色、形状以及纹理信息的特征直方图之后，各特征信息的联合概率分布图设计如下：M(k，i)＝αM_c(k，i)+βM_s(k，i)+γM_t(k，i)，α+β+γ＝1，其中：0≤α，β，γ≤1分别为三种特征信息在融合时的权值。当颜色信息在跟踪期间稳定时，权值α大，β，γ小，否则，当颜色信息发生突变时，反之。为了达到这个目的，利用更新权值的方法，实现各信息间的自适应融合。则多特征自适应融合更新权值计算如下：

α = \frac{d_{s} (M_{s} (k, i), M_{s} (k - 1, i)) + d_{t} (M_{t} (k, i), M_{t} (k - 1, i))}{2 d},

β = \frac{d_{c} (M_{c} (k, i), M_{c} (k - 1, i)) + d_{t} (M_{t} (k, i), M_{t} (k - 1, i))}{2 d},

γ = \frac{d_{c} (M_{c} (k, i), M_{c} (k - 1, i)) + d_{s} (M_{s} (k, i), M_{s} (k - 1, i))}{2 d},

其中：d＝d_c(M_c(k，i)，M_c(k-1，i))+d_s(M_s(k，i)，M_s(k-1，i))+d_t(M_t(k，i)，M_t(k-1，i))。

第五步、利用Camshift算法跟踪运动船舶目标；

如图2所示，步骤(5)中所述的Camshift跟踪算法是通过是现有的一种典型的跟踪算法，采用的是“峰值”跟踪思想，即总是寻找最相似的区域，具有高实时性。

第六步、船舶航迹检测。

所述航迹检测是通过Camshift跟踪算法得到每帧目标的位置中心，标于每帧航迹检测图像中。

所述的检测具体是指：采用背景差分法首先选取背景中的一幅或几幅图像的平均作为背景图像，然后把以后的序列图像当前帧和背景图像相减，进行背景消去。若所得到的像素数大于某一阈值，则判定被监视场景中有运动物体，从而得到运动船舶目标。

如图3所示，基于Visual C++6.0平台和Opencv编程语言的船舶跟踪和航迹检测方法的仿真系统功能模块设计分为{船舶跟踪}和{航迹检测}两个大类设计。其中：{船舶跟踪}包涵了{颜色单信息}、{形状单信息}、{纹理单信息}、{颜色-形状自适应融合}、{颜色-纹理自适应融合}、{形状-纹理自适应融合}和{多特征自适应融合}等跟踪算法。具体为：

构建如图1所示多特征自适应融合船舶跟踪和航迹检测方法的理论框架，并按照特征信息予以分类；

利用OpenCV编程实现跟踪算法和航迹检测，跟踪算法基于经典的Camshift跟踪算法，算法流程如图2所示；

根据图1所示多特征自适应融合船舶跟踪和航迹检测方法的仿真系统框架，基于VisualC++6.0平台进行界面设计；

面向对象的开发，并在分析确定系统输入输出的基础上，采用基于Windows2000/XP操作系统平台的模块化软件设计，支持COM/DCOM分布对象标准，按照图3所示多特征自适应融合船舶跟踪和航迹检测方法的理论框架，将对应的OpenCV撰写的各种跟踪算法和航迹检测程序与界面相链接，形成具有GUI的对话框方式进行人机交互的软件平台；

利用实际船舶视频数据进行目标跟踪试验，采用人机交互的软件平台进行运动船舶目标跟踪；

利用实际船舶视频数据进行目标跟踪试验，采用人机交互的软件平台进行船舶航迹检测；

为了适应船舶跟踪和航迹检测方法的理论框架随着跟踪技术的不断发展，在功能模块设计时，考虑在不同分类跟踪和航迹检测体系中预留出相应的可以增加的接口程序，以便评价指标的不断扩充和完善。

可见，多特征自适应融合船舶跟踪和航迹检测的方法具有较好的跟踪和航迹检测效果，为多目标船舶跟踪和航迹检测提供了一种非常有效的技术手段。

Claims

1.一种多特征自适应融合船舶跟踪和航迹检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多特征自适应融合船舶跟踪和航迹检测方法，其特征是，所述的颜色信息，是目标图像色度信息的直方图，利用该直方图，在视频每帧图像中得到概率分布图，来表示该帧图像的颜色特征信息，颜色信息只在有光照亮度时有效，夜间跟踪需要用到形状和纹理信息；所述的形状信息，是目标图像边缘梯度方向直方图，利用该直方图，在视频每帧图像中得到概率分布图，来表示该帧图像的形状特征信息，形状信息对目标的旋转变化敏感，这时需要用到具有旋转不变性的颜色和纹理信息；所述的目标图像边缘梯度方向直方图通过以下方式得到：边缘上每一像素都对应此处一个边缘梯度方向，使用Sobel算子检测图像点(x，y)处像素的水平边缘梯度dx和垂直边缘梯度dy。目标图像中点(x，y)处像素的边缘梯度方向为：

3.根据权利要求1所述的多特征自适应融合船舶跟踪和航迹检测方法，其特征是，所述的纹理信息，是目标图像通过Gabor滤波器滤波得到的图像灰度直方图，利用该直方图，在视频每帧图像中得到概率分布图，来表示该帧图像的纹理特征信息，纹理信息在船舶跟踪中，受水波影响较大，不易获得准确的纹理特征模型，这时又需要不受水波影响的颜色和形状信息。

4.根据上述任一权利要求所述的多特征自适应融合船舶跟踪和航迹检测方法，其特征是，所述的融合包括：颜色-形状自适应融合、颜色-纹理自适应融合、形状-纹理自适应融合和多特征自适应融合。

5.根据权利要求4所述的多特征自适应融合船舶跟踪和航迹检测方法，其特征是，所述的颜色-形状自适应融合是指：

1)将目标特征直方图在整幅图像上计算目标出现的概率分布，并计算颜色-形状特征信息的联合概率分布：M(k，i)＝αM_c(k，i)+βM_s(k，i)，α+β＝1，其中：M_c(k，i)和M_s(k，i)分别为第k帧第i个目标的颜色和形状特征信息的概率分布图，0≤k≤总帧数，0≤i≤总目标数，0≤α，β≤1分别为两种特征信息在融合时的权值；

2)利用更新权值的方法，实现各信息间的自适应融合，具体为：

其中：

(i＝1，2，...，7)为M_c(k，i)的7个Hu矩，sgn为符号函数，形状和纹理特征信息所对应的距离d_s(M_s(k，i)，M_s(k-1，i))，则颜色-形状自适应融合更新权值计算如下：

α = \frac{d_{s} (M_{s} (k, i), M_{s} (k - 1, i))}{d},

β = \frac{d_{c} (M_{c} (k, i), M_{c} (k - 1, i))}{d},

其中：d＝d_c(M_c(k，i)，M_c(k-1，i))+d_s(M_s(k，i)，M_s(k-1，i))；

3)根据更新后的权值对跟踪期间的特征信息进行映射。

6.根据权利要求4所述的多特征自适应融合船舶跟踪和航迹检测方法，其特征是，所述的颜色-纹理自适应融合是指：颜色-纹理自适应权值更新权值计算如下：

其中：M_t(k，i)第k帧第i个目标的纹理特征信息的概率分布图，d_t(M_t(k，i)，M_t(k-1，i))为纹理特征信息第i个目标对应前后帧的概率分布图的距离计算公式，0≤k≤总帧数，0≤i≤总目标数，d＝d_c(M_c(k，i)，M_c(k-1，i))+d_t(M_t(k，i)，M_t(k-1，i))。

7.根据权利要求4所述的多特征自适应融合船舶跟踪和航迹检测方法，其特征是，所述的形状-纹理自适应融合是指：形状-纹理自适应权值更新权值计算如下：

α = \frac{d_{t} (M_{t} (k, i), M_{t} (k - 1, i))}{d},

β = \frac{d_{s} (M_{s} (k, i), M_{s} (k - 1, i))}{d},

其中：d＝d_s(M_s(k，i)，M_s(k-1，i))+d_t(M_t(k，i)，M_t(k-1，i))。

8.根据权利要求4所述的多特征自适应融合船舶跟踪和航迹检测方法，其特征是，所述的多特征自适应融合是指：

i)对颜色、形状以及纹理信息的联合概率分布M(k，i)＝αM_c(k，i)+βM_s(k，i)+γM_t(k，i)，α+β+γ＝1，其中：0≤α，β，γ≤1分别为三种特征信息在融合时的权值；

ii)利用更新权值的方法实现各信息间的自适应融合，多特征自适应融合更新权值为

α = \frac{d_{s} (M_{s} (k, i), M_{s} (k - 1, i)) + d_{t} (M_{t} (k, i), M_{t} (k - 1, i))}{2 d},

β = \frac{d_{c} (M_{c} (k, i), M_{c} (k - 1, i)) + d_{t} (M_{t} (k, i), M_{t} (k - 1, i))}{2 d},

γ = \frac{d_{c} (M_{c} (k, i), M_{c} (k - 1, i)) + d_{s} (M_{s} (k, i), M_{s} (k - 1, i))}{2 d},