CN103996049A - 一种基于视频图像的船舶超长超宽检测方法 - Google Patents

Abstract

一种基于视频图像的船舶超长超宽检测方法，采集船舶视频，进行像平面坐标系与世界坐标系的变换；提取船舶二值图像区域得到运动船舶区域；对每一帧图像的运动船舶均采用Kalman滤波器跟踪，得到运动船舶的质心位置的叠加，拟合船舶的运动轨迹确定船舶的主轴，利用Canny算子提取二值图像的轮廓，计算船舶主轴与所述轮廓的交点之间连线的长度，得到船舶的长度，所述轮廓垂直到主轴的最长距离为船舶的宽度；判断该船舶是否超长超宽。本发明根据当前的内河监控视频图像，采用图象处理、计算机视觉技术，从中提取运动船舶及像素级的长宽信息，通过交互式网格标定计算出船舶的实际尺寸，根据实际场景的条件，对船舶的长宽进行超限判断。

Description

一种基于视频图像的船舶超长超宽检测方法

技术领域

本发明属于机器视觉、视频图像处理领域，特别涉及基于视频图像的内河船舶超长超宽检测方法，主要用于内河船舶超限检测中，为一种基于视频图像的船舶超长超宽检测方法。

背景技术

水路运输在我国综合运输体系中占有重要的组成部分，作为传统的且仍处于快速发展中的交通运输方式，水路运输在促进地区或区域经济和社会发展方面发挥着重要作用，但是近年来随着社会经济的高速发展，船舶的尺寸也在增加，这个与内河的航运环境产生一定程度的冲突，严重影响了航段的安全畅通，需要进行船舶超长超宽检测，并对超限的船舶进行诱导，降低事故发生，尽量保证航道的畅通。

目前，判别航行在航道中的船舶长、宽是否超限，通常是依靠监控人员的人工检测，对检测超限的船舶进行引导，但面对庞大的航道网，光靠监控员每天的人工检测远不能满足交通的需求。为了营造快捷、安全、畅通、高效的水上运输环境，降低水上交通安全事故发生的频率，可根据当前的内河监控视频图像，采用图像处理、计算机视觉技术，提取船舶长宽信息。

王珺等人于2006年在硕士论文《小波分析及其在船舶图像尺寸测量中的应用》中利用小波检测船舶边缘，对不规则的船舶边缘形状构造一个图像边缘最小外接矩形，用该矩形的长宽表示船舶的尺寸，其测量的船舶尺寸只限于像素级，没有得到船舶的实际尺寸。

王静等人于2009年在硕士论文《基于图像融合技术的智能检测方法与应用研究》中利用数码相机对船舶进行侧面和俯视拍照，采用神经网络提取船舶的边缘，在侧面边缘图中进行列扫描，得到船舶的像素级长度，在俯视边缘图中进行列扫描，得到船舶的像素级宽度，再根据图像的分辨率换算出边缘图像中以厘米为单位的船舶长度和宽度。该方法只考虑了均静止船舶和单一背景，而对复杂环境和运动船舶不适用。

张学武等人于2011年在中国图象图形学报上发表了《内河水路交通流参数视觉测量系统》，采用背景建模提取运动船舶，用外接矩形框标识该船舶，通过透视变换模型计算出船舶的实际尺寸，为船舶超长超宽检测提供了依据，但该方法假设河道平行或者垂直于船体轴线，以河道两边堤岸为矩形的长，以河道宽度为宽设置矩形(不一定是正方形)，用矩形的像素长度和实际长度来获取透视变换关系，而实际场景中，河道平行或者垂直于船体轴线的假设未必成立，影响船舶长宽计算的精度。

方秀丽等人于2013年在硕士论文《基于运动船舶视频的背景建模算法研究》中，对水波扰动有一定适应性的经典的混合高斯模型算法、像素灰度归类背景重构算法、码本模型算法、视觉背景建模算法的适用性和有效性进行了比较分析，其中，视觉背景建模算法是一种通用的运动检测算法，实现简单，但是，它在整个检测过程中采用固定的检测阈值，对复杂的动态场景的鲁棒性低。

上述基于图像处理、计算机视觉技术的船舶提取及长宽检测方法，最大的特点是实现简单，易满足实时处理，但是，这些算法有一定的局限性，首先它们仅采用边缘或简单的运动检测方法提取船舶，对复杂的动态场景的适应性低；其次是对缺乏参考物的水面场景，没有考虑适用的摄像机标定，摄像机标定的核心是坐标系转换，常用的摄像机标定需要有一个标定的参考物，而河面缺乏参考物，则借助于参考物的标定方式在该场景下是运作不了的。

发明内容

本发明要解决的问题是：在判别航行船舶长、宽是否超限的现有技术中，人工检测远不能满足交通的需求，而计算机检测技术不能适合实际的复杂运动场景，也没有有效的摄像机标定，检测不够精确。

本发明的技术方案为：一种基于视频图像的船舶超长超宽检测方法，通过监控摄像机采集运动船舶视频，设置所采集视频中的有效检测区域，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换；对当前帧进行图像预处理，包括平滑和去噪，通过视觉背景建模算法，提取视频图像中的船舶二值图像区域，用最小外接矩形来拟合二值图像区域，得到运动船舶区域；对每一帧图像的运动船舶区域均采用Kalman滤波器跟踪，得到各个时刻的运动船舶的质心位置，由船舶的质心位置的叠加，用最小二乘法拟合船舶运动的轨迹，确定船舶的主轴；利用Canny算子对各船舶的二值图像区域提取二值图像的轮廓，船舶的主轴与所述轮廓相交得到交点，取所述交点之间连线的长度为船舶的长度，取所述轮廓垂直到主轴的最长距离为船舶的宽度；将得到的船舶长度、宽度与预设的阈值比较，判断该船舶是否超长超宽。

进一步的，当视频图像中包含多艘船舶时，分别对每艘船舶提取二值图像区域，并确定各自的主轴，由船舶各自的二值图像区域和主轴计算长度和宽度，判断是否超长超宽。

本发明具体包括以下步骤：

1)兴趣区域ROI设置：进行河道监控视频图像的采集，获取运动船舶的视频帧图像，根据实际监控场景在当前帧图像上提取多个点，对所提取的点进行直线拟合计算，合并成多边形，多边形内作为检测的兴趣区域ROI，即有效检测区域；

2)摄像机标定：根据摄像机成像模型，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换；

3)图像预处理：获取视频帧图像，用中值滤波对图像进行图像预处理，包括平滑和去噪；

4)运动检测：通过视觉背景建模算法构建背景图像，比较当前帧与背景图像的相似度，初步确定船舶区域，再利用形态学操作滤除噪声，采用图像的面积特征消除运动目标区域的虚目标，得到当前帧的船舶二值图像区域；

5)目标跟踪：对当前帧中的每个运动船舶均采用Kalman滤波器预测其在下一帧图像中的位置，并更新Kalman滤波器的状态，作为再下一帧跟踪的初始值，具体为：

51)对每帧图像的船舶二值图像区域，采用最小外接矩形来标定得到运动船舶区域；

52)对于每个需要跟踪的运动船舶区域，设置一个Kalman参数结构，设状态变量的选取为(x,y,l,w)，其中，(x,y)为运动船舶区域的最小外接矩形的中心在像平面坐标系的坐标，(l,w)为最小外接矩形的长、宽，由(x,y,l,w)确定运动船舶区域在当前帧的精确位置；开始跟踪时初始化状态变量，设初始中心位置为(x₀,y₀)，初始长宽为(l₀,w₀)；

53)预测运动船舶在下一帧的运动状态以为中心的二值图像区域为搜索区域，获取以(x_t，y_t)为中心的所有最小外接矩形，并计算其相比初始状态变量(x₀,y₀,l₀,w₀)的运动船舶区域的中心移动距离和面积变化大小，其中，中心移动距离和面积变化最小的外接矩形为最佳匹配，以最佳匹配对应的运动状态Z＝(x_vt,y_vt,l_vt,w_vt)作为测量值；

54)利用Z＝(x_vt,y_vt,l_vt,w_vt)更新Kalman滤波器的状态，并将更新后的状态作为下一轮预测的初始值，重复步骤53)-54)；

6)长宽估算：利用Canny算子提取步骤4)中船舶二值图像区域的轮廓，采用最小二乘法拟合步骤5)跟踪得到的运动船舶区域的矩形中心，得到运动船舶航行轨迹，确定船舶的主轴，计算主轴与运动船舶轮廓的交点连线的长度，所得长度为船舶的长度，取轮廓垂直到主轴的最长距离为船舶的宽度；

7)超长、超宽检测：将步骤6)中估算的船舶长、宽与事先设定好的阈值比较，判断该运动船舶是否超长超宽。

步骤1)中兴趣区域的提取方法具体为：根据实际监控需要，在当前帧上选取不少于3个点，对获取的点集进行直线拟合，并合并成多边形，多边形内即为检测的兴趣区域。步骤2)中根据摄像机的成像模型，构建摄像机的像平面坐标系u-v与世界坐标系X_w-Y_w-Z_w的变换关系：

$\begin{array}{c}-f[\cos \left(p\right)\cos \left(s\right)X_w-\sin \left(p\right)\cos \left(s\right)Y_w+\\ u=\frac{\sin \left(q\right)\sin \left(p\right)\sin \left(s\right)X_w+\sin \left(q\right)\cos \left(p\right)\sin \left(s\right)Y_w]}{(\cos \left(q\right)\sin \left(p\right)X_w+\cos \left(q\right)\cos \left(p\right)Y_w+\frac{H}{\sin \left(q\right)})}\\ -f[\cos \left(p\right)\sin \left(s\right)X_w-\sin \left(p\right)\sin \left(s\right)Y_w-\\ v=\frac{\sin \left(q\right)\sin \left(p\right)\cos \left(s\right)X_w-\sin \left(q\right)\cos \left(p\right)\cos \left(s\right)Y_w]}{(\cos \left(q\right)\sin \left(p\right)X_w+\cos \left(q\right)\cos \left(p\right)Y_w+\frac{H}{\sin \left(q\right)})}\end{array}---\left(1\right)$

其中，f为镜头有效焦距，摄像机立柱高度为H，摄像机的俯仰角为q，偏角为p，s为旋角，在交互式网格标定中，调整标定系统中的摄像机高度、焦距、俯仰角和偏角，根据所述参数对应的网格与实际摄像视频的对比确认当前参数是否调整准确。

进一步的，步骤4)中提取船舶二值图像区域的方法为：

41)连续采集视频序列的前N帧图像I₁，I₂，...，I_N，将该N帧图像对应像素值作为初始背景模型B的样本，背景模型B(i，j)为：

B(i，j)＝{I₁(i，j)，I₂(i，j)，...，I_N(i，j)}    (2)

i，j表示像素坐标；

42)根据背景的动态运动程度设置阈值R(i，j)，定义一个最小距离的集合D(i，j)：

D(i，j)＝{D₁(i，j)，D₂(i，j)，…，D_N(i，j)}    (3)

其中，D_k(i，j)＝min{dist(I_m(i，j)，I_t(i，j))}，dist(·)表示欧氏距离，k＝1，...，N，m＝1，...，N，k≠m；

对D(i，j)内元素进行求和平均，得到d_min(i，j)表征背景的动态运动程度，定义为：

$d_{\min }(i,j)=\frac{1}{N}\underset{k}{\mathrm{\Σ}}{D}_k(i,j)---\left(4\right)$

通过d_min(i，j)实现R(i，j)的自适应更新，如下式：

$R(i,j)=\left\{\begin{array}{cc}R(i,j)\·(1-{\mathrm{\α}}_1)& \mathrm{ifR}(i,j)>d_{\min }(i,j)\·\mathrm{\η}\\ R(i,j)\·(1+{\mathrm{\α}}_2)& \mathrm{else}\end{array}\right.---\left(5\right)$

其中，α₁、α₂和η是控制R(i，j)自适应变化的参数，对于静态背景，d_min(i，j)趋于稳定，R(i，j)慢慢减小最终趋于稳定值d_min(i，j)·η，当出现动态背景扰动时，R(i，j)则根据式(5)慢慢增加来适应这一扰动；

43)计算当前帧图像I_n(i,j)与背景模型B(i,j)的相似度U_n(i,j)

$U_n(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if\; dist}(I_k(i,j),I_n(i,j))<R(i,j)\\ 0,& \mathrm{else}\end{array}\right.---\left(6\right)$

44)如果相似度小于设定的阈值U_min，则该像素为前景像素点，设为“1”，否则为背景像素点，设为“0”，得到当前帧的二值图像F_n(i,j)：

$F_n(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if}{U}_n(i,j)<U_{\min }\\ 0,& \mathrm{else}\end{array}\right.---\left(7\right)$

45)利用形态学操作滤除噪声，采用图像的面积特征消除运动目标区域的虚目标，得到运动船舶二值图像区域。

本发明提出根据当前的河道监控视频图像，采用图象处理、计算机视觉技术，从中提取运动船舶及像素级的长宽信息，通过交互式网格标定计算出船舶的实际尺寸，根据实际场景的条件，对船舶的长宽进行超限判断，后期可以通过监控网络发布超限的告警信息，或其它操作。

相比于现有技术，本发明的有益效果为：

1)本发明设置检测的感兴趣区域和超长超宽的检测阈值，其大小可由用户根据实际监控场景的需要来改变，增加了本发明对监控场景的适用范围；

2)本发明采用自适应阈值R的视觉背景建模算法提取运动船舶，避免了单个的全局阈值不能适应不同场景的变化问题，提高了运动检测对场景的鲁棒性；

3)针对无标定参考物的河面场景，基于确定的标定物的方法都将无法运作，本发明通过交互式网格进行标定，在标定计算中设置当前监控场景相机的架设高度、焦距、倾角和偏角，根据这四个参数求解像平面和物理平面的转换关系，实现无标定参考物的河面场景下的摄像机标定。

附图说明

图1为本发明超长超宽检测方法流程图。

图2为本发明兴趣区域ROI的设置。

图3为本发明交互网格标定的示意图。

图4为本发明中Kalman滤波器的跟踪流程图。

图5为本发明中运动船舶的最小外界矩形的示意图。

图6为本发明中拟合的运动船舶的航行轨迹图。

图7为本发明实施例无锡市葑溪大桥北段船舶超长的检测示意图。

图8为本发明实施例南通市航宇重工段船舶的超长超宽检测示意图。

具体实施方式

本发明提供一种基于视频图像的船舶超长超宽检测方法，可以准确地对内河航道中航行船舶的长宽是否超过航道可通行标准进行检测，提高了水路运输的安全性。通过监控摄像机采集船舶视频，设置所采集视频中的有效检测区域，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换；对当前帧图像进行图像预处理，包括平滑和去噪，通过视觉背景建模算法，提取视频图像中的船舶二值图像区域，用最小外界矩形来刻画船舶的基本形状，得到船舶区域；对每一帧图像的运动船舶均采用Kalman滤波器跟踪，得到各个时刻的运动中的船舶的质心位置的叠加，用最小二乘法拟合船舶运动的轨迹，确定船舶的主轴，利用Canny算子对船舶的二值图像区域提取二值图像的轮廓，计算船舶主轴与所述轮廓的交点之间连线的长度，得到船舶的长度，取所述轮廓垂直到主轴的最长距离为船舶的宽度；将得到的船舶长度、宽度与事先设定好的阈值比较，判断该船舶是否超长超宽。

当视频图像中包含多艘船舶时，用背景建模提取图像中所有运动船舶，分别对每艘船舶提取二值图像区域，并确定各自的主轴，由船舶各自的二值图像区域和主轴计算长度和宽度，分别逐一判断是否超长超宽。

本发明方法中的计算流程通过计算机实现，下面结合附图与具体实施方式对本发明进行详细描述。

实施例1

如图1所示，为本发明的实现流程图，其中检测的视频图像为无锡市葑溪大桥北的监控视频，详细实施方式如下：

1.设置兴趣区域。提取当前帧图像，在人机交互的终端界面，用户根据实际监控需要在当前帧图像上点击多个点(点个数不少于3)，对获取的点集进行直线拟合，并合并成多边形，多边形内即检测的兴趣区域，如图2所示。

2.摄像机标定。根据摄像机成像模型，构建摄像机的像平面坐标系u–v与世界坐标系X_w–Y_w–Z_w的变换关系：

$\begin{array}{c}-f[\cos \left(p\right)\cos \left(s\right)X_w-\sin \left(p\right)\cos \left(s\right)Y_w+\\ u=\frac{\sin \left(q\right)\sin \left(p\right)\sin \left(s\right)X_w+\sin \left(q\right)\cos \left(p\right)\sin \left(s\right)Y_w]}{(\cos \left(q\right)\sin \left(p\right)X_w+\cos \left(q\right)\cos \left(p\right)Y_w+\frac{H}{\sin \left(q\right)})}\\ -f[\cos \left(p\right)\sin \left(s\right)X_w-\sin \left(p\right)\sin \left(s\right)Y_w-\\ v=\frac{\sin \left(q\right)\sin \left(p\right)\cos \left(s\right)X_w-\sin \left(q\right)\cos \left(p\right)\cos \left(s\right)Y_w]}{(\cos \left(q\right)\sin \left(p\right)X_w+\cos \left(q\right)\cos \left(p\right)Y_w+\frac{H}{\sin \left(q\right)})}\end{array}---\left(1\right)$

其中，f为镜头有效焦距，摄像机立柱高度为H，摄像机的俯仰角(摄像机光轴与地平面夹角)为q，偏角(光轴在地平面上的投影线与车道分割线的夹角)为p，s为旋角，且摄像机高度H、焦距f、俯仰角q、偏角p由人机交互的方式获取，技术人员通过计算机编程实现公式(1)，然后用户输入H、f、q、p四个参数并进行调整，根据调整这些参数获取像平面坐标系u-v，得到对应的网格模型，如图3所示，H＝12、f＝1012、q＝0.13、p＝0.11，将网格模型与图像帧对应，在网格模型中计算两点的距离，并与实际距离比较，来验证参数的正确性，调整直至参数与实际相对应，将调整得到H、f、q、p用于船舶视频的坐标变换。

3.采用视觉背景建模算法提取运动船舶的二值图像区域。

①连续采集视频序列的前N＝20帧图像I₁，I₂，...，I_N，将该N帧图像对应像素值作为初始背景模型B的样本，背景模型B(i，j)：

B(i，j)＝{I₁(i，j)，I₂(i，j)，...，I_N(i，j)}    (2)

i，j表示像素坐标；

②根据背景的动态运动程度设置阈值R(i，j)，定义一个最小距离的集合D(i，j)：

D(i，j)＝{D₁(i，j)，D₂(i，j)，…，D_N(i，j)}    (3)

其中，D_k(i，j)＝min{dist(I_m(i，j)，I_t(i，j))}，dist(·)表示欧氏距离，k＝1，...，N，m＝1，...，N，k≠m：

对D(i，j)内元素进行求和平均，得到d_min(i，j)表征背景的动态运动程度，定义为：

$d_{\min }(i,j)=\frac{1}{N}\underset{k}{\mathrm{\&Sigma;}}{D}_k(i,j)---\left(4\right)$

通过d_min(i，j)实现R(i，j)的自适应更新，如下式：

$R(i,j)=\left\{\begin{array}{cc}R(i,j)\&CenterDot;(1-{\mathrm{\&alpha;}}_1)& \mathrm{ifR}(i,j)>d_{\min }(i,j)\&CenterDot;\mathrm{\&eta;}\\ R(i,j)\&CenterDot;(1+{\mathrm{\&alpha;}}_2)& \mathrm{else}\end{array}\right.---\left(5\right)$

其中，α₁＝0.5、α₂＝0.05和η＝5是控制R(i，j)自适应变化的参数，对于静态背景，d_min(i,j)趋于稳定，R(i,j)慢慢减小最终趋于稳定值d_min(i,j)·η，当出现动态背景扰动时，R(i,j)则慢慢增加来适应这一扰动；

③计算当前图像I_n(i,j)与背景模型B(i,j)的相似度U_n(i,j)

$U_n(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if\; dist}(I_k(i,j),I_n(i,j))<R(i,j)\\ 0,& \mathrm{else}\end{array}\right.---\left(6\right)$

④如果相似度小则该像素为前景像素点，设为“1”，否则为背景像素点，设为“0”，得到二值图像F_t(i,j)：

$F_n(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if}{U}_n(i,j)<U_{\min }\\ 0,& \mathrm{else}\end{array}\right.---\left(7\right)$

其中，U_min＝2为设定的阈值；

⑤利用形态学操作滤除噪声，采用图像的面积特征消除运动目标区域的虚目标，这里运动目标也就是运动的船舶，得到船舶二值图像区域。

4.采用Kalman滤波器进行目标跟踪，其流程图如图4所示：

①对每个运动船舶的二值图像区域，采用最小外界矩形来标定运动船舶区域，如图5所示；船舶的二值图像区域是不规则的，为了方便后续操作，用最小外接矩形来拟合该不规则的二值图像区域，所以，这两个区域都是表示视频图像中的某运动船舶，只是二值图像是不规则的，由最小外界矩形标定的运动船舶区域是规则的矩形；

②对于每个需要跟踪的运动船舶区域，初始化一个Kalman参数结构，设状态变量的选取为(x,y,l,w)，其中，(x,y)为运动船舶的最小外接矩形的中心坐标，(l,w)及为最小外接矩形的长、宽，其确定了运动船舶区域在当前帧的精确位置，初始化状态变量，设初始中心位置为(0,0)，初始长宽为(0,0)；

③预测运动船舶在下一帧的运动状态以中(xt，yt)为中心的二值图像区域为搜索区域，获取以(x_t，y_t)为中心的所有最小外接矩形，并计算其与运动船舶初始状态变量对应的最小外接矩形的中心移动距离和面积变化大小，其中，中心移动距离和面积变化小的外接矩形为最佳匹配，以其对应的位置Z＝(x_vt,y_vt,l_vt,w_vt)作为测量值；

④利用Z＝(x_vt,y_vt,l_vt,w_vt)更新Kalman滤波器的状态，并将更新后的状态作为下一轮预测的初始值。

5.船舶长宽估算。利用Canny算子提取步骤3中船舶二值图像的轮廓，采用最小二乘法拟合步骤4得到的运动船舶区域的矩形中心，得到运动船舶航行轨迹，如图6所示，根据航行轨迹确定船舶的主轴，计算主轴与运动船舶轮廓的交点连线的长度，其为船舶的长度，取轮廓垂直到主轴的最长距离为船舶的宽。

6.船舶超长超宽检测。用户根据实际的监控场景设置船舶超长超宽的判断阈值，如设置，船舶超长超宽的判断阈值为50m，将步骤5中计算的船舶长、宽分别于其比较，如果船舶的长大于超长阈值，则超长，如果船舶的宽大于设置的超宽阈值，则超宽。

本实施例的实施效果如图7所示。利用本发明方法对江苏省无锡市葑溪大桥北的一段监控视频的船舶进行长宽计算，并对其进行船舶超长超宽判断。设置的超长阈值为50m，超宽阈值为50m，本发明对船舶长宽的计算结果为：船舶的长为31.29m，船舶的宽为11.90m，船舶的实际长为32.8m，实际宽为9.6m。将检测结果与设置的阈值比较，没有出现超长或超宽，所以检测船舶的状态为正常。

经该测试表明，本发明基于视频图像的船舶超长超宽检测方法能够从监控视频中，获得船舶的长度和宽度，且计算船舶的长度精度达到90％以上，宽度达到85％以上，并能准确检测出超长超宽的船舶，提高了水路运输的安全性。

实施例2

本实施例的一种基于视频图像的船舶超长超宽检测方法与实施例1相比，不同之处在于，本实例采用了江苏省南通市蛟龙重工段的监控视频，对2013年09月17日下午的视频进行检测，检测的有效区域如图8所示，摄像机标定的摄像机参数H＝34、f＝700、q＝0.32、p＝0.39，船舶超长、超宽的阈值分别为20m、6m，船舶超长超宽的检测结果为长26.36m，宽7.91m，超长超宽。为了进一步量化说明本发明检测精度，选取2013年09月17日下午14:00-16:00时间段的视频为检测对象，将船舶长宽的检测结果例于表1中，并将检测结果与实际的船舶长宽进行比较，统计出检测的长、宽误差率。由表1可以发现，本发明实时获取内河兴趣检测区域内航行船舶的长宽信息，并进行船舶超长超宽检测，对超限的船舶进行诱导，降低事故发生，尽量保证航道的畅通。本发明的长宽检测误差值基本在5-10％以内，平准准确率基本达到90％以上，相对测量效率低下、测量误差较大的人工测量方法，具有长宽测量精确、超长超宽检测及时、自动化程度高等优点，为航道交通秩序管理和应急搜救指挥提供更好的方法和手段。

表1长宽测试结果

序号	船名	检测长度	检测宽度	实际长度	实际宽度	长误差率	宽误差率
								1	融航机518	42.6	7.7	43.8	7.8	2.71％	1.28％
2	石屏货898	41.4	7.5	42.1	7.8	1.66％	3.84％
								3	石屏货9958	43.7	7.9	42.8	7.8	2.10％	1.28％

4	中港货8988	38.3	7.0	39.0	7.3	1.79％	4.11％
								5	六航机331	40.3	7.4	38.8	7.4	3.87％	0.00％
6	新港货982	33.1	6.6	32.8	6.2	0.91％	6.45％
								7	如航158	33.8	6.7	34.9	6.1	3.15％	9.83％
8	石屏货828	41.7	7.9	39.9	7.6	4.38％	3.95％
								9	江泰518	35	6.6	35.6	6.75	1.69％	2.22％
10	霍邱货0867	42.5	7.2	38.5	7.5	10.39％	4.00％

Claims (6)

1.一种基于视频图像的船舶超长超宽检测方法，其特征是通过监控摄像机采集运动船舶视频，设置所采集视频中的有效检测区域，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换；对当前帧进行图像预处理，包括平滑和去噪，通过视觉背景建模算法，提取视频图像中的船舶二值图像区域，用最小外接矩形来拟合二值图像区域，得到运动船舶区域；对每一帧图像的运动船舶区域均采用Kalman滤波器跟踪，得到各个时刻的运动船舶的质心位置，由船舶的质心位置的叠加，用最小二乘法拟合船舶运动的轨迹，确定船舶的主轴；利用Canny算子对各船舶的二值图像区域提取二值图像的轮廓，船舶的主轴与所述轮廓相交得到交点，取所述交点之间连线的长度为船舶的长度，取所述轮廓垂直到主轴的最长距离为船舶的宽度；将得到的船舶长度、宽度与预设的阈值比较，判断该船舶是否超长超宽。 

2.根据权利要求1所述的一种基于视频图像的船舶超长超宽检测方法，其特征是，当视频图像中包含多艘船舶时，对每艘船舶提取二值图像区域，并确定各自的主轴，由船舶各自的二值图像区域和主轴计算长度和宽度，判断是否超长超宽。 

3.根据权利要求1或2所述的一种基于视频图像的船舶超长超宽检测方法，其特征是具体包括以下步骤： 

1)兴趣区域ROI设置：进行河道监控视频图像的采集，获取运动船舶的视频帧图像，根据实际监控场景在当前帧图像上提取多个点，对所提取的点进行直线拟合计算，合并成多边形，多边形内作为检测的兴趣区域ROI，即有效检测区域； 

2)摄像机标定：根据摄像机成像模型，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换； 

3)图像预处理：获取视频帧图像，用中值滤波对图像进行图像预处理，包括平滑和去噪； 

4)运动检测：通过视觉背景建模算法构建背景图像，比较当前帧与背景图像的相似度，初步确定船舶区域，再利用形态学操作滤除噪声，采用图像的面积特征消除运动目标区域的虚目标，得到当前帧的船舶二值图像区域； 

5)目标跟踪：对当前帧中的每个运动船舶均采用Kalman滤波器预测其在下一帧图像中的位置，并更新Kalman滤波器的状态，作为再下一帧跟踪的初始值，具体为： 

51)对每帧图像的船舶二值图像区域，采用最小外接矩形来标定得到运动船舶区域； 

52)对于每个需要跟踪的运动船舶区域，设置一个Kalman参数结构，设状态变量的选取为(x,y,l,w)，其中，(x,y)为运动船舶区域的最小外接矩形的中心在像平面坐标系的 坐标，(l,w)为最小外接矩形的长、宽，由(x,y,l,w)确定运动船舶区域在当前帧的精确位置；开始跟踪时初始化状态变量，设初始中心位置为(x₀,y₀)，初始长宽为(l₀,w₀)； 

53)预测运动船舶在下一帧的运动状态以中(x_t，y_t)为中心的二值图像区域为搜索区域，获取以(x_t，y_t)为中心的所有最小外接矩形，并计算其相比初始状态变量(x₀,y₀,l₀,w₀)的运动船舶区域的中心移动距离和面积变化大小，其中，中心移动距离和面积变化最小的外接矩形为最佳匹配，以最佳匹配对应的运动状态Z＝(x_vt,y_vt,l_vt,w_vt)作为测量值； 

54)利用Z＝(x_vt,y_vt,l_vt,w_vt)更新Kalman滤波器的状态，并将更新后的状态作为下一轮预测的初始值，重复步骤53)-54)； 

6)长宽估算：利用Canny算子提取步骤4)中船舶二值图像区域的轮廓，采用最小二乘法拟合步骤5)跟踪得到的运动船舶区域的矩形中心，得到运动船舶航行轨迹，确定船舶的主轴，计算主轴与运动船舶轮廓的交点连线的长度，所得长度为船舶的长度，取轮廓垂直到主轴的最长距离为船舶的宽度； 

7)超长、超宽检测：将步骤6)中估算的船舶长、宽与事先设定好的阈值比较，判断该运动船舶是否超长超宽。 

4.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法，其特征是步骤1)中兴趣区域的提取方法具体为：根据实际监控需要，在当前帧上选取不少于3个点，对获取的点集进行直线拟合，并合并成多边形，多边形内即为检测的兴趣区域。 

5.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法，其特征是步骤2)中根据摄像机的成像模型，构建摄像机的像平面坐标系u–v与世界坐标系X_w–Y_w–Z_w的变换关系： 

      (1) 

其中，f为镜头有效焦距，摄像机立柱高度为H，摄像机的俯仰角为q，偏角为p，s为旋角，在交互式网格标定中，调整标定系统中的摄像机高度、焦距、俯仰角和偏角，根据所述参数对应的网格与实际摄像视频的对比确认当前参数是否调整准确。 

6.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法，其特征是步骤4)中提取船舶二值图像区域的方法为： 

41)连续采集视频序列的前N帧图像I₁,I₂,...,I_N，将该N帧图像对应像素值作为初始背景模型B的样本，背景模型B(i,j)为： 

B(i,j)＝{I₁(i,j),I₂(i,j),...,I_N(i,j)}        (2) 

i，j表示像素坐标； 

42)根据背景的动态运动程度设置阈值R(i,j)，定义一个最小距离的集合D(i,j)： 

D(i，j)＝{D₁(i，j)，D₂(i，j)，…，D_N(i，j)}              (3) 

其中，D_k(i,j)＝min{dist(I_m(i,j),I_t(i,j))}，dist(·)表示欧氏距离，k＝1,…,N，m＝1,…,N，k≠m； 

对D(i,j)内元素进行求和平均，得到d_min(i,j)表征背景的动态运动程度，定义为： 

通过d_min(i,j)实现R(i,j)的自适应更新，如下式： 

其中，α₁、α₂和η是控制R(i,j)自适应变化的参数，对于静态背景，d_min(i,j)趋于稳定，R(i,j)慢慢减小最终趋于稳定值d_min(i,j)·η，当出现动态背景扰动时，R(i,j)则根据式(5)慢慢增加来适应这一扰动； 

43)计算当前帧图像I_n(i,j)与背景模型B(i,j)的相似度U_n(i,j) 

44)如果相似度小于设定的阈值U_min，则该像素为前景像素点，设为“1”，否则为背景像素点，设为“0”，得到当前帧的二值图像F_n(i,j)： 

45)利用形态学操作滤除噪声，采用图像的面积特征消除运动目标区域的虚目标，得到运动船舶二值图像区域。