CN104660994A - 海事专用摄像机及海事智能监控方法 - Google Patents

Abstract

本发明公开了一种海事专用摄像机及海事智能监控方法，其中海事专用摄像机包括：信息采集单元，用于获取船舶自动识别系统发送的目标基本信息；估算单元，用于根据目标的基本信息，估算出该目标到达视频监控边界的时间和地点并定期进行修正；视频数据处理单元，用于根据估算的时间和地点，当船舶进入视频采集区域时，采集视频数据，采取基于调频的显著性检测算法对视频数据进行处理，得到目标信息；匹配单元，用于将目标信息和AIS信息进行匹配，在视频中对目标进行标定，并保持跟踪，直到其离开监控区域。本发明将AIS海事信息系统和视频信息有机的整合在摄像机中，可以直接在视频中显示出运动船舶的AIS信息。

Description

海事专用摄像机及海事智能监控方法

技术领域

本发明涉及智能监控领域，尤其涉及一种基于AIS和CCTV的海事智能监控方法及海事专用摄像机。

背景技术

AIS(Automatic Identification System，船舶自动识别系统)是继ARPA(雷达自动标绘仪)和ECDIS(电子海图显示和信息系统)后随着计算机与电信技术的飞速发展而产生的一种新型船舶助航设备。具有信息量大、能越障碍传输、抗天气干扰能力强、显示近距离目标等优点，与电子海图相结合使用可以在电子海图上显示船名等标识、船位、航向、航速、船首向和航行状态等信息，AIS作为一种新兴的科学技术促进了海事管理的信息化和智能化建设，AIS与其他信息技术(如GPS)的结合更是积极地推动了“数字海事"的建设。

将摄像机用在海事监控领域进而形成CCTV(Closed Circuit Television，闭路电视)监控网，己经成为VTS(Vessel Traffic Services，船舶交通服务)系统获取目标信息的重要途径。它在增进船舶航行安全，促进港行水路运输发展，减少水上交通事故，提高船舶通航率，尤其在近岸海难船舶救助、重要船舶监控、重点水域(如桥区、港区)的目标监视、船舶违章操作监控等方面，视频监控系统发挥了不可替代的功能。

但是由于AIS和摄像机录制的视频信息是分别独立的，AIS信息虽然可以在电子海图上显示，但是毕竟没有视频信息直观；而视频信息虽然直观但是信息量繁多，必要的时候如果查询起来仅仅靠人工工作量非常的大和复杂。故为提高海事监控的智能化水平，实现CCTV与ECDIS、VTS的联动，将AIS和视频信息两者结合，提供一种海事专用的摄像机非常具有前景。

发明内容

本发明的目的在于，提供一种基于AIS的海事专用摄像机，将AIS和视频信息两者结合，实现直接在视频中显示船舶的AIS信息的目的，而不需要工作人员对着视频和电子地图及AIS信息查找船舶。

本发明解决其技术问题所采用的技术方案是：

提供一种海事专用摄像机，包括：

信息采集单元，用于获取船舶自动识别系统发送的目标基本信息，该目标基本信息为：当运动目标进入AIS接收机覆盖区域，AIS接收机接收目标的AIS信息并对其解析所得到的结果；

估算单元，用于根据目标的基本信息，估算出该目标到达视频监控边界的时间和地点并定期进行修正；

视频数据处理单元，用于根据估算的时间和地点，当船舶进入视频采集区域时，采集视频数据，采取基于调频的显著性检测算法对视频数据进行处理，得到目标信息；具体采用高斯差分算子DoG作为带通滤波器，并通过边缘特征检测的方法进行精确检测，得到整幅图像的显著图谱，实现水面与水上目标的分割；

匹配单元，用于将目标信息和AIS信息进行匹配，在视频中对目标进行标定，并保持跟踪，直到其离开监控区域。

本发明所述的系统中，所述目标的基本信息包括船舶位置信息、大小、速度、航向以及船舶标识号。

本发明所述的系统中，所述匹配单元具体用于将目标均匀分成N个大小相等的格子，每个格子相互独立，被认为是“子目标”，以每个格子中的像素点作为初始特征点；利用金字塔光流法在连续的相邻视频帧之间分别估计每个格子的运动，最终目标的运动由N个格子的跟踪获得。

本发明所述的系统中，所述匹配单元具体用于当船舶在估算的时间和地点进入视频监控区域，将所述目标信息与AIS信息进行初步匹配；将所述目标基本信息与所述特征数据进行关联匹配，识别出运动船舶，并进行进一步关联并判断，如果与初步匹配的信息一致，则在视频中显示船舶AIS信息，否则隔一时间段重新通过视频数据处理单元进行处理。

本发明还提供了一种基于AIS和CCTV的海事智能监控方法，包括以下步骤：

S1、获取船舶自动识别系统发送的目标基本信息，该目标基本信息为：当运动目标进入AIS接收机覆盖区域，AIS接收机接收目标的AIS信息并对其解析所得到的结果；

S2、根据目标的基本信息，估算出该目标到达视频监控边界的时间和地点并定期进行修正；

S3、根据估算的时间和地点，当船舶进入视频采集区域时，采集视频数据，采取基于调频的显著性检测算法对视频数据进行处理，得到目标信息；具体采用高斯差分算子DoG作为带通滤波器，并通过边缘特征检测的方法进行精确检测，得到整幅图像的显著图谱，实现水面与水上目标的分割；

S4、将目标信息和AIS信息进行匹配，在视频中对目标进行标定，并保持跟踪，直到其离开监控区域。

本发明所述的方法中，所述目标的基本信息包括船舶位置信息、大小、速度、航向以及船舶标识号。

本发明所述的方法中，步骤S4中将目标信息和AIS信息进行匹配具体包括步骤：

当船舶在估算的时间和地点进入视频监控区域，将所述目标信息与AIS信息进行初步匹配；将所述目标基本信息与所述特征数据进行关联匹配，识别出运动船舶，并进行进一步关联并判断，如果与初步匹配的信息一致，则在视频中显示船舶AIS信息，否则隔一时间段重新转到步骤S3。

本发明所述的方法中，步骤S4中通过改进的中值流跟踪算法对目标进行跟踪，具体为：

将目标均匀分成N个大小相等格子，每个格子相互独立，被认为是“子目标”，以每个格子中的像素点作为初始特征点；

利用金字塔光流法在连续的相邻视频帧之间分别估计每个格子的运动，最终目标的运动由N个格子的跟踪获得。

本发明产生的有益效果是：本发明将AIS海事信息系统和视频信息有机的整合在摄像机中，可以直接在视频中显示出运动船舶的AIS信息，提高水上交通应急反映速度，提升管理人员的的工作效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例海事智能监控方法流程图；

图2为本发明实施例中AIS和监控区域对应示意图；

图3为本发明另一实施例基于AIS和CCTV的海事智能监控方法流程图；

图4为本发明实施例的海事专用摄像机结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的海事智能监控方法主要包括以下步骤：

S1、获取船舶自动识别系统发送的目标基本信息，该目标基本信息为：当运动目标进入AIS接收机覆盖区域，AIS接收机接收目标的AIS信息并对其解析所得到的结果；

S2、根据目标的基本信息，估算出该目标到达视频监控边界的时间和地点并定期进行修正；

S3、根据估算的时间和地点，当船舶进入视频采集区域时，采集视频数据，采取基于调频的显著性检测算法对视频数据进行处理，得到目标信息；具体采用高斯差分算子DoG作为带通滤波器，并通过边缘特征检测的方法进行精确检测，得到整幅图像的显著图谱，实现水面与水上目标的分割；

S4、将目标信息和AIS信息进行匹配，在视频中对目标进行标定，并保持跟踪，直到其离开监控区域。

本发明的实施例中，采用两个核心算法，(1)基于频谱的水上运动目标检测和(2)改进的中值流跟踪算法，下面将对这两个算法进行简要描述。

(1)基于频谱的水上运动目标检测：

首先，充分考虑水面环境的特点：图像中大部分的水面背景，由于波浪的动态影响和颜色均匀性，占据着图像光谱中较低的部分和较高的部分；而作为水面上的船舶目标则占据着其他频带的光谱。本发明采取基于调频(Frequency-turned)的显著性检测算法来获取整幅图像的显著图谱，实现水面与水上目标的分割。该算法主要目的是移除图像中的低频部分(背景)和较高频部分(噪声和纹理)，从而保留显著性目标。该算法拟采用DoG(高斯差分算子)作为带通滤波器，DoG滤波器是高斯拉普拉斯算子的有效近似，能够很好地检测图像边缘，用公示(1)表示。

$\mathrm{DoG}(x,y)=\frac{1}{2\mathrm{\π}}\left[\begin{array}{cc}\frac{1}{{\mathrm{\σ}}_1^2}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}_1^2}}& -\frac{1}{{\mathrm{\σ}}_2^2}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}_2^2}}\end{array}\right]---\left(1\right)$

其中σ1和σ2是高斯方差，两个方差因子之间的比例ρ一定且大于1。一个DoG滤波器是一个简单的受ρ控制的带通滤波器，而N个DoG滤波器组合代表着N个边缘检测算子的融合，即将图像中所有的显著区域被包括进去。通过选择合适的ρ，原始图像与该组合滤波器卷积，可以得到较完整的显著性(非水面)信息，组合滤波器的具体公式(2)如下，最终通过与原始图像的卷积，感兴趣的区域(包含船舶、桥梁及航标等)被保存下来。

$\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}G(x,y,{\mathrm{\ρ}}^{n+1}\mathrm{\σ})-G(x,y,{\mathrm{\ρ}}^n\mathrm{\σ})=G(x,y,{\mathrm{\ρ}}^N\mathrm{\σ})-G(x,y,\mathrm{\σ})---\left(2\right)$

然后，本发明采取边缘特征检测的方法对保存下来的各个区域进行精确检测，实现船舶及其他水上目标的识别分类。假设每一种水上目标都存在特殊的结构特征，比如船舶共有的形状特点：具有两个并行的边线特征。而HoG作为一种图像局部特征的描绘方式，对目标的边缘特征能够很好地表达。因此，可以采用船舶的HoG特征算子对AdaBoost分类器进行训练。AdaBoost分类器是由T个弱分类器组成，这些弱分类器是仅有几次分裂的据册数。最后决定的时候将复制权重αt给每个分类器。训练结束之后，最后的强分类器接受输入向量x，即待测区域的HoG特征向量，使用多有弱分类器的加权和来进行分类。

$H\left(x\right)=\mathrm{sign}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)\right)---\left(3\right)$

这里，符号函数将所有正数变为1，即该区域为目标区域，把所有负数变为-1，则代表非目标区域。

(2)改进的中值流跟踪算法

在水面环境中，船舶作为目标容易受到光照的影响，在视觉上呈现出的模型特征不够稳定，造成目标船舶间断性的“丢失”现象，本发明采用改进的中值流跟踪算法。

一般，中值流跟踪算法利用目标框来表示目标，并在连续的相邻视频帧之间估计目标的运动。具体原理为在上一帧的目标框中选择若干个像素点作为特征点，在下一帧中寻找上一帧中的特征点在当前帧中的对应位置。然后，将这若干个特征点在相邻帧之间的位移变化进行排序，然后求其中值，进而得到目标的位移矢量。

在此基础上，本发明实施例提出一种改进的中值流跟踪算法，提高了其局部抗干扰的能力，具体方案为：拟将目标均匀分成N个大小相等格子，每个格子相互独立，被认为是“子目标”，以每个格子中的像素点作为初始特征点；然后利用金字塔光流法在连续的相邻视频帧之间分别估计每个格子的运动，最终目标的运动由N个格子的跟踪获得。这样的话，即便目标被局部遮挡或者局部强光干扰，中值流跟踪算法也能可靠地估计目标的运动。

在本发明的另一实施例中，首先监控区域的范围如图2所示，监控区域的范围在图中为一四边形，其顶角分别为(X1，Y1)、(X2，Y2)、(X3，Y3)、(X4，Y4)，进而得到监控区域边界的地理信息。

步骤S101、当船舶进入到AIS接收机的区域范围，AIS接收机接收到数据并解析船舶位置信息、大小、速度和航向以及船舶标识号等信息，传到服务器，服务器根据船舶所在位置和视频监控区域的位置，估算出该目标到达视频监控边界的时间t0和地点(X0,Y0)，并每隔一段时间修正一次；

步骤S102：当船舶在估算的时间t0和估算的地点(X0,Y0),进入视频监控区域，完成该运动目标和AIS信息的初步匹配；

步骤S103：对每一帧视频数据分析，得到目标的信息，其过程包括：

1、运动目标的检测，首先采用混合高斯模型对背景进行建模，例如对350帧背景图像(不含目标的图像)的像素进行统计，利用像素在此时间段内的大量样本值并假设其概率密度服从高斯分布，建立每一个像素的多模态高斯分布函数，并得到对应的均值、方差信息。设像素为随机变量X{x₁,x₂,…x_N},N＝350,x_t为t时刻像素的样本，则其服从的混合高斯分布概率密度函数如下：

$p\left(x_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}[w_{i,t}\×\frac{1}{{\left|{\mathrm{\τ}}_{i,t}\right|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-u_{i,t})}^T{u_{i,t}}^{-1}(x_t-u_{i,t})}]$

${\mathrm{\τ}}_{i,t}={\mathrm{\δ}}_{i,t}^{2}I$

其中K为分布模式总数，w_i,t为t时刻第i个高斯分布的权值，u_i,t为其均值，τ_i,t为其协方差矩阵，δ_i,t为方差，I为三维单位矩阵。

然后，使用统计差分(3σ原则)对之后待检测的图像进行目标像素判断。每一个新像素x_t同当前每个模式进行比较，符合|x_t-u_i,t|≤2.5σ_i,t则属于背景，否则属于前景(运动目标)。

2、运动目标的特征计算，可以利用图像不变矩获取运动目标的精确信息，包括位置、面积，运动速度等信息；例如第(p+q)阶不变矩公式如下：

$m_{\mathrm{pq}}=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{i}^p{j}^{q}f(i,j)$

其中，i,j分别为图像的行、列，f(i,j)为图像灰度值。

根据不变矩特性，求得目标的质心位置和图像中所占的面积大小，并以此推断出目标在实际场景中的运动速度。设(x_o,y_o)为目标在图像当中的质心位置，s为其面积，v为其速度，已知图像像素的大小与实际场景尺寸(m)的缩放比例为q，则

$\begin{array}{cc}{x}_o=\frac{m_{10}}{m_{00}}& y_o=\frac{m_{01}}{m_{00}}\end{array}$

s＝m₀₀

$v=q\frac{\sqrt{{(x_{o,n}-x_{o,n-1})}^2+{(y_{o,n}-y_{o,n-1})}^2}}{1/\mathrm{fps}}(m/s)$

其中，(x_o，n,y_o.n)为当前帧目标的质心位置，(x_o，n-1,y_o.n-1)为上一帧目标的质心位置，fps为摄像机的帧率。

3、运动目标的识别和判定，根据上述特征数据判定运动目标类型：(a)因为一般船舶的面积都要大于水上漂浮物，而且船舶的形状一般具备固定模型，根据模型大小和形状信息首先判定该运动目标是船舶还是一般的水上漂浮物，如果是船舶，再根据它的形状模型和服务器中的数据进行目标匹配，初步判别出它的类型信息；

步骤S104：进行AIS和船舶信息的匹配，包含如下步骤：对接收到的运动船舶的AIS信息进行解析并与上述计算的船舶特征进行关联匹配，识别出运动船舶来，实现AIS信息与船舶信息的进一步关联并判断，如果与初步匹配的信息一致即在视频中显示船舶AIS信息，否则需要隔一时间段重新转到步骤S103计算并比较；

步骤S105：对船舶进行标定并采用基于多特征融合的自适应Mean-shift目标跟踪算法对运动船舶进行跟踪，直到该运动船舶离开监控区域；Mean-shift算法的思想是利用概率密度的梯度爬升寻找局部最优。当运用上述运动检测算法将目标船舶与背景分割开来之后，目标船舶的轮廓及图像特征信息可以从原图中获取，如采用目标的颜色直方图、纹理作为特征。算法利用这些特征信息进行反向投影从而得到反向投影图。反向投影图实际上是一张代表目标船舶在全图中各个像素位置存在的可能性的概率密度图，可以用以下公式表示：

$K_{h_s,h_r}\left(x\right)=\frac{C}{{h_s}^2{h}_r^2}K\left({\left|\right|\frac{x^s-x_i^s}{h_s}\left|\right|}^2\right)K\left({\left|\right|\frac{x^r-x_i^r}{h_r}\left|\right|}^2\right)$

其中，K()为高斯核函数。x^r为位置向量，h_r为相应半径，x^s为特征向量，h_s为相应半径。最后，根据反向投影图和物体的轮廓进行Mean-shift迭代求优，由于算法不断向重心移动的特性，即反向投影图中概率大的地方移动，所以始终对目标保持准确跟踪。

本发明实施例海事专用摄像机，将AIS和视频信息两者结合，实现直接在视频中显示船舶的AIS信息的目的，而不需要工作人员对着视频和电子地图及AIS信息查找船舶。如图4所示，包括：

信息采集单元，用于获取船舶自动识别系统发送的目标基本信息，该目标基本信息为：当运动目标进入AIS接收机覆盖区域，AIS接收机接收目标的AIS信息并对其解析所得到的结果；

估算单元，用于根据目标的基本信息，估算出该目标到达视频监控边界的时间和地点并定期进行修正；所述目标的基本信息包括船舶位置信息、大小、速度、航向以及船舶标识号。

视频数据处理单元，用于根据估算的时间和地点，当船舶进入视频采集区域时，采集视频数据，采取基于调频的显著性检测算法对视频数据进行处理，得到目标信息；具体采用高斯差分算子DoG作为带通滤波器，并通过边缘特征检测的方法进行精确检测，得到整幅图像的显著图谱，实现水面与水上目标的分割；

匹配单元，用于将目标信息和AIS信息进行匹配，在视频中对目标进行标定，并保持跟踪，直到其离开监控区域。

本发明的一个实施例中，所述匹配单元具体用于将目标均匀分成N个大小相等的格子，每个格子相互独立，被认为是“子目标”，以每个格子中的像素点作为初始特征点；利用金字塔光流法在连续的相邻视频帧之间分别估计每个格子的运动，最终目标的运动由N个格子的跟踪获得。

进一步地，所述匹配单元具体用于当船舶在估算的时间和地点进入视频监控区域，将所述目标信息与AIS信息进行初步匹配；将所述目标基本信息与所述特征数据进行关联匹配，识别出运动船舶，并进行进一步关联并判断，如果与初步匹配的信息一致，则在视频中显示船舶AIS信息，否则隔一时间段重新通过视频数据处理单元进行处理。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种海事专用摄像机，其特征在于，包括：

信息采集单元，用于获取船舶自动识别系统发送的目标基本信息，该目标基本信息为：当运动目标进入AIS接收机覆盖区域，AIS接收机接收目标的AIS信息并对其解析所得到的结果；

估算单元，用于根据目标的基本信息，估算出该目标到达视频监控边界的时间和地点并定期进行修正；

视频数据处理单元，用于根据估算的时间和地点，当船舶进入视频采集区域时，采集视频数据，采取基于调频的显著性检测算法对视频数据进行处理，得到目标信息；具体采用高斯差分算子DoG作为带通滤波器，并通过边缘特征检测的方法进行精确检测，得到整幅图像的显著图谱，实现水面与水上目标的分割；

匹配单元，用于将目标信息和AIS信息进行匹配，在视频中对目标进行标定，并保持跟踪，直到其离开监控区域。

2.根据权利要求1所述的系统，其特征在于，所述目标的基本信息包括船舶位置信息、大小、速度、航向以及船舶标识号。

3.根据权利要求2所述的系统，其特征在于，所述匹配单元具体用于将目标均匀分成N个大小相等的格子，每个格子相互独立，被认为是“子目标”，以每个格子中的像素点作为初始特征点；利用金字塔光流法在连续的相邻视频帧之间分别估计每个格子的运动，最终目标的运动由N个格子的跟踪获得。

4.根据权利要求2所述的系统，其特征在于，所述匹配单元具体用于当船舶在估算的时间和地点进入视频监控区域，将所述目标信息与AIS信息进行初步匹配；将所述目标基本信息与所述特征数据进行关联匹配，识别出运动船舶，并进行进一步关联并判断，如果与初步匹配的信息一致，则在视频中显示船舶AIS信息，否则隔一时间段重新通过视频数据处理单元进行处理。

5.一种基于AIS和CCTV的海事智能监控方法，其特征在于，包括以下步骤：

S1、获取船舶自动识别系统发送的目标基本信息，该目标基本信息为：当运动目标进入AIS接收机覆盖区域，AIS接收机接收目标的AIS信息并对其解析所得到的结果；

S2、根据目标的基本信息，估算出该目标到达视频监控边界的时间和地点并定期进行修正；

S3、根据估算的时间和地点，当船舶进入视频采集区域时，采集视频数据，采取基于调频的显著性检测算法对视频数据进行处理，得到目标信息；具体采用高斯差分算子DoG作为带通滤波器，并通过边缘特征检测的方法进行精确检测，得到整幅图像的显著图谱，实现水面与水上目标的分割；

S4、将目标信息和AIS信息进行匹配，在视频中对目标进行标定，并保持跟踪，直到其离开监控区域。

6.根据权利要求5所述的方法，其特征在于，所述目标的基本信息包括船舶位置信息、大小、速度、航向以及船舶标识号。

7.根据权利要求6所述的方法，其特征在于，步骤S4中将目标信息和AIS信息进行匹配具体包括步骤：

当船舶在估算的时间和地点进入视频监控区域，将所述目标信息与AIS信息进行初步匹配；将所述目标基本信息与所述特征数据进行关联匹配，识别出运动船舶，并进行进一步关联并判断，如果与初步匹配的信息一致，则在视频中显示船舶AIS信息，否则隔一时间段重新转到步骤S3。

8.根据权利要求6所述的方法，其特征在于，步骤S4中通过改进的中值流跟踪算法对目标进行跟踪，具体为：

将目标均匀分成N个大小相等格子，每个格子相互独立，被认为是“子目标”，以每个格子中的像素点作为初始特征点；

利用金字塔光流法在连续的相邻视频帧之间分别估计每个格子的运动，最终目标的运动由N个格子的跟踪获得。