CN106910204A - 一种对海面船只自动跟踪识别的方法和系统 - Google Patents

Abstract

本发明提供了一种海面船只自动跟踪识别的方法和系统，所述方法包括：对原图像中像素点的分析，得到动目标的前景点；将所述前景点作为掩码从所述原图像中分割提取出动目标的图像，对所述动目标的质心进行卡尔曼滤波，得到所述动目标的速度和航向；关联前后帧内动目标的质心，得到所述动目标的航迹。所述系统包括前景点分析模块、第一计算模块和第二计算模块。本发明通过在海平面上提取动目标的前景点，并获得动目标的运动速度和航迹，识别出船类型，最后显示动目标的航迹信息。

Description

一种对海面船只自动跟踪识别的方法和系统

技术领域

本发明涉及图像识别技术领域，尤其涉及对海面船只自动跟踪识别的方法和系统。

背景技术

在沿海城市的港口和码头，需要对来往船只进行实时监控和自动跟踪，掌握船只的类型、形状及运动轨迹，确保海岸线和边境的安全。

现有技术一般采用人工察看监控大屏的办法，不仅需要手动操作录取跟踪目标，还需要人工报警，自动化程度较低。

发明内容

本发明实施例提出了一种对海面船只自动跟踪识别的方法，所述方法包括：

对监控海面的原图像中像素点进行分析，得到动目标的前景点；

将所述前景点作为掩码从所述原图像中分割提取出动目标的图像，聚类获得所述动目标的质心，采用卡尔曼滤波得到所述动目标的速度和航向；

对前后帧图像中动目标的质心进行关联，得到所述动目标的航迹。

本发明实施例还提供了一种对海面船只自动跟踪识别的系统，所述系统包括：

前景点分析模块，用于对原图像中像素点的分析，得到动目标的前景点，对所述动目标的前景点进行色彩检测和高斯降噪处理；

第一计算模块，用于将所述前景点作为掩码从所述原图像中分割提取出动目标的图像，聚类获取所述动目标的质心，采用卡尔曼滤波得到所述动目标的速度和航向；

第二计算模块，用于根据所述第一计算模块得到的所述动目标的速度和航向，关联前后帧图像中动目标的质心得到所述动目标的航迹。

有益效果如下：

本发明提供的方案，不仅能从海洋环境背景中检测出运动的船只，进而分配批号、计算相对航速、航向和关联航迹点，实现对动目标在线实时地跟踪，而且能根据预设的船只类型模板匹配和识别出动目标的船只类型，大大地提高了监控设备的智能化水平，为实现自动监测报警、无人值守提供了必要的条件。

先后采用了混合高斯模型、色彩检测、高斯降噪三种方法，准确地提取到动目标的前景点。为了能对动目标进行持续地跟踪，采用了卡尔曼滤波算法，获得了目标的运动速度和航迹。为了能识别出与模型库中模板相应的船类型，先利用前景点作为掩码从原图像中分割出动目标，与模板进行比较匹配，再采用主成分分析和神经网络后向传播算法，正确地识别出船类型，最后显示航迹信息。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1示出了本发明实施例一中对海面船只自动跟踪识别的方法流程图；

图2示出了本发明实施例一中原图像中像素点的分析得到动目标的前景点的方法流程图；

图3a示出了本发明实施例一中采集到的原图像；

图3b示出了本发明实施例一中采用混合高斯模型提取的前景点；

图4示出了本发明实施例一中经过色彩检测后的前景点；

图5示出了本发明实施例一中高斯卷积处理后的前景点；

图6示出了本发明实施例一中卡尔曼滤波后的跟踪批号；

图7示出了本发明实施例一中分割提取出的船只示意图；

图8示出了本发明实施例一中匹配识别出的类型及识别率；

图9示出了本发明实施例一中显示动目标的航迹信息及类型；

图10示出了本发明实施例二中对海面船只自动跟踪识别的系统结构示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

高清摄像机一般每秒采集25帧图像，每帧1080P格式图像尺寸为1920×1080，具有207万个像素点，而每个像素点用3个字节表示彩色RGB分量，因此在1秒钟之内需要处理1.5亿字节，对图像处理的实时性要求极高。为了能快速、高效地处理数据，本发明采用了分模块和多线程并行处理技术。

由于在海面上常有若隐若现的波浪和停泊晃动的船只，在天空上有飘移的云朵和飞行的鸟群等干扰物出现，这些都是跟踪识别过程中需要解决的难题。为了能自动地从海杂波中检测出动目标，分别从时间、色彩和空间不同角度，准确地提取到动目标的前景点，并获得目标的运动速度和航迹，进而得到动目标的航迹信息。

实施例一

如图1所示，本发明提出一种对海面船只自动跟踪识别的方法，所述方法包括：

步骤101：对监控海面的原图像中像素点进行分析，得到动目标的前景点；

其中，本发明为了能自动地从海杂波中检测出动目标，分别从时间、色彩和空间不同角度进行分析，具体采用了混合高斯模型、色彩检测、高斯降噪三种方法，准确提取出动目标的前景点。

1)混合高斯模型提取前景点

步骤1011：对监控海面的原图像中每个像素点建立高斯分布模型；

其中，为图像中每个像素点建立K类高斯分布的模型，每类模型出现的概率为ω_k=P(k)，k=1，2，…，K， (1)

而出现在所有模型内的总概率为第k类模型符合高斯正态分布：

其中X是像素点的测量矢量，n是测量矢量的维数，当只有亮度分量时n取值为1，当采用RGB分量时n取值为3，μ_k是第k类高斯分布的均值，∑_k是协方差矩阵，在线性彩色空间中用标量σ_k近似代替。用比值进行降序排列后，设定前景点分离门限值为T，满足以下条件的为背景点的高斯分布模型：

步骤1012：判断每个像素点建立的高斯分布模型是否在预设的背景点的高斯分布范围内，像素点不在背景点的高斯分布范围内时，将像素点识别为动目标的前景点。

其中，当像素点落在背景点的高斯分布范围内，表明该点为背景点，否则为前景点并进行提取。

本发明采集到的原图像如图3a所示，采用混合高斯模型提取的前景点如图3b所示。

2)对前景点进行色彩检测消除阴影

步骤1013：对图像中每个像素点的RGB分量建立三种不同方差的正态高斯分布模型，计算图像中每个像素点的亮度失真度和色彩失真度；

具体的，为图像中每个像素点颜色的RGB分量分别建立3种不同方差的正态高斯分布模型，第i个像素点的期望均值为为使输入的新分量值与均值间的误差最小，令误差函数的一阶导数为零，从而获得最佳亮度失真度α_i：

其中μ_R(i)，μ_G(i)和μ_B(i)分别为第i个像素点红色、绿色和蓝色的均值，σ_R(i)，σ_G(i)和σ_B(i)分别为红色、绿色和蓝色的标准差。色彩失真度定义为输入的颜色与期望颜色之间的正交距离：

对于N帧图像中第i个像素点的亮度失真度和色彩失真度用均方根表示为：

步骤1014：对动目标的每个前景点的亮度失真度和色彩失真度进行归一化处理，得到每个前景点的归一化亮度失真度和归一化色彩失真度；

图像中不同的像素点有不同分布情况，为了能简单使用统一门限值，重新标定亮度失真度和色彩失真度，可理解为归一化亮度失真度和归一化色彩失真度：

和

根据计算出的和对像素点进行分类处理，属于原始背景点(Background)用B表示，属于阴影点(Shadow)用S表示，属于高亮背景点(Highl ighted)用H表示，移动前景点(Foreground)用F表示，分类判断公式如下：

上述根据归一化的亮度失真度和色彩失真度，对图像中的所有像素点进行分类，得到分类结果，分类结果包括原始背景点、阴影点、高亮背景点和移动前景点。

步骤1015：判断动目标的每个前景点的归一化亮度失真度及归一化色彩失真度与预设亮度门限或预设色彩门限的关系，保留动目标的前景点或删除阴影点、背景点和高亮点。

具体的，若动目标的前景点的归一化色彩失真度大于预设色彩门限，保留这些动目标的前景点，另外当运动目标较暗时，其归一化色彩失真度将小于预设色彩门限，为了保留该类动目标，将归一化亮度失真度大于零小于预设亮度门限的前景点也保留；

相反，若动目标的前景点的归一化色彩失真度小于等于预设亮度门限，且动目标的前景点的归一化亮度失真度小于零时，将动目标的前景点作为阴影点进行删除。

对已获得前景点的色彩失真度大小进行判断，当大于门限τ_CD时表明该点色彩变化很大属于前景点给予保留，相反小于门限满足其他条件的背景点、阴影点和高亮点给予删除。另外，当目标亮度很小的情况下其色彩失真度也很小，如果亮度失真度大于零小于门限τ_alo时表明该点属于暗目标的前景点需要保留。

本发明中，在色彩失真度小于门限时，将归一化亮度失真度小于一定门限(如τ_a2＝0.4)而大于0的暗目标保留，将大于等于门限0.4的前景点删除，此处τ_a2＝0.4，τ_a1＝1，将色彩失真度小于门限且归一化亮度失真度在门限区间[0.4，1]内的背景点删除，对于亮度有0、0.4、1共3个门限值，0以下的点是阴影点，1以上的点是高亮点。

图4为经过色彩检测后的前景点，海面波浪引起的噪声点明显减少，而动目标无损失地保留下来。

3)高斯降噪处理

经过以上两个步骤处理后，虽然能获得动目标的前景点，但仍有少量的噪声点，将对下一步的动目标跟踪处理造成不良影响，为了降低动目标检测的虚警率，提高动目标跟踪的准确性，本发明针对噪声点出现位置随机、出现时间短的特点，提出一种前景点高斯卷积降噪的方法，方差为σ²的高斯分布函数：

对已获得的前景点采用高斯分布函数进行卷积后，与前一帧前景点卷积值相累加，对累加值小于检测门限的前景点给予删除，经过处理后有效地消除了海浪产生的噪声点。

本发明实施例对动目标的前景点进行高斯降噪处理，具体包括：

步骤1016：对所述动目标的前景点与高斯分布函数进行卷积运算，将卷积运算结果与动目标前一帧前景点卷积值相累加；对累加值小于检测门限的前景点进行删除，以消除海浪产生的噪声点。

图5是高斯降噪处理后的前景点，零散的海浪噪声点卷积后强度几乎为零，而较大面积的动目标能够很好地被保留下来，再通过K均值聚类算法检测出动目标的宽度、高度和质心。图中方框表示动目标的大小，用点表示动目标的质心位置，检测到的第一个动目标用T1表示，第二个动目标用T2表示。

本发明实施例提供的K均值聚类算法具体为：先选取K个较大面积对象作为初始的聚类中心，然后计算每个前景点与各个中心之间的距离，把每个前景点分配给距离它最近的聚类中心；每个聚类的聚类中心会根据聚类中现有的点被重新计算，不断重复上述步骤，直到聚类中心不再发生变化。

上述通过混合高斯模型、色彩检测、高斯降噪三种方法，准确提取到动目标的前景点之后，本发明实施例对动目标进行跟踪得到动目标的速度和航向。

步骤102：将前景点作为掩码从原图像中分割提取出动目标的图像，聚类获得动目标的质心，采用卡尔曼滤波跟踪得到动目标的速度和航向；

4)卡尔曼滤波实现目标跟踪

对于聚类获得的动目标质心，采用波门跟踪法将前后帧图像中的动目标关联起来，为不同的动目标建立唯一的批号，第一批航迹用P1表示,第二批航迹用P2表示，以此类推，并计算出动目标在摄像机坐标系中的航向和航速，当动目标受到障碍物遮挡时，还能预测外推出动目标在下一时刻的位置，提高了动目标跟踪的稳定性和连续性，如图6所示。

5)目标分割

为了消除动目标周围的背景点给匹配和识别带来的干扰和错误影响，同时为获得动目标更加丰富的色彩信息，使下一步的目标匹配和目标识别处理结果更加准确和稳定，实际应用中，采用高斯降噪后的前景点作为掩码，对原始图像进行“与”操作，分割和提取出运动船只的图像。

I(x，y，t)＝I₀(x，y，t)∩F(x，y，t) (11)

从原图像提取的船只如图7所示，左侧的船只从蓝色海水中分割出来，右侧的船只从停泊的货轮中分割出来。

步骤103：对前后帧图像中动目标的质心进行关联，结合动目标的速度和航向，得到动目标的航迹。

本发明通过质心代表目标，在该步骤关联质心能够得到动目标前后运动的航迹，起批跟踪为锁定目标。为了方便察看海面上船只的运动情况，需要将动目标的跟踪和识别处理结果实时地显示处理。对静止的船只不检测和显示，而对运动的船只用红色方框圈起来，在方框左上角显示船只在摄像机坐标系中的运动速度，单位为像素点每秒(pps)，在左下角显示匹配和识别出船只的类型名，在方框内部的绿点表示采用卡尔曼滤波得到的质心位置，红色数字表示卡尔曼跟踪得到的目标批号，绿色折线表示船只运动的航迹，如图9所示。

另外，本发明实施例在步骤102和步骤103之间还包括如下步骤：

6)确定船只的类型

为了匹配和识别不同类型的船只，利用预设船只类型和船只图片的对应关系，将动目标的当前图像与预设的船只图片进行匹配，具体的，将当前图像缩放到预设尺寸，将缩放后的图片与预设的船只图片进行匹配，得到当前图像与预设船只图片的匹配率；当匹配率大于预设门限值，将预设船只图片对应的船只类型识别为动目标的船只类型。

实际应用中，预先建立模型库存储不同种类船只的图片和类型名称，本发明实施例中的船只类型包括货船、快艇、巡逻船、巡逻艇、游轮、运砂船等。

假如动目标的匹配率和识别率大于门限则标注模型库中匹配船只的类型名。由于移动船只与摄像机间距离不断变化，分割所提取的船只图像尺寸也随之变化，必须先缩放到与模板相同的尺寸，再与模板进行匹配，如果匹配率大于门限则标注出船只的类型名。为了提高动目标与模板的匹配速度，在程序初始化时预先计算出各种模型不同尺寸的差分图、掩码图和轮廓图。

其中，匹配率为当前图像与预设船只图片的夹角余弦距离

其中，为分割提取的动目标当前图像，为预设的船只图片，分子为当前图像与预设船只图像的矢量点积，分母为当前图像模与预设船只图片模的乘积。预先设定匹配的门限值，当计算出的匹配率小于门限时，维持原来的航迹编号不变，当匹配率大于门限时，在可图像的左上角显示匹配率和匹配次数，左下角显示出匹配模型的名称，结果如图8所示。

7)利用主成分分析(PCA)优化动目标的船只类型

采用目标与模板直接匹配的方式，存在匹配率不高，匹配结果不稳定和可靠的情况，本发明实施例为了提高匹配率，增强匹配结果的稳定性和可靠性，利用主成分分析(PCA)结合神经网络的后向传播算法对动目标进行识别，优化动目标的船只类型。

主成分分析法也叫主分量分析法，利用降维的思想，把多指标转化为少数几个综合指标(即主成分或主分量)，其中每个主成分或主分量都能够反映原始变量的大部分信息，且所含信息互不重复。

如果一个像素点对应一个神经元参与计算，预设图像有成千上万个像素点则需要大量的神经元，运算量大、处理速度缓慢，难以在线实时地识别出动目标，如果减小图像的尺寸就会降低目标分辨率导致识别率下降。

本发明实施例先采用主成分分析法获得目标在各分量的比例系数，再将比例系数作为神经元进行识别，得到动目标的第二船只类型；比较动目标的船只类型与第二船只类型是否相同，若不同，则将第二船只类型更新为动目标的船只类型；若相同，则不做更新操作。这种方法极大地提高了运算速度，实现了对动目标的在线实时识别功能。

本发明为了能自动地从海杂波中检测出动目标，首先分别从时间、色彩和空间不同角度，先后采用了混合高斯模型、色彩检测、高斯降噪三种方法，准确地提取到动目标的前景点；然后采用卡尔曼滤波算法，对动目标进行持续地跟踪，获得目标的运动速度和航迹；最后，先利用前景点作为掩码从原图像中分割出动目标，与模板进行比较匹配，再采用主成分分析和神经网络的后向传播算法，识别出与模型库中模板相应的船类型，正确地识别出船类型，同时根据动目标的速度和航向，显示出航迹信息，结果如图9所示。

实施例二

参见图10，本发明实施例提供了一种对海面船只自动跟踪识别的系统，所述系统包括：

前景点分析模块201，用于对原图像中像素点的分析，得到动目标的前景点，对动目标的前景点进行色彩检测和高斯降噪处理；

第一计算模块202，用于将前景点作为掩码从原图像中分割提取出动目标的图像，聚类得到动目标的质心，采用卡尔曼滤波得到动目标的速度和航向；

第二计算模块203，用于根据第一计算模块202得到的动目标的速度和航向，关联前后帧图像中动目标的质心获得动目标的航迹。

另外，所述系统还包括识别动目标的船只类型模块，连接第一计算模块201，根据动目标的图像与预设船只图片的匹配率，识别出动目标的船只类型。

其中，上述前景点分析模块201中对原图像中像素点的分析，得到动目标的前景点，对动目标的前景点进行色彩检测消除阴影和高斯降噪处理，是分别从时间、色彩和空间不同角度，利用混合高斯模型、色彩检测、高斯降噪三种方法，准确地提取到动目标的前景点，具体三种方法的实现，参见上述实施例一中步骤101，此次不再赘述。

上述第一计算模块202和第二计算模块203的计算方式，分别参见实施例一中步骤102和步骤103，此次不再赘述。

本发明为了能自动地从海杂波中检测出动目标，利用前景点分析模块分别从时间、色彩和空间不同角度，准确地提取到动目标的前景点；然后在第一计算模块采用卡尔曼滤波算法，获得目标的运动速度和航迹；最后，第二计算模块利用动目标的速度和航向，用波门关联前后帧内动目标的质心获得动目标的航迹。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种对海面船只自动跟踪识别的方法，其特征在于，所述方法包括：

对监控海面的原图像中像素点进行分析，得到动目标的前景点；

将所述前景点作为掩码从所述原图像中分割提取出动目标的图像，聚类获得所述动目标的质心，采用卡尔曼滤波得到所述动目标的速度和航向；

对前后帧图像中动目标的质心进行关联，得到所述动目标的航迹。

2.如权利要求1所述的方法，其特征在于，所述对监控海面的原图像中像素点进行分析，得到动目标的前景点，具体包括：

对原图像中每个像素点建立高斯分布模型；

判断所述每个像素点建立的高斯分布模型是否在预设的背景点的高斯分布范围内；

所述像素点不在所述背景点的高斯分布范围内时，将所述像素点识别为动目标的前景点。

3.如权利要求1所述的方法，其特征在于，所述得到动目标的前景点后，还对所述动目标的前景点进行色彩检测以消除阴影，具体包括：

对图像中每个前景点的RGB分量建立三种不同方差的正态高斯分布模型，计算所述图像中每个前景点的亮度失真度和色彩失真度；

对所述动目标的每个前景点的亮度失真度和色彩失真度进行归一化处理，得到每个前景点的归一化亮度失真度和归一化色彩失真度；

判断所述每个前景点的归一化亮度失真度及归一化色彩失真度与预设亮度门限或预设色彩门限的关系；

保留归一化色彩失真度大于预设色彩门限的前景点，并保留归一化亮度失真度大于零小于预设亮度门限的前景点；

将归一化色彩失真度小于等于预设色彩门限的前景点，且归一化亮度失真度大于预设亮度门限的背景点、高亮点以及小于零的阴影点，均予以删除。

4.如权利要求1-3任一所述的方法，其特征在于，所述方法对所述动目标的前景点进行色彩检测之后，还对所述动目标的前景点进行高斯降噪处理，具体包括：

对所述动目标的前景点与高斯分布函数进行卷积运算，将卷积运算结果与所述动目标前帧前景点卷积值相累加；

对累加值小于检测门限的前景点进行删除，以消除海浪产生的噪声点。

5.如权利要求4所述的方法，其特征在于，所述方法将所述前景点作为掩码从所述原图像中分割提取动目标的图像，具体包括：

将高斯降噪处理后的前景点作为掩码，对原图像进行逻辑“与”操作，分割提取出动目标的图像。

6.如权利要求4所述的方法，其特征在于，所述方法还包括获取所述动目标的当前图像，根据预设船只类型和船只图片的对应关系，得到所述动目标的船只类型，具体包括：

将所述当前图像缩放到预设尺寸，将缩放后的图片与预设的船只图片进行匹配，得到当前图像与预设船只图片的匹配率；

当所述匹配率大于预设门限值时，将所述预设船只图片对应的船只类型识别为所述动目标的船只类型。

7.如权利要求6所述的方法，其特征在于，所述方法还包括更新动目标的船只类型，具体包括：

采用主分量分析法获得所述动目标各分量的比例系数；

将所述比例系数作为神经元与预设船只图片进行识别，得到所述动目标的第二船只类型；

比较所述动目标的船只类型与所述第二船只类型是否相同，若不同，则将所述第二船只类型更新为所述动目标的船只类型；若相同，则不做更新操作。

8.如权利要求6所述的方法，其特征在于，所述当前图像与预设船只图片的匹配率为所述当前图像与预设船只图片的夹角余弦距离

$S\left(\stackrel{\→}{T},\stackrel{\→}{M}\right)=\frac{\stackrel{\→}{T}\·\stackrel{\→}{M}}{\left|\stackrel{\→}{T}\right|\left|\stackrel{\→}{M}\right|}$

其中，为分割提取动目标的当前图像，为预设的船只图片，分子为当前图像与预设船只图片的点积，分母为当前图像模与预设船只图片模的乘积。

9.一种对海面船只自动跟踪识别的系统，其特征在于，所述系统包括：

前景点分析模块，用于对原图像中像素点的分析，得到动目标的前景点，对所述动目标的前景点进行色彩检测和高斯降噪处理；

第一计算模块，用于将所述前景点作为掩码从所述原图像中分割提取出动目标的图像，聚类获得所述动目标的质心，采用卡尔曼滤波得到所述动目标的速度和航向；

第二计算模块，用于根据所述第一计算模块得到的所述动目标的速度和航向，关联前后帧图像中动目标的质心获得所述动目标的航迹。

10.如权利要求9所述的系统，其特征在于，所述系统还包括识别动目标的船只类型模块，连接所述第一计算模块，根据所述动目标的图像与预设船只图片的匹配率，识别出所述动目标的船只类型。