CN111275733A - 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法 - Google Patents

Abstract

本发明涉及一种基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，包括以下步骤：导入连续的视频帧或实时监控的视频流；利用已经训练出的深度学习检测模型，针对视频帧或实时视频流进行深度学习目标检测；对每艘船舶创建处理线程，对每艘船舶进行目标跟踪；将目标深度学习检测得到的结果与船舶跟踪预测得到的结果进行对比，并对跟踪结果进行校正。采用了本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，在对江面多艘船舶进行跟踪时，使多个跟踪器并行计算，大幅提升江面船舶跟踪速度。解决江面船舶跟踪过程中，画面中船舶尺寸变化较大，同时光照强度也会变化，从而引起跟踪丢失的问题，保证江面船舶跟踪的准确性。

Description

基于深度学习目标检测技术实现多艘船舶快速跟踪处理的 方法

技术领域

本发明涉及海事视频处理领域，尤其涉及目标跟踪领域，具体是指一种基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法。

背景技术

目标视觉跟踪，大家比较公认分为两大类：生成模型方法和判别模型方法，目前比较流行的是判别类方法。生成类方法是在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有卡尔曼滤波，粒子滤波，mean-shift等；OTB50里面的大部分方法都是判别类方法，本质就是CV中的经典套路图像特征+机器学习，当前帧以目标区域为正样本，背景区域为负样本，机器学习方法训练分类器，下一帧用训练好的分类器找最优区域。与生成类方法最大的区别是，分类器采用机器学习，训练中用到了背景信息，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类好。

判别类方法主要包含：BOOSTING跟踪，MIL跟踪，TLD跟踪和KCF跟踪算法。

(1)BOOSTING

BOOSTING跟踪器基于AdaBoost的在线版本——基于HAAR级联的面部检测器在内部使用的算法。这个分类器需要在运行时用对象的正和负例子训练。由用户提供的初始边界框作为对象的正例，并且边界框外部的许多图像补片被当作背景。给定新帧，对先前位置的邻域中的每个像素运行分类器，并记录分类器的得分。对象的新位置是得分最大的位置。

(2)MIL

MIL跟踪在概念上类似于上述的BOOSTING跟踪。最大的区别在于，BOOSTING仅考虑对象的当前位置作为正样本，而MIL在当前位置周围的小邻域中查找以生成若干潜在的正样本。在MIL中，你没有指定正和负样本，但是有正和负“包”。正包中的图像集合并不都是正样本。正包包含以对象的当前位置为中心的补丁，以及在其周围的小邻域中的补丁。即使被跟踪对象的当前位置不准确，当来自当前位置的邻域的样本被放入正包中时，很有可能这个包包含至少一个图像，其中对象正好置于居中。

(3)TLD

TLD代表跟踪，学习和检测。顾名思义，该跟踪器将长期跟踪任务分解为三个组件——(短期)跟踪，学习和检测。跟踪器跟踪对象从前一帧到当前帧；检测器定位到目前为止观察到的所有目标，并在必要时校正跟踪器；学习器估计检测器的错误并更新它以避免将来再次出现这些错误。这个跟踪器的输出有时会跳一下。例如，如果你正在跟踪行人，并且场景中还有其他行人，则该跟踪器有时可以临时跟踪与您要跟踪的行人不同的行人。

(4)KCF

KFC代表内核化相关滤波器。这个跟踪器建立在BOOSTING和MIL两个跟踪器的想法基本上。KFC利用了MIL跟踪器中使用的多个正样本具有大的重叠区域这一特性。这种重叠的数据有一些良好的数学特性，利用这个跟踪器，使跟踪更快，同时更准确。

其中，BOOSTING跟踪是一个较老的算法，目前已基本被MIL和KCF取代。MIL算法在目标被部分遮挡的情况下也能很好的检测到目标。TLD算法误报较多。KCF算法在准确度和速度都比BOOSTING和MIL更好，与TLD算法比较起来，KCF算法速度快，精确度也较高。

现有技术中，KCF算法存在以下弊端：

第一点，KCF因为在跟踪过程当中目标框是已经设定好的，从始至终大小未发生变化，但是我们的跟踪序列当中目标大小时有发生变化，这个就会导致跟踪器跟踪过程当中目标框漂移，从而导致跟踪失败；

第二点，KCF对在跟踪过程当中当目标被遮挡时候的处理问题没有进行很好的解决；

第三点，KCF在跟踪过程中，因为只引入hog特征，当光照强度发生较大变化时，目标表观特征变化较大，hog特征不足以表述目标所有特征，导致跟踪失败；

第四点，KCF本质上是单目标跟踪，目前opencv中集成的MultiTracker(“KCF”)跟踪方法，是将目标按顺序一个个进行单目标跟踪，在一帧图像有多目标跟踪时，速度极慢。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足准确性好、效率高、适用范围较为广泛的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法。

为了实现上述目的，本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法如下：

该基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，其主要特点是，所述的方法包括以下步骤：

(1)导入连续的视频帧或实时监控的视频流；

(2)利用已经训练出的深度学习检测模型，针对视频帧或实时视频流进行深度学习目标检测，检测出画面中的船舶；

(3)对每艘船舶创建处理线程，在线程中初始化船舶跟踪器，对每艘船舶进行目标跟踪；

(4)将目标深度学习检测得到的结果与船舶跟踪预测得到的结果进行对比，并对跟踪结果进行校正。

较佳地，所述的步骤(2)具体包括以下步骤：

(2.1)将图像划分为网格，判断物体中心是否落在某网格内，如果是，则由该网格检测船舶；否则，未检测出目标；

(2.2)预测目标边框，并计算目标边框的中心点坐标、宽高和置信度评分，同时预测物体属于某一类的后验概率；

(2.3)计算目标边框类相关置信度。

较佳地，所述的步骤(3)具体包括以下步骤：

(3.1)判断图像是否是视频的第一帧，如果是，则继续步骤(3.2)；否则，将图像输入已创建的跟踪器，进行目标跟踪，得到目标跟踪的预测结果，继续步骤(4)；

(3.2)创建相应数量的线程，在线程中分别初始化目标跟踪的跟踪器，在跟踪器的目标特征提取函数中引入新增特征。

较佳地，所述的步骤(4)具体包括以下步骤：

(4.1)将目标检测目标框与目标跟踪预测结果框进行对比，如果目标检测目标框与目标跟踪预测结果框均在一定阈值范围内，则通过目标检测结果校正目标跟踪预测结果框，并记录目标运动轨迹，同时进行目标跟踪模型训练更新；如果目标检测目标框与目标跟踪预测结果框均不在一定阈值范围内，则继续步骤(4.2)；

(4.2)判断结果点属于目标检测目标框或目标跟踪预测结果框，如果结果点属于目标检测目标框，则继续步骤(4.3)；如果结果点属于目标跟踪预测目标框，则继续步骤(4.4)；

(4.3)判断该结果点是否已经被检测出3次，如果是，则增加新线程，并初始化新目标跟踪器；否则，检测记录数量增加1，记录并显示目标运动轨迹；

(4.4)判断该结果点是否已经被检测出10次，如果是，则删除对应的目标跟踪器，并销毁线程；否则，消失记录数量增加1，记录并显示目标运动轨迹。

较佳地，所述的步骤(2)中的深度学习检测模型通过YOLO网络结构训练得出深度学习检测模型。

较佳地，所述的YOLO网络结构包括：

输入层，用于预处理样本图像；

卷积层，与所述的输入层相连接，用于提取输入数据的特征；

池化层，与所述的卷积层相连接，用于根据特征矩阵所处的空间位置，按块分割特征，并在分隔后的块中计算新的特征值；

全连接层，与所述的相池化层连接，用于将输入的二维特征矩阵降维为一维特征向量；

输出层，与所述的全连接层相连接，用于根据输入的一维特征向量进行分类。

采用了本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，在对江面多艘船舶进行跟踪时，使多个跟踪器并行计算，大幅提升江面船舶跟踪速度。解决江面船舶跟踪过程中，画面中船舶尺寸变化较大，同时光照强度也会变化，从而引起跟踪丢失的问题，保证江面船舶跟踪的准确性。解决当船舶航行过程中出现遮挡问题时，目标跟踪丢失的问题，保证江面船舶跟踪的稳定性。

附图说明

图1为本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法的流程图。

图2为本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法的进行深度学习目标检测的流程图。

图3为本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法的跟踪校正步骤的流程图。

图4为本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法的YOLO训练结构示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，其中包括以下步骤：

(1)导入连续的视频帧或实时监控的视频流；

(2)利用已经训练出的深度学习检测模型，针对视频帧或实时视频流进行深度学习目标检测，检测出画面中的船舶；

(2.1)将图像划分为网格，判断物体中心是否落在某网格内，如果是，则由该网格检测船舶；否则，未检测出目标；

(2.2)预测目标边框，并计算目标边框的中心点坐标、宽高和置信度评分，同时预测物体属于某一类的后验概率；

(2.3)计算目标边框类相关置信度；

(3)对每艘船舶创建处理线程，在线程中初始化船舶跟踪器，对每艘船舶进行目标跟踪；

(3.1)判断图像是否是视频的第一帧，如果是，则继续步骤(3.2)；否则，将图像输入已创建的跟踪器，进行目标跟踪，得到目标跟踪的预测结果，继续步骤(4)；

(3.2)创建相应数量的线程，在线程中分别初始化目标跟踪的跟踪器，在跟踪器的目标特征提取函数中引入新增特征；

(4)将目标深度学习检测得到的结果与船舶跟踪预测得到的结果进行对比，并对跟踪结果进行校正；

(4.1)将目标检测目标框与目标跟踪预测结果框进行对比，如果目标检测目标框与目标跟踪预测结果框均在一定阈值范围内，则通过目标检测结果校正目标跟踪预测结果框，并记录目标运动轨迹，同时进行目标跟踪模型训练更新；如果目标检测目标框与目标跟踪预测结果框均不在一定阈值范围内，则继续步骤(4.2)；

(4.2)判断结果点属于目标检测目标框或目标跟踪预测结果框，如果结果点属于目标检测目标框，则继续步骤(4.3)；如果结果点属于目标跟踪预测目标框，则继续步骤(4.4)；

(4.3)判断该结果点是否已经被检测出3次，如果是，则增加新线程，并初始化新目标跟踪器；否则，检测记录数量增加1，记录并显示目标运动轨迹；

(4.4)判断该结果点是否已经被检测出10次，如果是，则删除对应的目标跟踪器，并销毁线程；否则，消失记录数量增加1，记录并显示目标运动轨迹。

作为本发明的优选实施方式，所述的步骤(2)中的深度学习检测模型通过YOLO网络结构训练得出深度学习检测模型。

较佳地，所述的YOLO网络结构包括：

输入层，用于预处理样本图像；

卷积层，与所述的输入层相连接，用于提取输入数据的特征；

池化层，与所述的卷积层相连接，用于根据特征矩阵所处的空间位置，按块分割特征，并在分隔后的块中计算新的特征值；

全连接层，与所述的相池化层连接，用于将输入的二维特征矩阵降维为一维特征向量；

输出层，与所述的全连接层相连接，用于根据输入的一维特征向量进行分类。

本发明的具体实施方式中，提出了一种基于深度学习目标检测校正的多艘船舶快速跟踪方法。利用深度学习卷积神经网络对江面过往船舶进行检测，并分别对船舶进行目标跟踪。用船舶检测得出的结果对船舶跟踪结果进行尺寸、偏移、目标新增、目标丢失等校正，确保江面船舶跟踪监控的时效性和准确性。

本发明的目的在于提出一种优化跟踪算法的方法，包括但不限于KCF等多种跟踪算法，本方案是一种多线程并行的方案，针对目标检测结果的多个目标框进行并行的跟踪。本发明进行目标跟踪，检测只是一种矫正手段。

本发明提出了多种优化方案，其一是将KCF单目标跟踪改进为多目标跟踪；其二是将KCF跟踪方案中对目标特提取和判断中引入新增特征；其三是将整体目标跟踪，划分为局部目标跟踪，增加目标被遮挡时的准确性。

技术方案主要如下：

1、导入连续的视频帧或实时监控的视频流；

2、针对视频帧或实时视频流进行深度学习目标检测，检测出画面中所有船舶；

3、针对每艘船舶创建处理线程，在线程中初始化船舶跟踪器，针对每艘船舶同时进行跟踪；

4、将深度学习目标检测得出的结果与船舶跟踪预测的结果进行对比，同时加入判断机制，对船舶跟踪结果进行校正。

本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法的具体实施例的步骤如下：

1、采集大量船舶图像样本，对样本进行标注处理后，基于卷积神经网络训练深度学习目标检测模型。

YOLO网络结构是一个卷积神经网络结构，它由输入层、卷积层、池化层、全连接层和输出层组成。

输入层是经过简单预处理(如裁剪、尺度归一、灰度化等)的样本图像；

卷积层采用可训练的卷积核来对输入数据进行卷积操作，并将结果以某种组合形式输出，其实质是对输入数据的特征提取；

池化层的主要任务是在二维空间里对输入的数据样本进行池化操作，就是根据特征矩阵所处的空间位置，按块分割特征，并在小块中计算新的特征值；

全连接层通常出现在最后一个池化层和输出层之间，其输入特征图与输出特征图采用全连接的方式。全连接层的作用是将输入的二维特征矩阵降维为一维特征向量，便于输出层进行分类处理；

输出层是卷积神经网络的最后一层，其作用是根据输入的一维特征向量进行分类，相当于一个分类器。输出层的输出特征图个数就是目标的分类数。

YOLO网络训练分步骤：首先，从网络结构中取出前20个卷积层，然后自己添加了一个池化层和一个全连接层，用1000类的ImageNet数据与训练。然后，在20个预训练好的卷积层后添加了4个新的卷积层和2个全连接层，并采用随即参数初始化这些新添加的层，在微调新层时，选用448×448图像训练。最后一个全连接层可以预测物体属于不同类的概率和目标框中心点坐标x,y和宽高w,h。

2、输入视频文件或实时视频流，利用已经训练出的深度学习检测模型，检测画面中的船舶。

YOLO将输入图像划分为S×S个网格，如果一个物体的中心落在某网格内，则该网格负责检测该物体。每个网格预测B个目标边框，每个目标边框对应五个预测参数，即目标边框的中心点坐标(x，y)、宽高(w，h)和置信度评分。同时，可预测存在物体的情况下该物体属于某一类的后验概率。

3、对检测出的目标框进行筛选，选取置信度大于0.6的目标框，作为检测出的船舶。

4、进入目标跟踪模块：

首先判断当前图像是否是输入的第一帧图像，若是第一帧，则基于目标检测得出的目标数量，创建相应数量的线程，同时将目标检测出的目标框，平均划分为四等份，并在线程中分别初始化目标跟踪的跟踪器，在跟踪器的目标特征提取函数中，引入color特征；

若不是第一帧图像，则将图像输入已经创建好的跟踪器，进行目标跟踪，得到目标跟踪的预测结果；

将目标检测得出的目标框与目标跟踪预测得到的结果框进行对比，分别判断两个结果框是否在一定阈值范围内；

若检测结果与跟踪预测结果在一定阈值范围内，用目标检测结果校正目标跟踪预测结果框，并记录目标运动轨迹。同时目标跟踪利用校正后的结果框，进行目标跟踪模型训练更新；

若检测结果与跟踪预测结果不在一定阈值范围内，依次判断结果点是目标检测结果或是目标跟踪预测结果；

若是目标检测结果，判断该目标是否已经被检测出3次，若未达3次，出现记录+1，若已达3次，增加新线程，并初始化新目标跟踪器；

若是目标跟踪预测结果，判断该目标是否已经未被检测出10次，若未达10次，消失记录+1，若已达10次，删除对应的目标跟踪器，并销毁线程。

5、将目标检测得出的目标运动轨迹画出，并显示。

本发明在对江面船舶进行跟踪时，江面会出现多艘船舶的情况，由于目标跟踪是将多个目标进行轮巡跟踪，跟踪速度非常慢，通过针对单个目标创建线程的方法，可以使多个目标并行跟踪计算，大幅提升跟踪速度。

本发明在对江面船舶跟踪过程中，由于船舶由远及近，监控画面中船舶尺寸变化较大，同时光照强度也会变化，从而引起跟踪丢失。通过深度学习目标检测校正，在跟踪同时引入color等其他特征。

本发明当前的跟踪方案大多是将整艘船舶当作一个整体，进行目标跟踪。当船舶航行过程中出现遮挡问题时，跟踪器更新容易出错，造成目标跟踪丢失。通过将整艘船舶划分为不同区域，对每个区域进行目标跟踪。

采用了本发明的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，在对江面多艘船舶进行跟踪时，使多个跟踪器并行计算，大幅提升江面船舶跟踪速度。解决江面船舶跟踪过程中，画面中船舶尺寸变化较大，同时光照强度也会变化，从而引起跟踪丢失的问题，保证江面船舶跟踪的准确性。解决当船舶航行过程中出现遮挡问题时，目标跟踪丢失的问题，保证江面船舶跟踪的稳定性。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，其特征在于，所述的方法包括以下步骤：

(1)导入连续的视频帧或实时监控的视频流；

(2)利用已经训练出的深度学习检测模型，针对视频帧或实时视频流进行深度学习目标检测，检测出画面中的船舶；

(3)对每艘船舶创建处理线程，在线程中初始化船舶跟踪器，对每艘船舶进行目标跟踪；

(4)将目标深度学习检测得到的结果与船舶跟踪预测得到的结果进行对比，并对跟踪结果进行校正。

2.根据权利要求1所述的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，其特征在于，所述的步骤(2)具体包括以下步骤：

(2.1)将图像划分为网格，判断物体中心是否落在某网格内，如果是，则由该网格检测船舶；否则，未检测出目标；

(2.2)预测目标边框，并计算目标边框的中心点坐标、宽高和置信度评分，同时预测物体属于某一类的后验概率；

(2.3)计算目标边框类相关置信度。

3.根据权利要求1所述的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，其特征在于，所述的步骤(3)具体包括以下步骤：

(3.1)判断图像是否是视频的第一帧，如果是，则继续步骤(3.2)；否则，将图像输入已创建的跟踪器，进行目标跟踪，得到目标跟踪的预测结果，继续步骤(4)；

(3.2)创建相应数量的线程，在线程中分别初始化目标跟踪的跟踪器，在跟踪器的目标特征提取函数中引入新增特征。

4.根据权利要求1所述的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，其特征在于，所述的步骤(4)具体包括以下步骤：

(4.1)将目标检测目标框与目标跟踪预测结果框进行对比，如果目标检测目标框与目标跟踪预测结果框均在一定阈值范围内，则通过目标检测结果校正目标跟踪预测结果框，并记录目标运动轨迹，同时进行目标跟踪模型训练更新；如果目标检测目标框与目标跟踪预测结果框均不在一定阈值范围内，则继续步骤(4.2)；

(4.2)判断结果点属于目标检测目标框或目标跟踪预测结果框，如果结果点属于目标检测目标框，则继续步骤(4.3)；如果结果点属于目标跟踪预测目标框，则继续步骤(4.4)；

(4.3)判断该结果点是否已经被检测出3次，如果是，则增加新线程，并初始化新目标跟踪器；否则，检测记录数量增加1，记录并显示目标运动轨迹；

(4.4)判断该结果点是否已经被检测出10次，如果是，则删除对应的目标跟踪器，并销毁线程；否则，消失记录数量增加1，记录并显示目标运动轨迹。

5.根据权利要求1所述的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，其特征在于，所述的步骤(2)中的深度学习检测模型通过YOLO网络结构训练得出深度学习检测模型。

6.根据权利要求5所述的基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法，其特征在于，所述的YOLO网络结构包括：

输入层，用于预处理样本图像；

卷积层，与所述的输入层相连接，用于提取输入数据的特征；

池化层，与所述的卷积层相连接，用于根据特征矩阵所处的空间位置，按块分割特征，并在分隔后的块中计算新的特征值；

全连接层，与所述的相池化层连接，用于将输入的二维特征矩阵降维为一维特征向量；

输出层，与所述的全连接层相连接，用于根据输入的一维特征向量进行分类。

Images