CN115908508A - 基于阵列相机的海岸线船只实时跟踪方法 - Google Patents

Abstract

本发明提供一种基于阵列相机的海岸线船只实时跟踪方法，其包括根据阵列相机的小镜头分布，确定小镜头编号以及各相邻小镜头之间采集图像数据相互重叠的重叠区域；对小镜头中获得所有船只中待跟踪船只进行初步标注矩形框TE；每个标注矩形框TE船只形成检测框TF，并获得Box(x,y,w,h)的集合和特征向量P的集合；对比检测框TF和待跟踪船只的矩形框TE的交并比IOU，对所标注的待跟踪船只中交并比IOU达到设定值的船只中进行跟踪；获得船只跟踪序列TraceQueue；当前小镜头将待跟踪船只的信通过socket通信的方式，发送给对应相邻的小镜头，在相邻的小镜头上继续该船只的跟踪。结合船只位置信息和特征向量来确定不同相机中的两个目标是同一个，从而提高目标追踪的精准度。

Description

基于阵列相机的海岸线船只实时跟踪方法

技术领域

本发明涉及船只轨迹跟踪方法技术领域，特别涉及一种基于阵列相机的海岸线船只实时跟踪方法。

背景技术

海岸线一般都很长，无法用单个镜头监控整个海岸线，需要多个镜头协同工作，共同完成监控任务。船只跟踪方法是海岸线监控系统的核心，现有的监控系统只能对船只进行检测，无法实现目标船只的追踪。

船只跟踪的一个难点在于跨境头的跟踪。当船只目标从一个镜头移动到另一个镜头的时候，需要根据船只的外观特征、行为特征等因素来判断两个镜头中的船只是否为同一只船。根据特征来判断同一只船的技术，目前还不够成熟，特别是在海岸线这种特殊环境中，船只目标跨越多个镜头航行的时候，想要准确跟踪每一只船的轨迹变得非常困难。

中国专利公开号第CN111476827A号揭露了一种目标跟踪方法、系统、电子装置及存储介质，该目标跟踪方法利用世界坐标的工作原理进行跟踪。同一个目标在不同相机的检测边界框的位置和大小，即使采用世界坐标，也会有所差别，所以确定每个目标的唯一世界坐标是有误差的，特别是在两个目标离得很近的情况下。

中国专利公开号第CN108051777A号揭露了一种目标的追踪方法、装置及电子设备，该目标的追踪方法利用传感器的工作原理进行跟踪，那么对硬件要求较高，但通过传感器对目标追踪精度差。

由于因此，有必要提供一种基于阵列相机的海岸线船只实时跟踪方法来克服上述问题。

发明内容

本发明的目的是提供一种基于阵列相机的海岸线船只实时跟踪方法，利用了相机本身的构造特点出发，结合船只位置信息和特征向量来确定不同相机中的两个目标是同一个，从而提高目标追踪的精准度。

为实现上述目的，本发明采用的一个技术方案是：一种基于阵列相机的海岸线船只实时跟踪方法，其包括如下步骤：

第一步骤，根据阵列相机的小镜头分布，确定小镜头编号以及各相邻小镜头之间采集图像数据相互重叠的重叠区域；

第二步骤，对小镜头中获得所有船只中待跟踪船只进行初步标注矩形框TE；

第三步骤，利用船只检测模型，使用阵列相机的N个小镜头分别对标注矩形框TE船只的图像数据进行检测，每个标注矩形框TE船只形成检测框TF，并获得Box(x,y,w,h)的集合和特征向量P的集合，并存储；

第四步骤，在具有标注矩形框TE船只的每一个小镜头中，对比检测框TF和待跟踪船只的矩形框TE的交并比IOU，对所标注的待跟踪船只中交并比IOU达到设定值的船只中进行跟踪；

第五步骤，利用船只的航行信息和外观信息，对矩形框TE进行跟踪，获得船只跟踪序列TraceQueue；

第六步骤，当船只行驶到小镜头边缘时，当前小镜头将待跟踪船只的信通过socket通信的方式，发送给对应相邻的小镜头，在相邻的小镜头上继续该船只的跟踪，转到第五步骤，如此循环，直到该船只驶离阵列相机的监控范围。

与现有技术相比，本发明一种基于阵列相机的海岸线船只实时跟踪方法的有益效果为：利用了相机本身的构造特点出发，结合船只位置信息和特征向量来确定不同相机中的两个目标是同一个，从而提高目标追踪的精准度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，其中：

图1是本发明一种基于阵列相机的海岸线船只实时跟踪方法的流程图；

图2是本发明阵列相机中各小镜头采集图像时形成重叠区域的结构示意图。

具体实施方式

下面结合附图对本发明作详细的描述，但是应该强调的是，下面的实施方式只是示例性的，而不是为了限制本发明的范围及应用。

请参看图1，本发明为一种基于阵列相机的海岸线船只实时跟踪方法，其包括如下步骤：

第一步骤，根据阵列相机的小镜头分布，确定小镜头编号以及各相邻小镜头之间采集图像数据相互重叠的重叠区域。

具体的，若干个小镜头阵列形成一个阵列相机，本实施例，以12个小镜头为例，其他实施例，可以是3-100个中的任意一个。依照秩序对小镜头编号，相邻的两个小镜头所获取的图像均有叠加，形成一个重叠区域。该重叠区域的宽度根据实际使用状况而定，一般在对小镜头宽度的10％以内。

第二步骤，对小镜头中获得所有船只中待跟踪船只进行初步标注矩形框TE。

对获取的所有船只图像中，认为是待跟踪船只的船只分别赋予矩形框TE，在监控画面中画一个或者多个矩形框TE，框出要跟踪的M艘船只a-1、a-2、……、a-M。

利用采集大量的数据(包含船只的图像)，通过手动标注出船只，分别赋予矩形框TE。所标注的船只可能是待跟踪的船只，也可能不是待跟踪的船只，标注矩形框TE的船只数量多于实际待跟踪的数量。

如图2所示，为阵列相机中各小镜头采集图像时形成重叠区域的结构示意图。列举的12个小镜头阵列的示意图，小镜头A1的相邻小镜头为A2、A5；小镜头A2的相邻小镜头为A1、A3、A6；小镜头A6的相邻小镜头为A2、A5、A7、A10。重叠区域部分既可以被小镜头A1看到，也可以被小镜头A2看到。每两个小镜头之间的重叠区域不尽相同。

第三步骤，利用船只检测模型，使用阵列相机的N个小镜头分别对标注矩形框TE船只的图像数据进行检测，每个标注矩形框TE船只形成检测框TF，并获得Box(x,y,w,h)的集合和特征向量P的集合，同时对船只检测框TFBox与特征向量P进行存储。

具体的，S31步骤，采集大量的包含船只的图像得到船只样本集，送入SSD算法针对船只目标优化的卷积神经网络模型进行训练，得到可用于识别船只的网络模型CModel。

S32步骤，把CModel移植到小镜头前端的TensorRT推理器上，对照TensorRT推理器的网络层，将CModel的每一层网络转为小镜头前端的TensorRT推理器能识别的网络层。对于推理器不能识别的网络层，需要自定义网络层来告诉推理器该层的实现方式。移植完成后网络模型CModel变成了CModel2。

S33步骤，把小镜头采集的对标注矩形框TE船只图像数据送入移植后的CModel2，形成形成检测框TF，获得检测框TF的Box(x,y,w,h)的集合和特征向量P的集合，检测出标注矩形框TE船只的位置。

其中，x,y,w,h分别表示检测框左上角点的横坐标、纵坐标、边界框的宽度和高度；P表示该船只检测框TF对应的特征向量；特征向量包括但不局限船只的外形特征(颜色、类别等)。

特征向量P的计算如下：先把检测框TF缩放成64*64的矩阵，乘以一个64*1的船只检测矩阵因子，得到一个64维的特征向量P。

第四步骤，在具有标注矩形框TE船只的每一个小镜头中，对比检测框TF和待跟踪船只的矩形框TE的交并比IOU，对所标注的待跟踪船只中交并比IOU达到设定值的船只中进行跟踪。

只有交并比IOU非常接近1的检测框TF才是要跟踪的。

具体的，由于短时间内船只移动的距离有限，因此首先去除那些位于待跟踪船只的矩形框TE周围特定范围之外的检测框TF。

第五步骤，利用船只的航行信息和外观信息，对矩形框TE进行跟踪，获得船只跟踪序列TraceQueue。

其中，跟踪序列TraceQueue是指具有相同船只编号的检测框TF集合，包含了船只编号key和key相同的检测框TFBox的集合value。每当当前小镜头的一帧图像的某个检测框TFBox与跟踪序列TraceQueue匹配的时候，把这个检测框TFBox加入到key值对应的value值中。

具体的，对待跟踪的矩形框TE进行航行预测，利用船只历史跟踪序列TraceQueue预测出当前t1时刻表示船只位置的预测矩形框TE预测，于当前小镜头当前时刻t1的检测框TF集合进行匹配，匹配方式为：首先去除那些位于T预测周围特定范围之外的检测框TF，然后利用KM算法，从剩下的检测框TF中找到最优匹配结果。对于匹配到的检测框TF目标，更新船只目标的历史航行信息。航行信息开始认为是静止的。

航行信息包括但不局限于船只航行的速度、方向。

获取外观信息：根据当前小镜头检测框TFBox中的特征向量P，计算特征向量P与跟踪序列TraceQueue中每一个船只编号key最近出现的多个船只目标的特征向量P之间的欧氏距离，取一个平均值，平均欧式距离最小的就认为是最相近船只。

外观信息的加入是为了处理船只被遮挡的情况，当船只被遮挡时，会出现根据航行信息得到的跟踪框不是待跟踪船只的情况，所以需要根据外观信息判断船只是否被遮挡，以及被遮挡后重新出现的继续跟踪处理。

第六步骤，当船只行驶到小镜头边缘时，当前小镜头将待跟踪船只的信息通过socket通信的方式，发送给对应相邻的小镜头，在相邻的小镜头上继续该船只的跟踪，转到第五步骤，如此循环，直到该船只驶离阵列相机的监控范围。

待跟踪船只的信息包括：当前小镜头编号、待跟踪船只编号、在相邻小镜头中换算后的坐标、历史航行信息、外观信息等，

本发明利用阵列相机的特点，在进行船只实时跟踪时，对跨境头的处理非常方便。

由多个小镜头组成的阵列相机，其监控范围非常广，监控距离非常远。该发明基于阵列相机，可以做在大场景中跨镜头跟踪每一个船只的运行轨迹。

当然，本技术领域内的一般技术人员应当认识到，上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要在本发明的实质精神范围内，对上述实施例的变化、变型都将落在本发明权利要求的范围内。

Claims (5)

1.一种基于阵列相机的海岸线船只实时跟踪方法，其特征在于，其包括如下步骤：

第一步骤，根据阵列相机的小镜头分布，确定小镜头编号以及各相邻小镜头之间采集图像数据相互重叠的重叠区域；

第二步骤，对小镜头中获得所有船只中待跟踪船只进行初步标注矩形框TE；

第三步骤，利用船只检测模型，使用阵列相机的N个小镜头分别对标注矩形框TE船只的图像数据进行检测，每个标注矩形框TE船只形成检测框TF，并获得Box(x,y,w,h)的集合和特征向量P的集合，并存储；

第四步骤，在具有标注矩形框TE船只的每一个小镜头中，对比检测框TF和待跟踪船只的矩形框TE的交并比IOU，对所标注的待跟踪船只中交并比IOU达到设定值的船只中进行跟踪；

第五步骤，利用船只的航行信息和外观信息，对矩形框TE进行跟踪，获得船只跟踪序列TraceQueue；

第六步骤，当船只行驶到小镜头边缘时，当前小镜头将待跟踪船只的信通过socket通信的方式，发送给对应相邻的小镜头，在相邻的小镜头上继续该船只的跟踪，转到第五步骤，如此循环，直到该船只驶离阵列相机的监控范围。

2.如权利要求1所述的基于阵列相机的海岸线船只实时跟踪方法，其特征在于，上述第三步骤包括：

S31步骤，采集包含船只的图像得到船只样本集，送入SSD算法针对船只目标优化的卷积神经网络模型进行训练，得到可用于识别船只的网络模型Cmodel；

S32步骤，把CModel移植到小镜头前端的TensorRT推理器，对照TensorRT推理器的网络层，将CModel的每一层网络转为小镜头前端的TensorRT推理器能识别的网络层；对于推理器不能识别的网络层，需要自定义网络层来告诉推理器该层的实现方式；移植完成后网络模型CModel变成了CModel2；

S33步骤，把小镜头采集的对标注矩形框TE船只图像数据送入移植后的CModel2，形成形成检测框T。

3.如权利要求1所述的基于阵列相机的海岸线船只实时跟踪方法，其特征在于，对待跟踪的矩形框TE进行航行预测，利用船只历史跟踪序列TraceQueue预测出当前t1时刻表示船只位置的预测矩形框TE预测，于当前小镜头当前时刻t1的检测框TF集合进行匹配。

4.如权利要求3所述的基于阵列相机的海岸线船只实时跟踪方法，其特征在于，所述匹配方式为：首先去除那些位于T预测周围特定范围之外的检测框TF，然后利用KM算法，从剩下的检测框TF中找到最优匹配结果。

5.如权利要求1所述的基于阵列相机的海岸线船只实时跟踪方法，其特征在于，上述第五步骤中，获取外观信息的方式：根据当前小镜头检测框TF的Box中的特征向量P，计算特征向量P与跟踪序列TraceQueue中每一个船只编号key最近出现的多个船只目标的特征向量P之间的欧氏距离，取一个平均值，平均欧式距离最小的就认为是最相近船只。

Images