CN115147594A - 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法 - Google Patents

一种基于船艏向识别的船舶图像轨迹跟踪与预测方法 Download PDF

Info

Publication number
CN115147594A
CN115147594A CN202210789127.0A CN202210789127A CN115147594A CN 115147594 A CN115147594 A CN 115147594A CN 202210789127 A CN202210789127 A CN 202210789127A CN 115147594 A CN115147594 A CN 115147594A
Authority
CN
China
Prior art keywords
ship
frame
track
tracking
heading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210789127.0A
Other languages
English (en)
Inventor
陈信强
吴昊
杨勇生
吴兵
孙洋
吴华锋
刘卫
鲜江峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Shanghai Maritime University
Original Assignee
Wuhan University of Technology WUT
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT, Shanghai Maritime University filed Critical Wuhan University of Technology WUT
Priority to CN202210789127.0A priority Critical patent/CN115147594A/zh
Priority to US17/886,901 priority patent/US20240013402A1/en
Publication of CN115147594A publication Critical patent/CN115147594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Ocean & Marine Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于船艏向识别的船舶图像轨迹跟踪与预测方法，包括获取船舶图像数据集，对数据集进行预处理，获得经过预处理后的数据集；将预处理后的数据集输入旋转船舶检测网络中进行训练，得到训练好的旋转船舶检测网络，采集船舶航行视频，将船舶航行视频输入到训练好的旋转船舶检测网络中，获取船舶检测结果；将船舶检测结果输入到旋转船舶跟踪网络，对目标船舶进行跟踪，获得目标船舶历史轨迹与船艏向信息；将目标船舶历史轨迹与船艏向信息输入船舶轨迹与船艏向预测网络，进行海上船舶航行轨迹与船艏向预测。

Description

一种基于船艏向识别的船舶图像轨迹跟踪与预测方法
技术领域
本发明涉及目标检测跟踪与轨迹预测技术领域，特别是涉及一种基于船艏向识别的船舶图像轨迹跟踪与预测方法。
背景技术
近年来海上船舶一直向无人化、智能化的智能船舶发展。其结合了大数据，深度学习，分布式计算等新兴技术，具有了环保、安全、高效等特点。智能船舶的感知系统是其必不可少的组成部分。快速准确的船舶检测，跟踪不仅能为海上侦察、海上救援提供帮助，也能为港口监控、码头管理，安全出航等提供重要信息。如今基于传统算法的检测与跟踪算法无论是精度还是效果都远不如深度学习的算法。算法尤其是基于深度学习辅助船舶检测的方法极大促进了船舶检测的发展，其不再需要人工选择特征且检测精度与效率大大提升。而跟踪算法的效果主要取决于检测算法，因此设计出准确的船舶检测算法十分重要。
目前基于深度学习的检测方法主要分为两大类：一类是以R-CNN为代表的基于区域的二阶段目标检测算法，这类算法检测精度高但是检测的速度难以满足实时性的要求。第二种是以YOLO和SSD为代表的一阶段检测算法，该类算法把检测问题转换为回归问题直接完成端到端的检测，大大提升了检测速度。但是不管是一阶段方法还是二阶段，传统的海上检测方法一般是基于水平矩形框，但是水平矩形框会出现以下几种弊端：
1、使用水平矩形框标注船舶时会包含过多的背景信息，例如经过网络训练以后在海上船舶检测时可能会把部分背景的海浪误识别为船。
2、当有两艘或多艘船在视频中重叠时，算法在最后的非极大抑制阶段可能会误删重合较大的目标。
3、水平矩形框会导致检测框之间出现强烈重叠，当多辆船舶重叠在一起时可能会造成误检。
4、水平矩形框无法包含物体的运动方向问题，不能更好的判断船舶的运动轨迹。
因此，如何设计一种准确快速的旋转框检测方法在智能船舶等相关领域中很有价值。而在设计出效果较好的旋转目标检测算法之后，船舶的跟踪与轨迹预测才能获得更准确的结果。相比于传统方法，把旋转框检测出的船艏向信息利用到船舶跟踪可以解决跟踪过程中由于船舶遮挡造成的重识别问题，从而提升跟踪精度。
传统的道路交通中汽车的朝向一般都是固定的且会随车道改变，但是在实际的海上船舶检测中，因为风流海浪影响容易导致船舶船艏向变化较大，传统的船舶检测与跟踪不会利用船艏向信息，从而导致跟踪过程中因船舶遮挡容易发生船舶身份重识别的问题。如上文所提出的，在获得了船舶的船艏向信息后，在跟踪过程中可以充分利用船艏向信息避免重识别问题，从而更好的做出海上船舶轨迹与船艏向预测，在码头调度，海上船舶碰撞检测以及智能船舶自主航行等方面具有实用价值。
发明内容
鉴于上述现有技术中存在的问题，本发明提供了一种基于船艏向识别的船舶图像轨迹跟踪与预测方法，较于之前的算法提高了复杂海洋背景下的各种船舶检测精度，并且能更精确的标注出待检测船舶，在船舶跟踪时能够防止因船舶遮挡产生的重识别问题，能够得到更精准的航行轨迹与船艏向预测信息。
为实现上述目的，本发明提供了如下方案：
一种基于船艏向识别的船舶图像轨迹跟踪与预测方法，包括：
获取船舶图像数据集，对所述数据集进行预处理，获得经过预处理后的数据集；
将所述预处理后的数据集输入旋转船舶检测网络中进行训练，得到训练好的旋转船舶检测网络，采集船舶航行视频，将所述船舶航行视频输入到所述训练好的旋转船舶检测网络中，获取船舶检测结果；
将所述船舶检测结果输入到旋转船舶跟踪网络，对目标船舶进行跟踪，获得所述目标船舶历史轨迹与船艏向信息；
将所述目标船舶历史轨迹与所述船艏向信息输入船舶轨迹与船艏向预测网络，进行海上船舶航行轨迹与船艏向预测。
优选地，对所述数据集进行预处理，包括：
利用8参数旋转框标注方法标注含有船艏向信息的标签数据，并将标注好的图像与标签进行预处理，使用圆形平滑标签的方式对船艏向信息进行处理，输出船舶标签数据；其中所述船舶标签数据包括标注框中心的横坐标、标注框中心的纵坐标、标注框的宽度、标注框的高度以及处理后的船艏向信息。
优选地，训练所述旋转船舶检测网络，包括：
将所述预处理后的数据集输入添加有坐标注意力模块的骨干网络进行船舶特征提取，经过特征金字塔进行特征融合，输出第一船舶特征图；将所述第一船舶特征图输入像素聚合网络进行进一步船舶特征处理，输出第二特征图，基于自适应融合方法将所述第二特征图进行融合获得第三船舶特征图；将所述第三船舶特征图进行边框与旋转角度回归操作，计算船舶的类别损失、边框损失、旋转角度损失以及得分置信度损失；使用梯度下降算法来最小化损失函数并且进行网络参数的更新，完成对所述旋转船舶检测网络的训练。
优选地，所述坐标注意力模块通过两个一维全局池化操作分别将垂直和水平方向输入的船舶特征图像聚合为两个独立的方向感知特征图。
优选地，基于自适应融合方法将所述第二特征图进行融合，包括：
将不同尺寸的所述第二特征图进行上/下采样，得到大小一致的新特征图，将所述大小一致的新特征图与来自不同层的权重参数相乘并相加，得到所述第三船舶特征图。
优选地，所述损失函数包括目标分类损失、θ分类损失、边框回归损失以及置信度损失，所述损失函数
Figure BDA0003733072550000041
表达式为：
Figure BDA0003733072550000042
其中，
Figure BDA0003733072550000051
为目标边框回归损失，
Figure BDA0003733072550000052
和
Figure BDA0003733072550000053
分别为目标分类损失，θ分类损失以及置信度回归损失。
优选地，对所述目标船舶进行跟踪，包括：
通过所述旋转船舶检测网络对输入的所述船舶航行视频中的图像帧进行船舶检测，得到船舶的旋转框，并为每一个所述旋转框中的船舶标注一个编码；在其后一帧中使用同样的方法得到所有船舶的旋转框，把所有旋转框信息解耦为水平框信息和船艏向信息；
使用卡尔曼滤波根据所述图像帧检测框的位置预测其后一帧的预测框，计算所述其后一帧的预测框与所有图像帧检测框的水平框交并比，基于所述交并比建立代价矩阵；通过匈牙利算法得到与所述预测框交并比最大的n个检测框，计算所述n个检测框的置信度Ci；通过旋转船舶跟踪网络过滤跟踪过程中出现的重识别问题，选取置信度最大的旋转框为目标跟踪框架，完成对所述目标船舶的跟踪。
优选地，进行所述海上船舶航行轨迹与船艏向预测，包括：
获取所述目标船舶的跟踪数据，筛选跟踪帧数小于预设阈值的轨迹、轨迹点集中在同一区域范围的轨迹以及连续多个预测轨迹点之间距离大于预设阈值的异常轨迹进行删除，对筛选后的正常轨迹中，相邻轨迹点之间的距离或船艏向超过预设阈值的异常轨迹点进行删除，并通过均值法补足，得到包含船艏向的轨迹序列；将所述轨迹序列输入到所述预测网络中，得到预测结果。
优选地，得到所述预测结果，包括：
将所述包含船艏向的轨迹序列输入到所述预测网络中，确定预测的时间，每隔相同时间帧从跟踪轨迹序列中提取一个点的坐标，获取确定长度点作为一条输入的序列作为轨迹与船艏向预测网络的输入，得到所述目标船舶未来行驶轨迹以及船艏向的预测信息。
本发明的有益效果为：
(1)本发明提出了一种基于船艏向识别的船舶图像轨迹跟踪与预测方法，在常规的船舶检测中加入了船艏向的检测，并且使用圆形平滑标签的方法改善了旋转检测中常见的边界问题，在检测网络中加入了空间坐标注意力机制以及自适用特征融合的方法增加了检测的精度，把检测出的船艏向信息用于跟踪网络改善了船舶在视频中重叠造成的重识别问题，最终把跟踪到的船舶轨迹与船艏向信息用于船舶未来的轨迹预测中。
(2)本发明方法具有良好的船舶跟踪与轨迹预测效果，最终获取的轨迹与预测数据可以用于船舶异常行为识别和危险判断等，能够有效提高智能船舶自主航行的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于船艏向识别的船舶图像轨迹跟踪与预测方法流程图；
图2为本发明实施例的数据集标注示意图；
图3为本发明实施例的旋转船舶检测网络结构示意图；
图4为本发明实施例的船舶检测效果示意图；
图5为本发明实施例的模型预测效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供一种基于船艏向识别的船舶图像轨迹跟踪与预测方法，如图1所示主要包含以下步骤：
步骤S1、获取带有船艏向信息的船舶图像数据集，并将数据集预处理后输入旋转船舶检测网络。
图2所示是数据集获取示意图，通过旋转普通矩形标注框至图中箭头所示角度，就可以获取船舶数据集，其格式为(x1，y1，x2，y2，x3，y3，x4，y4)，分别是旋转矩形的四个顶点的二维坐标信息。进一步的使用圆形平滑标签方式对船艏向信息进行数据预处理后获得(x，y，w，h，θ)格式的船舶标签数据。圆形平滑标签的其他数据预处理方式包括归一化、旋转平移、马赛克增强等常用数据增强方式。
圆形平滑标签将船艏向信息由回归的方式转为分类的方式，从而解决常规船舶角度回归问题造成边界损失过大问题。其具体表达式为公式(1)：
Figure BDA0003733072550000081
其中，g(m)是窗口函数，这里采用高斯函数作为窗口函数，其表达式为
Figure BDA0003733072550000082
其中a，b，c都是常数；变量m是船艏向可能取值的集合，r是窗口函数的半径，θ为输入的船艏向标签值。
步骤S2、构建添加注意力机制的特征提取网络，并通过特征融合最终构建旋转船舶检测网络。
如图3所示的旋转船舶检测网络，将处理后的图像输入添加坐标注意力模块的骨干网络进行船舶特征提取，经过特征金字塔进行特征融合，输出大中小三种船舶特征图F1、F2、F3。坐标注意力模块通过两个一维全局池化操作分别将垂直和水平方向的输入的船舶特征聚合为两个独立的方向感知特征图。具体的添加位置为快速空间金字塔池化层(SPFF)前一层。
进一步的，将特征图F1、F2、F3输入像素聚合网络进一步进行船舶特征处理，输出Level1，Level2，Level3三种不同大小的船舶特征图。进一步的将Level1，Level2，Level3采用自适用特征融合的方法输出融合后的船舶特征层y1、y2、y3。
其具体特征融合过程为：融合前首先要对不同尺寸的levell，level2、level3特征图进行上/下采样使得大小一致后在进行融合操作。level1，level2、level3与为来自不同层的权重参数α、β和γ相乘并相加，就能得到新的融合特征层y1、y2、y3，如下面公式(2)所示：
Figure BDA0003733072550000091
公式(2)中
Figure BDA0003733072550000092
代表从level n的特征调整到level l相同大小后的特征向量。
Figure BDA0003733072550000093
分别表示特征层l在不同特征层
Figure BDA0003733072550000094
和
Figure BDA0003733072550000095
每个(i，j)处的特征向量的权重。
Figure BDA0003733072550000096
表示在每个(i，j)处的特征向量与其对应权重
Figure BDA0003733072550000097
相乘再相加得到的特征向量。注意其中的权重需满足
Figure BDA0003733072550000098
和
Figure BDA0003733072550000099
Figure BDA00037330725500000910
的约束条件，此约束条件在通过
Figure BDA00037330725500000911
使用1*1卷积后得到的
Figure BDA00037330725500000912
并且满足柔性最大传递函数(softmax)
Figure BDA00037330725500000913
最终得到y1、y2、y3作为预测层的输入。
进一步的对特征图y1、y2、y3进行边框与旋转角度的回归操作，计算出船舶类别损失，边框损失，旋转角度损失以及得分置信度损失，然后使用梯度下降算法来最小化损失函数并且进行网络参数的更新，最终保存训练过程中检测精度最高的权重文件。所述损失函数分别为目标分类损失、θ分类损失、边框回归损失以及置信度损失四部分组成，其表达式为：
Figure BDA0003733072550000101
公式(3)中
Figure BDA0003733072550000102
目标边框回归损失代表了目标定位时目标框与真实框的重合程度。
Figure BDA0003733072550000103
和
Figure BDA0003733072550000104
分别为目标分类损失，θ分类损失以及置信度回归损失。使用BCELogits(x，y)及二分类交叉熵损失函数作为
Figure BDA0003733072550000105
和
Figure BDA0003733072550000106
的损失函数：假设数据集
Figure BDA0003733072550000107
中有N个样本Xi和其对应的标签Yi，BCELogits(x，y)的公式为：
Figure BDA0003733072550000108
公式(4)中的σ为sigmoid函数，其表达式为
Figure BDA0003733072550000109
σ(x)值域为(0，1)。使用CIOU作为目标框的回归损失，此方法在YOLOv5中为常用方法。最终将视频输入网络即可获得船舶检测结果(x，y，w，h，θ)，将结果数据绘制在待检测视频中即可获得图4所示检测效果。
步骤S3、将船舶视频输入旋转船舶检测网络输出旋转船舶检测结果，将此结果输入旋转船舶跟踪网络得到船舶历史轨迹与船艏向信息。
所述步骤S3中，旋转船舶跟踪与轨迹获取包含以下步骤：
步骤S31、船舶跟踪、首先第一帧会使用旋转船舶检测网络对图像进行船舶检测得到船舶的旋转框，并为每一个旋转框中的船舶标注一个编码；在第二帧会使用同样的方法得到所有船舶的旋转框，把旋转框信息解耦为水平框信息和船艏向信息。然后使用卡尔曼滤波根据第一帧检测框的位置预测第二帧的预测框，然后计算第二帧预测框与所有第二帧检测框的水平框交并比建立代价矩阵，使用匈牙利算法得到与预测框交并比最大的n个(一般情况下画面中船舶最多有n艘重叠)检测框，然后通过如下公式(5)计算得到这n个检测框的置信度Ci(i＝1,2,…,n)其中C为：
C＝τ*IOU+(1-τ)*θscore (5)
公式(5)中C为最终置信度得分，τ为交并比所占权重，IOU为水平检测框与水平预测框的交并比。θscore为前后帧角度相似得分，其计算方为：
Figure BDA0003733072550000111
公式(6)中|θ1-θ2|为预测框与检测框的角度差；θscore的值域为(0，1)。
跟踪网络通过赋予船艏向信息部分权重可以充分利用船舶船艏向信息，从而有效的防止跟踪过程中因遮挡导致的重识别问题。最终选取置信度Ci(i＝1,2,…,n)中值最大的旋转框Cmax为正确跟踪目标即可完成目标跟踪。
S32、轨迹获取：通过以上目标跟踪框架，可以从视频中得到船舶的历史运动轨迹以及船艏向信息(由于在标注时的角度就是沿船尾至船头方向，因此通过角度的检测很好判断船舶的船艏向信息)，其中一个轨迹点的格式为(x，y，θ)，分别为轨迹中心点横坐标、纵坐标和当前船艏向。
步骤S4、将船舶历史轨迹与船艏向信息输入船舶轨迹与船艏向预测网络进行海上船舶轨迹与船艏向预测。
所述步骤S4中，船舶轨迹与船艏向预测包含以下步骤：
S41、数据清洗：获取步骤S3的跟踪数据，首先筛选跟踪帧数小于120帧的轨迹、轨迹点过于集中(锚泊状态船舶)的轨迹以及异常轨迹进行删除，然后处理带有异常的船艏向信息的轨迹(比如前后轨迹点角度变化大于一定角度)进行删除并插帧，最终得到有效的包含船艏向的轨迹序列(xi，yi，θi)，其中xi表示第i帧船舶轨迹中心点的横坐标，yi表示第i帧船舶轨迹中心点的纵坐标，θi表示第i帧船舶船艏向。
S42、轨迹与船艏向预测：在轨迹预测过程中，预测时间过短无法保证海上未知场景下船舶，预测时间过长则会损失预测过程的准确性。假定预测的时间为X秒，也就是X*FPS(视频帧率)帧的视频图像，然后每隔2*X帧从跟踪轨迹序列中提取一个点的坐标(xi，yi，θi)，每2*X个点作为一条输入的序列作为轨迹与船艏向预测网络的输入。预测网络可以采用长短期记忆网络。最终通过网络可以预测出X秒内船舶的航行轨迹以及船艏向的数据序列(xi，yi，θi)，其中i∈(0，X*FPS]，只需要把视频轨迹序列输入到预测网络中就可以得到每艘船舶未来行驶轨迹以及船艏向的预测信息。最终的预测效果如图5所示。
本发明提出了一种基于船艏向识别的船舶图像轨迹跟踪与预测方法，在常规的船舶检测中加入了船艏向的检测，并且使用圆形平滑标签的方法改善了旋转检测中常见的边界问题，并且在检测网络中加入了空间坐标注意力机制以及自适用特征融合的方法增加了检测的精度，并且把检测出的船艏向信息用于跟踪网络改善了船舶在视频中重叠造成的重识别问题，最终把跟踪到的船舶轨迹与船艏向信息用于船舶未来的轨迹预测中。本方法具有良好的船舶跟踪与轨迹预测效果，最终获取的轨迹与预测数据可以用于船舶异常行为识别和危险判断等等，能够有效提高智能船舶自主航行的安全性。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，包括：
获取船舶图像数据集，对所述数据集进行预处理，获得经过预处理后的数据集；
将所述预处理后的数据集输入旋转船舶检测网络中进行训练，得到训练好的旋转船舶检测网络，采集船舶航行视频，将所述船舶航行视频输入到所述训练好的旋转船舶检测网络中，获取船舶检测结果；
将所述船舶检测结果输入到旋转船舶跟踪网络，对目标船舶进行跟踪，获得所述目标船舶历史轨迹与船艏向信息；
将所述目标船舶历史轨迹与所述船艏向信息输入船舶轨迹与船艏向预测网络，进行海上船舶航行轨迹与船艏向预测。
2.根据权利要求1所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，对所述数据集进行预处理，包括：
利用8参数旋转框标注方法标注含有船艏向信息的标签数据，并将标注好的图像与标签进行预处理，使用圆形平滑标签的方式对船艏向信息进行处理，输出船舶标签数据；其中所述船舶标签数据包括标注框中心的横坐标、标注框中心的纵坐标、标注框的宽度、标注框的高度以及处理后的船艏向信息。
3.根据权利要求1所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，训练所述旋转船舶检测网络，包括：
将所述预处理后的数据集输入添加有坐标注意力模块的骨干网络进行船舶特征提取，经过特征金字塔进行特征融合，输出第一船舶特征图；将所述第一船舶特征图输入像素聚合网络进行进一步船舶特征处理，输出第二特征图，基于自适应融合方法将所述第二特征图进行融合获得第三船舶特征图；将所述第三船舶特征图进行边框与旋转角度回归操作，计算船舶的类别损失、边框损失、旋转角度损失以及得分置信度损失；使用梯度下降算法来最小化损失函数并且进行网络参数的更新，完成对所述旋转船舶检测网络的训练。
4.根据权利要求3所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，所述坐标注意力模块通过两个一维全局池化操作分别将垂直和水平方向输入的船舶特征图像聚合为两个独立的方向感知特征图。
5.根据权利要求3所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，基于自适应融合方法将所述第二特征图进行融合，包括：
将不同尺寸的所述第二特征图进行上/下采样，得到大小一致的新特征图，将所述大小一致的新特征图与来自不同层的权重参数相乘并相加，得到所述第三船舶特征图。
6.根据权利要求3所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，所述损失函数包括目标分类损失、θ分类损失、边框回归损失以及置信度损失，所述损失函数
Figure FDA0003733072540000021
表达式为：
Figure FDA0003733072540000022
其中，
Figure FDA0003733072540000023
为目标边框回归损失，
Figure FDA0003733072540000024
和
Figure FDA0003733072540000025
分别为目标分类损失，θ分类损失以及置信度回归损失。
7.根据权利要求1所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，对所述目标船舶进行跟踪，包括：
通过所述旋转船舶检测网络对输入的所述船舶航行视频中的图像帧进行船舶检测，得到船舶的旋转框，并为每一个所述旋转框中的船舶标注一个编码；在其后一帧中使用同样的方法得到所有船舶的旋转框，把所有旋转框信息解耦为水平框信息和船艏向信息；
使用卡尔曼滤波根据所述图像帧检测框的位置预测其后一帧的预测框，计算所述其后一帧的预测框与所有图像帧检测框的水平框交并比，基于所述交并比建立代价矩阵；通过匈牙利算法得到与所述预测框交并比最大的n个检测框，计算所述n个检测框的置信度Ci；通过旋转船舶跟踪网络过滤跟踪过程中出现的重识别问题，选取置信度最大的旋转框为目标跟踪框架，完成对所述目标船舶的跟踪。
8.根据权利要求1所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，进行所述海上船舶航行轨迹与船艏向预测，包括：
获取所述目标船舶的跟踪数据，筛选跟踪帧数小于预设阈值的轨迹、轨迹点集中在同一区域范围的轨迹以及连续多个预测轨迹点之间距离大于预设阈值的异常轨迹进行删除，对筛选后的正常轨迹中，相邻轨迹点之间的距离或船艏向超过预设阈值的异常轨迹点进行删除，并通过均值法补足，得到包含船艏向的轨迹序列；将所述轨迹序列输入到所述预测网络中，得到预测结果。
9.根据权利要求8所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法，其特征在于，得到所述预测结果，包括：
将所述包含船艏向的轨迹序列输入到所述预测网络中，确定预测的时间，每隔相同时间帧从跟踪轨迹序列中提取一个点的坐标，获取确定长度点作为一条输入的序列作为轨迹与船艏向预测网络的输入，得到所述目标船舶未来行驶轨迹以及船艏向的预测信息。
CN202210789127.0A 2022-07-06 2022-07-06 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法 Pending CN115147594A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210789127.0A CN115147594A (zh) 2022-07-06 2022-07-06 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法
US17/886,901 US20240013402A1 (en) 2022-07-06 2022-08-12 Ship image trajectory tracking and prediction method based on ship heading recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210789127.0A CN115147594A (zh) 2022-07-06 2022-07-06 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法

Publications (1)

Publication Number Publication Date
CN115147594A true CN115147594A (zh) 2022-10-04

Family

ID=83411326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210789127.0A Pending CN115147594A (zh) 2022-07-06 2022-07-06 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法

Country Status (2)

Country Link
US (1) US20240013402A1 (zh)
CN (1) CN115147594A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293297A (zh) * 2022-10-08 2022-11-04 武汉理工大学 一种意图驱动的船舶轨迹预测方法
CN116129332A (zh) * 2023-04-12 2023-05-16 武汉理工大学 多船舶目标的跟踪识别方法、装置、电子设备及存储介质
CN116246205A (zh) * 2023-02-27 2023-06-09 杭州数尔安防科技股份有限公司 一种船只跟踪及文字识别的优化方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593340B (zh) * 2024-01-18 2024-04-05 东方空间(江苏)航天动力有限公司 一种运载火箭伺服机构摆动角度的确定方法、装置及设备
CN117787525B (zh) * 2024-02-23 2024-05-14 煤炭科学技术研究院有限公司 基于井下多个目标对象的轨迹预测方法和预警方法
CN117893575B (zh) * 2024-03-15 2024-05-31 青岛哈尔滨工程大学创新发展中心 图神经网络融入自注意力机制的船舶运动预报方法及系统
CN117893873B (zh) * 2024-03-18 2024-06-07 安徽大学 一种基于多模态信息融合的主动跟踪方法
CN117974792B (zh) * 2024-03-28 2024-06-14 武汉理工大学三亚科教创新园 基于视觉与ais数据协同训练的船舶目标检测定位方法
CN118015049B (zh) * 2024-04-09 2024-06-21 湖南大学 一种结合yolo和gcn的海上目标追踪方法及其模型

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293297A (zh) * 2022-10-08 2022-11-04 武汉理工大学 一种意图驱动的船舶轨迹预测方法
CN116246205A (zh) * 2023-02-27 2023-06-09 杭州数尔安防科技股份有限公司 一种船只跟踪及文字识别的优化方法及系统
CN116246205B (zh) * 2023-02-27 2024-04-19 杭州数尔安防科技股份有限公司 一种船只跟踪及文字识别的优化方法及系统
CN116129332A (zh) * 2023-04-12 2023-05-16 武汉理工大学 多船舶目标的跟踪识别方法、装置、电子设备及存储介质
US12008801B1 (en) 2023-04-12 2024-06-11 Wuhan University Of Technology Tracking and identification method, device, electronic device, and storage medium for multiple vessel targets

Also Published As

Publication number Publication date
US20240013402A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
CN115147594A (zh) 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法
Zhang et al. Balance learning for ship detection from synthetic aperture radar remote sensing imagery
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
Lee et al. Image-based ship detection and classification for unmanned surface vehicle using real-time object detection neural networks
Schöller et al. Assessing deep-learning methods for object detection at sea from LWIR images
US11900668B2 (en) System and method for identifying an object in water
KR102530691B1 (ko) 접안 모니터링 장치 및 방법
Bovcon et al. MODS—A USV-oriented object detection and obstacle segmentation benchmark
CN108830879A (zh) 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法
Qiao et al. Marine vessel re-identification: A large-scale dataset and global-and-local fusion-based discriminative feature learning
Liu et al. Ship recognition and tracking system for intelligent ship based on deep learning framework
Zhang et al. A object detection and tracking method for security in intelligence of unmanned surface vehicles
CN111723632A (zh) 一种基于孪生网络的船舶跟踪方法及系统
Lyu et al. Sea-surface object detection based on electro-optical sensors: A review
Li et al. Real-time underwater target detection for AUV using side scan sonar images based on deep learning
Shao et al. Semantic segmentation for free space and lane based on grid-based interest point detection
Sun et al. NSD‐SSD: a novel real‐time ship detector based on convolutional neural network in surveillance video
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
Zhou et al. A real-time scene parsing network for autonomous maritime transportation
Yang et al. A review of intelligent ship marine object detection based on RGB camera
CN117496367A (zh) 一种遮挡条件下基于注意力机制的海上船舶目标检测方法
Sadhu et al. Obstacle detection for image-guided surface water navigation
Qu et al. Multi-Task Learning-Enabled Automatic Vessel Draft Reading for Intelligent Maritime Surveillance
Schöller Camera-based Perception for Autonomous Vessels at Sea
CN110895680A (zh) 一种基于区域建议网络的无人艇水面目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination