CN116129332A - 多船舶目标的跟踪识别方法、装置、电子设备及存储介质 - Google Patents

多船舶目标的跟踪识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116129332A
CN116129332A CN202310387654.3A CN202310387654A CN116129332A CN 116129332 A CN116129332 A CN 116129332A CN 202310387654 A CN202310387654 A CN 202310387654A CN 116129332 A CN116129332 A CN 116129332A
Authority
CN
China
Prior art keywords
ship
tracking
ships
data
video monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310387654.3A
Other languages
English (en)
Other versions
CN116129332B (zh
Inventor
刘�文
瞿晶祥
郭彧
鲍梦薇
赵晨洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202310387654.3A priority Critical patent/CN116129332B/zh
Publication of CN116129332A publication Critical patent/CN116129332A/zh
Application granted granted Critical
Publication of CN116129332B publication Critical patent/CN116129332B/zh
Priority to US18/495,776 priority patent/US12008801B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00—Monitoring properties or operating parameters of vessels in operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种多船舶目标的跟踪识别方法、装置、电子设备及存储介质，该方法包括：基于有效AIS数据确定船舶当前时刻所处位置，并将其投影到图像中，得到船舶视觉运动轨迹；基于视频监控数据得到多个船舶对应的目标检测框；基于上一时刻多个船舶的目标检测框确定遮挡区域，确定遮挡区域的预测检测框，将预测检测框的外观特征加载为遮挡前最后时刻提取的外观特征；将预测检测框、实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，得到当前时刻的视觉跟踪轨迹；将多个船舶分别的有效AIS数据融合至视频监控数据中，确定船舶身份。本发明可以解决在严重遮挡和完全遮挡等复杂船舶航行场景下对船舶进行抗遮挡跟踪的问题。

Description

多船舶目标的跟踪识别方法、装置、电子设备及存储介质
技术领域
本发明涉及船舶追踪技术领域，具体涉及一种多船舶目标的跟踪识别方法、装置、电子设备及存储介质。
背景技术
海上运输已成为经济贸易的主流渠道之一，对于水上交通系统的监管效率要求也日益提升。在视觉监控中，多船舶目标重叠造成的船舶遮挡，导致在视觉数据中无法获得视野范围内所有船舶目标的位置及运动特征。此外，多船舶目标场景下的精准身份识别问题仍未得到有效解决。
在水上交通场景中，由于船舶的移动速度较慢，遮挡时间往往较长，且遮挡比例大。针对严重遮挡、完全遮挡以及长时间遮挡等复杂船舶航行场景下的目标抗遮挡跟踪仍难以实现。
发明内容
有鉴于此，有必要提供一种多船舶目标的跟踪识别方法、装置、电子设备及存储介质，用以解决难以在严重遮挡、完全遮挡以及长时间遮挡等复杂船舶航行场景下对船舶进行抗遮挡跟踪的技术问题。
为了实现上述目的，本发明提供了一种多船舶目标的跟踪识别方法，包括：
获取视频监控数据和初始AIS数据；
对所述初始AIS数据进行筛选，得到有效AIS数据；
基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；
将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；
基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；
将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；
基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
进一步地，所述基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：
基于所述船舶视觉运动轨迹，提取所述有效AIS数据在所述视频监控数据中的运动特征；
将所述有效AIS数据在所述视频监控数据中的运动特征与所述当前时刻的船舶视觉跟踪轨迹的运动特征进行相似性度量，得到相似性度量结果；
基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
进一步地，所述基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：
基于所述相似性度量结果和预设的权重系数，构建总相似度函数；
基于所述总相似度函数的输出结果构建成本矩阵；
基于匈牙利算法确定所述成本矩阵的最优匹配结果；
基于所述最优匹配结果将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
进一步地，所述将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹，包括：
基于用于获取所述视频监控数据对应相机的参数，基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，从投影后的数据中提取所述有效AIS数据在所述视频监控数据中的运动特征，并基于所述有效AIS数据在所述视频监控数据中的运动特征，得到所述船舶视觉运动轨迹；
其中，所述相机的参数，包括：所述相机的位置、所述相机的朝向、所述相机的水平视场角、所述相机的垂直视场角、所述相机的距水面高度以及所述相机拍摄所述视频监控数据的分辨率。
进一步地，所述基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，包括：
基于所述相机的参数、所述小孔成像模型和所述船舶的特征信息，构建所述相机的横向纵向视场角与所述船舶当前时刻所处位置之间的几何关系式；
基于所述几何关系式，确定所述船舶在所述有效AIS数据对应图像中的横坐标和纵坐标，基于所述船舶在所述视频监控数据对应图像中的横坐标和纵坐标，将所述船舶当前时刻所处位置投影至所述图像坐标系。
进一步地，所述基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，包括：
将上一时刻所述多个船舶对应的目标检测框中，与其他目标检测框的重叠度高于设定阈值的目标检测框，确定为所述遮挡区域。
进一步地，所述有效AIS数据，包括：船舶航速、船舶航向以及船舶经纬度坐标。
本发明还提供一种多船舶目标的跟踪识别装置，包括：
获取模块，用于获取视频监控数据和初始AIS数据；
筛选模块，用于对所述初始AIS数据进行筛选，得到有效AIS数据；
提取模块，用于基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；
检测模块，用于将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；
确定模块，用于基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；
跟踪模块，用于将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；
融合模块，用于基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
本发明还提供一种电子设备，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如上述任意一项所述的多船舶目标的跟踪识别方法中的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的多船舶目标的跟踪识别方法。
采用上述实现方式的有益效果是：本发明提供的多船舶目标的跟踪识别方法、装置、电子设备及存储介质，通过获取视频监控数据和初始AIS数据；对初始AIS数据进行筛选，得到有效AIS数据；基于有效AIS数据确定船舶当前时刻所处位置，将船舶当前时刻所处位置投影至视频监控数据对应的图像中，得到船舶视觉运动轨迹；将视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；基于上一时刻多个船舶对应的目标检测框确定遮挡区域，将当前时刻多个船舶对应的目标检测框中落到遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定遮挡区域的预测检测框，并基于预测检测框的遮挡前外观特征确定实时外观特征；将预测检测框、实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹。基于当前时刻的船舶视觉运动轨迹，将多个船舶分别对应的有效AIS数据融合至视频监控数据中，对多船舶目标进行身份识别跟踪，基于视频和AIS数据融合的方法鲁棒性更强，且不受数据库内容的限制，能够有效地解决水上交通视频监管中存在的船舶目标跟踪不稳定，在严重遮挡、完全遮挡以及长时间遮挡等复杂船舶航行场景下对船舶进行抗遮挡跟踪的问题，对保障船舶航行安全，提升水上交通监管效率等方面具有重要意义。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的多船舶目标的跟踪识别方法的一实施例的流程示意图；
图2为本发明提供的多船舶目标的跟踪识别方法的另一实施例的流程示意图；
图3为本发明提供的多船舶目标的跟踪识别装置的一实施例的结构示意图；
图4为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明实施例中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本发明实施例中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种多船舶目标的跟踪识别方法、装置、电子设备及存储介质，以下分别进行说明。
如图1所示，本发明提供一种多船舶目标的跟踪识别方法，包括：
步骤110、获取视频监控数据和初始AIS数据。
可以理解的是，视频监控数据可以通过监控设备采集，例如相机。AIS数据，即是通过低轨道的卫星接收船舶发送的AIS报文信息，卫星将接收和解码AIS报文信息转发给相应的地球站，从而让陆地管理机构掌握船舶的相关动态信息，实现对远海海域航行船舶的监控。其中，初始AIS数据中可能包含有一些重复数据、以及严重不符合实际的数据。
通过监控设备采集视频监控数据时，记录监控设备的所处位置、朝向方向、视场角等参数，以及AIS数据和视频监控数据的实时时间戳。具体为：
视觉采集设备参数包括相机位置的经纬度、相机朝向方向、相机水平视场角、相机垂直视场角、相机距水面高度、相机拍摄图像数据的分辨率，视频采集时间戳。AIS数据包括MMSI（Maritime Mobile Service Identify，水上移动通信业务标识码)号、航速、航向、船舶经纬度坐标。
同步接收AIS与视觉数据，时间戳以接收设备为准，若为不同设备接收，要求时间偏差小于1秒。
步骤120、对所述初始AIS数据进行筛选，得到有效AIS数据。
可以理解的是，针对接收的原始的AIS数据进行数据筛选，剔除存在数据缺失、数据重复、数据严重偏差等问题的AIS数据。具体为：
针对AIS源数据中，因为AIS在甚高频波段传输数据采用的不可靠的传输方法，导致的数据重复，数据缺失，以及由船舶自身设备损坏造成的数据误差等问题，进行数据筛选。随后综合考虑AIS数据中的船舶对地航向和船舶位置数据，删除未来不可能出现在视频采集设备中的AIS数据，筛选操作每秒钟执行一次。
在一些实施例中，所述有效AIS数据，包括：船舶航速、船舶航向以及船舶经纬度坐标。
步骤130、基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹。
可以理解的是，根据筛选后的AIS数据（即有效AIS数据），结合船舶的运动学方程，推算船舶航行轨迹，预测当前时刻船舶所处的位置。
船舶运动学方程可表示为：
,
,
其中，、代表当前时刻的船舶经纬度坐标，、代表上一秒（即上一时刻）的船舶经纬度坐标，、代表船舶航速沿经度方向和纬度方向的分量，代表两时刻的时间差。由船舶运动学方程可根据历史时刻AIS数据推算出当前时刻AIS数据。
船舶运动轨迹推算，具体指从AIS数据中提取当前时刻的船舶经纬度坐标，以及船舶航速沿经度方向和纬度方向的分量，并基于运动学方程推算出下一时刻船舶所处位置的经纬度坐标，推算操作每秒钟执行一次。
步骤140、将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框。
可以理解的是，将视觉数据输入至目标检测网络，进行船舶目标检测，其输出的目标检测框可表示为：
其中，,,,分别为船舶目标检测结果的矩形检测框四个顶点在图像坐标系中的水平坐标与竖直坐标。然后根据上一秒跟踪结果形成的遮挡区域，判断是否落在遮挡区域内，若是，则执行删除操作。
进一步，目标检测网络基于如下步骤训练完成：
收集制作20000张图像的数据集，并将图像进行标注用于船舶目标检测网络训练；
20000张图像为采集的实际监管场景下的不同时间，不同角度的水上船舶目标检测数据集；
利用制作的数据集对目标检测网络进行训练，保存训练参数结果，使其获得更高精度的目标检测能力。
目标检测网络，具体采用Yolov5-s目标检测网络，目标检测网络每秒钟检测一次，并作用于当前秒内所有视频帧。
步骤150、基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征。
可以理解的是，根据上一秒的跟踪结果，即上一时刻所述多个船舶对应的目标检测框，对落在遮挡区域内的跟踪船舶ID进行视觉轨迹预测，具体为：
假设时刻出现遮挡，则将前一个时刻的图像帧作为参考，基于此ID对应视觉轨迹的运动特征进行轨迹预测，预测结果可表示为：
其中，，，代表基于运动学方程预测的跟踪结果，，，代表上一秒的视觉跟踪结果。和为当前和历史时刻跟踪框的中心，和代表当前和历史时刻跟踪框的长，和代表当前和历史时刻跟踪框的宽，分别代表船舶视觉跟踪轨迹的平均运动速度，可表示为：
代表人为设置的参考时间，默认取为5秒。获取预测结果后，预测框的外观特征保存为遮挡前最后时刻DeepSORT算法所提取的外观特征。将预测结果和当前时刻未遮挡的检测结果特征进行级联后，输入DeepSORT算法进行匹配，从而获取所有目标的ID。随后进行遮挡区域更新，为下一时刻抗遮挡跟踪提供最新的遮挡区域。遮挡区域的判定阈值可表示为：
其中，表示重叠区域面积，表示互相遮挡的若干艘船舶的检测框面积，一般实验中判定阈值取为0.5。
进一步，多目标抗遮挡跟踪算法，可得到视野范围中的船舶的ID号与对应的完整的船舶视觉运动轨迹。
外观特征，指在DeepSORT算法中进行ID分配时需要参考的通过卷积神经网络提取的外观特征。
步骤160、将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹。
可以理解的是，DeepSORT算法，通过卡尔曼滤波器与卷积神经网络，分别提取历史轨迹与当前检测框的运动位置偏差与外观特征偏差，然后通过匈牙利算法进行ID分配。
步骤170、基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
可以理解的是，将预测检测框及其外观特征以及非遮挡状态下的实时目标检测框输入至预设的DeepSORT算法模型后，得到当前时刻的船舶视觉跟踪轨迹，基于当前时刻的船舶视觉跟踪轨迹，将多个船舶分别对应的有效AIS数据融合至视频监控数据中，对多船舶目标进行身份识别跟踪，基于视频和AIS数据融合的方法鲁棒性更强，且不受数据库内容的限制。
进一步，基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：
基于所述船舶视觉运动轨迹，提取所述有效AIS数据在所述视频监控数据中的运动特征；
将所述有效AIS数据在所述视频监控数据中的运动特征与所述当前时刻的船舶视觉跟踪轨迹的运动特征进行相似性度量，得到相似性度量结果；
基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
可以理解的是，根据抗遮挡跟踪算法形成的船舶视觉跟踪轨迹，提取视觉轨迹运动特征（速度、航向、位置），与AIS经纬度数据投影至图像坐标系后提取的船舶视觉运动轨迹中推算出的船舶运动特征进行相似性度量。具体为：
根据输入的AIS数据投影后的运动特征和视觉轨迹运动特征，从运动方向、运动速度以及当前位置三个角度计算其相似度，其中运动速度和当前位置采取标准化欧氏距离作为特征之间的相似度评价指标。速度偏差记作，位置偏差记作，可表示为：
其中，代表AIS经纬度数据投影至图像坐标系后提取的船舶视觉运动轨迹中第艘船舶的航行速度大小，代表视频画面中第艘船舶的航行速度大小。和分别代表AIS经纬度数据投影至图像坐标系后提取的船舶视觉运动轨迹中第艘船舶的横纵坐标，和分别代表视频画面中第艘船舶的横纵坐标。将，分别做标准化处理后，可得速度和位置相似度和。
运动方向是否一致在实际融合应用中起着决定性影响，其相似度表达式为
其中，代表AIS经纬度数据投影到图像坐标系后提取的船舶视觉运动轨迹中的船舶运动方向，代表视频画面中的船舶方向，设定为90度，即当两运动方向角度差高于90度时，判断其为不相关。
运动特征相似性度量，具体指从当前位置，运动速度，运动方向三种特征出发，计算各个特征之间的标准化欧氏距离，作为特征之间的相似度评价指标。
在一些实施例中，所述基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：
基于所述相似性度量结果和预设的权重系数，构建总相似度函数；
基于所述总相似度函数的输出结果构建成本矩阵；
基于匈牙利算法确定所述成本矩阵的最优匹配结果；
基于所述最优匹配结果将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
可以理解的是，数据融合，具体指计算AIS经纬度数据投影至图像坐标系后的船舶视觉运动轨迹的运动特征与视频画面中的船舶运动特征相似度，然后分别赋予相似度相应的权重系数，创建总相似度函数，并使用总相似度函数的输出结果构建成本矩阵。采用匈牙利算法获得所述成本矩阵的最优匹配结果，根据匹配结果将AIS数据融合至视觉数据（即视频监控数据）中，匹配操作每秒钟执行一次，并作用于当前秒内所有视频帧。
根据相似性度量结果，采用匈牙利算法，得到AIS数据轨迹点与视觉数据轨迹点之间的最优匹配，将每个船舶目标的AIS数据融合至视频数据中，实现多船舶目标身份识别。总成本函数（即：总相似度函数）的表达式为：
其中，代表总成本指标，代表运动方向相似度，代表运动速度相似度，代表距离相似度，、和代表各相似度对应的权重。其中取为1000，从而避免角度偏差过大的数据进行融合，分别设置为0.5。将作为成本矩阵的元素构建成本矩阵，最后利用匈牙利算法对所述成本矩阵求解得到最优匹配策略，从而实现AIS数据与视觉数据中船舶目标的融合匹配，并在视觉数据中显示船舶AIS信息。
在一些实施例中，所述将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹，包括：
基于用于获取所述视频监控数据对应相机的参数，基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，从投影后的数据中提取所述有效AIS数据在所述视频监控数据中的运动特征，并基于所述有效AIS数据在所述视频监控数据中的运动特征，得到所述船舶视觉运动轨迹；
其中，所述相机的参数，包括：所述相机的位置、所述相机的朝向、所述相机的水平视场角、所述相机的垂直视场角、所述相机的距水面高度以及所述相机拍摄所述视频监控数据的分辨率。
可以理解的是，同步采集视觉图像数据与AIS数据，并记录相机的具体参数，包括相机位置的经纬度、相机朝向方向、相机水平视场角、相机垂直视场角、相机距水面高度、相机拍摄图像数据的分辨率。
基于相机自身的详细参数，利用小孔成像模型实现经纬度坐标系与图像坐标系之间的坐标变换，将AIS经纬度数据投影至图像坐标系后提取船舶视觉运动轨迹与船舶视觉运动轨迹对应的运动特征（即：船舶运动特征）。
在一些实施例中，所述基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，包括：
基于所述相机的参数、所述小孔成像模型和所述船舶的特征信息，构建所述相机的横向纵向视场角与所述船舶当前时刻所处位置之间的几何关系式；
基于所述几何关系式，确定所述船舶在所述有效AIS数据对应图像中的横坐标和纵坐标，基于所述船舶在所述视频监控数据对应图像中的横坐标和纵坐标，将所述船舶当前时刻所处位置投影至所述图像坐标系。
可以理解的是，根据抗遮挡跟踪算法的船舶视觉跟踪轨迹，提取视觉轨迹运动特征（速度、航向、位置），与AIS船舶经纬度数据投影至图像坐标系后提取的船舶视觉运动轨迹中推算出的船舶运动特征进行相似性度量。
根据输入的AIS船舶经纬度数据投影后的运动特征和视觉轨迹运动特征，从运动方向，运动速度，当前位置三个角度计算其相似度，其中运动速度和当前位置采取标准化欧氏距离作为特征之间的相似度评价指标。速度偏差记作，位置偏差记作，可表示为：
其中，代表AIS船舶经纬度数据投影至图像坐标系后提取的船舶视觉运动轨迹中第艘船舶的航行速度大小，代表视频画面中第艘船舶的航行速度大小。和分别代表AIS经纬度数据投影至图像坐标系后提取的船舶视觉运动轨迹中第艘船舶的横纵坐标，和分别代表视频画面中第艘船舶的横纵坐标。将，分别做标准化处理后，可得速度和位置相似度和。
运动方向是否一致在实际融合应用中起着决定性影响，其相似度表达式为
其中，代表AIS经纬度数据投影至图像坐标系后提取的船舶视觉运动轨迹中的船舶运动航向，代表视频画面中的船舶航向，设定为90度，即当两运动方向角度差高于90度时，判断其为不相关。
在一些实施例中，所述基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，包括：
将上一时刻所述多个船舶对应的目标检测框中，与其他目标检测框的重叠度高于设定阈值的目标检测框，确定为所述遮挡区域。
可以理解的是，遮挡区域指通过检测框之间的重叠度，判断其是否处于遮挡状态，对于重叠度高于设定阈值的检测框则将其判定为遮挡区域。
在另一些实施例中，本发明提供的多船舶目标的跟踪识别方法的流程图如图2所示，本发明针对海事监管中广泛存在的船舶遮挡跟踪与身份识别问题，提出了一种基于视频数据和AIS数据融合的抗遮挡多船舶目标跟踪与身份识别方法。针对遮挡问题提出了船舶抗遮挡跟踪算法，同时针对身份识别问题提出了AIS数据与视觉数据融合的策略实现视觉船舶目标与AIS数据匹配，从而实现船舶目标的精准识别。该发明成功解决了水上交通场景下多船舶跟踪受船舶遮挡影响的问题以及船舶身份识别问题。
综上所述，本发明提供的多船舶目标的跟踪识别方法，通过获取视频监控数据和初始AIS数据；对所述初始AIS数据进行筛选，得到有效AIS数据；基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
将预测检测框和实时外观特征输入至预设的DeepSORT算法模型后，得到当前时刻的船舶视觉跟踪轨迹，基于前时刻的船舶视觉跟踪轨迹，将多个船舶分别对应的有效AIS数据融合至视频监控数据中，对多船舶目标进行身份识别跟踪，基于视频和AIS数据融合的方法鲁棒性更强，且不受数据库内容的限制，能够有效地解决水上交通视频监管中存在的船舶目标跟踪不稳定，在严重遮挡、完全遮挡以及长时间遮挡等复杂船舶航行场景下对船舶进行抗遮挡跟踪的问题，对保障船舶航行安全，提升水上交通监管效率等方面具有重要意义。
如图3所示，本发明还提供一种多船舶目标的跟踪识别装置300，包括：
获取模块310，用于获取视频监控数据和初始AIS数据；
筛选模块320，用于对所述初始AIS数据进行筛选，得到有效AIS数据；
提取模块330，用于基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；
检测模块340，用于将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；
确定模块350，用于基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；
跟踪模块360，用于将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；
融合模块370，用于基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
上述实施例提供的多船舶目标的跟踪识别装置可实现上述多船舶目标的跟踪识别方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述多船舶目标的跟踪识别方法实施例中的相应内容，此处不再赘述。
如图4所示，本发明还相应提供了一种电子设备400。该电子设备400包括处理器401、存储器402及显示器403。图4仅示出了电子设备400的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器402在一些实施例中可以是电子设备400的内部存储单元，例如电子设备400的硬盘或内存。存储器402在另一些实施例中也可以是电子设备400的外部存储设备，例如电子设备400上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。
进一步地，存储器402还可既包括电子设备400的内部储存单元也包括外部存储设备。存储器402用于存储安装电子设备400的应用软件及各类数据。
处理器401在一些实施例中可以是一中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器402中存储的程序代码或处理数据，例如本发明中的多船舶目标的跟踪识别方法。
显示器403在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器403用于显示在电子设备400的信息以及用于显示可视化的用户界面。电子设备400的部件401-403通过系统总线相互通信。
在本发明的一些实施例中，当处理器401执行存储器402中的多船舶目标的跟踪识别程序时，可实现以下步骤：
获取视频监控数据和初始AIS数据；
对所述初始AIS数据进行筛选，得到有效AIS数据；
基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；
将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；
基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；
将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；
基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
应当理解的是：处理器401在执行存储器402中的多船舶目标的跟踪识别程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备400的类型不做具体限定，电子设备400可以为手机、平板电脑、个人数字助理(personaldigitalassistant，PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备400也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多船舶目标的跟踪识别方法，该方法包括：
获取视频监控数据和初始AIS数据；
对所述初始AIS数据进行筛选，得到有效AIS数据；
基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；
将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；
基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；
将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；
基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的多船舶目标的跟踪识别方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多船舶目标的跟踪识别方法，其特征在于，包括：
获取视频监控数据和初始AIS数据；
对所述初始AIS数据进行筛选，得到有效AIS数据；
基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；
将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；
基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；
将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；
基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
2.根据权利要求1所述的多船舶目标的跟踪识别方法，其特征在于，所述基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：
基于所述船舶视觉运动轨迹，提取所述有效AIS数据在所述视频监控数据中的运动特征；
将所述有效AIS数据在所述视频监控数据中的运动特征与所述当前时刻的船舶视觉跟踪轨迹的运动特征进行相似性度量，得到相似性度量结果；
基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
3.根据权利要求2所述的多船舶目标的跟踪识别方法，其特征在于，所述基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：
基于所述相似性度量结果和预设的权重系数，构建总相似度函数；
基于所述总相似度函数的输出结果构建成本矩阵；
基于匈牙利算法确定所述成本矩阵的最优匹配结果；
基于所述最优匹配结果将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
4.根据权利要求1所述的多船舶目标的跟踪识别方法，其特征在于，所述将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹，包括：
基于用于获取所述视频监控数据对应相机的参数，基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，从投影后的数据中提取所述有效AIS数据在所述视频监控数据中的运动特征，并基于所述有效AIS数据在所述视频监控数据中的运动特征，得到所述船舶视觉运动轨迹；
其中，所述相机的参数，包括：所述相机的位置、所述相机的朝向、所述相机的水平视场角、所述相机的垂直视场角、所述相机的距水面高度以及所述相机拍摄所述视频监控数据的分辨率。
5.根据权利要求4所述的多船舶目标的跟踪识别方法，其特征在于，所述基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，包括：
基于所述相机的参数、所述小孔成像模型和所述船舶的特征信息，构建所述相机的横向纵向视场角与所述船舶当前时刻所处位置之间的几何关系式；
基于所述几何关系式，确定所述船舶在所述有效AIS数据对应图像中的横坐标和纵坐标，基于所述船舶在所述视频监控数据对应图像中的横坐标和纵坐标，将所述船舶当前时刻所处位置投影至所述图像坐标系。
6.根据权利要求1所述的多船舶目标的跟踪识别方法，其特征在于，所述基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，包括：
将上一时刻所述多个船舶对应的目标检测框中，与其他目标检测框的重叠度高于设定阈值的目标检测框，确定为所述遮挡区域。
7.根据权利要求1-6任一项所述的多船舶目标的跟踪识别方法，其特征在于，所述有效AIS数据，包括：船舶航速、船舶航向以及船舶经纬度坐标。
8.一种多船舶目标的跟踪识别装置，其特征在于，包括：
获取模块，用于获取视频监控数据和初始AIS数据；
筛选模块，用于对所述初始AIS数据进行筛选，得到有效AIS数据；
提取模块，用于基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；
检测模块，用于将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；
确定模块，用于基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；
跟踪模块，用于将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；
融合模块，用于基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如权利要求1至中任意一项所述的多船舶目标的跟踪识别方法中的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多船舶目标的跟踪识别方法。
CN202310387654.3A 2023-04-12 2023-04-12 多船舶目标的跟踪识别方法、装置、电子设备及存储介质 Active CN116129332B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310387654.3A CN116129332B (zh) 2023-04-12 2023-04-12 多船舶目标的跟踪识别方法、装置、电子设备及存储介质
US18/495,776 US12008801B1 (en) 2023-04-12 2023-10-27 Tracking and identification method, device, electronic device, and storage medium for multiple vessel targets

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310387654.3A CN116129332B (zh) 2023-04-12 2023-04-12 多船舶目标的跟踪识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116129332A true CN116129332A (zh) 2023-05-16
CN116129332B CN116129332B (zh) 2023-07-04

Family

ID=86299402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310387654.3A Active CN116129332B (zh) 2023-04-12 2023-04-12 多船舶目标的跟踪识别方法、装置、电子设备及存储介质

Country Status (2)

Country Link
US (1) US12008801B1 (zh)
CN (1) CN116129332B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法
JP2021196949A (ja) * 2020-06-16 2021-12-27 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体追跡装置、物体追跡方法及びプログラム
CN115147594A (zh) * 2022-07-06 2022-10-04 上海海事大学 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法
WO2022217840A1 (zh) * 2021-04-15 2022-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411969B1 (en) * 2010-08-06 2013-04-02 The United States Of America As Represented By The Secretary Of The Navy Method for fusing overhead imagery with automatic vessel reporting systems
JP5665677B2 (ja) * 2011-07-12 2015-02-04 株式会社東芝 追尾装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
JP2021196949A (ja) * 2020-06-16 2021-12-27 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体追跡装置、物体追跡方法及びプログラム
WO2022217840A1 (zh) * 2021-04-15 2022-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法
CN115147594A (zh) * 2022-07-06 2022-10-04 上海海事大学 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINGXIANG QU等: "Deep learning-driven surveillance quality enhancement for maritime management promotion under low-visibility weathers", OCEAN AND COASTAL MANAGEMENT, pages 1 - 12 *
RYAN WEN LIU等: "Asynchronous Trajectory Matching-Based Multimodal Maritime Data Fusion for Vessel Traffic Surveillance in Inland Waterways", ARXIV, pages 1 - 13 *
RYAN WEN LIU等: "Improving maritime traffic surveillance in inland waterways using the robust fusion of AIS and visual data", OCEAN ENGINEERING, pages 1 - 13 *
刘钊等: "数据驱动的船舶异常行为识别方法", 中国航海, pages 1 - 7 *

Also Published As

Publication number Publication date
CN116129332B (zh) 2023-07-04
US12008801B1 (en) 2024-06-11

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
Liu et al. YOLO-extract: Improved YOLOv5 for aircraft object detection in remote sensing images
US20140064624A1 (en) Systems and methods for estimating the geographic location at which image data was captured
US20150095360A1 (en) Multiview pruning of feature database for object recognition system
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN116245916B (zh) 一种面向无人艇的红外舰船目标跟踪方法及装置
CN110992392A (zh) 一种基于运动状态的关键帧选取方法及装置
CN109754034A (zh) 一种基于二维码的终端设备定位方法及装置
CN106558069A (zh) 一种基于视频监控下的目标跟踪方法及系统
Lyu et al. Sea-surface object detection based on electro-optical sensors: A review
US11227407B2 (en) Systems and methods for augmented reality applications
CN115346155A (zh) 一种面向视觉特征非连续性干扰的船舶图像航迹提取方法
Yuan et al. High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning
CA2787856A1 (en) Systems and methods for estimating the geographic location at which image data was captured
CN113763466B (zh) 一种回环检测方法、装置、电子设备和存储介质
CN116129332B (zh) 多船舶目标的跟踪识别方法、装置、电子设备及存储介质
CN104104911A (zh) 全景图像生成过程中的时间戳消除和重置方法及系统
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant