CN117152530A - 一种基于多模态信息融合的海面目标跟踪系统 - Google Patents

一种基于多模态信息融合的海面目标跟踪系统 Download PDF

Info

Publication number
CN117152530A
CN117152530A CN202311196942.7A CN202311196942A CN117152530A CN 117152530 A CN117152530 A CN 117152530A CN 202311196942 A CN202311196942 A CN 202311196942A CN 117152530 A CN117152530 A CN 117152530A
Authority
CN
China
Prior art keywords
sea surface
target
feature
system based
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311196942.7A
Other languages
English (en)
Inventor
王国庆
周昌智
潘海华
李克祥
郑国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG SOS TECHNOLOGY CO LTD
Original Assignee
ZHEJIANG SOS TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG SOS TECHNOLOGY CO LTD filed Critical ZHEJIANG SOS TECHNOLOGY CO LTD
Priority to CN202311196942.7A priority Critical patent/CN117152530A/zh
Publication of CN117152530A publication Critical patent/CN117152530A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种基于多模态信息融合的海面目标跟踪系统，包括数据采集模块、特征物提取模块、目标类型判断模块以及决策处理模块；数据采集模块用于获取海面环境信息；特征物提取模块用于将海面环境信息根据删除法保留得到特征物信息；目标类型判断模块用于根据特征物信息通过系统库的索引以及特征物相似度分析得到对应的目标物类型；决策处理模块用于根据目标物类型以及海面环境信息中的目标物位置信息匹配，且通过处理策略得到决策信息；本发明优点是能够将多种不同信息融合判断海上目标类型，根据判断的目标类型进一步判断是否跟踪。

Description

一种基于多模态信息融合的海面目标跟踪系统
技术领域
本发明涉及海上驾驶辅助系统领域，更具体的说是涉及一种基于多模态信息融合的海面目标跟踪系统。
背景技术
目标跟踪是在连续的图像中对感兴趣物体进行检测、提取、识别和跟踪，从而获得目标物体的相关参数，如位置、速度、尺寸、轨迹等，并对其进一步处理和分析，实现对目标物体的行为理解，但是根据视觉图像进行目标跟踪的方式对应用环境有较高的要求，如恶劣的海面环境进行的目标跟踪，单一的视觉跟踪还难以满足，目前的海面目标跟踪的方式包括有基于AIS及对海雷达融合，但是该种跟踪系统难以对目标进行合理且准确的判断分析，无法满足船只海上航行的目标跟踪及安全监控。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于多模态信息融合的海面目标跟踪系统，该种多模态信息融合的海面目标跟踪系统能够将多种不同信息融合判断海上目标类型，根据判断的目标类型进一步判断是否跟踪。
为实现上述目的，本发明提供了如下技术方案：
一种基于多模态信息融合的海面目标跟踪系统，包括数据采集模块、特征物提取模块、目标类型判断模块以及决策处理模块；
所述数据采集模块用于获取海面环境信息；
所述特征物提取模块用于将所述海面环境信息根据删除法保留得到特征物信息；
所述目标类型判断模块用于根据所述特征物信息通过系统库的索引以及特征物相似度分析得到对应的目标物类型；
所述决策处理模块用于根据所述目标物类型以及海面环境信息中的目标物位置信息匹配，且通过处理策略得到决策信息。
进一步的，所述海面环境信息包括视觉相机拍摄得到的海面前视图像、对海雷达检测得到的反射点数据、卫星拍摄得到的海面俯视图像以及船载AIS得到的目标信号。
进一步的，所述删除法包括区域划分步骤、区域物匹配步骤以及区域删除步骤；
所述区域划分步骤，将所述海面前视图像按照界线轮廓依次划分不同属性的区域作为待分析区域；
所述区域物匹配步骤，将所述待分析区域中的区域物在系统库中进行匹配，若匹配到相同的排除因素，则进行标记；
所述区域删除步骤，将标记的待分析区域删除，保留未标记的待分析区域。
所述目标物类型包括漂浮物、商船、渔船以及快艇。
进一步的，所述决策处理模块用于将目标物类型与反射点数据、海面俯视图像以及目标信号进行融合得到目标物的跟踪轨迹。
进一步的，所述特征物相似度分析包括调比重合步骤，所述调比重合步骤包括将未标记的待分析区域中的特征物进行缩放得到倍率图，将所述倍率图在系统库中进行匹配，判断倍率图与系统库中的记录物进行相似度计算，得到相似度最大值对应的目标物类型。
进一步的，所述特征物相似度分析还包括偏移量分析步骤，所述偏移量分析步骤包括计算未标记的待分析区域中的特征物在t时间下位移量，根据所述位移量和海面环境信息通过误差忽略法验证目标物类型。
进一步的，所述处理策略包括静物子策略，所述静物子策略包括识别步骤和忽略步骤，所述识别步骤判断未标记的待分析区域中的特征物是否为活物，所述忽略步骤根据判断得到否时，忽略目标停止跟踪。
进一步的，所述处理策略包括安全子策略，所述安全子策略包括形状分析步骤和轨迹预判步骤，所述形状分析步骤判断未标记的待分析区域中的特征物的形状和尺寸，所述轨迹预判步骤根据判断的形状和尺寸分析目标航向轨迹，且实时跟踪。
进一步的，所述处理策略包括危险子策略，所述危险子策略包括警戒区域分析步骤和反馈步骤，所述警戒区域分析步骤包括根据自身为中心，以r为半径划出警戒区域，所述反馈步骤判断未标记的待分析区域中的特征物是否落入警戒区域内，若落入，则发出警报信号。
本发明的有益效果：1、通过删除法将海面环境信息中的排除因素进行删除，保留在系统库未匹配到相同的特征，基于传统提取特征物的方式，通过删除法能够最大程度避免有效目标特征的丢失，提高目标类型的识别准确性，且根据目标类型能够判断如何对目标进行跟踪，做出相应的处理决策。
2、将视觉相机拍摄的图像、雷达的反射数据、卫星图像以及船载AIS信号进行融合，依次分别判断得到对应的反馈信息，再将每个反馈信息进行融合判断得到最终的目标物，有利于目标物的判断精准性，且对于目标物的跟踪具有轨迹预判等实时性修正，目标跟踪更为准确。
附图说明
图1是本发明的系统控制图；
图2是本发明的海面前视图；
图3是本发明的反射点数据图。
附属标记：101、数据采集模块；102、特征物提取模块；103、目标类型判断模块；104、决策处理模块。
具体实施方式
下面结合附图和实施例，对本发明进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
由于恶劣的海面环境进行的目标跟踪，单一的视觉跟踪还难以满足，目前的海面目标跟踪的方式包括有基于AIS及对海雷达融合，但是该种跟踪系统难以对目标进行合理且准确的判断分析，无法满足船只海上航行的目标跟踪及安全监控，因此本发明设计这种基于多模态信息融合的海面目标跟踪系统，如图1所示，包括数据采集模块101、特征物提取模块102、目标类型判断模块103以及决策处理模块104；
数据采集模块101用于获取海面环境信息，其中海面环境信息包括视觉相机拍摄得到的海面前视图像、对海雷达检测得到的反射点数据、卫星拍摄得到的海面俯视图像以及船载AIS得到的目标信号；
特征物提取模块102用于将海面环境信息根据删除法保留得到特征物信息，其优点是通过删除法将海面环境信息中的排除因素进行删除，保留在系统库未匹配到相同的特征，基于传统提取特征物的方式，通过删除法能够最大程度避免有效目标特征的丢失，提高目标类型的识别准确性；
目标类型判断模块103用于根据特征物信息通过系统库的索引以及特征物相似度分析得到对应的目标物类型；
决策处理模块104用于根据目标物类型以及海面环境信息中的目标物位置信息匹配，且通过处理策略得到决策信息，即将目标物类型与反射点数据、海面俯视图像以及目标信号进行融合得到目标物的跟踪轨迹，根据目标类型能够判断如何对目标进行跟踪，做出相应的处理决策，确保海上行驶时的安全，将视觉相机拍摄的图像、雷达的反射数据、卫星图像以及船载AIS信号进行融合，依次分别判断得到对应的反馈信息，再将每个反馈信息进行融合判断得到最终的目标物，有利于目标物的判断精准性，且对于目标物的跟踪具有轨迹预判等实时性修正，目标跟踪更为准确。
其中，删除法包括区域划分步骤、区域物匹配步骤以及区域删除步骤；
区域划分步骤，将海面前视图像按照界线轮廓依次划分不同属性的区域作为待分析区域；
区域物匹配步骤，将待分析区域中的区域物在系统库中进行匹配，若匹配到相同的排除因素，则进行标记；
区域删除步骤，将标记的待分析区域删除，保留未标记的待分析区域；
例如：根据图2所示，将海面前视图像根据明显界限划分为中A、B、C、D、E五个区域，该五个区域作为待分析区域，系统库中包括有天空、海、船、漂浮物等等数据图像，将五个区域中的区域物与系统库中进行匹配，较为快速辨别的区域物为天空和海，即将海面前视图中的A区域和E区域进行标记再删除，保留B、C、D区域。
例如：海面环境信息中的雷达反射信号图也可用删除法进行，具体如图3所示，船载雷达发射的反射信号图根据反射点的判断可以划分为a区域和b区域，根据b区域中的反射点进行连线，再根据学习模型能够判断得到b区域中的区域物为船，根据学习模型能够判断得到a区域中的区域物为海，即将a区域删除，保留b区域。
一般海上的目标跟踪主要包括以下几种情形：1、船只海上行驶时，海面具有辨识浮标或落水人员；2、船只海上行驶时，周边出现其他商船；3、船只海上行驶时，周边出现渔船；4、船只海上行驶时，视野范围内出现快艇；因此目标物类型包括漂浮物、商船、渔船以及快艇，其中漂浮物包括辨识浮标和落水人员，另一种情况为捕鲸船只，跟踪水面鲸鱼，将鲸鱼作为目标物类型。
特征物相似度分析包括调比重合步骤，调比重合步骤包括将未标记的待分析区域中的特征物进行缩放得到倍率图，将倍率图在系统库中进行匹配，判断倍率图与系统库中的记录物进行相似度计算，得到相似度最大值对应的目标物类型，图2中B区域和C区域单独切割，进行放大，将放大的图与系统库中进行匹配，当匹配当形状相似度高的记录物时，将该记录物作为目标物类型，可通过现有的相似度计算公式进行计算，也可通过特征物轮廓智能判断得到相似度分值，如海面前视图像根据删除法最终能够保留海面行驶的船只以及船只行驶时的尾浪，根据船只放大和尾浪放大，能够根据船只的形状匹配到与船只相似类型的记录物，而当匹配确认该为船只时，且尾浪的相似度并未得到对应的记录物，则可以将尾浪排除。
为了进一步验证匹配的记录物的准确性，其中特征物相似度分析还包括偏移量分析步骤，偏移量分析步骤包括计算未标记的待分析区域中的特征物在t时间下位移量，根据位移量和海面环境信息通过误差忽略法验证目标物类型，当目标物类型为移动目标时，如商船、民船或者快艇，通过判断目标物在t时刻下的位置以及t1时刻下的位置是否发生偏移，计算偏移量，计算时需要考虑自身是否移动以及海面环境因素(海浪和海风等等)，当偏移量较大，不在误差忽略的范畴内，则可以排出目标物为浮标以及漂浮物，当计算得到的偏移量在误差忽略的范畴内时，则可以排出目标物为具有动力的商船、民船或者快艇，但是也不排除船只停于海面，则需要根据相似度值的大小判断，当相似度大于百分之九十以上，则可以直接将匹配到的记录物作为目标物，当相似度小于百分之九十以下，则需要结合匹配到的记录物与偏移量计算结合分析。
针对上述四种海面跟踪的情况，为了便于海面目标跟踪的决策，处理策略包括静物子策略、安全子策略以及危险子策略，具体的如下：
由于目标物的类型可以判断得到，但是目标物类型中的漂浮物又包括浮标或落水者等，因此处理策略首先针对漂浮物的处理有静物子策略，静物子策略包括识别步骤和忽略步骤，识别步骤判断未标记的待分析区域中的特征物是否为活物，忽略步骤根据判断得到否时，忽略目标停止跟踪，当判断到海面的目标物为活物时，则可以判定场景为救援场景，需要实时跟踪进行救援。
由于海上行驶时需要对周边进行安全排查，因此处理策略还需要对范围内的船只进行监测，具体的安全子策略包括形状分析步骤和轨迹预判步骤，形状分析步骤判断未标记的待分析区域中的特征物的形状和尺寸，根据特征物判断得到目标物是否安全，若目标物性质安全，则通过轨迹预判步骤根据判断的形状和尺寸分析目标航向轨迹，且实时跟踪。
若监测到目标物的性质为危险时，说明目标物为海盗等类型，则通过危险子策略包括警戒区域分析步骤和反馈步骤，警戒区域分析步骤包括根据自身为中心，以r为半径划出警戒区域，反馈步骤判断未标记的待分析区域中的特征物是否落入警戒区域内，若落入，则发出警报信号。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于多模态信息融合的海面目标跟踪系统，其特征在于：包括数据采集模块(101)、特征物提取模块(102)、目标类型判断模块(103)以及决策处理模块(104)；
所述数据采集模块(101)用于获取海面环境信息；
所述特征物提取模块(102)用于将所述海面环境信息根据删除法保留得到特征物信息；
所述目标类型判断模块(103)用于根据所述特征物信息通过系统库的索引以及特征物相似度分析得到对应的目标物类型；
所述决策处理模块(104)用于根据所述目标物类型以及海面环境信息中的目标物位置信息匹配，且通过处理策略得到决策信息。
2.根据权利要求1所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述海面环境信息包括视觉相机拍摄得到的海面前视图像、对海雷达检测得到的反射点数据、卫星拍摄得到的海面俯视图像以及船载AIS得到的目标信号。
3.根据权利要求2所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述删除法包括区域划分步骤、区域物匹配步骤以及区域删除步骤；
所述区域划分步骤，将所述海面前视图像按照界线轮廓依次划分不同属性的区域作为待分析区域；
所述区域物匹配步骤，将所述待分析区域中的区域物在系统库中进行匹配，若匹配到相同的排除因素，则进行标记；
所述区域删除步骤，将标记的待分析区域删除，保留未标记的待分析区域。
4.根据权利要求1或3所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述目标物类型包括漂浮物、商船、渔船以及快艇。
5.根据权利要求4所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述决策处理模块(104)用于将目标物类型与反射点数据、海面俯视图像以及目标信号进行融合得到目标物的跟踪轨迹。
6.根据权利要求5所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述特征物相似度分析包括调比重合步骤，所述调比重合步骤包括将未标记的待分析区域中的特征物进行缩放得到倍率图，将所述倍率图在系统库中进行匹配，判断倍率图与系统库中的记录物进行相似度计算，得到相似度最大值对应的目标物类型。
7.根据权利要求6所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述特征物相似度分析还包括偏移量分析步骤，所述偏移量分析步骤包括计算未标记的待分析区域中的特征物在t时间下位移量，根据所述位移量和海面环境信息通过误差忽略法验证目标物类型。
8.根据权利要求7所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述处理策略包括静物子策略，所述静物子策略包括识别步骤和忽略步骤，所述识别步骤判断未标记的待分析区域中的特征物是否为活物，所述忽略步骤根据判断得到否时，忽略目标停止跟踪。
9.根据权利要求8所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述处理策略包括安全子策略，所述安全子策略包括形状分析步骤和轨迹预判步骤，所述形状分析步骤判断未标记的待分析区域中的特征物的形状和尺寸，所述轨迹预判步骤根据判断的形状和尺寸分析目标航向轨迹，且实时跟踪。
10.根据权利要求9所述一种基于多模态信息融合的海面目标跟踪系统，其特征在于：所述处理策略包括危险子策略，所述危险子策略包括警戒区域分析步骤和反馈步骤，所述警戒区域分析步骤包括根据自身为中心，以r为半径划出警戒区域，所述反馈步骤判断未标记的待分析区域中的特征物是否落入警戒区域内，若落入，则发出警报信号。
CN202311196942.7A 2023-09-15 2023-09-15 一种基于多模态信息融合的海面目标跟踪系统 Pending CN117152530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311196942.7A CN117152530A (zh) 2023-09-15 2023-09-15 一种基于多模态信息融合的海面目标跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311196942.7A CN117152530A (zh) 2023-09-15 2023-09-15 一种基于多模态信息融合的海面目标跟踪系统

Publications (1)

Publication Number Publication Date
CN117152530A true CN117152530A (zh) 2023-12-01

Family

ID=88900648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311196942.7A Pending CN117152530A (zh) 2023-09-15 2023-09-15 一种基于多模态信息融合的海面目标跟踪系统

Country Status (1)

Country Link
CN (1) CN117152530A (zh)

Similar Documents

Publication Publication Date Title
CN109409283B (zh) 一种海面舰船跟踪和监控的方法、系统和存储介质
CN105184816A (zh) 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法
CN101609504B (zh) 一种红外图像海面目标检测识别定位方法
CN110414396A (zh) 一种基于深度学习的无人艇感知融合算法
CN108509919B (zh) 一种基于深度学习对视频或图片中水线的检测和识别方法
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN108445880A (zh) 基于单目视觉和激光数据融合的无人艇自主停泊系统和方法
CN110570537B (zh) 基于视频识别的航标监测方法及船载航标智能巡检设备
KR102345873B1 (ko) 해양관측 부이용 영상촬영 카메라를 이용한 파랑관측 방법 및 시스템
CN104535066A (zh) 一种船载红外视频图像中的海上目标与电子海图的叠加方法及系统
CN111163290B (zh) 一种夜间航行船舶检测并跟踪的方法
CN116453276A (zh) 一种海上风电电子围栏监控预警方法和系统
CN117889865B (zh) 一种基于机器视觉的船舶航行路线优化方法、系统及介质
CN116469276A (zh) 水域安全预警方法、装置、设备及存储介质
KR102558387B1 (ko) 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법
Wang et al. Research of obstacle recognition method for USV based on laser radar
Heyn et al. A system for automated vision-based sea-ice concentration detection and floe-size distribution indication from an icebreaker
Shi et al. Object detection based on saliency and sea-sky line for USV vision
KR102269385B1 (ko) 선박 운항 지원 시스템 및 이를 포함하는 선박
CN117152530A (zh) 一种基于多模态信息融合的海面目标跟踪系统
CN115187936B (zh) 一种海上平台防登临监控系统及方法
CN116166007A (zh) 一种多源数据融合的船舶靠泊路径规划方法
CN106980861A (zh) 一种基于融合特征的船舶快速识别方法
KR20240059205A (ko) 선박 가이드용 무인비행체와 이를 이용한 선박 가이드 시스템 및 선박 가이드 방법
CN113705503A (zh) 一种基于多模态信息融合的异常行为检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination