CN115082833A - 一种水上目标威胁度判别方法及系统 - Google Patents

一种水上目标威胁度判别方法及系统 Download PDF

Info

Publication number
CN115082833A
CN115082833A CN202210834886.4A CN202210834886A CN115082833A CN 115082833 A CN115082833 A CN 115082833A CN 202210834886 A CN202210834886 A CN 202210834886A CN 115082833 A CN115082833 A CN 115082833A
Authority
CN
China
Prior art keywords
target
module
threat degree
optical flow
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210834886.4A
Other languages
English (en)
Inventor
李小毛
魏成伟
彭艳
谭国珠
刘畅
吴毅强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202210834886.4A priority Critical patent/CN115082833A/zh
Publication of CN115082833A publication Critical patent/CN115082833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种水上目标威胁度判别方法及系统，涉及图像处理技术领域。所述方法包括：获取水上场景视频数据；对所述水上场景视频数据进行图像预处理，得到预处理图像数据；根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序；所述威胁度判别模型包括光流提取模块、空间显著性排序模块和威胁度判别模块，所述光流提取模块和所述空间显著性排序模块的输出均与所述威胁度判别模块的输入连接；所述光流提取模块包括多层光流网络层，多层所述光流网络层呈金字塔结构；所述空间显著性排序模块包括依次连接的语义提取网络、注意力结构和ocor模块。本发明能够极大的降低检测成本和运算复杂度，提高运算精度。

Description

一种水上目标威胁度判别方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种水上目标威胁度判别方法及系统。
背景技术
威胁度判别在各个领域都有重要用途。在无人水上艇领域，无人艇被广泛用于在无人环境下执行危险任务。现在的无人艇视觉处理任务主要针对于勘探任务，因此，常采用二维目标检测算法对视觉目标进行识别。但当前传统的水上目标识别及威胁度判断方法需要依赖于多个传感器，利用航海雷达、激光雷达、光电相机等对海上目标，如海上礁石、水上渔船、海上敌舰等目标进行综合测量，生成对视野内目标的准确信息，包括目标类别、目标距离、目标高度、目标航路、目标速度等，对这些因素综合考量后，再利用公式及数学算法计算目标威胁度。
随着深度学习技术深入发展，目前常用的方法采用光电相机对水上目标进行拍摄，然后利用基于神经网络的目标检测算法对视野内图像进行分析，可以得到目标类别和采用单目测距得到的距离信息，此后可以利用其他传感器得到的信息，综合对威胁度进行判别。
但是由于海上环境复杂多变，实际部署过程也需要考虑到设备成本等限制，上述方法存在诸多缺陷。一方面，将多传感器融合方法应用到海上目标检测的方法并不完备，大多存在精度低、鲁棒性差、环境适应性差等问题，而且一些雷达传感器价格较为高昂，其融合算法也对设备性能提出较高要求，采用融合的方法会导致设备成本大大增加；另一方面，若仅采用价格较为低廉的视觉传感器，如今目标检测算法获取的语义信息不足以确定威胁度，无法考虑到视野内目标尤其是多目标的时空信息，通过单目测距获取的目标距离也容易存在很大的误差。因此，现有技术方案存在检测成本高，运算复杂且精度低的问题。
发明内容
本发明的目的是提供一种水上目标威胁度判别方法及系统，能够极大的降低检测成本和运算复杂度，以及提高运算精度。
为实现上述目的，本发明提供了如下方案：
一种水上目标威胁度判别方法，包括：
获取水上场景视频数据；
对所述水上场景视频数据进行图像预处理，得到预处理图像数据；
根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序；所述威胁度判别模型包括光流提取模块、空间显著性排序模块和威胁度判别模块，所述光流提取模块和所述空间显著性排序模块的输出均与所述威胁度判别模块的输入连接；所述光流提取模块包括多层光流网络层，多层所述光流网络层呈金字塔结构；所述空间显著性排序模块包括依次连接的语义提取网络、注意力结构和目标-语义-目标关联模块。
可选地，所述对所述水上场景视频数据进行预处理，得到预处理图像数据，具体包括：
对所述水上场景视频数据进行目标筛选，得到目标视频；
对所述目标视频进行截取，得到帧率图像；
对所述帧率图像依次进行尺寸调整、对比度调整和随机旋转，得到预处理图像数据。
可选地，所述根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序，具体包括：
从所述预处理图像数据中抽取任意两帧图像作为抽取图像数据；
将所述抽取图像数据输入所述光流提取模块中进行光流计算，得到各水上目标的图像光流数据；所述图像光流数据为水上目标从抽取图像数据的前一帧图像到后一帧图像的运动数据；
将所述抽取图像数据中的后一帧图像输入所述空间显著性排序模块中进行空间语义特征显著性运算，得到各水上目标的显著性得分；
将各水上目标的图像光流数据和对应的显著性得分，输入所述威胁度判别模块进行威胁度判别，得到各水上目标的威胁度；
对各所述水上目标的威胁度进行排序，得到所述水上场景视频数据中水上目标的威胁度排序。
可选地，所述将所述抽取图像数据中的后一帧图像输入所述空间显著性排序模块中进行空间语义特征显著性运算，得到各水上目标的显著性得分，具体包括：
将所述抽取图像数据中的后一帧图像输入所述语义提取网络中，得到初始语义特征；
将所述初始语义特征通过注意力结构进行语义增强，得到增强语义特征；所述语义增强包括依次进行编码和动态加权；
将所述抽取图像数据中的后一帧图像的增强语义特征输入所述目标-语义-目标关联模块进行显著性关联运算，得到各水上目标的显著性得分。
可选地，还包括：按照所述威胁度排序对所述水上目标进行可视化显示。
本发明还提供了一种水上目标威胁度判别系统，包括：
数据采集模块，用于获取水上场景视频数据；
数据预处理模块，用于对所述水上场景视频数据进行图像预处理，得到预处理图像数据；
威胁度排序模块，用于根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序；所述威胁度判别模型包括光流提取模块、空间显著性排序模块和威胁度判别模块，所述光流提取模块和所述空间显著性排序模块的输出均与所述威胁度判别模块的输入连接；所述光流提取模块包括多层光流网络层，多层所述光流网络层呈金字塔结构；所述空间显著性排序模块包括依次连接的语义提取网络、注意力结构和目标-语义-目标关联模块。
可选地，所述数据预处理模块包括：
目标筛选单元，用于对所述水上场景视频数据进行目标筛选，得到目标视频；
帧率截图单元，用于对所述目标视频进行截取，得到帧率图像；
数据预处理单元，用于对所述帧率图像依次进行尺寸调整、对比度调整和随机旋转，得到预处理图像数据。
可选地，所述威胁度排序模块包括：
图像抽取单元，用于从所述预处理图像数据中抽取任意两帧图像作为抽取图像数据；
光流计算单元，用于将所述抽取图像数据输入所述光流提取模块中进行光流计算，得到各水上目标的图像光流数据；所述图像光流数据为水上目标从抽取图像数据的前一帧图像到后一帧图像的运动数据；
空间语义特征显著性运算单元，用于将所述抽取图像数据中的后一帧图像输入所述空间显著性排序模块中进行空间语义特征显著性运算，得到各水上目标的显著性得分；
威胁度判别单元，用于将各水上目标的图像光流数据和对应的显著性得分，输入所述威胁度判别模块进行威胁度判别，得到各水上目标的威胁度；
威胁度排序单元，用于对各所述水上目标的威胁度进行排序，得到所述水上场景视频数据中水上目标的威胁度排序。
可选地，所述空间语义特征显著性运算单元包括：
初始语义提取子单元，用于将所述抽取图像数据中的后一帧图像输入所述语义提取网络中，得到初始语义特征；
语义增强子单元，用于将所述初始语义特征通过注意力结构进行语义增强，得到增强语义特征；所述语义增强包括依次进行编码和动态加权；
显著性运算子单元，用于将所述抽取图像数据中的后一帧图像的增强语义特征输入所述目标-语义-目标关联模块进行显著性关联运算，得到各水上目标的显著性得分。
可选地，还包括：显示模块，用于按照所述威胁度排序对所述水上目标进行可视化显示。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种水上目标威胁度判别方法及系统，所述方法包括获取水上场景视频数据，对所述水上场景视频数据进行图像预处理，得到预处理图像数据；根据所述预处理图像数据和威胁度判别模型确定水上目标的威胁度排序。其中，所述威胁度判别模型包括依次连接的光流提取模块、空间显著性排序模块和威胁度判别模块；所述光流提取模块包括光流网络和所述光流网络连接的金字塔模型；所述空间显著性排序模块包括依次连接的语义提取网络、注意力结构和目标-语义-目标关联模块。本发明利用威胁度判别模型对水上场景视频数据进行威胁度判别运算及排序，无需利用多传感器数据，就能够实现对水上目标威胁度的判定，极大的降低了检测成本和运算复杂度，以及提高了运算精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明水上目标威胁度判别方法的方法流程图；
图2为本发明水上目标威胁度判别方法的威胁度判别逻辑流程图；
图3为本发明水上目标威胁度判别方法的威胁度判别模型示意图；
图4为本发明水上目标威胁度判别方法的语义提取网络示意图；
图5为本发明水上目标威胁度判别系统结构示意图。
符号说明：
1-数据采集模块；2-数据预处理模块；3-威胁度排序模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种水上目标威胁度判别方法及系统，能够极大的降低检测成本和运算复杂度，以及提高运算精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-图2所示，本发明实施例提供的一种水上目标威胁度判别方法，包括：
步骤100：获取水上场景视频数据。
步骤200：对所述水上场景视频数据进行图像预处理，得到预处理图像数据。
步骤300：根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序；所述威胁度判别模型包括光流提取模块、空间显著性排序模块和威胁度判别模块，所述光流提取模块和所述空间显著性排序模块的输出均与所述威胁度判别模块的输入连接；所述光流提取模块包括多层光流网络层，多层所述光流网络层呈金字塔结构；所述空间显著性排序模块包括依次连接的语义提取网络、注意力结构和目标-语义-目标关联(Object-Context-Object RelationModule，ocor)模块。
步骤400：按照所述威胁度排序对所述水上目标进行可视化显示。
在步骤100中，作为一种实施方式，所述水上场景视频数据为从实际艇载光电相机中获得的视频，其中包括分别从各种环境、光照条件下获取的五段视频数据。
步骤200具体包括：
S1：对所述水上场景视频数据进行目标筛选，得到目标视频。
S2：对所述目标视频进行截取，得到帧率图像。具体包含约24000帧图像，同时，获取大量目标类别图像约17000张及非目标类别的视频流数据集，这些图像、视频将作为预训练数据分别训练空间显著性排序模块和光流提取模块。
S3：对所述帧率图像依次进行尺寸调整、对比度调整和随机旋转，得到预处理图像数据。在本实施例中，先将所述帧率图像的图片最大边调整为608，再使用边缘填充(padding)操作将短边补齐到608，使所述帧率图像调整为608*608的大小。此外，对图片进行对比度调整和随机旋转。
在步骤300中，威胁度判别模型包括光流提取模块、空间显著性排序模块和威胁度判别模块，其中光流提取模块用于提取图像的时间信息，空间显著性排序模块用于提取水上目标的语义空间关系和目标语义信息，威胁度判别模块用于融合时空语义信息并进行处理输出水上目标的威胁度。相比于现如今提出的显著性排序网络，该模型不仅可以对语义信息和空间位置信息进行提取，更能够在实际运用场景中，结合多帧图像，通过综合考量其速度、位移，得到更为准确、更符合人类感官的的威胁度信息判别。具体包括如下步骤：
S1：从所述预处理图像数据中抽取任意两帧图像作为抽取图像数据。
S2：将所述抽取图像数据输入所述光流提取模块中进行光流计算，得到各水上目标的图像光流数据；所述图像光流数据为水上目标从抽取图像数据的前一帧图像到后一帧图像的运动数据。
S3：将所述抽取图像数据中的后一帧图像输入所述空间显著性排序模块中进行空间语义特征显著性运算，得到各水上目标的显著性得分。
S4：将各水上目标的图像光流数据和对应的显著性得分，输入所述威胁度判别模块进行威胁度判别，得到各水上目标的威胁度。
S5：对各所述水上目标的威胁度进行排序，得到所述水上场景视频数据中水上目标的威胁度排序。
上述步骤300中的S1-S2具体实施方式为：
给定待判别目标视频流(也即水上场景视频数据)，首先从视频流中抽取前后两帧图像{Ik 1，Ik 2}，使用基于空间金字塔光流网络(spatial pyramid network，spynet)的神经网络计算图像光流信息(如图3所示)，该光流信息的具体格式为两个通道的尺寸为(W,H)的特征图，即(W,H,2)的张量，上述两个通道的特征图分别表示图像在x、y轴上的位移大小，进而在威胁度判别模块中对该结果进一步处理，得到视频流的目标时间威胁度。
并且由于海上环境复杂，而且船体会带动光电相机晃动，造成拍摄视频不稳定，在不同帧之间的目标位移可能相当大，因此该光流提取模块采用空间金字塔模型对光流特征提取进行加强。具体实施方式为：首先网络默认初始光流场为0，使用两倍下采样的原始图像在金字塔顶端直接计算光流，为了减少大幅运动对光流提取的影响，将金字塔网络顶层计算出的光流经由上采样后送入下一级金字塔网络中进一步计算，下一级的网络将利用上一次网络提取的光流对具有更高清晰度的图像进行进一步的光流提取。
具体公式如下：
υk＝Gk(Ik 1,w(Ik 2,u(Vk-1)),u(Vk-1)) (1)
Vk＝u(Vk-1)+υk (2)
其中，Vk表示第k级网络输出的预测光流；υk表示第k级网络输出的预测光流残差；u(.)表示上采样操作；该残差Vk由卷积层Gk对前一级金字塔网络的上采样后的光流u(Vk-1)、视频前后帧{Ik 1，Ik 2}进行计算获得；{Ik 1，Ik 2}为图像前后帧，为尺寸为(W，H，C)的两个张量；W和H为输入图像大小，即608；C为输入通道数，即对应RGB的3通道；w(Ik 2,u(Vk-1))为根据光流u(Vk-1)对图像帧Ik 2进行扭曲(warp)操作，从而获取对齐特性。
通过将真实光流V进行下采样后通过将
Figure BDA0003747340740000081
与u(Vk-1)相减，得到真实光流残差
Figure BDA0003747340740000082
作为各个光流网络的真实值进行回归，以分别训练金字塔上的每个光流网络，损失函数采用交叉熵损失LEPE(EPE loss)，也即公式(4)，其中，
Figure BDA0003747340740000083
和(vkx,vky)分别表示在x、y方向的位移。因此，每个网络只需要预测与上一级的光流残差，简化了光流预测难度。
Figure BDA0003747340740000084
Figure BDA0003747340740000085
通过光流预测网络，可以得到尺寸为W*H*2(W,H,2)的特征图张量作为输出结果，其对应通道M1，M2，分别对应每个像素在x、y两个方向上的位移大小。
上述步骤300中的S3具体包括：
第一步：将所述抽取图像数据中的后一帧图像输入所述语义提取网络中，得到初始语义特征。
第二步：将所述初始语义特征通过注意力结构进行语义增强，得到增强语义特征；所述语义增强包括依次进行编码和动态加权。
第三步：将所述抽取图像数据中的后一帧图像的增强语义特征输入所述ocor模块进行显著性关联运算，得到各水上目标的显著性得分。
在本实施例中，利用空间显著性排序模块对单帧图像进行处理，就能够得到基于空间语义信息的显著性排序分数。所述空间显著性排序模块的输入为步骤300中的S1中抽取的后一帧图像，通过基于移动窗口变形模型(shift window transformer，swintransformer)和特征金字塔网络(feature pyramid network，FPN)的特征提取骨干backbone，提取语义特征Fobj(如图4所示)，Fobj为尺寸为(Wi,Hi,Ci)的张量，这里的Wi和Hi为输入的H、W除以步长大小，Ci为100，也即从输出结果中提取出的置信度最高的前100个结果，使用SOS注意力结构获取对每个目标的特征进行编码并动态加权，捕获并增强显著对象的语义特征，再通过ocor模块结合全局信息获取每个目标的显著性关联，输出为对应空间语义信息的显著性排序分数。
SOS模块通过兴趣区域分配(region ofinterest alignment，roi_align)抽取通过backbone部分得到的100个目标序列obj_queries的目标语义特征Fcontext对应的目标特征信息Fobj，首先计算出特征间的协方差归一化矩阵M，该矩阵可以表示特征间的跨通道相关性，利用全局协方差池化GCP对M进行计算得到编码sc，使用可学习的参数ac 1,ac 2,bc 1,bc 2对M进行动态加权，获取通道权重后与特征信息Fobj相乘即可获取增强后的特征信息
Figure BDA0003747340740000091
Figure BDA0003747340740000092
Figure BDA0003747340740000101
Figure BDA0003747340740000102
Figure BDA0003747340740000103
其中，K＝W×H，C为通道数，max(.)为求二者最大值操作，
Figure BDA00037473407400001012
为通道间的乘法,
Figure BDA0003747340740000104
表示通道级的均值向量，S＝[s1,s2,......,sc]，表示对目标与局部、目标与全局的上下文信息进行编码，
Figure BDA0003747340740000105
表示通道间的关联。
在增强特征
Figure BDA0003747340740000106
的基础上，可以进一步的使用注意力机制模拟人类视觉的空间注意力，构成OSOR模块。
具体实现如下：
将使用SOS结构加权后的Fcontext和
Figure BDA0003747340740000107
在通道上进行联系(concatenate)操作获得
Figure BDA0003747340740000108
以保留原始信息，H和W为特征层的大小，C为输入该模块的通道数，N为目标数量，设置为100。利用多头注意力机制对特征进行操作，生成k(key)、q(query)、v(value)并进一步提取相关性，其具体公式如下：
Figure BDA0003747340740000109
其中，φP(.)为线性映射函数，负责将特征映射为k、q、v，P为线性映射数量，其值为8，表示将一个特征映射为8个向量，将输入特征转换为映射(embedding)形式；AP ＜i,j＞(x,y)为k和q的点积，用以得到两个特征向量的相似性，即目标i的空间语义x与目标j的空间语义y的交互性，具体公式如下：
Figure BDA00037473407400001010
最终输出如下：
Figure BDA00037473407400001011
该输出为融合了空间语义信息的特征，可以利用威胁度判别模块中经由一个卷积层计算直接输出空间语义威胁度结果。
上述步骤300中的S4具体包括：
威胁度判别模块对时间、空间、语义信息进行融合，得到最终的威胁度判别结果。
通过融合了空间语义信息的威胁度判别模块，已经可以通过一个卷积层对威胁度进行初步判别得到初始的判别结果salient_score，此处是一个全连接层运算，对公式(11)的结果进一步计算，得到空间威胁度结果，以张量形式输出，张量FC(.)中的每个值对应一个显著性得分。
Figure BDA0003747340740000111
但是这一显著性得分无法将船只的运动状态纳入考量。由于光流图已经可以较准确的反映出物体在当前时刻的运动状态，因此可以简单的使用softmax函数对光流结果进行处理，如公式(12)，得到光流分数flow_score，直接与空间语义显著性结果进行计算，如公式(11)，得到威胁度判别分数threat_score。为了减少运动信息对威胁度的影响，借用知识蒸馏的方法，在使用softmax时，需要对“蒸馏温度”进行调整，其具体实现如下：
Figure BDA0003747340740000112
Figure BDA0003747340740000113
其中，threat_score为威胁度，T为蒸馏温度，当T增大时，flow_score对威胁度的影响会逐渐减小；EPS为一个极小的常数，防止obj_score(i)为0。
在定义时间分数flow_score时，考虑到具有相同移动方向的目标往往倾向于形成某一战略编队，因此应分配更大的威胁度，定义光流获得的对应每个目标的位移向量
Figure BDA0003747340740000114
其中M1，M2为对应x、y两个通道，i为根据检测分支获得的目标索引，flow_score的具体实现如下：
Figure BDA0003747340740000121
其中移动的相似性利用向量的点乘来定义，τ为权重项。
最后，对于威胁度判别模型的训练，是利用已检测水上目标视频数据及对应的威胁度作为训练数据。在训练时，首先使用光流数据集(Flying Chairs)和收集的水上舰艇图片数据集对光流提取模块和空间显著性排序模块分别进行预训练，训练周期为100个迭代(epoch)，优化器采用梯度下降法(SGD)，学习率lr设置为0.02，动量momentum设置为0.9，权重衰减系数weight_decay设置为0.0001，获得提取光流信息和空间显著性信息的网络，然后使用录制的水上舰艇视频数据集，对网络进行综合训练，训练参数设置与预训练一致。
其中，损失函数的定义如下：
L＝Ldet+λLosor+βLflow (16)
式中，Ldet是检测损失，例如，L＝Lcls+λLbox+βLmask，Lmask与MaskRCNN中的定义相同，为逐像素的平均二值交叉熵损失，Lflow与spynet中的定义相同，为光流网络的损失函数之和，Losor为OSOR loss，是通过OSOR模块直接预测出的空间显著性排序分数与GT排序分数的交叉熵损失。
网络训练完成后，可以直接用于实时视频流威胁度检测。使用光电相机获取视频流后，算法会保留上一帧，与当前帧同时输入时空显著性排序网络，实时输出威胁度排序结果。
在步骤400中，可视化显示的具体实施方式为：
除了具体的威胁度得分threat_score外，算法还会将威胁度得分可视化，根据威胁度排序分数给予目标不同颜色，其中红色为威胁度最高的目标，蓝色最低。根据实际运用场景，可以调整输出阈值和模块的输出通道数目，使得算法可以适用于各种场景下对多类别、数量目标的检测。可视化显示的形式可根据实际情况进行调整，并不以此为例。
如图5所示，本发明还提供了一种水上目标威胁度判别系统，包括：数据采集模块1、数据预处理模块2和威胁度排序模块3。
具体地，所述数据采集模块1用于获取水上场景视频数据；所述数据预处理模块2用于对所述水上场景视频数据进行图像预处理，得到预处理图像数据；所述威胁度排序模块3用于根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序；所述威胁度判别模型包括光流提取模块、空间显著性排序模块和威胁度判别模块，所述光流提取模块和所述空间显著性排序模块的输出均与所述威胁度判别模块的输入连接；所述光流提取模块包括多层光流网络层，多层所述光流网络层呈金字塔结构；所述空间显著性排序模块包括依次连接的语义提取网络、注意力结构和ocor模块。
进一步地，本发明所述数据预处理模块2包括：目标筛选单元、帧率截图单元和数据预处理单元。
具体地，所述目标筛选单元用于对所述水上场景视频数据进行目标筛选，得到目标视频；所述帧率截图单元用于对所述目标视频进行截取，得到帧率图像；所述数据预处理单元，用于对所述帧率图像依次进行尺寸调整、对比度调整和随机旋转，得到预处理图像数据。
进一步地，本发明所述威胁度排序模块3包括：图像抽取单元、光流计算单元、空间语义特征显著性运算单元和威胁度判别单元。
具体地，所述图像抽取单元用于从所述预处理图像数据中抽取任意两帧图像作为抽取图像数据；所述光流计算单元用于将所述抽取图像数据输入所述光流提取模块中进行光流计算，得到各水上目标的图像光流数据；所述图像光流数据为水上目标从抽取图像数据的前一帧图像到后一帧图像的运动数据；所述空间语义特征显著性运算单元用于将所述抽取图像数据中的后一帧图像输入所述空间显著性排序模块中进行空间语义特征显著性运算，得到各水上目标的显著性得分；所述威胁度判别单元用于将各水上目标的图像光流数据和各水上目标的显著性得分，输入所述威胁度判别模块进行威胁度判别，得到各水上目标的威胁度；所述威胁度排序单元用于对各所述水上目标的威胁度进行排序，得到所述水上场景视频数据中水上目标的威胁度排序。
作为一种优选的实施方式，所述空间语义特征显著性运算单元包括：初始语义提取子单元、语义增强子单元和显著性运算子单元。
具体地，所述初始语义提取子单元用于将所述抽取图像数据中的后一帧图像输入所述语义提取网络中，得到初始语义特征；所述语义增强子单元用于将所述初始语义特征通过注意力结构进行语义增强，得到增强语义特征；所述语义增强包括依次进行编码和动态加权；所述显著性运算子单元用于将所述抽取图像数据中的后一帧图像的增强语义特征输入所述ocor模块进行显著性关联运算，得到各水上目标的显著性得分。
进一步地，本发明提供的一种水上目标威胁度判别系统还包括：显示模块。所述显示模块用于按照所述威胁度排序对所述水上目标进行可视化显示。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种水上目标威胁度判别方法，其特征在于，包括：
获取水上场景视频数据；
对所述水上场景视频数据进行图像预处理，得到预处理图像数据；
根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序；所述威胁度判别模型包括光流提取模块、空间显著性排序模块和威胁度判别模块，所述光流提取模块和所述空间显著性排序模块的输出均与所述威胁度判别模块的输入连接；所述光流提取模块包括多层光流网络层，多层所述光流网络层呈金字塔结构；所述空间显著性排序模块包括依次连接的语义提取网络、注意力结构和目标-语义-目标关联模块。
2.根据权利要求1所述的水上目标威胁度判别方法，其特征在于，所述对所述水上场景视频数据进行预处理，得到预处理图像数据，具体包括：
对所述水上场景视频数据进行目标筛选，得到目标视频；
对所述目标视频进行截取，得到帧率图像；
对所述帧率图像依次进行尺寸调整、对比度调整和随机旋转，得到预处理图像数据。
3.根据权利要求1所述的水上目标威胁度判别方法，其特征在于，所述根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序，具体包括：
从所述预处理图像数据中抽取任意两帧图像作为抽取图像数据；
将所述抽取图像数据输入所述光流提取模块中进行光流计算，得到各水上目标的图像光流数据；所述图像光流数据为水上目标从抽取图像数据的前一帧图像到后一帧图像的运动数据；
将所述抽取图像数据中的后一帧图像输入所述空间显著性排序模块中进行空间语义特征显著性运算，得到各水上目标的显著性得分；
将各水上目标的图像光流数据和对应的显著性得分，输入所述威胁度判别模块进行威胁度判别，得到各水上目标的威胁度；
对各所述水上目标的威胁度进行排序，得到所述水上场景视频数据中水上目标的威胁度排序。
4.根据权利要求3所述的水上目标威胁度判别方法，其特征在于，所述将所述抽取图像数据中的后一帧图像输入所述空间显著性排序模块中进行空间语义特征显著性运算，得到各水上目标的显著性得分，具体包括：
将所述抽取图像数据中的后一帧图像输入所述语义提取网络中，得到初始语义特征；
将所述初始语义特征通过注意力结构进行语义增强，得到增强语义特征；所述语义增强包括依次进行编码和动态加权；
将所述抽取图像数据中的后一帧图像的增强语义特征输入所述目标-语义-目标关联模块进行显著性关联运算，得到各水上目标的显著性得分。
5.根据权利要求1所述的水上目标威胁度判别方法，其特征在于，还包括：按照所述威胁度排序对所述水上目标进行可视化显示。
6.一种水上目标威胁度判别系统，其特征在于，包括：
数据采集模块，用于获取水上场景视频数据；
数据预处理模块，用于对所述水上场景视频数据进行图像预处理，得到预处理图像数据；
威胁度排序模块，用于根据所述预处理图像数据和威胁度判别模型确定所述水上场景视频数据中水上目标的威胁度排序；所述威胁度判别模型包括光流提取模块、空间显著性排序模块和威胁度判别模块，所述光流提取模块和所述空间显著性排序模块的输出均与所述威胁度判别模块的输入连接；所述光流提取模块包括多层光流网络层，多层所述光流网络层呈金字塔结构；所述空间显著性排序模块包括依次连接的语义提取网络、注意力结构和目标-语义-目标关联模块。
7.根据权利要求6所述的水上目标威胁度判别系统，其特征在于，所述数据预处理模块包括：
目标筛选单元，用于对所述水上场景视频数据进行目标筛选，得到目标视频；
帧率截图单元，用于对所述目标视频进行截取，得到帧率图像；
数据预处理单元，用于对所述帧率图像依次进行尺寸调整、对比度调整和随机旋转，得到预处理图像数据。
8.根据权利要求6所述的水上目标威胁度判别系统，其特征在于，所述威胁度排序模块包括：
图像抽取单元，用于从所述预处理图像数据中抽取任意两帧图像作为抽取图像数据；
光流计算单元，用于将所述抽取图像数据输入所述光流提取模块中进行光流计算，得到各水上目标的图像光流数据；所述图像光流数据为水上目标从抽取图像数据的前一帧图像到后一帧图像的运动数据；
空间语义特征显著性运算单元，用于将所述抽取图像数据中的后一帧图像输入所述空间显著性排序模块中进行空间语义特征显著性运算，得到各水上目标的显著性得分；
威胁度判别单元，用于将各水上目标的图像光流数据和对应的显著性得分，输入所述威胁度判别模块进行威胁度判别，得到各水上目标的威胁度；
威胁度排序单元，用于对各所述水上目标的威胁度进行排序，得到所述水上场景视频数据中水上目标的威胁度排序。
9.根据权利要求8所述的水上目标威胁度判别系统，其特征在于，所述空间语义特征显著性运算单元包括：
初始语义提取子单元，用于将所述抽取图像数据中的后一帧图像输入所述语义提取网络中，得到初始语义特征；
语义增强子单元，用于将所述初始语义特征通过注意力结构进行语义增强，得到增强语义特征；所述语义增强包括依次进行编码和动态加权；
显著性运算子单元，用于将所述抽取图像数据中的后一帧图像的增强语义特征输入所述目标-语义-目标关联模块进行显著性关联运算，得到各水上目标的显著性得分。
10.根据权利要求7所述的水上目标威胁度判别系统，其特征在于，还包括：显示模块，用于按照所述威胁度排序对所述水上目标进行可视化显示。
CN202210834886.4A 2022-07-15 2022-07-15 一种水上目标威胁度判别方法及系统 Pending CN115082833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210834886.4A CN115082833A (zh) 2022-07-15 2022-07-15 一种水上目标威胁度判别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210834886.4A CN115082833A (zh) 2022-07-15 2022-07-15 一种水上目标威胁度判别方法及系统

Publications (1)

Publication Number Publication Date
CN115082833A true CN115082833A (zh) 2022-09-20

Family

ID=83259208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210834886.4A Pending CN115082833A (zh) 2022-07-15 2022-07-15 一种水上目标威胁度判别方法及系统

Country Status (1)

Country Link
CN (1) CN115082833A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746227A (zh) * 2024-02-19 2024-03-22 吉林大学 一种红外偏振成像数据的水下目标细粒度分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746227A (zh) * 2024-02-19 2024-03-22 吉林大学 一种红外偏振成像数据的水下目标细粒度分类方法

Similar Documents

Publication Publication Date Title
Varghese et al. ChangeNet: A deep learning architecture for visual change detection
CN107576960B (zh) 视觉雷达时空信息融合的目标检测方法及系统
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN115147731A (zh) 一种基于全空间编码注意力模块的sar图像目标检测方法
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
CN114998566A (zh) 一种可解释的多尺度红外弱小目标检测网络设计方法
CN115359372A (zh) 一种基于光流网络的无人机视频运动目标检测方法
Wang et al. A feature-supervised generative adversarial network for environmental monitoring during hazy days
CN111723632A (zh) 一种基于孪生网络的船舶跟踪方法及系统
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115238758A (zh) 一种基于点云特征增强的多任务三维目标检测方法
CN115082833A (zh) 一种水上目标威胁度判别方法及系统
CN115731545A (zh) 一种基于融合感知的电缆隧道巡检方法及装置
Farahnakian et al. Deep convolutional neural network-based fusion of rgb and ir images in marine environment
CN114913342A (zh) 融合事件和图像的运动模糊图像线段检测方法及系统
CN113591592B (zh) 水上目标识别方法、装置、终端设备及存储介质
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
Liu et al. Deep underwater monocular depth estimation with single-beam echosounder
CN116958780A (zh) 一种跨尺度的目标检测方法及系统
CN115797684A (zh) 一种基于上下文信息的红外小目标检测方法及系统
CN112950481B (zh) 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法
CN115457120A (zh) 一种gps拒止条件下的绝对位置感知方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination