CN111931684A - 一种基于视频卫星数据鉴别特征的弱小目标检测方法 - Google Patents

一种基于视频卫星数据鉴别特征的弱小目标检测方法 Download PDF

Info

Publication number
CN111931684A
CN111931684A CN202010872520.7A CN202010872520A CN111931684A CN 111931684 A CN111931684 A CN 111931684A CN 202010872520 A CN202010872520 A CN 202010872520A CN 111931684 A CN111931684 A CN 111931684A
Authority
CN
China
Prior art keywords
feature
target
features
image
satellite data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010872520.7A
Other languages
English (en)
Other versions
CN111931684B (zh
Inventor
吕京国
曹逸飞
曲宁宁
扈廷锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202010872520.7A priority Critical patent/CN111931684B/zh
Publication of CN111931684A publication Critical patent/CN111931684A/zh
Application granted granted Critical
Publication of CN111931684B publication Critical patent/CN111931684B/zh
Priority to US17/411,328 priority patent/US11315345B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视频卫星数据鉴别特征的弱小目标检测方法，该方法充分利用鉴别特征来提高弱小目标的检测精度。采用对称语义分割模型和自编码网络提取目标的鉴别特征，利用自顶向下调节机制对影像特征和目标鉴别特征进行数据融合，然后通过注意力机制进行背景增强，进一步增大目标与背景的对比度差异；引入多尺度语义分析策略，采用金字塔模型提取出视频卫星数据中的弱小目标。本发明着重弱小目标鉴别特征的提取与引入，采用注意力机制进一步增大目标与背景的差异，能够极大提高视频卫星中弱小目标的检测精度。

Description

一种基于视频卫星数据鉴别特征的弱小目标检测方法
技术领域
本发明涉及遥感信息处理技术领域，尤其涉及一种基于视频卫星数据鉴别特征的弱小目标检测方法。
背景技术
目前现有技术中，利用地面视频数据对弱小目标进行检测，已经有成熟的技术。经典的动目标检测方法主要有帧差法、背景减法和光流法等。上述方法中其中采用的特征描述子包括：Haar特征、SIFT特征以及HOG特征等；分类器包括逻辑回归、决策树、Adaboost以及SVM等。该类方法的特征提取算法高度依赖于人工设置的合理性，泛化能力较弱，导致应用场景受限。
利用地面视频数据对弱小目标进行检测，近年来提出了许多基于深度学习的目标检测算法。这类算法以大量标记数据为基础，以网络模型设计为核心，可以进行一般目标的检测。主要分为两类，即：双阶段算法与单阶段算法。双阶段算法首先通过卷积神经网络进行特征提取进而得到候选区域，然后，通过分类器对候选区域进行定位与分类，其中典型算法包括R-CNN、Faster R-CNN以及SPP-NET等。该类算法可在很大程度上提升目标检测的精度。但是，由于在进行候选区域生成时花费大量运算时间，因此检测速度并不理想。单阶段算法不需要生成候选区域，在网络中直接提取特征并用于目标的分类和位置的预测，其中典型算法包括YOLOv1、YOLOv3以及SSD等。单阶段算法能在很大程度上提升目标检测的速度，但是，由于网格框架对于候选框生成数量的制约，使其难以达到双阶段算法的精度水平。同时由于弱小目标在视频数据中所占像素少，目标特征匮乏，部分研究人员针对弱小目标检测中存在的难题，从样本、尺度以及语义信息融合三个方面提出了解决方法。
但是由于视频卫星数据和地面视频数据之间还是存在很多的区别，包括拍摄角度不同、观测角度不同、传感器搭载平台不同、空间分辨率不同、成像方式不同以及图像对比度不同，因而不能将地面视频数据弱小目标检测技术直接应用到视频卫星数据中，因此针对视频卫星数据进行弱小目标的检测目前还存在技术难题。
此外，在现有视频图像检测处理技术方面，典型深度学习模型往往根源于“相似式”学习，注重目标自身特征的表示。而“鉴别式”学习，也注重目标特征，但此目标特征，是与背景不一致的目标专属特征，即鉴别特征。“鉴别特征”对于图像识别过程有着重要意义，目前对于“鉴别式”的学习应用相对而言较少。因此如何提高鉴别特征提取效率，准确提取出视频卫星数据的背景鉴别特征，将鉴别特征有效应用在图像处理过程，对视频对象中图像识别或目标检测具有重要意义。
发明内容
本发明的目的在于提供一种基于视频卫星数据鉴别特征的弱小目标检测方法，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明采用的技术方案如下：
一种基于视频卫星数据鉴别特征的弱小目标检测方法，包括以下步骤：
S1，对获取到的视频卫星中的图像裁切成相同大小的图像块，输入到VGG16主干网络中，得到视频卫星数据影像特征；
S2，对裁切好的图像块进行数据标注，对数据标注后的标注区域作为鉴别特征提取范围，采用对称语义分割模型和自编码网络模型提取目标的鉴别特征；
S3,利用自顶向下调节机制对视频卫星数据影像特征和提取得到的目标鉴别特征进行融合；
S4，将步骤S2中采用对称语义分割模型分割后得到的分割图像中的背景，利用注意力机制进行背景增强，进一步增大目标与背景的对比度差异；
S5,引入多尺度语义分析策略，采用金字塔模型，在目标检测算法中融合目标多尺度信息，提取出视频卫星数据中的弱小目标。
优选地，步骤S1中的裁切方式具体包括：
通过滑窗方式将全图裁切为像素大小相同的碎片，且对像素数不足的边界部分通过补零的方式保证所有碎片大小相同，且相邻碎片保证15％区域重叠。
优选地，所述像素大小相同的碎片为224×224像素。
优选地，步骤S2中具体包括：
S21，采用UC-MERCED数据集在线训练对称语义分割模型，以便更有效地获取到视频卫星数据中的影像特征；
S22,利用训练后的对称语义分割模型对视频卫星数据进行语义分割，得到一系列的影像特征图，最终分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，从而得到具有逐像素语义标注的分割图像；
S23，建立特征筛选机制，根据标注区域目标模板，从分割图像中筛选出含有语义的目标影像特征；
S24,将目标影像特征通过自编码网络模型进行语义信息优化与重构，得到与背景有显著区别的鉴别特征，从而提取得到视频卫星数据中目标的鉴别特征。
优选地，步骤S21中具体包括：
A1，选取UC-MERCED数据集，所述UC-MERCED数据集中包括多种地物分类；
A2，对UC-MERCED数据集中的地物类别进行选择，有针对性地在线训练对称语义分割模型；
A3，最终获取已训练后的对称语义分割模型进入步骤S2。
优选地，步骤A3中
所述已训练后的对称语义分割模型包括特征提取部分和上采样部分，所述特征提取部分利用下采样方式逐渐展现背景信息，所述上采样部分结合下采样过程中生成的特征图和上一次上采样生成的特征图还原细节信息，逐步还原至原图像精度，最后通过分类器输出不同分类的最大值，得到最终分割结果。
优选地，步骤S23中建立特征筛选机制具体包括：
利用SIFT特征匹配算法，将标注区域目标模板与分割图像中的区域块进行匹配，进行特征点提取；
具体为：建立特征筛选机制，取标注区域目标模板中的一个SIFT关键点，并找出其与分割图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点，否则剔除这对匹配点，从而筛选出含有语义的目标影像特征。
阈值T取值为0.55，既保证匹配点数目多，又保证匹配精度相对高。
优选地，步骤S3中具体包括：
S31，首先将步骤S2中的鉴别特征进行卷积与池化操作，生成通道数为c的鉴别特征图，同时对步骤S1中得到的影像特征进行c次1*1卷积，使其通道数及尺寸大小与鉴别特征图相同；
S32，对通道数为c的鉴别特征图和进行c次1*1卷积后的影像特征进行对应元素加权相加求平均的运算，从而实现S1影像特征与S2鉴别特征的融合。
优选地，步骤S4具体包括：
S41，将目标鉴别特征作为输入表示为xLN＝[x1,…xN],i＝1,…N，在进行处理时，从输入中选择一部分有益信息加以处理；
S42，给定与模型当前任务或情景相关的查询信息q，用注意力变量Z∈[1,N]来表示所选择的信息的位置，即z＝i表示选择了序号为i的输入特征信息；
S43,使用软性注意力，用注意力权重αi表示选择每一输入信息的可能性，将其作用于特征上，以实现对特征进行选择的效果；
注意力权重αi产生的过程为：
Figure BDA0002651580980000051
其中s(xi,q)为注意力打分函数，需要根据当前注意力机制的任务和模型等因素进行选择，s(xi,q)可以由外界的相关监督信息提供，也可由模型根据输入特征产生。在得到注意力权重α后，将其作用于特征上，以实现对特征进行选择的效果。其对信息的作用过程可以如下表达式表示：
Figure BDA0002651580980000052
优选地，步骤S5具体包括：
S51，所述的多尺度语义分析策略，可以模拟人类视觉系统中由粗到细的感知过程；对于遥感视频目标检测，高尺度数据可以用于很小目标的检测，而低尺度数据可以用于较大目标的检测；
S52，构建多层级特征金字塔结构和特征金字塔，高层特征有利于进行分类，而低层特征有利于目标位置的回归；采用所述多层级特征金字塔结构对特征金字塔进行堆叠,提出利用多层级的特征金字塔连接结构；
S53，通过U型网络对鉴别特征进行编码-解码,并对特征金字塔连接结构中的不同层间相同尺度的特征通道进行加权拼接,最后利用得到的鉴别特征进行多尺度预测，实现视频卫星数据弱小目标的检测。
本发明的有益效果是：
本发明公开了一种基于视频卫星数据鉴别特征的弱小目标检测方法，该方法充分利用鉴别特征来提高弱小目标的检测精度。采用对称语义分割模型和自编码网络提取目标的鉴别特征，利用自顶向下调节机制对影像特征和目标鉴别特征进行数据融合，然后通过注意力机制进行背景增强，进一步增大目标与背景的对比度差异；引入多尺度语义分析策略，采用金字塔模型提取出视频卫星数据中的弱小目标。本申请中着重弱小目标鉴别特征的提取与引入，采用注意力机制进一步增大目标与背景的差异，能够极大提高视频卫星中弱小目标的检测精度。
附图说明
图1是实施例1中提供弱小目标检测方法流程示意图；
图2是实施例1中弱小目标的图像信息提取融合的过程；
图3是实施例1中采用的对称语义分割模型结构示意图；
图4是实施例1中采用的自编码网络模型结构示意图；
图5是实施例1中构建的多层级的特征金字塔连接结构示意图；
图6是实施例1中一种基于视频卫星数据鉴别特征的弱小目标检测方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例
本实施例提供一种基于视频卫星数据鉴别特征的弱小目标检测方法，如图1所示，包括以下步骤：
S1，对获取到的视频卫星中的图像裁切成相同大小的图像块，输入到VGG16主干网络中，得到视频卫星数据影像特征；
S2，对裁切好的图像块进行数据标注，对数据标注后的标注区域作为鉴别特征提取范围，采用对称语义分割模型和自编码网络模型提取目标的鉴别特征；
S3,利用自顶向下调节机制对视频卫星数据影像特征和提取得到的目标鉴别特征进行融合；
S4，将步骤S2中采用对称语义分割模型分割后得到的分割图像中的背景，利用注意力机制对分割图像中的背景进行背景增强，进一步增大目标与背景的对比度差异；
S5,引入多尺度语义分析策略，采用金字塔模型，在目标检测算法中融合目标多尺度信息，提取出视频卫星数据中的弱小目标。
本实施例中，步骤S1中的裁切方式具体包括：
通过滑窗方式将全图裁切为像素大小相同的碎片，且对像素数不足的边界部分通过补零的方式保证所有碎片大小相同，且相邻碎片保证15％区域重叠。
所述像素大小相同的碎片为224×224像素。
本实施例中，步骤S2中具体包括：
S21，采用UC-MERCED数据集在线训练对称语义分割模型，以便更有效地获取到视频卫星数据中的影像特征；
S22,利用训练后的对称语义分割模型对视频卫星数据进行语义分割，得到一系列的影像特征图，最终分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，从而得到具有逐像素语义标注的分割图像；
S23，建立特征筛选机制，根据标注区域目标模板，从分割图像中筛选出含有语义的目标影像特征；
S24,将目标影像特征通过自编码网络模型进行语义信息优化与重构，得到与背景有显著区别的鉴别特征，从而提取得到视频卫星数据中目标的鉴别特征。
具体的，步骤S21具体包括：
A1，构建UC-MERCED数据集，所述UC-MERCED数据集中包括多种地物分类；
A2，对UC-MERCED数据集中的地物类别进行选择，针对背景这一关键词挑选不同的地物类别对对称语义分割模型进行训练；
A3，最终获取已训练后的对称语义分割模型进入步骤S22。
步骤A3中：
所述已训练后的对称语义分割模型包括特征提取部分和上采样部分，如图3所示，所述特征提取部分利用下采样方式逐渐展现背景信息，所述上采样部分结合下采样过程中生成的特征图和上一次上采样生成的特征图还原细节信息，逐步还原至原图像精度，最后通过分类器输出不同分类的最大值，得到最终分割结果。
其中，对于UC-MERCED数据集，包括21种地物分类，且每个类别中都包含100张图片，总计图片数为2100个；每张图像的尺寸为256*256像素，像素分辨率为1英尺。
本实施例中的步骤S23中建立特征筛选机制具体包括：
利用SIFT特征匹配算法，将标注区域目标模板与分割图像中的区域块进行匹配，进行特征点提取；
具体为：建立特征筛选机制，取标注区域目标模板中的一个SIFT关键点，并找出其与分割图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，本实施例中的阈值T取值为0.05；则接受这一对匹配点，否则剔除这对匹配点，从而筛选出含有语义的目标影像特征。
本实施例中步骤S3中具体包括：
S31，首先将步骤S2中的鉴别特征进行卷积与池化操作，生成通道数为c的鉴别特征图，同时对步骤S1中得到的影像特征进行c次1*1卷积，使其通道数及尺寸大小与鉴别特征图相同；
S32，对通道数为c的鉴别特征图和进行c次1*1卷积后的影像特征进行对应元素加权相加求平均的运算，从而实现S1影像特征与S2鉴别特征的融合，如图2所示。
步骤S4具体包括：
S41，将目标鉴别特征作为输入表示为xLN＝[x1,…xN],i＝1,…N，在进行处理时，从输入中选择一部分有益信息加以处理；
S42，给定与模型当前任务或情景相关的查询信息q，用注意力变量Z∈[1,N]来表示所选择的信息的位置，即z＝i表示选择了序号为i的输入特征信息；
S43,使用软性注意力，用注意力权重αi表示选择每一输入信息的可能性，将其作用于特征上，以实现对特征进行选择的效果；
注意力权重αi产生的过程为：
Figure BDA0002651580980000091
其中s(xi,q)为注意力打分函数，需要根据当前注意力机制的任务和模型等因素进行选择，s(xi,q)由外界的相关监督信息提供或者由模型根据输入特征产生；
在得到注意力权重α后，将其作用于鉴别特征上，以实现对鉴别特征进行选择的效果；其对信息的作用过程可以如下表达式表示：
Figure BDA0002651580980000092
本实施例中步骤S5具体包括：
S51，所述的多尺度语义分析策略，可以模拟人类视觉系统中由粗到细的感知过程；对于遥感视频目标检测，高尺度数据可以用于很小目标的检测，而低尺度数据可以用于较大目标的检测；
S52，构建多层级特征金字塔结构和特征金字塔，高层特征有利于进行分类，而低层特征有利于目标位置的回归；采用所述多层级特征金字塔结构对特征金字塔进行堆叠,提出利用多层级的特征金字塔连接结构；
S53，通过U型网络对鉴别特征进行编码-解码,并对特征金字塔连接结构中的不同层间相同尺度的特征通道进行加权拼接,最后利用得到的鉴别特征进行多尺度预测，实现视频卫星数据弱小目标的检测。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明公开了一种基于视频卫星数据鉴别特征的弱小目标检测方法，该方法充分利用鉴别特征来提高弱小目标的检测精度。采用对称语义分割模型和自编码网络提取目标的鉴别特征，利用自顶向下调节机制对影像特征和目标鉴别特征进行数据融合，然后通过注意力机制进行背景增强，进一步增大目标与背景的对比度差异；引入多尺度语义分析策略，采用金字塔模型提取出视频卫星数据中的弱小目标。本发明着重弱小目标鉴别特征的提取与引入，采用注意力机制进一步增大目标与背景的差异，能够极大提高视频卫星中弱小目标的检测精度。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种基于视频卫星数据鉴别特征鉴别特征的弱小目标检测方法，其特征在于，包括以下步骤：
S1，对获取到的视频卫星中的图像裁切成相同大小的图像块，输入到VGG16主干网络中，得到视频卫星数据影像特征；
S2，对裁切好的图像块进行数据标注，对数据标注后的标注区域作为鉴别特征提取范围，采用对称语义分割模型和自编码网络模型提取目标的鉴别特征；
S3,利用自顶向下调节机制对视频卫星数据影像特征和提取得到的目标鉴别特征进行融合；
S4，将步骤S2中采用对称语义分割模型分割后得到的分割图像中的背景，利用注意力机制进行背景增强，进一步增大目标与背景的对比度差异；
S5,引入多尺度语义分析策略，采用金字塔模型，在目标检测算法中融合目标多尺度信息，提取出视频卫星数据中的弱小目标。
2.根据权利要求1所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，步骤S1中的裁切方式具体包括：
通过滑窗方式将全图裁切为像素大小相同的碎片，且对像素数不足的边界部分通过补零的方式保证所有碎片大小相同，且相邻碎片保证15％区域重叠。
3.根据权利要求2所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，所述像素大小相同的碎片为224×224像素。
4.根据权利要求1所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，步骤S2中具体包括：
S21，采用UC-MERCED数据集在线训练对称语义分割模型，以便更有效地获取到视频卫星数据中的影像特征；
S22,利用训练后的对称语义分割模型对视频卫星数据进行语义分割，得到一系列的影像特征图，最终分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，从而得到具有逐像素语义标注的分割图像；
S23，建立特征筛选机制，根据标注区域目标模板，从分割图像中筛选出含有语义的目标影像特征；
S24,将目标影像特征通过自编码网络模型进行语义信息优化与重构，得到与背景有显著区别的鉴别特征，从而提取得到视频卫星数据中目标的鉴别特征。
5.根据权利要求4所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，步骤S21中具体包括：
A1，选取UC-MERCED数据集，所述UC-MERCED数据集中包括多种地物分类；
A2，对UC-MERCED数据集中的地物类别进行选择，有针对性地在线训练对称语义分割模型；
A3，最终获取已训练后的对称语义分割模型进入步骤S22。
6.根据权利要求5所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，步骤A3中：
所述已训练后的对称语义分割模型包括特征提取部分和上采样部分，所述特征提取部分利用下采样方式逐渐展现背景信息，所述上采样部分结合下采样过程中生成的特征图和上一次上采样生成的特征图还原细节信息，逐步还原至原图像精度，最后通过分类器输出不同分类的最大值，得到最终分割结果。
7.根据权利要求4所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，步骤S23中建立特征筛选机制具体包括：
利用SIFT特征匹配算法，将标注区域目标模板与分割图像中的区域块进行匹配，进行特征点提取；
具体为：建立特征筛选机制，取标注区域目标模板中的一个SIFT关键点，并找出其与分割图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点，否则剔除这对匹配点，从而筛选出含有语义的目标影像特征。
8.根据权利要求1所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，步骤S3中具体包括：
S31，首先将步骤S2中的鉴别特征进行卷积与池化操作，生成通道数为c的鉴别特征图，同时对步骤S1中得到的影像特征进行c次1*1卷积，使其通道数及尺寸大小与鉴别特征图相同；
S32，对通道数为c的鉴别特征图和进行c次1*1卷积后的影像特征进行对应元素加权相加求平均的运算，从而实现影像特征与鉴别特征的信息融合。
9.根据权利要求1所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，步骤S4具体包括：
S41，将目标鉴别特征作为输入表示为xLN＝[x1,…xN],i＝1,…N，在进行处理时，从输入中选择一部分有益信息加以处理；
S42，给定与模型当前任务或情景相关的查询信息q，用注意力变量Z∈[1,N]来表示所选择的信息的位置，即z＝i表示选择了序号为i的输入特征信息；
S43,使用软性注意力，用注意力权重αi表示选择每一输入信息的可能性，将其作用于特征上，以实现对特征进行选择的效果；
注意力权重αi产生的过程为：
Figure FDA0002651580970000031
其中s(xi,q)为注意力打分函数，需要根据当前注意力机制的任务和模型的因素进行选择，s(xi,q)由外界的相关监督信息提供或者由模型根据输入特征产生；
在得到注意力权重α后，将其作用于鉴别特征上，以实现对鉴别特征进行选择的效果；其对信息的作用过程可以如下表达式表示：
Figure FDA0002651580970000032
10.根据权利要求1所述的基于视频卫星数据鉴别特征的弱小目标检测方法，其特征在于，步骤S5具体包括：
S51，所述的多尺度语义分析策略，可以模拟人类视觉系统中由粗到细的感知过程；对于视频卫星的目标检测，高尺度数据可以用于很小目标的检测，而低尺度数据可以用于较大目标的检测；
S52，构建多层级特征金字塔结构和特征金字塔，高层特征有利于进行分类，而低层特征有利于目标位置的回归；采用所述多层级特征金字塔结构对特征金字塔进行堆叠，提出利用多层级的特征金字塔连接结构；
S53，通过U型网络对鉴别特征进行编码-解码,并对特征金字塔连接结构中的不同层间相同尺度的特征通道进行加权拼接,最后利用得到的鉴别特征进行多尺度预测，实现视频卫星数据的弱小目标的检测。
CN202010872520.7A 2020-08-26 2020-08-26 一种基于视频卫星数据鉴别特征的弱小目标检测方法 Active CN111931684B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010872520.7A CN111931684B (zh) 2020-08-26 2020-08-26 一种基于视频卫星数据鉴别特征的弱小目标检测方法
US17/411,328 US11315345B2 (en) 2020-08-26 2021-08-25 Method for dim and small object detection based on discriminant feature of video satellite data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010872520.7A CN111931684B (zh) 2020-08-26 2020-08-26 一种基于视频卫星数据鉴别特征的弱小目标检测方法

Publications (2)

Publication Number Publication Date
CN111931684A true CN111931684A (zh) 2020-11-13
CN111931684B CN111931684B (zh) 2021-04-06

Family

ID=73305773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010872520.7A Active CN111931684B (zh) 2020-08-26 2020-08-26 一种基于视频卫星数据鉴别特征的弱小目标检测方法

Country Status (2)

Country Link
US (1) US11315345B2 (zh)
CN (1) CN111931684B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560853A (zh) * 2020-12-14 2021-03-26 中科云谷科技有限公司 图像处理的方法、装置及存储介质
CN113378787A (zh) * 2021-07-07 2021-09-10 山东建筑大学 一种基于多特征视觉的智能交通电子提示装置检测方法及系统
CN113570608A (zh) * 2021-06-30 2021-10-29 北京百度网讯科技有限公司 目标分割的方法、装置及电子设备
CN113627303A (zh) * 2021-08-03 2021-11-09 南京航空航天大学 一种空间碎片识别方法及系统
CN114511717A (zh) * 2022-02-17 2022-05-17 广发银行股份有限公司 背景相似识别的方法、系统、设备及介质
CN115063428A (zh) * 2022-08-18 2022-09-16 中国科学院国家空间科学中心 一种基于深度强化学习的空间暗弱小目标检测方法
CN115131961A (zh) * 2022-06-08 2022-09-30 北京理工大学 智能交通感知方法及装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677515B (zh) * 2022-04-25 2023-05-26 电子科技大学 基于类间相似性的弱监督语义分割方法
CN114998703B (zh) * 2022-05-10 2024-03-08 西北工业大学 一种基于高分辨卷积神经网络的遥感图像变化检测方法
CN115393634B (zh) * 2022-08-11 2023-12-26 重庆邮电大学 一种基于迁移学习策略的少样本目标实时检测方法
CN115393598A (zh) * 2022-10-31 2022-11-25 南京理工大学 一种基于非显著区域对象挖掘的弱监督语义分割方法
CN115631452B (zh) * 2022-11-15 2023-03-10 中国科学院空天信息创新研究院 智能红外弱小目标检测方法、装置、电子设备及介质
KR102527642B1 (ko) * 2022-12-21 2023-05-02 한화시스템(주) 딥러닝 기반 소형 표적 탐지 시스템 및 방법
CN116485856B (zh) * 2023-04-28 2024-07-09 深圳先进技术研究院 一种基于语义分割的无人机图像地理配准方法及相关设备
CN116310764B (zh) * 2023-05-18 2023-07-21 西南交通大学 一种路面井盖智能检测方法及系统
CN116739919B (zh) * 2023-05-22 2024-08-02 武汉大学 无人机光学海洋图像中太阳闪烁的检测和修复方法及系统
CN116797855A (zh) * 2023-08-22 2023-09-22 国网经济技术研究院有限公司 基于卫星影像数据的输电线路通道变化检测方法及装置
CN117036985B (zh) * 2023-10-09 2024-02-06 武汉工程大学 一种面向视频卫星图像的小目标检测方法及装置
CN117058595B (zh) * 2023-10-11 2024-02-13 齐鲁工业大学(山东省科学院) 视频语义特征和可扩展粒度感知时序动作检测方法及装置
CN117671473B (zh) * 2024-02-01 2024-05-07 中国海洋大学 基于注意力和多尺度特征融合的水下目标检测模型及方法
CN118038095B (zh) * 2024-02-02 2024-07-23 北京科技大学 一种基于分割大模型与注意力融合的图像匹配方法和装置
CN118014957A (zh) * 2024-02-04 2024-05-10 贵州财经大学 一种儿童手腕骨折区域图像检测方法
CN118038225A (zh) * 2024-02-29 2024-05-14 北京星视域科技有限公司 一种基于卫星影像的光伏面板提取技术
CN118155005B (zh) * 2024-05-13 2024-08-02 成都坤舆空间科技有限公司 一种基于RAFT-Stereo算法的生态修复图斑匹配分类方法
CN118470332B (zh) * 2024-07-12 2024-09-13 杭州电子科技大学 一种基于语义分割的劳动防护用品穿戴智能精细识别检测方法及装置
CN118587326B (zh) * 2024-08-06 2024-10-01 大连理工大学 提示解耦的文本到大场景遥感图像生成方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770584A (zh) * 2009-12-30 2010-07-07 重庆大学 高光谱遥感数据鉴别特征提取方法
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
CN108345887A (zh) * 2018-01-29 2018-07-31 清华大学深圳研究生院 图像语义分割模型的训练方法及图像语义分割方法
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN109919080A (zh) * 2019-03-05 2019-06-21 南京航空航天大学 多解码器全卷积神经网络及其相应的细观结构识别方法
WO2019182520A1 (en) * 2018-03-22 2019-09-26 Agency For Science, Technology And Research Method and system of segmenting image of abdomen of human into image segments corresponding to fat compartments
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN110909741A (zh) * 2019-10-28 2020-03-24 北京航空航天大学 一种基于背景分割的车辆再识别方法
CN110942013A (zh) * 2019-11-22 2020-03-31 佛山科学技术学院 一种基于深度神经网络的卫星影像特征提取方法及系统
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法
CN111260640A (zh) * 2020-01-13 2020-06-09 重庆大学 基于cyclegan的树状生成器网络齿轮点蚀图像测量方法及装置
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法
CN111553236A (zh) * 2020-04-23 2020-08-18 福建农林大学 基于道路前景图像的路面病害目标检测与实例分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7258568B2 (ja) * 2019-01-18 2023-04-17 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置、及び画像処理プログラム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770584A (zh) * 2009-12-30 2010-07-07 重庆大学 高光谱遥感数据鉴别特征提取方法
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
CN108345887A (zh) * 2018-01-29 2018-07-31 清华大学深圳研究生院 图像语义分割模型的训练方法及图像语义分割方法
WO2019182520A1 (en) * 2018-03-22 2019-09-26 Agency For Science, Technology And Research Method and system of segmenting image of abdomen of human into image segments corresponding to fat compartments
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN109919080A (zh) * 2019-03-05 2019-06-21 南京航空航天大学 多解码器全卷积神经网络及其相应的细观结构识别方法
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN110909741A (zh) * 2019-10-28 2020-03-24 北京航空航天大学 一种基于背景分割的车辆再识别方法
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN110942013A (zh) * 2019-11-22 2020-03-31 佛山科学技术学院 一种基于深度神经网络的卫星影像特征提取方法及系统
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法
CN111260640A (zh) * 2020-01-13 2020-06-09 重庆大学 基于cyclegan的树状生成器网络齿轮点蚀图像测量方法及装置
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法
CN111553236A (zh) * 2020-04-23 2020-08-18 福建农林大学 基于道路前景图像的路面病害目标检测与实例分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DANLU ZHANG ET AL.: "An Approach Focusing on the Convolutional", 《IEEE ACCESS》 *
RUDRA PK POUDEL ET AL.: "Fast-SCNN: Fast Semantic Segmentation Network", 《ARXIV:1902.04502V1 [CS.CV] 12 FEB 2019》 *
张丹璐等: "基于自编码网络特征优化的城市高分遥感影像分类", 《北京建筑大学学报》 *
王志杰: "基于图像增强的语义分割方法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560853A (zh) * 2020-12-14 2021-03-26 中科云谷科技有限公司 图像处理的方法、装置及存储介质
CN113570608A (zh) * 2021-06-30 2021-10-29 北京百度网讯科技有限公司 目标分割的方法、装置及电子设备
CN113570608B (zh) * 2021-06-30 2023-07-21 北京百度网讯科技有限公司 目标分割的方法、装置及电子设备
CN113378787A (zh) * 2021-07-07 2021-09-10 山东建筑大学 一种基于多特征视觉的智能交通电子提示装置检测方法及系统
CN113378787B (zh) * 2021-07-07 2022-05-24 山东建筑大学 一种基于多特征视觉的智能交通电子提示装置检测方法及系统
CN113627303A (zh) * 2021-08-03 2021-11-09 南京航空航天大学 一种空间碎片识别方法及系统
CN114511717A (zh) * 2022-02-17 2022-05-17 广发银行股份有限公司 背景相似识别的方法、系统、设备及介质
CN115131961A (zh) * 2022-06-08 2022-09-30 北京理工大学 智能交通感知方法及装置
CN115131961B (zh) * 2022-06-08 2023-11-10 北京理工大学 智能交通感知方法及装置
CN115063428A (zh) * 2022-08-18 2022-09-16 中国科学院国家空间科学中心 一种基于深度强化学习的空间暗弱小目标检测方法

Also Published As

Publication number Publication date
CN111931684B (zh) 2021-04-06
US20220067335A1 (en) 2022-03-03
US11315345B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN112200161B (zh) 一种基于混合注意力机制的人脸识别检测方法
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
Serna et al. Classification of traffic signs: The european dataset
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN113298815A (zh) 一种半监督遥感图像语义分割方法、装置和计算机设备
CN113255659B (zh) 一种基于MSAFF-Yolov3的车牌校正检测识别方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN113158943A (zh) 一种跨域红外目标检测方法
CN110929746A (zh) 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN118314353B (zh) 一种基于双分支多尺度特征融合的遥感图像分割方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN106407978A (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN118038494A (zh) 一种损坏场景鲁棒的跨模态行人重识别方法
CN117333672A (zh) 基于空间细节和注意力的遥感图像分割网络结构及方法
CN115100681B (zh) 一种衣着识别方法、系统、介质及设备
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN111931689B (zh) 一种在线提取视频卫星数据鉴别特征的方法
CN115457420A (zh) 一种基于无人机拍摄夜间低对比度的车辆重检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant