CN111986233A - 基于特征自学习的大场景极小目标遥感视频跟踪方法 - Google Patents

基于特征自学习的大场景极小目标遥感视频跟踪方法 Download PDF

Info

Publication number
CN111986233A
CN111986233A CN202010840783.XA CN202010840783A CN111986233A CN 111986233 A CN111986233 A CN 111986233A CN 202010840783 A CN202010840783 A CN 202010840783A CN 111986233 A CN111986233 A CN 111986233A
Authority
CN
China
Prior art keywords
target
self
learning
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010840783.XA
Other languages
English (en)
Other versions
CN111986233B (zh
Inventor
焦李成
杨晓岩
李阳阳
马文萍
刘旭
冯志玺
郭雨薇
张丹
陈璞花
王佳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010840783.XA priority Critical patent/CN111986233B/zh
Publication of CN111986233A publication Critical patent/CN111986233A/zh
Application granted granted Critical
Publication of CN111986233B publication Critical patent/CN111986233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出的一种基于特征自学习的大场景极小目标遥感视频跟踪方法，主要解决了现有视频跟踪算法存在的计算复杂度高、跟踪精度低问题。其方案包括：1)获取极小目标特征自学习网络的初始训练集；2)构建极小目标特征自学习网络；3)构建特征自学习网络的损失函数；4)根据损失函数训练网络得到极小目标特征自学习模型；5)输入测试集图像，得到遥感视频目标跟踪结果。本发明使用特征自学习网络学习极小目标的外观特征、预测目标位置，避免了传统跟踪方法常用的前期处理过程，有效减小了网络复杂性，且极大的提高了超模糊的大场景遥感视频中极小目标的定位准确性。

Description

基于特征自学习的大场景极小目标遥感视频跟踪方法
技术领域
本发明属于遥感视频处理技术领域，涉及大场景极小目标的遥感视频目标跟踪，具体是一种基于特征自学习的大场景极小目标遥感视频跟踪方法，可用于交通状况监测、应急预警及重大设施检测。
背景技术
遥感目标跟踪是计算机视觉领域的一个重要的研究方向，遥感视频记录是在卫星平台进行的广域空中监测，是对广阔区域在一段时间内的活动实现持续监测的一种手段。遥感视频受限于其拍摄方式，视频覆盖地域范围极大，因此成像分辨率较低，甚至有些视频非常模糊；在跟踪车辆、舰船或飞机时，其目标尺寸极小，车辆的大小甚至达到3*3个像素左右，与周围环境的对比度极低，没有清晰轮廓边界，这给遥感视频中的目标跟踪带来极大挑战。传统的跟踪方法通常需要先进行图像配准，但由于拍摄视频的卫星不断运动导致有些视频整体呈一个方向偏移，同时由于地区高低会存在部分区域缩放，使得传统方法准确性不高。
视频目标跟踪给定目标在第一帧的位置，预测后续连续帧中的目标位置。最近的自然光学视频跟踪方法大致是基于神经网络(Neural Network)和相关滤波(CorrelationFilter)的，如Siamese-FC网络结合了两种方法，先利用双支路的卷积神经网路提取图像特征，然后将得到的两个特征做互相关联，这种方法的网络结构简单、准确率较高。然而，这些方法适用的视频图像通常分辨率较高，目标在图像中占比较大，能为卷积操作提供足够的色彩、形状等信息，可在极其模糊、目标在图像中占几个像素的遥感视频中，则很难达到较好的效果。
湖南航升卫星科技有限公司在其申请的专利“遥感视频图像运动目标实时智能感知方法及其装置”(专利申请号201810111223.3，公开号CN108389220A)中公开了一种基于深度卷积神经网络的遥感目标跟踪方法。该方法首先对视频的帧图像作背景减除法，得到可能包含目标的候选图像，然后用深度卷积神经网络对候选图像分类，再结合卫星星下点的先验信息计算得到贝叶斯后验概率，判断候选图像是否包含目标。该方法一定程度上改善了检测的准确度，但其存在的不足之处是：其一，由于很多遥感视频整体向一个方向偏移，还存在因地域海拔等问题引起的部分区域缩放情况，因此在第一步中对帧图像进行的背景减除法并不能得到准确的候选区域，且需要先进行图像配准等操作，大大增加了计算量；其二，简单的深层卷积网络难以学到目标相较于周围环境的外观信息，而对于遥感视频与周围环境对比度较低、信息损失严重的情况，此方法并不适用；其三，该方法所采用的算法复杂度高、计算速度较慢。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种计算复杂度低，精度更高的基于运动估计的大场景小目标遥感视频跟踪方法。
实现本发明的基本思路是：构建包含两个分支的遥感视频目标跟踪网络，一个分支用于目标定位，另一个分支用于特征自学习；用于特征自学习的网络分支可根据视频第一帧的目标，无标签的学习目标外观特征，整个网络根据学到的目标特征，在搜索图中精准识别目标，极大的提高了目标的定位准确性。从而解决了现有视频跟踪算法存在的计算复杂度高，跟踪精度低问题。
为实现上述目的，本发明的技术方案包括如下：
(1)获取极小目标特征自学习网络的初始训练集D：
(1a)取原始遥感数据视频A的每一帧图像，在第一帧图像中根据目标边界框取出目标图像块，再从每帧图像中分别以前一帧、当前帧、后一帧中目标边界框放大三倍后的位置取图像块作为目标搜索区域，将目标图像块和所有的目标搜索区域按视频帧数顺序排列在一起作为训练集的训练数据；
(1b)将目标在当前帧的最大像素点确定为目标中心，根据目标的宽度和高度做高斯掩膜，再将该高斯掩膜作为目标位置标签，即训练集的训练标签；
(1c)训练数据与训练标签共同组成初始训练集D；
(2)构建极小目标特征自学习网络：
(2a)并联四个提取训练数据特征的卷积模块，将从同一帧取出的三个目标搜索区域和一个目标图像块作为网络输入，同时送入卷积模块，得到第一目标搜索区域的卷积特征C1、第二目标搜索区域的卷积特征C2、第三目标搜索区域的卷积特征C3以及目标图像特征O；
(2b)将第一目标搜索区域的卷积特征C1、第二目标搜索区域的卷积特征C2、第三目标搜索区域的卷积特征C3分别与目标图像特征O作互相关，形成互相关层；在该层得到第一相关特征C11、第二相关特征C22、第三相关特征C33，并将第二相关特征C22作为网络的第一个输出；
(2c)根据第一相关特征C11、第二相关特征C22、第三相关特征C33和目标图像特征O，分别计算三个目标搜索区域和一个目标图像块的几何不变矩Hu矩阵，构成特征自学习层；该层包括第一目标搜索区域的Hu矩阵hu1、第二目标搜索区域的Hu矩阵hu2、第三目标搜索区域的Hu矩阵hu3以及目标图像块的Hu矩阵hu4，并将hu1、hu2、hu3和hu4作为网络的第二个输出；
(2d)由步骤(2b)和步骤(2c)中依次得到的两个输出共同组成网络的输出层；
(2e)在卷积模块上依次层叠互相关层、特征自学习层、输出层得到极小目标特征自学习网络；
(3)构建特征自学习网络的损失函数：
特征自学习网络包含两个损失函数，其中一个为用于训练网络、确定目标中心位置的第一损失函数Llocation；另一个为用于自学习极小目标特征、无需训练标签的第二损失函数Lappearance；
(3a)利用步骤(1b)得到的训练标签与步骤(2b)得到的第一个输出结果做交叉熵，获取第一损失函数Llocation；
(3b)根据步骤(2c)的计算结果按照下式自定义一个自学习损失函数，即第二个损失函数Lappearance：
Figure BDA0002641303970000031
(4)根据损失函数训练步骤(2)构建的极小目标特征自学习网络，得到极小目标特征自学习模型；
(5)将测试集的图像送入训练好的特征自学习模型中，得到输出图像；累计得到的输出图像即为遥感视频目标跟踪结果。
本发明与现有技术相比，具有以下优点：
第一、由于本发明使用特征自学习网络，通过卷积神经网络根据第一帧目标和其他帧搜索图学习目标的外观特征，从而获得目标外观特征；在网络适用于极其模糊的遥感视频时，无需训练标签即可自学习需要跟踪的极小目标外观特征，相比于其他方法中需要图像配准、背景减除法、背景建模法或道路先验信息提取法等相关处理方式，本发明无需进行前期处理算法和大量人工标注，便可实现端对端的目标特征学习，有效减小了跟踪方法的复杂度，并提高了算法的鲁棒性；
第二、由于本发明将特征自学习网络和目标定位网络相结合，在学习目标外观特征的同时预测目标的中心位置，两者互相促进，使跟踪器更关注目标本身的特征，从而加强了目标与周围环境的区分性，大大提高了在极其模糊的遥感视频中进行目标跟踪的准确率，使目标定位更精准。
附图说明
图1是本发明的实现流程图；
图2是本发明提出的特征自学习网络的结构示意图；
图3是采用本发明对分辨率极低的遥感视频大场景中极小目标的跟踪定位结果与标签位置的仿真对比图；其中，(a)为整张帧图像的1/5；(b)为第30帧；(c)为第60帧；(d)为第90帧；(e)为第120帧；(f)为第150帧。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图，对本发明作进一步详细阐述。
大场景极小目标遥感视频跟踪在交通状况监测、应急预警、重大设施检测等方面发挥重要作用。本发明研究的遥感视频是地球外卫星拍摄的极低分辨率、大场景极小目标的遥感视频。本发明研究的视频跟踪目标，例如车辆，由于这类目标极小且极其模糊，几乎没有如颜色、轮廓等外观信息，目标与周围环境的对比度也特别低，使得人眼在目标不移动时很难分辨出该目标的具体类型；视频由于其拍摄方式会出现图像平移及部分区域缩放，这些挑战给遥感视频目标跟踪带来远比清晰视频更大的挑战。近些年来，视频跟踪常用的方法分为两种，第一种先将图像输入通过卷积神经网络进行学习，提取目标特征，然后在下一帧选择多个区域，选择目标得分最高的位置为目标，这种方法不适用于只有极少的外观信息的遥感目标，小样本时卷积很难提取出充足的目标特征。另一种是先经过前期处理技术，如先进行图像配准再用帧差法得到目标运动轨迹，然后找一个滤波模板，卷积下一帧的图像与滤波模板，响应最大的位置即预测的目标，这种方法网络复杂，需要前期处理，不能实现端对端的训练，且有些遥感视频中出现图像平移的同时还有部分区域缩放，这些前期处理手段的准确率会大大降低。因此本发明针对这些挑战，经过研究提出一种基于特征自学习的大场景极小目标遥感视频跟踪方法，参见图1，本发明包括如下步骤：
(1)获取极小目标特征自学习网络的初始训练集D：
(1a)取原始遥感数据视频A的每一帧图像，在第一帧图像中根据目标边界框取出目标图像块，再从每帧图像中分别以前一帧、当前帧、后一帧中目标边界框放大三倍后的位置取图像块作为目标搜索区域，将目标图像块和所有的目标搜索区域按视频帧数顺序排列在一起作为训练集的训练数据；
(1b)将目标在当前帧的最大像素点确定为目标中心，根据目标的宽度和高度做高斯掩膜，再将该高斯掩膜作为目标位置标签，即训练集的训练标签；
(1c)训练数据与训练标签共同组成初始训练集D。
(2)构建极小目标特征自学习网络：包括并联的四个提取训练数据特征的卷积模块，再依次层叠互相关层、特征自学习层和输出层，如图2所示；
(2a)并联四个提取训练数据特征的卷积模块，将从同一帧取出的三个目标搜索区域和一个目标图像块作为网络输入，同时送入卷积模块；卷积模块包含卷积层、归一化层和激活层，用于得到图像基本特征，设置卷积核大小为3*3，经过卷积操作得到特征C1、C2、C3和O，其中C1为得到的第一目标搜索区域的卷积特征、C2为第二目标搜索区域的卷积特征、C3为第三目标搜索区域的卷积特征、O为目标图像块对应得到的目标图像特征；
(2b)将(2a)中得到的三个目标搜索区域的卷积特征C1、C2、C3分别与目标图像特征O作互相关，形成互相关层；在该层得到第一相关特征C11、第二相关特征C22、第三相关特征C33，并将第二相关特征C22作为网络的第一个输出；
(2c)根据第一相关特征C11、第二相关特征C22、第三相关特征C33和目标图像特征O，分别计算三个目标搜索区域和一个目标图像块的几何不变矩Hu矩阵，构成特征自学习层；该层包括第一目标搜索区域的Hu矩阵hu1、第二目标搜索区域的Hu矩阵hu2、第三目标搜索区域的Hu矩阵hu3以及目标图像块的Hu矩阵hu4，并将hu1、hu2、hu3和hu4作为网络的第二个输出；并将结果作为网络第二个输出。几何不变矩Hu矩阵包括7个元素，记为M1～M7，本步骤计算得到的结果hu1、hu2、hu3和hu4，分别包括7个元素，均按照如下方式计算得到：
(2c1)以图像左上角为原点，沿图像向右为x轴、向下为y轴，建立坐标系，这里的图像可以是任意一个目标搜索区域图像，也可以是目标图像；p表示x轴图像矩的阶数，q表示y轴图像矩的阶数，则p+q阶原点矩mpq表示如下：
Figure BDA0002641303970000061
根据零阶原点矩求得质心位置横坐标
Figure BDA0002641303970000062
Figure BDA0002641303970000063
根据一阶原点矩求得质心位置纵坐标
Figure BDA0002641303970000064
Figure BDA0002641303970000065
(2c2)根据下式计算中心矩δpq：
Figure BDA0002641303970000066
(2c3)计算归一化中心矩μpq：
Figure BDA0002641303970000067
其中，N表示大于等于零的整数；
(2c4)获取矩阵中的元素值M1～M7：
M1＝μ20+μ02，
M2＝(μ20-μ02)2+4μ11 2，
M3＝(μ30-3μ12)2+(3μ21-μ03)2，
M4＝(μ30+μ12)2+(μ21+μ03)2，
M5＝(μ30-3μ12)(μ30+μ12)[(μ30+μ12)2-3(μ21+μ03)2]，+(3μ21-μ03)(μ21+μ03)[3(μ30+μ12)2-(μ21+μ03)2]
M6＝(μ20-μ02)[(μ30+μ12)2-(μ21+μ03)2]+4μ11(μ30+μ12)(μ21+μ03)，
M7＝(3μ21-μ03)(μ30+μ12)[(μ30+μ12)2-3(μ21+μ03)2]。-μ11(μ30-3μ12)(μ21+μ03)[3(μ30+μ12)2-(μ21+μ03)2]
(3)构建特征自学习网络的损失函数：
特征自学习网络包含两个损失函数，其中一个为用于训练网络、确定目标中心位置的第一损失函数Llocation；另一个为用于自学习极小目标特征、无需训练标签的第二损失函数Lappearance；
(3a)利用步骤(1b)得到的训练标签与步骤(2b)得到的第一个输出结果做交叉熵，获取第一损失函数Llocation，其计算方式具体如下：
Figure BDA0002641303970000071
Figure BDA0002641303970000072
Figure BDA0002641303970000073
式中，pij∈[0,1]表示网络判定位置(i,j)为目标中心位置的概率；yij∈{0,1}表示目标位置标签，当yij＝1表示位置(i,j)存在目标，当yij＝0表示位置(i,j)处没有目标；αij为第一超参数；β为第二超参数，且β＝2；δ为第三超参数，且δ＝4；W和H分别表示目标图像的宽度和高度；Mij表示表示位置(i,j)的高斯掩膜计算值；
(3b)根据步骤(2c)的计算结果按照下式自定义一个自学习损失函数，即第二个损失函数Lappearance：
Figure BDA0002641303970000074
(4)根据损失函数训练步骤(2)构建的极小目标特征自学习网络，得到极小目标特征自学习模型；
(5)将测试集的图像送入训练好的特征自学习模型中，得到输出图像；累计得到的输出图像即为遥感视频目标跟踪结果。
本发明解决了现有视频跟踪算法存在的计算复杂度高，跟踪精度较低的问题。
本发明的效果可以通过仿真进一步说明：
A：仿真条件：
仿真平台：主频为2.40GHz的Intel Xeon CPU E5-2630 v3 CPU，64GB的运行内存，Ubuntu16.04操作系统；
软件平台：pytorch和Python；
显卡：GeForce GTX TITAN X/PCIe/SSE2×2。
B：仿真内容：
使用吉林一号视频卫星拍摄的利比亚德尔纳地区的遥感视频，该视频共有750帧，以前300帧的车辆为目标，对目标标记边框，左上顶点的坐标为训练集DateSet；分别以本发明和对比方法(现有基于KCF的目标跟踪方法)对目标视频进行跟踪仿真。
C：仿真结果：
用本发明方法和对比方法在上述仿真条件下进行实验，即运用对比方法与本发明对利比亚德尔纳地区遥感视频中车辆目标进行跟踪，得到特征自学习网络在每隔30帧时对目标的跟踪效果图，如图3所示；得到评价指标的对比结果如下表1所示。
表1.利比亚德尔纳地区遥感视频目标跟踪结果一览表
Precision IOU
KCF 62.95％ 57.73％
本发明方法 88.51％ 79.29％
根据上述仿真结果，作出如下分析：
表1中，Precision表示特征自学习网络预测的目标框与标签框的区域重叠率，IOU表示预测边界框的中心位置和标签中心位置的平均欧氏距离小于给定阈值的百分比，在本例中，选取给定阈值为5，KCF表示对比方法。
参见表1，从表1的数据对比中可以看出本发明跟踪目标的精度相对对比方法提高很多，将Precision由62.95％提高到了88.51％，从表1可见本发明将边界框的中心位置和标签中心位置的平均欧氏距离小于给定阈值的百分比IOU，相对于对比方法基于KCF的目标跟踪方法的57.73％提高到79.29％。
参照图3，其中浅灰色矩形框表示标签边界框，即标签位置，深灰色矩形框表示网络预测目标边界框，即网络预测位置；以第30帧、60帧、90帧、120帧、150帧目标跟踪图像为例，即截取每隔30帧网络的跟踪结果与标签的边界框作为示例，可看出标签边界框与预测目标边界框基本重合，在长达数百帧中对比两个边界框，亦可得出边界框基本重合的结论，能够证明本发明跟踪精度高。
上述仿真分析证明了本发明所提方法的正确性与有效性。
综上所述，本发明提出的一种基于特征自学习的大场景极小目标遥感视频跟踪方法，可以在分辨率极低的大场景遥感视频中精准的跟踪尺寸极小的目标，解决了端对端的极模糊遥感视频跟踪问题。通过获取极小目标特征自学习网络的初始训练集D，构建极小目标特征自学习网络，构建特征自学习网络的损失函数，训练构建的极小目标特征自学习网络，得到极小目标特征自学习模型，在模型中输入测试集的图像，从而得到遥感视频目标跟踪结果；本发明使用特征自学习网络学习极小目标的外观特征，预测目标位置，避免了传统跟踪方法常用的前期处理技术，减小了网络复杂性，明显的提高了超模糊的大场景遥感视频中极小目标的跟踪准确性，本发明方法同样也适用于其它各种遥感视频的跟踪问题。
本发明未详细说明部分属于本领域技术人员公知常识。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于特征自学习的大场景极小目标遥感视频跟踪方法，其特征在于，包括如下步骤：
(1)获取极小目标特征自学习网络的初始训练集D：
(1a)取原始遥感数据视频A的每一帧图像，在第一帧图像中根据目标边界框取出目标图像块，再从每帧图像中分别以前一帧、当前帧、后一帧中目标边界框放大三倍后的位置取图像块作为目标搜索区域，将目标图像块和所有的目标搜索区域按视频帧数顺序排列在一起作为训练集的训练数据；
(1b)将目标在当前帧的最大像素点确定为目标中心，根据目标的宽度和高度做高斯掩膜，再将该高斯掩膜作为目标位置标签，即训练集的训练标签；
(1c)训练数据与训练标签共同组成初始训练集D；
(2)构建极小目标特征自学习网络：
(2a)并联四个提取训练数据特征的卷积模块，将从同一帧取出的三个目标搜索区域和一个目标图像块作为网络输入，同时送入卷积模块，得到第一目标搜索区域的卷积特征C1、第二目标搜索区域的卷积特征C2、第三目标搜索区域的卷积特征C3以及目标图像特征O；
(2b)将第一目标搜索区域的卷积特征C1、第二目标搜索区域的卷积特征C2、第三目标搜索区域的卷积特征C3分别与目标图像特征O作互相关，形成互相关层；在该层得到第一相关特征C11、第二相关特征C22、第三相关特征C33，并将第二相关特征C22作为网络的第一个输出；
(2c)根据第一相关特征C11、第二相关特征C22、第三相关特征C33和目标图像特征O，分别计算三个目标搜索区域和一个目标图像块的几何不变矩Hu矩阵，构成特征自学习层；该层包括第一目标搜索区域的Hu矩阵hu1、第二目标搜索区域的Hu矩阵hu2、第三目标搜索区域的Hu矩阵hu3以及目标图像块的Hu矩阵hu4，并将hu1、hu2、hu3和hu4作为网络的第二个输出；
(2d)由步骤(2b)和步骤(2c)中依次得到的两个输出共同组成网络的输出层；
(2e)在卷积模块上依次层叠互相关层、特征自学习层、输出层得到极小目标特征自学习网络；
(3)构建特征自学习网络的损失函数：
特征自学习网络包含两个损失函数，其中一个为用于训练网络、确定目标中心位置的第一损失函数Llocation；另一个为用于自学习极小目标特征、无需训练标签的第二损失函数Lappearance；
(3a)利用步骤(1b)得到的训练标签与步骤(2b)得到的第一个输出结果做交叉熵，获取第一损失函数Llocation；
(3b)根据步骤(2c)的计算结果按照下式自定义一个自学习损失函数，即第二个损失函数Lappearance：
Figure FDA0002641303960000021
(4)根据损失函数训练步骤(2)构建的极小目标特征自学习网络，得到极小目标特征自学习模型；
(5)将测试集的图像送入训练好的特征自学习模型中，得到输出图像；累计得到的输出图像即为遥感视频目标跟踪结果。
2.根据权利要求1所述的基于特征自学习的大场景极小目标遥感视频跟踪方法，其特征在于：步骤(2a)所述卷积模块包含卷积层、归一化层和激活层，用于得到图像基本特征，其卷积核大小为3*3。
3.根据权利要求1所述的基于特征自学习的大场景极小目标遥感视频跟踪方法，其特征在于：步骤(2c)中所述几何不变矩Hu矩阵按照如下方式得到：
(2c1)以图像左上角为原点，沿图像向右为x轴、向下为y轴，建立坐标系；p表示x轴图像矩的阶数，q表示y轴图像矩的阶数，则p+q阶原点矩mpq表示如下：
Figure FDA0002641303960000031
根据零阶原点矩求得质心位置横坐标
Figure FDA0002641303960000032
根据一阶原点矩求得质心位置纵坐标
Figure FDA0002641303960000033
(2c2)根据下式计算中心矩δpq：
Figure FDA0002641303960000034
(2c3)计算归一化中心矩μpq：
Figure FDA0002641303960000035
其中，N表示大于等于零的整数；
(2c4)获取矩阵中的元素值M1～M7：
M1＝μ20+μ02，
M2＝(μ20-μ02)2+4μ11 2，
M3＝(μ30-3μ12)2+(3μ21-μ03)2，
M4＝(μ30+μ12)2+(μ21+μ03)2，
Figure FDA0002641303960000036
M6＝(μ20-μ02)[(μ30+μ12)2-(μ21+μ03)2]+4μ11(μ30+μ12)(μ21+μ03)，
Figure FDA0002641303960000037
4.根据权利要求1所述的基于特征自学习的大场景极小目标遥感视频跟踪方法，其特征在于：步骤(3a)中的第一损失函数Llocation按照下式计算：
Figure FDA0002641303960000038
Figure FDA0002641303960000041
Figure FDA0002641303960000042
式中，pij∈[0,1]表示网络判定位置(i,j)为目标中心位置的概率；yij∈{0,1}表示目标位置标签，当yij＝1表示位置(i,j)存在目标，当yij＝0表示位置(i,j)处没有目标；αij为第一超参数；β为第二超参数，且β＝2；δ为第三超参数，且δ＝4；W和H分别表示目标图像的宽度和高度；Mij表示表示位置(i,j)的高斯掩膜计算值。
CN202010840783.XA 2020-08-20 2020-08-20 基于特征自学习的大场景极小目标遥感视频跟踪方法 Active CN111986233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010840783.XA CN111986233B (zh) 2020-08-20 2020-08-20 基于特征自学习的大场景极小目标遥感视频跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010840783.XA CN111986233B (zh) 2020-08-20 2020-08-20 基于特征自学习的大场景极小目标遥感视频跟踪方法

Publications (2)

Publication Number Publication Date
CN111986233A true CN111986233A (zh) 2020-11-24
CN111986233B CN111986233B (zh) 2023-02-10

Family

ID=73443350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010840783.XA Active CN111986233B (zh) 2020-08-20 2020-08-20 基于特征自学习的大场景极小目标遥感视频跟踪方法

Country Status (1)

Country Link
CN (1) CN111986233B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255513A (zh) * 2021-05-21 2021-08-13 东南大学 一种基于背景自选择的遥感船舰目标跟踪方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722714A (zh) * 2012-05-18 2012-10-10 西安电子科技大学 基于目标跟踪的人工神经网络扩张式学习方法
CN103544483A (zh) * 2013-10-25 2014-01-29 合肥工业大学 一种基于局部稀疏表示的联合目标追踪方法及其系统
US20170213091A1 (en) * 2016-01-21 2017-07-27 Wizr Llc Video processing
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN108389220A (zh) * 2018-02-05 2018-08-10 湖南航升卫星科技有限公司 遥感视频图像运动目标实时智能感知方法及其装置
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109242884A (zh) * 2018-08-14 2019-01-18 西安电子科技大学 基于JCFNet网络的遥感视频目标跟踪方法
CN109242883A (zh) * 2018-08-14 2019-01-18 西安电子科技大学 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法
CN110188682A (zh) * 2019-05-30 2019-08-30 西安电子科技大学 基于几何结构双路卷积网络的光学遥感图像目标检测方法
CN110517285A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于运动估计me-cnn网络的大场景极小目标跟踪
CN209729032U (zh) * 2018-12-25 2019-12-03 深圳市新创中天信息科技发展有限公司 一种基于双目视频和雷达的融合车辆检测系统
CN111241988A (zh) * 2020-01-08 2020-06-05 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测识别方法
CN111402292A (zh) * 2020-03-10 2020-07-10 南昌航空大学 基于特征变形误差遮挡检测的图像序列光流计算方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722714A (zh) * 2012-05-18 2012-10-10 西安电子科技大学 基于目标跟踪的人工神经网络扩张式学习方法
CN103544483A (zh) * 2013-10-25 2014-01-29 合肥工业大学 一种基于局部稀疏表示的联合目标追踪方法及其系统
US20170213091A1 (en) * 2016-01-21 2017-07-27 Wizr Llc Video processing
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN108389220A (zh) * 2018-02-05 2018-08-10 湖南航升卫星科技有限公司 遥感视频图像运动目标实时智能感知方法及其装置
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109242884A (zh) * 2018-08-14 2019-01-18 西安电子科技大学 基于JCFNet网络的遥感视频目标跟踪方法
CN109242883A (zh) * 2018-08-14 2019-01-18 西安电子科技大学 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法
CN209729032U (zh) * 2018-12-25 2019-12-03 深圳市新创中天信息科技发展有限公司 一种基于双目视频和雷达的融合车辆检测系统
CN110188682A (zh) * 2019-05-30 2019-08-30 西安电子科技大学 基于几何结构双路卷积网络的光学遥感图像目标检测方法
CN110517285A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于运动估计me-cnn网络的大场景极小目标跟踪
CN111241988A (zh) * 2020-01-08 2020-06-05 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测识别方法
CN111402292A (zh) * 2020-03-10 2020-07-10 南昌航空大学 基于特征变形误差遮挡检测的图像序列光流计算方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAN LIU 等: "Multi-State Self-Learning Template Library Updating Approach for Multi-Camera Human Tracking in Complex Scenes", 《INTERNATIONAL JOURNAL OF PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE》 *
XIA HUA 等: "A fast self-attention cascaded network for object detection in large scene remote sensing images", 《APPLIED SOFT COMPUTING JOURNAL》 *
刘培强 等: "基于自适应组合核的鲁棒视频目标跟踪算法", 《计算机应用》 *
张青华 等: "基于深度学习的遥感影像小目标检测", 《河南水利与南水北调》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255513A (zh) * 2021-05-21 2021-08-13 东南大学 一种基于背景自选择的遥感船舰目标跟踪方法

Also Published As

Publication number Publication date
CN111986233B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
Xu et al. Detecting tiny objects in aerial images: A normalized Wasserstein distance and a new benchmark
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
CN112597941B (zh) 一种人脸识别方法、装置及电子设备
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
Cao et al. Robust vehicle detection by combining deep features with exemplar classification
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN112836640A (zh) 一种单摄像头多目标行人跟踪方法
CA3136674C (en) Methods and systems for crack detection using a fully convolutional network
CN113763427B (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
KR20140052256A (ko) 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
Ngugi et al. A new approach to learning and recognizing leaf diseases from individual lesions using convolutional neural networks
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
Fan et al. Complementary tracking via dual color clustering and spatio-temporal regularized correlation learning
CN111414938B (zh) 一种板式换热器内气泡的目标检测方法
CN110517285B (zh) 基于运动估计me-cnn网络的大场景极小目标跟踪
Paek et al. K-lane: Lidar lane dataset and benchmark for urban roads and highways
CN115527133A (zh) 一种基于目标密度信息的高分图像背景优化方法
Li et al. Region NMS-based deep network for gigapixel level pedestrian detection with two-step cropping
Gu et al. Thermal image colorization using Markov decision processes
CN111986233B (zh) 基于特征自学习的大场景极小目标遥感视频跟踪方法
Zhang et al. Small target detection based on squared cross entropy and dense feature pyramid networks
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant