CN116363168A - 一种基于超分辨网络的遥感视频目标跟踪方法及系统 - Google Patents

一种基于超分辨网络的遥感视频目标跟踪方法及系统 Download PDF

Info

Publication number
CN116363168A
CN116363168A CN202310174942.0A CN202310174942A CN116363168A CN 116363168 A CN116363168 A CN 116363168A CN 202310174942 A CN202310174942 A CN 202310174942A CN 116363168 A CN116363168 A CN 116363168A
Authority
CN
China
Prior art keywords
resolution
remote sensing
super
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310174942.0A
Other languages
English (en)
Inventor
陈璞花
王璐
刘芳
焦李成
侯彪
郭磊
李玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310174942.0A priority Critical patent/CN116363168A/zh
Publication of CN116363168A publication Critical patent/CN116363168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超分辨网络的遥感视频目标跟踪方法及系统，构造遥感超分辨率网络训练数据集；使用遥感超分辨率训练数据将超分辨网络ESRGAN迁移到遥感图像领域，作为基于超分辨网络的遥感视频目标跟踪方法的特征提取模块；使用特征提取模块加入到相关滤波跟踪方法中，并针对该特征模块的特性对相关滤波跟踪方法结构进行调整；将遥感视频转化为图像帧输入系统，并在第一帧裁剪出包含待跟踪目标的图像块，利用相关滤波跟踪方法进行在线跟踪，得到并输出目标跟踪结果。实验证明，本发明所提出的遥感视频目标跟踪方法能够提高遥感视频目标跟踪的准确率和成功率。

Description

一种基于超分辨网络的遥感视频目标跟踪方法及系统
技术领域
本发明属于遥感视频目标跟踪技术领域，特别涉及一种基于超分辨网络的遥感视频目标跟踪方法及系统。
背景技术
遥感视频目标跟踪是地表监测的重要应用之一，其中单目标跟踪的目的在于给定视频第一帧的目标位置坐标，然后在视频序列里接下来的每一帧中计算出目标的精确位置。但由于视频可能会出现光照变化、目标遮挡以及严重的目标形变和相机拍摄抖动等情况，因此目标跟踪领域依然存在着亟待解决的难题。
遥感视频与普通视频无论是成像还是需求均有所区别，这也给遥感视频目标跟踪带来一些新的挑战，比如，遥感成像时会认为在连续帧中相机拍摄角度不发生改变以及地表相对静止物体视频中也是静止的。遥感视频中的运动目标一般是车辆，飞机或轮船等，这类目标的特点都是尺寸小，在整幅图中，目标的像素占比非常少，特征比较微弱；刚性目标，几乎不会发生形变；运动轨迹受到道路或航线等限制会相对简单。
目前已有的跟踪方法主要是针对于利用原有特征提取方法对遥感视频目标特征进行增强，常见方法如基于相关滤波的跟踪方法和基于深度学习的跟踪方法等。
对于基于相关滤波的跟踪方法，例如，Zhang等人提出了一种利用运动和背景信息来进行遥感视频目标跟踪的方法(MBLT)(W.Zhang,L.Jiao,F.Liu,L.Li,X.Liu andJ.Liu,"MBLT:Learning Motion and Background for Vehicle Tracking in SatelliteVideos,"in IEEE Transactions on Geoscience and Remote Sensing,vol.60,pp.1-15,2022,Art no.4703315.)，其目标特征采用的CN特征和HOG特征，遥感视频中目标太小且与背景有相似物体，这两个特征并不特别适合于遥感视频目标跟踪任务。
基于深度学习的跟踪方法常见的是利用孪生结构在每一帧中检测目标。但是，遥感视频的运动目标非常小，特征微弱，使得检测很困难，而且实时性一般。例如，Shao等人提出了一种基于高分辨率孪生网络的遥感视频跟踪方法(HRSiam)(J.Shao,B.Du,C.Wu,M.Gong and T.Liu,"HRSiam:High-Resolution Siamese Network,Towards Space-BorneSatellite Video Tracking,"in IEEE Transactions on Image Processing,vol.30,pp.3056-3068,2021.)，利用高分辨率网络HRNet来获得高分辨率特征，避免了在提取深度特征时造成图像分辨率的降低，而遥感视频目标本身非常小，这种特征提取方法获得的特征图与目标原来的空间分辨率一致，并没有对目标特征进行增强，使之与背景在特征空间上具有更大的差异。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于超分辨网络的遥感视频目标跟踪方法及系统，以解决遥感视频的目标跟踪问题，通过小目标特征增强，同时保留良好的实时性，提高遥感视频目标跟踪的准确率和成功率。
为了实现上述目的，本发明采用的技术方案是：
一种基于超分辨网络的遥感视频目标跟踪方法，包括如下步骤：
S1、对遥感高分辨率图像进行预处理，获得每一张高分辨率图像对应的低分辨率图像，一对高分辨率-低分辨率图像构成一组训练数据，多组数据构成训练数据集；
S2、使用所述训练数据集对超分辨网络ESRGAN进行训练，获得遥感图像超分辨网络，作为特征提取模块；
S3、将遥感视频转化为图像帧输入S2预训练好的遥感图像超分辨网络，获得遥感图像的超分辨深度特征，输入相关滤波器进行在线跟踪，得到并输出视频跟踪结果。
在一个实施例中，S1训练数据集构造过程为：
S101、获取遥感高分辨率图像；
S102、将所述遥感高分辨率图像经过Bicubic插值函数下采样为原图1/k长，1/k宽的低分辨率图像，k＞1；
S103、将S101获得的遥感高分辨率图像和经由S102获得的对应遥感低分辨率图像一一对应，构成一组训练数据。
在一个实施例中，S101的遥感高分辨率图像由航空遥感目标检测数据集VEDAI和遥感图像分类数据集RS_C11组成，其影像尺寸为512*512和/或1024*1024。
在一个实施例中，S2超分辨网络ESRGAN的训练过程为：
S201、利用DIV2K和Flickr2K数据集训练得到网络权重；
S202、超分辨网络ESRGAN加载预训练权重，以S101中的高分辨率图像为HR图像，低分辨率图像为LR图像，进行网络权重的微调；
S203、训练过程中，设置学习率与迭代次数，其余参数与设置均与原ESRGAN训练过程一致。
在一个实施例中，S3过程如下：
S301、将遥感视频转化为图像帧，读入第一帧，且在第一帧上裁剪出以待跟踪目标为中心的图像块
Figure BDA0004100494900000031
S302、对应裁剪出的图像块大小，生成高斯标签
Figure BDA0004100494900000032
为解决边界效应，生成余弦窗/>
Figure BDA0004100494900000033
S303、利用特征提取模块提取第一帧裁剪图像块的超分辨深度特征
Figure BDA0004100494900000034
并为超分辨深度特征加余弦窗得到xf1，第一帧时以第一帧的图像块特征作为模板帧特征model_xf；
S304、利用加窗后的超分辨深度特征xf1和高斯标签y训练相关滤波器model_alphaf；
S305、读取下一帧，并以前一帧目标位置为中心裁剪当前帧的图像块p2；
S306、利用S303相同操作，提取图像块p2的超分辨深度特征xf2作为检测帧特征；
S307、利用相关滤波器，计算当前检测帧的响应，并以最大响应位置作为目标所在的位置；
S308、以当前帧跟踪结果更新目标模板model_xf和滤波器模板model_alphaf；
S309、重复S305～S308直到视频序列处理完毕，得到并输出视频跟踪结果。
在一个实施例中，所述模板帧特征与所述检测帧特征的提取过程为：
利用遥感图像超分辨网络作为特征提取模块时，仅移除RRDBNet的最后一个卷积层，使输出保留64维，获得高维特征输出；
从图像帧提取超分辨特征fsr，
Figure BDA0004100494900000041
其中w×h为图像帧原始尺寸。
本发明还提供了一种基于超分辨网络的遥感视频目标跟踪系统，包括：
帧截取模块，将遥感视频转化为图像帧；
特征提取模块，提取图像帧的超分辨深度特征；所述特征提取模块以超分辨网络ESRGAN为网络模型，利用遥感高分辨率图像以及与高分辨率图像对应的低分辨率图像构成的训练数据集训练；
相关滤波器，以特征提取模块提取的模板帧和检测帧的超分辨深度特征为输入，计算当前检测帧的响应，以最大响应位置作为目标所在的位置，并根据当前检测帧跟踪结果更新目标模板和滤波器模板直至遥感视频的图像帧序列处理完毕，得到并输出视频跟踪结果。
在一个实施例中，所述低分辨率图像为相应高分辨率图像的1/k长，1/k宽，k＞1；所述相关滤波器中，目标模板和滤波器模板均进行k倍增大，超分辨深度特征的cell_size对应设置1/k。
在一个实施例中，所述特征提取模块的训练方式为离线预训练。
与现有技术相比，本发明一种基于超分辨网络的遥感视频目标跟踪方法，使用相关滤波作为基础目标跟踪结构，分别提取每一帧图像的超分辨率深度特征，再输入到相关滤波器中获得响应最大位置作为目标的跟踪结果。该算法在特征提取模块中用超分辨网络代替原有特征提取结构，增强遥感运动小目标的特征，综合考虑遥感视频运动小目标自身空间分布特性与特征空间分布特性，增大目标与背景在特征空间的区分度，更加完善小目标的特征表示。这种模式的设计可以对目标更加准确鲁棒的跟踪，提高目标跟踪的精度和成功率。根据仿真实验结果，该算法在遥感视频目标跟踪数据集中有超越其他特征的性能，且能够更好的处理目标尺度变化、光照变化以及目标特征弱等情况，充分验证了该算法在跟踪精度和成功率方面的优异性能。
附图说明
图1是本发明基于超分辨网络的遥感视频目标跟踪方法的主要示意图。
图2为跟踪结果对比图，其中，(a)为Pre指标对比，(b)为AUC成功曲线对比。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明的遥感视频目标跟踪方法属于基于相关滤波的范畴，对于遥感视频运动小目标而言，能够从图像里学习到更具有辨别性的目标信息非常重要，因此本发明使用超分辨网络作为特征提取模块，融合相关滤波器进行目标跟踪，超分辨网络增强遥感视频运动目标的特征，使其与背景能够更好地区分开，之后学习相关滤波器，并在检测帧计算响应图，响应最大位置即为当前帧目标所在的位置，从而实现对遥感视频的运动目标跟踪。
本发明的核心目标是尽可能的增大目标与背景之间在特征空间上的差异，增强目标的可辨别性，从而在检测跟踪时能够精准的检测到目标，避免了因为背景杂波和其他相似目标导致的跟踪失败等常见问题。
本发明公开了一种基于超分辨网络的遥感视频目标跟踪方法及系统，构造遥感超分辨率网络训练数据集；使用遥感超分辨率训练数据将超分辨网络ESRGAN迁移到遥感图像领域，作为基于超分辨网络的遥感视频目标跟踪方法的特征提取模块；使用特征提取模块加入到相关滤波跟踪方法中，并针对该特征模块的特性对相关滤波跟踪方法结构进行调整；将遥感视频转化为图像帧输入系统，并在第一帧裁剪出包含待跟踪目标的图像块，利用相关滤波跟踪方法进行在线跟踪，得到并输出目标跟踪结果。实验证明，本发明所提出的遥感视频目标跟踪方法能够提高遥感视频目标跟踪的准确率和成功率。
请参阅图1所示，本发明一种基于超分辨网络的遥感视频目标跟踪方法，包括以下步骤：
S1、对遥感高分辨率图像进行预处理，获得每一张高分辨率图像对应的低分辨率图像，一对高分辨率-低分辨率图像构成一组训练数据，多组数据构成训练数据集。
本步骤为超分辨网络迁移到遥感领域做好了充分的准备。在本发明的实施例中，构造训练数据集具体为：
S101、获取遥感高分辨率图像。
本实施例中，遥感高分辨率图像由航空遥感目标检测数据集VEDAI和遥感图像分类数据集RS_C11组成，原数据集VEDAI和RS_C11分辨率高，能够满足后续训练网络对于数据的需求。VEDAI数据集成像的空间分辨率为0.125m，有512*512和1024*1024两种不同的影像尺寸，构造的数据集中选用了1268张1024*1024的图像尺寸作为高分辨率图像；RS_C11数据集的空间分辨率为0.2m，影像尺寸为512*512，共有11类，1232张高分辨率图像，构造的数据集中选择了高建筑物类108张，低建筑物类110张，立交桥类106张，铁路类80张，居住区类140张，道路类142张作为高分辨率图像；构造的训练数据集共计1954张遥感高分辨率图像。
S102、对S101获得的遥感高分辨率图像，经过Matlab内置Bicubic插值函数下采样为原图1/k长，1/k宽的低分辨率图像，k＞1；本实施例中k＝4。本步骤下采样后的低分辨率图像很大程度上保留了原高分辨率图像的特性，保证了网络训练时数据的有效性。
S103、将S101获得的遥感高分辨率图像和经由S102获得的对应遥感低分辨率图像一一对应，构成一组训练数据。
S2、使用S1获得的训练数据集对超分辨网络ESRGAN进行训练，获得遥感图像超分辨网络，作为特征提取模块。
超分辨网络是通过神经网络把低分辨率图片放大到高分辨率的一种模型，在此基础上要更加还原出高分辨率图片的细节特征，比如纹理和边缘信息等。本发明将特征提取模块替换为超分辨网络特征提取模块，能够增强目标特征，增加目标与背景的区分度，增强对目标的特征表示，提高跟踪系统的跟踪精度和成功率。
本发明的实施例中，超分辨网络ESRGAN的训练是基于在DIV2K和Flickr2K数据集训练得到的网络权重上进行；超分辨网络ESRGAN加载预训练权重，以S101中构造的高分辨率图像为HR图像，以S102中构造的低分辨率图像为LR图像，进行网络权重的微调，将超分辨网络ESRGAN迁移到遥感图像领域，使得网络权重能够适应对遥感图像的超分辨重建，为后续针对遥感视频进行目标跟踪打好基础；超分辨网络的训练过程中，学习率设置为1×10-4，共迭代15000次，其余参数与设置均与原ESRGAN训练过程一致。
在本发明的实施例中，利用超分辨网络ESRGAN作为特征提取模块时，仅移除RRDBNet的最后一个卷积层，使输出保留64维获得高维特征输出；从图像帧提取超分辨特征fsr，
Figure BDA0004100494900000081
其中w×h为图像帧原始尺寸。通过该手段，提取每一帧图像块的超分辨率深度特征，丰富了遥感视频运动目标的特征细节，可以使基于超分辨网络的遥感视频目标跟踪方法有效地利用学习到的目标特征区分前景和背景。
S3、将遥感视频转化为图像帧输入S2预训练好的遥感图像超分辨网络，获得遥感图像的超分辨深度特征，输入相关滤波器，进行在线跟踪，可以充分结合超分辨网络对于小目标的特征增强以及相关滤波极好的跟踪实时性，使得在有效的提高跟踪性能的情况下依然保持较好的实时性，最终得到并输出视频跟踪结果。
在本发明的实施例中，具体为：
S301、将遥感视频转化为图像帧，读入第一帧，且在第一帧上裁剪出以待跟踪目标为中心的图像块
Figure BDA0004100494900000091
S302、对应裁剪出的图像块大小，生成高斯标签
Figure BDA0004100494900000092
为解决边界效应，生成余弦窗/>
Figure BDA0004100494900000093
S303、利用特征提取模块提取第一帧裁剪图像块的超分辨深度特征
Figure BDA0004100494900000094
并为超分辨深度特征加余弦窗得到xf1，第一帧时以第一帧的图像块特征作为模板帧特征model_xf。
S304、利用加窗后的超分辨深度特征xf1和高斯标签y训练相关滤波器model_alphaf。
S305、读取下一帧，并以前一帧目标位置为中心裁剪当前帧的图像块p2。
S306、利用S303相同操作，提取图像块p2的超分辨深度特征xf2作为检测帧特征。
S307、利用相关滤波器，计算当前检测帧的响应，并以最大响应位置作为目标所在的位置。
S308、以当前帧跟踪结果更新目标模板model_xf和滤波器模板model_alphaf。
S309、重复S305～S308直到视频序列处理完毕，得到并输出视频跟踪结果。
本发明的一个实施例中，提供了一种基于超分辨网络的遥感视频目标跟踪系统，该系统能够用于实现上述基于超分辨网络的遥感视频目标跟踪方法，具体的，其主要包括：帧截取模块、特征提取模块和相关滤波器。其中：
帧截取模块，用于将遥感视频截取转化为图像帧。
特征提取模块，用于提取图像帧的超分辨深度特征。
相关滤波器，以特征提取模块提取的模板帧和检测帧的超分辨深度特征为输入，计算当前检测帧的响应，以最大响应位置作为目标所在的位置，并根据当前检测帧跟踪结果更新目标模板和滤波器模板直至遥感视频的图像帧序列处理完毕，得到并输出视频跟踪结果。
本发明中，特征提取模块以超分辨网络ESRGAN为网络模型，利用遥感高分辨率图像以及与高分辨率图像对应的低分辨率图像构成的训练数据集训练。由此，本发明的系统还包括了训练模块，训练模块的作用是使用遥感高分辨率图像和预处理后的低分辨率图像，对超分辨网络ESRGAN进行离线预训练，使网络模型适用于遥感图像超分辨增强。
由于特征提取模块将原本的图像在空间分辨率上进行了×4倍的增大，因此，在相关滤波器中，目标模板和相关滤波器模板均进行×4倍的增大，超分辨深度特征的cell_size对应设置为1/4，从而保证在响应图上可以获取更精确的位置信息。
本发明系统将遥感视频转化为图像帧输入训练模块预训练好的特征提取模块，进行在线跟踪，得到并输出视频跟踪结果。
下面结合仿真结果对本发明的效果做进一步说明
1.实验平台
本发明的仿真试验硬件平台为：NVIDIA RTX 3090Ti，24G显存。
本发明的软件平台为：Windows10操作系统、python3.7、pytorch1.11.0
2.实验数据集
本发明的遥感超分辨率训练数据集使用的是由VEDAI和RS_C11中部分高分辨率图像以及对应低分辨率图像构成，共1954对图像。
本发明的遥感视频目标跟踪数据集使用的是XDU-BDSTU数据集，共有9个视频序列，包含20个跟踪目标，涉及到低分辨率、特征稀少、背景杂波、平面内旋转、相似物体、目标遮挡和光照变化7个挑战。
3.仿真实验评价指标
Figure BDA0004100494900000111
Figure BDA0004100494900000112
Figure BDA0004100494900000113
Figure BDA0004100494900000114
Figure BDA0004100494900000115
Figure BDA0004100494900000116
N表示视频序列的帧数。
精确度曲线图(Precision plot)：目标跟踪算法估计的目标位置(xb,yb)与人工标注的目标中心位置(xg,yg)间的欧氏距离小于给定阈值的视频帧的百分比为距离精度(Distance Precision，DP)。以一定范围内的距离阈值(为0到10)为横轴，以距离精度为纵轴绘制出的曲线即为精确度曲线图。
成功率曲线图(Success plot)：先定义重合率得分(Overlao Score，OS)，跟踪算法得到的边界框Bounding box(记为a)，与ground-truth给出的标注边界框(记为b)，重合率定义为OS，其中|·|表示区域的像素数目。以一定范围内的重叠阈值(一般为0到1)为横轴，以重叠精度(Overlap Precision，OP)为纵轴绘制出的曲线即为成功率曲线图。
4.实验结果
表1
Gray CN HOG Upsample SR_RGB SR_deep_1 SR_deep_2
Pre(3px) 0.829 0.833 0.829 0.769 0.886 0.774 0.905
AUC 0.507 0.514 0.542 0.487 0.568 0.496 0.573
表1中是DCF利用不同的特征，在同一参数情况下，获得的跟踪结果的对比，相关滤波器中padding设置为2，interp_factor设置为0.02。
表1中Gray为灰度特征，其通过将RGB遥感图像转为单通道灰度特征再减去整幅图的平均值获得；CN为颜色特征(Color Names)，其利用黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄共11种颜色来表示RGB空间的特征映射；HOG为方向梯度直方图，其通过计算和统计图像局部区域的梯度方向直方图来构成特征；为更好的匹配遥感视频运动小目标，CN和HOG特征的cell_size均设置为1；Upsample是上采样特征，其通过将原图通过最近邻插值的方式上采样4倍来获得跟踪结果，目的在于与同样上采样4倍的超分辨特征进行对比。
表1中SR_RGB是遥感超分辨网络不取消RRDBNet最后一层卷积层，使得超分辨网络提取特征获得结果为三通道图像；SR_deep_1是未迁移到遥感图像领域的超分辨网络提取特征的跟踪结果；SR_deep_2是经过遥感高分辨率图像训练超分辨网络提取到的超分辨深度特征的跟踪结果。
通过表1可知，超分辨网络能够增强遥感视频中目标的特征，与其他特征相比，超分辨深度特征能够提取到更关于目标的信息，能够更好的区分目标和背景，参考图2可知，超分辨深度特征相对于其他特征给跟踪性能带来了巨大的提升。
综上所述，本发明一种基于超分辨网络的遥感视频目标跟踪方法及系统，将超分辨网络迁移到遥感图像领域，设计了一种基于超分辨网络的遥感视频目标跟踪算法，丰富了遥感视频运动目标的特征细节，可以使基于超分辨网络的遥感视频目标跟踪方法有效地利用学习到的目标特征区分前景和背景，实现对目标更加准确鲁棒的跟踪。本发明方法提升的目标的特征表示，在遥感视频里有较好的目标跟踪性能，且能够有效的应对光照变化和目标特征微弱等挑战。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于超分辨网络的遥感视频目标跟踪方法，其特征在于，包括如下步骤：
S1、对遥感高分辨率图像进行预处理，获得每一张高分辨率图像对应的低分辨率图像，一对高分辨率-低分辨率图像构成一组训练数据，多组训练数据构成训练数据集；
S2、使用所述训练数据集对超分辨网络ESRGAN进行训练，获得遥感图像超分辨网络，作为特征提取模块；
S3、将遥感视频转化为图像帧输入S2预训练好的遥感图像超分辨网络，获得遥感图像的超分辨深度特征，输入相关滤波器进行在线跟踪，得到并输出视频跟踪结果。
2.根据权利要求1所述的基于超分辨网络的遥感视频目标跟踪方法，其特征在于，S1中，训练数据集构造过程为：
S101、获取遥感高分辨率图像；
S102、将所述遥感高分辨率图像经过Bicubic插值函数下采样为原图1/k长，1/k宽的低分辨率图像，k＞1；
S103、将S101获得的遥感高分辨率图像和经由S102获得的对应遥感低分辨率图像一一对应，构成一组训练数据。
3.根据权利要求2所述的基于超分辨网络的遥感视频目标跟踪方法，其特征在于，S101中，遥感高分辨率图像由航空遥感目标检测数据集VEDAI和遥感图像分类数据集RS_C11组成，其影像尺寸为512*512和/或1024*1024。
4.根据权利要求1所述的基于超分辨网络的遥感视频目标跟踪方法，其特征在于，S2中，超分辨网络ESRGAN的训练过程为：
S201、利用DIV2K和Flickr2K数据集训练得到网络权重；
S202、超分辨网络ESRGAN加载预训练权重，以S101中的高分辨率图像为HR图像，低分辨率图像为LR图像，进行网络权重的微调；
S203、训练过程中，设置学习率与迭代次数，其余参数与设置均与原ESRGAN训练过程一致。
5.根据权利要求1所述的基于超分辨网络的遥感视频目标跟踪方法，其特征在于，S3中，过程如下：
S301、将遥感视频转化为图像帧，读入第一帧，且在第一帧上裁剪出以待跟踪目标为中心的图像块
Figure FDA0004100494890000021
S302、对应裁剪出的图像块大小，生成高斯标签
Figure FDA0004100494890000022
为解决边界效应，生成余弦窗/>
Figure FDA0004100494890000023
S303、利用特征提取模块提取第一帧裁剪图像块的超分辨深度特征
Figure FDA0004100494890000024
并为超分辨深度特征加余弦窗得到xf1，第一帧时以第一帧的图像块特征作为模板帧特征model_xf；
S304、利用加窗后的超分辨深度特征xf1和高斯标签y训练相关滤波器model_alphaf；
S305、读取下一帧，并以前一帧目标位置为中心裁剪当前帧的图像块p2；
S306、利用S303相同操作，提取图像块p2的超分辨深度特征xf2作为检测帧特征；
S307、利用相关滤波器，计算当前检测帧的响应，并以最大响应位置作为目标所在的位置；
S308、以当前帧跟踪结果更新目标模板model_xf和滤波器模板model_alphaf；
S309、重复S305～S308直到视频序列处理完毕，得到并输出视频跟踪结果。
6.根据权利要求5所述的基于超分辨网络的遥感视频目标跟踪方法，其特征在于，所述模板帧特征与所述检测帧特征的提取过程为：
利用遥感图像超分辨网络作为特征提取模块时，仅移除RRDBNet的最后一个卷积层，使输出保留64维，获得高维特征输出；
从图像帧提取超分辨特征fsr，
Figure FDA0004100494890000025
其中w×h为图像帧原始尺寸。
7.一种基于超分辨网络的遥感视频目标跟踪系统，其特征在于，包括：
帧截取模块，将遥感视频转化为图像帧；
特征提取模块，提取图像帧的超分辨深度特征；所述特征提取模块以超分辨网络ESRGAN为网络模型，利用遥感高分辨率图像以及与高分辨率图像对应的低分辨率图像构成的训练数据集训练；
相关滤波器，以特征提取模块提取的模板帧和检测帧的超分辨深度特征为输入，计算当前检测帧的响应，以最大响应位置作为目标所在的位置，并根据当前检测帧跟踪结果更新目标模板和滤波器模板直至遥感视频的图像帧序列处理完毕，得到并输出视频跟踪结果。
8.根据权利要求7所述的基于超分辨网络的遥感视频目标跟踪系统，其特征在于，所述低分辨率图像为相应高分辨率图像的1/k长，1/k宽，k＞1；所述相关滤波器中，目标模板和滤波器模板均进行k倍增大，超分辨深度特征的cell_size对应设置1/k。
9.根据权利要求8所述的基于超分辨网络的遥感视频目标跟踪系统，其特征在于，所述特征提取模块的训练方式为离线预训练。
CN202310174942.0A 2023-02-28 2023-02-28 一种基于超分辨网络的遥感视频目标跟踪方法及系统 Pending CN116363168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310174942.0A CN116363168A (zh) 2023-02-28 2023-02-28 一种基于超分辨网络的遥感视频目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310174942.0A CN116363168A (zh) 2023-02-28 2023-02-28 一种基于超分辨网络的遥感视频目标跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN116363168A true CN116363168A (zh) 2023-06-30

Family

ID=86932187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310174942.0A Pending CN116363168A (zh) 2023-02-28 2023-02-28 一种基于超分辨网络的遥感视频目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN116363168A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726656A (zh) * 2024-02-08 2024-03-19 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质
CN117953015A (zh) * 2024-03-26 2024-04-30 武汉工程大学 基于视频超分辨率多行人跟踪方法、系统、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726656A (zh) * 2024-02-08 2024-03-19 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质
CN117726656B (zh) * 2024-02-08 2024-06-04 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质
CN117953015A (zh) * 2024-03-26 2024-04-30 武汉工程大学 基于视频超分辨率多行人跟踪方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN116363168A (zh) 一种基于超分辨网络的遥感视频目标跟踪方法及系统
CN103426148A (zh) 生成低分辨率输入数据结构的超分辨率版本的方法和设备
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN104217436B (zh) 基于多特征联合稀疏图的sar图像分割方法
CN113793284B (zh) 气动光学效应空变模糊图像不均匀分块的图像复原方法
CN103971377A (zh) 基于先验形状水平集分割的建筑物提取方法
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN110796616A (zh) 基于分数阶微分算子的l0范数约束和自适应加权梯度的湍流退化图像恢复方法
CN107944354A (zh) 一种基于深度学习的车辆检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN115601574A (zh) 一种改进akaze特征的无人机影像匹配方法
Xu et al. COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences
CN116091574A (zh) 一种基于平面约束与位置约束的3d目标检测方法及系统
CN114782417A (zh) 基于边缘强化图像分割的风机数字孪生特征实时检测方法
CN103106402B (zh) 一种基于重建的车牌汉字识别方法
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN117196954A (zh) 一种面向飞机蒙皮的弱纹理曲面图像拼接方法和装置
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN114863132A (zh) 图像空域信息的建模与捕捉方法、系统、设备及存储介质
Kumar et al. Image defencing via signal demixing
CN106651864A (zh) 一种面向高分辨率遥感图像的分割方法
CN118675213B (zh) 一种ai面部关键点自动识别系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination