CN115063449B - 用于目标跟踪的面向高光谱视频的三通道视频输出方法 - Google Patents
用于目标跟踪的面向高光谱视频的三通道视频输出方法 Download PDFInfo
- Publication number
- CN115063449B CN115063449B CN202210796625.8A CN202210796625A CN115063449B CN 115063449 B CN115063449 B CN 115063449B CN 202210796625 A CN202210796625 A CN 202210796625A CN 115063449 B CN115063449 B CN 115063449B
- Authority
- CN
- China
- Prior art keywords
- video
- target
- channel
- hyperspectral
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明属于多通道视频的目标跟踪技术领域,尤其涉及用于目标跟踪的面向高光谱视频的三通道视频输出方法。
背景技术
基于高光谱视频的目标跟踪是通过高光谱图像光谱特征提取,从而有效降低在复杂环境中由于伪装、遮挡等原因造成的目标丢失概率。基于高光谱视频的目标跟踪在遥感、计算机视觉等领域有着潜在应用。
现有的高光谱目标跟踪方法有两种:一是将高光谱视频的各个通道送进卷积网络来获取各通道的权重,然后将所有的通道按照权重大小组合成多组三通道视频,再将这些三通道视频送入传统彩色视频目标跟踪器中进行跟踪,代表有BAE-Net方法;二是针对高光谱视频中不同通道内目标的材料信息不同,提出的高光谱视频中基于材质的目标跟踪方法。
现有的高光谱视频目标跟踪方法大多使用多层卷积网络来保证目标跟踪的精度,而卷积网络的缺点之一就是计算量巨大,从而导致跟踪速度缓慢,实时性差。
发明内容
本发明的目的是提供用于目标跟踪的面向高光谱视频的三通道视频输出方法,以解决现有的跟踪方法计算量巨大,从而导致跟踪速度缓慢,实时性差的问题。
本发明采用以下技术方案:用于目标跟踪的面向高光谱视频的三通道视频输出方法,由以下步骤组成:
取三个最大的Pm值对应的三个通道作为三通道输出视频F。
进一步地,所述质量评价指标Pm的评价算法为:
其中,Pm为第m通道Clm的质量评价指标,和分别表示图像的对比度差异、信息熵和目标背景差异指标,n表示第n帧,n从1到N取整数值,α、β和γ分别表示和的权重系数,取值范围为正整数,m为从1到M取整数值。
进一步地,取三个最大的Pm值对应的三个通道作为三通道输出视频F,即:
F={Clmax1,Clmax2,Clmax3} (5)
其中,Clmax1、Clmax2、Clmax3分别代表三个最大的Pm值对应的三个通道,F为三通道视频。
本发明的有益效果是:将本发明获得的三通道视频作为目标跟踪器的输入,根据输入视频当前帧的目标框进行初始化,然后进行正常操作得到高光谱视频目标跟踪的结果;本发明在保证精度的前提下,有效的解决了高光谱目标跟踪速度慢的问题,提升方法的实用性。
附图说明
图1为本发明的流程图;
图2为本发明实施例1的效果展示图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明公开了用于目标跟踪的面向高光谱视频的三通道视频输出方法,如图1所示,由以下步骤组成:
首先假设高光谱视频包含M个通道(Channel1,Channel 2,…,Channel M),第m个通道用Clm表示,第m个通道Clm的通道质量用该通道前N帧图像各指标的总和表示。
步骤5:取三个最大的Pm值对应的三个通道作为三通道输出视频F,将三通道输出视频F送入目标跟踪器中,通过学习和迭代,得到目标跟踪结果。
其中,步骤1中:
其中,表示图像中位置i处的像素值,wi表示以i为中心的四近邻(上、下、左、右)。j为四近邻wi中的点,S表示公式(1)分子部分的求和次数,为第m通道在第n帧的图像,通常为八比特图像,其中m的取值范围为1到M,n的取值范围为1到N。
其中,步骤2中的信息熵由下式计算:
首先根据高光谱视频给定的地表真值将输入图像分为目标区域和背景区域,其中定义背景区域的宽和高为目标区域的宽和高的k倍,k的取值为实数1到5,然后分别计算两个区域之间的对比度差异和像素均值差异。对比度差异的绝对值和像素均值差异的绝对值相加为差异指标的最终值目标背景差异指标的定义如下:
步骤4是基于步骤1、2、3的3个指标,利用综合评价指标Pm来确定最终要输出的三个通道,第m通道Clm的质量评价指标Pm的定义如下:
其中,和分别表示图像的对比度差异、信息熵和目标背景差异指标,n表示第n帧,n从1到N取整数值,α、β和γ分别表示和的权重系数,取值范围为正整数,m为从1到M取整数值,α、β是用来计算图像整体的质量,γ是计算图像内目标区域与背景区域的差异。
步骤5是选择三个最大的Pm值对应的三个通道作为输出F:
F={Clmax1,Clmax2,Clmax3} (5)
其中Clmax1、Clmax2、Clmax3分别代表三个最大的Pm值对应的三个通道,F为三通道视频。
基于步骤5和现有的相关滤波的目标跟踪器,例如KCF、BACF等来进行目标跟踪。将步骤5得到的三通道视频F作为目标跟踪器的输入,根据输入视频当前帧的目标框进行初始化,然后在视频的下一帧中产生众多候选框,即运动模型部分,提取这些候选框的特征,即特征提取部分,然后对这些候选框评分,即观测模型部分,最后在这些评分中找一个得分最高的候选框作为预测的目标作为输出,得到高光谱视频目标跟踪的结果。
实施例1
本实施例中,高光谱视频包含16个波段,M=16(Cl1,Cl2,…,Cl16),第m个通道Clm的通道质量用该通道前5帧图像(即N=5)各指标的加权总和表示。
在目标背景差异指标中,首先根据高光谱视频给定的地表真值将输入通道图像分为目标区域和背景区域,在本实施例中定义背景区域的宽和高为目标区域的宽和高的2.6倍,然后分别计算两个区域之间的对比度差异和像素均值差异,这两个绝对值相加为目标背景差异指标
利用公式(4)的综合评价指标Pm来确定最终要输出的三个通道,α、β和γ是权重系数,分别取α=1、β=1、γ=2。最后,选择最大的三个Pm值所对应的通道作为三通道视频F输出。
本实施例选择的目标跟踪器为背景感知相关滤波器,BACF的滤波器的训练如下:
其中,Fk和hk分别指步骤5通道选择得到的三通道视频F和BACF滤波器的第k个通道,k的取值为1到3。[Δτt]是循环移位运算符,Fk[Δτt]表示将第t步的离散循环移位应用于通道Fk。T是Fk的边长,k是特征通道的数量。y是所需的相关响应。y(t)是y的第t个元素。λ是正则化参数。P是一个D×T二元矩阵,用于裁剪通道Fk的中间D个元素。代表两个范数的平方。
将步骤5得到的三通道视频F作为输入送入BACF目标跟踪器中,根据输入视频当前帧的目标框进行初始化,然后在下一帧中产生众多候选框,提取这些候选框的特征,然后对这些候选框评分,最后在这些评分中找一个得分最高的候选框作为预测的结果输出,从而得到高光谱视频目标跟踪的结果,输出结果为带有目标框的三通道视频。其中,BACF滤波器的学习率为0.0023。
本实施例与其他高光谱目标跟踪器的性能对比实验如表1和图2所示,本实施例选取具有代表性的三个高光谱视频目标跟踪方法MHT、DeepHKCF和CNHT来验证本实施例的性能。所有实验均在Matlab2021下进行,电脑CPU为Intel(R)Core(TM)i9-10900K,GPU为NVIDIA GeForce RTX 3060。
表1各高光谱目标跟踪器性能对比实验
从表1中可以看出,在精度方面,本实施例与目前最先进的高光谱目标跟踪器MHT相近,远超DeepHKCF和CNHT;在速度方面,本实施例达到了11.5FPS,是其他高光谱目标跟踪器的五倍以上。这是因为MHT、DeepHKCF和CNHT都大量使用了卷积网络,而卷积网络的计算量巨大,从而导致目标跟踪的速度很慢。本发明舍弃了当前应用最多的多层卷积网络方法,使用传统的图像处理方法来评估每个通道的质量,有效的避免了卷积带来的大量计算。实验证明,本发明可以在保证跟踪精度的同时有效地提高跟踪速度。
本发明使用对比度指标、信息熵指标和目标背景差异指标来选择高光谱视频中通道质量最好的三个通道进行目标跟踪,可以在保证目标跟踪精度的同时有效的提升速度。经过试验可知,本发明的跟踪速度优于其他现有的高光谱目标跟踪方法。本发明的目标背景指标通过计算目标区域和背景区域的差异,选择目标与背景差异最大的通道,有效的保证了目标跟踪的精度。本发明舍弃了当前应用最多的多层卷积网络方法,使用传统的图像处理方法来评估每个通道的质量,在保证通道质量的同时有效的避免了卷积带来的大量计算。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.用于目标跟踪的面向高光谱视频的三通道视频输出方法,其特征在于,由以下步骤组成:
取三个最大的Pm值对应的三个通道作为三通道输出视频F;
将得到的三通道视频F作为目标跟踪器的输入,根据输入视频当前帧的目标框进行初始化,在视频的下一帧中产生众多候选框,提取这些候选框的特征,对这些候选框评分,在这些评分中找一个得分最高的候选框作为预测的目标作为输出,得到高光谱视频目标跟踪的结果;
其中,所述质量评价指标Pm的评价算法为:
5.根据权利要求1-4任一所述的用于目标跟踪的面向高光谱视频的三通道视频输出方法,其特征在于,取三个最大的Pm值对应的三个通道作为三通道输出视频F,即:
F={Clmax1,Clmax2,Clmax3} (5)
其中,Clmax1、Clmax2、Clmax3分别代表三个最大的Pm值对应的三个通道,F为三通道视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210796625.8A CN115063449B (zh) | 2022-07-06 | 2022-07-06 | 用于目标跟踪的面向高光谱视频的三通道视频输出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210796625.8A CN115063449B (zh) | 2022-07-06 | 2022-07-06 | 用于目标跟踪的面向高光谱视频的三通道视频输出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115063449A CN115063449A (zh) | 2022-09-16 |
CN115063449B true CN115063449B (zh) | 2023-04-04 |
Family
ID=83203523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210796625.8A Active CN115063449B (zh) | 2022-07-06 | 2022-07-06 | 用于目标跟踪的面向高光谱视频的三通道视频输出方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115063449B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309581B (zh) * | 2023-05-19 | 2024-02-27 | 深圳市夜行人科技有限公司 | 一种微光成像单元的成像评价方法、系统及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL157098A (en) * | 2003-07-24 | 2009-07-20 | Rafael Advanced Defense Sys | Spectral tracking of a target |
CN109272530B (zh) * | 2018-08-08 | 2020-07-21 | 北京航空航天大学 | 面向空基监视场景的目标跟踪方法与装置 |
US10977808B2 (en) * | 2019-02-18 | 2021-04-13 | Raytheon Company | Three-frame difference target acquisition and tracking using overlapping target images |
CN109993775B (zh) * | 2019-04-01 | 2023-03-21 | 云南大学 | 基于特征补偿的单目标跟踪方法 |
CN112598069B (zh) * | 2020-12-25 | 2024-04-16 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
CN112598708A (zh) * | 2020-12-25 | 2021-04-02 | 江南大学 | 一种基于四特征融合和权重系数的高光谱目标跟踪方法 |
-
2022
- 2022-07-06 CN CN202210796625.8A patent/CN115063449B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115063449A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781776B (zh) | 一种基于预测和残差细化网络的道路提取方法 | |
CN112818969B (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
CN109191418B (zh) | 一种基于收缩自编码器特征学习的遥感图像变化检测方法 | |
CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
CN115063449B (zh) | 用于目标跟踪的面向高光谱视频的三通道视频输出方法 | |
CN112598069B (zh) | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 | |
CN112288772B (zh) | 基于在线多特征选择的通道注意力目标跟踪方法 | |
CN111798469A (zh) | 基于深度卷积神经网络的数字图像小数据集语义分割方法 | |
CN113343822A (zh) | 一种基于3d卷积的光场显著性目标检测方法 | |
CN113486894A (zh) | 一种卫星图像特征部件语义分割方法 | |
CN115345909A (zh) | 基于深度空间光谱卷积融合特征的高光谱目标跟踪方法 | |
Zhang et al. | A fast hyperspectral object tracking method based on channel selection strategy | |
CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及系统 | |
CN116095291B (zh) | 一种用于媒体流图像传输的图像预处理方法 | |
CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
CN109447952B (zh) | 一种基于Gabor差分盒加权维数的半参考型图像质量评价方法 | |
CN108492283B (zh) | 一种基于带约束稀疏表示的高光谱图像异常检测方法 | |
CN116542865A (zh) | 一种基于结构重参数化的多尺度实时去雾方法及装置 | |
CN116433548A (zh) | 一种基于多级信息提取的高光谱与全色图像融合方法 | |
CN116189160A (zh) | 一种基于局部对比度机制的红外弱小目标检测方法 | |
CN113689346A (zh) | 一种基于对比学习的紧凑深度学习去雾方法 | |
CN114565511A (zh) | 基于全局单应性估计的轻量级图像配准方法、系统及装置 | |
CN116758363A (zh) | 一种权重自适应与任务解耦的旋转目标检测器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |