CN112598708A - 一种基于四特征融合和权重系数的高光谱目标跟踪方法 - Google Patents
一种基于四特征融合和权重系数的高光谱目标跟踪方法 Download PDFInfo
- Publication number
- CN112598708A CN112598708A CN202011558301.8A CN202011558301A CN112598708A CN 112598708 A CN112598708 A CN 112598708A CN 202011558301 A CN202011558301 A CN 202011558301A CN 112598708 A CN112598708 A CN 112598708A
- Authority
- CN
- China
- Prior art keywords
- feature
- frame image
- image
- target
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 title claims abstract description 10
- 230000004044 response Effects 0.000 claims abstract description 75
- 230000009467 reduction Effects 0.000 claims abstract description 38
- 238000001228 spectrum Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000003595 spectral effect Effects 0.000 claims description 54
- 230000001419 dependent effect Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101100096719 Arabidopsis thaliana SSL2 gene Proteins 0.000 description 1
- 101100366560 Panax ginseng SS10 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于四特征融合和权重系数的高光谱目标跟踪方法，属于图像处理技术领域。所述方法通过采用光谱降维后选定通道的高光谱图像序列和光谱降维后融合通道的高光谱图像序列，克服了现有技术中同时处理所有波段的高光谱视频，计算量大，实时性差的缺点，使得本发明提高了复杂背景下高光谱图像序列中目标跟踪的速度。进一步的，通过采用响应图融合的方式，权重系数更新、基样本更新的方法，有效的克服了复杂背景中杂波背景的干扰，克服了现有技术中容易受到目标遮挡和形变的影响，使估计出现误差，导致跟踪发生偏移或者失败的缺点，使得本发明增强了核相关滤波分类器的稳定性，能够有效对复杂背景下高光谱图像序列中的目标实现跟踪。
Description
技术领域
本发明涉及一种基于四特征融合和权重系数的高光谱目标跟踪方法，属于图像处理技术领域。
背景技术
复杂背景下高光谱图像序列中的目标跟踪是高光谱图像处理技术领域重要组成部分，它在高光谱异常检测、高光谱目标检测与跟踪系统、高光谱遥感系统等许多系统中都有非常广泛的实际应用。近几年，基于改进核相关滤波的目标跟踪方法广泛应用在计算机视觉领域。核相关滤波算法利用基样本灰度特征进行跟踪，但是高光谱目标的灰度特征不足以区分出复杂背景和背景中的目标。
哈佛大学Luca Bertinetto等人发表的文献“Fully-Convolutional SiameseNetworks for Object Tracking”(发表会议European conference on computer vision，年份2016)中公开了一种基于全卷积孪生网络的视频目标跟踪方法。该方法实现的具体步骤是：基于ImageNet2015数据库，利用预先在线学习的方法，训练一个神经网络来解决生成式的相似性学习的问题，这个相似度匹配函数在跟踪的过程中简单的进行评价。然后利用预训练好的深度卷积网络作为特征编码器，提高跟踪性能。但是该方法容易受相似颜色背景的干扰，且深度网络的参数训练较耗时，算法的精确度和实时性受到较大影响。
斯坦福大学Burak Uzkent等人发表的文献“Tracking in aerial hyperspectralvideos using deep kernelized correlation filters”(发表期刊IEEE Transactionson Geoscience and Remote Sensing，年份2018)中公开了一种基于深度核相关滤波的机载高光谱视频目标跟踪方法，其设计了一种扩大跟踪器搜索区域的方法来处理低时间分辨率的问题，然后利用预训练好的神经网络来提高跟踪性能。在跟踪系统中，利用深层次的ROI映射策略，只向前传递ROI并将整个ROI投影到ROI响应图，然后估计出目标位置。该方法存在的不足之处是：需要搭建目标样本库来训练深度卷积网络，计算量较大，并且对于背景杂斑较多，即有太多相似性物体的时候，跟踪效果不好。
发明内容
为了解决目前存在的目标特征区分度不高以及跟踪实时性低的问题，本发明提供了一种基于四特征融合和权重系数的高光谱目标跟踪方法，所述方法包括：
S1载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
S2载入高光谱图像序列中第T帧图像作为当前帧图像，T为大于等于2的整数；
S3对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像；
S4提取当前帧图像的HOG特征作为第一个特征，然后提取光谱降维后的当前帧图像的三个深度特征作为第二到第四个特征；
S5利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于第一到第四个特征的弱响应图；并利用四个弱响应图分别计算得到第一到第四个特征的权重系数；
S6利用第一到第四个特征的权重系数对四个弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为当前帧图像中目标的位置；
S7对第一到第四个特征的权重系数相关参数进行自适应更新；自适应更新过程中，若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数；
S8判断所述当前帧图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则载入高光谱图像序列中第T+1帧图像作为当前帧图像，并循环S3至S8，直至所述当前帧图像为高光谱图像序列的最后一帧图像，完成目标跟踪。
可选的，所述S1包括：
1.1读入高光谱图像序列的第一帧图像；
1.2用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，将待跟踪目标图像区域的中心位置作为待跟踪目标的初始位置，以两倍于待跟踪目标图像区域的尺寸作为搜索区域的大小；将搜索区域与待跟踪目标图像区域的差值作为背景图像区域，搜索区域为目标图像区域周围200个随机图像块；
1.3设置初始化参数。
可选的，所述S3包括：
3.1根据下式对当前帧图像进行光谱降维操作，得到光谱降维后的当前帧图像：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内待跟踪目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内待跟踪目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线，|·|表示绝对值操作；
将Drj最大值所对应的光谱波段作为光谱降维后的当前帧图像。
可选的，所述S4包括：
4.1提取当前帧图像的HOG特征作为第一个特征；
4.2利用VGG-19网络对S3得到的光谱降维后的当前帧图像进行深度特征提取，并将VGG-19网络中第三卷积组的第四层作为第二个特征，第四卷积组的第四层作为第三个特征，第五卷积组的第四个层作为第四个特征。
可选的，所述S5中利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于第一到第四个特征的弱响应图，包括：
5.1将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
5.2按照下式，将X1进行对角化：
X1＝F·diag(x1)·FH
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示向量x1的傅里叶变换，FH表示做傅里叶变换操作再求厄米特矩阵操作；
5.3按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
其中，ω表示核相关滤波分类器的回归系数，以下标区分分别对应第几个特征，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
表示y1的傅里叶变换；
5.4按照下式，将ω1映射到高维特征空间：
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
表示映射操作；按照下式，利用循环矩阵
计算α1；
5.5按照下式，计算基于第一个特征的弱响应图R1：
其中，z1表示基于第一个特征的目标图像区域的基样本；
5.6重复步骤5.1至5.5，计算得到基于第二个到第四个特征的弱响应图R2到R4；
5.5根据公式
计算第一到第四个特征的权重系数wi；
其中，i表示特征序号，取值为1到4；Rpci表示当前帧图像中第i个特征的弱响应图的最大值，Rpai表示历史帧图像中第i个特征的弱响应图的最大值。
可选的，所述S6包括：
6.1按照下式，计算强响应图Q：
6.2将Q中最大值位置作为当前帧图像中目标的位置。
可选的，所述S7包括：
按照下式，对第一到第四个特征的权重系数计算公式中的参数Rpai进行自适应更新：
其中，μ表示更新参数。
可选的，所述若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数，包括：
若第四个特征的权重系数超过预先设定的阈值参数，则按照下式，重置第四个特征的权重系数：
其中，vth表示预先设定的阈值参数。
可选的，所述S7之后、S8之前还包括，利用自适应更新后的第一到第四个特征的权重系数对基样本进行更新：
按照下式，更新α和z：
其中，αi表示更新后的基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示当前帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示历史帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，zi表示更新后的基于第i个特征的目标图像区域的测试基样本,
表示当前帧图像中基于第i个特征的目标图像区域的测试基样本，
表示历史帧图像中基于第i个特征的目标图像区域的基样本。
可选的，更新参数μ＝0.98，阈值参数vth＝0.8。
本发明有益效果是：
本发明通过采用光谱降维后选定通道的高光谱图像序列和光谱降维后融合通道的高光谱图像序列，克服了现有技术中同时处理所有波段的高光谱视频，计算量大，实时性差的缺点，使得本发明提高了复杂背景下高光谱图像序列中目标跟踪的速度。进一步的，通过采用响应图融合的方式、并权重系数进行更新，进一步利用更新后的权值系数对基样本进行更新的方法，有效的克服了复杂背景中杂波背景的干扰，克服了现有技术中容易受到目标遮挡和形变的影响，使估计出现误差，导致跟踪发生偏移或者失败的缺点，使得本发明增强了核相关滤波分类器的稳定性，能够有效对复杂背景下高光谱图像序列中的目标实现跟踪。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中提供的基于四特征和权重系数更新的高光谱目标跟踪方法的流程图。
图2为本发明一个实施例中提供的基于四特征、权重系数更新和基样本更新的高光谱目标跟踪方法的流程图。
图3为本发明一个实施例中光谱降维后选定通道的高光谱图像序列第一帧图像示意图。
图4为本发明一个实施例中光谱降维后融合通道的高光谱图像序列第一帧图像示意图。
图5为本发明一个实施例中四个分别基于第一到第四个特征的弱响应图。
图6为本发明一个实施例中一个强响应图。
图7为本发明一个实施例中高光谱图像序列中第10帧图像中目标位置示意图。
图8为本发明一个实施例中多种跟踪方法在第25帧图像中的跟踪效果对比示意图。
图9为本发明一个实施例中多种跟踪方法在第615帧图像中的跟踪效果对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种基于四特征和权重系数的高光谱目标跟踪方法，所述方法包括：
S1载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
S2载入高光谱图像序列中第T帧图像作为当前帧图像，T为大于等于2的整数；
S3对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像；
S4提取当前帧图像的HOG特征作为第一个特征，然后提取光谱降维后的当前帧图像的三个深度特征作为第二到第四个特征；
S5利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于第一到第四个特征的弱响应图；并利用四个弱响应图分别计算得到第一到第四个特征的权重系数；
S6利用第一到第四个特征的权重系数对四个弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为当前帧图像中目标的位置；
S7对第一到第四个特征的权重系数相关参数进行自适应更新；自适应更新过程中，若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数。
S8判断所述当前帧图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则载入高光谱图像序列中第T+1帧图像作为当前帧图像，并循环S3至S8，直至所述当前帧图像为高光谱图像序列的最后一帧图像，完成目标跟踪。
实施例二：
本实施例提供一种基于四特征和权重系数的高光谱目标跟踪方法，参见图1，所述方法包括：
步骤1：载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
步骤101，读入高光谱图像序列第一帧图像；
具体地，本发明实施例的高光谱图像序列具有16个通道，因此读入的第一帧图像尺寸为M×N×16，其中M×N为场景大小。
步骤102，用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的型心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；
具体地，搜索区域为预估目标可能出现的区域，由目标大小和目标移动速度决定，在本发明实施例中，综合考虑了目标的尺寸和目标可能移动速度，搜索区域选择为2倍于待跟踪目标区域面积的区域。
步骤103，设置初始化参数。
具体地，将基于第一到第四个特征的权重系数初始化为1，更新率初始化为0.98，阈值参数初始化为0.8。
步骤2：载入高光谱图像序列中第T帧图像作为当前帧图像，并对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像；
具体通过以下步骤实现：
步骤201，载入高光谱图像序列的第一帧图像；
步骤202，按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线，|·|表示绝对值操作。
将Drj最大值所对应的光谱波段作为光谱降维后选定通道的高光谱图像序列；
具体地，如图2所示为光谱降维后选定通道的高光谱图像序列第一帧图像示意图。
步骤3：提取当前帧图像的HOG特征作为第一个特征，然后提取光谱降维后的当前帧图像的三个深度特征作为第二到第四个特征；
具体通过以下步骤实现：
步骤301，提取当前帧图像的HOG特征作为第一个特征；
步骤302，利用VGG-19网络对光谱降维后的当前帧图像进行深度特征提取，并将VGG-19网络中第三卷积组的第四层作为第二个特征，第四卷积组的第四层作为第三个特征，第五卷积组的第四个层作为第四个特征；
步骤4：利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于步骤3得到的第一到第四个特征的弱响应图；
具体通过以下步骤实现：
步骤401，将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
步骤402，按照下式，将X1进行对角化：
X1＝F·diag(x1)·FH
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示向量x1的傅里叶变换，FH表示做傅里叶变换操作再求厄米特矩阵操作。
步骤403，按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
其中，ω表示核相关滤波分类器的回归系数，以下标区分分别对应第几个特征，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
表示y1的傅里叶变换；x1 H表示向量x1的厄米特矩阵。
步骤404，按照下式，将ω1映射到高维特征空间：
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
表示映射操作；
步骤405，按照下式，利用循环矩阵
计算α1；
α1为α1的傅里叶变换。
步骤406，按照下式，计算基于第一个特征的弱响应图R1：
其中，z1表示基于第一个特征的目标图像区域的测试基样本；
步骤407，重复步骤(401)至(406)，计算得到基于第二到第四个特征的弱响应图R2到R4。
具体地，如图4所示，为本发明四个基于第一到第四个特征的弱响应图。
步骤5：利用四个基于第一到第四个特征的弱响应图，分别计算得到第一到第四个特征的权重系数：
具体为：根据公式
计算第一到第四个特征的权重系数wi；其中i表示特征序号，取值为1到4，Rpci表示当前帧图像中第i个特征的弱响应图的最大值，Rpai表示历史帧图像中第i个特征的弱响应图的最大值。
步骤6：利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为当前帧图像中目标的位置；
具体通过以下步骤实现：
步骤601，按照下式，计算强响应图Q：
步骤602，将Q中最大值位置作为目标的位置。
具体地，如图5所示，为本发明一个强响应图。如图6所示，为本发明高光谱图像序列中第10帧图像中目标位置示意图。
步骤7：对第一到第四个特征的权重系数相关参数进行自适应更新；
具体为：按照下式，对第一到第四个特征的权重系数相关参数进行自适应更新
其中，μ表示大小为0.98的更新参数。
具体地，如果当前帧的响应图峰值高于历史帧的响应图峰值，代表当前帧的特征匹配度更高，更有利于目标跟踪，则用其替换历史帧的响应图峰值；如果当前帧的响应图峰值低于历史帧的响应图峰值，则代表当前帧的匹配度降低，这不仅由目标因素导致，也可能是由背景改变所导致的，因此需要对历史帧的响应图峰值进行更新，使其更能适应当前帧的背景情况。
步骤8：重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：
其中，vth表示大小为0.8的阈值参数。
具体地，第四特征为深度特征中最深层次的特征，由于深度网络的特性，其具有最大的感受野，这导致在目标发生剧烈变动时，如果背景变化不大，其仍能保持一个很大的响应峰值，会在融合的时候产生很大的影响，导致跟踪失败，因此本发明中设立一个阈值以减弱第四特征在低匹配度情况的影响力，提高其他三个特征的影响力。
步骤9：利用自适应更新后的第一到第四个特征的权重系数对基样本进行更新，具体包括：
按照下式，更新α和z：
其中，αi表示更新后的基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示当前帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示历史帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，zi表示更新后的基于第i个特征的目标图像区域的测试基样本,
表示当前帧图像中基于第i个特征的目标图像区域的测试基样本，
表示历史帧图像中基于第i个特征的目标图像区域的基样本。
步骤10，判断所述当前帧图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则载入高光谱图像序列中第T+1帧图像作为当前帧图像，并循环步骤3至步骤10，直至所述当前帧图像为高光谱图像序列的最后一帧图像，完成目标跟踪。
实施例三：
本实施例提供一种基于四特征、权重系数更新和基样本更新的高光谱目标跟踪方法，参见图2，所述方法包括：
SS1载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
1.1读入高光谱图像序列第一帧图像；
1.2用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的型心位置作为待跟踪目标的初始位置，以两倍于待跟踪目标图像区域的尺寸作为搜索区域大小，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域，搜索区域为目标图像区域周围200个随机图像块；
1.3设置初始化参数。
SS2载入高光谱图像序列中第T帧图像作为当前帧图像，其中，T为大于等于2的整数；
SS3对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像；
3.1按照下式，对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线，|·|表示绝对值操作。
3.2将Drj最大值所对应的光谱波段作为光谱降维后的当前帧图像。
SS4提取当前帧图像的HOG特征作为第一个特征，然后提取光谱降维后的当前帧图像的三个深度特征作为第二到第四个特征；
4.1提取当前帧图像的HOG特征作为第一个特征；
4.2利用VGG-19网络对光谱降维后的当前帧图像提取深度特征，并将VGG-19网络中第三卷积组的第四层作为第二个特征，第四卷积组的第四层作为第三个特征，第五卷积组的第四个特征作为第四个特征。
SS5利用第一到第四个特征以及基于基样本更新的核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；
5.1将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
5.2按照下式，将X1进行对角化：
X1＝F·diag(x1)·FH
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示向量x1的傅里叶变换，H(·)表示求厄米特矩阵操作；
5.3按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
其中，ω表示核相关滤波分类器的回归系数，以下标区分分别对应第几个特征，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
表示y1的傅里叶变换；
5.5按照下式，将ω1映射到高维特征空间：
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
表示映射操作；
5.6按照下式，利用循环矩阵
计算α1；
α1为α1的傅里叶变换。
5.7按照下式，计算基于第一个特征的弱响应图R1：
其中，z1表示基于第一个特征的目标图像区域的基样本；
5.8重复步骤5.1至5.7，计算得到基于第二到第四个特征的弱响应图R2到R4。
SS6利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数；
根据公式
计算第一到第四个特征的权重系数wi；其中i表示特征序号，取值为1到4的整数；Rpci表示当前帧第i个特征的弱响应图的最大值，Rpai表示历史帧第i个特征的弱响应图的最大值。
SS7利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为当前帧图像中目标的位置；
7.1按照下式，计算强响应图Q：
7.2将Q中最大值位置作为当前帧图像中目标的位置。
SS8对第一到第四个特征的权重系数相关参数进行自适应更新；重置第四个特征的权重系数；
按照下式，对第一到第四个特征的权重系数计算公式中的参数Rpai进行自适应更新
其中，μ表示大小为0.98的更新参数；
自适应更新过程中，若第四个特征的权重系数超过预定的阈值参数，则重置第四个特征的权重系数，按照下式，重置第四个特征的权重系数：
其中，vth表示大小为0.8的阈值参数。
SS9利用第一到第四个特征的权重系数对基样本更新；。
按照下式，更新α和z：
其中，αi表示更新后的基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示当前帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示历史帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，zi表示更新后的基于第i个特征的目标图像区域的测试基样本,
表示当前帧图像中基于第i个特征的目标图像区域的测试基样本，
表示历史帧图像中基于第i个特征的目标图像区域的测试基样本。
SS10判断所述当前帧图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则载入高光谱图像序列中第T+1帧图像作为当前帧图像，并循环S3至S10，直至所述当前帧图像为高光谱图像序列的最后一帧图像，完成目标跟踪。
图8-9分别选取了本申请方法和基于卷积特征的方法以及基于光谱特征的方法进行目标跟踪时在第25帧以及第615帧图像中的跟踪效果的对比图；由图8可知，在第25帧图像中，相对于本申请方法的跟踪框，基于卷积特征的方法以及基于光谱特征的方法的跟踪框已经出现了偏移跟踪目标的情况，到第615帧图像时，基于卷积特征的方法以及基于光谱特征的方法的跟踪框已经完全偏离了跟踪目标，这是因为本申请方法采用了响应图融合的方式、并进行权重系数进行更新，进一步利用更新后的权值系数对基样本进行更新，从而有效的克服了复杂背景中杂波背景的干扰，避免出现跟踪发生偏移，提高了跟踪精度。
其中，基于卷积特征的方法的介绍可参考“哈佛大学Luca Bertinetto等人发表的文献Fully-Convolutional Siamese Networks for Object Tracking”；
基于光谱特征的方法的介绍可参考“斯坦福大学Burak Uzkent等人发表的文献Tracking in aerial hyperspectral videos using deep kernelized correlationfilters”。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于四特征融合和权重系数的高光谱目标跟踪方法，其特征在于，所述方法包括：
S1载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
S2载入高光谱图像序列中第T帧图像作为当前帧图像，T为大于等于2的整数；
S3对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像；
S4提取当前帧图像的HOG特征作为第一个特征，然后提取光谱降维后的当前帧图像的三个深度特征作为第二到第四个特征；
S5利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于第一到第四个特征的弱响应图；并利用四个弱响应图分别计算得到第一到第四个特征的权重系数；
S6利用第一到第四个特征的权重系数对四个弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为当前帧图像中目标的位置；
S7对第一到第四个特征的权重系数相关参数进行自适应更新；自适应更新过程中，若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数；
S8判断所述当前帧图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则载入高光谱图像序列中第T+1帧图像作为当前帧图像，并循环S3至S8，直至所述当前帧图像为高光谱图像序列的最后一帧图像，完成目标跟踪。
2.根据权利要求1所述的方法，其特征在于，所述S1包括：
1.1读入高光谱图像序列的第一帧图像；
1.2用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，将待跟踪目标图像区域的中心位置作为待跟踪目标的初始位置，以两倍于待跟踪目标图像区域的尺寸作为搜索区域的大小；将搜索区域与待跟踪目标图像区域的差值作为背景图像区域，搜索区域为目标图像区域周围200个随机图像块；
1.3设置初始化参数。
3.根据权利要求2所述的方法，其特征在于，所述S3包括：
3.1根据下式对当前帧图像进行光谱降维操作，得到光谱降维后的当前帧图像：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内待跟踪目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内待跟踪目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线，|·|表示绝对值操作；
将Drj最大值所对应的光谱波段作为光谱降维后的当前帧图像。
4.根据权利要求3所述的方法，其特征在于，所述S4包括：
4.1提取当前帧图像的HOG特征作为第一个特征；
4.2利用VGG-19网络对S3得到的光谱降维后的当前帧图像进行深度特征提取，并将VGG-19网络中第三卷积组的第四层作为第二个特征，第四卷积组的第四层作为第三个特征，第五卷积组的第四个层作为第四个特征。
5.根据权利要求4所述的方法，其特征在于，所述S5包括：
5.1将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
5.2按照下式，将高阶压缩矩阵X1进行对角化：
X1＝F·diag(x1)·FH
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示向量x1的傅里叶变换，FH表示做傅里叶变换操作再求厄米特矩阵操作；
5.3按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
其中，ω表示核相关滤波分类器的回归系数，以下标区分分别对应第几个特征，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
表示y1的傅里叶变换；
5.4按照下式，将ω1映射到高维特征空间：
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
表示映射操作；按照下式，利用循环矩阵
计算α1；
5.5按照下式，计算基于第一个特征的弱响应图R1：
其中，z1表示基于第一个特征的目标图像区域的基样本；
5.6重复步骤5.1至5.5，计算得到基于第二个到第四个特征的弱响应图R2到R4；
5.7根据公式
计算第一到第四个特征的权重系数wi；
其中，i表示特征序号，取值为1到4；Rpci表示当前帧图像中第i个特征的弱响应图的最大值，Rpai表示历史帧图像中第i个特征的弱响应图的最大值。
6.根据权利要求5所述的方法，其特征在于，所述S6包括：
6.1按照下式，计算强响应图Q：
6.2将Q中最大值位置作为当前帧图像中目标的位置。
7.根据权利要求6所述的方法，其特征在于，所述S7包括：
按照下式，对第一到第四个特征的权重系数计算公式中的参数Rpai进行自适应更新：
其中，μ表示更新参数。
8.根据权利要求7所述的方法，其特征在于，所述若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数，包括：
若第四个特征的权重系数超过预先设定的阈值参数，则按照下式，重置第四个特征的权重系数：
其中，vth表示预先设定的阈值参数。
9.根据权利要求8所述的方法，其特征在于，所述S7之后、S8之前还包括，利用自适应更新后的第一到第四个特征的权重系数对基样本进行更新：
按照下式，更新α和z：
其中，αi表示更新后的基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示当前帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示历史帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，zi表示更新后的基于第i个特征的目标图像区域的测试基样本,
表示当前帧图像中基于第i个特征的目标图像区域的测试基样本，
表示历史帧图像中基于第i个特征的目标图像区域的基样本。
10.根据权利要求9所述的方法，其特征在于，更新参数μ＝0.98，阈值参数vth＝0.8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011558301.8A CN112598708A (zh) | 2020-12-25 | 2020-12-25 | 一种基于四特征融合和权重系数的高光谱目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011558301.8A CN112598708A (zh) | 2020-12-25 | 2020-12-25 | 一种基于四特征融合和权重系数的高光谱目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598708A true CN112598708A (zh) | 2021-04-02 |
Family
ID=75202690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011558301.8A Pending CN112598708A (zh) | 2020-12-25 | 2020-12-25 | 一种基于四特征融合和权重系数的高光谱目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598708A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598069A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
| CN113222908A (zh) * | 2021-04-23 | 2021-08-06 | 中国科学院西安光学精密机械研究所 | 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 |
| CN115063449A (zh) * | 2022-07-06 | 2022-09-16 | 西北工业大学 | 用于目标跟踪的面向高光谱视频的三通道视频输出方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013177586A1 (en) * | 2012-05-25 | 2013-11-28 | The Johns Hopkins University | An integrated real-time tracking system for normal and anomaly tracking and the methods therefor |
| CN107316316A (zh) * | 2017-05-19 | 2017-11-03 | 南京理工大学 | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 |
| CN110223323A (zh) * | 2019-06-02 | 2019-09-10 | 西安电子科技大学 | 基于深度特征自适应相关滤波的目标跟踪方法 |
| CN112598711A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 |
| CN112598069A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
-
2020
- 2020-12-25 CN CN202011558301.8A patent/CN112598708A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013177586A1 (en) * | 2012-05-25 | 2013-11-28 | The Johns Hopkins University | An integrated real-time tracking system for normal and anomaly tracking and the methods therefor |
| CN107316316A (zh) * | 2017-05-19 | 2017-11-03 | 南京理工大学 | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 |
| CN110223323A (zh) * | 2019-06-02 | 2019-09-10 | 西安电子科技大学 | 基于深度特征自适应相关滤波的目标跟踪方法 |
| CN112598711A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 |
| CN112598069A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| FENGCHAO XIONG等: "Material Based Object Tracking in Hyperspectral Videos", IEEE, 15 January 2020 (2020-01-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598069A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
| CN112598069B (zh) * | 2020-12-25 | 2024-04-16 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
| CN113222908A (zh) * | 2021-04-23 | 2021-08-06 | 中国科学院西安光学精密机械研究所 | 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 |
| CN113222908B (zh) * | 2021-04-23 | 2023-12-12 | 中国科学院西安光学精密机械研究所 | 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 |
| CN115063449A (zh) * | 2022-07-06 | 2022-09-16 | 西北工业大学 | 用于目标跟踪的面向高光谱视频的三通道视频输出方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112598708A (zh) | 一种基于四特征融合和权重系数的高光谱目标跟踪方法 | |
| CN112598069B (zh) | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 | |
| CN112598711B (zh) | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 | |
| CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
| CN111369605B (zh) | 一种基于边缘特征的红外与可见光图像的配准方法和系统 | |
| CN107609571B (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
| CN111160229B (zh) | 基于ssd网络的视频目标检测方法及装置 | |
| CN111783583B (zh) | 基于非局部均值算法的sar图像相干斑抑制方法 | |
| CN107169962B (zh) | 基于空间密度约束核模糊聚类的灰度图像快速分割方法 | |
| CN113327231B (zh) | 一种基于空谱联合的高光谱异常目标检测方法和系统 | |
| CN111046800A (zh) | 一种基于低秩与稀疏分解的高光谱图像异常目标检测方法 | |
| CN110991493A (zh) | 一种协同表示和异常剔除的高光谱异常检测方法 | |
| CN113449658A (zh) | 基于空域、频域、时域的夜间视频序列显著性检测方法 | |
| CN113870157A (zh) | 一种基于CycleGAN的SAR图像合成方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN111680579B (zh) | 一种自适应权重多视角度量学习的遥感图像分类方法 | |
| CN112308873A (zh) | 多尺度Gabor小波PCA融合图像边缘检测方法 | |
| CN110827262A (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
| CN107392211B (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
| CN112633202A (zh) | 一种基于双重去噪联合多尺度超像素降维的高光谱图像分类算法 | |
| CN110390338B (zh) | 一种基于非线性引导滤波与比率梯度的sar高精度匹配方法 | |
| CN107944497A (zh) | 基于主成分分析的图像块相似性度量方法 | |
| Abas et al. | Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms | |
| CN109241981B (zh) | 一种基于稀疏编码的特征检测方法 | |
| Yufeng et al. | Research on SAR image change detection algorithm based on hybrid genetic FCM and image registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |