CN112598069A - 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 - Google Patents

基于特征提取和权重系数参数更新的高光谱目标跟踪方法 Download PDF

Info

Publication number
CN112598069A
CN112598069A CN202011573651.1A CN202011573651A CN112598069A CN 112598069 A CN112598069 A CN 112598069A CN 202011573651 A CN202011573651 A CN 202011573651A CN 112598069 A CN112598069 A CN 112598069A
Authority
CN
China
Prior art keywords
image
hyperspectral
target
image sequence
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011573651.1A
Other languages
English (en)
Other versions
CN112598069B (zh
Inventor
赵东
李晨
汪磊
牛明
张见
郜云波
王青
马弘宇
陶旭
杨成东
刘朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binjiang College of Nanjing University of Information Engineering
Original Assignee
Binjiang College of Nanjing University of Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binjiang College of Nanjing University of Information Engineering filed Critical Binjiang College of Nanjing University of Information Engineering
Priority to CN202011573651.1A priority Critical patent/CN112598069B/zh
Publication of CN112598069A publication Critical patent/CN112598069A/zh
Application granted granted Critical
Publication of CN112598069B publication Critical patent/CN112598069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于特征提取和权重系数参数更新的高光谱目标跟踪方法，首先利用基于多维缩放和主成分分析的联合光谱降维方法对原始高光谱图像序列进行降维处理；然后分别提取降维处理后得到的图像序列的四对特征，将四对特征进行融合；并将融合后的特征送入核相关滤波器，得到四个基于第一到第四个特征的弱响应图；并利用权重系数对弱响应图进行加权得到强响应图；将强响应图中最大值位置作为目标的位置；并对权重系数进行更新。本发明克服了现有技术中计算量大，实时性差的缺点，使得本发明提高了复杂背景下高光谱图像序列中目标跟踪的速度，并且当目标出现形变和遮挡时有较好跟踪效果。

Description

基于特征提取和权重系数参数更新的高光谱目标跟踪方法
技术领域
本发明属于图像处理技术领域，具体涉及基于特征提取和权重系数参数更新的高光谱目标跟踪方法。
背景技术
复杂背景下高光谱图像序列中的目标跟踪是高光谱图像处理技术领域重要组成部分，它在高光谱异常检测、高光谱目标检测与跟踪系统、高光谱遥感系统等许多系统中都有非常广泛的实际应用。近几年，基于改进核相关滤波的目标跟踪方法广泛应用在计算机视觉领域。核相关滤波算法利用基样本灰度特征进行跟踪，但是高光谱目标灰度特征不足以区分出复杂背景和背景中的目标。
现有的目标跟踪方法中，通过提取目标搜索区域内的光谱特征，训练光谱相关滤波器Spe-CF，根据前一帧目标位置选择目标搜索区域，进而利用训练好的光谱相关滤波器Spe-CF预估目标位置范围，规定相关响应值大于一定阈值即为目标位置范围，根据空间相关滤波器Spa-CF确定目标最终位置。该方法存在的不足之处是：该方法同时处理所有波段的高光谱视频，并利用光谱相关滤波器Spe-CF和空间相关滤波器Spa-CF对目标位置进行预估和确定时，需要预先训练滤波器，计算量较大，实时性差，并且当目标出现遮挡和形变以后，容易跟踪发生失败。
目前还存在搭建并训练深度卷积网络作为特征编码器，提高跟踪性能。然后只向前传递ROI并将整个ROI投影到ROI响应图，然后估计出目标位置。该方法存在的不足之处是：需要搭建目标样本库来训练深度卷积网络，计算量较大，并且该算法容易受到目标遮挡和形变的影响，使估计出现误差，导致跟踪发生偏移。
发明内容
本发明针对现有技术中的不足，提供一种基于特征提取和权重系数参数更新的高光谱目标跟踪方法，首先利用基于多维缩放和主成分分析的联合光谱降维方法对原始高光谱图像序列进行降维处理，然后分别提取降维处理后得到的图像序列的四对特征，将得到的四对特征进行融合，然后将融合后的特征送入核相关滤波器，并首次提出实用弱响应图的权重系数对响应图进行加权得到强响应图，并对权重系数的参数进行自适应更新，实现复杂背景下高光谱图像序列中目标的有效跟踪。
为实现上述目的，本发明采用以下技术方案：基于特征提取和权重系数参数更新的高光谱目标跟踪方法，包括如下步骤：
步骤一、载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
步骤二、对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作，得到光谱降维后选定通道的高光谱图像序列；
步骤三、从高光谱图像序列的第二帧图像开始，依次载入第T帧图像作为当前帧原始图像，对当前帧原始图像进行基于主成分分析的光谱降维操作，得到光谱降维后融合通道的高光谱图像序列；T为大于等于2的整数；
步骤四、将光谱降维后选定通道的高光谱图像序列中的第T帧图像，与光谱降维后融合通道的高光谱图像序列中的第T帧图像，组合成当前帧图像对；
步骤五、提取当前帧图像对的SURF特征融合后作为第一个特征，然后提取当前帧图像对的三个深度特征分别融合后，作为第二到第四个特征；
步骤六、利用第一到第四个特征以及核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；
步骤七、利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数；
步骤八、利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算，得到一个强响应图，并将强响应图中最大值位置作为目标的位置；
步骤九、对第一到第四个特征的权重系数的参数进行自适应更新；重置第四个特征的权重系数；
步骤十、判断当前帧原始图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则返回到步骤三，继续载入后续帧图像进行跟踪。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤一具体通过以下步骤实现：
S101、读入高光谱图像序列第一帧图像；
S102、用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的形心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；
S103、设置初始化参数。
进一步地，步骤二通过以下步骤实现：
S201、载入高光谱图像序列的第一帧图像；
S202、按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：
Drj＝|Rtj-Rbj|
其中，Drj表示第.j个光谱波段内目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线；
将Drj最大值所对应的光谱波段作为光谱降维后选定通道的高光谱图像序列。
进一步地，步骤五通过以下步骤实现：
S501、提取当前帧图像对的SURF特征融合后作为第一个特征；
S502、利用VGG-19网络对当前帧图像对提取深度特征，并将一对VGG-19网络中第三卷积组的第四层融合后作为第二个特征，第四卷积组的第四层融合后作为第三个特征，第五卷积组的第四层融合后作为第四个特征。
进一步地，步骤六通过以下步骤实现：
S601、将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
S602、按照下式，将X1进行对角化：
Figure BDA0002860371110000031
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示图像块，
Figure BDA0002860371110000032
表示x1的傅里叶变换，H(·)表示求厄米特矩阵操作；
S603、按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
Figure BDA0002860371110000033
其中，ω表示核相关滤波分类器的回归系数，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
Figure BDA0002860371110000034
表示y1的傅里叶变换；
S604、按照下式，将ω1映射到高维特征空间：
Figure BDA0002860371110000041
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
Figure BDA0002860371110000042
表示映射操作；
S605、按照下式，利用循环矩阵
Figure BDA0002860371110000043
计算α1：
Figure BDA0002860371110000044
S606、按照下式，计算基于第一个特征的弱响应图R1：
Figure BDA0002860371110000045
其中，z1表示基于第一个特征的目标图像区域的测试基样本；
S607、重复步骤S601至S606，计算得到基于第二到第四个特征的弱响应图R2到R4。
进一步地，步骤七具体包括：根据公式
Figure BDA0002860371110000046
计算第i个特征的权重系数wi；
其中i表示特征序号，取值为1到4的整数；Rpci表示当前帧第i个特征的弱响应图的最大值；Rpai表示历史帧第i个特征的弱响应图的最大值。
进一步地，步骤八通过以下步骤实现：
S801、按照下式，计算强响应图Q：
Figure BDA0002860371110000047
S802、将Q中最大值位置作为目标的位置，Ri为第i个特征的弱响应图。
进一步地，步骤九中，权重系数的参数进行自适应更新具体为：按照下式，对第一到第四个特征的权重系数的参数进行自适应更新
Figure BDA0002860371110000048
其中，μ表示大小为0.98的更新参数。
进一步地，重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：
Figure BDA0002860371110000051
其中，vth表示大小为0.8的阈值参数。
本发明的有益效果是：
第一、由于本发明采用步骤二与步骤三所述的光谱降维后选定通道的高光谱图像序列和光谱降维后融合通道的高光谱图像序列，克服了现有技术中同时处理所有波段的高光谱视频，计算量大，实时性差的缺点，使得本发明提高了复杂背景下高光谱图像序列中目标跟踪的速度；
第二、由于本发明采用步骤五的特征融合的方式，以及步骤九中权重系数的参数更新的方法，有效的克服了复杂背景中杂波背景的干扰，克服了现有技术中容易受到目标遮挡和形变的影响，使估计出现误差，导致跟踪发生偏移或者失败的缺点，使得本发明增强了核相关滤波分类器的稳定性，能够有效对复杂背景下高光谱图像序列中的目标实现跟踪。
附图说明
图1为本发明的高光谱目标跟踪方法流程图。
图2为本发明光谱降维后选定通道的高光谱图像序列第一帧图像示意图。
图3为本发明光谱降维后融合通道的高光谱图像序列第一帧图像示意图。
图4a为本发明高光谱图像序列中第二十帧图像基于第一个特征的弱响应图。
图4b为本发明高光谱图像序列中第二十帧图像基于第二个特征的弱响应图。
图4c为本发明高光谱图像序列中第二十帧图像基于第三个特征的弱响应图。
图4d为本发明高光谱图像序列中第二十帧图像基于第四个特征的弱响应图。
图5本发明高光谱图像序列中第二十帧图像的一个强响应图。
图6本发明高光谱图像序列中第二十帧图像中目标位置示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
本发明实施例提供一种基于联合光谱降维和特征融合的高光谱目标跟踪方法，如图1所示该方法为：
步骤1：载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
具体步骤如下：
步骤101，读入高光谱图像序列第一帧图像；
具体地，本发明实施例的高光谱图像序列具有16个通道，因此读入的第一帧图像尺寸为M×N×16，其中M×N为场景大小。
步骤102，用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的型心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；
具体地，搜索区域为预估目标可能出现的区域，由目标大小和目标移动速度决定，在本发明实施例中，综合考虑了目标的尺寸和目标可能移动速度，搜索区域选择为2倍于待跟踪目标区域面积的区域。
步骤103，设置初始化参数。
具体地，将基于第一到第四个特征的权重系数初始化为1，更新率初始化为0.98，阈值参数初始化为0.8。
步骤2：对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列；
具体通过以下步骤实现：
步骤201，载入高光谱图像序列的第一帧图像；
步骤202，按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线，|·|表示绝对值操作。
将Drj最大值所对应的光谱波段作为光谱降维后选定通道的高光谱图像序列；
具体地，如图2所示为光谱降维后选定通道的高光谱图像序列第一帧图像示意图。高光谱图像序列经过基于多维缩放的降维操作以后，通道即固定，即在16个通道中选择一个固定的通道。
步骤3、4：从高光谱图像序列的第二帧图像开始，依次载入第T帧图像作为当前帧原始图像，对当前帧原始图像进行基于主成分分析的光谱降维操作，得到光谱降维后融合通道的高光谱图像序列。
具体通过以下步骤实现：
步骤301，依次载入高光谱图像序列中第T帧图像作为当前帧原始图像；
步骤302，对当前帧原始图像进行基于主成分分析的光谱降维操作得到光谱降维后融合通道的高光谱图像序列；
具体地，利用矩阵X计算协方差矩阵C
Figure BDA0002860371110000071
Figure BDA0002860371110000072
对协方差矩阵进行奇异值分解，得到其所有的特征值λ和特征向量v。
λv＝Cv
Figure BDA0002860371110000073
对得到的特征值进行降序排序，并按照下式，利用最大特征值λm对应的特征向量vm计算得到光谱降维后融合通道的高光谱图像序列Dl。
Dl＝vm·X
如图3所示，为本发明光谱降维后融合通道的高光谱图像序列第一帧图像示意图。高光谱图像序列中的除了第一帧图像的每一帧图像都包含有16个通道，高光谱图像序列中的除了第一帧图像的每一帧图像都需要进行基于主成分分析的光谱降维。
步骤303，将光谱降维后选定通道的高光谱图像序列中的第T帧图像，与光谱降维后融合通道的高光谱图像序列中的第T帧图像，组合成当前帧图像对。
步骤5：提取当前帧图像对的SURF特征融合后作为第一个特征，然后提取当前帧图像对的三个深度特征分别融合后作为第二到第四个特征；
具体通过以下步骤实现：
步骤501，提取一对当前帧图像的SURF特征融合后作为第一个特征；
步骤502，利用VGG-19网络对一对当前帧图像提取深度特征，并将一对VGG-19网络中第三卷积组的第四层融合后作为第二个特征，第四卷积组的第四层融合后作为第三个特征，第五卷积组的第四层融合后作为第四个特征。
步骤6：利用第一到第四个特征以及核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；
具体通过以下步骤实现：
步骤601，将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
S602、按照下式，将X1进行对角化：
Figure BDA0002860371110000081
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示图像块，
Figure BDA0002860371110000082
表示x1的傅里叶变换，H(·)表示求厄米特矩阵操作；
S603、按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
Figure BDA0002860371110000083
其中，ω表示核相关滤波分类器的回归系数，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
Figure BDA0002860371110000084
表示y1的傅里叶变换；
步骤604，按照下式，将ω1映射到高维特征空间：
Figure BDA0002860371110000085
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
Figure BDA0002860371110000086
表示映射操作；
步骤605，按照下式，利用循环矩阵
Figure BDA0002860371110000087
计算α1；
Figure BDA0002860371110000088
步骤606，按照下式，计算基于第一个特征的弱响应图R1：
Figure BDA0002860371110000089
其中，z1表示基于第一个特征的目标图像区域的测试基样本；
步骤607，重复步骤(601)至(606)，计算得到基于第二到第四个特征的弱响应图R2到R4。
具体地，如图4a至图4d所示，分别为本发明高光谱图像序列中第二十帧图像四个基于第一到第四个特征的弱响应图。
步骤7：利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数：
具体为：根据公式
Figure BDA0002860371110000091
计算第一到第四个特征的权重系数wi；其中i表示特征序号，取值为1到4的整数，Rpci表示当前帧第i个特征的弱响应图的最大值，Rpai表示历史帧第i个特征的弱响应图的最大值。
步骤8：利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为目标的位置；
具体通过以下步骤实现：
步骤801，按照下式，计算强响应图Q：
Figure BDA0002860371110000092
步骤802，将Q中最大值位置作为目标的位置。
具体地，如图5所示，为本发明高光谱图像序列中第二十帧图像的一个强响应图。如图6所示，为本发明高光谱图像序列中第二十帧图像中目标位置示意图。
步骤9：对第一到第四个特征的权重系数的参数进行自适应更新，具体为：按照下式，对第一到第四个特征的权重系数的参数进行自适应更新：
Figure BDA0002860371110000093
其中，μ表示大小为0.98的更新参数。
具体地，如果当前帧的响应图峰值高于历史帧的响应图峰值，代表当前帧的特征匹配度更高，更有利于目标跟踪，则用其替换历史帧的响应图峰值；如果当前帧的响应图峰值低于历史帧的响应图峰值，则代表当前帧的匹配度降低，这不仅由目标因素导致，也可能是由背景改变所导致的，因此需要对历史帧的响应图峰值进行更新，使其更能适应当前帧的背景情况。
步骤9中还包括：重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：
Figure BDA0002860371110000094
其中，vth表示大小为0.8的阈值参数。
具体地，第四个特征为深度特征中最深层次的特征，由于深度网络的特性，其具有最大的感受野，这导致在目标发生剧烈变动时，如果背景变化不大，其仍能保持一个很大的响应峰值，会在融合的时候产生很大的影响，导致跟踪失败，因此本发明中设立一个阈值参数以减弱第四个特征在低匹配度情况下的影响力，提高其他三个特征的影响力。
由于本发明使用了权重系数参数更新的方式综合考虑了当前帧和历史帧的响应图峰值，利用更新系数调整当前帧和历史帧峰值所占比，根据步骤9中的公式，对第一到第四个特征的权重系数的参数进行自适应更新，使其更能适应当前帧图像，进而提高跟踪的准确度。
本发明采用基于特征提取和权重系数参数更新的高光谱目标跟踪方法对原始高光谱图像序列进行降维处理，然后分别融合四对特征，实现高光谱目标跟踪，可用于对复杂背景下高光谱图像序列中的目标进行有效跟踪，提高了复杂背景下高光谱图像序列中目标跟踪的速度和准确度。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.基于特征提取和权重系数参数更新的高光谱目标跟踪方法，其特征在于，包括如下步骤：
步骤一、载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
步骤二、对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作，得到光谱降维后选定通道的高光谱图像序列；
步骤三、从高光谱图像序列的第二帧图像开始，依次载入第T帧图像作为当前帧原始图像，对当前帧原始图像进行基于主成分分析的光谱降维操作，得到光谱降维后融合通道的高光谱图像序列；T为大于等于2的整数；
步骤四、将光谱降维后选定通道的高光谱图像序列中的第T帧图像，与光谱降维后融合通道的高光谱图像序列中的第T帧图像，组合成当前帧图像对；
步骤五、提取当前帧图像对的SURF特征融合后作为第一个特征，然后提取当前帧图像对的三个深度特征分别融合后，作为第二到第四个特征；
步骤六、利用第一到第四个特征以及核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；
步骤七、利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数；
步骤八、利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算，得到一个强响应图，并将强响应图中最大值位置作为目标的位置；
步骤九、对第一到第四个特征的权重系数的参数进行自适应更新；重置第四个特征的权重系数；
步骤十、判断当前帧原始图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则返回到步骤三，继续载入后续帧图像进行跟踪。
2.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤一具体通过以下步骤实现：
S101、读入高光谱图像序列第一帧图像；
S102、用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的形心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；
S103、设置初始化参数。
3.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤二通过以下步骤实现：
S201、载入高光谱图像序列的第一帧图像；
S202、按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线；
将Drj最大值所对应的光谱波段作为光谱降维后选定通道的高光谱图像序列。
4.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤五通过以下步骤实现：
S501、提取当前帧图像对的SURF特征融合后作为第一个特征；
S502、利用VGG-19网络对当前帧图像对提取深度特征，并将一对VGG-19网络中第三卷积组的第四层融合后作为第二个特征，第四卷积组的第四层融合后作为第三个特征，第五卷积组的第四层融合后作为第四个特征。
5.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤六通过以下步骤实现：
S601、将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
S602、按照下式，将X1进行对角化：
Figure FDA0002860371100000021
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示图像块，
Figure FDA0002860371100000022
表示x1的傅里叶变换，H(·)表示求厄米特矩阵操作；
S603、按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
Figure FDA0002860371100000023
其中，ω表示核相关滤波分类器的回归系数，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
Figure FDA0002860371100000024
表示y1的傅里叶变换；
S604、按照下式，将ω1映射到高维特征空间：
Figure FDA0002860371100000031
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
Figure FDA0002860371100000032
表示映射操作；
S605、按照下式，利用循环矩阵
Figure FDA0002860371100000033
计算α1：
Figure FDA0002860371100000034
S606、按照下式，计算基于第一个特征的弱响应图R1：
Figure FDA0002860371100000035
其中，z1表示基于第一个特征的目标图像区域的测试基样本；
S607、重复步骤S601至S606，计算得到基于第二到第四个特征的弱响应图R2到R4。
6.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤七具体包括：根据公式
Figure FDA0002860371100000036
计算第i个特征的权重系数wi；
其中i表示特征序号，取值为1到4的整数；Rpci表示当前帧第i个特征的弱响应图的最大值；Rpai表示历史帧第i个特征的弱响应图的最大值。
7.如权利要求6所述的高光谱目标跟踪方法，其特征在于，步骤八通过以下步骤实现：
S801、按照下式，计算强响应图Q：
Figure FDA0002860371100000037
S802、将Q中最大值位置作为目标的位置，Ri为第i个特征的弱响应图。
8.如权利要求6所述的高光谱目标跟踪方法，其特征在于，步骤九中，权重系数的参数进行自适应更新具体为：按照下式，对第一到第四个特征的权重系数的参数进行自适应更新
Figure FDA0002860371100000038
其中，μ表示大小为0.98的更新参数。
9.如权利要求8所述的高光谱目标跟踪方法，其特征在于，重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：
Figure FDA0002860371100000041
其中，vth表示大小为0.8的阈值参数。
CN202011573651.1A 2020-12-25 2020-12-25 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 Active CN112598069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011573651.1A CN112598069B (zh) 2020-12-25 2020-12-25 基于特征提取和权重系数参数更新的高光谱目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011573651.1A CN112598069B (zh) 2020-12-25 2020-12-25 基于特征提取和权重系数参数更新的高光谱目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112598069A true CN112598069A (zh) 2021-04-02
CN112598069B CN112598069B (zh) 2024-04-16

Family

ID=75202619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011573651.1A Active CN112598069B (zh) 2020-12-25 2020-12-25 基于特征提取和权重系数参数更新的高光谱目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112598069B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598708A (zh) * 2020-12-25 2021-04-02 江南大学 一种基于四特征融合和权重系数的高光谱目标跟踪方法
CN115063449A (zh) * 2022-07-06 2022-09-16 西北工业大学 用于目标跟踪的面向高光谱视频的三通道视频输出方法
CN115345909A (zh) * 2022-10-18 2022-11-15 无锡学院 基于深度空间光谱卷积融合特征的高光谱目标跟踪方法
CN116228524A (zh) * 2023-02-14 2023-06-06 无锡学院 基于光谱差异的高光谱图像序列降维方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088264A1 (en) * 2004-03-06 2005-09-22 Plain Sight Systems, Inc. Hyper-spectral imaging methods and devices
US7652765B1 (en) * 2004-03-06 2010-01-26 Plain Sight Systems, Inc. Hyper-spectral imaging methods and devices
CN110276782A (zh) * 2018-07-09 2019-09-24 西北工业大学 一种结合空谱特征和相关滤波的高光谱目标跟踪方法
CN112598711A (zh) * 2020-12-25 2021-04-02 南京信息工程大学滨江学院 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法
CN112598708A (zh) * 2020-12-25 2021-04-02 江南大学 一种基于四特征融合和权重系数的高光谱目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088264A1 (en) * 2004-03-06 2005-09-22 Plain Sight Systems, Inc. Hyper-spectral imaging methods and devices
US7652765B1 (en) * 2004-03-06 2010-01-26 Plain Sight Systems, Inc. Hyper-spectral imaging methods and devices
CN110276782A (zh) * 2018-07-09 2019-09-24 西北工业大学 一种结合空谱特征和相关滤波的高光谱目标跟踪方法
CN112598711A (zh) * 2020-12-25 2021-04-02 南京信息工程大学滨江学院 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法
CN112598708A (zh) * 2020-12-25 2021-04-02 江南大学 一种基于四特征融合和权重系数的高光谱目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭艺;陈莉;雍俊海;: "大规模、时变数据的体绘制与特征追踪", 计算机辅助设计与图形学学报, no. 11, 15 November 2013 (2013-11-15) *
董春燕;刘怀;梁秦嘉;梁磊;: "自适应特征融合的核相关滤波目标跟踪算法研究", 南京师范大学学报(工程技术版), no. 03, 20 September 2020 (2020-09-20) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598708A (zh) * 2020-12-25 2021-04-02 江南大学 一种基于四特征融合和权重系数的高光谱目标跟踪方法
CN115063449A (zh) * 2022-07-06 2022-09-16 西北工业大学 用于目标跟踪的面向高光谱视频的三通道视频输出方法
CN115345909A (zh) * 2022-10-18 2022-11-15 无锡学院 基于深度空间光谱卷积融合特征的高光谱目标跟踪方法
CN116228524A (zh) * 2023-02-14 2023-06-06 无锡学院 基于光谱差异的高光谱图像序列降维方法
CN116228524B (zh) * 2023-02-14 2023-12-22 无锡学院 基于光谱差异的高光谱图像序列降维方法

Also Published As

Publication number Publication date
CN112598069B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN112598069B (zh) 基于特征提取和权重系数参数更新的高光谱目标跟踪方法
CN112598711B (zh) 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法
CN109671029B (zh) 基于伽马范数最小化的图像去噪方法
CN108389188B (zh) 一种稀疏高光谱异常目标检测方法
CN103533214B (zh) 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法
CN107680116B (zh) 一种监测视频图像中运动目标的方法
CN111369487B (zh) 一种高光谱和多光谱图像融合方法、系统及介质
CN105931264B (zh) 一种海面红外小目标检测方法
CN110210282B (zh) 一种基于非凸低秩稀疏分解的运动目标检测方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN112598708A (zh) 一种基于四特征融合和权重系数的高光谱目标跟踪方法
CN104008533B (zh) 基于分块自适应特征跟踪的多传感器图像融合方法
CN107085835B (zh) 基于四元数加权核范数最小的彩色图像去噪方法
CN110135344B (zh) 基于加权固定秩表示的红外弱小目标检测方法
CN111783583B (zh) 基于非局部均值算法的sar图像相干斑抑制方法
CN110276784B (zh) 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法
CN105787892A (zh) 一种基于机器学习的蒙特卡洛噪声去除方法
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及系统
CN115359258B (zh) 一种成分不确定度测量的弱小目标检测方法及系统
CN114758226B (zh) 两阶段决策引导双字典构建的高光谱图像异常检测方法
CN114005044B (zh) 基于超像素和渐进式低秩表示的高光谱图像异常检测方法
CN115100068A (zh) 一种红外图像校正方法
Abas et al. Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms
CN109785372A (zh) 基于软决策优化的基础矩阵鲁棒估计方法
CN111461999B (zh) 一种基于超像素相似性测量的sar图像相干斑抑制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant