CN112598711A - 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 - Google Patents
一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 Download PDFInfo
- Publication number
- CN112598711A CN112598711A CN202011573891.1A CN202011573891A CN112598711A CN 112598711 A CN112598711 A CN 112598711A CN 202011573891 A CN202011573891 A CN 202011573891A CN 112598711 A CN112598711 A CN 112598711A
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- target
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001228 spectrum Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 65
- 238000000513 principal component analysis Methods 0.000 claims abstract description 8
- 230000003595 spectral effect Effects 0.000 claims description 30
- 230000001419 dependent effect Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于联合光谱降维和特征融合的高光谱目标跟踪方法，首先利用基于多维缩放和主成分分析的联合光谱降维方法对原始高光谱图像序列进行降维处理；然后分别提取降维处理后得到的图像序列的四对特征，将四对特征进行融合；并将融合后的特征送入核相关滤波器，得到四个基于第一到第四个特征的弱响应图；并利用权重系数对弱响应图进行加权得到强响应图；将强响应图中最大值位置作为目标的位置；并对基样本和权重系数的参数进行自适应更新。本发明克服了现有技术中计算量大，实时性差的缺点，使得本发明提高了复杂背景下高光谱图像序列中目标跟踪的速度，并且当目标出现形变和遮挡时有较好跟踪效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于联合光谱降维和特征融合的高光谱目标跟踪方法。
背景技术
复杂背景下高光谱图像序列中的目标跟踪是高光谱图像处理技术领域重要组成部分，它在高光谱异常检测、高光谱目标检测与跟踪系统、高光谱遥感系统等许多系统中都有非常广泛的实际应用。近几年，基于改进核相关滤波的目标跟踪方法广泛应用在计算机视觉领域。核相关滤波算法利用基样本灰度特征进行跟踪，但是高光谱目标灰度特征不足以区分出复杂背景和背景中的目标。
现有的目标跟踪方法中，通过提取目标搜索区域内的光谱特征，训练光谱相关滤波器Spe-CF，根据前一帧目标位置选择目标搜索区域，进而利用训练好的光谱相关滤波器Spe-CF预估目标位置范围，规定相关响应值大于一定阈值即为目标位置范围，根据空间相关滤波器Spa-CF确定目标最终位置。该方法存在的不足之处是：该方法同时处理所有波段的高光谱视频，并利用光谱相关滤波器Spe-CF和空间相关滤波器Spa-CF对目标位置进行预估和确定时，需要预先训练滤波器，计算量较大，实时性差，并且当目标出现遮挡和形变以后，容易跟踪发生失败。
目前还存在搭建并训练深度卷积网络作为特征编码器，提高跟踪性能。然后只向前传递ROI并将整个ROI投影到ROI响应图，然后估计出目标位置。该方法存在的不足之处是：需要搭建目标样本库来训练深度卷积网络，计算量较大，并且该算法容易受到目标遮挡和形变的影响，使估计出现误差，导致跟踪发生偏移。
发明内容
本发明针对现有技术中的不足，提供一种基于联合光谱降维和特征融合的高光谱目标跟踪方法，首先利用基于多维缩放和主成分分析的联合光谱降维方法对原始高光谱图像序列进行降维处理，然后分别提取降维处理后得到的图像序列的四对特征，将得到的四对特征进行融合，然后将融合后的特征送入核相关滤波器，并首次提出实用弱响应图的权重系数对响应图进行加权得到强响应图，并对基样本进行和权重系数相关的自适应更新，实现复杂背景下高光谱图像序列中目标的有效跟踪。
为实现上述目的，本发明采用以下技术方案：一种基于联合光谱降维和特征融合的高光谱目标跟踪方法，包括如下步骤：
步骤一、载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
步骤二、对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作，得到光谱降维后选定通道的高光谱图像序列；
步骤三、从高光谱图像序列的第二帧图像开始，依次载入第T帧图像作为当前帧原始图像，对当前帧原始图像进行基于主成分分析的光谱降维操作，得到光谱降维后融合通道的高光谱图像序列；T为大于等于2的整数；
步骤四、将光谱降维后选定通道的高光谱图像序列中的第T帧图像，与光谱降维后融合通道的高光谱图像序列中的第T帧图像，组合成当前帧图像对；
步骤五、提取当前帧图像对的SIFT特征融合后作为第一个特征，然后提取当前帧图像对的三个深度特征分别融合后，作为第二到第四个特征；
步骤六、利用第一到第四个特征以及基于基样本更新的核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；
步骤七、利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数；
步骤八、利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算，得到一个强响应图，并将强响应图中最大值位置作为目标的位置；
步骤九、对第一到第四个特征的权重系数的参数进行自适应更新；重置第四个特征的权重系数；
步骤十、第四个特征的权重系数重置后，利用第一到第四个特征的权重系数对基样本更新；
步骤十一、判断当前帧原始图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则返回到步骤三，继续载入后续帧图像进行跟踪。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤一具体通过以下步骤实现：
S101、读入高光谱图像序列第一帧图像；
S102、用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的形心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；
S103、设置初始化参数。
进一步地，步骤二通过以下步骤实现：
S201、载入高光谱图像序列的第一帧图像；
S202、按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线；
将Drj最大值所对应的光谱波段作为光谱降维后选定通道的高光谱图像序列。
进一步地，步骤五通过以下步骤实现：
S501、提取当前帧图像对的SIFT特征融合后作为第一个特征；
S502、利用VGG-19网络对当前帧图像对提取深度特征，并将一对VGG-19网络中第三卷积组的第四层融合后作为第二个特征，第四卷积组的第四层融合后作为第三个特征，第五卷积组的第四层融合后作为第四个特征。
进一步地，步骤六通过以下步骤实现：
S601、将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
S602、按照下式，将X1进行对角化：
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示图像块，
表示x1的傅里叶变换，H(·)表示求厄米特矩阵操作；
S603、按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
其中，ω表示核相关滤波分类器的回归系数，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
表示y1的傅里叶变换；
S604、按照下式，将ω1映射到高维特征空间：
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
表示映射操作；
S605、按照下式，利用循环矩阵
计算α1：
S606、按照下式，计算基于第一个特征的弱响应图R1：
其中，z1表示基于第一个特征的目标图像区域的测试基样本；
S607、重复步骤S601至S606，计算得到基于第二到第四个特征的弱响应图R2到R4。
进一步地，步骤七具体包括：根据公式
计算第i个特征的权重系数wi；
其中i表示特征序号，取值为1到4的整数；Rpci表示当前帧第i个特征的弱响应图的最大值；Rpai表示历史帧第i个特征的弱响应图的最大值。
进一步地，步骤八通过以下步骤实现：
S801、按照下式，计算强响应图Q：
S802、将Q中最大值位置作为目标的位置，Ri为第i个特征的弱响应图。
进一步地，步骤九中，权重系数的参数进行自适应更新具体为：按照下式，对第一到第四个特征的权重系数的参数进行自适应更新
其中，μ表示大小为0.98的更新参数。
进一步地，重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：
其中，vth表示大小为0.8的阈值参数。
进一步地，步骤十中，利用第一到第四个特征的权重系数对基样本更新，具体为：按照下式，更新α和z：
其中，αi表示更新后的基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示当前帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示历史帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，zi表示更新后的基于第i个特征的目标图像区域的测试基样本，
表示当前帧图像中基于第i个特征的目标图像区域的测试基样本，
表示历史帧图像中基于第i个特征的目标图像区域的测试基样本。
本发明的有益效果是：
第一、由于本发明采用步骤二与步骤三所述的光谱降维后选定通道的高光谱图像序列和光谱降维后融合通道的高光谱图像序列，克服了现有技术中同时处理所有波段的高光谱视频，计算量大，实时性差的缺点，使得本发明提高了复杂背景下高光谱图像序列中目标跟踪的速度；
第二、由于本发明采用步骤五的特征融合的方式，及利用对核相关滤波分类器的参数和基样本进行更新，相较于传统固定权值更新方法，本发明可在目标受损严重时减少更新量，如遮挡或背景杂波较强时，有效的克服了复杂背景中杂波背景的干扰；在目标准确明晰时增加更新量，从而使本发明能更准确地完整对目标特征的估计，进而提高跟踪的准确度。
附图说明
图1是本发明的高光谱目标跟踪方法流程图。
图2为本发明光谱降维后选定通道的高光谱图像序列第一帧图像示意图。
图3为本发明光谱降维后融合通道的高光谱图像序列第一帧图像示意图。
图4a为本发明高光谱图像序列中第十帧图像基于第一个特征的弱响应图。
图4b为本发明高光谱图像序列中第十帧图像基于第二个特征的弱响应图。
图4c为本发明高光谱图像序列中第十帧图像基于第三个特征的弱响应图。
图4d为本发明高光谱图像序列中第十帧图像基于第四个特征的弱响应图。
图5为本发明高光谱图像序列中第十帧图像的一个强响应图。
图6为本发明高光谱图像序列中第十帧图像中目标位置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。现在结合附图对本发明作进一步详细的说明。
本发明实施例提供一种基于联合光谱降维和特征融合的高光谱目标跟踪方法，如图1所示该方法为：
步骤1：载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
具体步骤如下：
步骤101，读入高光谱图像序列第一帧图像；
具体地，本发明实施例的高光谱图像序列具有16个通道，因此读入的第一帧图像尺寸为M×N×16，其中M×N为场景大小。
步骤102，用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的型心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；
具体地，搜索区域为预估目标可能出现的区域，由目标大小和目标移动速度决定，在本发明实施例中，综合考虑了目标的尺寸和目标可能移动速度，搜索区域选择为2倍于待跟踪目标区域面积的区域。
步骤103，设置初始化参数。
具体地，将基于第一到第四个特征的权重系数初始化为1，更新率初始化为0.98，阈值参数初始化为0.8。
步骤2：对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列；
具体通过以下步骤实现：
步骤201，载入高光谱图像序列的第一帧图像；
步骤202，按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线，|·|表示绝对值操作。
将Dj最大值所对应的光谱波段作为光谱降维后选定通道的高光谱图像序列；
具体地，如图2所示为光谱降维后选定通道的高光谱图像序列第一帧图像示意图。高光谱图像序列经过基于多维缩放的降维操作以后，通道即固定，即在16个通道中选择一个固定的通道。
步骤3、4：从高光谱图像序列的第二帧图像开始，依次载入第T帧图像作为当前帧原始图像，对当前帧原始图像进行基于主成分分析的光谱降维操作，得到光谱降维后融合通道的高光谱图像序列。
具体通过以下步骤实现：
步骤301，依次载入高光谱图像序列中第T帧图像作为当前帧原始图像；
步骤302，对当前帧原始图像进行基于主成分分析的光谱降维操作得到光谱降维后融合通道的高光谱图像序列；
具体地，利用矩阵X计算协方差矩阵C
对协方差矩阵进行奇异值分解，得到其所有的特征值λ和特征向量v。
λv＝Cv
对得到的特征值进行降序排序，并按照下式，利用最大特征值λm对应的特征向量vm计算得到光谱降维后融合通道的高光谱图像序列Dl。
Dl＝vm·X
如图3所示，为本发明光谱降维后融合通道的高光谱图像序列第一帧图像示意图。高光谱图像序列中的除了第一帧图像的每一帧图像都包含有16个通道，高光谱图像序列中的除了第一帧图像的每一帧图像都需要进行基于主成分分析的光谱降维。
步骤303，将光谱降维后选定通道的高光谱图像序列中的第T帧图像，与光谱降维后融合通道的高光谱图像序列中的第T帧图像，组合成当前帧图像对。
步骤5：提取当前帧图像对的SIFT特征融合后作为第一个特征，然后提取当前帧图像对的三个深度特征分别融合后作为第二到第四个特征；
具体通过以下步骤实现：
步骤501，提取一对当前帧图像的SIFT特征融合后作为第一个特征；
步骤502，利用VGG-19网络对一对当前帧图像提取深度特征，并将一对VGG-19网络中第三卷积组的第四层融合后作为第二个特征，第四卷积组的第四层融合后作为第三个特征，第五卷积组的第四层融合后作为第四个特征。
步骤6：利用第一到第四个特征以及基于基样本更新的核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；
具体通过以下步骤实现：
步骤601，将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
S602、按照下式，将X1进行对角化：
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示图像块，
表示x1的傅里叶变换，H(·)表示求厄米特矩阵操作；
S603、按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
其中，ω表示核相关滤波分类器的回归系数，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
表示y1的傅里叶变换；
步骤604，按照下式，将ω1映射到高维特征空间：
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
表示映射操作；
步骤605，按照下式，利用循环矩阵
计算α1；
步骤606，按照下式，计算基于第一个特征的弱响应图R1：
其中，z1表示基于第一个特征的目标图像区域的测试基样本；
步骤607，重复步骤(601)至(606)，计算得到基于第二到第四个特征的弱响应图R2到R4。
具体地，如图4a至图4d所示，为本发明高光谱图像序列中第十帧图像四个基于第一到第四个特征的弱响应图。
步骤7：利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数：
具体为：根据公式
计算第一到第四个特征的权重系数wi；其中i表示特征序号，取值为1到4的整数，Rpci表示当前帧第i个特征的弱响应图的最大值，Rpai表示历史帧第i个特征的弱响应图的最大值。
步骤8：利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为目标的位置；
具体通过以下步骤实现：
步骤801，按照下式，计算强响应图Q：
步骤802，将Q中最大值位置作为目标的位置。
具体地，如图5所示，为本发明高光谱图像序列中第十帧图像的一个强响应图。如图6所示，为本发明高光谱图像序列中第十帧图像中目标位置示意图。
步骤9：对第一到第四个特征的权重系数的参数进行自适应更新，具体为：按照下式，对第一到第四个特征的权重系数的参数进行自适应更新：
其中，μ表示大小为0.98的更新参数。
具体地，如果当前帧的响应图峰值高于历史帧的响应图峰值，代表当前帧的特征匹配度更高，更有利于目标跟踪，则用其替换历史帧的响应图峰值；如果当前帧的响应图峰值低于历史帧的响应图峰值，则代表当前帧的匹配度降低，这不仅由目标因素导致，也可能是由背景改变所导致的，因此需要对历史帧的响应图峰值进行更新，使其更能适应当前帧的背景情况。
步骤9中还包括：重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：
其中，vth表示大小为0.8的阈值参数。
具体地，第四个特征为深度特征中最深层次的特征，由于深度网络的特性，其具有最大的感受野，这导致在目标发生剧烈变动时，如果背景变化不大，其仍能保持一个很大的响应峰值，会在融合的时候产生很大的影响，导致跟踪失败，因此本发明中设立一个阈值参数以减弱第四个特征在低匹配度情况下的影响力，提高其他三个特征的影响力。
步骤10：利用第一到第四个特征的权重系数对基样本更新，具体为：按照下式，更新α和z：
其中，αi表示更新后的基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示当前帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示历史帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，zi表示更新后的基于第i个特征的目标图像区域的测试基样本，
表示当前帧图像中基于第i个特征的目标图像区域的测试基样本，
表示历史帧图像中基于第i个特征的目标图像区域的测试基样本。
具体地，随着背景及目标的变化，每一帧图像跟踪到的目标无法准确描述目标的全部特征，利用对核相关滤波分类器的参数和基样本进行更新，相较于传统固定权值更新方法，本发明可在目标受损严重时减少更新量，例如遮挡或背景杂波较强时，在目标准确明晰时增加更新量，从而使本发明能更准确地完整对目标特征的估计，进而提高跟踪的准确度。
本发明采用基于多维缩放和主成分分析相联合的光谱降维方法对原始高光谱图像序列进行降维处理，然后分别融合四对特征，实现高光谱目标跟踪，可用于对复杂背景下高光谱图像序列中的目标进行有效跟踪，提高了复杂背景下高光谱图像序列中目标跟踪的速度和准确度。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (10)
1.一种基于联合光谱降维和特征融合的高光谱目标跟踪方法，其特征在于，包括如下步骤：
步骤一、载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
步骤二、对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作，得到光谱降维后选定通道的高光谱图像序列；
步骤三、从高光谱图像序列的第二帧图像开始，依次载入第T帧图像作为当前帧原始图像，对当前帧原始图像进行基于主成分分析的光谱降维操作，得到光谱降维后融合通道的高光谱图像序列；T为大于等于2的整数；
步骤四、将光谱降维后选定通道的高光谱图像序列中的第T帧图像，与光谱降维后融合通道的高光谱图像序列中的第T帧图像，组合成当前帧图像对；
步骤五、提取当前帧图像对的SIFT特征融合后作为第一个特征，然后提取当前帧图像对的三个深度特征分别融合后，作为第二到第四个特征；
步骤六、利用第一到第四个特征以及基于基样本更新的核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；
步骤七、利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数；
步骤八、利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算，得到一个强响应图，并将强响应图中最大值位置作为目标的位置；
步骤九、对第一到第四个特征的权重系数的参数进行自适应更新；重置第四个特征的权重系数；
步骤十、第四个特征的权重系数重置后，利用第一到第四个特征的权重系数对基样本更新；
步骤十一、判断当前帧原始图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则返回到步骤三，继续载入后续帧图像进行跟踪。
2.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤一具体通过以下步骤实现：
S101、读入高光谱图像序列第一帧图像；
S102、用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的形心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；
S103、设置初始化参数。
3.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤二通过以下步骤实现：
S201、载入高光谱图像序列的第一帧图像；
S202、按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线；
将Drj最大值所对应的光谱波段作为光谱降维后选定通道的高光谱图像序列。
4.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤五通过以下步骤实现：
S501、提取当前帧图像对的SIFT特征融合后作为第一个特征；
S502、利用VGG-19网络对当前帧图像对提取深度特征，并将一对VGG-19网络中第三卷积组的第四层融合后作为第二个特征，第四卷积组的第四层融合后作为第三个特征，第五卷积组的第四层融合后作为第四个特征。
5.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤六通过以下步骤实现：
S601、将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
S602、按照下式，将X1进行对角化：
其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示图像块，
表示x1的傅里叶变换，H(·)表示求厄米特矩阵操作；
S603、按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：
其中，ω表示核相关滤波分类器的回归系数，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，
表示y1的傅里叶变换；
S604、按照下式，将ω1映射到高维特征空间：
其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，
表示映射操作；
S605、按照下式，利用循环矩阵
计算α1；
S606、按照下式，计算基于第一个特征的弱响应图R1：
其中，z1表示基于第一个特征的目标图像区域的测试基样本；
S607、重复步骤S601至S606，计算得到基于第二到第四个特征的弱响应图R2到R4。
6.如权利要求1所述的高光谱目标跟踪方法，其特征在于，步骤七具体包括：根据公式
计算第i个特征的权重系数wi；
其中i表示特征序号，取值为1到4的整数；Rpci表示当前帧第i个特征的弱响应图的最大值；Rpai表示历史帧第i个特征的弱响应图的最大值。
7.如权利要求6所述的高光谱目标跟踪方法，其特征在于，步骤八通过以下步骤实现：
S801、按照下式，计算强响应图Q：
S802、将Q中最大值位置作为目标的位置，Ri为第i个特征的弱响应图。
8.如权利要求6所述的高光谱目标跟踪方法，其特征在于，步骤九中，权重系数的参数进行自适应更新具体为：按照下式，对第一到第四个特征的权重系数的参数进行自适应更新
其中，μ表示大小为0.98的更新参数。
9.如权利要求8所述的高光谱目标跟踪方法，其特征在于，重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：
其中，vth表示大小为0.8的阈值参数。
10.如权利要求8所述的高光谱目标跟踪方法，其特征在于，步骤十中，利用第一到第四个特征的权重系数对基样本更新，具体为：按照下式，更新α和z：
其中，αi表示更新后的基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示当前帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，
表示历史帧图像中基于第i个特征的目标图像区域的核相关滤波分类器的参数，zi表示更新后的基于第i个特征的目标图像区域的测试基样本，
表示当前帧图像中基于第i个特征的目标图像区域的测试基样本，
表示历史帧图像中基于第i个特征的目标图像区域的测试基样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573891.1A CN112598711B (zh) | 2020-12-25 | 2020-12-25 | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573891.1A CN112598711B (zh) | 2020-12-25 | 2020-12-25 | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112598711A true CN112598711A (zh) | 2021-04-02 |
| CN112598711B CN112598711B (zh) | 2022-12-20 |
Family
ID=75203580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011573891.1A Active CN112598711B (zh) | 2020-12-25 | 2020-12-25 | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598711B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598069A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
| CN116228524A (zh) * | 2023-02-14 | 2023-06-06 | 无锡学院 | 基于光谱差异的高光谱图像序列降维方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160212411A1 (en) * | 2015-01-20 | 2016-07-21 | Qualcomm Incorporated | Method and apparatus for multiple technology depth map acquisition and fusion |
| CN107316316A (zh) * | 2017-05-19 | 2017-11-03 | 南京理工大学 | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 |
| CN111126421A (zh) * | 2018-10-31 | 2020-05-08 | 浙江宇视科技有限公司 | 目标检测方法、装置及可读存储介质 |
| CN111191736A (zh) * | 2020-01-05 | 2020-05-22 | 西安电子科技大学 | 基于深度特征交叉融合的高光谱图像分类方法 |
-
2020
- 2020-12-25 CN CN202011573891.1A patent/CN112598711B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160212411A1 (en) * | 2015-01-20 | 2016-07-21 | Qualcomm Incorporated | Method and apparatus for multiple technology depth map acquisition and fusion |
| CN107316316A (zh) * | 2017-05-19 | 2017-11-03 | 南京理工大学 | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 |
| CN111126421A (zh) * | 2018-10-31 | 2020-05-08 | 浙江宇视科技有限公司 | 目标检测方法、装置及可读存储介质 |
| CN111191736A (zh) * | 2020-01-05 | 2020-05-22 | 西安电子科技大学 | 基于深度特征交叉融合的高光谱图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| KUN QIAN ET AL.: "Object Tracking in Hyperspectral Videos with Convolutional Features and Kernelized Correlation Filter", 《ARXIV》 * |
| 魏冬梅等: "联合空谱信息和Gabor特征的高光谱人脸识别算法", 《北京理工大学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598069A (zh) * | 2020-12-25 | 2021-04-02 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
| CN112598069B (zh) * | 2020-12-25 | 2024-04-16 | 南京信息工程大学滨江学院 | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 |
| CN116228524A (zh) * | 2023-02-14 | 2023-06-06 | 无锡学院 | 基于光谱差异的高光谱图像序列降维方法 |
| CN116228524B (zh) * | 2023-02-14 | 2023-12-22 | 无锡学院 | 基于光谱差异的高光谱图像序列降维方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112598711B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112598069B (zh) | 基于特征提取和权重系数参数更新的高光谱目标跟踪方法 | |
| CN107424177B (zh) | 基于连续相关滤波器的定位修正长程跟踪方法 | |
| CN107680116B (zh) | 一种监测视频图像中运动目标的方法 | |
| CN109671029B (zh) | 基于伽马范数最小化的图像去噪方法 | |
| CN108389188B (zh) | 一种稀疏高光谱异常目标检测方法 | |
| CN110287819B (zh) | 动态背景下基于低秩及稀疏分解的动目标检测方法 | |
| CN109671030B (zh) | 一种基于自适应秩估计黎曼流形优化的图像补全方法 | |
| CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
| CN112598711B (zh) | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 | |
| CN109308713B (zh) | 一种基于前视声纳的改进核相关滤波水下目标跟踪方法 | |
| CN112598708A (zh) | 一种基于四特征融合和权重系数的高光谱目标跟踪方法 | |
| CN109190511B (zh) | 基于局部与结构约束低秩表示的高光谱分类方法 | |
| CN111783583B (zh) | 基于非局部均值算法的sar图像相干斑抑制方法 | |
| CN104732566B (zh) | 基于非分离稀疏先验的高光谱图像压缩感知方法 | |
| CN110276784B (zh) | 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法 | |
| CN111046800A (zh) | 一种基于低秩与稀疏分解的高光谱图像异常目标检测方法 | |
| CN113344973A (zh) | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 | |
| CN115359258B (zh) | 一种成分不确定度测量的弱小目标检测方法及系统 | |
| CN110827262A (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN113962281A (zh) | 基于Siamese-RFB的无人机目标跟踪方法 | |
| CN115147456A (zh) | 一种基于时序自适应卷积与注意力机制的目标跟踪方法 | |
| Abas et al. | Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms | |
| CN112766340B (zh) | 基于自适应空间模式的深度胶囊网络图像分类方法及系统 | |
| CN111461999A (zh) | 一种基于超像素相似性测量的sar图像相干斑抑制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No.333 Xishan Avenue, Wuxi City, Jiangsu Province Patentee after: Wuxi University Address before: No.333 Xishan Avenue, Wuxi City, Jiangsu Province Patentee before: Binjiang College of Nanjing University of Information Engineering |
|
| CP01 | Change in the name or title of a patent holder | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230828 Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province Patentee before: Dragon totem Technology (Hefei) Co.,Ltd. Effective date of registration: 20230828 Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province Patentee after: Dragon totem Technology (Hefei) Co.,Ltd. Address before: No.333 Xishan Avenue, Wuxi City, Jiangsu Province Patentee before: Wuxi University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231031 Address after: 710000 Room 312, South 2 Building, 17 Information Avenue, New Industrial Park, Xi'an High-tech Zone, Shaanxi Province Patentee after: XI'AN ZHONGKE INTEL SPECTRUM TECHNOLOGY CO.,LTD. Address before: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee before: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |