CN109389137A - 一种基于光谱特征的视觉追踪方法 - Google Patents

一种基于光谱特征的视觉追踪方法 Download PDF

Info

Publication number
CN109389137A
CN109389137A CN201710670378.6A CN201710670378A CN109389137A CN 109389137 A CN109389137 A CN 109389137A CN 201710670378 A CN201710670378 A CN 201710670378A CN 109389137 A CN109389137 A CN 109389137A
Authority
CN
China
Prior art keywords
target
tracker
frame
spectrum
spectral signature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710670378.6A
Other languages
English (en)
Other versions
CN109389137B (zh
Inventor
曹汛
赵远远
朱维新
陈林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201710670378.6A priority Critical patent/CN109389137B/zh
Publication of CN109389137A publication Critical patent/CN109389137A/zh
Application granted granted Critical
Publication of CN109389137B publication Critical patent/CN109389137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于光谱特征的视觉追踪方法。具体步骤如下：(1)输入第一帧图像及其对应的光谱数据信息到CSK追踪器中；(2)在频域范围内求解系数；(3)进行检测之前对图像块进行加窗预处理；(4)提取目标的光谱特征；(5)简化光谱维特征；(6)将降维后的光谱维特征输入到CSK追踪器中进行训练；(7)将后续图像帧中的图像块输入到追踪器中，检测输出分值，找到使输出分值最大的位置即目标所在的位置；(8)利用当前检测帧的光谱特征重新训练跟踪器，更新追踪器的参数后，重复步骤(7)对后续图像帧继续检测。利用本方法无论是在帧率上还是追踪准确程度上均能取得比较好的效果，可以有效应对由于遮挡和光照变化带来的挑战。

Description

一种基于光谱特征的视觉追踪方法
技术领域
本发明涉及计算摄像学领域，尤其涉及一种基于光谱特征的视觉追踪方法。
背景技术
基于图像序列的目标追踪是计算摄像领域一个具有挑战性的问题，被广泛应用于安防监控、军事识别、交通管理、人机交互、航天航空等。现有的先进视觉追踪器一般基于纹理、形状、颜色等信息来对目标进行检测和追踪。其中，基于颜色的复杂追踪问题在于：其颜色特征应具有高的判别力及一定程度的光度不变性，具有限制性。
光谱反映物质的光学辐射，揭示物质的本质属性，可以作为物质的判别依据，具有丰富的细节特征，比传统成像包含更多的信息。传统的视觉追踪器忽略了物体的光谱维度上的丰富信息，因此很难对追踪物体进行精确地检测和追踪，缺少鲁棒性。由于光谱不是红绿蓝三通道的简单线性变换，而是物体本质属性的展现，因此可以在背景和目标颜色很相似的情况下，在光谱维度区别颜色相似的不同物质和材料，提高目标识别的准确率。如果在视觉追踪中融入光谱信息会大大提高追踪器的性能和效果。
但是，鉴于光谱数据量很大，利用光谱信息训练跟踪器的时候会包含很多冗余信息。因此，如何有效利用光谱信息、提取目标特征的主成分，并融入到追踪器中是当前的一个研究方向。
发明内容
针对以上现有追踪方法中存在的缺陷，本发明的目的在于提出一种基于光谱特征的视觉追踪方法。
为达上述目的，本发明采用的技术方案如下：
一种基于光谱特征的视觉追踪方法，包括如下步骤：
步骤1，将视频帧的第一帧图像及其对应的光谱数据信息输入到CSK追踪器中，训练一个核化最小二乘分类器，充分利用循环矩阵结构特性，提升在后续图像帧中按块寻找目标的速度；其中，最小二乘分类器通过最小化代价函数得到特征向量的权值w；
步骤2，根据得到的权值w，在频域范围内求解参数c(m,n)，其中，(m,n)表示上一帧目标中心点的偏移位置；
步骤3，进行检测之前，对图像块进行加窗预处理；
步骤4，根据第一帧图像对光谱数据进行处理：分析和比较目标与背景在光谱维度的特征差异，找寻到目标的光谱维特征；
步骤5，采用主成分分析法对步骤4的光谱维特征进行降维映射，以降低数据的冗余；
步骤6，将步骤5中降维后的光谱维特征输入到CSK追踪器中进行训练，并通过下式得到频域的追踪器参数C：
其中，F{c}是指对参数c(m,n)进行傅里叶变换；y是索引图像块的循环移位量xm,n的标记，xm,n∈{0,1...,M-1}×{0,1...,N-1}，M×N指目标图像块的大小；Y是标记y的频域表示；I是指单位阵；λ是正则化参数；表示第一帧图像中偏移位置(m,n)处的特征向量；
步骤7，训练完成之后，对后续图像序列进行检测，将后续图像帧中的图像块zm,n输入到步骤6得到的追踪器中，检测输出分值分值的计算公式为：
其中，是指目标的近似位置，由当前检测帧的前一帧决定，是指对核函数进行傅里叶变换，F-1指傅里叶反变换；
找到使输出分值最大的位置，即目标所在的位置；
步骤8，利用当前检测帧的光谱特征重新训练跟踪器，更新追踪器的权值w和参数c(m,n)；更新完毕后，重复步骤7继续对后续图像帧进行检测，直到图像序列检测完毕。
本发明在基于检测的追踪框架上，结合实时追踪的要求，采用CSK(CirculantStructure of Tracking-by-detection with Kernels)追踪器学习目标的光谱特征，且可以核化学习光谱的高维特征。同时，本发明采用主成分分析法能有效减少数据量，对目标实现快速检测追踪。相比现有技术，利用本方法无论是在帧率上还是追踪准确程度上均能取得比较好的效果，可以有效应对由于遮挡和光照变化带来的挑战。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
参照图1，本实施例的一种基于光谱特征的视觉追踪方法，具体步骤如下：
步骤1，将视频帧的第一帧图像及其对应的光谱数据信息输入到CSK追踪器中，训练一个核化最小二乘分类器，充分利用循环矩阵结构特性，提升在后续图像帧中按块寻找目标的速度。
最小二乘分类器通过最小化代价函数(1)得到特征向量的权值w
其中，<,>是指两个向量的内积，xm,n∈{0,1...,M-1}×{0,1...,N-1}指索引图像块的循环位移量，(m,n)表示上一帧目标中心点的偏移位置，M×N指目标图像块的大小，φ是核函数k到希尔伯特特征空间的映射，核函数k要求具有线性移不变性，这里选取支持向量机分类中最常用的高斯径向基核函数，可以大大提高运算速度，即<φ(f),φ(g)>＝k(f,g)，(f,g)表示输入空间的坐标位置，φ()是映射函数。y(m,n)是第一帧图像中的标注值，λ是非负正则化参数。
高斯径向基核函数k(f,g)的定义如下：
其中，||f-g||2 2可以看做两个特征向量的平方欧几里距离，σ是一个自有参数。
步骤2，根据得到的权值w，由公式(3)计算系数c(m,n)
因为核函数k具有线性移不变特性，方便将其变换到频域范围内求解，减少计算繁琐程度；
这里，F{c}是指对系数c(m,n)进行傅里叶变换；Y是标注值y的频域表示；I是指单位阵；表示第一帧图像中偏移位置(m,n)处的特征向量。
步骤3，进行检测之前，对图像块进行加窗预处理，这样可以在傅里叶变换的时候减少高频噪声，又尽可能保留图像的细节。本实施例中，采用对图像块增加汉宁窗处理。
步骤4，提取目标的光谱特征，光谱维特征的选择直接影响了视觉追踪器性能的好坏。根据第一帧图像对光谱数据进行预处理：分析和比较目标与背景在光谱维度的特征差异，找寻到目标的光谱维特征；具体过程如下：
步骤41，将任一空间点的光谱维单独提取出来，可以看成是一个N维向量t(p,q)＝(x1,x2,,,xN)，其中，(p,q)指第一帧图像中目标的空间坐标位置，N是光谱通道数；求出目标区域的平均光谱数据同时提取背景区域的平均光谱数据然后分别求取背景区域的平均光谱数据与目标区域的平均光谱数据的一维梯度信息，也即光谱信息的细节变化；
步骤42，利用交叉相关系数R对背景的平均光谱数据和目标的平均光谱数据梯度之间进行聚类分析，从而提取出使相关系数R值较小的K个光谱通道：
这里argmin指使R最小的K个光谱通道。
步骤5，因为高维特征的计算量随着特征向量维数的增加而增大，为了增加运算的速度，本发明采用主成分分析法进行降维映射，降低数据的冗余，缩减特征向量的维数。
主成分分析法的具体实施原理是：找到一个维度为K×J的映射矩阵R，能将原特征向量的维数从K降为J。具体过程为：利用奇异值分解的方法表示现有维数的协方差矩阵，然后最小化平方误差ε，求出映射矩阵R；其中平方误差ε表达式如式(6)：
其中，表示第i帧中偏移位置(m,n)处的特征向量。
步骤6，为了将光谱信息融入到CSK追踪器中，将步骤5中得到的J维光谱特征输入到CSK追踪器中进行训练，将融入到公式(4)中得到追踪器参数C：
步骤7，训练完成之后，对后续图像序列进行检测，将后续图像帧中的图像块zM×N输入到融入了光谱信息的追踪器中，检测输出分值输出分值的计算公式如式(8):
是指目标的近似位置，由当前检测帧的前一帧决定，F-1指傅里叶反变换；
找到使输出分值最大的位置，即目标所在的位置；
步骤8，利用后续帧的光谱特征重新训练跟踪器，更新追踪器权值w和系数c(m,n)，更新完毕之后对后续图像帧继续进行检测，也即重复步骤7，直到图像序列检测完毕。

Claims (4)

1.一种基于光谱特征的视觉追踪方法，其特征在于，包括如下步骤：
步骤1，将视频帧的第一帧图像及其对应的光谱数据信息输入到CSK追踪器中，训练一个核化最小二乘分类器，充分利用循环矩阵结构特性，提升在后续图像帧中按块寻找目标的速度；其中，最小二乘分类器通过最小化代价函数得到特征向量的权值w；
步骤2，根据得到的权值w，在频域范围内求解参数c(m,n)，其中，(m,n)表示上一帧目标中心点的偏移位置；
步骤3，进行检测之前，对图像块进行加窗预处理；
步骤4，根据第一帧图像对光谱数据进行处理：分析和比较目标与背景在光谱维度的特征差异，找寻到目标的光谱维特征；
步骤5，采用主成分分析法对步骤4的光谱维特征进行降维映射，以降低数据的冗余；
步骤6，将步骤5中降维后的光谱维特征输入到CSK追踪器中进行训练，并通过下式得到频域的追踪器参数C：
其中，F{c}是指对参数c(m,n)进行傅里叶变换；y是索引图像块的循环移位量xm,n的标记，xm,n∈{0,1...,M-1}×{0,1...,N-1}，M×N指目标图像块的大小；Y是标记y的频域表示；I是指单位阵；λ是正则化参数；表示第一帧图像中偏移位置(m,n)处的特征向量；
步骤7，训练完成之后，对后续图像序列进行检测，将后续图像帧中的图像块zm,n输入到步骤6得到的追踪器中，检测输出分值分值的计算公式为：
其中，是指目标的近似位置，由当前检测帧的前一帧决定，是指对核函数进行傅里叶变换，F-1指傅里叶反变换；
找到使输出分值最大的位置，即目标所在的位置；
步骤8，利用当前检测帧的光谱特征重新训练跟踪器，更新追踪器的权值w和参数c(m,n)；更新完毕后，重复步骤7继续对后续图像帧进行检测，直到图像序列检测完毕。
2.根据权利要求1所述的一种基于光谱特征的视觉追踪方法，其特征在于，所述步骤3中，对图像块增加汉宁窗预处理。
3.根据权利要求1所述的一种基于光谱特征的视觉追踪方法，其特征在于，所述步骤4中，处理的具体过程为：
步骤41，将任一空间点的光谱维单独提取出来，看成是一个N维向量t(p,q)＝(x1,x2,,,xN)，其中，(p,q)指第一帧图像中目标的空间坐标位置，N是光谱通道数；求出目标区域的平均光谱数据同时提取背景区域的平均光谱数据然后分别求取背景区域的平均光谱数据与目标区域的平均光谱数据的一维梯度信息，也即光谱信息的细节变化；
步骤42，利用交叉相关系数R对背景的平均光谱数据和目标的平均光谱数据梯度之间进行聚类分析，从而提取出使相关系数R值较小的M个光谱通道：
这里argmin指使R最小的K个光谱通道。
4.根据权利要求1所述的一种基于光谱特征的视觉追踪方法，其特征在于，所述步骤5中，降维映射的具体过程为：
利用奇异值分解的方法表示现有维数的协方差矩阵，然后最小化平方误差ε，求出维度为K×J的映射矩阵R，该映射矩阵R使得原特征向量的维数从K降为J；其中，平方误差ε表达式为：
其中，表示第i帧图像中偏移位置(m,n)处的特征向量；M×N指目标图像块的大小。
CN201710670378.6A 2017-08-08 2017-08-08 一种基于光谱特征的视觉追踪方法 Active CN109389137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710670378.6A CN109389137B (zh) 2017-08-08 2017-08-08 一种基于光谱特征的视觉追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710670378.6A CN109389137B (zh) 2017-08-08 2017-08-08 一种基于光谱特征的视觉追踪方法

Publications (2)

Publication Number Publication Date
CN109389137A true CN109389137A (zh) 2019-02-26
CN109389137B CN109389137B (zh) 2022-04-22

Family

ID=65414005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710670378.6A Active CN109389137B (zh) 2017-08-08 2017-08-08 一种基于光谱特征的视觉追踪方法

Country Status (1)

Country Link
CN (1) CN109389137B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714546A (zh) * 2013-12-27 2014-04-09 北京航空航天大学 一种成像光谱仪的数据处理方法
US20170070966A1 (en) * 2015-09-07 2017-03-09 Signalchip Innovations Private Limited Automatic gain control based on signal spectrum sensing
CN106557784A (zh) * 2016-11-23 2017-04-05 上海航天控制技术研究所 基于压缩感知的快速目标识别方法和系统
CN106650805A (zh) * 2016-12-13 2017-05-10 中国科学院自动化研究所 一种视觉目标跟踪方法及装置
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN106709934A (zh) * 2016-08-25 2017-05-24 上海瞬动科技有限公司合肥分公司 频域高斯核函数图像追踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714546A (zh) * 2013-12-27 2014-04-09 北京航空航天大学 一种成像光谱仪的数据处理方法
US20170070966A1 (en) * 2015-09-07 2017-03-09 Signalchip Innovations Private Limited Automatic gain control based on signal spectrum sensing
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN106709934A (zh) * 2016-08-25 2017-05-24 上海瞬动科技有限公司合肥分公司 频域高斯核函数图像追踪方法
CN106557784A (zh) * 2016-11-23 2017-04-05 上海航天控制技术研究所 基于压缩感知的快速目标识别方法和系统
CN106650805A (zh) * 2016-12-13 2017-05-10 中国科学院自动化研究所 一种视觉目标跟踪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHE LI等: "A New Rapid Acquisition and Tracking Technique for High-Dynamic Spread Spectrum Signals", 《INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS》 *
李斌: "基于张量和非线性稀疏的多维信号压缩感知理论与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈汉准: "基于压缩感知的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN109389137B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
Zhang et al. Multi-oriented text detection with fully convolutional networks
Sun et al. DL-SFA: Deeply-learned slow feature analysis for action recognition
Zheng et al. Scalable person re-identification: A benchmark
Lisanti et al. Group re-identification via unsupervised transfer of sparse features encoding
WO2016026370A1 (en) High-speed automatic multi-object tracking method and system with kernelized correlation filters
Rekha et al. Hand gesture recognition for sign language: A new hybrid approach
Kortylewski et al. Unsupervised footwear impression analysis and retrieval from crime scene data
CN108509925B (zh) 一种基于视觉词袋模型的行人重识别方法
Li et al. Real-time grayscale-thermal tracking via laplacian sparse representation
Fernandez et al. Zero-aliasing correlation filters for object recognition
WO2018076484A1 (zh) 一种基于视频的捏合指尖跟踪方法
Wu et al. Scene text detection using adaptive color reduction, adjacent character model and hybrid verification strategy
Xie et al. Feature consistency-based prototype network for open-set hyperspectral image classification
Zhong et al. Improved localization accuracy by locnet for faster r-cnn based text detection
Symeonidis et al. Neural attention-driven non-maximum suppression for person detection
Kamencay et al. Feature extraction for object recognition using PCA-KNN with application to medical image analysis
WO2017129115A1 (en) Orientation-based subject-matching in images
CN109389137A (zh) 一种基于光谱特征的视觉追踪方法
Lei et al. Convolutional restricted Boltzmann machines learning for robust visual tracking
Alarcon-Ramirez et al. A new methodology based on level sets for target detection in hyperspectral images
El-Mashad et al. Evaluating the robustness of feature correspondence using different feature extractors
Hong et al. A real-time critical part detection for the blurred image of infrared reconnaissance balloon with boundary curvature feature analysis
Zeng et al. Visual tracking based on multi-feature and fast scale adaptive kernelized correlation filter
Chen et al. Method of item recognition based on SIFT and SURF
Huang et al. Fast hyperspectral image classification method combining pca and lda

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant