CN109389137B - 一种基于光谱特征的视觉追踪方法 - Google Patents

一种基于光谱特征的视觉追踪方法 Download PDF

Info

Publication number
CN109389137B
CN109389137B CN201710670378.6A CN201710670378A CN109389137B CN 109389137 B CN109389137 B CN 109389137B CN 201710670378 A CN201710670378 A CN 201710670378A CN 109389137 B CN109389137 B CN 109389137B
Authority
CN
China
Prior art keywords
spectral
frame
target
tracker
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710670378.6A
Other languages
English (en)
Other versions
CN109389137A (zh
Inventor
曹汛
赵远远
朱维新
陈林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201710670378.6A priority Critical patent/CN109389137B/zh
Publication of CN109389137A publication Critical patent/CN109389137A/zh
Application granted granted Critical
Publication of CN109389137B publication Critical patent/CN109389137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于光谱特征的视觉追踪方法。具体步骤如下：(1)输入第一帧图像及其对应的光谱数据信息到CSK追踪器中；(2)在频域范围内求解系数；(3)进行检测之前对图像块进行加窗预处理；(4)提取目标的光谱特征；(5)简化光谱维特征；(6)将降维后的光谱维特征输入到CSK追踪器中进行训练；(7)将后续图像帧中的图像块输入到追踪器中，检测输出分值，找到使输出分值最大的位置即目标所在的位置；(8)利用当前检测帧的光谱特征重新训练跟踪器，更新追踪器的参数后，重复步骤(7)对后续图像帧继续检测。利用本方法无论是在帧率上还是追踪准确程度上均能取得比较好的效果，可以有效应对由于遮挡和光照变化带来的挑战。

Description

一种基于光谱特征的视觉追踪方法
技术领域
本发明涉及计算摄像学领域，尤其涉及一种基于光谱特征的视觉追踪方法。
背景技术
基于图像序列的目标追踪是计算摄像领域一个具有挑战性的问题，被广泛应用于安防监控、军事识别、交通管理、人机交互、航天航空等。现有的先进视觉追踪器一般基于纹理、形状、颜色等信息来对目标进行检测和追踪。其中，基于颜色的复杂追踪问题在于：其颜色特征应具有高的判别力及一定程度的光度不变性，具有限制性。
光谱反映物质的光学辐射，揭示物质的本质属性，可以作为物质的判别依据，具有丰富的细节特征，比传统成像包含更多的信息。传统的视觉追踪器忽略了物体的光谱维度上的丰富信息，因此很难对追踪物体进行精确地检测和追踪，缺少鲁棒性。由于光谱不是红绿蓝三通道的简单线性变换，而是物体本质属性的展现，因此可以在背景和目标颜色很相似的情况下，在光谱维度区别颜色相似的不同物质和材料，提高目标识别的准确率。如果在视觉追踪中融入光谱信息会大大提高追踪器的性能和效果。
但是，鉴于光谱数据量很大，利用光谱信息训练跟踪器的时候会包含很多冗余信息。因此，如何有效利用光谱信息、提取目标特征的主成分，并融入到追踪器中是当前的一个研究方向。
发明内容
针对以上现有追踪方法中存在的缺陷，本发明的目的在于提出一种基于光谱特征的视觉追踪方法。
为达上述目的，本发明采用的技术方案如下：
一种基于光谱特征的视觉追踪方法，包括如下步骤：
步骤1，将视频帧的第一帧图像及其对应的光谱数据信息输入到CSK追踪器中，训练一个核化最小二乘分类器，充分利用循环矩阵结构特性，提升在后续图像帧中按块寻找目标的速度；其中，最小二乘分类器通过最小化代价函数得到特征向量的权值w；
步骤2，根据得到的权值w，在频域范围内求解参数c(m,n)，其中，(m,n)表示上一帧目标中心点的偏移位置；
步骤3，进行检测之前，对图像块进行加窗预处理；
步骤4，根据第一帧图像对光谱数据进行处理：分析和比较目标与背景在光谱维度的特征差异，找寻到目标的光谱维特征；
步骤5，采用主成分分析法对步骤4的光谱维特征进行降维映射，以降低数据的冗余；
步骤6，将步骤5中降维后的光谱维特征输入到CSK追踪器中进行训练，并通过下式得到CSK追踪器参数C：
Figure GDA0003333377110000021
其中，F{c}是指对参数c(m,n)进行傅里叶变换；Y是标记y的频域表示，而y是索引图像块的循环移位量xm,n的标记，xm,n∈{0,1...,M-1}×{0,1...,N-1}，M×N指目标图像块的大小；I是指单位阵；λ是正则化参数；
Figure GDA0003333377110000022
表示第一帧图像中偏移位置(m,n)处的特征向量；
步骤7，训练完成之后，对后续图像序列进行检测，将后续图像帧中的图像块zm,n输入到步骤6得到的追踪器中，检测输出分值
Figure GDA0003333377110000023
分值
Figure GDA0003333377110000024
的计算公式为：
Figure GDA0003333377110000025
其中，
Figure GDA0003333377110000026
是指目标的近似位置，由当前检测帧的前一帧决定，
Figure GDA0003333377110000027
是指对核函数
Figure GDA0003333377110000028
进行傅里叶变换，F-1指傅里叶反变换；
找到使输出分值
Figure GDA0003333377110000029
最大的位置，即目标所在的位置；
步骤8，利用当前检测帧的光谱特征重新训练跟踪器，更新追踪器的权值w和参数c(m,n)；更新完毕后，重复步骤7继续对后续图像帧进行检测，直到图像序列检测完毕。
本发明在基于检测的追踪框架上，结合实时追踪的要求，采用CSK(CirculantStructure of Tracking-by-detection with Kernels)追踪器学习目标的光谱特征，且可以核化学习光谱的高维特征。同时，本发明采用主成分分析法能有效减少数据量，对目标实现快速检测追踪。相比现有技术，利用本方法无论是在帧率上还是追踪准确程度上均能取得比较好的效果，可以有效应对由于遮挡和光照变化带来的挑战。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
参照图1，本实施例的一种基于光谱特征的视觉追踪方法，具体步骤如下：
步骤1，将视频帧的第一帧图像及其对应的光谱数据信息输入到CSK追踪器中，训练一个核化最小二乘分类器，充分利用循环矩阵结构特性，提升在后续图像帧中按块寻找目标的速度。
最小二乘分类器通过最小化代价函数(1)得到特征向量的权值w
Figure GDA0003333377110000031
其中，<,>是指两个向量的内积，xm,n∈{0,1...,M-1}×{0,1...,N-1}指索引图像块的循环位移量，(m,n)表示上一帧目标中心点的偏移位置，M×N指目标图像块的大小，φ是核函数k到希尔伯特特征空间的映射，核函数k要求具有线性移不变性，这里选取支持向量机分类中最常用的高斯径向基核函数，可以大大提高运算速度，即<φ(f),φ(g)>＝k(f,g)，(f,g)表示输入空间的坐标位置，φ()是映射函数。y(m,n)是第一帧图像中的标注值，λ是非负正则化参数。
高斯径向基核函数k(f,g)的定义如下：
Figure GDA0003333377110000032
其中，||f-g||2 2可以看做两个特征向量的平方欧几里距离，σ是一个自有参数。
步骤2，根据得到的权值w，由公式(3)计算系数c(m,n)
Figure GDA0003333377110000033
因为核函数k具有线性移不变特性，方便将其变换到频域范围内求解，减少计算繁琐程度；
Figure GDA0003333377110000034
这里，F{c}是指对系数c(m,n)进行傅里叶变换；Y是标注值y的频域表示；I是指单位阵；
Figure GDA0003333377110000035
表示第一帧图像中偏移位置(m,n)处的特征向量。
步骤3，进行检测之前，对图像块进行加窗预处理，这样可以在傅里叶变换的时候减少高频噪声，又尽可能保留图像的细节。本实施例中，采用对图像块增加汉宁窗处理。
步骤4，提取目标的光谱特征，光谱维特征的选择直接影响了视觉追踪器性能的好坏。根据第一帧图像对光谱数据进行预处理：分析和比较目标与背景在光谱维度的特征差异，找寻到目标的光谱维特征；具体过程如下：
步骤41，将任一空间点的光谱维单独提取出来，可以看成是一个N维向量t(p,q)＝(x1,x2,,,xN)，其中，(p,q)指第一帧图像中目标的空间坐标位置，N是光谱通道数；求出目标区域的平均光谱数据
Figure GDA0003333377110000041
同时提取背景区域的平均光谱数据
Figure GDA0003333377110000042
然后分别求取背景区域的平均光谱数据
Figure GDA0003333377110000043
与目标区域的平均光谱数据
Figure GDA0003333377110000044
的一维梯度信息，也即光谱信息的细节变化；
步骤42，利用映射矩阵R对背景的平均光谱数据和目标的平均光谱数据梯度之间进行聚类分析，从而提取出使映射矩阵R值最小的P个光谱通道：
Figure GDA0003333377110000045
步骤5，因为高维特征的计算量随着特征向量维数的增加而增大，为了增加运算的速度，本发明采用主成分分析法进行降维映射，降低数据的冗余，缩减特征向量的维数。
主成分分析法的具体实施原理是：找到一个维度为P×J的映射矩阵R，能将原特征向量的维数从P降为J。具体过程为：利用奇异值分解的方法表示现有维数的协方差矩阵，然后最小化平方误差ε，求出映射矩阵R；其中平方误差ε表达式如式(6)：
Figure GDA0003333377110000046
其中，
Figure GDA0003333377110000047
表示第i帧中偏移位置(m,n)处的特征向量。
步骤6，为了将光谱信息融入到CSK追踪器中，将步骤5中得到的J维光谱特征输入到CSK追踪器中进行训练，将
Figure GDA0003333377110000048
融入到公式(4)中得到追踪器参数C：
Figure GDA0003333377110000049
步骤7，训练完成之后，对后续图像序列进行检测，将后续图像帧中的图像块zM×N输入到融入了光谱信息的追踪器中，检测输出分值
Figure GDA00033333771100000410
输出分值
Figure GDA00033333771100000411
的计算公式如式(8):
Figure GDA00033333771100000412
Figure GDA0003333377110000051
是指目标的近似位置，由当前检测帧的前一帧决定，F-1指傅里叶反变换；
找到使输出分值
Figure GDA0003333377110000052
最大的位置，即目标所在的位置；
步骤8，利用后续帧的光谱特征重新训练跟踪器，更新追踪器权值w和系数c(m,n)，更新完毕之后对后续图像帧继续进行检测，也即重复步骤7，直到图像序列检测完毕。

Claims (4)

1.一种基于光谱特征的视觉追踪方法，其特征在于，包括如下步骤：
步骤1，将视频帧的第一帧图像及其对应的光谱数据信息输入到CSK追踪器中，训练一个核化最小二乘分类器，充分利用循环矩阵结构特性，提升在后续图像帧中按块寻找目标的速度；其中，最小二乘分类器通过最小化代价函数得到特征向量的权值w；
步骤2，根据得到的权值w，在频域范围内求解参数c(m,n)，其中，(m,n)表示上一帧目标中心点的偏移位置；
步骤3，进行检测之前，对图像块进行加窗预处理；
步骤4，根据第一帧图像对光谱数据进行处理：分析和比较目标与背景在光谱维度的特征差异，找寻到目标的光谱维特征；
步骤5，采用主成分分析法对步骤4的光谱维特征进行降维映射，以降低数据的冗余；
步骤6，将步骤5中降维后的光谱维特征输入到CSK追踪器中进行训练，并通过下式得到CSK追踪器参数C：
Figure FDA0003333377100000011
其中，F{c}是指对参数c(m,n)进行傅里叶变换；Y是标记y的频域表示，而y是索引图像块的循环移位量xm,n的标记，xm,n∈{0,1...,M-1}×{0,1...,N-1}，M×N指目标图像块的大小；I是指单位阵；λ是正则化参数；
Figure FDA0003333377100000012
表示第一帧图像中偏移位置(m,n)处的特征向量；
步骤7，训练完成之后，对后续图像序列进行检测，将后续图像帧中的图像块zm,n输入到步骤6得到的追踪器中，检测输出分值
Figure FDA0003333377100000013
分值
Figure FDA0003333377100000014
的计算公式为：
Figure FDA0003333377100000015
其中，
Figure FDA0003333377100000016
是指目标的近似位置，由当前检测帧的前一帧决定，
Figure FDA0003333377100000017
是指对核函数
Figure FDA0003333377100000018
进行傅里叶变换，F-1指傅里叶反变换；
找到使输出分值
Figure FDA0003333377100000019
最大的位置，即目标所在的位置；
步骤8，利用当前检测帧的光谱特征重新训练跟踪器，更新追踪器的权值w和参数c(m,n)；更新完毕后，重复步骤7继续对后续图像帧进行检测，直到图像序列检测完毕。
2.根据权利要求1所述的一种基于光谱特征的视觉追踪方法，其特征在于，所述步骤3中，对图像块增加汉宁窗预处理。
3.根据权利要求1所述的一种基于光谱特征的视觉追踪方法，其特征在于，所述步骤4中，处理的具体过程为：
步骤41，将任一空间点的光谱维单独提取出来，看成是一个N维向量t(p,q)＝(x1,x2…,xN)，其中，(p,q)指第一帧图像中目标的空间坐标位置，N是光谱通道数；求出目标区域的平均光谱数据
Figure FDA0003333377100000021
同时提取背景区域的平均光谱数据
Figure FDA0003333377100000022
然后分别求取背景区域的平均光谱数据
Figure FDA0003333377100000023
与目标区域的平均光谱数据
Figure FDA0003333377100000024
的一维梯度信息，也即光谱信息的细节变化；
步骤42，利用映射矩阵R对背景的平均光谱数据和目标的平均光谱数据梯度之间进行聚类分析，从而提取出使映射矩阵R值最小的P个光谱通道：
Figure FDA0003333377100000025
4.根据权利要求1所述的一种基于光谱特征的视觉追踪方法，其特征在于，所述步骤5中，降维映射的具体过程为：
利用奇异值分解的方法表示现有维数的协方差矩阵，然后最小化平方误差ε，求出维度为P×J的映射矩阵R，该映射矩阵R使得原特征向量的维数从P降为J；其中，平方误差ε表达式为：
Figure FDA0003333377100000026
其中，
Figure FDA0003333377100000027
表示第i帧图像中偏移位置(m,n)处的特征向量；M×N指目标图像块的大小。
CN201710670378.6A 2017-08-08 2017-08-08 一种基于光谱特征的视觉追踪方法 Active CN109389137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710670378.6A CN109389137B (zh) 2017-08-08 2017-08-08 一种基于光谱特征的视觉追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710670378.6A CN109389137B (zh) 2017-08-08 2017-08-08 一种基于光谱特征的视觉追踪方法

Publications (2)

Publication Number Publication Date
CN109389137A CN109389137A (zh) 2019-02-26
CN109389137B true CN109389137B (zh) 2022-04-22

Family

ID=65414005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710670378.6A Active CN109389137B (zh) 2017-08-08 2017-08-08 一种基于光谱特征的视觉追踪方法

Country Status (1)

Country Link
CN (1) CN109389137B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714546A (zh) * 2013-12-27 2014-04-09 北京航空航天大学 一种成像光谱仪的数据处理方法
US20170070966A1 (en) * 2015-09-07 2017-03-09 Signalchip Innovations Private Limited Automatic gain control based on signal spectrum sensing
CN106557784A (zh) * 2016-11-23 2017-04-05 上海航天控制技术研究所 基于压缩感知的快速目标识别方法和系统
CN106650805A (zh) * 2016-12-13 2017-05-10 中国科学院自动化研究所 一种视觉目标跟踪方法及装置
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN106709934A (zh) * 2016-08-25 2017-05-24 上海瞬动科技有限公司合肥分公司 频域高斯核函数图像追踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714546A (zh) * 2013-12-27 2014-04-09 北京航空航天大学 一种成像光谱仪的数据处理方法
US20170070966A1 (en) * 2015-09-07 2017-03-09 Signalchip Innovations Private Limited Automatic gain control based on signal spectrum sensing
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN106709934A (zh) * 2016-08-25 2017-05-24 上海瞬动科技有限公司合肥分公司 频域高斯核函数图像追踪方法
CN106557784A (zh) * 2016-11-23 2017-04-05 上海航天控制技术研究所 基于压缩感知的快速目标识别方法和系统
CN106650805A (zh) * 2016-12-13 2017-05-10 中国科学院自动化研究所 一种视觉目标跟踪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A New Rapid Acquisition and Tracking Technique for High-Dynamic Spread Spectrum Signals;Zhe Li等;《Institute of Electrical and Electronics Engineers》;20160303;第83-86页 *
基于压缩感知的目标跟踪算法研究;陈汉准;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170515(第5期);第1-51页 *
基于张量和非线性稀疏的多维信号压缩感知理论与应用;李斌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160415(第4期);第1-58页 *

Also Published As

Publication number Publication date
CN109389137A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
Shrivastava et al. Soybean plant foliar disease detection using image retrieval approaches
CN108734723B (zh) 一种基于自适应权重联合学习的相关滤波目标跟踪方法
CN105518668B (zh) 基于内容的图像检索
CN107506700B (zh) 基于广义相似性度量学习的行人再识别方法
Zhang et al. Fusion of superpixel, expectation maximization and PHOG for recognizing cucumber diseases
WO2016091017A1 (zh) 一种高光谱图像分类中光谱向量互相关特征的抽取方法
CN109146911B (zh) 一种目标跟踪的方法及装置
Kortylewski et al. Unsupervised footwear impression analysis and retrieval from crime scene data
US20180352213A1 (en) Learning-based matching for active stereo systems
CN112836671B (zh) 一种基于最大化比率和线性判别分析的数据降维方法
CN111339975A (zh) 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
Hussain et al. Robust pre-processing technique based on saliency detection for content based image retrieval systems
Shuo et al. Object tracking method based on SURF
Trivedi et al. Automatic segmentation of plant leaves disease using min-max hue histogram and k-mean clustering
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN110852292B (zh) 一种基于跨模态多任务深度度量学习的草图人脸识别方法
Hou et al. Spatial–spectral weighted and regularized tensor sparse correlation filter for object tracking in hyperspectral videos
Zhou et al. Scale adaptive kernelized correlation filter tracker with feature fusion
CN110276782B (zh) 一种结合空谱特征和相关滤波的高光谱目标跟踪方法
Siméoni et al. Unsupervised object discovery for instance recognition
CN109389137B (zh) 一种基于光谱特征的视觉追踪方法
Kavya Feature extraction technique for robust and fast visual tracking: a typical review
Yin et al. Video text localization based on Adaboost
Guangjing et al. Research on static image recognition of sports based on machine learning
Tang et al. Slice representation of range data for head pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant