CN112613565B - 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 - Google Patents

基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 Download PDF

Info

Publication number
CN112613565B
CN112613565B CN202011562036.0A CN202011562036A CN112613565B CN 112613565 B CN112613565 B CN 112613565B CN 202011562036 A CN202011562036 A CN 202011562036A CN 112613565 B CN112613565 B CN 112613565B
Authority
CN
China
Prior art keywords
target block
target
fusion
current frame
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011562036.0A
Other languages
English (en)
Other versions
CN112613565A (zh
Inventor
蔡东升
黄琦
章文旭
李坚
胡维昊
井实
易建波
孙敏
张真源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011562036.0A priority Critical patent/CN112613565B/zh
Publication of CN112613565A publication Critical patent/CN112613565A/zh
Application granted granted Critical
Publication of CN112613565B publication Critical patent/CN112613565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，先将跟踪目标进行分块，然后对各子块区域提取FHOG特征和LAB色彩空间颜色特征并形成融合特征；在不同尺度下将各子块目标提取到的融合特征输入训练好的分类器，得到各子块的响应峰值与最大响应位置；然后根据其最大响应值进行加权平均得到最终的目标跟踪位置；最后采用基于遮挡检测的自适应学习率更新的更新策略，对分类器权重系数和目标融合特征模型进行更新，实现抗遮挡跟踪。

Description

基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
技术领域
本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法。
背景技术
目标跟踪算法通常可以分为判别式方法和生成式方法。生成式方法的主要思想是在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有卡尔曼滤波，粒子滤波，mean-shift等。判别式方法的主要思想是通过分类器将搜索区域内的不同子区进行置信度打分，通过对响应强度层的分析来判别目标的位置。随着机器学习算法的成熟，判别式方法在目标跟踪领域越来越普遍。
相关滤波类跟踪算法作为一类典型的判别式跟踪方法，针对此方面的研究目前已经取得了不错的成就，典型代表为KCF跟踪方法。但KCF跟踪方法在实际应用时仍然有一些缺陷致使其无法适应复杂环境，完成对目标的持续跟踪。比如只采用单一特征(如HOG特征等)，由于单一特征所提取的外观模型往往不具有很好的区分性，当目标发生较大形变或出现遮挡时不能很好地表征目标外观模型，容易导致跟踪漂移；无论跟踪结果是否准确，都会对检测器进行更新，从而出现在目标发生遮挡或跟踪发生漂移时，检测器被错误信息干扰，导致跟踪失败；同一运动目标在不同(方位、距离等)视角下，其尺度也有很大差异，不能满足自适应尺度变化的要求。因此，需要对针对上述问题进行相应处理，才能应用于复杂环境中从而达到较好的跟踪效果。
相关的专利如申请号CN201710216523.3的发明专利公开了一种基于FHOG 和颜色特征的目标跟踪方法及GPU加速，通过提取FHOG、color-naming基础颜色和色彩饱和度三者的组合特征，提高了目标跟踪准确率。但是该方法仍然存在一些不足，如所采用组合特征中的颜色特征在光照变化的环境下表现一般、应对跟踪目标局部形变时效果不佳、每帧都采用固定学习率进行模型更新容易因为遮挡导致跟踪漂移等问题。
目前针对KCF更新策略的改进大多采用的自适应学习率方法是通过减小学习率，虽然能保证特征模型不被污染，但同时会使分类器不适应经过遮挡后目标的特征变化，导致跟踪效果变差。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，通过自适应学习率更新的更新策略，对分类器权重系数和融合特征模板进行更新，实现抗遮挡跟踪。
为实现上述发明目的，本发明一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，其特征在于，包括以下步骤：
(1)、目标框自适应分块
采集被检测区域的视频，并截取连续的L帧图像，然后读取第一帧图像；
在第一帧图像中，随机选取一目标，将目标所在区域作为初始目标框，然后按照预设分块数目进行自适应分块，得到多个目标块；
(2)、提取各目标块的融合特征
(2.1)、设置用于提取LAB空间颜色特征的κ个质心；
(2.2)、将各目标块划分为M×N个4×4大小的元胞，记为元胞矩阵；
(2.3)、提取各目标块的FHOG特征；
在元胞矩阵中，利用距离和方向线性插值产生元胞的9维无符号梯度方向 HOG特征，再对每个元胞相对其邻域元胞进行归一化截断，得到元胞对应的 4×9＝36维特征向量，对36维特征向量的各行各列分别进行求和，得到13维的特征向量；
同理，利用距离和方向线性插值产生元胞的18维有符号梯度方向HOG特征，对每个元胞相对其邻域元胞进行归一化截断得到元胞对应的4×18＝72维特征向量，对72维特征向量每列分别进行求和，得到18维特征向量，最终得到各目标块31维的FHOG特征；
(2.4)、提取各目标块的LAB空间颜色特征；
在元胞矩阵中，将元胞矩阵从RGB空间转换至LAB空间，然后对每个元胞中的每个像素的lab值与设置的κ个质心分别求欧氏距离；计算当前像素点与其周围4个元胞中心的距离，利用该距离进行线性插值，将其分配至最近的4 个元胞中与其lab值欧氏距离最小的质心直方图，并归一化，从而最终得到各目标块n维的LAB空间的颜色特征；
(2.5)、将FHOG特征与LAB空间颜色特征进行串联，得到各目标块(31+n) 维的融合特征，记为
Figure BDA00028596221700000316
i表示目标块的编号；
(3)、求解各目标块的分类器f；
利用核空间的岭回归求解各目标块的分类器f，在求解过程中，回归系数α在对偶空间的解为：
Figure BDA0002859622170000031
其中，
Figure BDA0002859622170000032
表示第一帧中第i个目标块的分类器权重系数，
Figure BDA0002859622170000033
是核矩阵的第一行，
Figure BDA0002859622170000034
为回归目标，λ为岭回归的正则项；
Figure BDA0002859622170000035
选用高斯核，其高斯核函数为：
Figure BDA0002859622170000036
其中，σ为高斯核函数的带宽，F-1表示表示傅里叶逆变换，
Figure BDA0002859622170000037
表示第一帧中第i个目标块的融合特征的第k个通道分量，
Figure BDA0002859622170000038
表示
Figure BDA0002859622170000039
的傅里叶变换，
Figure BDA00028596221700000310
表示
Figure BDA00028596221700000311
的共轭，⊙表示对应位置元素相乘；
(4)、更新各目标块的融合特征模板
Figure BDA00028596221700000317
与分类器权重系数
Figure BDA00028596221700000312
Figure BDA00028596221700000313
Figure BDA00028596221700000314
(5)、对后续帧中的目标块进行多尺度检测；
(5.1)、设置分类器的检测尺度：scale_step、1和1/scale_step；
(5.2)、分类器按照三个不同检测尺度对后续帧中的目标块进行多尺度检测；
(5.2.1)、读取当前帧图像，以上一帧跟踪目标的位置提取当前帧图像的目标块；
(5.2.2)、将当前帧图像的每个目标块按照步骤(2)所述方法提取三个不同检测尺度下的融合特征，其中，第i个目标块提取的融合特征记为
Figure BDA00028596221700000315
j＝2,3,…,L代表当前帧编号，λ＝1,2,3代表三个不同尺度；
(5.2.3)、将融合特征模板
Figure BDA0002859622170000041
和融合特征
Figure BDA0002859622170000042
输入至分类器，计算出每个目标块在三个检测尺度下的特征响应图
Figure BDA0002859622170000043
特征响应图
Figure BDA0002859622170000044
的计算过程为：先计算
Figure BDA0002859622170000045
其中，
Figure BDA0002859622170000046
表示当前帧中第i个目标块在不同尺度下
Figure BDA0002859622170000047
与
Figure BDA0002859622170000048
的核相关傅里叶变换；再将
Figure BDA0002859622170000049
进行傅里叶逆变换，得到M×N大小的特征响应图
Figure BDA00028596221700000410
(5.2.4)、提取各个特征响应图
Figure BDA00028596221700000411
中最大响应值及对应位置；然后选出各个目标块在三个检测尺度下的最大响应值
Figure BDA00028596221700000412
然后输出
Figure BDA00028596221700000413
对应的尺度、特征响应图
Figure BDA00028596221700000414
融合特征
Figure BDA00028596221700000415
和位置
Figure BDA00028596221700000416
(6)、利用自适应加权算法计算当前帧中跟踪目标的最终位置；
(6.1)、计算当前帧中各目标块的权值系数
Figure BDA00028596221700000417
Figure BDA00028596221700000418
(6.2)、计算当前帧中跟踪目标的最终位置(xj,yj)；
Figure BDA00028596221700000419
其中，(xj-1,yj-1)表示上一帧中跟踪目标的最终位置；
(7)、构建各个目标块的平均峰值相关能量集合；
(7.1)、为每一个目标块构建一个平均峰值相关能量集合APCEi；
(7.2)、计算当前帧中各目标块的特征响应图的平均峰值相关能量；
Figure BDA00028596221700000420
其中，
Figure BDA00028596221700000421
表示当前帧中第i个目标块的特征响应图
Figure BDA00028596221700000422
的平均峰值相关能量，
Figure BDA00028596221700000423
分别表示当前帧中第i个目标块的特征响应图
Figure BDA00028596221700000424
的最大、最小响应值，
Figure BDA00028596221700000425
表示当前帧中第i个目标块的特征响应图
Figure BDA00028596221700000426
的第m行n列的响应值， m＝1,2,…,M，n＝1,2,…,N，mean(·)表示取平均值；
(7.3)、判断平均峰值相关能量集合APCEi中的元素是否小于等于l，l＜＜L，如果满足，则将
Figure BDA00028596221700000427
放入至APCEi，然后跳转至步骤S9；否则，保持APCEi不变，然后进入步骤S8；
(8)、目标块遮挡检测；
设置阈值Ψ；判断当前帧中各目标块是否被遮挡，若当前帧中第i个目标块的
Figure BDA0002859622170000051
值满足：
Figure BDA0002859622170000052
则认为当前帧中第i个目标块未发生遮挡，并将
Figure BDA0002859622170000053
放入至APCEi，然后进入步骤S9；否则，认为当前帧中第i个目标块发生遮挡，丢弃本帧的
Figure BDA0002859622170000054
保持集合不变，然后进入步骤S9；
(9)、通过自适应学习率更新各目标块的融合特征模板
Figure BDA0002859622170000055
与分类器权重系数
Figure BDA0002859622170000056
(9.1)、根据当前帧目标位置提取各目标块，然后根据步骤(2)所述方法提取各目标块的融合特征
Figure BDA0002859622170000057
再根据步骤(3)所述方法求解分类器的权重系数
Figure BDA0002859622170000058
(9.2)设置自适应学习率η；
Figure BDA0002859622170000059
(9.3)、根据自适应学习率更新各目标块的融合特征模板
Figure 2
与分类器f的权重系数
Figure 1
Figure BDA00028596221700000512
Figure BDA00028596221700000513
(9.4)、当步骤(9.3)更新完成后，令
Figure BDA00028596221700000514
(10)、当步骤(9)更新完成后，若截取的视频序列未读取完毕，返回至步骤(5)；否则结束。
本发明的发明目的是这样实现的：
本发明基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，先将跟踪目标进行分块，然后对各子块区域提取FHOG特征和LAB色彩空间颜色特征并形成融合特征；在不同尺度下将各子块目标提取到的融合特征输入训练好的分类器，得到各子块的响应峰值与最大响应位置；然后根据其最大响应值进行加权平均得到最终的目标跟踪位置；最后采用基于遮挡检测的自适应学习率更新的更新策略，对分类器权重系数和目标融合特征模型进行更新，实现抗遮挡跟踪。
同时，本发明基于多特征融合与自适应学习率更新的抗遮挡跟踪方法还具有以下有益效果：
(1)、本发明采用分块和多尺度检测跟踪的方式，使得本发明在应对目标遮挡、形变等问题时精度高、鲁棒性强。
(2)、本发明所提取的LAB空间的颜色特征具有如下优点：LAB颜色空间与其他常见颜色空间相比，色域范围较大，具有线性的感知性以及独立于硬件设备的优点；在提取LAB空间颜色特征时采用基于距离的线性插值方法，可以避免混叠效应。
(3)、本发明融合了FHOG特征和LAB空间颜色特征的多特征融合方法来表征目标外观模型，其中，FHOG特征能很好地提取局部梯度特征和边缘特征，捕捉运动目标的局部轮廓信息，对光照变化具有很好的适应性；LAB空间颜色特征提取全局颜色特征，对目标的旋转变化具有很好的适应性；两者的融合适合光照变化和目标形变的场景。
(4)、本发明采用的基于遮挡检测的自适应学习率更新策略，采用遮挡结束后提高学习率而非遮挡发生时降低学习率或不更新的策略，可以避免因更新率过低或不更新而导致的目标丢失，保持目标被局部遮挡时的跟踪准确率；同时本方法在特征融合的基础上采用低学习率及遮挡结束后提高学习率的策略可以进一步减小目标被遮挡时更新导致模型被污染的影响，不致跟踪漂移及失败。
附图说明
图1是本发明基于多特征融合与自适应学习率更新的抗遮挡跟踪方法流程图；
图2是对跟踪的行人进行自适应分块的示意图；
图3是提取FHOG特征与LAB空间颜色特征的融合特征流程图；
图4是本发明与KFC的跟踪抗遮挡效果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明基于多特征融合与自适应学习率更新的抗遮挡跟踪方法流程图。
在本实施例中，如图1所示，本发明一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，包括以下步骤：
S1、目标框自适应分块
采集被检测区域的视频，并截取连续的L＝300帧图像，然后读取第一帧图像；
在第一帧图像中，随机选取一目标，将目标所在区域作为初始目标框，然后按照预设分块数目进行自适应分块，得到多个目标块；
在本实施例中，如图2所示，对行人目标进行分块时，将行人目标分为头部区域、上半身区域和下半身区域三个子块，因此后续的i＝1,2,3。
S2、提取各目标块的融合特征
S2.1、设置用于提取LAB空间颜色特征的15个质心；
S2.2、如图3所示，将各目标块划分为M×N个4×4大小的元胞，记为元胞矩阵；
S2.3、提取各目标块的FHOG特征；
在元胞矩阵中，利用距离和方向线性插值产生元胞的9维无符号梯度方向 HOG特征，再对每个元胞相对其邻域元胞进行归一化截断，得到元胞对应的 4×9＝36维特征向量，对36维特征向量的各行各列分别进行求和，得到13维的特征向量；
同理，利用距离和方向线性插值产生元胞的18维有符号梯度方向HOG特征，对每个元胞相对其邻域元胞进行归一化截断得到元胞对应的4×18＝72维特征向量，对72维特征向量每列分别进行求和，得到18维特征向量，最终得到各目标块31维的FHOG特征；
S2.4、提取各目标块的LAB空间颜色特征；
在元胞矩阵中，将元胞矩阵从RGB空间转换至LAB空间，然后对每个元胞中的每个像素的lab值与设置的n个质心分别求欧氏距离；计算当前像素点与其周围4个元胞中心的距离，利用该距离进行线性插值，将其分配至最近的4 个元胞中与其lab值欧氏距离最小的质心直方图，并归一化，从而最终得到各目标块n维的LAB空间的颜色特征；
S2.5、将FHOG特征与LAB空间颜色特征进行串联，得到各目标块(31+n)维的融合特征，记为
Figure BDA0002859622170000081
i表示目标块的编号；
S3、求解各目标块的分类器f；
利用核空间的岭回归求解各目标块的分类器f，在求解过程中，回归系数α在对偶空间的解为：
Figure BDA0002859622170000082
其中，
Figure BDA0002859622170000083
表示第一帧中第i个目标块的分类器权重系数，
Figure BDA0002859622170000084
是核矩阵的第一行，
Figure BDA0002859622170000085
为回归目标，λ为岭回归的正则项；
Figure BDA0002859622170000086
选用高斯核，其高斯核函数为：
Figure BDA0002859622170000087
其中，σ为高斯核函数的带宽，F-1表示表示傅里叶逆变换，
Figure BDA0002859622170000088
表示第一帧中第i个目标块的融合特征的第k个通道分量，
Figure BDA0002859622170000089
表示
Figure BDA00028596221700000810
的傅里叶变换，
Figure BDA00028596221700000811
表示
Figure BDA00028596221700000812
的共轭，⊙表示对应位置元素相乘；
S4、更新各目标块的融合特征模板
Figure BDA00028596221700000813
与分类器权重系数
Figure BDA00028596221700000814
Figure BDA00028596221700000815
Figure BDA00028596221700000816
S5、对后续帧中的目标块进行多尺度检测；
S5.1、设置分类器的检测尺度：scale_step＝1.08、1和1/scale_step＝1/1.08；
S5.2、分类器按照三个不同检测尺度对第二帧中的目标块进行多尺度检测；
S5.2.1、读取第二帧图像，以第一帧跟踪目标的位置提取第二帧图像的目标块；
S5.2.2、将第二帧中各目标块按照步骤S2所述方法提取三个不同检测尺度下的融合特征，其中，第i个目标块提取的融合特征记为
Figure BDA00028596221700000817
S5.2.3、将融合特征模板
Figure BDA0002859622170000091
和融合特征
Figure BDA0002859622170000092
输入至分类器计算每个目标块在三个检测尺度下的特征响应图
Figure BDA0002859622170000093
λ＝1,2,3代表三个不同尺度；
特征响应图
Figure BDA0002859622170000094
的计算过程为：先计算
Figure BDA0002859622170000095
其中，
Figure BDA0002859622170000096
表示第二帧中第i个目标块在不同尺度下
Figure BDA0002859622170000097
与
Figure BDA0002859622170000098
的核相关傅里叶变换；再将
Figure BDA0002859622170000099
进行傅里叶逆变换，得到M×N大小的特征响应图
Figure BDA00028596221700000910
S5.2.4、提取各个特征响应图
Figure BDA00028596221700000911
中最大响应值及对应位置；然后选出各个目标块在三个检测尺度下的最大响应值
Figure BDA00028596221700000912
然后输出
Figure BDA00028596221700000913
对应的尺度、特征响应图
Figure BDA00028596221700000914
融合特征
Figure BDA00028596221700000915
和位置
Figure BDA00028596221700000916
S6、利用自适应加权算法计算本帧中跟踪目标的最终位置；
S6.1、计算第二帧中各目标块的权值系数
Figure BDA00028596221700000917
Figure BDA00028596221700000918
S6.2、计算第二帧中跟踪目标的最终位置(x2,y2)；
Figure BDA00028596221700000919
其中，(x1,y1)表示第一帧中跟踪目标的最终位置；
S7、构建各个目标块的平均峰值相关能量集合；
S7.1、为每一个目标块构建一个平均峰值相关能量集合APCEi；
S7.2、计算第二帧中各目标块的特征响应图的平均峰值相关能量；
Figure BDA00028596221700000920
其中，
Figure BDA00028596221700000921
表示第二帧中第i个目标块的特征响应图
Figure BDA00028596221700000922
的平均峰值相关能量，
Figure BDA00028596221700000923
分别表示第二帧中第i个目标块的特征响应图
Figure BDA00028596221700000924
的最大、最小响应值，
Figure BDA00028596221700000925
表示第二帧中第i个目标块的特征响应图
Figure BDA00028596221700000926
的第m行n列的响应值， m＝1,2,…,M，n＝1,2,…,N，mean(·)表示取平均值；
S7.3、判断平均峰值相关能量集合APCEi中的元素是否小于等于5，如果满足，则将
Figure BDA00028596221700000927
放入至APCEi，然后跳转至步骤S9；否则，保持APCEi不变，然后进入步骤S8；
S8、目标块遮挡检测；
设置阈值Ψ；判断当前帧中各目标块是否被遮挡，若当前帧中第i个目标块的
Figure BDA0002859622170000101
值满足：
Figure BDA0002859622170000102
则认为当前帧中第i个目标块未发生遮挡，并将
Figure BDA0002859622170000103
放入至APCEi，然后进入步骤S9；否则，认为当前帧中第i个目标块发生遮挡，丢弃本帧的
Figure BDA0002859622170000104
保持集合不变，然后进入步骤S9；
S9、通过自适应学习率更新各目标块的融合特征模板
Figure BDA0002859622170000105
与分类器权重系数
Figure BDA0002859622170000106
S9.1、根据当前帧目标位置提取各目标块，然后根据步骤S2所述方法提取各目标块的融合特征
Figure BDA0002859622170000107
再根据步骤S3所述方法求解分类器的权重系数
Figure BDA0002859622170000108
S9.2、设置自适应学习率η；
Figure BDA0002859622170000109
S9.3、根据自适应学习率更新各目标块的融合特征模板
Figure 3
与分类器f的权重系数
Figure 4
Figure BDA00028596221700001012
Figure BDA00028596221700001013
S9.4、当步骤S9.3更新完成后，令
Figure BDA00028596221700001014
S10、当步骤S9更新完成后，若截取的视频序列未读取完毕，返回至步骤 S5；否则结束。
在本实施例中，以OTB-2013数据集中的图像序列Jogging-1为例，截取目标被遮挡前(56帧)、遮挡中(75帧)、遮挡后(84帧)的图像，比较KCF的跟踪效果与本方法的跟踪效果，如图4所示，其中，图4上半部分是KCF的跟踪效果，图4下半部分是本方法的跟踪效果，从图中可以看到，在目标开始遮挡到遮挡结束，KCF跟踪方法在目标遮挡结束后，跟踪漂移目标丢失；而本方法可以持续准确的跟踪到目标位置，并在目标重新出现时，继续准确跟踪目标。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，其特征在于，包括以下步骤：
(1)、目标框自适应分块
采集被检测区域的视频，并截取连续的L帧图像，然后读取第一帧图像；
在第一帧图像中，随机选取一目标，将目标所在区域作为初始目标框，然后按照预设分块数目进行自适应分块，得到多个目标块；
(2)、提取各目标块的融合特征
(2.1)、设置用于提取LAB空间颜色特征的κ个质心；
(2.2)、将各目标块划分为M×N个4×4大小的元胞，记为元胞矩阵；
(2.3)、提取各目标块的FHOG特征与LAB空间颜色特征，再将FHOG特征与LAB空间颜色特征进行串联，得到各目标块(31+n)维的融合特征，记为
Figure FDA0003516550630000011
i表示目标块的编号，n为各目标块的LAB空间颜色特征的维度；
(3)、求解各目标块的分类器f；
利用核空间的岭回归求解各目标块的分类器f，在求解过程中，回归系数α在对偶空间的解为：
Figure FDA0003516550630000012
其中，
Figure FDA0003516550630000013
表示第一帧中第i个目标块的分类器权重系数，
Figure FDA0003516550630000014
是核矩阵的第一行，
Figure FDA0003516550630000015
为回归目标，λ为岭回归的正则项；
Figure FDA0003516550630000016
选用高斯核，其高斯核函数为：
Figure FDA0003516550630000017
其中，σ为高斯核函数的带宽，F-1表示傅里叶逆变换，
Figure FDA0003516550630000018
表示第一帧中第i个目标块的融合特征的第k个通道分量，
Figure FDA0003516550630000019
表示
Figure FDA00035165506300000110
的傅里叶变换，
Figure FDA00035165506300000111
表示
Figure FDA00035165506300000112
的共轭，⊙表示对应位置元素相乘；
(4)、更新各目标块的融合特征模板
Figure FDA00035165506300000113
与分类器权重系数
Figure FDA00035165506300000114
Figure FDA00035165506300000115
Figure FDA00035165506300000116
(5)、对后续帧中的目标块进行多尺度检测；
(5.1)、设置分类器的检测尺度：scale_step、1和1/scale_step；
(5.2)、分类器按照三个不同检测尺度对后续帧中的目标块进行多尺度检测；
(5.2.1)、读取当前帧图像，以上一帧跟踪目标的位置提取当前帧图像的目标块；
(5.2.2)、将当前帧图像的每个目标块按照步骤(2)所述方法提取三个不同检测尺度下的融合特征，其中，第i个目标块提取的融合特征记为
Figure FDA0003516550630000021
j＝2,3,…,L代表当前帧编号，λ＝1,2,3代表三个不同尺度；
(5.2.3)、将融合特征模板
Figure FDA0003516550630000022
和融合特征
Figure FDA0003516550630000023
输入至分类器，计算出每个目标块在三个检测尺度下的特征响应图
Figure FDA0003516550630000024
特征响应图
Figure FDA0003516550630000025
的计算过程为：先计算
Figure FDA0003516550630000026
Figure FDA0003516550630000027
其中，
Figure FDA0003516550630000028
表示当前帧中第i个目标块在不同尺度下
Figure FDA0003516550630000029
与
Figure FDA00035165506300000210
的核相关傅里叶变换；再将
Figure FDA00035165506300000211
进行傅里叶逆变换，得到M×N大小的特征响应图
Figure FDA00035165506300000212
(5.2.4)、提取各个特征响应图
Figure FDA00035165506300000213
中最大响应值及对应位置；然后选出各个目标块在三个检测尺度下的最大响应值
Figure FDA00035165506300000214
然后输出
Figure FDA00035165506300000215
对应的尺度、特征响应图
Figure FDA00035165506300000216
融合特征
Figure FDA00035165506300000217
和位置
Figure FDA00035165506300000218
(6)、利用自适应加权算法计算当前帧中跟踪目标的最终位置；
(6.1)、计算当前帧中各目标块的权值系数
Figure FDA00035165506300000219
Figure FDA00035165506300000220
(6.2)、计算当前帧中跟踪目标的最终位置(xj,yj)；
Figure FDA00035165506300000221
其中，(xj-1,yj-1)表示上一帧中跟踪目标的最终位置；
(7)、构建各个目标块的平均峰值相关能量集合；
(7.1)、为每一个目标块构建一个平均峰值相关能量集合APCEi；
(7.2)、计算当前帧中各目标块的特征响应图的平均峰值相关能量
Figure FDA00035165506300000222
然后判断平均峰值相关能量集合APCEi中的元素是否小于等于l，l＜＜L，如果满足，则将
Figure FDA0003516550630000031
放入至APCEi，然后跳转至步骤S9；否则，保持APCEi不变，然后进入步骤S8；
(8)、目标块遮挡检测；
设置阈值Ψ；判断当前帧中各目标块是否被遮挡，若当前帧中第i个目标块的
Figure FDA0003516550630000032
值满足：
Figure FDA0003516550630000033
mean(·)表示取平均值，则认为当前帧中第i个目标块未发生遮挡，并将
Figure FDA0003516550630000034
放入至APCEi，然后进入步骤S9；否则，认为当前帧中第i个目标块发生遮挡，丢弃本帧的
Figure FDA0003516550630000035
保持集合不变，然后进入步骤S9；
(9)、通过自适应学习率更新各目标块的融合特征模板
Figure FDA0003516550630000036
与分类器权重系数
Figure FDA0003516550630000037
(9.1)、根据当前帧目标位置提取各目标块，然后根据步骤(2)所述方法提取各目标块的融合特征
Figure FDA0003516550630000038
再根据步骤(3)所述方法求解分类器的权重系数
Figure FDA0003516550630000039
(9.2)设置自适应学习率η；
Figure FDA00035165506300000310
(9.3)、根据自适应学习率更新各目标块的融合特征模板
Figure FDA00035165506300000311
与分类器f的权重系数
Figure FDA00035165506300000312
Figure FDA00035165506300000313
Figure FDA00035165506300000314
(9.4)、当步骤(9.3)更新完成后，令
Figure FDA00035165506300000315
(10)、当步骤(9)更新完成后，若截取的视频序列未读取完毕，返回至步骤(5)；否则结束。
2.根据权利要求1所述的基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，其特征在于，所述的提取各目标块的FHOG特征与LAB空间颜色特征的具体方法为：
1)、提取各目标块的FHOG特征；
在元胞矩阵中，利用距离和方向线性插值产生元胞的9维无符号梯度方向HOG特征，再对每个元胞相对其邻域元胞进行归一化截断，得到元胞对应的4×9＝36维特征向量，对36维特征向量的各行各列分别进行求和，得到13维的特征向量；
同理，利用距离和方向线性插值产生元胞的18维有符号梯度方向HOG特征，对每个元胞相对其邻域元胞进行归一化截断得到元胞对应的4×18＝72维特征向量，对72维特征向量每列分别进行求和，得到18维特征向量，最终得到各目标块31维的FHOG特征；
2)、提取各目标块的LAB空间颜色特征；
在元胞矩阵中，将元胞矩阵从RGB空间转换至LAB空间，然后对每个元胞中的每个像素的lab值与设置的κ个质心分别求欧氏距离；计算当前像素点与其周围4个元胞中心的距离，利用该距离进行线性插值，将其分配至最近的4个元胞中与其lab值欧氏距离最小的质心直方图，并归一化，从而最终得到各目标块n维的LAB空间的颜色特征。
3.根据权利要求1所述的基于多特征融合与自适应学习率更新的抗遮挡跟踪方法，其特征在于，所述的计算当前帧中各目标块的特征响应图的平均峰值相关能量的方法为：
Figure FDA0003516550630000041
其中，
Figure FDA0003516550630000042
表示当前帧中第i个目标块的特征响应图
Figure FDA0003516550630000043
的平均峰值相关能量，
Figure FDA0003516550630000044
分别表示当前帧中第i个目标块的特征响应图
Figure FDA0003516550630000045
的最大、最小响应值，
Figure FDA0003516550630000046
表示当前帧中第i个目标块的特征响应图
Figure FDA0003516550630000047
的第m行n列的响应值，m＝1,2,…,M，n＝1,2,…,N，mean(·)表示取平均值。
CN202011562036.0A 2020-12-25 2020-12-25 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 Active CN112613565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011562036.0A CN112613565B (zh) 2020-12-25 2020-12-25 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011562036.0A CN112613565B (zh) 2020-12-25 2020-12-25 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法

Publications (2)

Publication Number Publication Date
CN112613565A CN112613565A (zh) 2021-04-06
CN112613565B true CN112613565B (zh) 2022-04-19

Family

ID=75245101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011562036.0A Active CN112613565B (zh) 2020-12-25 2020-12-25 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法

Country Status (1)

Country Link
CN (1) CN112613565B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763432B (zh) * 2021-09-10 2024-02-09 北京理工大学 基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法
CN113807250B (zh) * 2021-09-17 2024-02-02 沈阳航空航天大学 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127776A (zh) * 2016-06-28 2016-11-16 北京工业大学 基于多特征时空上下文机器人目标识别与运动决策方法
CN106326808A (zh) * 2015-06-23 2017-01-11 上海深邃智能科技有限公司 基于无人机图像的检测输电线路杆塔鸟窝的方法
CN109858415A (zh) * 2019-01-21 2019-06-07 东南大学 适用于移动机器人行人跟随的核相关滤波目标跟踪方法
CN110097575A (zh) * 2019-04-28 2019-08-06 电子科技大学 一种基于局部特征及尺度池的目标跟踪方法
CN110942472A (zh) * 2019-11-28 2020-03-31 广西师范大学 一种基于特征融合与自适应分块的核相关滤波跟踪方法
CN111260686A (zh) * 2020-01-09 2020-06-09 滨州学院 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统
CN111680713A (zh) * 2020-04-26 2020-09-18 中国科学院上海微系统与信息技术研究所 一种基于视觉检测的无人机对地目标跟踪与逼近方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989442B2 (en) * 2013-04-12 2015-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326808A (zh) * 2015-06-23 2017-01-11 上海深邃智能科技有限公司 基于无人机图像的检测输电线路杆塔鸟窝的方法
CN106127776A (zh) * 2016-06-28 2016-11-16 北京工业大学 基于多特征时空上下文机器人目标识别与运动决策方法
CN109858415A (zh) * 2019-01-21 2019-06-07 东南大学 适用于移动机器人行人跟随的核相关滤波目标跟踪方法
CN110097575A (zh) * 2019-04-28 2019-08-06 电子科技大学 一种基于局部特征及尺度池的目标跟踪方法
CN110942472A (zh) * 2019-11-28 2020-03-31 广西师范大学 一种基于特征融合与自适应分块的核相关滤波跟踪方法
CN111260686A (zh) * 2020-01-09 2020-06-09 滨州学院 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统
CN111680713A (zh) * 2020-04-26 2020-09-18 中国科学院上海微系统与信息技术研究所 一种基于视觉检测的无人机对地目标跟踪与逼近方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RGB-D图像中的分步超像素聚合和多模态融合目标检测;赵轩等;《中国图象图形学报》;20180816(第08期);145-155页 *
基于相关滤波的长期跟踪算法;李娜等;《模式识别与人工智能》;20181015(第10期);33-42页 *
特征融合的尺度自适应相关滤波跟踪算法;李聪等;《光学学报》;20171208(第05期);185-192页 *

Also Published As

Publication number Publication date
CN112613565A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN108765458B (zh) 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN108805904B (zh) 一种基于卫星序列图像的运动舰船检测与跟踪方法
Li et al. Robust visual tracking based on convolutional features with illumination and occlusion handing
CN108846854B (zh) 一种基于运动预测与多特征融合的车辆跟踪方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN103699905B (zh) 一种车牌定位方法及装置
CN112836639A (zh) 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
CN110033472B (zh) 一种复杂红外地面环境下的稳定目标跟踪方法
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN113327272B (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN116665095B (zh) 一种运动舰船检测方法、系统、存储介质和电子设备
CN112308883A (zh) 一种基于可见光和红外图像的多船舶融合跟踪方法
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
Zhang Sr et al. A ship target tracking algorithm based on deep learning and multiple features
CN108681691A (zh) 一种基于无人水面艇的海上船艇快速检测方法
CN111105436B (zh) 目标跟踪方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant