CN114022520A - 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法 - Google Patents

一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法 Download PDF

Info

Publication number
CN114022520A
CN114022520A CN202111189222.9A CN202111189222A CN114022520A CN 114022520 A CN114022520 A CN 114022520A CN 202111189222 A CN202111189222 A CN 202111189222A CN 114022520 A CN114022520 A CN 114022520A
Authority
CN
China
Prior art keywords
image
representing
gradient
value
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111189222.9A
Other languages
English (en)
Other versions
CN114022520B (zh
Inventor
陈路
闫涛
钱宇华
吴鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202111189222.9A priority Critical patent/CN114022520B/zh
Priority claimed from CN202111189222.9A external-priority patent/CN114022520B/zh
Publication of CN114022520A publication Critical patent/CN114022520A/zh
Application granted granted Critical
Publication of CN114022520B publication Critical patent/CN114022520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉与智能机器人领域，具体涉及一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法。为弥补现有目标跟踪算法无法很好兼顾跟踪精度与跟踪实时性的不足，本发明主要由跟踪模型构建、方向梯度直方图特征提取、响应图更新及卡尔曼滤波四部分构成，可有效提升目标跟踪算法的准确性与实时性，从而扩展移动机器人目标跟踪应用场景，提高移动机器人的多样化任务执行能力。

Description

一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法
技术领域
本发明属于计算机视觉与智能机器人领域，具体涉及一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法。
背景技术
随着人工智能、机器人控制和感知技术的不断发展，机器人已逐步应用于诸多领域，其通过人机交互、多机器人协同等手段可协助、替代人完成复杂环境下的多样化任务。相比于传统机器人，利用移动底盘的跟踪机器人正得到越来越广泛的关注，其可对特定目标保持追随状态，在特殊人群照顾、家庭服务、物流运输等领域具有广泛应用前景。由于具有成本低、信息丰富等优势，通常利用光学摄像头所拍摄的图像或视频信息，采用基于视觉的目标跟踪算法。
然而，传统基于目标模型和区域搜索的目标跟踪方法依赖目标视觉特征的一致性，在遮挡、光照变化和复杂背景等干扰条件下极易造成跟踪失败，且无法保证跟踪实时性。因此，现有目标跟踪方法通常利用滤波器或深度学习，前者跟踪速度快，但仍存在跟踪精度低的不足；后者通过深度神经网络提取高阶鲁棒特征，跟踪精度高，但相比于基于滤波的算法，其跟踪实时性较差。因此，提出一种适用于目标遮挡、杂乱背景等复杂场景，且同时具备较高跟踪精度和实时性的目标跟踪算法，具有十分重要的意义。
发明内容
本发明的目的在于弥补现有目标跟踪算法无法很好兼顾跟踪精度与跟踪实时性的不足，提出一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法。
为了达到上述目的，本发明采用了下列技术方案：
一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法，包括以下步骤：
步骤1，跟踪模型构建：采用矩形框将第一帧图像中的待跟踪目标进行人工标记，作为跟踪模板Iz；对于后续的每一帧图像Is，采用全卷积孪生网络分别提取Iz和Is对应的深度特征，表示为fz和fs，fz特征维度为M1 N1 C，fs特征维度为M N C；将fz作用于fs进行卷积操作，得到搜索图像Is中不同位置与模板Iz的特征相似度，即：位置响应图Imap，具体如下：
Figure BDA0003300520260000021
其中，*表示卷积操作，
Figure BDA0003300520260000022
表示数域；
步骤2，方向梯度直方图特征提取：提取对应图像Iz和Is区域的方向梯度直方图特征fHOG(Iz)和fHOG(Is)；
步骤3，响应图更新：对提取模板Iz和搜索图像Is的方向梯度直方图特征fHOG(Iz)和fHOG(Is)，采用皮尔逊相关系数评价两个特征向量间的相似性，具体如下：
Figure BDA0003300520260000023
其中，
Figure BDA0003300520260000024
表示特征fHOG(Iz)中第k个位置的数值，
Figure BDA0003300520260000025
表示特征fHOG(Iz)的均值，
Figure BDA0003300520260000026
表示特征fHOG(Is)中第k个位置的数值，
Figure BDA0003300520260000027
表示特征fHOG(Is)的均值；
进而计算搜索图像Is中不同位置与模板Iz的皮尔逊相关系数，得到基于方向梯度直方图特征的特征响应图Ifea，将Ifea与位置响应图Imap进行点乘操作，得到更新后的响应图Ifinal，即：
Ifinal＝IfeaeImap (5)
其中，e表示点乘操作，Ifinal中最大值所对应的位置可认为是待跟踪目标在图像中的出现位置；
步骤4，卡尔曼滤波：假设已跟踪目标的包围盒信息分别为Z0,Z1,...,Zk-2和Zk-1，
Figure BDA0003300520260000031
表示xk在k时刻的预测值，则xk+1的预测值
Figure BDA0003300520260000032
可表示为：
Figure BDA0003300520260000033
其中，φk+1,k表示状态转移矩阵；
对应的预测误差计算如下：
Figure BDA0003300520260000034
其中，xk+1表示k+1时刻的观测值，
Figure BDA0003300520260000035
为高斯白噪声，φk+1,k表示状态转移矩阵，
Figure BDA0003300520260000036
表示k时刻的预测误差；
利用公式(6)，跟踪目标位置的预测误差表示为：
Figure BDA0003300520260000037
其中，Hk表示状态变量到观测值的转移矩阵，
Figure BDA0003300520260000038
表示k时刻的预测误差，vk表示观测噪声；
根据公式(6)到(8)，
Figure BDA0003300520260000039
可表示为：
Figure BDA00033005202600000310
其中，Kk为卡尔曼滤波的增益矩阵，vk表示观测噪声，定义如下：
Figure BDA00033005202600000311
其中，Rk表示观测噪声vk的协方差，Pk为卡尔曼滤波的状态协方差预测函数，表示如下：
Figure BDA0003300520260000041
其中，Pk-1为k-1时刻的后验估计协方差，Qk-1表示预测模型本身噪声的协方差矩阵，因此，公式(11)修正为：
Pk＝(I-KkHk)Pk,k-1 (12)
最后，k+1时刻的预测包围盒位置表示为：
Figure BDA0003300520260000042
将
Figure BDA0003300520260000043
作为新的搜索图像Is，利用跟踪模板Iz实现下一帧图像中目标的跟踪。
进一步，所述步骤2中提取对应图像Iz和Is区域的方向梯度直方图特征，具体步骤为：
(1)全局归一化
对于输入图像G，采用下式进行全局归一化，以消除光照变化、局部阴影等因素的影响：
Figure BDA0003300520260000044
其中，gij表示图像G第i行，第j列的灰度值，m为G中的像素总数，
Figure BDA0003300520260000045
为
Figure BDA0003300520260000046
的标准差；
(2)梯度计算
通过计算不同图像位置的横向Tx(x,y)、纵向梯度Ty(x,y)，得到每个像素点的梯度值与梯度方向，以进一步突出图像边缘及纹理信息，具体如下：
Figure BDA0003300520260000047
其中，T(x,y)为(x,y)处的梯度值，θ(x,y)为对应的梯度方向；
(3)梯度直方图构建
将8×8个像素看作一个细胞，将梯度方向360度分为18个区间，根据每个像素点的梯度方向确定其对应的区间段，根据梯度值确定每个区间的累加值，得到当前细胞对应的梯度方向向量，将2×2个细胞组成一个块，串联4个细胞所对应的梯度方向向量，得到当前块的梯度方向特征；
对于尺寸为mG×nG的输入图像G，以8个像素为步长，共有
Figure BDA0003300520260000051
个块，将每个块所对应的梯度方向特征首尾相连，得到输入图像的梯度方向直方图特征fHOG。
进一步，所述步骤4中包围盒信息包括：包围盒中心点在图像中的横、纵坐标，包围盒宽度和高度。
与现有技术相比本发明具有以下优点：
1.对于物流运输、特殊人群陪伴等领域，可在道路环境变化、室内人群短时遮挡等条件下实现稳定的目标跟踪，并对突发状况做出及时反应；
2.可有效提升目标跟踪算法的准确性与实时性，从而扩展移动机器人目标跟踪应用场景，提高移动机器人的多样化任务执行能力。
附图说明
图1为本发明的移动机器人目标跟踪流程图；
图2为本发明的目标跟踪算法基本结构图；
图3为本发明与不同跟踪算法在OTB数据集下的跟踪效果对比。
具体实施方式
实施例1
以下结合附图对本发明进行详细的描述。应当指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
如图1、图2所示，本发明提出的一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法，其主要由跟踪模型构建、方向梯度直方图特征提取、响应图更新及卡尔曼滤波四部分构成。该方法具体包括步骤如下：
一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法，包括以下步骤：
步骤1，跟踪模型构建：采用矩形框将第一帧图像中的待跟踪目标进行人工标记，作为跟踪模板Iz；对于后续的每一帧图像Is(搜索图像)，采用全卷积孪生网络[1]分别提取Iz和Is对应的深度特征，表示为fz和fs，fz特征维度为M1 N1 C，fs特征维度为M N C；将fz作用于fs进行卷积操作，得到搜索图像Is中不同位置与模板Iz的特征相似度，即：位置响应图Imap，具体如下：
Figure BDA0003300520260000061
其中，*表示卷积操作，
Figure BDA0003300520260000062
表示数域；
[1]Bertinetto,Luca,et al.“Fully-convolutional Siamese Networks forObject Tracking”,European Conference on Computer Vision.Springer,Cham,2016:850-865.
步骤2，方向梯度直方图特征提取：提取对应图像Iz和Is区域的方向梯度直方图特征fHOG(Iz)和fHOG(Is)，具体步骤为：
(1)全局归一化
对于输入图像G，采用下式进行全局归一化：
Figure BDA0003300520260000063
其中，gij表示图像G第i行，第j列的灰度值，m为G中的像素总数，
Figure BDA0003300520260000064
为
Figure BDA0003300520260000065
的标准差；
(2)梯度计算
通过计算不同图像位置的横向Tx(x，y)、纵向梯度Ty(x，y)，得到每个像素点的梯度值与梯度方向，以进一步突出图像边缘及纹理信息，具体如下：
Figure BDA0003300520260000071
其中，T(x，y)为(x，y)处的梯度值，θ(x，y)为对应的梯度方向；
(3)梯度直方图构建
将8×8个像素看作一个细胞，将梯度方向360度分为18个区间，根据每个像素点的梯度方向确定其对应的区间段，根据梯度值确定每个区间的累加值，得到当前细胞对应的梯度方向向量，将2×2个细胞组成一个块，串联4个细胞所对应的梯度方向向量，得到当前块的梯度方向特征；
对于尺寸为mG×nG的输入图像G，以8个像素为步长，共有
Figure BDA0003300520260000072
个块，将每个块所对应的梯度方向特征首尾相连，得到输入图像的梯度方向直方图特征fHOG。
步骤3，响应图更新：对提取模板Iz和搜索图像Is的方向梯度直方图特征fHOG(Iz)和fHOG(Is)，采用皮尔逊相关系数评价两个特征向量间的相似性，具体如下：
Figure BDA0003300520260000073
其中，
Figure BDA0003300520260000074
表示特征fHOG(Iz)中第k个位置的数值，
Figure BDA0003300520260000075
表示特征fHOG(Iz)的均值，
Figure BDA0003300520260000076
表示特征fHOG(Is)中第k个位置的数值，
Figure BDA0003300520260000077
表示特征fHOG(Is)的均值；
进而计算搜索图像Is中不同位置与模板Iz的皮尔逊相关系数，得到基于方向梯度直方图特征的特征响应图Ifea，将Ifea与位置响应图Imap进行点乘操作，得到更新后的响应图Ifinal，即：
Ifinal＝Ifea eImap (5)
其中，⊙表示点乘操作，Ifinal中最大值所对应的位置可认为是待跟踪目标在图像中的出现位置；
步骤4，卡尔曼滤波：假设已跟踪目标的包围盒信息(包括：包围盒中心点在图像中的横、纵坐标，包围盒宽度和高度)分别为Z0,Z1,...,Zk-2和Zk-1，
Figure BDA0003300520260000081
表示xk在k时刻的预测值，则xk+1的预测值
Figure BDA0003300520260000082
可表示为：
Figure BDA0003300520260000083
其中，φk+1,k表示状态转移矩阵；
对应的预测误差计算如下：
Figure BDA0003300520260000084
其中，xk+1表示k+1时刻的观测值，
Figure BDA0003300520260000085
为高斯白噪声，φk+1,k表示状态转移矩阵，
Figure BDA0003300520260000086
表示k时刻的预测误差；
利用公式(6)，跟踪目标位置的预测误差表示为：
Figure BDA0003300520260000087
其中，Hk表示状态变量到观测值的转移矩阵，
Figure BDA0003300520260000088
表示k时刻的预测误差，vk表示观测噪声；
根据公式(6)到(8)，
Figure BDA0003300520260000089
可表示为：
Figure BDA00033005202600000810
其中，Kk为卡尔曼滤波的增益矩阵，vk表示观测噪声，定义如下：
Figure BDA0003300520260000091
其中，Rk表示观测噪声vk的协方差，Pk为卡尔曼滤波的状态协方差预测函数，表示如下：
Figure BDA0003300520260000092
其中，Pk-1为k-1时刻的后验估计协方差，Qk-1表示预测模型本身噪声的协方差矩阵，因此，公式(11)修正为：
Pk＝(I-KkHk)Pk，k-1 (12)
最后，k+1时刻的预测包围盒位置表示为：
Figure BDA0003300520260000093
将
Figure BDA0003300520260000094
作为新的搜索图像Is，利用跟踪模板Iz实现下一帧图像中目标的跟踪。
实施例2
定量对比：基于OTB数据集，在平均跟踪精度、平均跟踪覆盖率和算法效率三个方面比较本发明与对比算法的效果，见表1。可以看出，本发明的平均跟踪精度为80.5％，平均跟踪覆盖率为69.3％，算法效率为73，在上述三个指标上均具有优势。
表1本发明与对比算法在OTB数据集的效果对比
Figure BDA0003300520260000095
[2]Bertinetto,Luca,et al."Fully-convolutional siamese networks forobject tracking."European Conference on Computer Vision.Springer,Cham,pp.850-865,2016.
[3]Guo,Qing,et al."Learning dynamic siamese network for visual objecttracking."Proceedings of the IEEE international conference on computervision,pp.1763-1771,2017.
定性对比：图3给出不同跟踪算法在OTB数据集下的跟踪效果对比，可以看出，相比于对于算法，本发明所生成的跟踪框(红色框)与跟踪物体的边界吻合度更好，进一步验证了本发明的先进性。

Claims (3)

1.一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法，其特征在于，包括以下步骤：
步骤1，跟踪模型构建：采用矩形框将第一帧图像中的待跟踪目标进行人工标记，作为跟踪模板Iz；对于后续的每一帧图像Is，采用全卷积孪生网络分别提取Iz和Is对应的深度特征，表示为fz和fs，fz特征维度为M1 N1 C，fs特征维度为M N C；将fz作用于fs进行卷积操作，得到搜索图像Is中不同位置与模板Iz的特征相似度，即：位置响应图Imap，具体如下：
Figure FDA0003300520250000011
其中，*表示卷积操作，
Figure FDA0003300520250000012
表示数域；
步骤2，方向梯度直方图特征提取：提取对应图像Iz和Is区域的方向梯度直方图特征fHOG(Iz)和fHOG(Is)；
步骤3，响应图更新：对提取模板Iz和搜索图像Is的方向梯度直方图特征fHOG(Iz)和fHOG(Is)，采用皮尔逊相关系数评价两个特征向量间的相似性，具体如下：
Figure FDA0003300520250000013
其中，
Figure FDA0003300520250000014
表示特征fHOG(Iz)中第k个位置的数值，
Figure FDA0003300520250000015
表示特征fHOG(Iz)的均值，
Figure FDA0003300520250000016
表示特征fHOG(Is)中第k个位置的数值，
Figure FDA0003300520250000017
表示特征fHOG(Is)的均值；
进而计算搜索图像Is中不同位置与模板Iz的皮尔逊相关系数，得到基于方向梯度直方图特征的特征响应图Ifea，将Ifea与位置响应图Imap进行点乘操作，得到更新后的响应图Ifinal，即：
Ifinal＝Ifea⊙Imap (5)
其中，e表示点乘操作，Ifinal中最大值所对应的位置可认为是待跟踪目标在图像中的出现位置；
步骤4，卡尔曼滤波：假设已跟踪目标的包围盒信息分别为Z0,Z1,...,Zk-2和Zk-1，
Figure FDA0003300520250000021
表示xk在k时刻的预测值，则xk+1的预测值
Figure FDA0003300520250000022
可表示为：
Figure FDA0003300520250000023
其中，φk+1,k表示状态转移矩阵；
对应的预测误差计算如下：
Figure FDA0003300520250000024
其中，xk+1表示k+1时刻的观测值，
Figure FDA0003300520250000025
为高斯白噪声，φk+1,k表示状态转移矩阵，
Figure FDA0003300520250000026
表示k时刻的预测误差；
利用公式(6)，跟踪目标位置的预测误差表示为：
Figure FDA0003300520250000027
其中，Hk表示状态变量到观测值的转移矩阵，
Figure FDA0003300520250000028
表示k时刻的预测误差，vk表示观测噪声；
根据公式(6)到(8)，
Figure FDA0003300520250000029
可表示为：
Figure FDA00033005202500000210
其中，Kk为卡尔曼滤波的增益矩阵，vk表示观测噪声，定义如下：
Figure FDA00033005202500000211
其中，Rk表示观测噪声vk的协方差，Pk为卡尔曼滤波的状态协方差预测函数，表示如下：
Figure FDA0003300520250000031
其中，Pk-1为k-1时刻的后验估计协方差，Qk-1表示预测模型本身噪声的协方差矩阵，因此，公式(11)修正为：
Pk＝(I-KkHk)Pk,k-1 (12)
最后，k+1时刻的预测包围盒位置表示为：
Figure FDA0003300520250000032
将
Figure FDA0003300520250000033
作为新的搜索图像Is，利用跟踪模板Iz实现下一帧图像中目标的跟踪。
2.根据权利要求1所述的一种基于卡尔曼滤波的移动机器人目标跟踪方法，其特征在于，所述步骤2中提取对应图像Iz和Is区域的方向梯度直方图特征，具体步骤为：
(1)全局归一化
对于输入图像G，采用下式进行全局归一化：
Figure FDA0003300520250000034
其中，gij表示图像G第i行，第j列的灰度值，m为G中的像素总数，
Figure FDA0003300520250000035
为
Figure FDA0003300520250000036
的标准差；
(2)梯度计算
通过计算不同图像位置的横向Tx(x,y)、纵向梯度Ty(x,y)，得到每个像素点的梯度值与梯度方向，以进一步突出图像边缘及纹理信息，具体如下：
Figure FDA0003300520250000037
其中，T(x,y)为(x,y)处的梯度值，θ(x,y)为对应的梯度方向；
(3)梯度直方图构建
将8×8个像素看作一个细胞，将梯度方向360度分为18个区间，根据每个像素点的梯度方向确定其对应的区间段，根据梯度值确定每个区间的累加值，得到当前细胞对应的梯度方向向量，将2×2个细胞组成一个块，串联4个细胞所对应的梯度方向向量，得到当前块的梯度方向特征；
对于尺寸为mG×nG的输入图像G，以8个像素为步长，共有
Figure FDA0003300520250000041
个块，将每个块所对应的梯度方向特征首尾相连，得到输入图像的梯度方向直方图特征fHOG。
3.根据权利要求1所述的一种基于卡尔曼滤波的移动机器人目标跟踪方法，其特征在于，所述步骤4中包围盒信息包括：包围盒中心点在图像中的横、纵坐标，包围盒宽度和高度。
CN202111189222.9A 2021-10-12 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法 Active CN114022520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111189222.9A CN114022520B (zh) 2021-10-12 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111189222.9A CN114022520B (zh) 2021-10-12 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法

Publications (2)

Publication Number Publication Date
CN114022520A true CN114022520A (zh) 2022-02-08
CN114022520B CN114022520B (zh) 2024-05-28

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222771A (zh) * 2022-07-05 2022-10-21 北京建筑大学 一种目标跟踪方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780542A (zh) * 2016-12-29 2017-05-31 北京理工大学 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法
CN111310637A (zh) * 2020-02-11 2020-06-19 山西大学 一种基于尺度不变网络的机器人目标抓取检测方法
CN111986225A (zh) * 2020-08-14 2020-11-24 山东大学 一种基于角点检测和孪生网络的多目标跟踪方法及装置
CN112507859A (zh) * 2020-12-05 2021-03-16 西北工业大学 一种用于移动机器人的视觉跟踪方法
WO2021134285A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 图像跟踪处理方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780542A (zh) * 2016-12-29 2017-05-31 北京理工大学 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法
WO2021134285A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 图像跟踪处理方法、装置、计算机设备和存储介质
CN111310637A (zh) * 2020-02-11 2020-06-19 山西大学 一种基于尺度不变网络的机器人目标抓取检测方法
CN111986225A (zh) * 2020-08-14 2020-11-24 山东大学 一种基于角点检测和孪生网络的多目标跟踪方法及装置
CN112507859A (zh) * 2020-12-05 2021-03-16 西北工业大学 一种用于移动机器人的视觉跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张子龙;王永雄;: "基于卡尔曼滤波的SiamRPN目标跟踪方法", 智能计算机与应用, no. 03, 1 March 2020 (2020-03-01) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222771A (zh) * 2022-07-05 2022-10-21 北京建筑大学 一种目标跟踪方法及装置

Similar Documents

Publication Publication Date Title
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN111626128A (zh) 一种基于改进YOLOv3的果园环境下行人检测方法
CN110930454A (zh) 一种基于边界框外关键点定位的六自由度位姿估计算法
CN108537818B (zh) 基于集群压力lstm的人群轨迹预测方法
CN110473231B (zh) 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN111368759B (zh) 基于单目视觉的移动机器人语义地图构建系统
CN111340881B (zh) 一种动态场景下基于语义分割的直接法视觉定位方法
CN110032952B (zh) 一种基于深度学习的道路边界点检测方法
CN113706581B (zh) 基于残差通道注意与多层次分类回归的目标跟踪方法
CN105809672A (zh) 一种基于超像素和结构化约束的图像多目标协同分割方法
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN111640138B (zh) 一种目标跟踪方法、装置、设备及存储介质
CN113763427B (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN113592894B (zh) 一种基于边界框和同现特征预测的图像分割方法
CN108537825B (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN112686952A (zh) 一种图像光流计算系统、方法及应用
CN115375737A (zh) 基于自适应时间与序列化时空特征的目标跟踪方法与系统
CN109993772B (zh) 基于时空采样的实例级别特征聚合方法
CN113610760A (zh) 一种基于u型残差神经网络的细胞图像分割示踪方法
CN114022520B (zh) 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法
CN114022520A (zh) 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法
CN114943741A (zh) 一种动态场景下基于目标检测和几何概率的视觉slam方法
CN114067240A (zh) 一种融合行人特性的在线更新策略行人单目标跟踪方法
CN113496159B (zh) 一种多尺度卷积与动态权重代价函数的烟尘目标分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant