CN113066108A - 基于eco算法的抗遮挡视觉目标跟踪方法及装置 - Google Patents

基于eco算法的抗遮挡视觉目标跟踪方法及装置 Download PDF

Info

Publication number
CN113066108A
CN113066108A CN202110398035.5A CN202110398035A CN113066108A CN 113066108 A CN113066108 A CN 113066108A CN 202110398035 A CN202110398035 A CN 202110398035A CN 113066108 A CN113066108 A CN 113066108A
Authority
CN
China
Prior art keywords
target frame
sample
target
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110398035.5A
Other languages
English (en)
Other versions
CN113066108B (zh
Inventor
鹿璇
曾意
李磊
郑果
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zmvision Technology Co ltd
Original Assignee
Wuhan Zmvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zmvision Technology Co ltd filed Critical Wuhan Zmvision Technology Co ltd
Priority to CN202110398035.5A priority Critical patent/CN113066108B/zh
Publication of CN113066108A publication Critical patent/CN113066108A/zh
Application granted granted Critical
Publication of CN113066108B publication Critical patent/CN113066108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于ECO算法的抗遮挡视觉目标跟踪方法及装置，该方法包括以下步骤：读取视频或图像序列的第一帧图像，确定跟踪目标；将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；读取下一帧图像，利用训练好的相关滤波器获取当前帧图像的目标位置及其置信度概率；将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用；更新ECO算法的样本集；更新相关滤波器。本发明目标样本集精确，以此训练的滤波器对遮挡，形变等问题具有良好的鲁棒性、精确性以及快速性。

Description

基于ECO算法的抗遮挡视觉目标跟踪方法及装置
技术领域
本发明涉及计算机视觉应用目标跟踪领域，尤其涉及一种基于ECO算法的抗遮挡视觉目标跟踪方法及装置。
背景技术
视觉目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控，人机交互，无人驾驶等。
过去二三十年视觉目标跟踪技术取得了长足的进步，特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果，然而其网络的深度使其难以部署在微型嵌入式平台。另外，在实时的长时跟踪情况下，目标通常会受到形变，遮挡，背景混淆，相似目标干扰等情况。ECO利用样本集和滤波器在一定程度上解决了形变，背景混淆，相似目标干扰等问题，对于遮挡和大幅度形变，还仍有不足。
发明内容
本发明的目的在于提供一种基于ECO算法的抗遮挡视觉目标跟踪方法及装置，旨在用于解决ECO目标跟踪算法在面对目标遮挡或形变或相似目标干扰情况下样本获取不正确，导致训练效果受影响的问题。
本发明是这样实现的：
一方面，本发明提供一种基于ECO算法的抗遮挡视觉目标跟踪方法，包括以下步骤：
S1、读取视频或图像序列的第一帧图像，确定跟踪目标；
S2、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
S3、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
S4、将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；
S5、根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；
S6、根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；
S7、使用样本融合更新策略，更新ECO算法的样本集；
S8、利用获取的样本集训练ECO算法，更新相关滤波器；
S9、循环执行步骤S3～S8，直至当前视频或图像序列处理完。
进一步地，所述步骤S4具体包括：
(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；
(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；
(3)使用ORB算法对St和S(t-3)进行稀疏配准。
进一步地，所述步骤S5具体包括：
(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；
(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；
(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；
(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。
进一步地，所述步骤S6具体包括：
(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；
(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；
(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；
(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。
进一步地，所述步骤S7中使用的样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
(1)样本集未满，将新样本放到空余处；
(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
另一方面，本发明还提供一种基于ECO算法的抗遮挡视觉目标跟踪装置，包括：
跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
滤波器训练模块，用于将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
目标位置获取模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
配准模块，用于将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；
差分模块，用于根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；
目标框样本确定模块，用于根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；
样本集更新模块，用于使用样本融合更新策略，更新ECO算法的样本集；
滤波器更新模块，用于利用获取的样本集训练ECO算法，更新相关滤波器；
循环控制模块，用于控制目标位置获取模块、配准模块、差分模块、目标框样本确定模块、样本集更新模块以及滤波器更新模块循环执行，直至当前视频或图像序列处理完。
进一步地，所述配准模块具体用于：
(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；
(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；
(3)使用ORB算法对St和S(t-3)进行稀疏配准。
进一步地，所述差分模块具体用于：
(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；
(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；
(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；
(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。
进一步地，所述目标框样本确定模块具体用于：
(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；
(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；
(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；
(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。
进一步地，所述样本集更新模块使用的样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
(1)样本集未满，将新样本放到空余处；
(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
与现有技术相比，本发明具有以下有益效果：
本发明提供的这种基于ECO算法的抗遮挡视觉目标跟踪方法及装置，算法主体采用ECO目标跟踪算法，结合图像配准以及区域生长等算法，将当前帧图像与三帧前图像配准差分后得到差分图，根据差分图可得目标被遮挡以及形变程度，并重新分割目标框，本发明的分割方法不依赖物体本身的变化，分割的精度较高，分割之后使得形变样本得以补充，遮挡样本得以分割，生成了精确的目标样本集，且根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用并生成可用样本目标框，即根据目标的被遮挡程度选择相应的目标框确定策略来生成样本，使目标样本集更加精确，以此训练的滤波器对遮挡，形变等问题具有良好的鲁棒性、精确性以及快速性，尤其，不含深度网络的特性使其能高速运行在嵌入式平台，达到35FPS。
附图说明
图1为本发明实施例提供的一种基于ECO算法的抗遮挡视觉目标跟踪方法的流程图；
图2为本发明实施例提供的一种基于ECO算法的抗遮挡视觉目标跟踪装置的方框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于ECO算法的抗遮挡视觉目标跟踪方法，包括以下步骤：
S1、读取视频或图像序列的第一帧图像，人为设定或通过目标检测算法确定跟踪目标。
S2、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；具体包括：
先对跟踪目标所在候选区域z提取多尺度特征x，包括hog特征以及颜色cn特征，将提取的特征进行pca降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：
Figure BDA0003019306860000071
其中X(n,m)为降维后的离散特征，N、M对应二维离散特征的行数和列数；进一步将傅里叶变换之后的特征值插到连续域，公式如下：
Figure BDA0003019306860000072
其中Xd是第d层特征，Nd为每层特征的行数，bd为事先计算的权重，T为连续区间的右侧，随后将各个特征图和相关滤波器进行卷积操作，公式如下：
Figure BDA0003019306860000073
其中，fd对应的是第d层特征通道对应相关滤波器，Jd{xd}为第d层特征通道的连续域特征图，χ为所有特征通道，Sf{x}为样本x的得分置信度；
求解相关滤波器则通过最小化损失函数来实现，公式如下：
Figure BDA0003019306860000074
其中yj为label，即由当前训练样本对应生成且服从高斯向分布，αj为训练样本xj对应的权重，w为正则化因子。
S3、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
S4、将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；该步骤具体包括：
(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；
(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；
(3)使用ORB算法对St和S(t-3)进行稀疏配准。
由于该步骤要用到三帧前的图像，所以该步骤一般是从第四帧图像开始的，下面的步骤S5、步骤S6也是同样的。该步骤取当前帧图像和三帧前图像目标周围一定区域是为了将目标周围一定的背景区域包含进去，方便后续做配准以及差分，目标周围一定区域优选为目标周围10～16倍区域。
S5、根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；具体包括：
(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；
(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；
(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；
(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。
该步骤首先对当前帧图像和三帧前图像的重叠区域进行差分生成差分矩阵，然后根据差分矩阵可得目标被遮挡以及形变程度，并重新分割目标框，得到了更加精确的目标框，以提高滤波器训练的精度。
S6、根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；具体包括：
(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；
(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；
(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；
(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。
该步骤根据分割后的目标框从跟踪目标框外的配准点生成的区域占目标框的比例来确定目标框样本，当占比为0％时，代表目标无遮挡，直接使用ECO算法跟踪得到的目标框作为目标框样本训练相关滤波器；当占比较小在10％以下时，代表目标有轻微遮挡，该目标框的参考性较大，切除外部遮挡后可作为目标框样本训练相关滤波器；当占比中等处于10％～30％之间时，代表目标有一定程度遮挡，该目标框的参考性一般，可将三帧前的目标框再次作为目标框样本训练相关滤波器；当占比较大在30％以上时，代表目标遮挡严重，当前目标框样本参考性不大，直接放弃该目标框样本。采用以上的样本生成策略能进一步提高目标样本集的精确性，提高滤波器训练的鲁棒性、精确性以及快速性。
S7、使用样本融合更新策略，更新ECO算法的样本集；样本融合更新策略具体为：
设定样本集中最大样本数量，则若
(1)样本集未满，将新样本放到空余处；
(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
S8、利用获取的样本集训练ECO算法，更新相关滤波器。
S9、循环执行步骤S3～S8，直至当前视频或图像序列处理完。
基于同一发明构思，本发明实施例还提供一种基于ECO算法的抗遮挡视觉目标跟踪装置，由于该装置解决技术问题的原理与上述方法实施例相似，故该装置的实施可以参照上述方法的实施，重复之处不再赘述。
如图2所示，为本发明实施例提供的一种基于ECO算法的抗遮挡视觉目标跟踪装置，该装置包括：
跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
滤波器训练模块，用于将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
目标位置获取模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
配准模块，用于将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；
差分模块，用于根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；
目标框样本确定模块，用于根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；
样本集更新模块，用于使用样本融合更新策略，更新ECO算法的样本集；
滤波器更新模块，用于利用获取的样本集训练ECO算法，更新相关滤波器；
循环控制模块，用于控制目标位置获取模块、配准模块、差分模块、目标框样本确定模块、样本集更新模块以及滤波器更新模块循环执行，直至当前视频或图像序列处理完。
在一个实施例中，所述配准模块具体用于：
(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；
(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；
(3)使用ORB算法对St和S(t-3)进行稀疏配准。
在一个实施例中，所述差分模块具体用于：
(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；
(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；
(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；
(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。
在一个实施例中，所述目标框样本确定模块具体用于：
(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；
(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；
(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；
(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。
在一个实施例中，所述样本集更新模块使用的样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
(1)样本集未满，将新样本放到空余处；
(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
综上所述，本发明实施例提供的这种基于ECO算法的抗遮挡视觉目标跟踪方法及装置，算法主体采用ECO目标跟踪算法，结合图像配准以及区域生长等算法，将当前帧图像与三帧前图像配准差分后得到差分图，根据差分图可得目标被遮挡以及形变程度，并重新分割目标框，本发明的分割方法不依赖物体本身的变化，分割的精度较高，分割之后使得形变样本得以补充，遮挡样本得以分割，生成了精确的目标样本集，且根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用并生成可用样本目标框，即根据目标的被遮挡程度选择相应的目标框确定策略来生成样本，使目标样本集更加精确，以此训练的滤波器对遮挡，形变等问题具有良好的鲁棒性、精确性以及快速性，尤其，不含深度网络的特性使其能高速运行在嵌入式平台，达到35FPS。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于ECO算法的抗遮挡视觉目标跟踪方法，其特征在于，包括以下步骤：
S1、读取视频或图像序列的第一帧图像，确定跟踪目标；
S2、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
S3、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
S4、将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；
S5、根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；
S6、根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；
S7、使用样本融合更新策略，更新ECO算法的样本集；
S8、利用获取的样本集训练ECO算法，更新相关滤波器；
S9、循环执行步骤S3～S8，直至当前视频或图像序列处理完。
2.如权利要求1所述的基于ECO算法的抗遮挡视觉目标跟踪方法，其特征在于，所述步骤S4具体包括：
(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；
(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；
(3)使用ORB算法对St和S(t-3)进行稀疏配准。
3.如权利要求2所述的基于ECO算法的抗遮挡视觉目标跟踪方法，其特征在于，所述步骤S5具体包括：
(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；
(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；
(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；
(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。
4.如权利要求3所述的基于ECO算法的抗遮挡视觉目标跟踪方法，其特征在于，所述步骤S6具体包括：
(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；
(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；
(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；
(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。
5.如权利要求1所述的基于ECO算法的抗遮挡视觉目标跟踪方法，其特征在于，所述步骤S7中使用的样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
(1)样本集未满，将新样本放到空余处；
(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
6.一种基于ECO算法的抗遮挡视觉目标跟踪装置，其特征在于，包括：
跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
滤波器训练模块，用于将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
目标位置获取模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
配准模块，用于将当前帧图像目标周围一定区域与三帧前图像目标周围一定区域做配准；
差分模块，用于根据配准结果对两帧图像的重叠区域进行差分，根据差分图分割目标框；
目标框样本确定模块，用于根据分割后的目标框从目标框外的配准点生成的区域占目标框的比例判断当前目标框样本是否可用，若可用，生成可用样本目标框，若不可用，则放弃当前目标框样本；
样本集更新模块，用于使用样本融合更新策略，更新ECO算法的样本集；
滤波器更新模块，用于利用获取的样本集训练ECO算法，更新相关滤波器；
循环控制模块，用于控制目标位置获取模块、配准模块、差分模块、目标框样本确定模块、样本集更新模块以及滤波器更新模块循环执行，直至当前视频或图像序列处理完。
7.如权利要求6所述的基于ECO算法的抗遮挡视觉目标跟踪装置，其特征在于，所述配准模块具体用于：
(1)对当前帧图像的目标框bboxt[x,y,w,h]取周围10～16倍区域St；
(2)对三帧前图像目标框bbox(t-3)[x,y,w,h]取周围10～16倍区域S(t-3)；
(3)使用ORB算法对St和S(t-3)进行稀疏配准。
8.如权利要求7所述的基于ECO算法的抗遮挡视觉目标跟踪方法，其特征在于，所述差分模块具体用于：
(1)根据稀疏配准的结果求St和S(t-3)的偏移均值，得到总体偏移量[xf,yf]；
(2)根据总体偏移量计算两帧重叠区域St’,S(t-3)’；
(3)对两帧重叠区域St’,S(t-3)’进行差分，生成差分矩阵Offset；
(4)根据差分矩阵利用区域生长算法对步骤S4得到的配准点做生长分割，得到分割后的目标框。
9.如权利要求8所述的基于ECO算法的抗遮挡视觉目标跟踪方法，其特征在于，所述目标框样本确定模块具体用于：
(1)若分割后的目标框不存在从目标框外的配准点生成的区域，则使用ECO算法跟踪得到的目标框作为目标框样本；
(2)若分割后的目标框从目标框外的配准点生成的区域占目标框10％以下，则切除外部遮挡，得到可用目标框bboxt’作为目标框样本；
(3)若分割后的目标框从目标框外的配准点生成的区域占目标框10％～30％，则使用三帧前的目标框bbox(t-3)作为目标框样本；
(4)若分割后的目标框从目标框外的配准点生成的区域占目标框30％以上，则当前目标框样本不可用，放弃当前目标框样本。
10.如权利要求6所述的基于ECO算法的抗遮挡视觉目标跟踪方法，其特征在于，所述样本集更新模块使用的样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
(1)样本集未满，将新样本放到空余处；
(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
CN202110398035.5A 2021-04-14 2021-04-14 基于eco算法的抗遮挡视觉目标跟踪方法及装置 Active CN113066108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110398035.5A CN113066108B (zh) 2021-04-14 2021-04-14 基于eco算法的抗遮挡视觉目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110398035.5A CN113066108B (zh) 2021-04-14 2021-04-14 基于eco算法的抗遮挡视觉目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN113066108A true CN113066108A (zh) 2021-07-02
CN113066108B CN113066108B (zh) 2024-07-02

Family

ID=76566748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110398035.5A Active CN113066108B (zh) 2021-04-14 2021-04-14 基于eco算法的抗遮挡视觉目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN113066108B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313738A (zh) * 2021-07-15 2021-08-27 武汉卓目科技有限公司 基于eco与伺服联动的无人机目标跟踪方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222346A (zh) * 2011-05-23 2011-10-19 北京云加速信息技术有限公司 一种车辆检测和跟踪方法
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN111598925A (zh) * 2020-05-15 2020-08-28 武汉卓目科技有限公司 基于eco算法和区域生长分割的视觉目标跟踪方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222346A (zh) * 2011-05-23 2011-10-19 北京云加速信息技术有限公司 一种车辆检测和跟踪方法
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN111598925A (zh) * 2020-05-15 2020-08-28 武汉卓目科技有限公司 基于eco算法和区域生长分割的视觉目标跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
火元莲;李明;曹鹏飞;石明;: "基于深度特征与抗遮挡策略的运动目标跟踪", 西北师范大学学报(自然科学版), no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313738A (zh) * 2021-07-15 2021-08-27 武汉卓目科技有限公司 基于eco与伺服联动的无人机目标跟踪方法及装置
CN113313738B (zh) * 2021-07-15 2021-10-01 武汉卓目科技有限公司 基于eco与伺服联动的无人机目标跟踪方法及装置

Also Published As

Publication number Publication date
CN113066108B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN108765369B (zh) 肺结节的检测方法、装置、计算机设备和存储介质
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111951221B (zh) 一种基于深度神经网络的肾小球细胞图像识别方法
CN111598925B (zh) 基于eco算法和区域生长分割的视觉目标跟踪方法及装置
CN111666921A (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN110728697A (zh) 基于卷积神经网络的红外弱小目标检测跟踪方法
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
KR20130121202A (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
EP4250228A2 (en) Deformity edge detection
CN113327272B (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
US20220114724A1 (en) Image processing model generation method, image processing method and device, and electronic device
CN103955688A (zh) 一种基于计算机视觉的斑马鱼群检测与跟踪方法
CN106778767B (zh) 基于orb和主动视觉的视觉图像特征提取及匹配方法
CN116381672A (zh) 基于孪生网络雷达x波段多扩展目标自适应跟踪方法
CN114648547B (zh) 用于反无人机红外探测系统的弱小目标检测方法和装置
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN117315210B (zh) 一种基于立体成像的图像虚化方法及相关装置
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN113066108A (zh) 基于eco算法的抗遮挡视觉目标跟踪方法及装置
CN112700469A (zh) 一种基于eco算法和目标检测的视觉目标跟踪方法及装置
CN112990367A (zh) 一种图像处理方法、装置、设备以及存储介质
CN117237322A (zh) 一种基于医学图像的器官分割建模方法及终端
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
CN111784646A (zh) 图像处理装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 430072 No. 006, 20th floor, business project (China Pharmaceutical Technology Trading Market), No. 1, xiyaojian Road, north of Gaoxin Avenue and Heying Road, Donghu New Technology Development Zone, Wuhan, Hubei Province

Applicant after: Wuhan Zhuomu Technology Co.,Ltd.

Address before: A2-32-05, 2nd floor, Guannan science and Technology Industrial Park, Guandong street, Donghu New Technology Development Zone, Wuhan, Hubei Province

Applicant before: WUHAN ZMVISION TECHNOLOGY Co.,Ltd.

Country or region before: China

GR01 Patent grant