CN112700469A - 一种基于eco算法和目标检测的视觉目标跟踪方法及装置 - Google Patents
一种基于eco算法和目标检测的视觉目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN112700469A CN112700469A CN202011607826.6A CN202011607826A CN112700469A CN 112700469 A CN112700469 A CN 112700469A CN 202011607826 A CN202011607826 A CN 202011607826A CN 112700469 A CN112700469 A CN 112700469A
- Authority
- CN
- China
- Prior art keywords
- target
- detection
- frame
- candidate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000007477 logistic regression Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010026749 Mania Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种基于ECO算法和目标检测的视觉目标跟踪方法及装置,方法包括读取视频或图像序列的第一帧图像,确定跟踪目标;将跟踪目标送入检测网络,确定目标类别;将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器;读取下一帧图像,利用训练好的相关滤波器卷积图像候选区域获取目标位置;每割一定帧数用检测算法在追踪到的目标位置处检测同类物体,计算检测框与跟踪框的IOU,取最大的检测框为样本框,计算此框的置信度,若大于阈值则提取此框内的特征作为样本替换ECO算法产生的样本;使用样本融合更新策略,更新ECO算法的样本集;利用获取的样本集训练ECO算法,更新相关滤波器,利用相关滤波器卷积图像候选区域获取目标位置;循环执行上述步骤。
Description
技术领域
本发明涉及计算机视觉应用目标跟踪领域,具体涉及一种基于ECO算法和目标检测的视觉目标跟踪方法及装置。
背景技术
视觉目标跟踪是计算机视觉中一个重要研究方向,在军事无人飞行器、精确制导以及空中预警和民用视频监控,人机交互和无人驾驶等众多领域有着极其广泛的应用。
视觉跟踪技术是类别无关的人工智能技术。不同于检测或分割领域里确定的目标信息,跟踪主体可能是车,人,动物,甚至电影里虚构的形象,因此跟踪框架对目标外观特征和判别性特征尤其敏感,前者主要用于模板匹配,后者帮助跟踪器将目标从背景和相似目标中区分出来。然而在实时跟踪的场景中,经过长时间的变化,当前目标和模板会有非常大的不同,即使对于加了更新机制的跟踪器,模板在迭代过程中,引入的噪声通常也会引起跟踪框漂移甚至丢失的问题。
发明内容
鉴于现有技术中存在的技术缺陷和技术弊端,本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种基于ECO算法和目标检测的视觉目标跟踪方法,旨在为跟踪加入语义信息辅助判断,检测部分对目标类别和形态更为敏感,能有效的应对目标形变,增加跟踪器的鲁棒性,基于检测框架精度高,而传统跟踪器速度高的特点,我们结合二者,利用传统跟踪器短时跟踪,并隔一定帧数用检测器修正跟踪框和跟踪样本集,达到速度和精度的完美平衡,具体方案如下:
作为本发明的第一方面,提供一种基于ECO算法和目标检测的视觉目标跟踪方法,其特征在于,所述方法包括:
步骤1,读取视频或图像序列的第一帧图像,确定该帧图像中的跟踪目标,将跟踪目标送入检测网络,确定目标类别,获取对应的检测框;
步骤2,将第一帧图像中的跟踪目标检测框中的特征作为样本放入ECO算法训练相关滤波器;
步骤3,读取下一帧图像,利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征,获取当前帧图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率;
重复执行步骤3,直至当前视频或图像序列处理完。
进一步地,所述检测网络为检测网络yolo3,将跟踪目标送入检测网络yolo3,确定目标类别,获取对应的检测框具体为:
步骤1.1,对跟踪目标的目标框bbox1[x,y,w,h]进行切片;
步骤1.2,将切片缩放后送入检测网络yolo3进行类别检测;
步骤1.3,经过检测网络yolo3类别检测后,输出y1、y2和y3三种大小等级的网格,每个网格预测3个anchor;
步骤1.4每个anchor需要有x、y、w、h和confidence五个基本参数以及80个类别的概率,3anchor*(5+80)=255,即每个等级的输出通道为255;
步骤1.5,使用logistic回归对每个anchor包围的内容进行了一个目标性评分,根据目标性评分来选择anchor prior进行predict,即基于目标性评分从多个anchor中进行选择,选取评分最好的几个anchor来进行预测;
步骤1.6,由于输入是以目标为中心将目标切片缩放过,因此,最终将Y3在(52*52)的中心位置(26,26)的输出[1*1*255]的anchor prior中取anchor[373,326]对应的80个类别里最大的一个类别,作为确定的目标类别,即获取对应的检测框。
进一步地,其特征在于,所述方法还包括:
步骤4,每间隔k帧图像在与步骤3同样的候选区域用检测网络yolo3检测同类目标,并获取对应的一系列候选检测框;
步骤5,计算得到的多个候选检测框的交并比,得到最大交并比对应的候选检测框,对于该候选检测框,计算与步骤S3中的候选区域同位置处的置信度,若该置信度大于预设阈值,取该候选检测框内特征作为新样本;
步骤6,基于获取的新样本,使用样本融合更新策略,更新ECO算法的样本集,将获取的新样本集放入ECO算法训练相关滤波器,更新相关滤波器,利用更新后的相关滤波器卷积图像候选区域对应的特征,获取图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
进一步地,步骤4中,每间隔k帧图像在与步骤3同样的候选区域用检测网络yolo3检测同类目标,并获取对应的一系列候选检测框具体为:
步骤4.1,已知第t帧的跟踪结果bboxt[x,y,w,h](x,y为左上角角点)与候选区域boxt[x-w/2,y-h/2,2w,2h];
步骤4.2,对候选区域boxt[x-w/2,y-h/2,2w,2h]进行切片;
步骤4.3,将切片缩放后送入yolo3进行类别检测;
步骤4.4,经过检测网络yolo3类别检测后,输出y1、y2和y3三种大小等级的网格,每个网格预测3个anchor;
步骤4.5,每个anchor需要有x、y、w、h和confidence五个基本参数以及80个类别的概率,3anchor*(5+80)=255,即每个等级的输出通道为255;
步骤4.6,使用logistic回归对每个anchor包围的内容进行了一个目标性评分,根据目标性评分来选择anchor prior进行predict;
步骤4.7,由于此时目标预估为切片区域的1/4大小,且由于目标跟踪的不确定性,考虑Y1、Y2和Y3网格中所有的输出,并取步骤4.7的anchor prior中分类为与S1同类的anchor,从而得到一系列候选检测框{bbox1...bboxn}。
进一步地,步骤5具体为:
步骤5.1,从候选检测框序列里按顺序取检测框bboxi;
步骤5.3,将计算的值压入堆栈;
重复步骤5.1-步骤5.3,直到取完候选检测框序列里面所有的候选检测框,取最大交并比对应的候选检测框,基于该候选检测框,计算与步骤S3中的候选区域同位置处的置信度,若该置信度大于预设阈值,取该候选检测框内特征作为新样本。
作为本发明的第二方面,提供一种基于ECO算法和目标检测的视觉目标跟踪装置,所述装置包括:跟踪目标确定模块、目标类别确定模块、ECO训练模块、目标位置计算模块;
所述跟踪目标确定模块用于读取视频或图像序列的第一帧图像,确定该帧图像中的跟踪目标;所述目标类别确定模块用于将跟踪目标送入检测网络,确定目标类别,获取对应的检测框;
所述ECO训练模块用于将第一帧图像中的跟踪目标检测框中的特征作为样本放入ECO算法训练相关滤波器;
所述目标位置计算模块用于读取下一帧图像,利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征,获取当前帧图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率;以此将当前视频或图像序列处理完。
进一步地,所述检测网络为检测网络yolo3,所述目标类别确定模块将跟踪目标送入检测网络yolo3,确定目标类别,获取对应的检测框具体为:
步骤1.1,对跟踪目标的目标框bbox1[x,y,w,h]进行切片;
步骤1.2,将切片缩放后送入检测网络yolo3进行类别检测;
步骤1.3,经过检测网络yolo3类别检测后,输出y1、y2和y3三种大小等级的网格,每个网格预测3个anchor;
步骤1.4每个anchor需要有x、y、w、h和confidence五个基本参数以及80个类别的概率,3anchor*(5+80)=255,即每个等级的输出通道为255;
步骤1.5,使用logistic回归对每个anchor包围的内容进行了一个目标性评分,根据目标性评分来选择anchor prior进行predict;
步骤1.6,由于输入是以目标为中心将目标切片缩放过,因此,最终将Y3在(52*52)的中心位置(26,26)的输出[1*1*255]的anchor prior中取anchor[373,326]对应的80个类别里最大的一个类别,作为确定的目标类别,即获取对应的检测框。
进一步地,所述装置还包括样本集更新模块,所述样本集更新模块具体用于:
每间隔k帧图像在与目标位置计算模块中的当前帧候图像相同的候选区域用检测网络yolo3检测同类目标,并获取对应的一系列候选检测框;
计算得到的多个候选检测框的交并比,得到最大交并比对应的候选检测框,对于该候选检测框,计算与目标位置计算模块中的当前帧候选区域同位置处的置信度,若该置信度大于预设阈值,取该候选检测框内特征作为新样本;
基于获取的新样本,使用样本融合更新策略,更新ECO算法的样本集,将获取的新样本集放入ECO算法训练相关滤波器,更新相关滤波器,利用更新后的相关滤波器卷积图像候选区域对应的特征,获取图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
进一步地,每间隔k帧在与目标位置计算模块中的当前帧候图像相同的候选区域用检测网络yolo3检测同类目标,并获取对应的一系列候选检测框具体为:
已知第t帧的跟踪结果bboxt[x,y,w,h](x,y为左上角角点)与候选区域boxt[x-w/2,y-h/2,2w,2h];
对候选区域boxt[x-w/2,y-h/2,2w,2h]进行切片;
将切片缩放后送入yolo3进行类别检测;
经过检测网络yolo3类别检测后,输出y1、y2和y3三种大小等级的网格,每个网格预测3个anchor;
每个anchor需要有x、y、w、h和confidence五个基本参数以及80个类别的概率,3anchor*(5+80)=255,即每个等级的输出通道为255;
使用logistic回归对每个anchor包围的内容进行了一个目标性评分,根据目标性评分来选择anchor prior进行predict;
由于此时目标预估为切片区域的1/4大小,且由于目标跟踪的不确定性,考虑Y1、Y2和Y3网格中所有的输出,并取选取的anchor prior中分类为与第一帧图像同类的anchor,从而得到一系列候选检测框{bbox1...bboxn};
进一步地,计算得到的多个候选检测框的交并比,得到最大交并比对应的候选检测框,对于该候选检测框,计算与目标位置计算模块中的当前帧候选区域同位置处的置信度,若该置信度大于预设阈值,取该候选检测框内特征作为新样本具体为:
A,从候选检测框序列里按顺序取检测框bboxi;
C,将计算的值压入堆栈;
重复执行A-C,直到取完候选检测框序列里面所有的候选检测框,得到最大交并比对应的候选检测框,基于该候选检测框,计算与目标位置计算模块中的当前帧候选区域同位置处的置信度,若该置信度大于预设阈值,取该候选检测框内特征作为新样本。
本发明具有以下有益效果:
本发明的提供的这种基于ECO算法和目标检测的视觉目标跟踪方法及装置,算法主体采用ECO目标跟踪算法,同时加入目标检测YOLO3算法,观察到在遮挡或形变或时,ECO算法框中的目标易出现偏离,导致之后不再遮挡或形变时目标跟踪会受影响,于是对于目标出现遮挡或形变时,结合目标检测得到形状轮廓更为完整的目标样本,并隔一定帧数用检测器修正跟踪框和跟踪样本集,提升训练效果,达到速度和精度的完美平衡。
附图说明
图1为本发明实施例提供的基于ECO算法和目标检测的视觉目标跟踪方法的流程图。
图2为本发明实施例提供的将第一帧图像中的跟踪目标切片送入检测网络YOLO3的示意图;
图3为本发明实施例提供的将第t帧图像中的跟踪目标切片送入检测网络YOLO3的示意图;
图4为本发明实施例提供的多个候选检测框的交并比示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,作为本发明的第一实施例,提供一种基于ECO算法和目标检测的视觉目标跟踪方法,包括以下步骤:
S1、读取视频或图像序列的第一帧图像,人为设定或通过目标检测算法确定跟踪目标。
S2,将跟踪目标切片送入检测网络YOLO3确定类别:具体包括:
1)对目标框bbox1[x,y,w,h]进行切片
2)将切片放缩后送入检测网络yolo3进行类别检测
3)Yolo3经过如下图2的网络,输出y1,y2,y3三种大小等级,共9组anchor的输出,每个网格单元预测3个即anchor,对应关系如下表1:
Anchor1 | Anchor2 | Anchor3 | |
Y1(13*13) | [10,13] | [16,30] | [33,23] |
Y2(26*26) | [30,61] | [62,45] | [59,119] |
Y3(52*52) | [116,90] | [156,198] | [373,326] |
表1
4)每个anchor需要有(x,y,w,h,confidence)五个基本参数,然后还要有80个类别的概率,所以3anchor*(5+80)=255,即每个等级的输出通道为255
5)使用logistic回归来对每个anchor包围的内容进行了一个目标性评分(objectness score)。根据目标性评分来选择anchor prior进行predict,即不是所有anchor prior都会有输出。
由于输入是一目标为中心将目标切片缩放到416*416,因而最终只需要看Y3在(52*52)的中心位置(26,26)的输出[1*1*255]的anchor prior中取box[373,326]对应的80个类别里最大的那个,即为确定的目标类别。
S3、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器;具体包括:
先对跟踪目标所在候选区域z提取多尺度特征x,包括hog特征以及颜色cn特征,将提取的特征进行pca降维,然后通过傅里叶变换由时域转为频域,傅里叶转化公式如下:
其中X(n,m)为降维后的离散特征,N、M对应二维离散特征的行数和列数;进一步将傅里叶变换之后的特征值插到连续域,公式如下:
其中Xd是第d层特征,Nd为每层特征的行数,bd为事先计算的权重,T为连续区间的右侧,随后将各个特征图和相关滤波器进行卷积操作,公式如下:
其中,fd对应的是第d层特征通道对应相关滤波器,Jd{xd}为第d层特征通道的连续域特征图,χ为所有特征通道,Sf{x}为样本x的得分置信度;
求解相关滤波器则通过最小化损失函数来实现,公式如下:
其中yj为label,即由当前训练样本对应生成且服从高斯向分布,αj为训练样本xj对应的权重,w为正则化因子。
S4、读取下一帧图像,利用训练好的相关滤波器卷积图像候选区域对应的特征,获取图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
S5、每隔一定帧数在同样的候选区域检测同类目标;
1)已知第t帧的跟踪结果bboxt[x,y,w,h](x,y为左上角角点)与候选区域boxt[x-w/2,y-h/2,2w,2h],
2)对候选区域boxt[x-w/2,y-h/2,2w,2h]进行切片
3)将切片放缩送入yolo3进行类别检测
4)Yolo3经过如下图网络,输出y1,y2,y3三种大小等级,共9组anchor)的输出,每个网格单元预测3个box(即anchor),对应关系如下表2:
Anchor1 | Anchor2 | Anchor3 | |
Y1(13*13) | [10,13] | [16,30] | [33,23] |
Y2(26*26) | [30,61] | [62,45] | [59,119] |
Y3(52*52) | [116,90] | [156,198] | [373,326] |
表2
5)每个box需要有(x,y,w,h,confidence)五个基本参数,然后还要有80个类别的概率,所以3anchor*(5+80)=255,即每个等级的输出通道为255
6)使用logistic回归来对每个anchor包围的内容进行了一个目标性评分(objectness score),根据目标性评分来选择anchor prior进行predict,即不是所有anchor prior都会有输出,如图3所示。
7)由于此时目标预估为切片区域的1/4大小,且由于目标跟踪的不确定性,考虑Y1,Y2,Y3所有的输出,并取(6)的anchor prior中分类为S2同类的anchor,得到一系列候选目标框{bbox1...bboxn}。
S6、计算得到的数个检测框与跟踪框的交并比,得到最大交并比检测框,对应回S4中置信图,若置信度大于阈值返回狂内特征为新样本;
(1)从检测框序列里按顺序取框bboxi;
(1)将计算的值压入堆栈;
(4)当序列仍未读完时返回步骤1;
(5)重复步骤(1)~(4)直到取完,并得到IOU最大的检测框。
(6)由此框对应到S4步骤的置信图,若置信度大于阈值则返回框内新样本。
S7、使用样本融合更新策略,更新ECO算法的样本集;样本融合更新策略具体为:
设定样本集中最大样本数量,则若:
(1)样本集未满,将新样本放到空余处;
(2)样本集已满,且样本集中有低于预设阈值权重的样本,此时用新样本替换旧样本;
(3)样本集已满,且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值,此时将新样本与最近样本融合;
(4)样本集已满,且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值,此时将两个最近的现有样本融合,并将新样本放在融合后样本集空缺处。
S8、利用获取的样本集训练ECO算法,更新相关滤波器,利用相关滤波器卷积图像候选区域对应的特征,获取图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
S9、循环执行步骤S4~S8,直至当前视频或图像序列处理完。
基于同一发明构思,本发明实施例还提供一种基于ECO算法和目标检测的视觉目标跟踪装置,由于该装置解决技术问题的原理与上述方法实施例相似,故该装置的实施可以参照上述方法的实施,重复之处不再赘述。
综上所述,本发明实施例提供的这种基于ECO算法和目标检测YOLO3的视觉目标跟踪方法及装置,算法主体采用ECO目标跟踪算法,同时加入目标检测算法,观察到在遮挡或形变时,ECO算法框中的目标易出现偏离,导致之后不再遮挡或形变时目标跟踪会受影响,于是对于目标出现遮挡或形变时,结合目标检测得到形状轮廓更为完整的目标样本,并隔一定帧数用检测器修正跟踪框和跟踪样本集,提升训练效果,达到速度和精度的完美平衡。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于ECO算法和目标检测的视觉目标跟踪方法,其特征在于,所述方法包括:
步骤1,读取视频或图像序列的第一帧图像,确定该帧图像中的跟踪目标,将跟踪目标送入检测网络,确定目标类别,获取对应的检测框;
步骤2,将第一帧图像中的跟踪目标检测框中的特征作为样本放入ECO算法训练相关滤波器;
步骤3,读取下一帧图像,利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征,获取当前帧图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率;
重复执行步骤3,直至当前视频或图像序列处理完。
2.根据权利要求2所述的基于ECO算法和目标检测的视觉目标跟踪方法,所述检测网络为检测网络yolo3,将跟踪目标送入检测网络yolo3,确定目标类别,获取对应的检测框具体为:
步骤1.1,对跟踪目标的目标框bbox1[x,y,w,h]进行切片;
步骤1.2,将切片缩放后送入检测网络yolo3进行类别检测;
步骤1.3,经过检测网络yolo3类别检测后,输出y1、y2和y3三种大小等级的网格,每个网格预测3个anchor;
步骤1.4每个anchor需要有x、y、w、h和confidence五个基本参数以及80个类别的概率,3anchor*(5+80)=255,即每个等级的输出通道为255;
步骤1.5,使用logistic回归对每个anchor包围的内容进行了一个目标性评分,根据目标性评分来选择anchorprior进行predict;
步骤1.6,由于输入是以目标为中心将目标切片缩放过,因此,最终将Y3在(52*52)的中心位置(26,26)的输出[1*1*255]的anchor prior中取anchor[373,326]对应的80个类别里最大的一个类别,作为确定的目标类别,即获取对应的检测框。
3.根据权利要求1所述的基于ECO算法和目标检测的视觉目标跟踪方法,其特征在于,所述方法还包括:
步骤4,每间隔k帧图像在与步骤3同样的候选区域用检测网络yolo3检测同类目标,并获取对应的一系列候选检测框;
步骤5,计算得到的多个候选检测框的交并比,得到最大交并比对应的候选检测框,对于该候选检测框,计算与步骤S3中的候选区域同位置处的置信度,若该置信度大于预设阈值,取该候选检测框内特征作为新样本;
步骤6,基于获取的新样本,使用样本融合更新策略,更新ECO算法的样本集,将获取的新样本集放入ECO算法训练相关滤波器,更新相关滤波器,利用更新后的相关滤波器卷积图像候选区域对应的特征,获取图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
4.根据权利要求3所述的基于ECO算法和目标检测的视觉目标跟踪方法,其特征在于,步骤4中,每间隔k帧图像在与步骤3同样的候选区域用检测网络yolo3检测同类目标,并获取对应的一系列候选检测框具体为:
步骤4.1,已知第t帧的跟踪结果bboxt[x,y,w,h](x,y为左上角角点)与候选区域boxt[x-w/2,y-h/2,2w,2h];
步骤4.2,对候选区域boxt[x-w/2,y-h/2,2w,2h]进行切片;
步骤4.3,将切片缩放后送入yolo3进行类别检测;
步骤4.4,经过检测网络yolo3类别检测后,输出y1、y2和y3三种大小等级的网格,每个网格预测3个anchor;
步骤4.5,每个anchor需要有x、y、w、h和confidence五个基本参数以及80个类别的概率,3anchor*(5+80)=255,即每个等级的输出通道为255;
步骤4.6,使用logistic回归对每个anchor包围的内容进行了一个目标性评分,根据目标性评分来选择anchorprior进行predict;
步骤4.7,由于此时目标预估为切片区域的1/4大小,且由于目标跟踪的不确定性,考虑Y1、Y2和Y3网格中所有的输出,并取步骤4.7的anchorprior中分类为与S1同类的anchor,从而得到一系列候选检测框{bbox1...bboxn}。
6.一种基于ECO算法和目标检测的视觉目标跟踪装置,其特征在于,所述装置包括:跟踪目标确定模块、目标类别确定模块、ECO训练模块、目标位置计算模块;
所述跟踪目标确定模块用于读取视频或图像序列的第一帧图像,确定该帧图像中的跟踪目标;所述目标类别确定模块用于将跟踪目标送入检测网络,确定目标类别,获取对应的检测框;
所述ECO训练模块用于将第一帧图像中的跟踪目标检测框中的特征作为样本放入ECO算法训练相关滤波器;
所述目标位置计算模块用于读取下一帧图像,利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征,获取当前帧图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率;以此将当前视频或图像序列处理完。
7.根据权利要求6所述的基于ECO算法和目标检测的视觉目标跟踪装置,其特征在于,所述检测网络为检测网络yolo3,所述目标类别确定模块将跟踪目标送入检测网络yolo3,确定目标类别,获取对应的检测框具体为:
步骤1.1,对跟踪目标的目标框bbox1[x,y,w,h]进行切片;
步骤1.2,将切片缩放后送入检测网络yolo3进行类别检测;
步骤1.3,经过检测网络yolo3类别检测后,输出y1、y2和y3三种大小等级的网格,每个网格预测3个anchor;
步骤1.4每个anchor需要有x、y、w、h和confidence五个基本参数以及80个类别的概率,3anchor*(5+80)=255,即每个等级的输出通道为255;
步骤1.5,使用logistic回归对每个anchor包围的内容进行了一个目标性评分,根据目标性评分来选择anchorprior进行predict;
步骤1.6,由于输入是以目标为中心将目标切片缩放过,因此,最终将Y3在(52*52)的中心位置(26,26)的输出[1*1*255]的anchor prior中取anchor[373,326]对应的80个类别里最大的一个类别,作为确定的目标类别,即获取对应的检测框。
8.根据权利要求6所述的基于ECO算法和目标检测的视觉目标跟踪装置,其特征在于,所述装置还包括样本集更新模块,所述样本集更新模块具体用于:
每间隔k帧图像在与目标位置计算模块中的当前帧候图像相同的候选区域用检测网络yolo3检测同类目标,并获取对应的一系列候选检测框;
计算得到的多个候选检测框的交并比,得到最大交并比对应的候选检测框,对于该候选检测框,计算与目标位置计算模块中的当前帧候选区域同位置处的置信度,若该置信度大于预设阈值,取该候选检测框内特征作为新样本;
基于获取的新样本,使用样本融合更新策略,更新ECO算法的样本集,将获取的新样本集放入ECO算法训练相关滤波器,更新相关滤波器,利用更新后的相关滤波器卷积图像候选区域对应的特征,获取图像候选区域的置信度图,置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
9.根据权利要求8所述的基于ECO算法和目标检测的视觉目标跟踪装置,其特征在于,每间隔k帧在与目标位置计算模块中的当前帧候图像相同的候选区域用检测网络yolo3检测同类目标,并获取对应的一系列候选检测框具体为:
已知第t帧的跟踪结果bboxt[x,y,w,h](x,y为左上角角点)与候选区域boxt[x-w/2,y-h/2,2w,2h];
对候选区域boxt[x-w/2,y-h/2,2w,2h]进行切片;
将切片缩放后送入yolo3进行类别检测;
经过检测网络yolo3类别检测后,输出y1、y2和y3三种大小等级的网格,每个网格预测3个anchor;
每个anchor需要有x、y、w、h和confidence五个基本参数以及80个类别的概率,3anchor*(5+80)=255,即每个等级的输出通道为255;
使用logistic回归对每个anchor包围的内容进行了一个目标性评分,根据目标性评分来选择anchorprior进行predict;
由于此时目标预估为切片区域的1/4大小,且由于目标跟踪的不确定性,考虑Y1、Y2和Y3网格中所有的输出,并取选取的anchorprior中分类为与第一帧图像同类的anchor,从而得到一系列候选检测框{bbox1...bboxn}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011607826.6A CN112700469A (zh) | 2020-12-30 | 2020-12-30 | 一种基于eco算法和目标检测的视觉目标跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011607826.6A CN112700469A (zh) | 2020-12-30 | 2020-12-30 | 一种基于eco算法和目标检测的视觉目标跟踪方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112700469A true CN112700469A (zh) | 2021-04-23 |
Family
ID=75512449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011607826.6A Pending CN112700469A (zh) | 2020-12-30 | 2020-12-30 | 一种基于eco算法和目标检测的视觉目标跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112700469A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113223054A (zh) * | 2021-05-28 | 2021-08-06 | 武汉卓目科技有限公司 | 对eco跟踪框的抖动性进行改进的目标跟踪方法及装置 |
CN113761245A (zh) * | 2021-05-11 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、电子设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108053427A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 |
CN110706266A (zh) * | 2019-12-11 | 2020-01-17 | 北京中星时代科技有限公司 | 一种基于YOLOv3的空中目标跟踪方法 |
CN111428642A (zh) * | 2020-03-24 | 2020-07-17 | 厦门市美亚柏科信息股份有限公司 | 一种多目标跟踪算法、电子装置及计算机可读存储介质 |
WO2020187095A1 (zh) * | 2019-03-20 | 2020-09-24 | 深圳市道通智能航空技术有限公司 | 一种目标跟踪方法、装置和无人机 |
-
2020
- 2020-12-30 CN CN202011607826.6A patent/CN112700469A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108053427A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 |
WO2020187095A1 (zh) * | 2019-03-20 | 2020-09-24 | 深圳市道通智能航空技术有限公司 | 一种目标跟踪方法、装置和无人机 |
CN110706266A (zh) * | 2019-12-11 | 2020-01-17 | 北京中星时代科技有限公司 | 一种基于YOLOv3的空中目标跟踪方法 |
CN111428642A (zh) * | 2020-03-24 | 2020-07-17 | 厦门市美亚柏科信息股份有限公司 | 一种多目标跟踪算法、电子装置及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
刘亚洁: "《基于立体视觉的混凝土振捣质量监测系统的开发》", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
木盏: "《yolo系列之yolo v3【深度解析】》", 《BLOG.CSDN.NET/LEVIOPKU/ARTICLE/DETAILS/82660381/》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113761245A (zh) * | 2021-05-11 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、电子设备及计算机可读存储介质 |
CN113761245B (zh) * | 2021-05-11 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、电子设备及计算机可读存储介质 |
CN113223054A (zh) * | 2021-05-28 | 2021-08-06 | 武汉卓目科技有限公司 | 对eco跟踪框的抖动性进行改进的目标跟踪方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829398B (zh) | 一种基于三维卷积网络的视频中的目标检测方法 | |
CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
CN108062531B (zh) | 一种基于级联回归卷积神经网络的视频目标检测方法 | |
CN102903122B (zh) | 基于特征光流与在线集成学习的视频目标跟踪方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN111640089B (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
CN111444767B (zh) | 一种基于激光雷达的行人检测和追踪方法 | |
CN111640136B (zh) | 一种复杂环境中的深度目标跟踪方法 | |
CN111079602A (zh) | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 | |
CN110826379B (zh) | 一种基于特征复用与YOLOv3的目标检测方法 | |
CN114677554A (zh) | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 | |
CN111598925B (zh) | 基于eco算法和区域生长分割的视觉目标跟踪方法及装置 | |
CN110111370B (zh) | 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法 | |
US11887303B2 (en) | Image processing model generation method, image processing method and device, and electronic device | |
CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
US20180173939A1 (en) | Recognition of objects within a video | |
CN112700469A (zh) | 一种基于eco算法和目标检测的视觉目标跟踪方法及装置 | |
US20170053172A1 (en) | Image processing apparatus, and image processing method | |
CN115527133A (zh) | 一种基于目标密度信息的高分图像背景优化方法 | |
CN112149664A (zh) | 一种优化分类与定位任务的目标检测方法 | |
CN112668441B (zh) | 一种结合先验知识的卫星遥感影像飞机目标识别方法 | |
CN112446353B (zh) | 基于深度卷积神经网络的视频图像道线检测方法 | |
CN112580624B (zh) | 基于边界预测的多方向文本区域检测方法和装置 | |
CN116612450A (zh) | 一种面向点云场景的差异化知识蒸馏3d目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210423 |