CN113297959B - 一种基于角点注意力孪生网络的目标跟踪方法及系统 - Google Patents
一种基于角点注意力孪生网络的目标跟踪方法及系统 Download PDFInfo
- Publication number
- CN113297959B CN113297959B CN202110563471.3A CN202110563471A CN113297959B CN 113297959 B CN113297959 B CN 113297959B CN 202110563471 A CN202110563471 A CN 202110563471A CN 113297959 B CN113297959 B CN 113297959B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- attention
- layers
- tracked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于角点注意力孪生网络的目标跟踪方法及系统,所述方法包括:获取孪生网络上下支路输入的待跟踪目标视频帧图像;提取待跟踪目标视频帧图像中三层图像信息特征,生成密集的特征图;对特征图进行分类,回归以及中心点预测处理,生成预测单个跟踪候选区域;基于角点注意力并行通道注意力机制对生成的跟踪候选区域验证定位目标,输出准确的目标跟踪位置。本发明克服现有技术中的目标跟踪对产生形变、遮挡以及小目标的跟丢、跟错的问题,通过多阶段的细化,提升了目标跟踪的实时性和鲁棒性。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于角点注意力孪生网络的目标跟踪方法及系统。
背景技术
目标跟踪是计算机视觉领域的重点和难点课题,一直以来都受到广泛关注。目标跟踪的应用和发展具有十分重要的意义,例如在无人机、智能交通、精确制导、机器人、人机交互等军用和民用领域都有着重要作用。目标跟踪的研究已有几十年的时间,目前也取得了不少成果。然而,尽管很多跟踪方法已经被提出,但是由于跟踪过程的复杂多变,实现跟踪鲁棒性和辨别能力仍然是一个巨大挑战。
当前的目标跟踪一般分为相关滤波法和深度学习法两大方向,相关滤波法速度快而准确度不高,单纯深度学习法准确度高但速度慢,但近年来深度学习中Siamese Tracker因同时实现了高精度及高速率而广受关注。视觉跟踪领域主流的实时跟踪方法是以SiamFC为代表的孪生网络结构,通过相同的网络提取出图像的特征,通过类似卷积的相关操作方法,可以快速的实现模板与搜索区域中图像进行比对,输出响应图,计算每个位置和模板帧的相似度。后续SiamRPN、SiamFC++、SiamRPN++、等网络的提出使得速度精度方面越来越完善,孪生网络在目标跟踪领域的大范围使用则解决了单纯深度学习带来的问题,孪生网络既可以利用卷积得到特征,也避免了大量的计算,可以达到实时的要求。现阶段,目标检测网络的思路与跟踪网络广泛结合,使得其跟踪领域的表现更为精彩,给识别目标的形变,遮挡等困难方面提出了新的思路和方法。
发明内容
本发明的目的是提供一种基于角点注意力孪生网络的目标跟踪方法及系统,克服现有技术中的目标跟踪对产生形变、遮挡以及小目标的跟丢、跟错的问题,提升了目标跟踪的实时性和鲁棒性。
本发明为实现上述发明目的采用如下技术方案:
本发明提供了一种基于角点注意力孪生网络的目标跟踪方法,包括:
获取孪生网络上下支路输入的待跟踪目标视频帧图像;
提取待跟踪目标视频帧图像中三层图像信息特征,生成密集的特征图;
对特征图进行分类,回归以及中心点预测处理,生成预测单个跟踪候选区域;
对生成的跟踪候选区域验证定位目标,输出准确的目标跟踪位置。
进一步地,提取待跟踪目标视频图像中三层图像信息特征,生成密集的特征图,包括:
上支路使用卷积神经网络提取目标区域图像的特征,并采用多尺度特征融合机制,得到最终目标区域特征图;
下支路使用卷积神经网络提取搜索区域图像的特征,并采用多尺度特征融合机制,得到最终搜索区域特征图。
进一步地,所述多尺度特征融合机制用于从卷积神经网络中res3层、res4层、res5层提取特征进行融合:
由res3、res4和Res5经过卷积操作、元素求和操作和Relu操作得到融合后的特征图res5_1、res4_1和res3_1。
进一步地,对特征图进行分类,回归以及中心点预测处理,生成预测单个跟踪候选区域,包括:
将融合后的特征图res5_1、res4_1和res3_1输入Anchor-free网络,基于anchor-free策略对特征图进行分类,回归以及中心点预测处理,来生成预测单个跟踪区域。
进一步地,所述anchor-free策略包括相关运算和监督部分;
所述相关运算用于生成最终目标区域特征图与最终搜索区域特征图的响应特征图。
所述监督部分用于对响应特征图进行分类、回归以及中心点预测,以生成跟踪候选区域。
进一步地,所述相关运算的公式如下:
FW×H×C(m)=Φm(z)*Φm(x)
其中m表示res层数,此处m=1,2,3,Φm(z)表示m层模板特征,Φm(x)表示m层搜索区域特征。
进一步地,所述监督部分包括分类分支和回归分支,所述分类分支和回归分支均包括4个3×3卷积层和2个1×1卷积层。
进一步地,所述角点注意力包括hourglass结构层和sigmoid结构层;
所述hourglass结构层对跟踪候选区域特征图进行bottom-up处理,将图片从高分辨率降到低分辨率;
将低分辨率图经过top-down过程升至高分辨率;
将低分辨率图与高分辨率图按元素位置进行相加,当到达输出分辨率的时候,通过两个卷积层来进行预测,输出一组heatmap,对于给定的heatmap,网络预测在每个像素处存在目标的概率。
进一步地,所述通道注意力用于对跟踪候选区域进行压缩和激发,包括:
在跟踪候选区域特征图上执行Global Average Pooling,得到当前Feature Map的全局压缩特征量;
将全局压缩特征量通过两层全连接的bottleneck结构,运算得到Feature Map中每个通道的权值,并得到加权后的Feature Map,网络预测在每个通道处存在目标的概率,获得最终准确的目标跟踪位置。
本发明还提供一种基于角点注意力孪生网络的目标跟踪系统,包括:
获取模块,用于获取孪生网络上下支路输入的待跟踪目标视频帧图像:
特征提取模块,用于提取待跟踪目标视频帧图像中三层图像信息特征,生成密集的特征图;
候选区域提取模块,用于对特征图进行分类,回归以及中心点预测处理,生成预测单个跟踪候选区域;
区域细化模块,用于基于角点注意力并行通道注意力机制对生成的跟踪候选区域验证定位目标,输出准确的目标跟踪位置。
本发明的有益效果如下:
本发明通过对低层特征提取对于小目标检测更有效的边缘信息,对高层特征的提取更有效、有利于提取目标分类的语义信息,将特征信息与语义信息进行融合,生成密集的特征图;将特征图进行分类,回归及中心点预测处理,生成跟踪目标候选区域;再通过角点并行注意力机制强化对目标的精准定位,得到准确的目标跟踪位置。通过多阶段的细化,提升了目标跟踪的实时性和鲁棒性。
附图说明
图1为根据本发明实施例提供的一种基于角点注意力孪生网络的目标跟踪方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,本发明提供一种基于角点注意力孪生网络的目标跟踪方法及系统,包括:
步骤1:获取孪生网络上下支路输入的待跟踪目标视频帧图像。
步骤2:对待跟踪目标视频第一帧图像构建目标区域,作为孪生结构的上支路的输入,待跟踪目标视频中的后续帧图像作为孪生结构的下支路的输入。
进一步地,所述基于孪生网络的目标跟踪模型分为三部分:特征提取模块,候选区域提取模块,区域细化模块。
步骤3:将获取的待跟踪目标视频输入预先训练好的目标跟踪模型。
步骤4:通过将卷积神经网络最后三层应用于特征提取,获取待跟踪目标视频图像中三层图像信息特征,生成密集的特征图。
步骤4-1:上支路使用卷积神经网络提取目标区域图像的特征,并采用多尺度特征融合机制,得到最终目标区域特征图;
步骤4-2:下支路使用卷积神经网络提取搜索区域图像的特征,并采用多尺度特征融合机制,得到最终搜索区域特征图;
进一步地,所述上支路、下支路的卷积神经网络是以ResNet为基础网络,采用改进的ResNet-50构建孪生网络。res4和res5块的步幅从16和32像素变为8像素,通过扩大的卷积增加感受野。采用了一种空间感知采样策略来训练模型,解决在深度网络中由于填充而破坏绝对平移不变性的问题。模板特征的空间大小为15×15,裁剪中心7×7区域为模板特征捕获整个目标区域。
步骤4-3:多尺度特征融合,从卷积神经网络最后三个残差块res3、res4、res5提取的特征进行融合,解决了只用最后一层高级语义特征,没有充分挖掘多级特征而存在的干扰引发性能退化问题。
卷积神经网络的最后一层包含的高度抽象的语义信息,这些信息虽然能够更精确的确定目标的具体位置,但是设计候选区域提取模块的作用是通过尽可能多的搜寻可能存在的相似目标去提高方法的鲁棒性。如果仅仅使用最后一层网络特征,当跟踪目标出现一些变化时,由于缺乏目标特征的细粒度信息,可能会出现候选区域提取模块的漏寻结果。
步骤4-3-1:res5_1由res5通过3×3卷积得到,保持空间分辨率不变,通道数变为256。res4和res5_1通道数相同,后接卷积操作,元素求和操作和Relu操作。其中“元素总和”操作是将两个要素图的相同位置的元素值相加,而不改变其尺寸。Res4_1是Res4和res5_1的融合结果,分辨率相同,但语义信息更丰富。因此res4_1中的分类和包围盒回归可以得到更好的结果。
步骤4-3-2:res4_1由步骤4-3-1得到,保持空间分辨率不变,通道数为256。Res3和res4_1通道数相同,后接卷积操作,元素求和操作和Relu操作。Res3_1是Res3和res4_1的融合结果,分辨率相同,但语义信息更丰富。
步骤4-3-3:Res5_1、res4_1和res3_1特征由res3、res4和Res5融合得到,它们将一起送入Anchor-free网络进行目标的分类和回归。
步骤5:候选区域提取,基于anchor-free策略对特征提取模块产生的特征图进一步处理,分为三个分支,分类,回归以及中心点预测,来生成预测单个跟踪区域;
步骤5-1:将步骤4得到上支路、下支路的Res5_1、res4_1和res3_1特征送入Anchor-free分支。
进一步地,所述Anchor-free候选区域提取策略由一对相关运算和监督部分组成。
步骤5-2:采用DW_C深度互相关,通过通道对输入模板、搜索区域特征图进行相关计算,获得的响应图保持通道数256不变。
FW×H×C(m)=Φm(z)*Φm(x) (1)
其中m表示res层数,此处m=1,2,3,Φm(z)表示m层模板特征Φm(x)m层搜索区域特征。
进一步地,监督部分包括两个分支,一个用于前景分类,另一个用于提议回归。分类分支、回归分支由4个3×3卷积层和2个1×1卷积层组成。
步骤5-3:由步骤5-2得到的响应图,进行分类、回归,输出为表示正负置信度的2D分类得分{ci}和4D回归距离{ti}。
当前搜索帧目标gt定义为B=(x0,y0,x1,y1),这里(x0,y0)和(x1,y1)分别代表框的左上角、右下角点的坐标。对于响应图中点(x,y),映射回搜索帧中的位置为大致在(x,y)感受野中心,s表示该层之前的步长。
步骤5-3-1:用一个2维的向量A*作为分类结果,分出前景背景。
步骤5-3-2:用一个4维的向量B*=(l*,t*,r*,b*)作为回归目标,其中l*,t*,r*,b*分别代表当前像素与GT Bounding Box左、上、右、下边的距离,回归函数可以按下式进行计算:
l*=x-x0,t*=y-y0,r*=x1-x,b*=y1-y (2)
进一步地,由于Anchor-free策略引入了一些低质量的包围盒(远离目标的中心),所以增加了一个平行于分类网络分支的中心策略,以测量当前位置和对象中心之间的距离,滤除低质量包围框。
步骤5-3-3:对于给定的一个位置的回归目标(l*,t*,r*,b*)而言,center-ness的定义如下所示:
测试时,用预测的center-ness乘上对应分类置信度,可以降低距离目标中心很远的边界框分数的权重,非极大值抑制(NMS)就能够轻松滤除这些低质量的边界框,提高跟踪性能。对比基于anchor的RPN网络设置两个Intersection over union(IOU)的阈值用于对anchors进行正负性标记,它可以看做是一个软阈值,可以在网络训练的过程中学习得到,不需要进行微调。
步骤5-4:由于本实例设计三个Anchor-free候选区域提取模块,即三阶段,则前一阶段输出作为下一阶段输入,并结合当前阶段输入特征图计算结果进行回归修正,并输入下一阶段。
步骤5-5:模板特征图结合GT Box,搜索区域特征图结合生成预测区域ROI,经过ROI Align进行特征增强以便后续角点检测。
步骤6:进一步细化所生成的跟踪区域,基于角点注意力并行通道注意力机制对目标角点进行检测,进一步验证定位目标。
进一步地,所述角点注意力,由hourglass结构和sigmoid层构成。Hourglass模块是对称结构,bottom-up过程将跟踪候选区域特征图从高分辨率降到低分辨率,top-down过程将低分辨率图升至高分辨率。
步骤6-1:网络输入的候选区域特征图片分辨率为256×256,在hourglass模块中的最大分辨率为64×64,整个网络最开始要经过一个7×7的步长为2的卷积层,之后再经过一个残差块和Max pooling层使得分辨率从256降到64。
步骤6-2:在每一个max pooling步骤中,网络产生分支并在原来提前池化的分辨率下使用更多的卷积,牵出来一个Skip Layer来处理原来分辨率的信息(后面跟升起来分辨率的相对应的特征图做融合)。当到达最低的分辨率的时候,网络开始upsample得到捕获全局信息的不同分辨率的特征图。
步骤6-3:将低分辨率图与高分辨率图按元素位置相加。当到达输出分辨率的时候,再接两个1×1的卷积层来进行最后的预测,网络的输出是一组heatmap,对于给定的heatmap,网络预测在每个像素处存在目标的概率。
进一步地,所述通道注意力由全局池化层,全连接层1,relu激活层,全连接层2,sigmiod层构成,对跟踪候选区域进行压缩和激发。
步骤6-4:压缩即为在跟踪候选区域特征图上执行Global Average Pooling,得到当前Feature Map的全局压缩特征量。
步骤6-5:激发则将全局压缩特征量通过两层全连接的bottleneck结构,运算得到Feature Map中每个通道的权值,并得到加权后的Feature Map,网络预测在每个通道处存在目标的概率
步骤7:将角点注意力和通道注意力添加到搜索区域ROI特征中,突出目标角点区域特征。
步骤8:进行角点检测,将强化后的特征图进行上采样,然后进行Soft-argmax得到归一化的概率分布图,最后使用elastic net loss计算损失。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于角点注意力孪生网络的目标跟踪方法,其特征在于,所述方法包括:
获取孪生网络上下支路输入的待跟踪目标视频帧图像,对待跟踪目标视频第一帧图像构建目标区域,作为孪生结构的上支路的输入,待跟踪目标视频中的后续帧图像作为孪生结构的下支路的输入;
提取待跟踪目标视频帧图像中三层图像信息特征,生成密集的特征图;
对特征图进行分类,回归以及中心点预测处理,生成预测单个跟踪候选区域;
基于角点注意力并行通道注意力机制对生成的跟踪候选区域验证定位目标,输出准确的目标跟踪位置;
提取待跟踪目标视频图像中三层图像信息特征,生成密集的特征图,包括:
上支路使用卷积神经网络提取目标区域图像的特征,并采用多尺度特征融合机制,得到最终目标区域特征图;
下支路使用卷积神经网络提取搜索区域图像的特征,并采用多尺度特征融合机制,得到最终搜索区域特征图;
所述多尺度特征融合机制用于从卷积神经网络中res3层、res4层、res5层提取特征进行融合:
由res3、res4和Res5经过卷积操作、元素求和操作和Relu操作得到融合后的特征图res5_1、res4_1和res3_1。
2.根据权利要求1所述的一种基于角点注意力孪生网络的目标跟踪方法,其特征在于,对特征图进行分类,回归以及中心点预测处理,生成预测单个跟踪候选区域,包括:
将融合后的特征图res5_1、res4_1和res3_1输入Anchor-free网络,基于anchor-free策略对特征图进行分类,回归以及中心点预测处理,来生成预测单个跟踪区域。
3.根据权利要求2所述的一种基于角点注意力孪生网络的目标跟踪方法,其特征在于,所述anchor-free策略包括相关运算和监督部分;
所述相关运算用于生成最终目标区域特征图与最终搜索区域特征图的响应特征图;
所述监督部分用于对响应特征图进行分类、回归以及中心点预测,以生成跟踪候选区域。
4.根据权利要求3所述的一种基于角点注意力孪生网络的目标跟踪方法,其特征在于,所述相关运算的公式如下:
;
其中m表示res层数,此处m=1,2,3,表示m层模板特征,表示m层搜索区域特征。
5.根据权利要求3所述的一种基于角点注意力孪生网络的目标跟踪方法,其特征在于,所述监督部分包括分类分支和回归分支,所述分类分支和回归分支均包括4个3×3卷积层和2个1×1卷积层。
6.根据权利要求1至5任一项所述的一种基于角点注意力孪生网络的目标跟踪方法,其特征在于,所述角点注意力包括hourglass结构层和sigmoid结构层;
所述hourglass结构层对跟踪候选区域特征图进行bottom-up处理,将图片从高分辨率降到低分辨率;
将低分辨率图经过top-down过程升至高分辨率;
将低分辨率图与高分辨率图按元素位置进行相加,当到达输出分辨率的时候,通过两个卷积层来进行预测,输出一组heatmap,对于给定的heatmap,网络预测在每个像素处存在目标的概率。
7.根据权利要求6所述的一种基于角点注意力孪生网络的目标跟踪方法,其特征在于,所述通道注意力用于对跟踪候选区域进行压缩和激发,包括:
在跟踪候选区域特征图上执行Global Average Pooling,得到当前Feature Map的全局压缩特征量;
将全局压缩特征量通过两层全连接的bottleneck结构,运算得到Feature Map中每个通道的权值,并得到加权后的Feature Map,网络预测在每个通道处存在目标的概率,获得最终准确的目标跟踪位置。
8.一种基于角点注意力孪生网络的目标跟踪系统,其特征在于,包括:
获取模块,用于获取孪生网络上下支路输入的待跟踪目标视频帧图像;其中,对待跟踪目标视频第一帧图像构建目标区域,作为孪生结构的上支路的输入,待跟踪目标视频中的后续帧图像作为孪生结构的下支路的输入;
特征提取模块,用于提取待跟踪目标视频帧图像中三层图像信息特征,生成密集的特征图;
候选区域提取模块,用于对特征图进行分类,回归以及中心点预测处理,生成预测单个跟踪候选区域;
区域细化模块,用于基于角点注意力并行通道注意力机制对生成的跟踪候选区域验证定位目标,输出准确的目标跟踪位置;
其中,提取待跟踪目标视频图像中三层图像信息特征,生成密集的特征图,包括:
上支路使用卷积神经网络提取目标区域图像的特征,并采用多尺度特征融合机制,得到最终目标区域特征图;
下支路使用卷积神经网络提取搜索区域图像的特征,并采用多尺度特征融合机制,得到最终搜索区域特征图;
所述多尺度特征融合机制用于从卷积神经网络中res3层、res4层、res5层提取特征进行融合:
由res3、res4和Res5经过卷积操作、元素求和操作和Relu操作得到融合后的特征图res5_1、res4_1和res3_1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110563471.3A CN113297959B (zh) | 2021-05-24 | 2021-05-24 | 一种基于角点注意力孪生网络的目标跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110563471.3A CN113297959B (zh) | 2021-05-24 | 2021-05-24 | 一种基于角点注意力孪生网络的目标跟踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113297959A CN113297959A (zh) | 2021-08-24 |
CN113297959B true CN113297959B (zh) | 2024-07-09 |
Family
ID=77324160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110563471.3A Active CN113297959B (zh) | 2021-05-24 | 2021-05-24 | 一种基于角点注意力孪生网络的目标跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113297959B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643329B (zh) * | 2021-09-01 | 2022-04-19 | 北京航空航天大学 | 一种基于孪生注意力网络的在线更新目标跟踪方法和系统 |
CN114241003B (zh) * | 2021-12-14 | 2022-08-19 | 成都阿普奇科技股份有限公司 | 一种全天候轻量化高实时性海面船只检测与跟踪方法 |
CN114821390B (zh) * | 2022-03-17 | 2024-02-23 | 齐鲁工业大学 | 基于注意力和关系检测的孪生网络目标跟踪方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685831A (zh) * | 2018-12-20 | 2019-04-26 | 山东大学 | 基于残差分层注意力和相关性滤波器的目标跟踪方法及系统 |
CN110032969A (zh) * | 2019-04-11 | 2019-07-19 | 北京百度网讯科技有限公司 | 用于检测图像中的文本区域的方法、装置、设备以及介质 |
CN112348849A (zh) * | 2020-10-27 | 2021-02-09 | 南京邮电大学 | 一种孪生网络视频目标跟踪方法及装置 |
CN112560656A (zh) * | 2020-12-11 | 2021-03-26 | 成都东方天呈智能科技有限公司 | 一种联合注意力机制端到端训练的行人多目标跟踪方法 |
CN112580664A (zh) * | 2020-12-15 | 2021-03-30 | 哈尔滨理工大学 | 一种基于ssd网络的小目标检测方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190113119A (ko) * | 2018-03-27 | 2019-10-08 | 삼성전자주식회사 | 합성곱 신경망을 위한 주의집중 값 계산 방법 |
CN111819580A (zh) * | 2018-05-29 | 2020-10-23 | 谷歌有限责任公司 | 用于密集图像预测任务的神经架构搜索 |
CN110335290B (zh) * | 2019-06-04 | 2021-02-26 | 大连理工大学 | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 |
CN111898504B (zh) * | 2020-07-20 | 2022-07-26 | 南京邮电大学 | 一种基于孪生循环神经网络的目标跟踪方法及系统 |
CN112101191A (zh) * | 2020-09-11 | 2020-12-18 | 中国平安人寿保险股份有限公司 | 基于边框注意力网络的表情识别方法、装置、设备及介质 |
CN112699736B (zh) * | 2020-12-08 | 2024-06-07 | 江西省交通科学研究院有限公司 | 一种基于空间注意力的桥梁支座病害识别方法 |
CN112750148B (zh) * | 2021-01-13 | 2024-03-22 | 浙江工业大学 | 一种基于孪生网络的多尺度目标感知跟踪方法 |
-
2021
- 2021-05-24 CN CN202110563471.3A patent/CN113297959B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685831A (zh) * | 2018-12-20 | 2019-04-26 | 山东大学 | 基于残差分层注意力和相关性滤波器的目标跟踪方法及系统 |
CN110032969A (zh) * | 2019-04-11 | 2019-07-19 | 北京百度网讯科技有限公司 | 用于检测图像中的文本区域的方法、装置、设备以及介质 |
CN112348849A (zh) * | 2020-10-27 | 2021-02-09 | 南京邮电大学 | 一种孪生网络视频目标跟踪方法及装置 |
CN112560656A (zh) * | 2020-12-11 | 2021-03-26 | 成都东方天呈智能科技有限公司 | 一种联合注意力机制端到端训练的行人多目标跟踪方法 |
CN112580664A (zh) * | 2020-12-15 | 2021-03-30 | 哈尔滨理工大学 | 一种基于ssd网络的小目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113297959A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111210443B (zh) | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 | |
CN114202696B (zh) | 基于上下文视觉的sar目标检测方法、装置和存储介质 | |
CN113297959B (zh) | 一种基于角点注意力孪生网络的目标跟踪方法及系统 | |
CN114445430B (zh) | 轻量级多尺度特征融合的实时图像语义分割方法及系统 | |
Cepni et al. | Vehicle detection using different deep learning algorithms from image sequence | |
CN111797846B (zh) | 一种基于特征金字塔网络的反馈式目标检测方法 | |
CN111553414A (zh) | 一种基于改进Faster R-CNN的车内遗失物体检测方法 | |
CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
CN117079163A (zh) | 一种基于改进yolox-s的航拍图像小目标检测方法 | |
CN114187520A (zh) | 一种建筑物提取模型及其应用方法 | |
CN115661611A (zh) | 一种基于改进Yolov5网络的红外小目标检测方法 | |
Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
WO2020022329A1 (ja) | 物体検出認識装置、方法、及びプログラム | |
CN117974988A (zh) | 一种轻量化目标检测方法、装置、计算机程序产品 | |
Chen et al. | Coupled global–local object detection for large vhr aerial images | |
CN117593794A (zh) | 改进的YOLOv7-tiny模型及基于该模型的人手脸检测方法及系统 | |
CN111062311B (zh) | 一种基于深度级可分离卷积网络的行人手势识别与交互方法 | |
Shi et al. | Adaptive feature fusion with attention-guided small target detection in remote sensing images | |
Zheng et al. | ELKPPNet: An edge-aware neural network with large kernel pyramid pooling for learning discriminative features in semantic segmentation | |
Sun et al. | Semantic-aware 3D-voxel CenterNet for point cloud object detection | |
CN114332509B (zh) | 图像处理方法、模型训练方法、电子设备及自动驾驶车辆 | |
Hoanh et al. | Focus-Attention Approach in Optimizing DETR for Object Detection from High-Resolution Images | |
CN113111919B (zh) | 一种基于深度高分辨率的高光谱图像分类方法 | |
CN111008555B (zh) | 一种无人机图像弱小目标增强提取方法 | |
Zhang et al. | A review of small target detection based on deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: No.66, xinmufan Road, Gulou District, Nanjing, Jiangsu Province, 210012 Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS Address before: No.28, ningshuang Road, Yuhuatai District, Nanjing City, Jiangsu Province, 210012 Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |