CN114463378B - 目标跟踪方法、电子设备及存储介质 - Google Patents

目标跟踪方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114463378B
CN114463378B CN202111614848.XA CN202111614848A CN114463378B CN 114463378 B CN114463378 B CN 114463378B CN 202111614848 A CN202111614848 A CN 202111614848A CN 114463378 B CN114463378 B CN 114463378B
Authority
CN
China
Prior art keywords
target
feature map
training
overall
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111614848.XA
Other languages
English (en)
Other versions
CN114463378A (zh
Inventor
周祥明
郑春煌
张朋
章合群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111614848.XA priority Critical patent/CN114463378B/zh
Publication of CN114463378A publication Critical patent/CN114463378A/zh
Application granted granted Critical
Publication of CN114463378B publication Critical patent/CN114463378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标跟踪方法、电子设备及计算机可读存储介质。该方法包括:在至少两个图像帧上分别对目标的整体和构成所述目标的局部构件进行检测,以获取所述目标的整体位置和构件位置;针对每一图像帧,将属于同一目标的整体位置和构件位置进行关联;基于关联后的整体位置和构件位置,在至少两个图像帧之间进行目标跟踪。通过上述方式,能够提高目标跟踪结果的准确度。

Description

目标跟踪方法、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种目标跟踪方法、电子设备及计算机可读存储介质。
背景技术
目标跟踪技术在诸多领域被广泛使用,例如智能辅助驾驶、智能机器人、智能安防等领域。目标跟踪的主要思路为:对图像帧进行目标检测,得到图像帧中目标的位置,基于目标的位置对不同图像帧中的同一目标进行关联。
目标跟踪结果可以被应用于后续处理,例如测速、轨迹分析、目标抓拍以及属性分析等。目标跟踪结果的精度直接影响后续处理的精度。但是,现有的目标跟踪方法得到的目标跟踪结果准确度不高。
发明内容
本申请提供一种目标跟踪方法、电子设备及计算机可读存储介质。能够解决现有的目标跟踪方法得到的目标跟踪结果准确度不高的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种目标跟踪方法。该方法包括:在至少两个图像帧上分别对目标的整体和构成所述目标的局部构件进行检测,以获取所述目标的整体位置和构件位置;针对每一图像帧,将属于同一目标的整体位置和构件位置进行关联;基于关联后的整体位置和构件位置,在至少两个图像帧之间进行目标跟踪。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种电子设备,该电子设备包括处理器、与处理器连接的存储器,其中,存储器存储有程序指令;处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种计算机可读存储介质,存储有程序指令,该程序指令被执行时能够实现上述方法。
通过上述方式,本申请分别对各个图像帧进行目标的整体检测和局部构件检测,得到各个图像帧中目标的整体位置和目标的构件位置,将同一图像帧中同一目标的整体位置和构件位置进行关联,以将关联的整体位置和构件位置作为对应目标的位置,应用于在不同图像帧之间对目标的跟踪。由此,能够减少甚至避免误跟踪或者漏跟踪的情况,提高目标跟踪结果的准确度。
附图说明
图1是本申请目标跟踪方法一实施例的流程示意图;
图2是本申请目标跟踪方法另一实施例的流程示意图;
图3是图2中S22的具体流程示意图;
图4是本申请目标跟踪方法又一实施例的流程示意图;
图5是图4中S31的具体流程示意图;
图6是本申请目标跟踪方法又一实施例的流程示意图;
图7是本申请目标跟踪方法又一实施例的流程示意图;
图8是应用阶段目标跟踪模型的一结构示意图;
图9是训练阶段目标跟踪模型的一结构示意图;
图10是本申请电子设备一实施例的结构示意图;
图11是本申请计算机可读存储介质一实施例的结构示意图;
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,在不冲突的情况下,本文所描述的实施例可以与其它实施例相结合。
图1是本申请目标跟踪方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例可以包括:
S11:在至少两个图像帧上分别对目标的整体和构成目标的局部构件进行检测,以获取目标的整体位置和构件位置。
图像帧涉及一个或多个目标,目标可以是任何能够发生相对运动的对象,例如是人、机动车、非机动车、动物。目标由多个局部构件构成。局部构件的划分方式可以是最小单元的划分方式,也可以是其他划分方式。例如,人的身体由头、颈、躯干、四肢构成。又如,人的身体由上半身和下半身构成。
本申请提及的位置为检测框。检测框可以用坐标、长度和宽度表示。例如,检测框表示为(左上顶点坐标,长度,宽度)。又如,检测框表示为(左上顶点坐标,右下顶点坐标)。
整体检测和局部构件检测可以通过相同或不同的目标检测网络实现,或者,可以通过同一目标检测网络的不同网络分支实现。目标检测网络可以是单阶段的SSD、yolov1-yolov5,也可以是多阶段的RCNN、FasterCNN和maskRCNN等等。
在对图像帧进行检测之前,还可以对图像帧进行去噪、缩放等预处理。
S12:针对每一图像帧,将属于同一目标的整体位置和构件位置进行关联。
对于属于同一局部构件的每个构件位置,可以分别与每个整体位置进行匹配,以将匹配上的整体位置和构件位置所属目标视为同一目标,并将匹配上的整体位置和构件位置进行关联。
例如,图像帧包括头1~3的位置,左手臂1~2的位置以及整体位置1~2。可以将头1~3的位置与整体位置1~2进行两两之间的匹配,将匹配上的头的位置和整体位置关联;以及将左手臂1~2的位置和整体位置1~2进行两两之间的匹配,将匹配上的左手臂的位置和整体位置关联。
如下列举两种将构件位置匹配至整体位置的方式:
方式一,可以将构件位置与整体位置中对应的构件位置进行匹配。即,对于属于某局部构件的构件位置,可以确定在整体位置中对应的该局部构件的构件位置,将该局部构件的构件位置与整体位置中对应的构件位置进行匹配。例如,针对属于头的构件位置(头1~3的位置),可以对整体位置进行关于头的分割/检测,得到整体位置中头的位置,将头1~3的位置与整体位置中对应的头的位置进行匹配。
方式二,可以利用构件位置对局部构件所属目标进行整体位置估计,得到整体的估计位置,将估计位置与整体位置进行匹配。例如,可以对头1的位置进行估计,得到估计位置,将估计位置与整体位置进行匹配。
S13:基于关联后的整体位置和构件位置,在至少两个图像帧之间进行目标跟踪。
可以理解的是,如果仅用对图像帧进行目标的整体检测得到目标的整体位置,基于目标的整体位置进行目标跟踪,可能会出现误跟踪或者漏跟踪的情况。
通过本实施例的实施,本申请分别对各个图像帧进行目标的整体检测和局部构件检测,得到各个图像帧中目标的整体位置和目标的构件位置,将同一图像帧中同一目标的整体位置和构件位置进行关联,以将关联的整体位置和构件位置作为对应目标的位置,应用于在不同图像帧之间对目标的跟踪。由此,能够减少甚至避免误跟踪或者漏跟踪的情况,提高目标跟踪结果的准确度。
图2是本申请目标跟踪方法另一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。本实施例是对S12的进一步扩展,匹配方式为方式二。如图2所示,本实施例可以包括:
S21:基于构件位置对局部构件所属的目标进行整体位置估计,以获得估计位置。
估计的方式包括但不限于回归。
S22:将通过整体检测获得的整体位置与通过位置估计获得的估计位置进行匹配,以确定构件位置所关联的整体位置。
可以将估计位置与每个整体位置进行匹配,以确定构件位置所关联的整体位置。如下结合图3介绍估计位置与每个整体位置进行匹配的过程:
S221:计算估计位置与每个整体位置之间的交并比。
例如,记整体位置为x1,y1,x2,y2,估计位置为
Figure BDA0003436144700000051
可以计算x1,y1,x2,y2
Figure BDA0003436144700000052
之间的交并比(IOU)。
S222:判断最大交并比是否大于或等于交并比阈值。
若是,则执行S223;否则执行S224。
S223:判定估计位置与最大交并比对应的整体位置相匹配。
由此,可以确定用于估计该估计位置的构件位置,与最大交并比对应的整体位置相匹配,进而实现关联。
S224:判定不存在与估计位置相匹配的整体位置,将估计位置作为新的整体位置。
新的整体位置会参与和估计位置的匹配过程。
可以理解的是,当目标出现变形、遮挡等情况时,通过整体检测无法检测到目标的整体位置,影响对目标的跟踪。通过本实施例的实施,在没有通过整体检测得到构件位置对应的整体位置时,用构件位置估计得到的估计位置代替整体位置进行目标跟踪。由此,即使目标出现变形、遮挡等情况,也不会影响到对目标的跟踪。故本申请的目标跟踪方法鲁棒性高。
图4是本申请目标跟踪方法又一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图4所示的流程顺序为限。本实施例是对S13的进一步扩展。如图4所示,本实施例可以包括:
S31:基于关联后的整体位置和构件位置,计算分别位于至少两个图像帧上的两个目标之间的匹配度。
匹配度可以包括两个目标之间的位置匹配度和/或特征匹配度,位置匹配度可以基于两个目标之间的位置偏差(整体位置偏差、构件位置偏差)得到。
结合参阅图5,在匹配度包括位置匹配和特征匹配度两者的情况下,S31可以包括以下子步骤:
S311:基于两个目标的整体位置和构件位置的位置偏差计算位置匹配度。
位置偏差为检测框的偏差。例如,检测框表示为(中心坐标,长度,宽度),检测框的偏差可以包括长度的偏差、宽度的偏移和中心坐标的偏差。位置偏差与位置匹配度负相关。又如,检测框表示为(左上顶点坐标,右下顶点坐标),检测框的偏差可以包括左上顶点坐标的偏差和右下顶点坐标的偏差。
S312:基于两个目标的整体位置和构件位置,分别在至少两个图像帧或从至少两个图像帧获得的全局特征图上进行特征提取,并基于提取到的特征计算特征匹配度。
可以对其中一个图像帧进行特征提取,得到其中一个目标的特征;以及对其中另一个图像帧进行特征提取,得到其中另一个目标的特征。
或者,可以对从其中一个图像帧获取的全局特征图进行特征提取,得到其中一个目标的特征;以及对从其中另一个图像帧获取的全局特征图进行特征提取,得到其中另一个目标的特征。
全局特征图可以是利用全局特征提取网络分别对至少两个图像帧进行特征提取得到的。全局特征提取网络可以是由带有目标分类标签的训练图像帧预先训练形成的。
目标分类标签用于标识目标的真实类别信息。在训练阶段,全局特征提取网络用于提取训练图像帧中目标的全局特征图,基于全局特征图对目标进行分类,得到目标的预测类别信息,基于预测类别信息和真实类别之间的差异信息,调整全局特征提取网络的参数。
由此,训练得到的全局特征提取网络,在应用阶段提取到的全局特征图对目标的表达能力更强(不同目标具有区分性),进而在全局特征图提取目标的特征用于特征匹配度计算,能够提高特征匹配度的准确度。
S313:将位置匹配度和特征匹配度进行融合,以得到两个目标之间的匹配度。
可以通过下式计算两个目标之间的匹配度:
min dis=wt*dis1+wf*dis2
其中,dis表示两个目标之间的匹配度,dis1表示位置匹配度,dis2表示特征匹配度,wt和wf表示权重。
可以理解的是,通过S311~S313联合目标的位置和特征进行融合匹配,能够提高同一目标在不同图像帧中的匹配准确度。
S32:判断匹配度是否大于匹配度阈值。
若是,则执行S33;否则执行S34。
S33:将两个目标进行关联。
S34:不进行两个目标的关联。
图6是本申请目标跟踪方法又一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图6所示的流程顺序为限。本实施例是对S11的进一步扩展。目标跟踪方法的实现依据目标跟踪模型,目标跟踪网络包括第一特征提取网络、第二特征提取网络、第三特征提取网络、第一目标检测层和第二目标检测层。如图6所示,本实施例可以包括:
S41:针对每一图像帧,利用第一特征提取网络从至少两个图像帧提取第一特征图。
S42:利用第二特征提取网络从第一特征图提取第二特征图,并利用第一目标检测层在第二特征图上进行目标的整体检测。
S43:利用第三特征提取网络从第一特征图提取第三特征图,并利用第二目标检测层在第三特征图上进行目标的局部构件检测。
在将目标跟踪模型投入应用之前,需要将其训练至预期,在训练阶段和应用阶段目标跟踪模型的结构可以相同,也可以不同。以不同为例,训练过程具体可以如下:
图7是本申请目标跟踪方法又一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图7所示的流程顺序为限。在训练阶段,目标跟踪模型包括第一特征提取网络、第二特征提取网络和第三特征提取网络。如图7所示,本实施例可以包括:
S51:利用第一特征提取网络从训练图像帧提取第一训练特征图。
训练图像帧带有真值标签,真值标签包括训练图像帧的用于整体检测的特征图真值、用于局部构件检测的特征图真值。
S52:利用第二特征提取网络从第一训练特征图提取第二训练特征图。
第二训练特征图用于目标的整体检测。
S53:利用第三特征提取网络从第一训练特征图提取第三训练特征图。
第三训练特征图用于目标的局部构件检测。
S54:基于第二训练特征图和第三训练特征图,调整目标跟踪模型的参数。
可以基于第二训练特征图与对应真值之间的差异信息,构建第一损失函数,基于第一损失函数调整目标跟踪模型的参数;以及可以基于第三训练特征图与对应真值之间的差异信息,构建第二损失函数,基于第二损失函数调整目标跟踪模型的参数。由此,能够使得应用阶段第二特征提取网络提取到的第二特征图更加有利于整体检测,以及第三特征提取网络提取到的第三特征图更加有利于局部构件检测。
在其他实施例中,训练阶段的目标跟踪模型还可以包括第四特征提取网络,训练图像帧的真值标签还可以包括用于目标的分类的特征图真值。基于此,可以利用第四特征提取网络从第一训练特征图提取第四训练特征图,第四训练特征图用于目标的分类;基于第四训练特征图调整目标跟踪模型的参数。即,基于第四训练特征图构建第三损失函数,基于第三损失函数调整目标跟踪模型的参数。由此,能够使得应用阶段第四特征提取网络提取到的第四特征图(全局特征图)对目标的表达能力更强,使得不同的目标之间具有区分性,有利于对目标的跟踪。本文提及的损失函数包括但不限于是交叉熵损失函数。
在其他实施例中,训练阶段的目标跟踪模型还可以包括第一目标检测层和第二目标检测层。训练图像帧的真值标签包括目标的真实构件位置和真实整体位置,第一目标检测层对第二训练特征图检测得到目标的训练整体位置,第二目标检测层对第三训练特征图检测得到目标的训练构件位置,基于训练整体位置、训练构件位置与对应真值的差异信息,调整目标跟踪模型的参数。
如下结合图8所示的目标跟踪模型,以一个例子的形式对本申请提供的目标跟踪方法进行说明:
例子1:如图8所示,目标跟踪模型包括整体检测分支,局部构件检测分支,分类分支,目标关联层和目标特征提取层。
整体检测分支包括第一特征提取网络、第二特征提取网络和第一目标检测层。局部构件检测分支依序包括第一特征提取网络、第三特征提取网络和第二目标检测层。分类分支(对应前面提及的全局特征提取网络)依序包括第一特征提取网络和第四特征提取网络。即,整体检测分支、局部构件检测分支和分类分支共用第一特征提取网络。另外,第一目标检测层和第二目标检测层的输出为目标关联层的输入,目标关联层和第四特征提取网络的输出为目标特征提取层的输入。
将至少两个图像帧送入目标跟踪模型,目标跟踪模型对图像帧的处理过程如下:
1)第一特征提取网络对图像帧I进行卷积和降采样处理,得到第一特征图I1
2)第二特征提取网络对I1进行卷积和降采样处理,得到第二特征图I2;第一目标检测层对第二特征图I2进行目标的整体检测,得到目标的整体位置。
3)第三特征提取网络对I1进行卷积和降采样处理,得到第三特征图I3;第二目标检测层对第三特征图I3进行目标的局部构件检测,得到目标的构件位置。
4)目标关联层对构件位置所属目标的整体位置进行估计,得到估计位置。对目标的整体位置和构件位置的估计位置进行交并比计算,以将属于同一目标的整体位置和构件位置关联。对于未通过交并比计算关联上的构件位置,将其与估计位置关联。
5)第四特征提取网络对第一特征图I1进行卷积和降采样处理,得到第四特征图I4(对应前面提及的全局特征图)。
6)目标特征提取层基于关联的整体位置和构件位置从I4提取目标的特征。
7)计算至少两个图像帧中两个目标之间的特征匹配度,以及基于关联的整体位置和构件位置,计算两个目标之间的位置匹配度。
8)基于特征匹配度和位置匹配度得到两个目标之间的匹配度。若匹配度大于匹配度阈值,则将两个目标关联。
如下结合图9,以一个例子的形式介绍目标跟踪模型的训练:
例子2:如图9所示,在训练阶段,目标跟踪模型包括整体检测分支、局部构件检测分支和分类分支,与应用阶段相比,整体检测分支未包括第一目标检测层,局部构件检测分支未包括第二目标检测层。将带有真值标签的训练图像帧送入目标跟踪模型,目标跟踪模型的处理过程如下:
第一特征提取网络得到训练图像帧的第一训练特征图。
第二特征提取网络、第三特征提取网络和第四特征提取网络分别基于第一训练特征图,对应得到第二训练特征图、第三训练特征图和第四训练特征图。
基于第二训练特征图与对应真值的差异信息,调整整体检测分支的参数。基于第三训练特征图与对应真值的差异信息,调整局部构件检测分支的参数。基于第四训练特征图与对应真值的差异信息,调整分类分支的参数。
图10是本申请电子设备一实施例的结构示意图。如图10所示,该电子设备包括处理器21、与处理器21耦接的存储器22。
其中,存储器22存储有用于实现上述任一实施例的方法的程序指令;处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中,处理器21还可以称为CPU(Central Processing Unit,中央处理单元)。处理器21可能是一种集成电路芯片,具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本实施例提及的电子设备可以是接入管理节点,也可以是与接入管理节点建立有连接的其他设备。
图11是本申请计算机可读存储介质一实施例的结构示意图。如图11所示,本申请实施例的计算机可读存储介质30存储有程序指令31,该程序指令31被执行时实现本申请上述实施例提供的方法。其中,该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种目标跟踪方法,其特征在于,包括:
在至少两个图像帧上分别对目标的整体和构成所述目标的局部构件进行检测,以获取所述目标的整体位置和构件位置;
针对每一所述图像帧,将属于同一所述目标的整体位置和构件位置进行关联;
基于关联后的所述整体位置和构件位置,在所述至少两个图像帧之间进行目标跟踪;
所述针对每一所述图像帧,将属于同一所述目标的整体位置和构件位置进行关联,包括:
基于所述构件位置对所述局部构件所属的目标进行整体位置估计,以获得估计位置,将通过整体检测获得的整体位置与通过位置估计获得的估计位置进行匹配,以确定所述构件位置所关联的所述整体位置;
其中,所述将通过整体检测获得所述整体位置与通过位置估计获得的估计位置进行匹配,包括:
计算所述估计位置与每个所述整体位置之间的交并比;
若最大交并比大于或等于预设交并比阈值,则判定所述估计位置与所述最大交并比对应的整体位置相匹配;
若不存在与所述估计位置相匹配的所述整体位置,则将所述估计位置作为新的整体位置。
2.根据权利要求1所述的方法,其特征在于,所述基于关联后的所述整体位置和构件位置,在所述至少两个图像帧之间进行目标跟踪,包括:
基于关联后的所述整体位置和构件位置,计算分别位于所述至少两个图像帧上的两个目标之间的匹配度;
若所述匹配度大于匹配度阈值,则将所述两个目标进行关联。
3.根据权利要求2所述的方法,其特征在于,所述基于关联后的所述整体位置和构件位置,计算分别位于所述至少两个图像帧上的两个目标之间的匹配度,包括:
基于所述两个目标的所述整体位置和构件位置的位置偏差计算位置匹配度;
基于所述两个目标的所述整体位置和构件位置,分别在所述至少两个图像帧或从所述至少两个图像帧获得的全局特征图上进行特征提取,并基于提取到的特征计算特征匹配度;
将所述位置匹配度和所述特征匹配度进行融合,以得到所述两个目标之间的匹配度。
4.根据权利要求3所述的方法,其特征在于,在所述分别从所述至少两个图像帧获得的全局特征图上进行特征提取之前,所述方法进一步包括:
利用全局特征提取网络从所述至少两个图像帧提取所述全局特征图,其中所述全局特征提取网络是由带有目标分类标签的训练图像帧预先训练形成。
5.根据权利要求1所述的方法,其特征在于,所述目标跟踪方法是依据目标跟踪模型实现的,所述目标跟踪模型包括第一特征提取网络、第二特征提取网络、第三特征提取网络、第一目标检测层和第二目标检测层,所述在至少两个图像帧上分别对目标的整体检测和构成所述目标的局部构件进行检测,包括:
针对每一所述图像帧,利用所述第一特征提取网络从所述图像帧提取第一特征图;
利用所述第二特征提取网络从所述第一特征图提取第二特征图,并利用所述第一目标检测层在所述第二特征图上进行目标的整体检测;
利用所述第三特征提取网络从所述第一特征图提取第三特征图,并利用所述第二目标检测层在所述第三特征图上进行目标的局部构件检测。
6.根据权利要求5所述的方法,其特征在于,对所述目标跟踪模型的训练步骤包括:
利用所述第一特征提取网络从训练图像帧提取第一训练特征图;
利用所述第二特征提取网络从所述第一训练特征图提取第二训练特征图,所述第二训练特征图用于所述目标的整体检测;
利用所述第三特征提取网络从所述第一训练特征图提取第三训练特征图,所述第三训练特征图用于所述目标的局部构件检测;
基于所述第二训练特征图和所述第三训练特征图,调整所述目标跟踪模型的参数。
7.根据权利要求6所述的方法,其特征在于,所述目标跟踪模型还包括第四特征提取网络,所述方法进一步包括:
利用所述第四特征提取网络从所述第一训练特征图提取第四训练特征图,所述第四训练特征图用于所述目标的分类;
基于所述第四训练特征图调整所述目标跟踪模型的参数。
8.一种电子设备,其位置在于,包括处理器、与所述处理器连接的存储器,其中,
所述存储器存储有程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-7中任一项所述的方法。
9.一种计算机可读存储介质,其位置在于,所述存储介质存储程序指令,所述程序指令被执行时实现如权利要求1-7中任一项所述的方法。
CN202111614848.XA 2021-12-27 2021-12-27 目标跟踪方法、电子设备及存储介质 Active CN114463378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111614848.XA CN114463378B (zh) 2021-12-27 2021-12-27 目标跟踪方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111614848.XA CN114463378B (zh) 2021-12-27 2021-12-27 目标跟踪方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114463378A CN114463378A (zh) 2022-05-10
CN114463378B true CN114463378B (zh) 2023-02-24

Family

ID=81407231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111614848.XA Active CN114463378B (zh) 2021-12-27 2021-12-27 目标跟踪方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114463378B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311647A (zh) * 2020-01-17 2020-06-19 长沙理工大学 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN111696130A (zh) * 2019-03-12 2020-09-22 北京京东尚科信息技术有限公司 目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN112150508A (zh) * 2020-09-29 2020-12-29 济南博观智能科技有限公司 一种目标追踪方法、装置及相关设备
CN112307897A (zh) * 2020-09-27 2021-02-02 青岛邃智信息科技有限公司 一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法
CN112380960A (zh) * 2020-11-11 2021-02-19 广东电力信息科技有限公司 一种人群计数方法、装置、设备和存储介质
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112489085A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112580525A (zh) * 2020-12-22 2021-03-30 南京信息工程大学 一种基于行人再识别的病例活动轨迹监测方法
CN112767443A (zh) * 2021-01-18 2021-05-07 深圳市华尊科技股份有限公司 目标跟踪方法、电子设备及相关产品
CN113011435A (zh) * 2021-02-04 2021-06-22 精英数智科技股份有限公司 目标对象的图像处理方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469118B (zh) * 2021-07-20 2024-05-21 京东科技控股股份有限公司 多目标行人跟踪方法及装置、电子设备、存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696130A (zh) * 2019-03-12 2020-09-22 北京京东尚科信息技术有限公司 目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN111311647A (zh) * 2020-01-17 2020-06-19 长沙理工大学 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN112307897A (zh) * 2020-09-27 2021-02-02 青岛邃智信息科技有限公司 一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法
CN112150508A (zh) * 2020-09-29 2020-12-29 济南博观智能科技有限公司 一种目标追踪方法、装置及相关设备
CN112380960A (zh) * 2020-11-11 2021-02-19 广东电力信息科技有限公司 一种人群计数方法、装置、设备和存储介质
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112489085A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112580525A (zh) * 2020-12-22 2021-03-30 南京信息工程大学 一种基于行人再识别的病例活动轨迹监测方法
CN112767443A (zh) * 2021-01-18 2021-05-07 深圳市华尊科技股份有限公司 目标跟踪方法、电子设备及相关产品
CN113011435A (zh) * 2021-02-04 2021-06-22 精英数智科技股份有限公司 目标对象的图像处理方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于全局局部一致性的多特征融合目标跟踪;徐艳等;《兵器装备工程学报》;20191211(第03期);全文 *

Also Published As

Publication number Publication date
CN114463378A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN108229322B (zh) 基于视频的人脸识别方法、装置、电子设备及存储介质
CN107358149B (zh) 一种人体姿态检测方法和装置
WO2020042419A1 (zh) 基于步态的身份识别方法、装置、电子设备
CN111627045B (zh) 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
US20170213080A1 (en) Methods and systems for automatically and accurately detecting human bodies in videos and/or images
US20140185924A1 (en) Face Alignment by Explicit Shape Regression
CN106203423B (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN111652934A (zh) 定位方法及地图构建方法、装置、设备、存储介质
Xia et al. Loop closure detection for visual SLAM using PCANet features
WO2019242672A1 (zh) 一种目标跟踪方法、装置及系统
CN111931764B (zh) 一种目标检测方法、目标检测框架及相关设备
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
Nuevo et al. RSMAT: Robust simultaneous modeling and tracking
CN112365523A (zh) 基于无锚点孪生网络关键点检测的目标跟踪方法及装置
CN112966599B (zh) 关键点识别模型的训练方法、关键点识别方法及装置
WO2019128460A1 (zh) 图像显著性检测方法和装置
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
US20190043168A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN111696133A (zh) 一种实时目标跟踪方法及系统
CN115761392A (zh) 激光雷达目标检测模型训练方法、检测方法及装置
CN116452631A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN116343080A (zh) 一种动态稀疏关键帧视频目标检测方法、装置及存储介质
Chen et al. Pedestrian detection and tracking based on 2d lidar
CN117372928A (zh) 一种视频目标检测方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant