CN116402862A - 多目标跟踪方法、装置、电子设备及存储介质 - Google Patents

多目标跟踪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116402862A
CN116402862A CN202310678515.6A CN202310678515A CN116402862A CN 116402862 A CN116402862 A CN 116402862A CN 202310678515 A CN202310678515 A CN 202310678515A CN 116402862 A CN116402862 A CN 116402862A
Authority
CN
China
Prior art keywords
pedestrian
tracking
feature
information
appearance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310678515.6A
Other languages
English (en)
Other versions
CN116402862B (zh
Inventor
巢建树
窦光义
赖佳华
邱创一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing filed Critical Quanzhou Institute of Equipment Manufacturing
Priority to CN202310678515.6A priority Critical patent/CN116402862B/zh
Publication of CN116402862A publication Critical patent/CN116402862A/zh
Application granted granted Critical
Publication of CN116402862B publication Critical patent/CN116402862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种多目标跟踪方法、装置、电子设备及存储介质，涉及图像跟踪技术领域；所述方法通过检测图片帧同时获取每个行人的方位信息和外观信息；将所述外观信息按设定的时间间隔和阈值保存到特征列表中，作为第一行人跟踪特征；根据所述第一行人跟踪特征进行初步行人跟踪处理，形成行人ID并保存；将后续图片帧中新检测行人特征与所述第一行人跟踪特征进行对比，对所述行人ID进行更新纠正，并对更新过程中的行人特征进行特征平滑处理，增加高置信度行人的权重，完成跟踪流程；本发明将行人特征通过特征列表的形式进行存储，通过特征重识别的方式减少了行人长时间遮挡带来的跟踪错误。

Description

多目标跟踪方法、装置、电子设备及存储介质
技术领域
本发明公开一种多目标跟踪方法、装置、电子设备及存储介质，涉及图像跟踪技术领域。
背景技术
现有的目标跟踪算法主要通过检测网络获得行人检测框，再利用CNN模型获取行人的外观特征，将行人的方位信息和外观信息通过匈牙利算法进行最小代价匹配，完成跟踪关联。在跟踪过程中，检测和特征提取网络串联工作，极大的降低了跟踪算法的运行效率。而且大多数跟踪关联策略会利用行人的外观特征，但获取的低维特征在跟踪过程中只能保存几十帧，如果目标消失超过阈值则取消特征保存，再次出现会为其分配新的行人ID，出现跟踪错误。同时由于行人遮挡等场景导致行人外观缺失，在新检测的行人匹配时同样会因为外观特征相差较大导致跟踪错误。
发明内容
本发明针对现有技术的问题，提供一种多目标跟踪方法、装置、电子设备及存储介质，所采用的技术方案为：
第一方面，一种多目标跟踪方法，通过检测图片帧同时获取每个行人的方位信息和外观信息；将所述外观信息按设定的时间间隔和阈值保存到特征列表中，作为第一行人跟踪特征；
根据所述第一行人跟踪特征进行初步行人跟踪处理，形成行人ID并保存；
将后续图片帧中新检测行人特征与所述第一行人跟踪特征进行对比，对所述行人ID进行更新纠正，并对更新过程中的行人特征进行特征平滑处理，增加高置信度行人的权重，完成跟踪流程。
在一些实现方式中，所述方法包括：
S01通过检测模型从固定帧中获取第一行人跟踪特征，所述第一行人跟踪特征包括第一方位信息、第一外观信息和第一置信度；
S02根据设定的距离阈值筛选所述第一外观信息，将符合条件的所述第一外观信息保存到特征列表中；
S03在保存所述第一外观信息的同时保存所述第一置信度，并利用所述第一方位信息完成跟踪流程，形成行人ID并保存。
在一些实现方式中，所述方法还包括：
S04通过检测模型从当前帧中获取第二行人跟踪特征，所述第二行人跟踪特征包括第二方位信息和第二外观信息和第二置信度；
S05根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征，纠正并更新其ID；
S06根据预定的置信度阈值筛选所述第二置信度，将符合条件的所述第二外观信息进行特征平滑优化；
S07更新行人跟踪特征列表，并持续完成后续跟踪过程。
在一些实现方式中，所述S05根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征等信息，纠正并更新其ID，包括：
S051根据所述第二外观信息生成第二特征矩阵；
S052根据所述特征表中保存的第一外观信息形成第一特征矩阵；
S053根据欧式距离计算所述第一特征矩阵和第二特征矩阵之间的距离，得到关联距离；
S054利用在所述距离阈值内的所述第二行人跟踪特征信息对行人ID进行纠正更新。
第二方面，本发明实施例提供一种多目标跟踪装置，所述装置包括：
信息获取模块，用于通过检测图片帧获取每个行人的方位信息和外观信息；
特征处理模块，用于将所述外观信息按设定的时间间隔和阈值保存到特征列表中，作为第一行人跟踪特征；
初步处理模块，用于根据所述第一行人跟踪特征进行初步行人跟踪处理，形成行人ID并保存；
优化处理模块，用于将后续图片帧中新检测行人特征与所述第一行人跟踪特征进行对比，对所述行人ID进行更新纠正，并对更新过程中的行人特征进行特征平滑处理，增加高置信度行人的权重，完成跟踪流程。
所述信息获取模块，用于通过检测模型从固定帧中获取第一行人跟踪特征，所述第一行人跟踪特征包括第一方位信息、第一外观信息和第一置信度；
特征处理模块，用于根据设定的距离阈值筛选所述第一外观信息，将符合条件的所述第一外观信息保存到特征表中；
初步处理模块，用于在保存所述第一外观信息的同时保存所述第一置信度，并利用所述第一方位信息完成跟踪流程，形成行人ID并保存。
在一些实现方式中，所述优化处理模块包括：
信息获取单元，用于通过检测模型从当前帧中获取第二行人跟踪特征，所述第二行人跟踪特征包括第二方位信息和第二外观信息和第二置信度；
特征处理单元，用于根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征等信息，纠正并更新其ID；
跟踪优化单元，用于根据预定的置信度阈值筛选所述第二置信度，将符合条件的所述第二外观信息进行特征平滑优化；
持续跟踪单元，用于更新行人跟踪特征列表，并持续完成后续跟踪过程。
第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时，实现如上述第一方面所述的方法。
第四方面，本发明实施例提供一种计算机存储介质，所述计算机可读取存储介质中存储有计算机程序，所述计算机程序被处理器执行时，用实现如第一方面所述的方法。
第五方面，本发明实施例提供一种计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
本发明的一个或多个实施例至少能够带来如下有益效果：
本发明方法应用中心检测跟踪模型FairMOT，能够同时提取行人的外观信息和方位信息，减少了算法运行时间。将行人特征通过特征列表的形式进行存储，通过特征重识别的方式减少了行人长时间遮挡带来的跟踪错误。
本发明方法在关联过程的行人信息更新时进行特征平滑，增加置信度高的行人特征在关联过程中的作用，抑制信息缺失特征的干扰；通过特征重识别和特征平滑方法在跟踪关联部分提高了算法准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多目标跟踪方法流程图；
图2是本发明实施例提供的一种多目标跟踪方法的实施流程图。
图3是本发明实施例提供的一种多目标跟踪方法的行人重识别特征关联过程示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1示出了一种多目标跟踪方法流程图，如图1所示，本实施例提供的多目标跟踪方法，包括：
通过检测图片帧同时获取每个行人的方位信息和外观信息；将所述外观信息按设定的时间间隔和阈值保存到特征列表中，作为第一行人跟踪特征；
根据所述第一行人跟踪特征进行初步行人跟踪处理，形成行人ID并保存；
将后续图片帧中新检测行人特征与所述第一行人跟踪特征进行对比，对所述行人ID进行更新纠正，并对更新过程中的行人特征进行特征平滑处理，增加高置信度行人的权重，完成跟踪流程。
如图2所示的多目标跟踪方法的实施流程图，本发明实施例通过图片帧中选取前后两帧图片作为跟踪对象，跟踪算法输入的每一帧图片必须通过中心检测模型来获取每个行人的方位信息和外观信息，其中获取到的方位信息通过计算交并比的方式辅助跟踪过程，外观信息按一定的时间间隔保存在设定的特征列表中，其中还包括行人的置信度、ID等其他匹配过程中所需信息，特征列表是独立的，不会随着图像处理完成而被删除。然后对未匹配行人进行特征对比，如果距离小于设定值，则匹配成功，进行行人ID的更新纠正。特征平滑方法作用于整个跟踪方法中的更新流程，只要跟踪算法中有关于轨迹特征和待匹配特征的计算和判断，就可以通过特征平滑方法和当前帧行人的置信度确定权值的分配，减少低置信度特征对后续跟踪的影响。
进一步的，图3示出了一种多目标跟踪方法的行人重识别特征关联过程示意图，如图3所示，所述方法包括：图2内容S01~S07：
S01通过检测模型从固定帧中获取第一行人跟踪特征，所述第一行人跟踪特征包括第一方位信息、第一外观信息和第一置信度；
S02根据设定的距离阈值筛选所述第一外观信息，将符合条件的所述第一外观信息保存到特征列表中；
S03在保存所述第一外观信息的同时保存所述第一置信度，并利用所述第一方位信息完成跟踪流程，形成行人ID并保存；
S04通过检测模型从当前帧中获取第二行人跟踪特征，所述第二行人跟踪特征包括第二方位信息和第二外观信息和第二置信度；
S05根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征，纠正并更新其ID；
S06根据预定的置信度阈值筛选所述第二置信度，将符合条件的所述第二外观信息进行特征平滑优化；
S07更新行人跟踪特征列表，并持续完成后续跟踪过程。
图片经过检测模型，其中新检测的行人可分为2部分，成功与已有轨迹匹配的行人和未与已有轨迹匹配的行人。其中与已有轨迹匹配成功的行人说明跟踪正确，将此行人的ID编号、行人检测框的置信度和行人的外观特征保存到特征列表中。保存的同时设置相应的参数控制存储目标。通常置信度大于0.7的检测框被认为行人外观较为清晰，能够作为特征匹配的依据，所以在保存的过程中，为了防止特征列表中的数据太多，过多相似的特征增加计算的时间，算法中设定每运行30帧保存一次行人特征，同时保存的阈值设定为0.7。
对于未与轨迹匹配的行人，要通过与特征列表中的特征计算距离来确定最终的结果。图3中两个矩阵通过欧氏距离度量方法，得到1×N的矩阵，N个值对应待匹配的一个行人与特征列表中N个行人的距离，通过最小值函数获得矩阵中最小的值，确定为与待匹配行人特征距离最近的值，即外观与待匹配行人最相似。
在特征重识别方法中，也设定了相关参数辅助判断，从而过滤掉错误信息。首先，在保存特征的过程中，为了防止外观模糊不清晰或者被遮挡的行人加入特征库，造成匹配错误，行人的置信度必须大于0.7才能加入特征列表，同时保存特征的时间间隔为30帧。在相似度矩阵中，如果每个值都比较大，说明待匹配行人特征与特征库中的每个行人相似度都不大，有可能是新出现的行人。所以在确定最相似特征的过程中，不能简单的把最小值作为结果，需要用相似度阈值判定，在关联方法中设定为0.3。如果最小距离小于0.3，才将其视为同一行人，然后通过特征序号在特征列表中找到对应特征，将行人的ID赋予新的行人检测框，完成特征重识别的工作。在视频跟踪的某些特殊情况下，如行人遮挡和重新出现在镜头内，通过行人特征的重识别，可以在赋予新检测行人赋值新的ID的同时，根据外观特征纠正其ID，减少跟踪中的错误。
目标跟踪算法中行人外观特征能够提高低帧率等视频条件下的跟踪准确率，减少模糊特征带来的误差。为了在跟踪关联环节更好的应用行人的外观特征，本发明提出的特征平滑方法在行人特征更新时对轨迹特征进行优化。
在上述步骤中，本发明提出的特征重识别方法将固定帧提取的行人外观特征保存在特征列表中，在每次有新的行人出现时，会将其与特征列表中的多个行人特征进行距离计算，如果符合设定阈值要求，便将特征列表中成功匹配的行人ID赋值给新的行人，完成一次跟踪。特征重识别将新检测的行人特征和特征列表中存储的行人特征进行距离计算，从而实现同一行人的关联。
在特征列表中每个行人特征以256维张量的形式存在。新检测到的行人的特征尺 寸为1×256，特征列表中所有行人特征的尺寸共为N×256，N为特征列表中的行人个数，用 欧式距离来计算两个矩阵之间的距离。特征距离
Figure SMS_1
的计算公式如下：
Figure SMS_2
其中矩阵S的大小为1×256，矩阵T大小为N×256，在计算过程中取消平方根运算，减少了跟踪过程中的计算量，同时每个值之间的距离会更大，便于特征间的比较。
进一步的，所述S05根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征等信息，纠正并更新其ID，包括：
S051根据所述第二外观信息生成第二特征矩阵；
S052根据所述特征表中保存的第一外观信息形成第一特征矩阵；
S053根据欧式距离计算所述第一特征矩阵和第二特征矩阵之间的距离，得到关联距离；
S054利用在所述距离阈值内的所述第二行人跟踪特征信息对行人ID进行纠正更新。
为了使已生成轨迹的行人特征能够反映更加完整的行人信息，特征平滑方法在每一次更新时，会考虑新检测行人的置信度，行人的置信度越高，说明作为行人跟踪依据特征的可信度就越高，就会为这个特征分配更大的权重。如公式所示：
Figure SMS_3
SF表示跟踪到前一帧的特征平滑后的特征smooth_feature，CF表示轨迹跟踪到当前帧的行人特征current_feature，λ为权重分配参数，在关联过程中设置为0.9。同时设置一个置信度阈值，对于置信度高的行人检测框，说明行人外观保留较为清晰，没有很多的遮挡，对于这种能更加精确描述行人外观的特征，在待匹配特征中将分配更多的权重，有利于后续视频帧的正确识别。置信度阈值设置为0.6，即对置信度大于0.6的行人应用特征平滑方法。
实施例二：
第二方面，本发明实施例提供一种多目标跟踪装置，所述装置包括：
信息获取模块，用于通过检测图片帧获取每个行人的方位信息和外观信息；
特征处理模块，用于将所述外观信息按设定的时间间隔和阈值保存到特征列表中，作为第一行人跟踪特征；
初步处理模块，用于根据所述第一行人跟踪特征进行初步行人跟踪处理，形成行人ID并保存；
优化处理模块，用于将后续图片帧中新检测行人特征与所述第一行人跟踪特征进行对比，对所述行人ID进行更新纠正，并对更新过程中的行人特征进行特征平滑处理，增加高置信度行人的权重，完成跟踪流程。
在一些实现方式中，所述信息获取模块，用于通过检测模型从固定帧中获取第一行人跟踪特征，所述第一行人跟踪特征包括第一方位信息、第一外观信息和第一置信度；
特征处理模块，用于根据设定的距离阈值筛选所述第一外观信息，将符合条件的所述第一外观信息保存到特征表中；
初步处理模块，用于在保存所述第一外观信息的同时保存所述第一置信度，并利用所述第一方位信息完成跟踪流程，形成行人ID并保存。
在一些实现方式中，所述优化处理模块包括：
信息获取单元，用于通过检测模型从当前帧中获取第二行人跟踪特征，所述第二行人跟踪特征包括第二方位信息和第二外观信息和第二置信度；
特征处理单元，用于根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征等信息，纠正并更新其ID；
跟踪优化单元，用于根据预定的置信度阈值筛选所述第二置信度，将符合条件的所述第二外观信息进行特征平滑优化；
持续跟踪单元，用于更新行人跟踪特征列表，并持续完成后续跟踪过程。
实施例三：
本实施例还提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现实施例一的方法；
在实际应用中，处理器可以是专用集成电路（Application Specific IntegratedCircuit，简称ASIC）、数字信号处理器（Digital Signal Processor，简称DSP）、数字信号处理设备（Digital SignalProcessing Device，简称DSPD）、可编程逻辑器件（ProgrammableLogic Device，简称PLD）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）、控制器、微控制器 (Microcontroller Unit, MCU)、微处理器或其他电子元件实现，用于执行上述实施例中的方法。
本实施例所实现的方法，如实施例一记载。
实施例四：
本实施例还提供一种计算机存储介质，所述计算机可读取存储介质中存储有计算机程序，计算机程序被一个或多个处理器执行时，实现实施例一的方法；
其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（Static Random Access Memory，简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（ErasableProgrammable Read-Only Memory，简称EPROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），只读存储器（Read-Only Memory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。
本实施例所实现的方法，如实施例一记载。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。
需要说明的是，在本文中，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种多目标跟踪方法，其特征在于，所述方法通过检测图片帧同时获取每个行人的方位信息和外观信息；将所述外观信息按设定的时间间隔和阈值保存到特征列表中，作为第一行人跟踪特征；
根据所述第一行人跟踪特征进行初步行人跟踪处理，形成行人ID并保存；
将后续图片帧中新检测行人特征与所述第一行人跟踪特征进行对比，对所述行人ID进行更新纠正，并对更新过程中的行人特征进行特征平滑处理，增加高置信度行人的权重，完成跟踪流程。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
S01通过检测模型从固定帧中获取第一行人跟踪特征，所述第一行人跟踪特征包括第一方位信息、第一外观信息和第一置信度；
S02根据设定的距离阈值筛选所述第一外观信息，将符合条件的所述第一外观信息保存到特征列表中；
S03在保存所述第一外观信息的同时保存所述第一置信度，并利用所述第一方位信息完成跟踪流程，形成行人ID并保存。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
S04通过检测模型从当前帧中获取第二行人跟踪特征，所述第二行人跟踪特征包括第二方位信息和第二外观信息和第二置信度；
S05根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征，纠正并更新其ID；
S06根据预定的置信度阈值筛选所述第二置信度，将符合条件的所述第二外观信息进行特征平滑优化；
S07更新行人跟踪特征列表，并持续完成后续跟踪过程。
4.根据权利要求3所述的方法，其特征在于，所述S05根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征等信息，纠正并更新其ID，包括：
S051根据所述第二外观信息生成第二特征矩阵；
S052根据所述特征表中保存的第一外观信息形成第一特征矩阵；
S053根据欧式距离计算所述第一特征矩阵和第二特征矩阵之间的距离，得到关联距离；
S054利用在所述距离阈值内的所述第二行人跟踪特征信息对行人ID进行纠正更新。
5.一种多目标跟踪装置，其特征在于，所述装置包括：
信息获取模块，用于通过检测图片帧获取每个行人的方位信息和外观信息；
特征处理模块，用于将所述外观信息按设定的时间间隔和阈值保存到特征列表中，作为第一行人跟踪特征；
初步处理模块，用于根据所述第一行人跟踪特征进行初步行人跟踪处理，形成行人ID并保存；
优化处理模块，用于将后续图片帧中新检测行人特征与所述第一行人跟踪特征进行对比，对所述行人ID进行更新纠正，并对更新过程中的行人特征进行特征平滑处理，增加高置信度行人的权重，完成跟踪流程。
6.根据权利要求5所述的装置，其特征在于，所述信息获取模块，用于通过检测模型从固定帧中获取第一行人跟踪特征，所述第一行人跟踪特征包括第一方位信息、第一外观信息和第一置信度；
特征处理模块，用于根据设定的距离阈值筛选所述第一外观信息，将符合条件的所述第一外观信息保存到特征表中；
初步处理模块，用于在保存所述第一外观信息的同时保存所述第一置信度，并利用所述第一方位信息完成跟踪流程，形成行人ID并保存。
7.根据权利要求6所述的装置，其特征在于，所述优化处理模块包括：
信息获取单元，用于通过检测模型从当前帧中获取第二行人跟踪特征，所述第二行人跟踪特征包括第二方位信息和第二外观信息和第二置信度；
特征处理单元，用于根据预定的距离阈值筛选所述第二外观信息，在特征列表中提取符合条件的所述第一行人跟踪特征等信息，纠正并更新其ID；
跟踪优化单元，用于根据预定的置信度阈值筛选所述第二置信度，将符合条件的所述第二外观信息进行特征平滑优化；
持续跟踪单元，用于更新行人跟踪特征列表，并持续完成后续跟踪过程。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202310678515.6A 2023-06-09 2023-06-09 多目标跟踪方法、装置、电子设备及存储介质 Active CN116402862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310678515.6A CN116402862B (zh) 2023-06-09 2023-06-09 多目标跟踪方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310678515.6A CN116402862B (zh) 2023-06-09 2023-06-09 多目标跟踪方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116402862A true CN116402862A (zh) 2023-07-07
CN116402862B CN116402862B (zh) 2023-08-22

Family

ID=87020280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310678515.6A Active CN116402862B (zh) 2023-06-09 2023-06-09 多目标跟踪方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116402862B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596958A (zh) * 2023-07-18 2023-08-15 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197502A (zh) * 2019-06-06 2019-09-03 山东工商学院 一种基于身份再识别的多目标跟踪方法及系统
WO2021139787A2 (zh) * 2020-01-09 2021-07-15 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN114332168A (zh) * 2022-03-14 2022-04-12 苏州浪潮智能科技有限公司 一种行人跟踪方法、行人跟踪系统、电子设备及存储介质
CN115063441A (zh) * 2022-05-13 2022-09-16 深圳市安软慧视科技有限公司 减少跳变的多目标跟踪方法、系统及相关设备
CN115100716A (zh) * 2022-06-29 2022-09-23 刘丰林 一种智慧社区行人跟踪定位方法及系统
CN115631445A (zh) * 2022-10-31 2023-01-20 武汉华中天经通视科技有限公司 一种多帧目标综合的检测框平滑方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197502A (zh) * 2019-06-06 2019-09-03 山东工商学院 一种基于身份再识别的多目标跟踪方法及系统
WO2021139787A2 (zh) * 2020-01-09 2021-07-15 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN114332168A (zh) * 2022-03-14 2022-04-12 苏州浪潮智能科技有限公司 一种行人跟踪方法、行人跟踪系统、电子设备及存储介质
CN115063441A (zh) * 2022-05-13 2022-09-16 深圳市安软慧视科技有限公司 减少跳变的多目标跟踪方法、系统及相关设备
CN115100716A (zh) * 2022-06-29 2022-09-23 刘丰林 一种智慧社区行人跟踪定位方法及系统
CN115631445A (zh) * 2022-10-31 2023-01-20 武汉华中天经通视科技有限公司 一种多帧目标综合的检测框平滑方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596958A (zh) * 2023-07-18 2023-08-15 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置
CN116596958B (zh) * 2023-07-18 2023-10-10 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置

Also Published As

Publication number Publication date
CN116402862B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN116402862B (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN107491742B (zh) 一种长时稳定的无人机目标跟踪方法
CN109977823B (zh) 行人识别跟踪方法、装置、计算机设备和存储介质
CN110187334B (zh) 一种目标监控方法、装置及计算机可读存储介质
CN105761277B (zh) 一种基于光流的运动目标跟踪方法
US20190272437A1 (en) Method and device for correcting license plate
CN111339979B (zh) 基于特征提取的图像识别方法及图像识别装置
CN109658433B (zh) 图像背景建模和前景提取方法、装置和电子设备
CN108446707B (zh) 基于关键点筛选及dpm确认的遥感图像飞机检测方法
CN108073926B (zh) 一种车牌识别方法及装置
CN111177440B (zh) 目标图像的检索方法、装置、计算机设备和存储介质
CN109308478B (zh) 一种字符识别方法及装置
CN110675426B (zh) 人体跟踪方法、装置、设备及存储介质
CN112733719A (zh) 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN111192294A (zh) 一种基于目标检测的目标跟踪方法及系统
CN111340845A (zh) 基于深度视觉传感器的自动跟踪方法、系统、终端以及介质
CN110309834A (zh) 用于户外离线导航系统的改进orb-slam算法
CN112184814B (zh) 定位方法和定位系统
CN109360167B (zh) 一种红外图像校正方法、装置及存储介质
CN114332168A (zh) 一种行人跟踪方法、行人跟踪系统、电子设备及存储介质
CN116193281A (zh) 一种校正坏点的方法、装置、终端及计算机可读存储介质
CN116817887B (zh) 语义视觉slam地图构建方法、电子设备及存储介质
CN110084157B (zh) 图像重识别的数据处理方法及装置
CN116309422A (zh) 鱼眼图像处理方法、装置、电子设备及存储介质
CN115661131A (zh) 一种图像识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant