CN110458868A - 基于sort的多目标跟踪识别展示系统 - Google Patents

基于sort的多目标跟踪识别展示系统 Download PDF

Info

Publication number
CN110458868A
CN110458868A CN201910755447.2A CN201910755447A CN110458868A CN 110458868 A CN110458868 A CN 110458868A CN 201910755447 A CN201910755447 A CN 201910755447A CN 110458868 A CN110458868 A CN 110458868A
Authority
CN
China
Prior art keywords
track
multiple target
tracking
sort
target tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910755447.2A
Other languages
English (en)
Inventor
叶雪军
唐建宇
陈智全
周子程
袁慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUBEI UNIVERSITY OF ECONOMICS
Original Assignee
HUBEI UNIVERSITY OF ECONOMICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUBEI UNIVERSITY OF ECONOMICS filed Critical HUBEI UNIVERSITY OF ECONOMICS
Priority to CN201910755447.2A priority Critical patent/CN110458868A/zh
Publication of CN110458868A publication Critical patent/CN110458868A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于SORT的多目标跟踪识别展示系统，包括以下步骤：(1)状态估计；(2)轨迹处理；(3)匹配，有益效果：跟踪模块使用SORT算法进行多目标跟踪，记录所有跟踪的鱼的运动轨迹，以便进行分析，经过多次反复的尝试，测试出跟踪模块没有出现问题，在目标跟踪上，利用多目标跟踪算法SORT，能够跟踪出摄像头所拍摄到的画面中识别出的各种鱼类，在目标跟踪时，利用计算机视觉的目标跟踪算法，由于此算法学习和检测的速度较快，跟踪效率也大大提升，用来实时跟踪识别算法识别出的所有的鱼类，当检测到该鱼的生存状态不佳时，进行单目标跟踪，以便对其能够及时的治疗，可以用于掌握当前鱼的生理状况，从而辅助管理员更好地管理鱼缸。

Description

基于SORT的多目标跟踪识别展示系统
技术领域：
本发明属于多目标跟踪技术领域，特别涉及基于SORT的多目标跟踪识别展示系统。
背景技术：
平常，我们在水族馆看见五颜六色的鱼，不能直接辨认鱼的种类，也不能直接了解鱼的信息，而墙上的介绍经常会被忽视或无法和鱼缸中的鱼进行对应，同时，鱼在水族馆内的运动轨迹无法进行单目标跟踪定位，当鱼的生存状态不佳时，不能有效掌握其在水族馆内的运动轨迹，从而导致对其治疗不够及时，需要管理员花费更多的时间用于鱼缸管理，所以本发明提供基于SORT的多目标跟踪识别展示系统来解决上述问题。
发明内容：
本发明的目的就在于为了解决上述问题而提供基于SORT的多目标跟踪识别展示系统，解决了现有的缺点。
为了解决上述问题，本发明提供了一种技术方案：基于SORT的多目标跟踪识别展示系统，包括以下步骤：
(1)状态估计；
(2)轨迹处理；
(3)匹配。
作为优选，步骤(1)使用一个8维空间去刻画轨迹在某时刻的状态，分别表示包围盒中心的位置、纵横比、高度、以及在图像坐标中对应的速度信息，然后使用一个kalman滤波器预测更新轨迹，该卡尔曼滤波器采用匀速模型和线性观测模型。
作为优选，步骤(2)主要说轨迹什么时候终止、什么时候产生新的轨迹，首先对于每条轨迹都有一个阈值a用于记录轨迹从上一次成功匹配到当前时刻的时间，当该值大于提前设定的阈值则认为改轨迹终止，直观上说就是长时间匹配不上的轨迹认为已经结束，然后在匹配时，对于没有匹配成功的轨迹都认为可能产生新的轨迹，但由于这些轨迹可能是一些假轨迹，所以对这种情形新生成的轨迹标注状态“tentative”,然后观查在接下来的连续若干帧中是否连续匹配成功，是则认为是新轨迹产生，标注为“confirmed”,否则则认为是假性轨迹,状态标注为“deleted”。
作为优选，步骤(3)是指当前有效的轨迹和当前的轨迹之间的匹配，所谓有效的轨迹是指那些还存活着的轨迹，即状态为试探性的和确认的轨迹，轨迹和轨迹之间的匹配程度结合了运动信息和表观信息。
作为优选，步骤(3)包括a.运动匹配度和b.表观匹配度。
作为优选，a.运动匹配度，使用轨迹和追踪在kalman滤波器预测的位置之间的马氏距离刻画运动匹配程度
表示第j个轨迹和第i条轨迹之间的运动匹配度，其中是轨迹由kalman滤波器预测得到的在当前时刻观测空间的协方差矩阵，是轨迹在当前时刻的预测观测量，是第j个轨迹的状态考虑到运动的连续性，可以通过该马氏距离对轨迹进行筛选，文中使用卡方分布的0.95分位点作为阈值，定义如下示性函数
作为优选，b.表观匹配度，单独使用马氏距离作为匹配度度量会导致IDSwitch等情形严重，特别的当相机运动时可能导致马氏距离度量失效，所以这个时候应该靠表观匹配度补救，对于每一个轨迹，包括轨迹中的轨迹，使用深度网络提取出单位范数的特征向量$r$，使用轨迹和轨迹包含的轨迹的特征向量之间的最小余弦距离作为轨迹和追踪之间的表观匹配程度，当然轨迹太长导致表观产生变化，在使用这种最小距离作为度量就有风险，所以文中只对轨迹的最新的Lk＝100之内轨迹进行计算最小余弦距离。
同样的，该度量同样可以确定一个门限函数这个阈值由训练集得到两种度量的融合：加权平均其中λ是超参数，用于调整不同项的权重，门限函数
本发明的有益效果：基于SORT的多目标跟踪识别展示系统，该系统属于检测跟踪类，其在匹配轨迹时使用的是传统的匈牙利算法，在计算轨迹和追踪之间的匹配程度时，使用了融合的度量方式，包括卡尔曼滤波中预测位置和观测位置在马氏空间中的距离和包围盒es之间表观特征的余弦距离，其中包围盒的表观特征是通过一个深度网络得到的128维的特征，在匈牙利匹配轨迹和追踪时，使用的是级联匹配的方式，使用kalman滤波计算运动相似度的缺陷导致使用级联匹配方式效果更好，该多目标跟踪识别模块是在识别模块的基础上实现的，由识别模块先识别出图像中的鱼，再将数据传送给跟踪模块，跟踪模块使用SORT算法进行多目标跟踪，记录所有跟踪的鱼的运动轨迹，以便进行分析，经过多次反复的尝试，测试出跟踪模块没有出现问题，在目标跟踪上，利用多目标跟踪算法SORT，能够跟踪出摄像头所拍摄到的画面中识别出的各种鱼类，在目标跟踪时，利用计算机视觉的目标跟踪算法，由于此算法学习和检测的速度较快，跟踪效率也大大提升，用来实时跟踪识别算法识别出的所有的鱼类，当检测到该鱼的生存状态不佳时，进行单目标跟踪，以便对其能够及时的治疗，可以用于掌握当前鱼的生理状况，从而辅助管理员更好地管理鱼缸，或进行有关研究。
附图说明：
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1为本发明的SORT算法流程图；
图2为本发明的主控程序流程图。
具体实施方式：
如图1-2所示，本具体实施方式采用以下技术方案：基于SORT的多目标跟踪识别展示系统，包括以下步骤：
(1)状态估计；
(2)轨迹处理；
(3)匹配。
其中，步骤(1)使用一个8维空间去刻画轨迹在某时刻的状态，分别表示包围盒中心的位置、纵横比、高度、以及在图像坐标中对应的速度信息，然后使用一个kalman滤波器预测更新轨迹，该卡尔曼滤波器采用匀速模型和线性观测模型。
其中，步骤(2)主要说轨迹什么时候终止、什么时候产生新的轨迹，首先对于每条轨迹都有一个阈值a用于记录轨迹从上一次成功匹配到当前时刻的时间，当该值大于提前设定的阈值则认为改轨迹终止，直观上说就是长时间匹配不上的轨迹认为已经结束，然后在匹配时，对于没有匹配成功的轨迹都认为可能产生新的轨迹，但由于这些轨迹可能是一些假轨迹，所以对这种情形新生成的轨迹标注状态“tentative”,然后观查在接下来的连续若干帧中是否连续匹配成功，是则认为是新轨迹产生，标注为“confirmed”,否则则认为是假性轨迹,状态标注为“deleted”。
其中，步骤(3)是指当前有效的轨迹和当前的轨迹之间的匹配，所谓有效的轨迹是指那些还存活着的轨迹，即状态为试探性的和确认的轨迹，轨迹和轨迹之间的匹配程度结合了运动信息和表观信息。
其中，步骤(3)包括a.运动匹配度和b.表观匹配度。
a.运动匹配度，使用轨迹和追踪在kalman滤波器预测的位置之间的马氏距离刻画运动匹配程度
表示第j个轨迹和第i条轨迹之间的运动匹配度，其中是轨迹由kalman滤波器预测得到的在当前时刻观测空间的协方差矩阵，是轨迹在当前时刻的预测观测量，是第j个轨迹的状态考虑到运动的连续性，可以通过该马氏距离对轨迹进行筛选，文中使用卡方分布的0.95分位点作为阈值，定义如下示性函数
其中，b.表观匹配度，单独使用马氏距离作为匹配度度量会导致IDSwitch等情形严重，特别的当相机运动时可能导致马氏距离度量失效，所以这个时候应该靠表观匹配度补救，对于每一个轨迹，包括轨迹中的轨迹，使用深度网络提取出单位范数的特征向量$r$，使用轨迹和轨迹包含的轨迹的特征向量之间的最小余弦距离作为轨迹和追踪之间的表观匹配程度，当然轨迹太长导致表观产生变化，在使用这种最小距离作为度量就有风险，所以文中只对轨迹的最新的Lk＝100之内轨迹进行计算最小余弦距离。
同样的，该度量同样可以确定一个门限函数这个阈值由训练集得到两种度量的融合：加权平均其中λ是超参数，用于调整不同项的权重，门限函数
具体的：基于SORT的多目标跟踪识别展示系统，该系统属于检测跟踪类，其在匹配轨迹时使用的是传统的匈牙利算法，在计算轨迹和追踪之间的匹配程度时，使用了融合的度量方式，包括卡尔曼滤波中预测位置和观测位置在马氏空间中的距离和包围盒es之间表观特征的余弦距离，其中包围盒的表观特征是通过一个深度网络得到的128维的特征，在匈牙利匹配轨迹和追踪时，使用的是级联匹配的方式，使用kalman滤波计算运动相似度的缺陷导致使用级联匹配方式效果更好，该多目标跟踪识别模块是在识别模块的基础上实现的，由识别模块先识别出图像中的鱼，再将数据传送给跟踪模块，跟踪模块使用SORT算法进行多目标跟踪，记录所有跟踪的鱼的运动轨迹，以便进行分析，经过多次反复的尝试，测试出跟踪模块没有出现问题，在目标跟踪上，利用多目标跟踪算法SORT，能够跟踪出摄像头所拍摄到的画面中识别出的各种鱼类，在目标跟踪时，利用计算机视觉的目标跟踪算法，由于此算法学习和检测的速度较快，跟踪效率也大大提升，用来实时跟踪识别算法识别出的所有的鱼类，当检测到该鱼的生存状态不佳时，进行单目标跟踪，以便对其能够及时的治疗，可以用于掌握当前鱼的生理状况，从而辅助管理员更好地管理鱼缸，或进行有关研究。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.基于SORT的多目标跟踪识别展示系统，其特征在于：包括以下步骤：
(1)状态估计；
(2)轨迹处理；
(3)匹配。
2.根据权利要求1所述的基于SORT的多目标跟踪识别展示系统，其特征在于：步骤(1)使用一个8维空间去刻画轨迹在某时刻的状态，分别表示包围盒中心的位置、纵横比、高度、以及在图像坐标中对应的速度信息，然后使用一个kalman滤波器预测更新轨迹，该卡尔曼滤波器采用匀速模型和线性观测模型。
3.根据权利要求1所述的基于SORT的多目标跟踪识别展示系统，其特征在于：步骤(2)主要说轨迹什么时候终止、什么时候产生新的轨迹，首先对于每条轨迹都有一个阈值a用于记录轨迹从上一次成功匹配到当前时刻的时间，当该值大于提前设定的阈值则认为改轨迹终止，直观上说就是长时间匹配不上的轨迹认为已经结束，然后在匹配时，对于没有匹配成功的轨迹都认为可能产生新的轨迹，但由于这些轨迹可能是一些假轨迹，所以对这种情形新生成的轨迹标注状态“tentative”,然后观查在接下来的连续若干帧中是否连续匹配成功，是则认为是新轨迹产生，标注为“confirmed”,否则则认为是假性轨迹,状态标注为“deleted”。
4.根据权利要求1所述的基于SORT的多目标跟踪识别展示系统，其特征在于：步骤(3)是指当前有效的轨迹和当前的轨迹之间的匹配，所谓有效的轨迹是指那些还存活着的轨迹，即状态为试探性的和确认的轨迹，轨迹和轨迹之间的匹配程度结合了运动信息和表观信息。
5.根据权利要求1所述的基于SORT的多目标跟踪识别展示系统，其特征在于：步骤(3)包括a.运动匹配度和b.表观匹配度。
6.根据权利要求5所述的基于SORT的多目标跟踪识别展示系统，其特征在于：a.运动匹配度，使用轨迹和追踪在kalman滤波器预测的位置之间的马氏距离刻画运动匹配程度
表示第j个轨迹和第i条轨迹之间的运动匹配度，其中是轨迹由kalman滤波器预测得到的在当前时刻观测空间的协方差矩阵，是轨迹在当前时刻的预测观测量，是第j个轨迹的状态考虑到运动的连续性，可以通过该马氏距离对轨迹进行筛选，文中使用卡方分布的0.95分位点作为阈值，定义如下示性函数
7.根据权利要求5所述的基于SORT的多目标跟踪识别展示系统，其特征在于：b.表观匹配度，单独使用马氏距离作为匹配度度量会导致IDSwitch等情形严重，特别的当相机运动时可能导致马氏距离度量失效，所以这个时候应该靠表观匹配度补救，对于每一个轨迹，包括轨迹中的轨迹，使用深度网络提取出单位范数的特征向量$r$，使用轨迹和轨迹包含的轨迹的特征向量之间的最小余弦距离作为轨迹和追踪之间的表观匹配程度，当然轨迹太长导致表观产生变化，在使用这种最小距离作为度量就有风险，所以文中只对轨迹的最新的Lk＝100之内轨迹进行计算最小余弦距离
d(2) i,j(i,j)＝min{1-rj Tr(i) k|r(i) k∈Ri}
同样的，该度量同样可以确定一个门限函数这个阈值由训练集得到两种度量的融合：加权平均ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)，其中λ是超参数，用于调整不同项的权重，门限函数
CN201910755447.2A 2019-08-15 2019-08-15 基于sort的多目标跟踪识别展示系统 Pending CN110458868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910755447.2A CN110458868A (zh) 2019-08-15 2019-08-15 基于sort的多目标跟踪识别展示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910755447.2A CN110458868A (zh) 2019-08-15 2019-08-15 基于sort的多目标跟踪识别展示系统

Publications (1)

Publication Number Publication Date
CN110458868A true CN110458868A (zh) 2019-11-15

Family

ID=68486856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910755447.2A Pending CN110458868A (zh) 2019-08-15 2019-08-15 基于sort的多目标跟踪识别展示系统

Country Status (1)

Country Link
CN (1) CN110458868A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382704A (zh) * 2020-03-10 2020-07-07 北京以萨技术股份有限公司 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN111626194A (zh) * 2020-05-26 2020-09-04 佛山市南海区广工大数控装备协同创新研究院 一种使用深度关联度量的行人多目标跟踪方法
CN112669345A (zh) * 2020-12-30 2021-04-16 中山大学 一种面向云端部署的多目标轨迹跟踪方法及系统
CN113034548A (zh) * 2021-04-25 2021-06-25 安徽科大擎天科技有限公司 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN114973033A (zh) * 2022-05-30 2022-08-30 青岛科技大学 一种无人机自动检测目标和跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955688A (zh) * 2014-05-20 2014-07-30 楚雄师范学院 一种基于计算机视觉的斑马鱼群检测与跟踪方法
US20180114072A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking Using Tracklets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955688A (zh) * 2014-05-20 2014-07-30 楚雄师范学院 一种基于计算机视觉的斑马鱼群检测与跟踪方法
US20180114072A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking Using Tracklets

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一只有恒心的小菜鸟: "多目标跟踪方法：deep-sort", 《CNBLOGS:HTTPS://WWW.CNBLOGS.COM/YIXIAOZHOU/P/7074037.HTML》 *
朱佩儒: "基于学习的斑马鱼检测与跟踪", 《计算机应用于软件》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382704A (zh) * 2020-03-10 2020-07-07 北京以萨技术股份有限公司 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN111382704B (zh) * 2020-03-10 2023-12-15 以萨技术股份有限公司 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN111626194A (zh) * 2020-05-26 2020-09-04 佛山市南海区广工大数控装备协同创新研究院 一种使用深度关联度量的行人多目标跟踪方法
CN111626194B (zh) * 2020-05-26 2024-02-02 佛山市南海区广工大数控装备协同创新研究院 一种使用深度关联度量的行人多目标跟踪方法
CN112669345A (zh) * 2020-12-30 2021-04-16 中山大学 一种面向云端部署的多目标轨迹跟踪方法及系统
CN112669345B (zh) * 2020-12-30 2023-10-20 中山大学 一种面向云端部署的多目标轨迹跟踪方法及系统
CN113034548A (zh) * 2021-04-25 2021-06-25 安徽科大擎天科技有限公司 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN114973033A (zh) * 2022-05-30 2022-08-30 青岛科技大学 一种无人机自动检测目标和跟踪方法
CN114973033B (zh) * 2022-05-30 2024-03-01 青岛科技大学 一种无人机自动检测目标和跟踪方法

Similar Documents

Publication Publication Date Title
CN110458868A (zh) 基于sort的多目标跟踪识别展示系统
Liu et al. A computer vision-based method for spatial-temporal action recognition of tail-biting behaviour in group-housed pigs
CN105894542B (zh) 一种在线目标跟踪方法及装置
CN110472496A (zh) 一种基于目标检测与跟踪的交通视频智能分析方法
CN109657575A (zh) 室外施工人员智能视频跟踪算法
CN105844234A (zh) 一种基于头肩检测的人数统计的方法及设备
CN106373145B (zh) 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法
CN103324937A (zh) 标注目标的方法和装置
CN209543514U (zh) 基于人脸识别的监控与报警系统
CN109919135A (zh) 基于深度学习的行为检测方法、装置
CN107491749A (zh) 一种人群场景中全局和局部异常行为检测方法
Rentao et al. Indoor smoking behavior detection based on yolov3-tiny
US20220125359A1 (en) Systems and methods for automated monitoring of human behavior
CN103324950B (zh) 基于在线学习的人体重现检测方法及其系统
Knoch et al. Video-to-model: Unsupervised trace extraction from videos for process discovery and conformance checking in manual assembly
CN106203526B (zh) 基于多维特征的目标行为模式在线分类方法
Giannarou et al. Content-based surgical workflow representation using probabilistic motion modeling
Dewan et al. Estimation of sperm concentration and total motility from microscopic videos of human semen samples
Zhang et al. A Multiple Instance Learning and Relevance Feedback Framework for Retrieving Abnormal Incidents in Surveillance Videos.
CN113743184B (zh) 基于要素挖掘和视频分析的异常行为人群检测方法和装置
CN115588149A (zh) 基于匹配优先级的跨相机多目标级联匹配方法
CN114999644A (zh) 一种建筑人员疫情防控可视化管理系统及管理方法
Yan et al. Unsupervised body part regression using convolutional neural network with self-organization
CN111354458B (zh) 基于通用绘图任务的触控交互运动用户特征提取方法和辅助疾病检测系统
CN114897499A (zh) 一种景区员工工作状态判断的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115