CN115131821A - 一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法 - Google Patents

一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法 Download PDF

Info

Publication number
CN115131821A
CN115131821A CN202210746927.4A CN202210746927A CN115131821A CN 115131821 A CN115131821 A CN 115131821A CN 202210746927 A CN202210746927 A CN 202210746927A CN 115131821 A CN115131821 A CN 115131821A
Authority
CN
China
Prior art keywords
target
tracking
frame
yolov5
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210746927.4A
Other languages
English (en)
Inventor
苗中日
秦攀
孙希明
许多
胡雪鹰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202210746927.4A priority Critical patent/CN115131821A/zh
Publication of CN115131821A publication Critical patent/CN115131821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于目标检测和多目标跟踪技术领域，提出一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法。获取摄像头图像视频流并划取任意条警戒线；摄像头图像输入改进的YOLOv5模型进行特征提取，将输入图像分割成若干大小相同的网格；对检测到的校园人员给出多个预测框，获得最优目标框即目标位置；将目标位置信息和目标框信息同步到DeepSort目标跟踪算法；通过卡尔曼滤波器来预测校园人员运动趋势。本发明改进的YOLOv5模型与DeepSort目标跟踪算法进行融合，对校园人员目标进行实时跟踪并得到校园人员中心与警戒线的距离，报警阈值基于跟踪边界框的曼哈顿距离，及时指导人员进行保卫工作。

Description

一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测 方法
技术领域
本发明涉及目标检测和多目标跟踪技术领域，尤其涉及一种基于改进 YOLOv5+DeepSort的校园人员穿越警戒线检测方法。
背景技术
校园保卫人员难以做到面面俱到，实时性和准确性都难以达到要求，并且监督会消耗大量人力物力，因此使用大量监控摄像头成为一个解决方法，但是目前视频监控产生的数据量非常庞大，而且增长迅猛，但其价值密度较低，只有对其进行深度的挖掘，才能使其发挥出数据本身所应具有的应用价值。因此对人员自动检测就显得尤为重要。近年来，计算机视觉技术发展十分迅速，基于深度学习的目标检测与跟踪技术凭借其响应速度快、准确率高的特点成为一个热门研究领域。
传统的目标检测方法主要基于特征学习，在进行区域选择时，遍历图像会使得时间复杂度较高，同时特征提取时会因为形态多样性、光照多样性、背景多样性使得鲁棒性变差。为克服传统机器学习方法的局限性，学者们提取基于深度学习的卷积神经网络(CNN)。与传统方法相比，卷积神经网络可以准确地提取出合适的特征，无需额外设计特定的特征。基于卷积神经网络的检测方法可以分为one-stage和two-stage两大类。以Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-Time Object Detection with RegionProposal Networks[J]为代表的two-stage方法使用RPN通过共享卷积特征的方式在特征层面生成建议框，再利用建议框区域的卷积特征进行分类和目标框的定位学习，具有精度高但速度慢的特点。以BochkovskiyA,Wang C Y,Liao H.YOLOv4:Optimal Speed andAccuracy of Object Detection[J]和Liu W,Anguelov D,Erhan D,et al.SSD: SingleShot MultiBox Detector[J]为代表的one-stage目标检测算法，将目标框的定位和识别任务统一按照回归的逻辑，在输出层一次性预测完成，因其检测速度快而被广泛应用于目标检测任务中。
多目标跟踪任务常见的解决方案主要有两种，即MFT和TBD。MFT需要手动在初始帧中选择感兴趣区域，然后算法在第二帧开始的其余帧追踪这个目标；TBD基于检测的目标跟踪，是目标检测的后续任务。由于目标跟踪近几年的发展，成为常用方法，主要代表为SORT算法和DeepSORT算法，SORT核心就是卡尔曼滤波和匈牙利匹配，但是在发生遮挡等情况后同一个人的编号会变化，为解决该问题，DeepSORT加入外观信息，借用了ReID领域模型来提取外观特征，减少了编号变化的次数。匹配机制从原来的基于IOU成本矩阵的匹配变成了级联匹配+IOU匹配。
本研究致力于提高检测校园人员速度和精度从而满足实时性准确性的要求，具有重大意义，可以在人员靠近或穿越初期便发出预警，便于保卫人员进行安保工作。
发明内容
基于现有技术的不足，本发明提出一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法。针对现存人员检测实时性准确性差的问题对YOLOv5 算法提出改进措施，在保证精度的同时大大提高了检测速度和实时性；同时设计了DeepSort目标跟踪算法，对YOLOv5检测到的行人目标进行实时跟踪并预测未来运动趋势。本方法可以在人员靠近或穿越初期便发出预警，便于保卫人员进行安保工作，降低了后续潜在的风险损失，对保障校园安全具有重大意义。
本发明的技术方案如下：一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法，包括如下步骤：
步骤1、获取IP摄像头图像视频流并手动划取任意条警戒线；
步骤2、把采集到的摄像头图像输入到改进的YOLOv5模型进行特征提取，获取特征图；输入的摄像头图像分割成若干大小相同的网格，每个网格的负责预测中心为该网格内部的目标；对检测到的目标给出多个预测框，通过非极大值抑制方法将置信度区间不符合要求的预测框剔除掉，得到最优目标检测框，获得目标位置；
步骤3、将YOLOv5模型检测到的目标位置信息和目标框信息同步到 DeepSort多目标跟踪算法；DeepSort目标跟踪算法通过卡尔曼滤波器来预测目标下一帧运动趋势，获取下一帧目标跟踪框。
所述步骤1中，通过RTSP协议使用设备用户名、用户密码、设备IP地址和RTSP端口号获取IP摄像头图像视频流；利用OpenCV鼠标事件响应，通过鼠标左键划取任意条警戒线存储在警戒线栈中，鼠标中键用于撤销划线操作以适应不同场景以及修正警戒线。
所述步骤2中，改进的YOLOv5模型的搭建过程包括如下步骤：
步骤21、搭建原始YOLOv5模型，依次将YOLOv5模型的输入端、主干结构、Neck结构、Head输出端搭建出来并按照YOLOv5模型传播方向进行连接；
步骤22、采用EIOUloss作为改进的YOLOv5模型的损失函数；
EIOUloss＝LIOU+Ldis+Lasp (1)
LIOU＝1-IOU (2)
Figure BDA0003719720710000041
Figure BDA0003719720710000042
其中：IOU为预测框和真实框的交并比；b和bgt分别为预测框和真实框的中心点位置；ρ2()为预测框和真实框中心位置的欧氏距离；c为两框外接矩形的对角线距离；w和h为预测框的宽和高；wgt和hgt分别为真实框的宽和高；cw和 ch为两框外接矩形的宽和高；原始的CIOU损失虽然考虑了边界框回归的重叠面积、中心点距离、纵横比。但是通过其公式中反映的纵横比的差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型有效的优化相似性。在原始的CIOU损失函数基础上将纵横比拆开，以EIOUloss为损失函数；
步骤23、采用hard-Swish作为改进的YOLOv5模型的激活函数；
Figure BDA0003719720710000043
Figure BDA0003719720710000044
其中x为改进的YOLOv5模型中网络激活层的输入；ReLU6为Sigmoid函数
Figure BDA0003719720710000045
的近似；
步骤24、采用高斯加权的Soft-NMS算法作为非极大值抑制方法对YOLOv5 模型进行非极大值抑制，并且将原Soft-NMS算法中的IOU替换为EIOU；
Figure BDA0003719720710000046
EIOU＝1-EIOUloss (8)
其中：si为当前检测框的得分，M为得分最高的目标检测框，bi为当前目标检测框，EIOU为改进交并比，e和σ为常数。
当改进后的YOLOv5模型检测到目标时，将校园人员目标位置信息同步到DeepSort目标跟踪算法中，所述DeepSort目标跟踪包括如下步骤：
步骤31、运动状态估计：DeepSort在多目标跟踪过程中，采用卡尔曼滤波器来对目标下一帧的运动趋势进行预测，使用八维状态空间
Figure BDA0003719720710000051
定义某一时刻目标运动状态，其中(u,v)为目标跟踪框的中心位置，r是目标跟踪框的长宽比，h是目标跟踪框的高度，
Figure BDA0003719720710000052
为目标运动信息；
步骤32、跟踪目标创建与删除：设置最大阈值AMax，即连续检测最大帧数；对每一个待跟踪的目标，记录上一次检测结果与跟踪结果成功匹配之后到当前帧之间的帧数a，该帧数a在卡尔曼滤波器预测期间递增；当跟踪结果和检测结果相匹配时将其重置为0，当帧数a持续递增超过设置的最大阈值AMax时，视为目标已丢失或跟踪结束；当现存的跟踪框一直无法和检测结果中的目标相匹配时，视为出现新目标，并增加新跟踪框；在后续跟踪的连续三帧中，新增加跟踪框的预测位置与检测结果能正确匹配时，则判定出现新目标，否则视为误检将其删除；
步骤33、运动关联：将卡尔曼滤波器预测得到的目标运动状态与目标检测结果之间的马氏距离进行匹配，马氏距离通过测量检测结果和跟踪结果之间的标准差进行评价状态估计的不确定性，当马氏距离小于所设置的阈值时，表明成功匹配，当检测结果和跟踪结果成功匹配时，运动匹配度结果为1；将卡尔曼滤波器预测得到的目标运动状态与目标检测结果之间的余弦相似度进行匹配，当余弦相似度小于预先设置的阈值时，表观匹配度结果为1；将运动匹配度和表观匹配度进行加权求和得到关联代价，并构建关联代价矩阵；
步骤34、级联匹配：在匹配过程中，基于匈牙利算法并根据跟踪框所对应目标被遮挡的时间长短来划分，赋予遮挡时间短、最近出现的目标的跟踪框优先匹配的权力，降低遮挡时间长的目标的跟踪框优先级；
步骤35、状态更新：使用卡尔曼滤波更新公式对已经匹配上的跟踪框参数进行更新，对下一时刻目标进行预测；当更新后的参数预测出来的结果无法匹配时，说明当前校园人员目标已经丢失，此时将该跟踪框删除；对未完成匹配的校园人员目标分配新的跟踪框来对运动状态进行预测，并将所有跟踪框得到的信息进行更新用于下一帧的计算。
本发明具有以下优点：
1、对YOLOv5L模型的损失函数、激活函数和非极大值抑制方法进行改进，改进后的模型检测精度有所提升，且降低了行人目标的漏检率。
2、在报警部分采取曼哈顿距离降低模型计算量，在保证检测精度的同时提升检测速度，进而达到实时性的要求。
3、将改进YOLOv5模型与DeepSort目标跟踪算法进行融合，将YOLOv5 检测到人员位置信息传递给DeepSort目标跟踪算法中，从而对人员目标进行实时跟踪并预测其未来移动趋势，可以及时的指导保卫人员进行安保工作。
附图说明
图1为本发明实施例中流程图；
图2为本发明实施例中警戒线划取流程图；
图3为本发明实施例中DeepSort目标跟踪算法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法，包括如下步骤：
步骤1、视频、图片数据采集：获取图像和视频数据；本实施例中，视频、图片数据采集的数据来源于大连理工大学监控摄像头，通过RTSP地址获取相应数据流。利用OpenCV鼠标事件响应，通过左键可以划取任意条警戒线存储在警戒线栈中，中键用来撤销划线操作以适应不同场景以及修正警戒线。
步骤2、目标检测：把采集到的摄像头拍摄图像输入到改进的YOLOv5模型进行特征提取，获取特征图，此过程将输入图像分割成若干大小相同的网格，每个网格负责预测中心位于该网格的校园人员目标；对检测到的校园人员给出多个预测框，通过非极大值抑制方法将置信度区间不符合要求的预测框剔除掉，得到最优目标框，获得目标位置；
步骤3、多目标跟踪：将YOLOv5检测到的目标位置信息和目标框信息同步到DeepSort目标跟踪算法；DeepSort目标跟踪算法通过卡尔曼滤波器来预测人员目标运动趋势。
根据预测到的人员位置信息与警戒线关系指定是否报警，指导保卫人员进行安保工作。
本实施例中所述步骤2中，改进的YOLOv5模型的搭建包括如下步骤：
步骤21、搭建原始YOLOv5模型，依次将算法的输入端、主干结构、Neck 结构、Head输出端搭建出来并按照算法传播方向进行连接；
步骤22、采用EIOUloss作为损失函数，对YOLOv5的损失函数进行改进；
步骤23、采用hard-Swish作为YOLOv5的激活函数，对YOLOv5的激活函数进行改进；
步骤24、采用高斯加权的Soft-NMS算法作为非极大值抑制方法对 YOLOv5L的非极大值抑制方法并且将原Soft-NMS算法中的IOU替换为EIOU 进行改进。
当改进后的YOLOv5模型检测到校园人员时，会将校园人员目标位置信息同步到DeepSort目标跟踪算法中，所述DeepSort目标跟踪包括如下步骤：
步骤31、运动状态估计：DeepSort在多目标跟踪过程中，采用卡尔曼滤波器来对校园人员目标下一帧的运动趋势进行预测，使用八维状态空间
Figure BDA0003719720710000081
来定义某一时刻校园人员目标运动状态，其中(u,v)目标跟踪框的中心位置，r是目标跟踪框的长宽比，h是目标跟踪框的高度，
Figure BDA0003719720710000082
为目标运动信息；
步骤32、跟踪目标创建与删除：通过先设置最大阈值AMax，即连续检测最大帧数。然后对于每一个待跟踪的校园人员目标，记录上一次检测结果与跟踪结果成功匹配之后到当前帧之间的帧数a，该数在卡尔曼滤波器预测期间递增。当跟踪结果和检测结果相匹配时将其重置为0，若a持续递增超过设置的最大阈值AMax时，此时视为目标已丢失或跟踪结束，当现存的跟踪框一直无法和检测结果中的目标相匹配时，则视为出现新目标，并增加新跟踪框，在后续跟踪的连续三帧中，新增加跟踪框的预测位置与检测结果如果能正确匹配，则判定出现新目标；如无法匹配，则视为误检将其删除；
步骤33、运动关联：将卡尔曼滤波器预测得到校园人员目标运动状态与目标检测结果之间的马氏距离来进行匹配，
其计算公式如下：
Figure BDA0003719720710000083
其中，dj表示第j个检测框的位置，yi表示第i个跟踪框对目标的预测位置， Si为目标检测位置与跟踪预测位置之间的协方差矩阵。
马氏距离通过测量检测结果和跟踪结果之间的标准差来评价状态估计的不确定性，马氏距离小于阈值t(1)时，表明成功匹配，若检测结果和跟踪结果成功匹配，则结果为1，其计算公式如下：
Figure BDA0003719720710000091
当马氏距离d(1)(i,j)≤特定阈值t(1)时，代表跟踪框和预测框两者关联，运动匹配度为1；
步骤34、级联匹配：在匹配过程中，会根据跟踪框所对应目标被遮挡的时间长短来划分，赋予遮挡时间较短、最近出现的目标的跟踪框优先匹配的权力，降低遮挡时间长的目标的跟踪框优先级；
步骤35、状态更新：使用卡尔曼滤波更新公式来对已经匹配上的跟踪框参数进行更新，对下一时刻目标进行预测；当更新后的参数预测出来的结果无法匹配时，说明当前校园人员目标可能已经丢失，此时将该跟踪框删除；对未完成匹配的校园人员目标分配新的跟踪框来对运动状态进行预测，并将所有跟踪框得到的信息进行更新用于下一帧的计算。
改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法针对现存人员检测实时性准确性差的问题对YOLOv5算法提出改进措施，在保证精度的同时大大提高了检测速度和实时性；同时设计了DeepSort目标跟踪算法，对YOLOv5检测到的行人目标进行实时跟踪并预测未来运动趋势。本方法可以在人员靠近或穿越初期便发出预警，便于保卫人员进行安保工作，降低了后续潜在的风险损失，对保障校园安全具有重大意义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法，其特征在于，包括如下步骤：
步骤1、获取IP摄像头图像视频流并手动划取任意条警戒线；
步骤2、把采集到的摄像头图像输入到改进的YOLOv5模型进行特征提取，获取特征图；输入的摄像头图像分割成若干大小相同的网格，每个网格的负责预测中心为该网格内部的目标；对检测到的目标给出多个预测框，通过非极大值抑制方法将置信度区间不符合要求的预测框剔除掉，得到最优目标检测框，获得目标位置；
步骤3、将YOLOv5模型检测到的目标位置信息和目标框信息同步到DeepSort目标跟踪算法；DeepSort目标跟踪算法通过卡尔曼滤波器来预测目标下一帧运动趋势，获取下一帧目标跟踪框。
2.根据权利要求1所述的基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法，其特征在于，所述步骤1中，通过RTSP协议使用设备用户名、用户密码、设备IP地址和RTSP端口号获取IP摄像头图像视频流；利用OpenCV鼠标事件响应，通过鼠标左键划取任意条警戒线存储在警戒线栈中，鼠标中键用于撤销划线操作以适应不同场景以及修正警戒线。
3.根据权利要求2所述的基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法，其特征在于，所述步骤2中，改进的YOLOv5模型的搭建过程包括如下步骤：
步骤21、搭建原始YOLOv5模型，依次将YOLOv5模型的输入端、主干结构、Neck结构、Head输出端搭建出来并按照YOLOv5模型传播方向进行连接；
步骤22、采用EIOUloss作为改进的YOLOv5模型的损失函数；
EIOUloss＝LIOU+Ldis+Lasp (1)
LIOU＝1-IOU (2)
Figure FDA0003719720700000021
Figure FDA0003719720700000022
其中：IOU为预测框和真实框的交并比；b和bgt分别为预测框和真实框的中心点位置；ρ2()为预测框和真实框中心位置的欧氏距离；c为两框外接矩形的对角线距离；w和h为预测框的宽和高；wgt和hgt分别为真实框的宽和高；cw和ch为两框外接矩形的宽和高；在原始的CIOU损失函数基础上将纵横比拆开，以EIOUloss为损失函数；
步骤23、采用hard-Swish作为改进的YOLOv5模型的激活函数；
Figure FDA0003719720700000023
Figure FDA0003719720700000024
其中x为改进的YOLOv5模型中网络激活层的输入；
步骤24、采用高斯加权的Soft-NMS算法作为非极大值抑制方法对YOLOv5模型进行非极大值抑制，并且将原Soft-NMS算法中的IOU替换为EIOU；
Figure FDA0003719720700000025
EIOU＝1-EIOUloss (8)
其中：si为当前检测框的得分，M为得分最高的目标检测框，bi为当前目标检测框，EIOU为改进交并比，e和σ为常数。
4.根据权利要求1所述的基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法，其特征在于，当改进后的YOLOv5模型检测到目标时，将校园人员目标位置信息同步到DeepSort目标跟踪算法中，所述DeepSort目标跟踪包括如下步骤：
步骤31、运动状态估计：DeepSort在多目标跟踪过程中，采用卡尔曼滤波器来对目标下一帧的运动趋势进行预测，使用八维状态空间
Figure FDA0003719720700000031
定义某一时刻目标运动状态，其中(u,v)为目标跟踪框的中心位置，r是目标跟踪框的长宽比，h是目标跟踪框的高度，
Figure FDA0003719720700000032
为目标运动信息；
步骤32、跟踪目标创建与删除：设置最大阈值AMax，即连续检测最大帧数；对每一个待跟踪的目标，记录上一次检测结果与跟踪结果成功匹配之后到当前帧之间的帧数a，该帧数a在卡尔曼滤波器预测期间递增；当跟踪结果和检测结果相匹配时将其重置为0，当帧数a持续递增超过设置的最大阈值AMax时，视为目标已丢失或跟踪结束；当现存的跟踪框一直无法和检测结果中的目标相匹配时，视为出现新目标，并增加新跟踪框；在后续跟踪的连续三帧中，新增加跟踪框的预测位置与检测结果能正确匹配时，则判定出现新目标，否则视为误检将其删除；
步骤33、运动关联：将卡尔曼滤波器预测得到的目标运动状态与目标检测结果之间的马氏距离进行匹配，马氏距离通过测量检测结果和跟踪结果之间的标准差进行评价状态估计的不确定性，当马氏距离小于所设置的阈值时，表明成功匹配，当检测结果和跟踪结果成功匹配时，运动匹配度结果为1；将卡尔曼滤波器预测得到的目标运动状态与目标检测结果之间的余弦相似度进行匹配，当余弦相似度小于预先设置的阈值时，表观匹配度结果为1；将运动匹配度和表观匹配度进行加权求和得到关联代价，并构建关联代价矩阵；
步骤34、级联匹配：在匹配过程中，基于匈牙利算法并根据跟踪框所对应目标被遮挡的时间长短来划分，赋予遮挡时间短、最近出现的目标的跟踪框优先匹配的权力，降低遮挡时间长的目标的跟踪框优先级；
步骤35、状态更新：使用卡尔曼滤波更新公式对已经匹配上的跟踪框参数进行更新，对下一时刻目标进行预测；当更新后的参数预测出来的结果无法匹配时，说明当前校园人员目标已经丢失，此时将该跟踪框删除；对未完成匹配的校园人员目标分配新的跟踪框来对运动状态进行预测，并将所有跟踪框得到的信息进行更新用于下一帧的计算。
CN202210746927.4A 2022-06-29 2022-06-29 一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法 Pending CN115131821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210746927.4A CN115131821A (zh) 2022-06-29 2022-06-29 一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210746927.4A CN115131821A (zh) 2022-06-29 2022-06-29 一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法

Publications (1)

Publication Number Publication Date
CN115131821A true CN115131821A (zh) 2022-09-30

Family

ID=83380739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210746927.4A Pending CN115131821A (zh) 2022-06-29 2022-06-29 一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法

Country Status (1)

Country Link
CN (1) CN115131821A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373407A (zh) * 2022-10-26 2022-11-22 北京云迹科技股份有限公司 机器人自动避开安全警戒线的方法及装置
CN115497056A (zh) * 2022-11-21 2022-12-20 南京华苏科技有限公司 基于深度学习的区域内遗失物品检测方法
CN115620228A (zh) * 2022-10-13 2023-01-17 南京信息工程大学 一种基于视频分析的地铁屏蔽门临关门乘客闯门预警方法
CN115761646A (zh) * 2022-12-06 2023-03-07 武汉纺织大学 一种面向工业园区的行人跟踪方法、设备及存储介质
CN116309685A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 基于视频拼接的多摄像机协同游泳运动测速方法及系统
CN116469040A (zh) * 2023-06-12 2023-07-21 南昌大学 一种基于视频和传感器感知融合的橄榄球员跟踪方法
CN117994862A (zh) * 2024-04-01 2024-05-07 金钱猫科技股份有限公司 一种工地围栏翻越行为检测方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620228A (zh) * 2022-10-13 2023-01-17 南京信息工程大学 一种基于视频分析的地铁屏蔽门临关门乘客闯门预警方法
CN115373407A (zh) * 2022-10-26 2022-11-22 北京云迹科技股份有限公司 机器人自动避开安全警戒线的方法及装置
CN115497056A (zh) * 2022-11-21 2022-12-20 南京华苏科技有限公司 基于深度学习的区域内遗失物品检测方法
CN115761646A (zh) * 2022-12-06 2023-03-07 武汉纺织大学 一种面向工业园区的行人跟踪方法、设备及存储介质
CN116309685A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 基于视频拼接的多摄像机协同游泳运动测速方法及系统
CN116469040A (zh) * 2023-06-12 2023-07-21 南昌大学 一种基于视频和传感器感知融合的橄榄球员跟踪方法
CN116469040B (zh) * 2023-06-12 2023-08-29 南昌大学 一种基于视频和传感器感知融合的橄榄球员跟踪方法
CN117994862A (zh) * 2024-04-01 2024-05-07 金钱猫科技股份有限公司 一种工地围栏翻越行为检测方法及装置

Similar Documents

Publication Publication Date Title
CN115131821A (zh) 一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法
CN108875588B (zh) 基于深度学习的跨摄像头行人检测跟踪方法
JP6759474B2 (ja) 深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法及びシステム
CN110660082B (zh) 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN112215155B (zh) 一种基于多特征融合的人脸跟踪方法及系统
CN107145862B (zh) 一种基于霍夫森林的多特征匹配多目标跟踪方法
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN113284168A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN109816690A (zh) 基于深度特征的多目标追踪方法及系统
CN111158467A (zh) 一种手势交互方法和终端
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN112215156B (zh) 一种视频监控中的人脸抓拍方法及系统
CN113139521A (zh) 一种用于电力监控的行人越界标监测方法
CN110691202A (zh) 视频剪辑方法、装置及计算机存储介质
CN110688940A (zh) 一种快速的基于人脸检测的人脸追踪方法
CN110781785A (zh) 基于Faster RCNN算法改进的交通场景下行人检测方法
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
CN114926422B (zh) 一种上下车客流量检测方法及系统
CN112651994A (zh) 地面多目标跟踪方法
CN107622507A (zh) 一种基于深度学习的空中目标跟踪方法
CN115346155A (zh) 一种面向视觉特征非连续性干扰的船舶图像航迹提取方法
Li et al. Fish trajectory extraction based on object detection
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
CN113538513A (zh) 监控对象的进出控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination