CN116051607A - 一种用于烟丝高架库的人员轨迹跟踪方法 - Google Patents

一种用于烟丝高架库的人员轨迹跟踪方法 Download PDF

Info

Publication number
CN116051607A
CN116051607A CN202310277781.8A CN202310277781A CN116051607A CN 116051607 A CN116051607 A CN 116051607A CN 202310277781 A CN202310277781 A CN 202310277781A CN 116051607 A CN116051607 A CN 116051607A
Authority
CN
China
Prior art keywords
personnel
target
matching
images
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310277781.8A
Other languages
English (en)
Inventor
王文娟
钱杰
张成挺
李捷
邬建平
蔡峥嵘
孙盛洲
陈赞赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Tobacco Zhejiang Industrial Co Ltd
Original Assignee
China Tobacco Zhejiang Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Tobacco Zhejiang Industrial Co Ltd filed Critical China Tobacco Zhejiang Industrial Co Ltd
Priority to CN202310277781.8A priority Critical patent/CN116051607A/zh
Publication of CN116051607A publication Critical patent/CN116051607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于烟丝高架库的人员轨迹跟踪方法，包括：由摄像追踪器进行视频摄像，在服务器中利用YOLOV5算法对视频摄像中的人员目标进行检测，完成人员目标的定位。对定位的人员目标进行表面特征提取，然后预测人员目标的轨迹，将预测的轨迹与人员目标进行匹配，将未匹配成功的结果送入级联匹配。在级联匹配过程中，若目标丢失或超出允许最大帧数目，则删除目标；若出现新目标则继续预测新对象；若人员目标与轨迹匹配，则轨迹更新。根据匹配完视频摄像中所有帧数目中的人员目标，确定多目标人员行进状态，以实现人员轨迹的跟踪。本发明能够实时的获取人员目标的行进状态，提高人员轨迹追踪的准确性。

Description

一种用于烟丝高架库的人员轨迹跟踪方法
技术领域
本发明涉及人员检测的技术领域，尤其涉及一种用于烟丝高架库的人员轨迹跟踪方法。
背景技术
成品及成品烟丝采用烟丝箱作为存储单元的箱式存储模式正逐步替代柜式存储在烟草工业行业得到应用。半成品及成品烟丝高架库主要用于存储叶丝、膨胀烟丝、膨胀梗丝、薄丝、回用烟丝、成品烟丝等物料，负责实现半成品及成品烟丝的装箱入库，掺配出库、成品烟丝喂丝出库、外部烟丝出入库、残烟丝入库、烟丝降级等功能。由于烟丝高架库人员流动大，人数多，因此如何把握这些人员的轨迹，实现烟丝高架库内多目标人员的管控跟踪，方便对其进行追踪监控，实现厂区的生产安全成为了一大难题。同时在现有追踪的方法中，如果一个目标出现遮挡，遮挡后由重新出现的情况，会导致目标错误或者作为新目标重新进行跟踪，这无疑是加大了服务器的计算能力。
发明内容
本发明提供一种用于烟丝高架库的人员轨迹跟踪方法，解决现有烟丝高架库内人员流动大存在目标管控不准确，易造成目标跟踪丢失，存在安全隐患的问题，能够实时的获取人员目标的行进状态，而且追踪准确，方便了管理人员的追踪监控，可以大大的改善管理模式，提高厂区的生成安全性。
为实现以下目的，本发明提供以下技术方案：
一种用于烟丝高架库的人员轨迹跟踪方法，包括：
在烟丝高架库内设置多个摄像追踪器，并由摄像追踪器对进入烟丝高架库内的人员目标进行视频摄像，以获取摄像视频；
将所述摄像追踪器与服务器信号连接，所述服务器内设有YOLOV5自学习算法对所述摄像视频中的人员目标进行识别检测，完成人员目标的定位；
对定位的人员目标进行表面特征提取，然后预测人员目标的轨迹，将预测的轨迹与人员目标进行匹配，将未匹配成功的结果送入级联匹配；
在级联匹配过程中，若目标丢失或超出允许最大帧数目，则删除目标；若出现新目标则继续预测新对象；若人员目标与轨迹匹配，则轨迹更新；
根据匹配完视频摄像中所有帧数目中的人员目标，确定多目标人员行进状态，以实现人员轨迹的跟踪。
优选的，在所述服务器中利用YOLOV5自学习算法构建的YOLOV5模型，所述YOLOV5模型包括：输入端、基准网络、Neck网络和输出端；
所述输入端用于输入图片；
所述基准网络用于对输入图片进行特征提取；
所述Neck网络用于提升特征的多样性；
所述输出端用于输出检测框和类别。
优选的，还包括：
所述输入端输入640×640×3的图像进入基准网络的Focus结构，通过Focus结构对图像进行切片形成4个320×320×3的图像，使用基准网络的Concat在深度上连接，形成320×320×12的图像，通过32个卷积核的卷积层形成320×320×32的图像，然后经过基准网络的CBL结构形成160×160×64的图像；
接着通过基准网络的1个残差结构学习并通过128维卷积核卷积得到80×80×128的图像；
而后通过3个残差结构学习并通过256维卷积得到40×40×256的图像；
紧接着再次经过3个残差结构学习并通过512维卷积得到20×20×512的图像；
然后经过基准网络的SPP结构3个最大池化层得到20×20×1024的图像，最后经过512维卷积层输出基准网络的20×20×512的图像。
优选的，还包括：
所述Neck网络以基准网络输出结果为输入，采用FPN上采样和PAN下采样融合图像特征的结构；
在得到基准网络输出的20×20×512的图像后，首先通过Neck网络的CBL结构得到20×20×255的图像；
然后进行上采样，输入20×20×255的图像，输出40×40×512的图像，而后与40×40×256图像拼接得到40×40×768的图像，接着进行1个残差结构学习得到40×40×256的图像，再通过255维卷积得到40×40×255的图像，40×40×255的图像进入输出端；
再次进行上采样，输入40×40×256得到80×80×256图像，而后再与80×80×128图像拼接得到80×80×384；在进行1个残差结构学习得到80×80×128后进行255维卷积得到80×80×255图像，80×80×255图像进入输出端；
然后将80×80×256图像进行下采样，将得到图像再与40×40×255图像拼接，在经过1个残差结构学习得到40×40×256图像后进行255维卷积得到40×40×255图像；
再将40×40×256图像下采样与20×20×255图像拼接，在经过1个残差结构学习得到20×20×256图像后进行255维卷积得到20×20×255图像，20×20×255图像进入输出端。
优选的，所述表面特征提取是利用特征提取网络模型进行，特征提取网络模型以Pytorch为框架，经过数据集训练，训练图像大小为64×128，batch_size为8，训练次数为40，当训练到第20次时，学习率减小为原来的0.1。
优选的，预测人员目标的轨迹是利用卡尔曼滤波器进行，卡尔曼滤波器的预测的公式如下：
Figure BDA0004136995410000031
式中：xk-1是第K-1帧目标的位置和速度信息的组合，
Figure BDA0004136995410000032
第K帧状态估计值基于第K-1帧状态值，F是目标的加速度信息矩阵；Q为系统噪声协方差矩阵；
Figure BDA0004136995410000041
第K帧的预测值，Pk-1为第K-1帧观测值的协方差矩阵，T为时间。
优选的，在卡尔曼滤波器的预测完成后，如果匹配成功通过更新操作将状态值转换为观测值，公式如下：
Figure BDA0004136995410000042
式中：H为状态观测矩阵，Kk为卡尔曼增益，R为观测噪声的协方差矩阵；XK是第K帧目标的位置和速度信息的组合，ZK表示观测值；PK为第K帧观测值的协方差矩阵。
优选的，还包括：
通过轨迹与人员目标的匹配来构建相似度，以表示相邻两帧目标的预测值与实际的测量值之间的关系；
再使用匹配算法留下相邻两帧之间匹配成功的目标ID，匹配过程中将未匹配成功的轨迹删除，未匹配成功的检测框保留在数组中；
所述匹配算法的公式如下：
Figure BDA0004136995410000043
Figure BDA0004136995410000044
式中：Cij是效率矩阵用来表示每个目标完成每项任务所需的代价，Xij表示匹配的结果，结果1和0分别表示匹配成功和失败；n表示匹配的个数；i表示轨迹，j表示目标。
优选的，所述级联匹配的过程如下：
步骤1、通过最近邻余弦距离计算出相似度，所述余弦距离计算公式如下：
dist(A，B)＝1-cos(A，B)；式中：cos(A，B)表示向量A和向量B间夹角的余弦值；
步骤2、计算门控矩阵，所述门控矩阵的计算公式如下：
ci，j＝λd(1）(i，j)+(1-λ)d(2）(i，j)，式中：d(1)(i，j)为运动空间中i轨迹和j目标之间的平方马氏距离，d(2）(i，j)运动空间中i轨迹和j目标之间的最小余弦距离，λ取值为0.1；
步骤3、初始化匹配集合M为空；
步骤4、初始化未匹配集合U为空；
步骤5、在最大未命中数范围内，首先考虑最近的轨迹，使用匹配算法遍历整个匹配列表，搜索未匹配序列Tn；
步骤6、对未匹配的轨迹进行匹配，得到三种结果：匹配成功M集合添加，匹配失败U集合删除，部分遮挡则作为不确定态，不确定态进行次级匹配；
步骤7、返回M，U集合，经过级联匹配，集合M为确认态的轨迹，集合U为删除态的轨迹。
优选的，所述次级匹配是先判断目标是否为确认态，若不是则直接删除该轨迹；若是而且连续匹配多次且都没成功，则将该目标从图片中删除，如果失配次数少于3次便继续检测该目标；若出现新目标则继续预测新对象，为这个新目标分配一个新的轨迹，状态为不确认态。
本发明提供一种用于烟丝高架库的人员轨迹跟踪方法，使用了YOLOV5算法对目标人员的定位，然后对定位的人员目标进行表面特征提取，然后预测人员目标的轨迹，将预测的轨迹与人员目标进行匹配，将未匹配成功的结果送入级联匹配，当匹配完视频摄像中所有帧数目中的人员目标，确定多目标人员行进状态。解决现有烟丝高架库内人员流动大存在目标管控不准确，易造成目标跟踪丢失，存在安全隐患的问题，能够实时的获取人员目标的行进状态，而且追踪准确，方便了管理人员的追踪监控，可以大大的改善管理模式，提高厂区的生成安全性。
附图说明
为了更清楚地说明本发明的具体实施例，下面将对实施例中所需要使用的附图作简单地介绍。
图1为本发明提供的一种用于烟丝高架库的人员轨迹跟踪方法的示意图。
图2为本发明实施例提供的YOLOV5自学习算法的程序流程图。
图3为本发明实施例提供的级联匹配的程序流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
针对当前多人员目标追踪存在的问题，本发明提供一种用于烟丝高架库的人员轨迹跟踪方法，解决现有烟丝高架库内人员流动大存在目标管控不准确，易造成目标跟踪丢失，存在安全隐患的问题，能够实时的获取人员目标的行进状态，而且追踪准确，方便了管理人员的追踪监控，可以大大的改善管理模式，提高厂区的生成安全性。
如图1所示，一种用于烟丝高架库的人员轨迹跟踪方法，包括：
S1：在烟丝高架库内设置多个摄像追踪器，并由摄像追踪器对进入烟丝高架库内的人员目标进行视频摄像，以获取摄像视频。
S2：将所述摄像追踪器与服务器信号连接，所述服务器内设有YOLOV5自学习算法对所述摄像视频中的人员目标进行识别检测，完成人员目标的定位。
S3：对定位的人员目标进行表面特征提取，然后预测人员目标的轨迹，将预测的轨迹与人员目标进行匹配，将未匹配成功的结果送入级联匹配。
S4：在级联匹配过程中，若目标丢失或超出允许最大帧数目，则删除目标；若出现新目标则继续预测新对象；若人员目标与轨迹匹配，则轨迹更新。
S5：根据匹配完视频摄像中所有帧数目中的人员目标，确定多目标人员行进状态，以实现人员轨迹的跟踪。
具体地，利用服务器中的YOLOV5算法对摄像追踪器的摄像视频进行识别，实现对目标人员的定位，然后对人员目标进行表面特征提取，以预测人员目标的轨迹，进而将预测的轨这与人员目标相匹配，进而实现多目标人员目标的行进状态。本方法能能够实时的获取人员目标的行进状态。而且当发现人员目标存在遮挡的情况时，本发明引入了外观特征和使用级联匹配的方式可以更好的检测到目标的状态，提升了人员目标跟踪的质量。
进一步，如图2所示，在所述服务器中利用YOLOV5自学习算法构建的YOLOV5模型，所述YOLOV5模型包括：输入端、基准网络、Neck网络和输出端；
所述输入端用于输入图片；
所述基准网络用于对输入图片进行特征提取；
所述Neck网络用于提升特征的多样性；
所述输出端用于输出检测框和类别。
在实际应用中，在进行目标检测之前可以使用pyqt5增加可视化界面，首先使用QtDesigner工具绘制页面布局，保存布局后回自动生成.ui文件，将此文件复制到项目路径下，再使用pyuic5将.ui文件转为.py文件，修改.py内容便可以实现可视化。
目标检测运用yolov5s.pt网络结构从图片、视频、摄像头三个角度记录目标检测结果。输入一张图片，检测器会检测图片上的80种类别，并在物体类别上标注置信度。分析视频文件在进行目标检测时发生遮挡的问题，可以发现目标的ID并未切换，这说明本发明发现人员目标存在遮挡的情况时，本发明引入了外观特征和使用级联匹配的方式可以更好的检测到目标的状态，提升了人员目标跟踪的质量。
该方法还包括：
所述输入端输入640×640×3的图像进入基准网络的Focus结构，通过Focus结构对图像进行切片形成4个320×320×3的图像，使用基准网络的Concat在深度上连接，形成320×320×12的图像，通过32个卷积核的卷积层形成320×320×32的图像，然后经过基准网络的CBL结构形成160×160×64的图像。接着通过基准网络的1个残差结构学习并通过128维卷积核卷积得到80×80×128的图像。而后通过3个残差结构学习并通过256维卷积得到40×40×256的图像。紧接着再次经过3个残差结构学习并通过512维卷积得到20×20×512的图像。然后经过基准网络的SPP结构3个最大池化层得到20×20×1024的图像，最后经过512维卷积层输出基准网络的20×20×512的图像。
该方法还包括：所述Neck网络以基准网络输出结果为输入，采用FPN上采样和PAN下采样融合图像特征的结构。在得到基准网络输出的20×20×512的图像后，首先通过Neck网络的CBL结构得到20×20×255的图像。然后进行上采样，输入20×20×255的图像，输出40×40×512的图像，而后与40×40×256图像拼接得到40×40×768的图像，接着进行1个残差结构学习得到40×40×256的图像，再通过255维卷积得到40×40×255的图像，40×40×255的图像进入输出端。再次进行上采样，输入40×40×256得到80×80×256图像，而后再与80×80×128图像拼接得到80×80×384；在进行1个残差结构学习得到80×80×128后进行255维卷积得到80×80×255图像，80×80×255图像进入输出端。然后将80×80×256图像进行下采样，将得到图像再与40×40×255图像拼接，在经过1个残差结构学习得到40×40×256图像后进行255维卷积得到40×40×255图像。再将40×40×256图像下采样与20×20×255图像拼接，在经过1个残差结构学习得到20×20×256图像后进行255维卷积得到20×20×255图像，20×20×255图像进入输出端。
进一步，所述表面特征提取是利用特征提取网络模型进行，特征提取网络模型以Pytorch为框架，经过数据集训练，训练图像大小为64×128，batch_size为8，训练次数为40，当训练到第20次时，学习率减小为原来的0.1。
进一步，预测人员目标的轨迹是利用卡尔曼滤波器进行，卡尔曼滤波器的预测的公式如下：
Figure BDA0004136995410000091
式中：xk-1是第K-1帧目标的位置和速度信息的组合，
Figure BDA0004136995410000092
第K帧状态估计值基于第K-1帧状态值，F是目标的加速度信息矩阵；Q为系统噪声协方差矩阵；
Figure BDA0004136995410000093
第K帧的预测值，Pk-1为第K-1帧观测值的协方差矩阵，T为时间。
进一步，在卡尔曼滤波器的预测完成后，如果匹配成功通过更新操作将状态值转换为观测值，公式如下：
Figure BDA0004136995410000094
式中：H为状态观测矩阵，Kk为卡尔曼增益，R为观测噪声的协方差矩阵；XK是第K帧目标的位置和速度信息的组合，ZK表示观测值；PK为第K帧观测值的协方差矩阵。
该方法还包括：
通过轨迹与人员目标的匹配来构建相似度，以表示相邻两帧目标的预测值与实际的测量值之间的关系。再使用匹配算法留下相邻两帧之间匹配成功的目标ID，匹配过程中将未匹配成功的轨迹删除，未匹配成功的检测框保留在数组中。
所述匹配算法的公式如下：
Figure BDA0004136995410000095
Figure BDA0004136995410000101
式中：Cij是效率矩阵用来表示每个目标完成每项任务所需的代价，Xij表示匹配的结果，结果1和0分别表示匹配成功和失败；n表示匹配的个数；i表示轨迹，j表示目标。
进一步，所述级联匹配的过程如下：
步骤1、通过最近邻余弦距离计算出相似度，所述余弦距离计算公式如下：
dist(A，B)＝1-cos(A，B)；式中：cos(A，B)表示向量A和向量B间夹角的余弦值；
步骤2、计算门控矩阵，所述门控矩阵的计算公式如下：
ci，j＝λd(1）(i，j)+(1-λ)d(2）(i，j)，式中：d(1)(i，j)为运动空间中i轨迹和j目标之间的平方马氏距离，d(2）(i，j)运动空间中i轨迹和j目标之间的最小余弦距离，λ取值为0.1；
步骤3、初始化匹配集合M为空；
步骤4、初始化未匹配集合U为空；
步骤5、在最大未命中数范围内，首先考虑最近的轨迹，使用匹配算法遍历整个匹配列表，搜索未匹配序列Tn；
步骤6、对未匹配的轨迹进行匹配，得到三种结果：匹配成功M集合添加，匹配失败U集合删除，部分遮挡则作为不确定态，不确定态进行次级匹配；
步骤7、返回M，U集合，经过级联匹配，集合M为确认态的轨迹，集合U为删除态的轨迹。
进一步，如图3所示，所述次级匹配是先判断目标是否为确认态，若不是则直接删除该轨迹；若是而且连续匹配多次且都没成功，则将该目标从图片中删除，如果失配次数少于3次便继续检测该目标；若出现新目标则继续预测新对象，为这个新目标分配一个新的轨迹，状态为不确认态。
可见，本发明提供一种用于烟丝高架库的人员轨迹跟踪方法，使用了YOLOV5算法对目标人员的定位，然后对定位的人员目标进行表面特征提取，然后预测人员目标的轨迹，将预测的轨迹与人员目标进行匹配，将未匹配成功的结果送入级联匹配；在级联匹配过程中，若目标丢失或超出允许最大帧数目时，删除目标，当匹配完视频摄像中所有帧数目中的人员目标，确定多目标人员行进状态。解决了多人员目标的追踪问题，能够实时的获取人员目标的行进状态。而且当发现人员目标存在遮挡的情况时，本方法引入了外观特征和使用级联匹配的方式可以更好的检测到目标的状态，提升了人员目标跟踪的质量。
以上依据图示所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (10)

1.一种用于烟丝高架库的人员轨迹跟踪方法，其特征在于，包括：
在烟丝高架库内设置多个摄像追踪器，并由摄像追踪器对进入烟丝高架库内的人员目标进行视频摄像，以获取摄像视频；
将所述摄像追踪器与服务器信号连接，所述服务器内设有YOLOV5自学习算法对所述摄像视频中的人员目标进行识别检测，完成人员目标的定位；
对定位的人员目标进行表面特征提取，然后预测人员目标的轨迹，将预测的轨迹与人员目标进行匹配，将未匹配成功的结果送入级联匹配；
在级联匹配过程中，若目标丢失或超出允许最大帧数目，则删除目标；若出现新目标则继续预测新对象；若人员目标与轨迹匹配，则轨迹更新；
根据匹配完视频摄像中所有帧数目中的人员目标，确定多目标人员行进状态，以实现人员轨迹的跟踪。
2.根据权利要求1所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，在所述服务器中利用YOLOV5自学习算法构建的YOLOV5模型，所述YOLOV5模型包括：输入端、基准网络、Neck网络和输出端；
所述输入端用于输入图片；
所述基准网络用于对输入图片进行特征提取；
所述Neck网络用于提升特征的多样性；
所述输出端用于输出检测框和类别。
3.根据权利要求2所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，还包括：
所述输入端输入640×640×3的图像进入基准网络的Focus结构，通过Focus结构对图像进行切片形成4个320×320×3的图像，使用基准网络的Concat在深度上连接，形成320×320×12的图像，通过32个卷积核的卷积层形成320×320×32的图像，然后经过基准网络的CBL结构形成160×160×64的图像；
接着通过基准网络的1个残差结构学习并通过128维卷积核卷积得到80×80×128的图像；
而后通过3个残差结构学习并通过256维卷积得到40×40×256的图像；
紧接着再次经过3个残差结构学习并通过512维卷积得到20×20×512的图像；
然后经过基准网络的SPP结构3个最大池化层得到20×20×1024的图像，最后经过512维卷积层输出基准网络的20×20×512的图像。
4.根据权利要求3所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，还包括：
所述Neck网络以基准网络输出结果为输入，采用FPN上采样和PAN下采样融合图像特征的结构；
在得到基准网络输出的20×20×512的图像后，首先通过Neck网络的CBL结构得到20×20×255的图像；
然后进行上采样，输入20×20×255的图像，输出40×40×512的图像，而后与40×40×256图像拼接得到40×40×768的图像，接着进行1个残差结构学习得到40×40×256的图像，再通过255维卷积得到40×40×255的图像，40×40×255的图像进入输出端；
再次进行上采样，输入40×40×256得到80×80×256图像，而后再与80×80×128图像拼接得到80×80×384；在进行1个残差结构学习得到80×80×128后进行255维卷积得到80×80×255图像，80×80×255图像进入输出端；
然后将80×80×256图像进行下采样，将得到图像再与40×40×255图像拼接，在经过1个残差结构学习得到40×40×256图像后进行255维卷积得到40×40×255图像；
再将40×40×256图像下采样与20×20×255图像拼接，在经过1个残差结构学习得到20×20×256图像后进行255维卷积得到20×20×255图像，20×20×255图像进入输出端。
5.根据权利要求4所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，所述表面特征提取是利用特征提取网络模型进行，特征提取网络模型以Pytorch为框架，经过数据集训练，训练图像大小为64×128，batch_size为8，训练次数为40，当训练到第20次时，学习率减小为原来的0.1。
6.根据权利要求5所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，预测人员目标的轨迹是利用卡尔曼滤波器进行，卡尔曼滤波器的预测的公式如下：
Figure FDA0004136995380000031
式中：xk-1是第K-1帧目标的位置和速度信息的组合，
Figure FDA0004136995380000032
第K帧状态估计值基于第K-1帧状态值，F是目标的加速度信息矩阵；Q为系统噪声协方差矩阵；
Figure FDA0004136995380000033
第K帧的预测值，Pk-1为第K-1帧观测值的协方差矩阵，T为时间。
7.根据权利要求6所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，在卡尔曼滤波器的预测完成后，如果匹配成功通过更新操作将状态值转换为观测值，公式如下：
Figure FDA0004136995380000034
式中：H为状态观测矩阵，Kk为卡尔曼增益，R为观测噪声的协方差矩阵；XK是第K帧目标的位置和速度信息的组合，ZK表示观测值；PK为第K帧观测值的协方差矩阵。
8.根据权利要求7所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，还包括：
通过轨迹与人员目标的匹配来构建相似度，以表示相邻两帧目标的预测值与实际的测量值之间的关系；
再使用匹配算法留下相邻两帧之间匹配成功的目标ID，匹配过程中将未匹配成功的轨迹删除，未匹配成功的检测框保留在数组中；
所述匹配算法的公式如下：
Figure FDA0004136995380000041
Figure FDA0004136995380000042
式中：Cij是效率矩阵用来表示每个目标完成每项任务所需的代价，Xij表示匹配的结果，结果1和0分别表示匹配成功和失败；n表示匹配的个数；i表示轨迹，j表示目标。
9.根据权利要求8所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，所述级联匹配的过程如下：
步骤1、通过最近邻余弦距离计算出相似度，所述余弦距离计算公式如下：
dist(A，B)＝1-cos(A，B)；式中：cos(A，B)表示向量A和向量B间夹角的余弦值；
步骤2、计算门控矩阵，所述门控矩阵的计算公式如下：
ci，j＝λd(1）(i，j)+(1-λ)d(2）(i，j)，式中：d(1)(i，j)为运动空间中i轨迹和j目标之间的平方马氏距离，d(2）(i，j)运动空间中i轨迹和j目标之间的最小余弦距离，λ取值为0.1；
步骤3、初始化匹配集合M为空；
步骤4、初始化未匹配集合U为空；
步骤5、在最大未命中数范围内，首先考虑最近的轨迹，使用匹配算法遍历整个匹配列表，搜索未匹配序列Tn；
步骤6、对未匹配的轨迹进行匹配，得到三种结果：匹配成功M集合添加，匹配失败U集合删除，部分遮挡则作为不确定态，不确定态进行次级匹配；
步骤7、返回M，U集合，经过级联匹配，集合M为确认态的轨迹，集合U为删除态的轨迹。
10.根据权利要求9所述的用于烟丝高架库的人员轨迹跟踪方法，其特征在于，所述次级匹配是先判断目标是否为确认态，若不是则直接删除该轨迹；若是而且连续匹配多次且都没成功，则将该目标从图片中删除，如果失配次数少于3次便继续检测该目标；若出现新目标则继续预测新对象，为这个新目标分配一个新的轨迹，状态为不确认态。
CN202310277781.8A 2023-03-17 2023-03-17 一种用于烟丝高架库的人员轨迹跟踪方法 Pending CN116051607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310277781.8A CN116051607A (zh) 2023-03-17 2023-03-17 一种用于烟丝高架库的人员轨迹跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310277781.8A CN116051607A (zh) 2023-03-17 2023-03-17 一种用于烟丝高架库的人员轨迹跟踪方法

Publications (1)

Publication Number Publication Date
CN116051607A true CN116051607A (zh) 2023-05-02

Family

ID=86131595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310277781.8A Pending CN116051607A (zh) 2023-03-17 2023-03-17 一种用于烟丝高架库的人员轨迹跟踪方法

Country Status (1)

Country Link
CN (1) CN116051607A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117265720A (zh) * 2023-11-22 2023-12-22 湘潭东信棉业有限公司 环锭细纱机智能控制系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117265720A (zh) * 2023-11-22 2023-12-22 湘潭东信棉业有限公司 环锭细纱机智能控制系统及方法
CN117265720B (zh) * 2023-11-22 2024-02-09 湘潭东信棉业有限公司 环锭细纱机智能控制系统及方法

Similar Documents

Publication Publication Date Title
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
US20200160061A1 (en) Automatic ship tracking method and system based on deep learning network and mean shift
US5170440A (en) Perceptual grouping by multiple hypothesis probabilistic data association
Liu et al. Indexing visual features: Real-time loop closure detection using a tree structure
Li et al. Deep learning for 2D scan matching and loop closure
CN110288627B (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和系统
US11734338B2 (en) Image search in walkthrough videos
CN106650965A (zh) 一种远程视频处理方法及装置
CN106952293A (zh) 一种基于非参数在线聚类的目标跟踪方法
CN116051607A (zh) 一种用于烟丝高架库的人员轨迹跟踪方法
CN112651994A (zh) 地面多目标跟踪方法
Behl et al. Incremental tube construction for human action detection
WO2022093860A1 (en) Centralized tracking system with distributed fixed sensors
Bashar et al. Multiple object tracking in recent times: A literature review
Castellano et al. Preliminary evaluation of TinyYOLO on a new dataset for search-and-rescue with drones
Kim et al. Deep learning based malicious drone detection using acoustic and image data
CN114926859A (zh) 一种结合头部跟踪的密集场景下行人多目标跟踪方法
Badeka et al. Harvest crate detection for grapes harvesting robot based on YOLOv3 model
Sary et al. Performance Comparison of YOLOv5 and YOLOv8 Architectures in Human Detection using Aerial Images
Sleaman et al. Indoor mobile robot navigation using deep convolutional neural network
CN111240195A (zh) 基于机器视觉的自动控制模型训练、目标物回收方法及装置
Leung et al. Evaluating set measurement likelihoods in random-finite-set slam
CN116580333A (zh) 基于YOLOv5和改进StrongSORT的粮库车辆追踪方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination