CN116665133B - 基于三元组网络的安全帽检测跟踪方法、设备及存储介质 - Google Patents

基于三元组网络的安全帽检测跟踪方法、设备及存储介质 Download PDF

Info

Publication number
CN116665133B
CN116665133B CN202310933833.2A CN202310933833A CN116665133B CN 116665133 B CN116665133 B CN 116665133B CN 202310933833 A CN202310933833 A CN 202310933833A CN 116665133 B CN116665133 B CN 116665133B
Authority
CN
China
Prior art keywords
tracking
detection
target
network
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310933833.2A
Other languages
English (en)
Other versions
CN116665133A (zh
Inventor
刘庆一
成锦
白培瑞
王瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binzhou Jiantong Construction Co.,Ltd.
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310933833.2A priority Critical patent/CN116665133B/zh
Publication of CN116665133A publication Critical patent/CN116665133A/zh
Application granted granted Critical
Publication of CN116665133B publication Critical patent/CN116665133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Helmets And Other Head Coverings (AREA)

Abstract

本发明属于安全帽检测技术领域，公开了一种基于三元组网络的安全帽检测跟踪方法、设备及存储介质。本发明方法将目标检测器、KCF跟踪器结合三元组网络，对目标进行检测和跟踪辅助提高检测精度，构成了检测‑跟踪‑匹配自动循环更新的模式，通过使用预先训练的三元组网络对三元组样本进行运算、分析及匹配，将其输入到共享权重的特征提取网络中提取对应的嵌入特征，最后将提取的嵌入特征送入三元组损失中学习特征的相似性。本发明达到了检测目标与当前跟踪目标有无异常的目的，解决了遮挡情况下目标丢失的问题，实现了在复杂环境下安全帽检测识别任务，本发明方法在精度和稳定性能方面均明显提升。

Description

基于三元组网络的安全帽检测跟踪方法、设备及存储介质
技术领域
本发明涉及安全帽检测技术领域，特别涉及一种基于三元组网络的安全帽检测跟踪方法、设备及存储介质。
背景技术
在不同行业的施工和生产现场，佩戴安全帽和头盔是保障人员生命安全的重要措施。违反施工现场规章制度造成的事故频繁发生，造成巨大的生命财产损失。主要原因是监督无效、人们的安全意识较差，经常出现在施工现场不佩戴安全帽的情形。
为了改善类似情况，有必要对佩戴安全帽情况进行实时检测，基于监控视频分析的技术逐渐成为首选手段。安全帽检测作为目标检测的实际应用之一，是一种对输入的图像自动检测并识别出行人佩戴安全帽的技术，它是智能工厂、智能安检等技术领域中的关键技术，也是保障人员生命财产安全的重要手段，因此，安全帽检测具备较高科研及应用价值。
目前，安全帽佩戴情况的检测与识别算法可分为基于传统方法的安全帽检测以及基于计算机视觉的安全帽佩戴情况检测算法。由于视频采集环境往往比较复杂，多目标和标遮挡等问题，都会对基于监控视频或图像的安全帽佩戴情况的自动检测与识别提出挑战。
遮挡情况下是目标检测的一大挑战，当遇到有目标遮挡时，检测器会因遮挡漂移失去该目标检测框，从而导致丢失检测目标。目前，不易受遮挡的技术有基于传感器的安全帽检测装置，通过传感器和检测器同时确定目标位置，这种技术通常把安全帽的检测固定在一定的范围内，对于距离传感器较远的场所不能进行有效的监控。
在2012年后，随着深度学习的快速发展，卷积神经网络(Convolutional neuralnetwork，CNN)优秀的性能表现进入了研究者们的视线，目标检测算法已完成由单目标向多目标、由大目标到小目标、由图片到视频的高性能快速发展。现阶段，基于深度学习的安全帽检测，根据处理方式的不同，进一步分为两阶段算法和单阶段算法。
两阶段算法即由算法提取特征后进行候选区域生成，然后使用分类器进行分类回归，代表算法RCNN及其改进系列，其特点是精度高、检测速度低，不能满足实时检测的需求。单阶段算法将图像作为输入并直接检测，在图像中直接定位目标并对其分类，代表算法为SSD和YOLO系列算法，其特点是检测速度快模型小，但在实时检测精度上有待提高。
可见，现有的基于深度学习的安全帽检测方法，其实效性难以维系，另外，多目标造成的目标遮挡影响检测精度是现有技术中安全帽检测方法有待解决的问题。
发明内容
本发明的目的在于提出一种基于三元组网络的安全帽检测跟踪方法，以解决多目标遮挡造成的安全帽检测问题，从而实现网络在复杂环境下安全帽检测识别任务。
本发明为了实现上述目的，采用如下技术方案：
基于三元组网络的安全帽检测跟踪方法，包括如下步骤：
步骤1.输入视频图像，在视频图像初始帧中选取指定目标作为初始目标模板；
步骤2.通过KCF跟踪器完成指定目标的跟踪任务，在当前帧选取跟踪候选区域；
步骤3.在目标检测过程，用预先训练过的Yolo-MobileNet检测器在当前帧实施目标检测，得到检测候选区域；
步骤4.将步骤1中的目标模板、步骤2中的跟踪候选区域以及步骤3中的检测候选区域经过归一化层，作为三元组样本输入到训练好的三元组网络；
将三元组样本分别转换为三元组网络嵌入层空间上的对应向量；通过欧式距离匹配和余弦匹配得到检测与跟踪是否匹配的过程，最终完成当前帧的跟踪任务；
更新跟踪器系数及目标模板进行下一帧的检测跟踪和匹配，直到视频图像最后一帧结束。
在基于三元组网络的安全帽检测跟踪方法的基础上，本发明还提出了一种计算机设备，该计算机设备包括存储器和一个或多个处理器。
所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现基于三元组网络的安全帽检测跟踪方法的步骤。
在基于三元组网络的安全帽检测跟踪方法的基础上，本发明还提出了一种计算机可读存储介质，其上存储有程序。
该程序被处理器执行时，用于实现基于三元组网络的安全帽检测跟踪方法的步骤。
本发明具有如下优点：
如上所述，本发明述及了一种基于三元组网络的安全帽检测跟踪方法，该安全帽检测跟踪方法通过将Yolo-MobileNet目标检测器和KCF跟踪器结合三元组网络，对目标进行检测和跟踪辅助提高检测精度，让系统构成检测—跟踪—匹配自动循环更新。输入视频图像后，在视频图像初始帧中选取指定目标作为初始目标，通过KCF跟踪器完成指定目标的跟踪任务，同时在当前帧选取跟踪候选区域；目标检测过程用提前训练过的Yolo-MobileNet检测器在当前帧实施目标检测，得到相应的检测候选区域；已经得到的目标模板、检测候选区域和跟踪候选区域是用到的三个输入，使用预先训练的三元组网络完成运算分析，输出最终的当前帧的跟踪检测结果，且每一帧的跟踪任务完成时，通过三元组网络输出跟踪结果后，再进行更新跟踪器系数以及目标模板。本发明通过使用预先训练的三元组网络对三元组样本进行运算、分析及匹配，从而达到检测目标与当前跟踪目标有无异常的目的，很好的解决了遮挡情况下目标丢失的问题，有效地减少了漏报和发出错误报告的现象，实现了在复杂环境下安全帽检测识别任务。本发明方法在精度和稳定性能方面均明显提升。
附图说明
图1为本发明实施例中基于三元组网络的安全帽检测跟踪方法的流程图。
图2为本发明实施例中Yolo-MobileNet网络结构模型。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
实施例1
如图1所示，本实施例述及了一种基于三元组网络的安全帽检测跟踪方法，以解决多目标遮挡造成的安全帽检测问题，该方法包括如下步骤：
步骤1.输入视频图像，在视频图像初始帧中选取指定目标作为初始目标模板。其中，视频共计T帧，1<t<T，t为视频第t帧，t、T均为自然数。
步骤2.通过KCF跟踪器完成指定目标的跟踪任务，在当前帧选取跟踪候选区域。
步骤3.在目标检测过程，用预先训练过的Yolo-MobileNet检测器在当前帧实施目标检测，得到检测候选区域，由于检测安全帽形状的过程近似正方形结构，因此本实施例选用的模型的卷积核采用3*3的矩形卷积，更有利于提取安全帽特征。
本实施例中采用的Yolo-MobileNet检测器的主干网络采用MobileNetv2，使得目标检测器更加兼备轻量化和准确性，检测头采用11*11和22*22的尺寸。
如图2所示，Yolo-MobileNet检测器包括输入、主干网络、Light-Neck特征融合层以及检测头。在Yolo-MobileNet检测器主要用的有Inverted Residual反向残差模块、CBS(包含卷积层Conv、归一化层BN和SiLU损失函数)、CBL(包含卷积层Conv、归一化层BN以及Relu激活层)、上采样模块以及深度卷积模块(包含CBL、卷积层Conv和归一化层BN、CBL、卷积层Conv和归一化层BN)。Max pooling即最大池化层。
另外图2中Cls&Reg分别表示预测分类损失函数和回归损失函数，Obj表示所有样本的目标损失函数；它们共同构成Yolo-MobileNet的损失函数。
本发明使用的是改进后的Yolo-MobileNet网络，主要改进主干网络部分，即将原有的ShuffleNetV2网络模块改进为使用MobileNetv2中的Inverted Residual反向残差模块，增加部分网络深度前提下，提高了模型的检测精度同时处理了原网络中梯度消失的问题。
Yolo-MobileNet检测器改进过程具体如下：
对Yolo-Fastest目标检测器的主干网络进行改进，采用MobileNetv2主干进行代替，将主干网络中ShuffleV2Block网络模块，替换使用Inverted Residual反向残差模块进行特征提取，反向残差模块的使用可以有效地加深网络层数，减少梯度消失问题。
其中，Inverted Residual反向残差模块主要由深度卷积模块、点卷积、Relu激活函数以及线形层构成，其包含两种形式，分别为步长s为1和步长s为2。
步长s为1时，先进行1×1卷积升维，再进行深度卷积提取特征，再通过Linear的点卷积降维，同时包含shortcut连接且输入特征矩阵和输出特征矩阵shape相同。
步长s为2时，因为输入与输出的尺寸不符，不添加shortcut结构，其余操作均相同。
使用点卷积来保证减少Element-Wise的操作，避免并行结构造成的计算负担，添加点卷积和激活函数将特征图大小从7×7降到1×1，最后使用点卷积升维。
以上操作可以降低计算量的同时提高特征图的维度。
将边框分类和回归(Cls&Reg)使用同一组卷积进行计算，然后分成两部分进行预测。同时仅使用11×11和22×22两个尺度的检测头进行输出。
锚点的匹配机制采用YOLOV5的版本，检测头的解耦类似于YOLOX，除了对位置和检测类别的回归，还对返回对前景和背景的分类。
目标遮挡以及光照不均匀检测精度低也是因为图像中可识别的特征减少。
针对这个问题，本发明结合KCF跟踪方法，其基本思想是通过扩充了负样本的数量训练出可以区别背景和目标的分类器实现目标的跟踪，从而达到减少漏检的情况。
本发明以Yolo-Fastest目标检测器为原型，使用MobileNetv2中的InvertedResidual反向残差模块对主干特征提取网络进行改进，改进网络中使用较多的点卷积来保证减少Element-Wise的操作，网络分枝简化，避免并行结构造成的计算负担，添加1×1卷积和激活函数将特征图大小从7×7降到1×1，最后使用点卷积升维，这样的操作可以降低计算量的同时提高特征图的维度，提高了模型的检测精度同时缓解了原网络中梯度消失的问题。
经过实验证明，本发明改进后的Yolo-MobileNet算法比Yolo-fastest算法在应对多目标遮挡情况下的检测精度提升4.5％，因而能够改善复杂情况下的安全帽检测的精确度。
Yolo-MobileNet检测器的训练过程如下：
Yolo-MobileNet检测器训练前准备安全帽数据集，将采集的安全帽数据使用标签的软件labeling进行VOC格式标记，生成XML文件存放在Annotations文件夹。
本实施例中安全帽数据集标签分为未佩戴安全帽none、佩戴红色安全帽red、佩戴蓝色安全帽blue、佩戴黄色安全帽yellow、佩戴白色安全帽white五种。
Yolo-MobileNet检测器网络参数初始化：训练迭代周期为200，Batch-size为8，学习率为0.0001；利用安全帽数据集分别对Yolo-MobileNet检测器进行预训练。
保留网络训练最优的Yolo-MobileNet检测器进行检测。
步骤4.将步骤1中的目标模板、步骤2中的跟踪候选区域以及步骤3中的检测候选区域经过归一化层，作为三元组样本输入到训练好的三元组网络。
将三元组样本分别转换为三元组网络嵌入层空间上的对应向量；通过欧式距离匹配和余弦匹配得到检测与跟踪是否匹配的过程，最终完成当前帧的跟踪任务。
更新跟踪器系数及目标模板进行下一帧的检测跟踪和匹配，直到视频图像最后一帧结束。
图1中嵌入层(embedding)是为共享参数的前馈神经网络，主要作用是三元组中的数据信息嵌入相似度匹配。本发明能够实现在多目标下对安全帽的检测，且有良好的表现。
使用三元组网络中的一维卷积神经网络计算交叉熵损失，并将三元组网络目标损失函数与三元组网络交叉熵损失融合，作为训练三元组网络的最终损失函数。
三元组网络模型具体训练过程为：
首先定义三元组样本分别为锚样本x、正样本x+、负样本x﹣。
其中，锚样本x为视频帧中选取的目标模板，正样本x+为KCF跟踪器生成的跟踪候选区域，负样本x﹣为Yolo-MobileNet生成的检测候选区域。
其次，将三元组样本{x,x+,x﹣}送入参数共享的前馈神经网络得到各自的嵌入特征样本{y,y+,y﹣}，其中，y、y+、y﹣分别表示锚样本、正样本以及负样本特征。
视频目标检测跟踪过程，会首先执行目标候选区域的计算，即对锚样本和所有目标候选区域进行余弦相似度比较，当前帧相似度最大的目标候选区域即为目标区域。
使用余弦相似度方法分别计算锚样本y与正样本y+、以及锚样本y与负样本y﹣之间的余弦相似度距离，如公式(1)所示：
其中S(y,y+)为y与y+之间的余弦相似度距离，S(y,y﹣)为y与y﹣之间的余弦相似度距离。
其中，目标候选区域包括检测候选区域和跟踪候选区域。
定义三元组网络训练交叉熵损失LCE的计算公式如下：
其中，yi表示正样本特征的类别，1-yi表示负样本特征的类别；pi表示正样本的预测概率，1-pi表示负样本的预测概率。该损失表征目标样本和预测概率之间的差值。
定义三元组网络目标损失函数L的计算公式如下：
L＝max{0,γ+S(y,y+)+S(y,y-)}。
其中，γ是阈值参数。每次训练用到n组样本，偏置W和权值b随着训练进行不断更新。
最后，使用三元组网络中的一维卷积神经网络计算交叉熵损失，将三元组网络目标损失函数和三元组网络叉熵损失函数融合，作为训练三元组网络的最终损失函数Loss。
其中，Loss＝λL+(1-λ)LCE；其中，λ为权重参数。
本发明将三元组网络目标损失函数和三元组网络交叉熵损失函数融合作为训练三元组网络的目标损失函数，因而能更好地对输入样本之间的小目标特征进行建模以及更好地表达。
步骤4.将三元组样本输入到嵌入层进行分析得到检测与跟踪是否匹配的过程，最终完成当前帧的跟踪任务。更新跟踪器系数以及目标模板进行下一帧的检测跟踪和匹配，直到视频的最后一帧结束。该步骤4具体为：
步骤4.1.检测过程中使用Yolo-MobileNet作为目标检测器，使用训练好的目标检测器进行视频检测，将检测候选区域样本设为集合xD＝{xD1,xD2,…,xDn}。
其中，xD1,xD2,…,xDn分别表示每个检测候选区域检测到的目标。
步骤4.2.跟踪过程中将KCF跟踪器跟踪到的第一帧中的跟踪结果标记为目标模板xtemp，以后每一帧的跟踪结果作为当前帧的跟踪候选区域xt。
步骤4.3.将多个检测候选区域与上一帧的跟踪结果进行欧式距离匹配，将得到的欧式距离进行排序，欧式距离最小的检测候选区域作为最终的检测框，记为xDd，距离为lDd。
步骤4.4.将跟踪候选区域xt和上一帧的跟踪结果进行余弦相似度匹配，得到距离lDt。
步骤4.5在匹配器中进行阈值匹配和IOU匹配双重匹配，判断检测器和跟踪器的有效性，并根据检测器和跟踪器的有效性确定当前帧的跟踪结果。
首先设定阈值th，将步骤4.3和步骤4.4得到的距离lDd和距离lDt的与阈值th比较，并判断目标检测器和KCF跟踪器的结果是否有效。
若距离lDd和lDt都小于或等于阈值th，表明检测框与跟踪框结果有效，进行IOU匹配。
IOU匹配的具体过程如下：
将步骤4.3中的检测框xDd和步骤4.2中的跟踪候选区域xt进行IOU匹配，当重叠率大于IOU阈值时，说明跟踪和检测结果均可靠；
此时将xDd和xt的位置坐标以及大小的平均作为输出的跟踪结果。
若距离lDd和lDt都大于阈值th，则将{xDd，xtemp，xt}重新送入三元组网络内，重复进行目标再确认工作，若出现检测框和跟踪框都成功则确定跟踪结果，若出现检测框和跟踪框都失败，则判定当前帧跟踪失败，将上一帧跟踪结果认定为当前帧的结果。
若当距离lDd大于阈值th，且距离lDt小于阈值th时，则判定KCF跟踪器结果正确，Yolo-MobileNet检测器检测失败，并将xt作为最终的跟踪结果；
若当lDt距离大于阈值th，且距离lDd小于阈值th时，则判定Yolo-MobileNet检测器检测结果成功，KCF跟踪器结果失败，并xDd将作为最终的跟踪结果。
步骤4.6.当视频图像中有目标或疑似目标物出现会进行检测识别，回归分析数据得出检测识别结果。
步骤4.7.在三元组网络进行当前帧的三元组样本的最终匹配后，通过判断t<T，结束当前帧跟踪和检测，进行下一帧的跟踪框更新和检测框更新。
本发明将检测框、跟踪框和目标模板{xDd,xtemp,xt}作为三元组网络的输入，样本的选取与三元组网络的运算分析可实时同步进行，经过与目标检测器和跟踪器的联合，对输入图像进行映射后得到的三个样本的特征表达，并送入三元组网络辅助预测最优解，判断下一帧的跟踪框更新和检测框更新，最终实现检测样本与跟踪样本的相似度不断趋近，将正样本和负样本的相似度趋于增大的目标，完成视频在三元组网络中的对安全帽图像数据的预测与检测。
本发明使用Yolo-MobileNet检测器和KCF跟踪器结合三元组网络对目标实现检测和跟踪，在三元组网络中将选取锚样本、正样本和负样本进行两两距离匹配，遵循Anchor与正样本之间欧式距离越小，正样本和负样本欧式距离越大的原则进行匹配，提高样本的检测准确性，让系统构成检测—跟踪—匹配自动循环更新的模式，能够实现网络在复杂环境下安全帽检测识别任务。与传统的安全帽检测跟踪方法相比，本发明的优势在于样本的选取与三元组网络的运算分析可实时同步进行，经过与检测器和跟踪器的联合，对输入视频图像进行映射后得到的三个样本的特征表达，并将三个样本的特征表达送入三元组网络辅助预测最优解，从而完成视频在三元组网络中的对安全帽图像数据的预测与检测。
实施例2
本实施例2述及了一种计算机设备，该计算机设备用于实现上述实施例1中述及的基于三元组网络的安全帽检测跟踪方法。
该计算机设备包括存储器和一个或多个处理器。在存储器中存储有可执行代码，当处理器执行可执行代码时，用于实现上述基于三元组网络的安全帽检测跟踪方法的步骤。
本实施例中计算机设备为任意具备数据数据处理能力的设备或装置，此处不再赘述。
实施例3
本实施例3述及了一种计算机可读存储介质，该计算机可读存储介质用于实现上述实施例1中述及的基于三元组网络的安全帽检测跟踪方法。
本实施例3中的计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述基于三元组网络的安全帽检测跟踪方法的步骤。
该计算机可读存储介质可以是任意具备数据处理能力的设备或装置的内部存储单元，例如硬盘或内存，也可以是任意具备数据处理能力的设备的外部存储设备，例如设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。
当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。

Claims (8)

1.基于三元组网络的安全帽检测跟踪方法，其特征在于，包括如下步骤：
步骤1.输入视频图像，在视频图像初始帧中选取指定目标作为初始目标模板；
步骤2.通过KCF跟踪器完成指定目标的跟踪任务，在当前帧选取跟踪候选区域；
步骤3.在目标检测过程，用预先训练过的Yolo-MobileNet检测器在当前帧实施目标检测，得到检测候选区域；
步骤4.将步骤1中的目标模板、步骤2中的跟踪候选区域以及步骤3中的检测候选区域经过归一化层，作为三元组样本输入到训练好的三元组网络；
三元组网络的训练过程如下：
首先定义三元组样本分别为锚样本x、正样本x+、负样本x﹣；
其中，锚样本x为视频帧中选取的目标模板，正样本x+为KCF跟踪器生成的跟踪候选区域，负样本x﹣为Yolo-MobileNet检测器生成的检测候选区域；
其次将三元组样本{x,x+,x﹣}送入参数共享的前馈神经网络得到各自的嵌入特征样本{y,y+,y﹣}，其中，y、y+、y﹣分别表示锚样本、正样本以及负样本特征；
视频目标检测跟踪过程，会首先执行目标候选区域的计算，即对锚样本和所有目标候选区域进行余弦相似度比较，当前帧相似度最大的目标候选区域即为目标区域；
其中，目标候选区域包括检测候选区域和跟踪候选区域；
定义三元组网络训练交叉熵损失LCE的计算公式如下：
其中，yi表示正样本特征的类别，1-yi表示负样本特征的类别；pi表示正样本的预测概率，1-pi表示负样本的预测概率，定义三元组网络目标损失函数L的计算公式如下：
L＝max{0,γ+S(y,y+)+S(y,y-)}；
其中，γ是阈值参数；S(y,y+)为y与y+之间的余弦相似度距离，S(y,y﹣)为y与y﹣之间的余弦相似度距离；
最后使用三元组网络中的一维卷积神经网络计算交叉熵损失，将三元组网络目标损失函数和三元组网络叉熵损失函数融合，作为训练三元组网络的最终损失函数Loss；
其中，Loss＝λL+(1-λ)LCE；λ为权重参数；
将三元组样本分别转换为三元组网络嵌入层空间上的对应向量；通过欧式距离匹配和余弦匹配得到检测与跟踪是否匹配的过程，最终完成当前帧的跟踪任务；
更新跟踪器系数及目标模板进行下一帧的检测跟踪和匹配，直到视频图像最后一帧结束；
所述步骤4具体为：
步骤4.1.检测过程中使用Yolo-MobileNet检测器作为目标检测器，使用训练好的Yolo-MobileNet检测器进行视频检测，将检测候选区域样本设为集合xD＝{xD1,xD2,…,xDn}；
其中，xD1,xD2,…,xDn分别表示每个检测候选区域检测到的目标；
步骤4.2.跟踪过程中将KCF跟踪器跟踪到的第一帧中的跟踪结果标记为目标模板xtemp，以后每一帧的跟踪结果作为当前帧的跟踪候选区域xt；
步骤4.3.将多个检测候选区域与上一帧的跟踪结果进行欧式距离匹配，将得到的欧式距离进行排序，欧式距离最小的检测候选区域作为最终的检测框，记为xDd，距离为lDd；
步骤4.4.将跟踪候选区域xt和上一帧的跟踪结果进行余弦相似度匹配，得到距离lDt；
步骤4.5.进行阈值匹配和IOU匹配双重匹配，判断Yolo-MobileNet检测器和KCF跟踪器的有效性，并根据检测器和跟踪器的有效性确定当前帧的跟踪结果；
步骤4.6.当视频图像中有目标或疑似目标物出现时进行检测识别，回归分析数据得出检测识别结果；
步骤4.7.在三元组网络进行当前帧的三元组样本的最终匹配后，通过判断t<T，结束当前帧跟踪和检测，进行下一帧的跟踪框更新和检测框更新；
其中，t为代表当前图像的在第t帧，跟踪视频的总帧数为T。
2.根据权利要求1所述的基于三元组网络的安全帽检测跟踪方法，其特征在于，
所述步骤3中，Yolo-MobileNet检测器的训练过程如下：
Yolo-MobileNet检测器训练前准备安全帽数据集，将采集的安全帽数据使用标签的软件labeling进行VOC格式标记，生成XML文件存放在Annotations文件夹；
Yolo-MobileNet检测器网络参数初始化：训练迭代周期为200，Batch-size为8，学习率为0.0001；利用安全帽数据集分别对Yolo-MobileNet检测器进行预训练；
保留网络训练最优的Yolo-MobileNet检测器进行检测。
3.根据权利要求1所述的基于三元组网络的安全帽检测跟踪方法，其特征在于，
所述步骤4中，使用余弦相似度方法分别计算锚样本y与正样本y+、以及锚样本y与负样本y﹣之间的余弦相似度距离，如公式(1)所示：
其中S(y,y+)为y与y+之间的余弦相似度距离，S(y,y﹣)为y与y﹣之间的余弦相似度距离。
4.根据权利要求1所述的基于三元组网络的安全帽检测跟踪方法，其特征在于，
所述步骤4.5具体为：
首先设定阈值th，将步骤4.3和步骤4.4得到的距离lDd和距离lDt的与阈值th比较，并判断目标检测器和KCF跟踪器的结果是否有效；
若距离lDd和lDt都小于或等于阈值th，表明检测框与跟踪框结果有效，进行IOU匹配；
若距离lDd和lDt都大于阈值th，则将{xDd，xtemp，xt}重新送入三元组网络内，重复进行目标再确认工作，若出现检测框和跟踪框都成功则确定跟踪结果，若出现检测框和跟踪框都失败，则判定当前帧跟踪失败，将上一帧跟踪结果认定为当前帧的结果；
若当距离lDd大于阈值th，且距离lDt小于阈值th时，则判定KCF跟踪器结果正确，Yolo-MobileNet检测器检测失败，并将xt作为最终的跟踪结果；
若当lDt距离大于阈值th，且距离lDd小于阈值th时，则判定Yolo-MobileNet检测器检测结果成功，KCF跟踪器结果失败，并xDd将作为最终的跟踪结果。
5.根据权利要求4所述的基于三元组网络的安全帽检测跟踪方法，其特征在于，
所述IOU匹配的具体过程如下：
将步骤4.3中的检测框xDd和步骤4.2中的跟踪候选区域xt进行IOU匹配，当重叠率大于IOU阈值时，说明跟踪和检测结果均可靠；
此时将xDd和xt的位置坐标以及大小的平均作为输出的跟踪结果。
6.根据权利要求1所述的基于三元组网络的安全帽检测跟踪方法，其特征在于，
所述Yolo-MobileNet检测器是在Yolo-Fastest目标检测器的基础上改进得到的，Yolo-MobileNet检测器包括输入、主干网络、特征融合层以及检测头；
针对Yolo-Fastest目标检测器的结构的具体改进如下：
对Yolo-Fastest目标检测器的主干网络进行改进，即将主干网络中ShuffleV2Block网络模块，替换使用Inverted Residual反向残差模块进行特征提取；
反向残差模块由深度卷积模块、点卷积、Relu激活函数以及线形层构成；反向残差模块包含两种形式，分别为步长s为1和步长s为2；
步长为1时，先进行1×1卷积升维，再进行深度卷积提取特征，再通过点卷积降维，同时包含shortcut连接且输入特征矩阵和输出特征矩阵尺寸相同；
步长为2时，因为输入与输出的尺寸不符，不添加shortcut结构，其余操作均相同。
7.一种计算机设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，
实现如权利要求1至6任一项所述的基于三元组网络的安全帽检测跟踪方法的步骤。
8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，实现如权利要求1至6任一项所述的基于三元组网络的安全帽检测跟踪方法的步骤。
CN202310933833.2A 2023-07-24 2023-07-24 基于三元组网络的安全帽检测跟踪方法、设备及存储介质 Active CN116665133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310933833.2A CN116665133B (zh) 2023-07-24 2023-07-24 基于三元组网络的安全帽检测跟踪方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310933833.2A CN116665133B (zh) 2023-07-24 2023-07-24 基于三元组网络的安全帽检测跟踪方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116665133A CN116665133A (zh) 2023-08-29
CN116665133B true CN116665133B (zh) 2023-10-13

Family

ID=87717437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310933833.2A Active CN116665133B (zh) 2023-07-24 2023-07-24 基于三元组网络的安全帽检测跟踪方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116665133B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN110298404A (zh) * 2019-07-02 2019-10-01 西南交通大学 一种基于三重孪生哈希网络学习的目标跟踪方法
CN111192294A (zh) * 2019-12-30 2020-05-22 华中科技大学 一种基于目标检测的目标跟踪方法及系统
WO2021139787A2 (zh) * 2020-01-09 2021-07-15 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN113379788A (zh) * 2021-06-29 2021-09-10 西安理工大学 一种基于三元组网络的目标跟踪稳定性方法
CN114862914A (zh) * 2022-05-26 2022-08-05 淮阴工学院 一种基于检测跟踪一体式的行人跟踪方法
WO2023273136A1 (zh) * 2021-06-29 2023-01-05 常州工学院 一种基于目标物表征点估计的视觉跟踪方法
CN115761534A (zh) * 2022-11-08 2023-03-07 长春理工大学 一种空中背景下红外无人机小目标检测及跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019006564T5 (de) * 2019-01-03 2021-10-14 Intel Corporation Kontinuierliches Lernen zur Objektverfolgung

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN110298404A (zh) * 2019-07-02 2019-10-01 西南交通大学 一种基于三重孪生哈希网络学习的目标跟踪方法
CN111192294A (zh) * 2019-12-30 2020-05-22 华中科技大学 一种基于目标检测的目标跟踪方法及系统
WO2021139787A2 (zh) * 2020-01-09 2021-07-15 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN113379788A (zh) * 2021-06-29 2021-09-10 西安理工大学 一种基于三元组网络的目标跟踪稳定性方法
WO2023273136A1 (zh) * 2021-06-29 2023-01-05 常州工学院 一种基于目标物表征点估计的视觉跟踪方法
CN114862914A (zh) * 2022-05-26 2022-08-05 淮阴工学院 一种基于检测跟踪一体式的行人跟踪方法
CN115761534A (zh) * 2022-11-08 2023-03-07 长春理工大学 一种空中背景下红外无人机小目标检测及跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Surf points based Moving Target Detection and Long-term Tracking in Aerial Videos;Juan-juan Zhu 等;《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》;第5624-5638页 *
基于深度学习的安全帽佩戴检测与跟踪;秦嘉;曹雪虹;焦良葆;;计算机与现代化(06);第5-10页 *

Also Published As

Publication number Publication date
CN116665133A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN108875833B (zh) 神经网络的训练方法、人脸识别方法及装置
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
US11625646B2 (en) Method, system, and medium for identifying human behavior in a digital video using convolutional neural networks
CN108564069B (zh) 一种工业佩戴安全帽视频检测方法
You et al. A fatigue driving detection algorithm based on facial motion information entropy
CN111488804A (zh) 基于深度学习的劳保用品佩戴情况检测和身份识别的方法
CN105335722A (zh) 一种基于深度图像信息的检测系统及方法
Jeong et al. Driver facial landmark detection in real driving situations
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
US20150347804A1 (en) Method and system for estimating fingerprint pose
CN103150546A (zh) 视频人脸识别方法和装置
WO2021203718A1 (zh) 人脸识别方法及系统
US20240087368A1 (en) Companion animal life management system and method therefor
CN109145752B (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
KR101089847B1 (ko) 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
Fan et al. Biologically-inspired visual place recognition with adaptive multiple scales
CN116665133B (zh) 基于三元组网络的安全帽检测跟踪方法、设备及存储介质
CN116884045A (zh) 身份识别方法、装置、计算机设备和存储介质
CN116665272A (zh) 机场场景人脸识别融合决策方法、装置、电子设备及介质
CN114627339B (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
Liu et al. DCMS-YOLOv5: A Dual-Channel and Multi-Scale Vertical Expansion Helmet Detection Model Based on YOLOv5.
Xudong et al. Pedestrian detection and tracking with deep mutual learning
CN111860100A (zh) 行人数量的确定方法、装置、电子设备及可读存储介质
Xie et al. One-Shot Medical Action Recognition With A Cross-Attention Mechanism And Dynamic Time Warping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240509

Address after: 256600 Pengli Street Office, Bincheng District, Binzhou City, Shandong Province, China, Huanghe 10th Road, Bohai 15th Road, Sports Home, Southwest Corner, 1st Street Shop

Patentee after: Binzhou Jiantong Construction Co.,Ltd.

Country or region after: China

Address before: 579 qianwangang Road, Huangdao District, Qingdao City, Shandong Province

Patentee before: SHANDONG University OF SCIENCE AND TECHNOLOGY

Country or region before: China