CN110929670A - 基于yolo3技术的渣土车洁净度视频识别分析方法 - Google Patents

基于yolo3技术的渣土车洁净度视频识别分析方法 Download PDF

Info

Publication number
CN110929670A
CN110929670A CN201911210960.XA CN201911210960A CN110929670A CN 110929670 A CN110929670 A CN 110929670A CN 201911210960 A CN201911210960 A CN 201911210960A CN 110929670 A CN110929670 A CN 110929670A
Authority
CN
China
Prior art keywords
muck
cleanliness
loss
yolo3
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911210960.XA
Other languages
English (en)
Inventor
施星靓
刘胜军
李晓洁
孟虎
孙浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEFEI CITY CLOUD DATA CENTER Co Ltd
Original Assignee
HEFEI CITY CLOUD DATA CENTER Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEFEI CITY CLOUD DATA CENTER Co Ltd filed Critical HEFEI CITY CLOUD DATA CENTER Co Ltd
Priority to CN201911210960.XA priority Critical patent/CN110929670A/zh
Publication of CN110929670A publication Critical patent/CN110929670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于yolo3技术的渣土车洁净度视频识别分析方法，与现有技术相比解决了难以实现渣土车洁净度视频识别的缺陷。本发明包括以下步骤：渣土车实时视频采集图像的获取和预处理；洁净度识别模型的构建与训练；渣土车洁净度的识别分析。本发明利用渣土车图像数据学习训练网络，直接输出识别结果，相比传统的检测识别过程，避免了对渣土车和复杂背景特征人工建模复杂、适用性不强等问题，能够大大提高复杂背景下运动目标检测识别跟踪的速度和准确度。

Description

基于yolo3技术的渣土车洁净度视频识别分析方法
技术领域
本发明涉及视频识别技术领域，具体来说是基于yolo3技术的渣土车洁净度视频识别分析方法。
背景技术
渣土车管理是城市管理中的难点，特别是渣土车运输作业时灰尘对环境造成重大污染，因此渣土车出施工现场后的洁净度一直是主管部门监测的重点。
现有技术中，多采用传感器进行渣土车清洁度的监测，但其难以实现对渣土车清洁度的高准确率识别。虽有部分技术提出，利用传统的图像特征提取技术进行监测，但其仍存在构建过程繁琐、泛化能力不强等问题。特别是，渣土车的行驶在视频过程中属于动态过程，并且随着渣土车的行驶过程，经过甩泥、清洗等过程后，其清洁度也属于实时变化的过程。针对其进行视频识别分析，涉及复杂背景下的运动目标检测识别跟踪，技术难度较大。
因此，如何开发出一种渣土车洁净度视频实现识别方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以实现渣土车洁净度视频识别的缺陷，提供一种基于yolo3技术的渣土车洁净度视频识别分析方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于yolo3技术的渣土车洁净度视频识别分析方法，包括以下步骤：
11)渣土车实时视频采集图像的获取和预处理：获取渣土车实时视频采集图像，并按照视频帧进行处理，每视频帧均按标准VOC数据格式对采集的图像数据进行处理；
12)洁净度识别模型的构建与训练：利用darknet网络搭建渣土目标检测网络框架，对搭建后的渣土目标检测网络框架进行训练，得到训练后洁净度识别模型；
13)渣土车洁净度的识别分析：将预处理后的视频帧输入训练后的洁净度识别模型，通过洁净度识别模型提取出特征，输出渣土位置预测值和渣土类别概率预测值。
所述洁净度识别模型的构建与训练包括以下步骤：
21)搭建yolo3网络构建洁净度识别模型，洁净度识别模型包括yolo3分类网络和yolo3检测网络；yolo3分类网络使用darknet结构，由一系列的1*1、3*3的卷积层组成，每个卷积层后接BN层和LeakyReLu层，网络主干由52个卷积层组成；yolo3检测网络采用多尺度预测结构；
22)yolo3网络使用darknet结构，darknet结构为一个全卷积网络，无全连接层，其网络的损失函数定义如下：
xyloss＝confindence*(2-w*h)*crossentropy，
whloss＝confdence*(2-w*h)*(whTrue-whpred)，
confidenceloss＝confidence*crossentropy+(1-confidence)*crossentropy*ignore，
classloss＝confidence*crosstropy，
totalloss＝xyloss+whloss+confidenceloss+classloss，
式中，xyloss表示物体中心点坐标损失，whloss表示anchor长宽回归值的损失，confidenceloss表示置信度损失，classloss表示类别损失；
23)设定Yolo3采用上采样法和融合法，融合f*f、2f*2f、4f*4f共3个尺度的先验框，在3个尺度的融合特征图上分别进行独立检测；
24)设定Yolo3中每个单元格预测3个包含渣土信息的边界框，每个边界框包含(4+1+c)*3个值，其中4表示坐标信息、1表示对象置信度、c表示目标类别概率；
边界框中坐标预测如下：
tx＝(Gx-CX)，
ty＝(Gy-Cy)，
tw＝log(Gw-Pw)，
th＝log(Gh-Ph)，
bx＝σ(tx)+cx，
by＝σ(ty)+cy，
Figure BDA0002298105590000031
bh＝Pheh，
其中，Cx、Cy是特征图中单元格的左上角坐标，yolov3中每个单位格在特征图中的宽和高均为1，即公式中Cx、Cy均为1，Pw、Ph是预设的边界框映射到特征图中的宽和高，Gx、Gy是目标实际框在这个特征图上的中心点坐标，
Gw、Gh是目标实际框在这个特征图上的宽和高，tx、ty是预测的坐标偏移值，tw、th是尺度缩放，最终得到的边框坐标值是bx、by、bw、bh即边界框相对于特征图的位置和大小；
25)设定Confindence反映了当前边界框是否含有渣土以及渣土位置的准确性，计算方式如下：
confidence＝P(Object)*IOU(pred*groudtruth)
其中，当P(Object)＝1表示bounding box包含目标物体渣土，
P(Object)＝0表示不包含目标物体渣土，
IOU为交并比，为预测边界框与真实区域的面积，面积以像素面积计算；
26)设定Yolo预测阶段，类别概率为类别的条件概率与confidence的乘积，计算公式如下：
class＝Pr(Classi|Object)*confidence
其中，Pr(Classi|Object)表示对象类别的条件概率，class反映了bounding box是否包含目标渣土和边界框坐标的准确度；
27)对yolo3网络进行超参数设定，将采用随机梯度下降法训练网络，训练出洁净度识别模型，其中初始学习率设定为0.001，梯度下降动量为0.9，权重衰减正则为0.0001。
还包括渣土车视频目标的跟踪处理步骤；
所述的渣土车视频目标的跟踪处理步骤分析通过渣土位置预测值和渣土类别概率预测值，并利用deep-sort方法进行渣土车视频目标的跟踪。
所述的分析通过渣土位置预测值和渣土类别概率预测值包括以下步骤：
41)引入一个离散控制过程系统，过程和观测噪声都属于高斯白噪声，该系统可以使用线性随机微分方程进行描述，公式如下：
Xk＝AXk-1+BUk+Wk-1 (3.1)
Zk＝HXk+Vk (3.2)，
其中，式(3.1)为系统状态方程，Xk和Xk-1分别为系统k时刻的k-1时刻的状态矩阵，Uk和Wk为系统k时刻的控制矩阵和过程噪声，A和B为系统的相关状态转移矩阵，式(3.2)为系统的观测方程，Zk和Vk分为为系统k时刻的观测矩阵和观测噪声，H为系统观测矩阵；
42)设过程噪声和观测噪声不会随着系统状态的变化而变化，公式如下：
Figure BDA0002298105590000041
Figure BDA0002298105590000042
Cov[Wk，Wj]＝0 (3.5)
其中Q和R为噪声的协方差矩阵；
43)通过系统k-1时刻状态预测系统k时刻状态，可以得到状态预测方程和协方差预测方程，公式如下：
Xk|k-1＝AXk-1|k-1+BUk (3.6) Pk|k-1＝Pk-1|k-1AT+Q (3.7)
其中，Xk|k-1表示根据k-1时刻状态预测k时刻状态结果，Xk-1|k-1表示k-1时刻状态最优结果，Pk|k-1和Pk-1|k-1分别表示Xk|k-1和Xk-1|k-1的协方差；
44)由状态预测获得系统状态预测结果，然后再结合状态的观测结果就可以得到状态的最优结果，公式如下：
Xk|k＝Xk|k-1+Kk(Zk-HXk|k-1) (3.8)
Kk＝Pk|k-1HT(HPk|k-1HT+R)-1 (3.9)
其中，Xk|k为k时刻状态最优结果，Kk为卡尔曼增益矩阵。
对k时刻状态的协方差进行估计更新，公式如下：
Pk|k＝(I-KkH)Pk1k-1 (3.10)
其中，Pk|k是k时刻状态的协方差更新结果；
通过一定的度量规则将目标检测信息与目标跟踪信息进行数据关联匹配，构建以两部分信息总量为大小的数据关联矩阵，最后通过级联匹配算法对其进行预测匹配，得出最终的预测跟踪结果。
所述的利用deep-sort方法进行渣土车视频目标的跟踪包括以下步骤：
51)使用检测框与跟踪器预测框之间的马氏距离来描述运动的关联程度，其公式如下：
d(1)(i，j)＝(dj-yi)TSi -1(dj-yi)
其中，dj表示第j个检测框的位置，yi表示第i个跟踪器对目标的预测位置，Si表示检测位置与平均跟踪位置之间的协方差矩阵；
deep sort通过以从逆χ2分布计算得来的95％置信区间对马氏距离进行阈值化处理，
Figure BDA0002298105590000051
当关联的马氏距离小于指定的阈值t，则设置运动状态的关联成功；
52)采用最小余弦距离来进行目标关联，公式如下：
d(2)(i，j)＝min{1-rj Trk (i)|rk (i)∈Ri}
其中d(2)(i，j)小于指定阈值，则设置运动状态的关联成功；
53)使用两种度量方式的线性加权作为最终的度量，公式如下：
ci，j＝λd(1)(i，j)+(1-λd(2)(i，j))
其中，ci，j为两种匹配度量的加权融合值，若ci，j越小则两者越相似，反之则越不相似；
54)采用级联匹配的策略来提高匹配精度，其具体步骤如下：
541)输入物体跟踪集合T、物体检测集合D；
542)C矩阵存放所有物体跟踪i与物体检测j之间距离的计算结果；
543)B矩阵存放所有物体跟踪i与物体检测j之间是否关联的判断(0/1)；
544)关联集合M初始化为{}；
545)将找不到匹配的物体检测集合初始化为D；
546)从刚刚匹配成功的跟踪器循环遍历到最多已经有Amax次没有匹配的跟踪器；
547)选择满足条件的跟踪器集合Tn；
548)根据最小成本算法计算出Tn与物体检测j关联成功产生集合[xi，j]；
549)更新M为匹配成功的(物体跟踪i，物体检测j)集合；
550)从U中去除已经匹配成功的物体检测j；
551)循环处理；
552)返回M、U两个集合。
有益效果
本发明的基于yolo3技术的渣土车洁净度视频识别分析方法，与现有技术相比利用实际的渣土车图像数据学习训练网络，直接输出识别结果，相比传统的检测识别过程，避免了对渣土车和复杂背景特征人工建模复杂、适用性不强等问题，能够大大提高复杂背景下运动目标检测识别跟踪的速度和准确度。
相比现有技术，本发明具有如下优点：
1、本发明考虑到基于深度学习的目标检测跟踪识别方法是将特征构建与分类融合成一个模型，即输入原始图像数据、直接输出分类结果，不需要人工构建特征，更适用于复杂场景下运动目标的识别与跟踪问题；
2、本发明适用于工地等复杂应用场景下渣土车快速发现、高准确率检测与识别，为渣土车清洁出场提供技术支持。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
本发明所述方法，首先，针对实时视频流采集渣土车的每帧图像，并按照标准VOC数据格式对采集的数据进行处理；其次，设计darknet网络框架并搭建模型，对网络框架进行训练，生成最终目标检测模型；最后，采用deep-sort算法对检测结果进行跟踪，解决实时运动目标检测和跟踪问题。
如图1所示，本发明所述的一种基于yolo3技术的渣土车洁净度视频识别分析方法，包括以下步骤：
第一步，渣土车实时视频采集图像的获取和预处理。
获取渣土车实时视频采集图像，并按照视频帧进行处理，每视频帧均按标准VOC数据格式对采集的图像数据进行处理。
第二步，洁净度识别模型的构建与训练。
利用darknet网络搭建渣土目标检测网络框架，对搭建后的渣土目标检测网络框架进行训练，得到训练后洁净度识别模型。yolo3能够保证在一定准确度下，达到22ms执行完一帧图片，能够满足渣土车实时检测的目的。
其具体步骤如下：
(1)搭建yolo3网络构建洁净度识别模型，洁净度识别模型包括yolo3分类网络和yolo3检测网络；yolo3分类网络使用darknet结构，由一系列的1*1、3*3的卷积层组成，每个卷积层后接BN层和LeakyReLu层，网络主干由52个卷积层组成；yolo3检测网络采用多尺度预测结构。
(2)yolo3网络使用darknet结构，darknet结构为一个全卷积网络，无全连接层，其网络的损失函数定义如下：
xyloss＝confindence*(2-w*h)*crossentropy，
whloss＝confidence*(2-w*h)*(whTrue-whpred)，
confidenceloss＝confidence*crossentropy+(1-confidence)*crossentropy*ignore，
classloss＝confidence*crosstropy，
totalloss＝xyloss+whloss+confidenceloss+classloss，
式中，xyloss表示物体中心点坐标损失，whloss表示anchor长宽回归值的损失，confidenceloss表示置信度损失，classloss表示类别损失。
(3)设定Yolo3采用上采样法和融合法，融合f*f、2f*2f、4f*4f共3个尺度的先验框，在3个尺度的融合特征图上分别进行独立检测。
(4)设定Yolo3中每个单元格预测3个包含渣土信息的边界框，每个边界框包含(4+1+c)*3个值，其中4表示坐标信息、1表示对象置信度、c表示目标类别概率；
边界框中坐标预测如下：
tx＝(Gx-Cx)，
ty＝(Gy-Cy)，
tw＝log(Gw-Pw)，
th＝log(Gh-Ph)，
bx＝σ(tx)+cx，
by＝σ(ty)+cy，
Figure BDA0002298105590000081
bh＝Pheh，
其中，Cx、Cy是特征图中单元格的左上角坐标，yolov3中每个单位格在特征图中的宽和高均为1，即公式中Cx、Cy均为1，Pw、Ph是预设的边界框映射到特征图中的宽和高，Gx、Gy是目标实际框在这个特征图上的中心点坐标，
Gw、Gh是目标实际框在这个特征图上的宽和高，tx、ty是预测的坐标偏移值，tw、th是尺度缩放，最终得到的边框坐标值是bx、by、bw、bh即边界框相对于特征图的位置和大小。
(5)设定Confindence反映了当前边界框是否含有渣土以及渣土位置的准确性，计算方式如下：
confidence＝P(Object)*IOU(pred*groudtruth)
其中，当P(Object)＝1表示bounding box包含目标物体渣土，
P(Object)＝0表示不包含目标物体渣土，
IOU为交并比，为预测边界框与真实区域的面积，面积以像素面积计算。
(6)设定Yolo预测阶段，类别概率为类别的条件概率与confidence的乘积，计算公式如下：
class＝Pr(Classi|Object)*confidence
其中，Pr(Classi|Object)表示对象类别的条件概率，class反映了bounding box是否包含目标渣土和边界框坐标的准确度。
(7)对yolo3网络进行超参数设定，将采用随机梯度下降法训练网络，训练出洁净度识别模型，其中初始学习率设定为0.001，梯度下降动量为0.9，权重衰减正则为0.0001。
第三步，渣土车洁净度的识别分析。
将预处理后的视频帧输入训练后的洁净度识别模型，通过洁净度识别模型提取出特征，输出渣土位置预测值和渣土类别概率预测值。
由于渣土车是实时行进过程中，因此为了进一步增加技术实用性，还可以包括渣土车视频目标的跟踪处理步骤，通过渣土位置预测值和渣土类别概率预测值，并利用deep-sort方法进行渣土车视频目标的跟踪，更新渣土车上的洁净度状况。当视频中出现渣土车时，首先通过检测网络检测出渣土车的检测框，根据当前物体的检测框预测出下一帧画面的物体轨迹，得到物体的跟踪框，利用级联匹配算法将检测框与跟踪框进行匹配，得到匹配结果。
其中，分析通过渣土位置预测值和渣土类别概率预测值包括以下步骤：
(1)引入一个离散控制过程系统，过程和观测噪声都属于高斯白噪声，该系统可以使用线性随机微分方程进行描述，公式如下：
Xk＝AXk-1+BUk+Wk-1 (3.1)
Zk＝HXk+Vk(3.2)，
其中，式(3.1)为系统状态方程，Xk和Xk-1分别为系统k时刻的k-1时刻的状态矩阵，Uk和Wk为系统k时刻的控制矩阵和过程噪声，A和B为系统的相关状态转移矩阵，式(3.2)为系统的观测方程，Zk和Vk分为为系统k时刻的观测矩阵和观测噪声，H为系统观测矩阵；
(2)设过程噪声和观测噪声不会随着系统状态的变化而变化，公式如下：
Figure BDA0002298105590000101
Figure BDA0002298105590000102
Cov[Wk，Wj]＝0 (3.5)
其中Q和R为噪声的协方差矩阵；
(3)通过系统k-1时刻状态预测系统k时刻状态，可以得到状态预测方程和协方差预测方程，公式如下：
Xk|k-1＝AXk-1|k-1+BUk (3.6) Pk|k-1＝Pk-1|k-1AT+Q (3.7)
其中，Xk|k-1表示根据k-1时刻状态预测k时刻状态结果，Xk-1|k-1表示k-1时刻状态最优结果，Pk|k-1和Pk-1|k-1分别表示Xk|k-1和Xk-1|k-1的协方差；
(4)由状态预测获得系统状态预测结果，然后再结合状态的观测结果就可以得到状态的最优结果，公式如下：
Xk|k＝Xk|k-1+Kk(Zk-HXk|k-1) (3.8)
Kk＝Pk|k-1HT(HPk|k-1HT+R)-1 (3.9)
其中，Xk|k为k时刻状态最优结果，Kk为卡尔曼增益矩阵。
对k时刻状态的协方差进行估计更新，公式如下：
Pk|k＝(I-KkH)Pk|k-1 (3.10)
其中，Pk|k是k时刻状态的协方差更新结果；
通过一定的度量规则将目标检测信息与目标跟踪信息进行数据关联匹配，构建以两部分信息总量为大小的数据关联矩阵，最后通过级联匹配算法对其进行预测匹配，得出最终的预测跟踪结果。
利用deep-sort方法进行渣土车视频目标的跟踪包括以下步骤：
(1)使用检测框与跟踪器预测框之间的马氏距离来描述运动的关联程度，其公式如下：
d(1)(i，j)＝(dj-yi)TSi -1(dj-yi)
其中，dj表示第j个检测框的位置，yi表示第i个跟踪器对目标的预测位置，Si表示检测位置与平均跟踪位置之间的协方差矩阵；
deep sort通过以从逆χ2分布计算得来的95％置信区间对马氏距离进行阈值化处理，
Figure BDA0002298105590000111
当关联的马氏距离小于指定的阈值t，则设置运动状态的关联成功；
(2)由于马氏距离不能很好的解决物体被长时间遮挡后关联不正确导致ID跳变的问题，采用最小余弦距离来进行目标关联，公式如下：
d(2)(i，j)＝min{1-rj Trk (i)|rk (i)∈Ri}
其中d(2)(i，j)小于指定阈值，则设置运动状态的关联成功；
(3)使用两种度量方式的线性加权作为最终的度量，公式如下：
ci，j＝λd(1)(i，j)+(1-λd(2)(i，j))
其中，ci，j为两种匹配度量的加权融合值，若ci，j越小则两者越相似，反之则越不相似；
(4)当运动目标被遮挡很长时间，kalman滤波的不确定性就会增加，本发明采用级联匹配的策略来提高匹配精度。采用级联匹配的策略来提高匹配精度，其具体步骤如下：
A1)输入物体跟踪集合T、物体检测集合D；
A2)C矩阵存放所有物体跟踪i与物体检测j之间距离的计算结果；
A3)B矩阵存放所有物体跟踪i与物体检测j之间是否关联的判断(0/1)；
A4)关联集合M初始化为{}；
A5)将找不到匹配的物体检测集合初始化为D；
A6)从刚刚匹配成功的跟踪器循环遍历到最多已经有Amax次没有匹配的跟踪器；
A7)选择满足条件的跟踪器集合Tn；
A8)根据最小成本算法计算出Tn与物体检测j关联成功产生集合[xi，j]；
A9)更新M为匹配成功的(物体跟踪i，物体检测j)集合；
A10)从U中去除已经匹配成功的物体检测j；
A11)循环处理；
A12)返回M、U两个集合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种基于yolo3技术的渣土车洁净度视频识别分析方法，其特征在于，包括以下步骤：
11)渣土车实时视频采集图像的获取和预处理：获取渣土车实时视频采集图像，并按照视频帧进行处理，每视频帧均按标准VOC数据格式对采集的图像数据进行处理；
12)洁净度识别模型的构建与训练：利用darknet网络搭建渣土目标检测网络框架，对搭建后的渣土目标检测网络框架进行训练，得到训练后洁净度识别模型；
13)渣土车洁净度的识别分析：将预处理后的视频帧输入训练后的洁净度识别模型，通过洁净度识别模型提取出特征，输出渣土位置预测值和渣土类别概率预测值。
2.根据权利要求1所述的基于yolo3技术的渣土车洁净度视频识别分析方法，其特征在于，所述洁净度识别模型的构建与训练包括以下步骤：
21)搭建yolo3网络构建洁净度识别模型，洁净度识别模型包括yolo3分类网络和yolo3检测网络；yolo3分类网络使用darknet结构，由一系列的1*1、3*3的卷积层组成，每个卷积层后接BN层和LeakyReLu层，网络主干由52个卷积层组成；yolo3检测网络采用多尺度预测结构；
22)yolo3网络使用darknet结构，darknet结构为一个全卷积网络，无全连接层，其网络的损失函数定义如下：
xyloss＝confindence*(2-w*h)*crossentropy，
whloss＝confidence*(2-w*h)*(whTrue-whPred)，
confidenceloss＝confidence*crossentropy+(1-confidence)*crossentropy*ignore，
classloss＝confidence*crosstropy，
totalloss＝xyloss+whloss+confidenceloss+classloss，
式中，xyloss表示物体中心点坐标损失，whloss表示anchor长宽回归值的损失，confidenceloss表示置信度损失，classloss表示类别损失；
23)设定Yolo3采用上采样法和融合法，融合f*f、2f*2f、4f*4f共3个尺度的先验框，在3个尺度的融合特征图上分别进行独立检测；
24)设定Yolo3中每个单元格预测3个包含渣土信息的边界框，每个边界框包含(4+1+c)*3个值，其中4表示坐标信息、1表示对象置信度、c表示目标类别概率；
边界框中坐标预测如下：
tx＝(Gx-CX)，
ty＝(Gy-Cy)，
tw＝log(Gw-Pw)，
th＝log(Gh-Ph)，
bx＝σ(tx)+cx，
by＝σ(ty)+cy，
Figure FDA0002298105580000021
bh＝Pheh，
其中，Cx、Cy是特征图中单元格的左上角坐标，yolov3中每个单位格在特征图中的宽和高均为1，即公式中Cx、Cy均为1，Pw、Ph是预设的边界框映射到特征图中的宽和高，Gx、Gy是目标实际框在这个特征图上的中心点坐标，
Gw、Gh是目标实际框在这个特征图上的宽和高，tx、ty是预测的坐标偏移值，tw、th是尺度缩放，最终得到的边框坐标值是bx、by、bw、bh即边界框相对于特征图的位置和大小；
25)设定Confindence反映了当前边界框是否含有渣土以及渣土位置的准确性，计算方式如下：
confidence＝P(Object)*IOU(pred*groudtruth)
其中，当P(Object)＝1表示bounding box包含目标物体渣土，
P(Object)＝0表示不包含目标物体渣土，
IOU为交并比，为预测边界框与真实区域的面积，面积以像素面积计算；
26)设定Yolo预测阶段，类别概率为类别的条件概率与confidence的乘积，计算公式如下：
class＝Pr(Classi|Object)*confidence
其中，Pr(Classi|Object)表示对象类别的条件概率，class反映了bounding box是否包含目标渣土和边界框坐标的准确度；
27)对yolo3网络进行超参数设定，将采用随机梯度下降法训练网络，训练出洁净度识别模型，其中初始学习率设定为0.001，梯度下降动量为0.9，权重衰减正则为0.0001。
3.根据权利要求1所述的基于yolo3技术的渣土车洁净度视频识别分析方法，其特征在于：还包括渣土车视频目标的跟踪处理步骤；
所述的渣土车视频目标的跟踪处理步骤分析通过渣土位置预测值和渣土类别概率预测值，并利用deep-sort方法进行渣土车视频目标的跟踪。
4.根据权利要求3所述的基于yolo3技术的渣土车洁净度视频识别分析方法，其特征在于，所述的分析通过渣土位置预测值和渣土类别概率预测值包括以下步骤：
41)引入一个离散控制过程系统，过程和观测噪声都属于高斯白噪声，该系统可以使用线性随机微分方程进行描述，公式如下：
Xk＝AXk-1+BUk+Wk-1 (3.1)
Zk＝HXk+Vk(3.2)，
其中，式(3.1)为系统状态方程，Xk和Xk-1分别为系统k时刻的k-1时刻的状态矩阵，Uk和Wk为系统k时刻的控制矩阵和过程噪声，A和B为系统的相关状态转移矩阵，式(3.2)为系统的观测方程，Zk和Vk分为为系统k时刻的观测矩阵和观测噪声，H为系统观测矩阵；
42)设过程噪声和观测噪声不会随着系统状态的变化而变化，公式如下：
Figure FDA0002298105580000031
Figure FDA0002298105580000032
Cov[Wk,Wj]＝0 (3.5)
其中Q和R为噪声的协方差矩阵；
43)通过系统k-1时刻状态预测系统k时刻状态，可以得到状态预测方程和协方差预测方程，公式如下：
Xk|k-1＝AXk-1|k-1+BUk (3.6)Pk|k-1＝Pk-1|k-1AT+Q (3.7)
其中，Xk|k-1表示根据k-1时刻状态预测k时刻状态结果，Xk-1|k-1表示k-1时刻状态最优结果，Pk|k-1和Pk-1|k-1分别表示Xk|k-1和Xk-1|k-1的协方差；
44)由状态预测获得系统状态预测结果，然后再结合状态的观测结果就可以得到状态的最优结果，公式如下：
Xk|k＝Xk|k-1+Kk(Zk-HXk|k-1) (3.8)
Kk＝Pk|k-1HT(HPk|k-1HT+R)-1 (3.9)
其中，Xk|k为k时刻状态最优结果，Kk为卡尔曼增益矩阵。
对k时刻状态的协方差进行估计更新，公式如下：
Pk|k＝(I-KkH)Pk|k-1 (3.10)
其中，Pk|k是k时刻状态的协方差更新结果；
通过一定的度量规则将目标检测信息与目标跟踪信息进行数据关联匹配，构建以两部分信息总量为大小的数据关联矩阵，最后通过级联匹配算法对其进行预测匹配，得出最终的预测跟踪结果。
5.根据权利要求3所述的基于yolo3技术的渣土车洁净度视频识别分析方法，其特征在于，所述的利用deep-sort方法进行渣土车视频目标的跟踪包括以下步骤：
51)使用检测框与跟踪器预测框之间的马氏距离来描述运动的关联程度，其公式如下：
d(1)(i,j)＝(dj-yi)TSi -1(dj-yi)
其中，dj表示第j个检测框的位置，yi表示第i个跟踪器对目标的预测位置，Si表示检测位置与平均跟踪位置之间的协方差矩阵；
deep sort通过以从逆χ2分布计算得来的95％置信区间对马氏距离进行阈值化处理，
Figure FDA0002298105580000041
当关联的马氏距离小于指定的阈值t，则设置运动状态的关联成功；
52)采用最小余弦距离来进行目标关联，公式如下：
d(2)(i,j)＝min{1-rj Trk (i)|rk (i)∈Ri}
其中d(2)(i,j)小于指定阈值，则设置运动状态的关联成功；
53)使用两种度量方式的线性加权作为最终的度量，公式如下：
ci,j＝λd(1)(i,j)+(1-λd(2)(i,j))
其中，ci,j为两种匹配度量的加权融合值，若ci,j越小则两者越相似，反之则越不相似；
54)采用级联匹配的策略来提高匹配精度，其具体步骤如下：
541)输入物体跟踪集合T、物体检测集合D；
542)C矩阵存放所有物体跟踪i与物体检测j之间距离的计算结果；
543)B矩阵存放所有物体跟踪i与物体检测j之间是否关联的判断(0/1)；
544)关联集合M初始化为{}；
545)将找不到匹配的物体检测集合初始化为D；
546)从刚刚匹配成功的跟踪器循环遍历到最多已经有Amax次没有匹配的跟踪器；
547)选择满足条件的跟踪器集合Tn；
548)根据最小成本算法计算出Tn与物体检测j关联成功产生集合[xi,j]；
549)更新M为匹配成功的(物体跟踪i，物体检测j)集合；
550)从U中去除已经匹配成功的物体检测j；
551)循环处理；
552)返回M、U两个集合。
CN201911210960.XA 2019-12-02 2019-12-02 基于yolo3技术的渣土车洁净度视频识别分析方法 Pending CN110929670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911210960.XA CN110929670A (zh) 2019-12-02 2019-12-02 基于yolo3技术的渣土车洁净度视频识别分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911210960.XA CN110929670A (zh) 2019-12-02 2019-12-02 基于yolo3技术的渣土车洁净度视频识别分析方法

Publications (1)

Publication Number Publication Date
CN110929670A true CN110929670A (zh) 2020-03-27

Family

ID=69848201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911210960.XA Pending CN110929670A (zh) 2019-12-02 2019-12-02 基于yolo3技术的渣土车洁净度视频识别分析方法

Country Status (1)

Country Link
CN (1) CN110929670A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626382A (zh) * 2020-07-28 2020-09-04 杭州品茗安控信息技术股份有限公司 一种建筑工地车辆清洁度的快速智能识别方法和系统
CN111681259A (zh) * 2020-05-17 2020-09-18 天津理工大学 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN113469154A (zh) * 2021-09-03 2021-10-01 海门市重型矿山机械厂 一种基于人工智能的渣土车卸货进度监控方法及系统
CN116385808A (zh) * 2023-06-02 2023-07-04 合肥城市云数据中心股份有限公司 大数据跨域图像分类模型训练方法、图像分类方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109099855A (zh) * 2017-06-20 2018-12-28 福特全球技术公司 车辆清洁度检测系统和方法
CN109829450A (zh) * 2019-03-08 2019-05-31 中国联合网络通信有限公司广州市分公司 一种工地泥头车智能监管系统及监管方法
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109099855A (zh) * 2017-06-20 2018-12-28 福特全球技术公司 车辆清洁度检测系统和方法
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN109829450A (zh) * 2019-03-08 2019-05-31 中国联合网络通信有限公司广州市分公司 一种工地泥头车智能监管系统及监管方法
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张梦: "安防巡逻机器人行人感知系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李晶等: "一种基于卡尔曼滤波的运动物体跟踪算法", 《计算机应用研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681259A (zh) * 2020-05-17 2020-09-18 天津理工大学 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN111681259B (zh) * 2020-05-17 2023-05-05 天津理工大学 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN111626382A (zh) * 2020-07-28 2020-09-04 杭州品茗安控信息技术股份有限公司 一种建筑工地车辆清洁度的快速智能识别方法和系统
CN113469154A (zh) * 2021-09-03 2021-10-01 海门市重型矿山机械厂 一种基于人工智能的渣土车卸货进度监控方法及系统
CN116385808A (zh) * 2023-06-02 2023-07-04 合肥城市云数据中心股份有限公司 大数据跨域图像分类模型训练方法、图像分类方法和系统
CN116385808B (zh) * 2023-06-02 2023-08-01 合肥城市云数据中心股份有限公司 大数据跨域图像分类模型训练方法、图像分类方法和系统

Similar Documents

Publication Publication Date Title
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
CN110929670A (zh) 基于yolo3技术的渣土车洁净度视频识别分析方法
US7929730B2 (en) Method and system for object detection and tracking
CN113034548A (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
CN111932583A (zh) 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN106373146B (zh) 一种基于模糊学习的目标跟踪方法
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
CN102289948A (zh) 高速公路场景下一种多特征融合的多车辆视频跟踪方法
CN112488061B (zh) 一种联合ads-b信息的多航空器检测与跟踪方法
CN105654516B (zh) 基于目标显著性的卫星图像对地面弱小运动目标检测方法
Krishna et al. Object detection and tracking using Yolo
Tsintotas et al. DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
Li et al. Bi-directional dense traffic counting based on spatio-temporal counting feature and counting-LSTM network
CN115497056B (zh) 基于深度学习的区域内遗失物品检测方法
CN111797785B (zh) 一种基于深度学习的多航空器跟踪方法
CN111862147B (zh) 视频中多车辆和多行人目标的跟踪方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN114926859A (zh) 一种结合头部跟踪的密集场景下行人多目标跟踪方法
CN115909110A (zh) 一种基于Siamese网络的轻量级红外无人机目标跟踪方法
CN116453012A (zh) 一种面向高速公路交通监控场景的车辆检测与跟踪方法
CN113408550B (zh) 基于图像处理的智能称重管理系统
CN113838099A (zh) 一种基于孪生神经网络的单目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327