CN114821364A - 一种基于无人机运动状态的DeepSort园林垃圾统计方法 - Google Patents

一种基于无人机运动状态的DeepSort园林垃圾统计方法 Download PDF

Info

Publication number
CN114821364A
CN114821364A CN202210323197.7A CN202210323197A CN114821364A CN 114821364 A CN114821364 A CN 114821364A CN 202210323197 A CN202210323197 A CN 202210323197A CN 114821364 A CN114821364 A CN 114821364A
Authority
CN
China
Prior art keywords
frame
image
tracker
prediction
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210323197.7A
Other languages
English (en)
Inventor
张晖
李可欣
赵海涛
朱洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210323197.7A priority Critical patent/CN114821364A/zh
Publication of CN114821364A publication Critical patent/CN114821364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机运动状态的DeepSort园林垃圾统计方法，所述方法包括：1）针对模糊图像，判断模糊区域对目标垃圾的影响，预测下一帧预测框，减少垃圾的多检，提高统计的准确率。2）针对无人机采集数据时出现突然上升、下降、加速、减速情况，改进预测框与检测框的匹配方法，提高匹配的准确率，降低垃圾的多检率。在智慧园林场景中，利用本发明的技术方案，可实现对无人机拍摄的视频信息中的垃圾进行精准统计，大大减少了在园林管理中人力物力的投入，完善了园林管理系统和保洁人员的考核标准。

Description

一种基于无人机运动状态的DeepSort园林垃圾统计方法
技术领域
本发明属于目标跟踪和计算机视觉领域，具体涉及一种基于无人机运动状态的DeepSort园林垃圾统计方法。
背景技术
随着精神文明的建设，我国公民的整体素质不断提高，环保意识也逐渐增强，但也时常发生一些由于不遵守公共秩序和缺乏城市规范意识而导致乱扔垃圾的现象。因此，为了保证园林的环境，提高游客的游园体验，需要对园林进行养护管理。但现有的园林管理系统中依靠于人力操作的环节过多。比如针对园林中的垃圾处理，一般由保洁人员对责任区域进行不间断的巡查，对垃圾进行清理，保证园林环境的整洁。但是人工养护也有弊端，由于园林的面积较大，为保证园林环境的时刻整洁需要投入大量的人力和物力；而目前对于园林保洁人员的巡检成果的考核标准仍需进一步完善；现今大部分智慧园林都采用无人机对园林中的情况进行动态的监控，然后利用目标跟踪等算法对监控信息进行智能分析。随着深度学习在计算机视觉领域的飞速发展，目标跟踪技术作为计算机视觉领域的一部分也得到了突破性的发展。然而无人机是由人为控制进行信息的采集，因此会出现无人机突然加速、减速、上升、下降的情况，而这种突然加速、减速、上升会造成采集图像模糊、目标状态的突发性改变以及目标尺寸的变化，进而导致垃圾预测框预测不准确、预测框与检测框匹配有误差。若采用DeepSort跟踪算法进行园林垃圾统计，其准确率往往受限于特征提取的有效性与垃圾框预测的准确性，因此，若采用原有的DeepSort跟踪导致垃圾跟踪统计不准确，无法准确的对巡检成果进行考核。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出一种新颖的基于无人机运动状态的DeepSort垃圾统计方法，解决DeepSort对园林垃圾跟踪统计准确率低的问题。
为了实现上述技术目的，本发明的技术方案为：
一种基于无人机运动状态的DeepSort园林垃圾统计方法，包括以下步骤：
(1)利用无人机采集园林的视频信息并进行逐帧处理；
(2)将步骤1中产生的视频帧输入到目标识别网络中，获得垃圾检测框信息；
(3)初始化卡尔曼滤波器，跟踪器根据当前帧检测框位置预测下一帧检测框位置，生成预测框，然后将预测框与下一帧的检测框根据代价矩阵进行匹配，当匹配结果为跟踪器失配时，若跟踪器是不确定态，则直接删除跟踪器，若跟踪器是确定态且连续达到一定的次数，则删除跟踪器；当匹配结果为检测框失配时，将检测框初始化为一个新的跟踪器；当匹配结果为检测框和预测框配对成功时，将匹配成功的预测框对应的检测框通过卡尔曼滤波更新其对应的跟踪器；重复步骤(3)直到出现确认态的跟踪器或视频帧结束；
(4)当步骤(3)中的不确定态跟踪器连续3帧匹配成功后，跟踪器变为确定态，将确定态的跟踪器预测的预测框与检测框进行级联匹配，当匹配结果为跟踪器匹配时，通过卡尔曼滤波更新其对应的跟踪器，当匹配结果为检测框和跟踪器失配时，将之前的不确认状态的跟踪器和失配的跟踪器一起和失配的检测器根据代价矩阵进行匹配；
(5)当步骤(4)中代价矩阵匹配的结果为跟踪器失配时，若跟踪器是不确定态，则直接删除跟踪器，若跟踪器是确定态，则连续达到一定的次数才删除；当匹配结果为检测框失配时，将检测框初始化为一个新的跟踪器；当匹配结果为检测框和预测框配对成功时，将其对应的检测框通过卡尔曼滤波更新其对应的跟踪器；重复步骤(4)和步骤(5)直至视频结束。
优选地，所述步骤(1)中还包括对每帧图像进行滤波处理。
优选地，所述步骤(2)中目标识别网络采用YOLOv5网络模型。
优选地，所述步骤(3)中，将预测框与下一帧的检测框根据代价矩阵进行匹配，其代价矩阵公式如下：
Figure BDA0003570925600000021
其中，P(xP,yP,wP,lP,hP,vxP,vyP,vhP)表示预测框信息，
T(xT,yT,wT,lT,hT,vxT,vyT,vhT)表示检测框信息；Sarea表示预测框与检测框重叠面积；wP、wT分别表示预测框和检测框的宽度；lP、lT分别表示预测框与检测框的长度；vxP、vyP分别表示无人机在采集检测框所在图像的前一帧图像时的水平前进方向的飞行速度与垂直前进方向的飞行速度；vxT、vyT分别无人机在采集检测框所在图像时的水平前进方向飞行速度与垂直前进方向的飞行速度；t0表示无人机在采集检测框所在图像的前一帧图像与无人机在采集检测框所在图像的时间差值；(xP,yP)、(xT,yT)分别表示预测框和检测框中心点坐标。
优选地，所述步骤(4)中，级联匹配中外观信息是通过CNN特征与SIFT特征自适应融合得到的；
对预测框与检测框进行特征点检测，根据自适应融合系数融合SIFT特征与CNN特征，自适应融合系数的公式如下：
Figure BDA0003570925600000031
其中，
Figure BDA0003570925600000032
表示无人机的高度变化率的绝对值；
用SIFT算法检测的某个特征点坐标为(x,y)，计算SIFT特征描述符，然后以特征点为中心截取64×64的图像块，利用CNN模型来提取图像块的CNN特征描述符，最后使用欧式距离计算检测框的某个特征点Pt与预测框的某个特征点Pp之间的欧式距离，即相似度，具体公式如下：
Figure BDA0003570925600000033
其中，Ls、Lc分别表示SIFT和CNN特征描述符的维度，检测框的某个特征点的SIFT特征描述符为
Figure BDA0003570925600000034
预测框的某个特征点的SIFT描述符为
Figure BDA0003570925600000035
检测框的某个特征点的CNN特征描述符为
Figure BDA0003570925600000036
预测框的某个特征点的CNN描述符为
Figure BDA0003570925600000037
一种模糊图像预测框获取方法，包括以下步骤：
S1、将跟踪当前帧图像分割成Z个大小为N×N的局部图像，对局部图像进行模糊判断；
S2、根据局部图像与区域为Darea的交并比进行判断，如果交并比大于0，则根据上一帧的运动状态与当前帧的位置状态确定下一帧的预测框信息；如果交并比小于0，则根据DeepSort算法的步骤预测预测框。
优选地，所述步骤S1中模糊判断方法如下：
将跟踪的当前帧图像分割成Z个大小为N×N的局部图像，设分割后局部图像集合为V＝{v1,v1,...,vZ}，计算每个局部图像的最大梯度值并与阈值进行比较，最大梯度值Gxy的公式为：
Figure BDA0003570925600000041
Figure BDA0003570925600000042
Figure BDA0003570925600000043
其中，x、y表示局部图像中的某个像素点位置；o为一个图像通道且o属于{R,G,B}三通道之一；I为N×N的局部图像的像素点集；
Figure BDA0003570925600000044
表示梯度算子；当最大梯度值小于等于阈值时认为该局部图像是模糊的；设判定为模糊的局部图像集即当前帧图像的模糊区域为U＝{u1,u2,...,un}，un表示第n个模糊的局部图像。
优选地，所述步骤S2中判断模糊的局部图像集是否对目标识别有影响的方法如下：
设预测框的中心位置为圆心，Ro为半径的圆形区域为Darea，利用Darea遍历集合U，计算ui与Darea的交并比，Ro的计算公式如下：
Figure BDA0003570925600000045
其中，lp、wp分别是预测框的长度和宽度；
遍历集合U，若S2中计算的交并比出现大于0的情况，则认为该帧图像中的模糊区域对目标识别有影响，将上一帧跟踪器通过卡尔曼滤波预测得到的预测框作为该帧图像检测框，卡尔曼滤波更新目标状态，然后用更新的目标状态来预测下一帧的预测框信息，其中卡尔曼滤波的运动状态与上一帧相同，位置状态由该帧的检测框确定；若都等于0，则认为该帧图像中的模糊区域对目标识别没有影响，则根据DeepSort算法的步骤正常跟踪。
采用上述技术方案带来的有益效果：
在智慧园林场景中，可对无人机拍摄的视频信息中的垃圾实现精准跟踪，进而实现了对垃圾的准确统计，完善了园林管理系统和保洁人员的考核标准。
附图说明
图1是跟踪算法流程图；
图2是确认态跟踪器匹配流程
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本发明提出的跟踪算法流程图如图1所示，本发明提出的方法主要包括三个内容：一是针对无人机上升和下降时导致目标尺寸发生变化，导致预测框与检测框匹配不准确问题，提出一种基于高度变化率的SIFT特征匹配融合；二是针对无人机突然加速减速问题，改进IOU代价矩阵，提高检测框与预测框匹配的准确率，减少多检的情况；三是当图像模糊影响匹配时，提出一种基于改进模糊评价指标的预测框获取方法。
1.基于高度变化率的SIFT特征匹配融合
级联匹配中外观信息是通过CNN特征与SIFT特征自适应融合得到的，其流程图如图2所示，首先对预测框与检测框进行特征点检测，根据自适应融合系数融合SIFT特征与CNN特征，自适应融合系数的公式如下：
Figure BDA0003570925600000051
其中，
Figure BDA0003570925600000061
表示无人机的高度变化率，当无人机飞行高度发生变化越大，则目标的尺度变化越大，飞行高度变化越小，其目标尺寸变化越小。
用SIFT算法检测的某个特征点坐标为(x,y)，计算SIFT特征描述符，然后以特征点为中心截取64×64的图像块，利用CNN模型来提取图像块的CNN特征描述符，最后使用欧式距离计算检测框的某个特征点Pt与预测框的某个特征点Pp之间的欧式距离，即相似度，具体公式如下：
Figure BDA0003570925600000062
其中，Ls，Lc分别表示SIFT和CNN特征描述符的维度，检测框的某个特征点的SIFT特征描述符为
Figure BDA0003570925600000063
预测框的某个特征点的SIFT描述符为
Figure BDA0003570925600000064
检测框的某个特征点的CNN特征描述符为
Figure BDA0003570925600000065
预测框的某个特征点的CNN描述符为
Figure BDA0003570925600000066
d越小说明两个特征点的描述符距离越近，特征越相似。遍历检测框与预测框的特征点，计算检测框中某个特征点的描述符与预测框的某个特征点的描述符它们之间的欧氏距离。
2.改进IOU代价矩阵
改进的代价矩阵公式如下：
Figure BDA0003570925600000067
其中，使用P(xP,yP,wP,lP,hP,vxP,vyP,vhP)表示预测框信息，使用T(xT,yT,wT,lT,hT,vxT,vyT,vhT)表示检测框信息。Sarea表示预测框与检测框重叠面积；wP，wT分别表示预测框和检测框的宽度；lP，lT分别表示预测框与检测框的长度；vxP，vyP分别表示无人机在采集检测框所在图像的前一帧图像时的前进飞行速度与垂直前进方向的飞行速度；vxT，vyT分别无人机在采集检测框所在图像时的前进飞行速度与垂直前进方向的飞行速度；t0表示无人机在采集检测框所在图像的前一帧图像与无人机在采集检测框所在图像的时间差值；(xP,yP)，(xT,yT)分别表示预测框和检测框中心点坐标。
3.基于改进模糊评价指标的预测框获取方法
DeepSort通过卡尔曼滤波来预测下一帧的检测框位置，然而由于图像的部分区域模糊，可能个别小目标识别没有识别成功，没有与预测框匹配的检测框，从而导致跟踪失败造成多检。针对上述问题本文提出在跟踪之前对图像进行预检，通过预检判断图像模糊是否影响接下来的目标跟踪，其预检步骤如下：
步骤一：将图像分割成Z个大小为N×N的局部图像，设分割后局部图像集合为V＝{v1,v1,...,vZ}，并根据下式计算每个局部图像的最大梯度值并与阈值进行比较，判断局部图像是否是模糊的，设判定为模糊的局部图像集合为U＝{u1,u2,...,un}。
Figure BDA0003570925600000071
Figure BDA0003570925600000072
Figure BDA0003570925600000073
步骤二：设以上一帧图像的预测框的中心位置为圆心，以Ro为半径的圆形区域为Darea，其中Ro如下式所示，遍历集合U，计算ui与Darea的交并比。
Figure BDA0003570925600000074
其中，lp，wp分别是预测框的长度和宽度。
步骤三：遍历图像集合U，若步骤二中计算的交并比出现大于0的情况，则认为该帧图像中的模糊区域影响到了目标识别，所以将此预测框作为该帧图像检测框，卡尔曼滤波更新目标状态，然后用更新的目标状态来预测下一帧的预测框信息，其中卡尔曼滤波的运动状态与上一帧相同，位置状态由该帧的检测框确定。若都等于0，则认为该帧图像中的模糊区域没有影响到目标识别，则根据DeepSort算法的步骤正常跟踪。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.一种基于无人机运动状态的DeepSort园林垃圾统计方法，其特征在于，包括以下步骤：
(1)利用无人机采集园林的视频信息并进行逐帧处理；
(2)将步骤1中产生的视频帧输入到目标识别网络中，获得垃圾检测框信息；
(3)初始化卡尔曼滤波器，跟踪器根据当前帧检测框位置预测下一帧检测框位置，生成预测框，然后将预测框与下一帧的检测框根据代价矩阵进行匹配，当匹配结果为跟踪器失配时，若跟踪器是不确定态，则直接删除跟踪器，若跟踪器是确定态且连续达到一定的次数，则删除跟踪器；当匹配结果为检测框失配时，将检测框初始化为一个新的跟踪器；当匹配结果为检测框和预测框配对成功时，将匹配成功的预测框对应的检测框通过卡尔曼滤波更新其对应的跟踪器；重复步骤(3)直到出现确认态的跟踪器或视频帧结束；
(4)当步骤(3)中的不确定态跟踪器连续3帧匹配成功后，跟踪器变为确定态，将确定态的跟踪器预测的预测框与检测框进行级联匹配，当匹配结果为跟踪器匹配时，通过卡尔曼滤波更新其对应的跟踪器，当匹配结果为检测框和跟踪器失配时，将之前的不确认状态的跟踪器和失配的跟踪器一起和失配的检测器根据代价矩阵进行匹配；
(5)当步骤(4)中代价矩阵匹配的结果为跟踪器失配时，若跟踪器是不确定态，则直接删除跟踪器，若跟踪器是确定态，则连续达到一定的次数才删除；当匹配结果为检测框失配时，将检测框初始化为一个新的跟踪器；当匹配结果为检测框和预测框配对成功时，将其对应的检测框通过卡尔曼滤波更新其对应的跟踪器；重复步骤(4)和步骤(5)直至视频结束。
2.根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法，其特征在于，所述步骤(1)中还包括对每帧图像进行滤波处理。
3.根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法，其特征在于，所述步骤(2)中目标识别网络采用YOLOv5网络模型。
4.根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法，其特征在于，所述步骤(3)中，将预测框与下一帧的检测框根据代价矩阵进行匹配，其代价矩阵公式如下：
Figure FDA0003570925590000021
其中，P(xP,yP,wP,lP,hP,vxP,vyP,vhP)表示预测框信息，
T(xT,yT,wT,lT,hT,vxT,vyT,vhT)表示检测框信息；Sarea表示预测框与检测框重叠面积；wP、wT分别表示预测框和检测框的宽度；lP、lT分别表示预测框与检测框的长度；vxP、vyP分别表示无人机在采集检测框所在图像的前一帧图像时的水平前进方向的飞行速度与垂直前进方向的飞行速度；vxT、vyT分别无人机在采集检测框所在图像时的水平前进方向飞行速度与垂直前进方向的飞行速度；t0表示无人机在采集检测框所在图像的前一帧图像与无人机在采集检测框所在图像的时间差值；(xP,yP)、(xT,yT)分别表示预测框和检测框中心点坐标。
5.根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法，其特征在于，所述步骤(4)中，级联匹配中外观信息是通过CNN特征与SIFT特征自适应融合得到的；
对预测框与检测框进行特征点检测，根据自适应融合系数融合SIFT特征与CNN特征，自适应融合系数的公式如下：
Figure FDA0003570925590000022
其中，
Figure FDA0003570925590000023
表示无人机的高度变化率的绝对值；
用SIFT算法检测的某个特征点坐标为(x,y)，计算SIFT特征描述符，然后以特征点为中心截取64×64的图像块，利用CNN模型来提取图像块的CNN特征描述符，最后使用欧式距离计算检测框的某个特征点Pt与预测框的某个特征点Pp之间的欧式距离，即相似度，具体公式如下：
Figure FDA0003570925590000031
其中，Ls、Lc分别表示SIFT和CNN特征描述符的维度，检测框的某个特征点的SIFT特征描述符为
Figure FDA0003570925590000032
预测框的某个特征点的SIFT描述符为
Figure FDA0003570925590000033
检测框的某个特征点的CNN特征描述符为
Figure FDA0003570925590000034
预测框的某个特征点的CNN描述符为
Figure FDA0003570925590000035
6.一种根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法的模糊图像预测框获取方法，其特征在于，包括以下步骤：
S1、将跟踪当前帧图像分割成Z个大小为N×N的局部图像，对局部图像进行模糊判断；
S2、根据局部图像与区域为Darea的交并比进行判断，如果交并比大于0，则根据上一帧的运动状态与当前帧的位置状态确定下一帧的预测框信息；如果交并比小于0，则根据DeepSort算法的步骤预测预测框。
7.根据权利要求6所述的一种模糊图像预测框获取方法，其特征在于，所述步骤S1中模糊判断方法如下：
将跟踪的当前帧图像分割成Z个大小为N×N的局部图像，设分割后局部图像集合为V＝{v1,v1,...,vZ}，计算每个局部图像的最大梯度值并与阈值进行比较，最大梯度值Gxy的公式为：
Figure FDA0003570925590000036
Figure FDA0003570925590000037
Figure FDA0003570925590000038
其中，x、y表示局部图像中的某个像素点位置；o为一个图像通道且o属于{R,G,B}三通道之一；I为N×N的局部图像的像素点集；
Figure FDA0003570925590000039
表示梯度算子；当最大梯度值小于等于阈值时认为该局部图像是模糊的；设判定为模糊的局部图像集即当前帧图像的模糊区域为U＝{u1,u2,...,un}，un表示第n个模糊的局部图像。
8.根据权利要求7所述的一种模糊图像预测框获取方法，其特征在于，所述步骤S2中判断模糊的局部图像集是否对目标识别有影响的方法如下：设预测框的中心位置为圆心，Ro为半径的圆形区域为Darea，利用Darea遍历集合U，计算ui与Darea的交并比，Ro的计算公式如下：
Figure FDA0003570925590000041
其中，lp、wp分别是预测框的长度和宽度；
遍历集合U，若S2中计算的交并比出现大于0的情况，则认为该帧图像中的模糊区域对目标识别有影响，将上一帧跟踪器通过卡尔曼滤波预测得到的预测框作为该帧图像检测框，卡尔曼滤波更新目标状态，然后用更新的目标状态来预测下一帧的预测框信息，其中卡尔曼滤波的运动状态与上一帧相同，位置状态由该帧的检测框确定；若都等于0，则认为该帧图像中的模糊区域对目标识别没有影响，则根据DeepSort算法的步骤正常跟踪。
CN202210323197.7A 2022-03-29 2022-03-29 一种基于无人机运动状态的DeepSort园林垃圾统计方法 Pending CN114821364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210323197.7A CN114821364A (zh) 2022-03-29 2022-03-29 一种基于无人机运动状态的DeepSort园林垃圾统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210323197.7A CN114821364A (zh) 2022-03-29 2022-03-29 一种基于无人机运动状态的DeepSort园林垃圾统计方法

Publications (1)

Publication Number Publication Date
CN114821364A true CN114821364A (zh) 2022-07-29

Family

ID=82533009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210323197.7A Pending CN114821364A (zh) 2022-03-29 2022-03-29 一种基于无人机运动状态的DeepSort园林垃圾统计方法

Country Status (1)

Country Link
CN (1) CN114821364A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115219852A (zh) * 2022-09-19 2022-10-21 国网江西省电力有限公司电力科学研究院 一种无人机配电线路的故障智能研判方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115219852A (zh) * 2022-09-19 2022-10-21 国网江西省电力有限公司电力科学研究院 一种无人机配电线路的故障智能研判方法
CN115219852B (zh) * 2022-09-19 2023-03-24 国网江西省电力有限公司电力科学研究院 一种无人机配电线路的故障智能研判方法

Similar Documents

Publication Publication Date Title
CN112101433B (zh) 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
CN109063559B (zh) 一种基于改良区域回归的行人检测方法
CN112836640B (zh) 一种单摄像头多目标行人跟踪方法
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN103246896A (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN115049700A (zh) 一种目标检测方法及装置
CN105631418A (zh) 一种人数统计的方法和装置
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN114023062B (zh) 一种基于深度学习和边缘计算的交通流信息监测方法
CN112100435B (zh) 一种基于边缘端交通音视频同步样本的自动标注方法
CN111931582A (zh) 基于图像处理的高速公路交通事件检测方法
CN109272482B (zh) 一种基于序列图像的城市路口车辆排队检测系统
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN114821364A (zh) 一种基于无人机运动状态的DeepSort园林垃圾统计方法
CN113408550B (zh) 基于图像处理的智能称重管理系统
CN113781516B (zh) 一种高空抛物检测方法
CN111127520A (zh) 一种基于视频分析的车辆跟踪方法和系统
CN110443142A (zh) 一种基于路面提取与分割的深度学习车辆计数方法
CN113255697A (zh) 复杂场景下的高精度高空抛物检测系统及方法
CN110889347A (zh) 基于时空计数特征的密度交通流计数方法及系统
CN114913438A (zh) 一种基于锚框最优聚类的YOLOv5园林异常目标识别方法
Emiyah et al. Extracting vehicle track information from unstabilized drone aerial videos using YOLOv4 common object detector and computer vision
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination