CN113450573A - 基于无人机图像识别的交通监测方法和交通监测系统 - Google Patents
基于无人机图像识别的交通监测方法和交通监测系统 Download PDFInfo
- Publication number
- CN113450573A CN113450573A CN202010220284.0A CN202010220284A CN113450573A CN 113450573 A CN113450573 A CN 113450573A CN 202010220284 A CN202010220284 A CN 202010220284A CN 113450573 A CN113450573 A CN 113450573A
- Authority
- CN
- China
- Prior art keywords
- traffic
- unmanned aerial
- aerial vehicle
- traffic monitoring
- yolo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012544 monitoring process Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 239000003550 marker Substances 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于无人机图像识别的交通监测方法和交通监测系统，所述交通监测方法包括以下步骤：S1：提供无人机航拍交通图片作为样本图片，利用图像标注软件LabelImg对样本图片进行车辆标注，形成样本集；S2：采用数据增强方法对样本集进行预处理，形成训练集；S3：构建YOLO v3模型，通过训练集对YOLO v3模型进行训练，得到经训练的YOLO v3模型；S4：实时接收无人机航拍交通图像并将其输入到经训练的YOLO v3模型来对车辆进行监测和分析，计算得到实时交通监测数据。本发明的交通监测方法和交通监测系统可以实时获得宏观、精准的监测数据，便于及时对交通态势进行研判和决策。
Description
技术领域
本发明属于智能交通技术领域，具体地涉及基于无人机图像识别的交通监测方法和交通监测系统。
背景技术
随着我国经济发展和社会进步，车辆数量增长迅速，交通拥堵和违法逐渐成为社会发展的热点问题。由此，智能交通应运而生，被认为是解决当前交通问题的有效手段。目前，通常基于设置在道路上的监控设备来识别道路上(特别是交通路口和高架桥)车型、统计车流量、测量车速以及识别交通状况。但是，设置在道路上的监控设备具有以下缺点：第一，移动困难，不具备灵活性，通常需要拆除才能将其移动；第二，视角受限，难以获得某一交通节点的宏观交通数据。宏观、精准、实时监测数据成为智能交通管理的痛点；第三，布置和建设成本高，随路网交通设施的增加而带来巨大的经济压力。
无人机的出现在一定程度缓解了交通管理的智能化和效率问题。特别是随着无人机技术的进步以及影像设备的优化，无人机航拍图像的分辨率不断提高，目前已经出现将无人机技术应用于智能交通中的尝试。但是现有无人机技术和产品仅仅作为一种空中工具对交通工作起辅助作用，特别是无人机的出现没有从根本上改变交通数据模糊化、决策主观化的现状，更没有解决交管工作对人力、物力的占用问题。另外，这样的无人机飞行高度较低，采集图像时处于悬停状态，通常只用来识别车牌或查处超速。另外，自2016年以来已国内外已有许多交通相关部门配备了无人机设备进行交通监控和巡逻，无人机在交通领域的保有量持续增加。但绝大多数交通部门使用无人机的方法和手段仍停留在传统老旧的层面，即仅利用无人机连同摄像头在高空拍摄(航拍)，地面仍然依靠人工观看无人机同步画面来了解交通情况、作研判。这种方式有两个关键缺陷，第一，依托人工观察不能得出客观精确数据，比如人眼无法准确、实时辨别车辆总数、类型和速度；第二，此工作模式并未实现解脱人、节约人工的目的，实际仍然占用了人工。因此需要使用人工智能中的图像识别技术彻底替代人工和人为主观判断。
然而，随着现代化城市进程，城市建筑高度越来越高，期望无人机处于较高的位置，特别是在50米以上。在50米以上的无人机视角中，车辆目标小，背景大，图像目标检测困难。另外，在这样的视角下，难以获得车牌、车轮等信息，不能有效识别车辆类别。
发明内容
因此，本发明的目的是针对现有技术中存在的技术问题，提供基于无人机图像识别的交通监测方法和交通监测系统，通过本发明的交通监测方法和交通监测系统，可以实时获得宏观、精准的监测数据，便于及时采取交通管措施。
本发明的目的是通过以下技术方案实现的。
一方面，本发明提供了一种基于无人机图像识别的交通监测方法，其中，所述交通监测方法包括以下步骤：
S1：提供无人机航拍交通图片作为样本图片，利用图像标注软件LabelImg对样本图片进行车辆标注，形成样本集；
S2：采用数据增强方法对样本集进行预处理，形成训练集；
S3：构建YOLO v3模型，通过训练集对YOLO v3模型进行训练，得到经训练的YOLOv3模型；
S4：实时接收无人机航拍交通图像并将其输入到经训练的YOLO v3模型来对车辆进行监测和分析，计算得到实时交通监测数据。
进一步地，步骤S1中所述无人机航拍交通图片和步骤S4中所述无人机航拍交通图像相对于地面的拍摄角度各自独立地为75～90°。
进一步地，步骤S1中至少60％的所述无人机航拍交通图片是飞行高度大于等于50米，例如50～75米的无人机航拍交通图片。
进一步地，步骤S1中提供的无人机航拍交通图片的数量大于等于100万。
进一步地，步骤S1包括以下步骤：
S101：准备100万张以上的无人机航拍交通图片作为样本图片，其中，至少60％的所述无人机航拍交通图片为飞行高度大于等于50米，例如50～75米的无人机航拍交通图片，以及所述无人机航拍交通图片相对于地面的拍摄角度为75～90°；
S102：利用图像标注软件LabelImg对样本图片进行标注，用矩形框标出样本图片中所有完整车辆，生成与所标注样本图片文件名相同的xml文件，由此形成样本集。
进一步地，步骤S2中所述数据增强方法为选自水平翻转、垂直翻转、随机旋转、随机裁剪、色彩抖动和高斯噪声中的一种或多种，优选为选自水平翻转、垂直翻转和随机旋转中的一种或多种。
进一步地，步骤S3中通过包括以下步骤的方法训练YOLO v3模型：
S301：设置YOLO v3模型的待定参数，将训练集输入到构建的YOLO v3模型进行运算；其中，所述待定参数包括学习率、权重衰减和batch size；
S302：通过尺寸聚类方法生成锚框尺寸，将输入的每张训练图片分割成S*S网格，每个网格预测输出B个边框和C个类别概率值数据；
S303：将所有网格的输出数据与标记文件中数据进行比较，得到YOLO v3模型的预测值与标记文件的真实值之间的预测误差；
S304：基于预测误差，使用梯度下降方法，更新YOLO v3模型的参数，反复训练直至预测误差小于阈值。
进一步地，步骤S4还包括以下步骤：
S401：采用滤波器算法对实时获得的无人机航拍交通图像进行处理以消除因为无人机画面抖动和/或信号干扰而产生的误差，然后将经滤波器算法处理的无人机航拍交通图像输入到经训练的YOLO v3模型。
进一步地，所述滤波器算法为限幅滤波法、限幅平均滤波法、消抖滤波法或限幅消抖滤波法，优选为卡尔曼滤波算法。
进一步地，步骤S4中通过包括以下步骤的方法来计算得到实时交通监测数据：
S402：根据车辆顶部在图像中的大小如车身长度和车身宽度对车辆进行分类，统计各类车辆的流量；和/或
S403：根据无人机的飞行高度和经训练的YOLO v3模型的监测和分析结果，计算车辆运行速度。
另一方面，本发明还提供了一种基于无人机图像识别的交通监测系统，其中，所述交通监测系统包括：
无人机，所述无人机用于实时获得无人机航拍交通图像；
数据传输装置，包括编解码芯片和信号传输线，所述编解码芯片用于将无人机航拍交通图像转换为适于计算机处理的数据；
数据处理装置，包括处理模块和存储器，其中，所述存储器存储有用于执行所述交通监测方法的程序。
进一步地，所述处理模块包括1个或更多个GPU。
又一方面，本发明还提供了一种存储介质，所述存储介质存储有用于所述交通监测方法的程序。
本发明具有以下优势：
(1)本发明的交通监测方法和交通监测系统，可以50米以上的无人机航拍交通图像中分析出车辆特征和车辆类别，能够实时获得宏观、精准的监测数据，并且可以无人值守运行，便于及时采取交通管措施，甚至可以与智能决策、自动报警等配合使用，灵活、便捷。同时，同一个管理片区中的交通部门可以灵活派遣无人机连同此发明的系统进行灵活、错峰作业，不需要重复建设或者累计投资，避免浪费。
(2)据统计，截止2015年底全国公路通车总里程达457万公里，截止2017年底全国高速公路通车总里程已超过13万公里，全国各地有超过1000个政府单位负责路网交通的管理和执法，预计至2022年，至少有数百万的无人机设备应用于智能交通领域，本发明交通监测方法和交通监测系统具有广的应用前景。
(3)本发明交通监测方法和交通监测系统可以结合无人机飞行高度以及航拍交通图像中交通车流情况进行计算，自适应地判断出实时交通情况，包括车辆总数、分类、车流速度、堵车与否。
(4)本发明的交通监测方法中，采用数据增强方法(data augmentation)对样本进行处理，能够使得YOLO v3模型在较少原始数据基础上学到更多的经验，减少了对原始数据(样本图片)规模的依赖。进一步地，本发明的交通监测方法中所采用的YOLO v3模型是一种端到端的神经网络，向YOLO v3模型中输入图像，对单张图像无需分割，直接输出结果，运行速度快，易于实现，并且对硬件要求较低。
(5)本发明的交通监测方法的路线紧凑、合理，计算复杂度低，计算速度快，采用普通笔记本即可实现实时分析。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的交通监测方法的一种实施方案的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
参照图1，其显示了基于无人机图像识别的交通监测方法的一种实施方案。本发明的交通监测方法包括以下步骤：
S1：提供无人机航拍交通图片作为样本图片，利用图像标注软件LabelImg对样本图片进行车辆标注，形成样本集；
S2：采用数据增强方法对样本集进行预处理，形成训练集；
S3：构建YOLO v3模型，通过训练集对YOLO v3模型进行训练，得到经训练的YOLOv3模型；
S4：实时接收无人机航拍交通图像并将其输入到经训练的YOLO v3模型来对车辆进行监测和分析，计算得到实时交通监测数据。
为了获得某一交通路段的交通全景，无人机需要处于适当的高度，特别是对于规模较大的高架桥、路口等关键交通节点，无人机的飞行高度一般在50米以上。在高度大于等于50米的无人机视角中，第一，因无人机与航拍目标(地面)的角度大(通常是垂直角度)，难以获得车牌、车轮等用于识别车辆类型的关键信息；第二，车辆目标小，背景大，图像中车辆目标检测困难；第三，受天气等因素的影响，图像可能模糊，识别精度低。
本发明的交通监测方法中通过经训练的YOLO v3模型，可以实时检测和标记多个车辆，并可以充分发挥YOLO v3算法快速检测目标的特点。进一步地，本发明的交通监测方法中采用图像标注软件LabelImg对由无人机航拍交通图片形成的样本集进行标注，并采用数据增强方法对样本集进行预处理，丰富了YOLO v3模型的训练集，增加了样本的多样性，进而提高了YOLO v3模型的适应性和检测精度，在一定程度上弥补了YOLO v3算法对小目标识别精确度不足的缺点。
从另一角度而言，本发明的交通监测方法中，采用数据增强方法(dataaugmentation)对样本进行处理，能够使得YOLO v3模型在较少原始数据基础上学到更多的经验，减少了对原始数据(样本图片)规模的依赖。进一步地，本发明的交通监测方法中所采用的YOLO v3模型是一种端到端的神经网络，向YOLO v3模型中输入图像，对单张图像无需分割，直接输出结果，运行速度快，易于实现，并且对硬件要求较低。另外，本发明的交通监测方法的路线紧凑、合理，计算复杂度低，计算速度快，采用普通笔记本即可实现实时分析。
在本发明的一个实施例中，步骤S1中的无人机航拍交通图片和步骤S4中的无人机航拍交通图像相对于地面的拍摄角度各自独立地为75～90°。本申请发明人发现，在这样的拍摄角度范围内，拍摄得到的是车辆的俯视图形(即顶部图形)，由此可以简化车辆信息，避免车辆侧面装饰、道路上行人以及诸如电动车的非机动车等干扰，提高“小目标、大背景”情况下目标识别的精度。
在本发明的一个实施例中，步骤S1中至少60％的无人机航拍交通图片是飞行高度大于等于50米，例如50～75米的无人机航拍交通图片。
在本发明的一个实施例中，步骤S1中提供的无人机航拍交通图片的数量大于等于100万。
在本发明的一个优选实施例中，步骤S1包括以下步骤：
S101：准备100万张以上的无人机航拍交通图片作为样本图片，其中，至少60％的无人机航拍交通图片为飞行高度大于等于50米，例如50～75米的无人机航拍交通图片，以及无人机航拍交通图片相对于地面的拍摄角度为75～90°；
S102：利用图像标注软件LabelImg对样本图片进行标注，用矩形框标出样本图片中所有完整车辆，生成与所标注样本图片文件名相同的xml文件，由此形成样本集。
在本发明的一个实施例中，适合用于本发明的数据增强方法的实例包括但不限于：水平翻转、垂直翻转、随机旋转、随机裁剪、色彩抖动和高斯噪声。
在本发明的一个优选实施例中，步骤S2中的数据增强方法为选自水平翻转、垂直翻转和随机旋转中的一种或多种。诸如水平翻转、垂直翻转和随机旋转的数据增强方法可以改变车辆目标在图像(图片)中的角度，提供包含更多状态、位置车辆的交通图像(图片)，提高车辆的多样化。
本发明中采用YOLOv3模型对车辆进行监测和分析，YOLO(You Only Look Once)是一种一步走(one-stage)算法，将物体检测任务当做一个回归(regression)问题来处理，使用一个神经网络，直接从一整张图像来预测出边框(bounding box)的坐标、边框中包含目标物体的置信度和物体概率。YOLO中的物体检测是在一个神经网络中完成的，可以端对端(end to end)优化物体检测。
本发明中的YOLOv3模型主要包括Darknet53和YOLO层两部分，Darknet53用于提取图像特征，YOLO层用于多尺度预测。
在本发明的一个实施例中，步骤S3中通过包括以下步骤的方法训练YOLOv3模型：
S301：设置YOLO v3模型的待定参数，将训练集输入到构建的YOLO v3模型进行运算；其中，所述待定参数包括学习率、权重衰减和batch size；
S302：通过尺寸聚类方法生成锚框尺寸，将输入的每张训练图片分割成S*S网格，每个网格预测输出B个边框和C个类别概率值数据；
S303：将所有网格的输出数据与标记文件中数据进行比较，得到YOLO v3模型的预测值与标记文件的真实值之间的预测误差；
S304：基于预测误差，使用梯度下降方法，更新YOLO v3模型的参数，反复训练直至预测误差小于阈值。
在本发明的一个具体实施例中，学习率为0.0001，权重衰减为0.0005，batch size根据处理器的处理能力和/或YOLO v3模型的收敛速度确定。
在本发明的一个实施例中，预测误差(损失)由坐标误差、置信度误差和分类误差组成。本发明中，预测误差(坐标误差、置信度误差和分类误差)可以经由本领域中已知的方法计算得到。
本发明中可以采用GPU作为处理器来训练YOLO v3模型。
在本发明的一个实施例中，步骤S4还包括以下步骤：
S401：采用滤波器算法对实时获得的无人机航拍交通图像进行处理以消除因为无人机画面抖动和/或信号干扰而产生的误差，然后将经滤波器算法处理的无人机航拍交通图像输入到经训练的YOLO v3模型。
本发明中通过引入滤波器算法，可以使监测过程更加稳定。适合用于本发明的滤波器算法的实例包括但不限于：限幅滤波法、限幅平均滤波法、递推滤波法、消抖滤波法和限幅消抖滤波法。
在本发明的一个优选实施例中，步骤S401中的滤波器算法为卡尔曼滤波算法。
在本发明的一个实施例中，步骤S4中通过包括以下步骤的方法来计算得到实时交通监测数据：
S402：根据车辆顶部在图像中的大小如车身长度和车身宽度对车辆进行分类，统计各类车辆的流量；和/或
S403：根据无人机的飞行高度和经训练的YOLO v3模型的监测和分析结果，计算车辆运行速度。
本发明交通监测方法和交通监测系统可以结合无人机的飞行高度以及航拍交通图像中交通车流情况进行计算，自适应地判断出实时交通情况，包括车辆总数、分类、车流速度、堵车与否。
在本发明的一个具体实施例中，步骤S402中可以根据车辆的大小如车身长度和宽度以及机动车领域中现行车辆分类标准将车辆分为私家车、小型客车、中型客车、大型客车、小型货车、中型货车和大型货车等类型。当然，也可以仅仅基于车辆的大小将车辆简单分为：大型车，其车身长度大于6米；中型车，车身长度大于5米且小于等于6米；和小型车，车身长度小于等于5米。
在本发明的一个具体实施例中，步骤S403中是通过对车辆目标进行跟踪并基于无人机的飞行高度以及车辆顶部在图像中的大小来计算车辆运行速度的。本发明中可以采用Deep Sort算法或SURF(Speeded Up Robust Features)算法来对车辆目标进行跟踪。
另一方面，本发明还提供了一种基于无人机图像识别的交通监测系统，其包括：
无人机，用于实时获得无人机航拍交通图像；
数据传输装置，包括编解码芯片和信号传输线，编解码芯片用于将无人机航拍交通图像转换为适于计算机处理的数据；
数据处理装置，包括处理模块和存储器，其中，存储器存储有用于执行本发明的交通监测方法的程序。
在本发明的一个实施例中，处理模块包括1个或更多个GPU。
又一方面，本发明还提供了一种存储介质，其存储有用于所述交通监测方法的程序。
在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外，术语“正面”、“反面”通常是基于附图所示的方位或者基于使用时的方位。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于无人机图像识别的交通监测方法，其中，所述交通监测方法包括以下步骤：
S1：提供无人机航拍交通图片作为样本图片，利用图像标注软件LabelImg对样本图片进行车辆标注，形成样本集；
S2：采用数据增强方法对样本集进行预处理，形成训练集；
S3：构建YOLO v3模型，通过训练集对YOLO v3模型进行训练，得到经训练的YOLO v3模型；
S4：实时接收无人机航拍交通图像并将其输入到经训练的YOLO v3模型来对车辆进行监测和分析，计算得到实时交通监测数据。
2.根据权利要求1所述的交通监测方法，其中，步骤S1中所述无人机航拍交通图片和步骤S4中所述无人机航拍交通图像相对于地面的拍摄角度各自独立地为75～90°。
3.根据权利要求1或2所述的交通监测方法，其中，步骤S1中至少60％的所述无人机航拍交通图片是飞行高度大于等于50米，例如50～75米的无人机航拍交通图片；
优选地，步骤S1中提供的无人机航拍交通图片的数量大于等于100万。
4.根据权利要求1至3中任一项所述的交通监测方法，其中，步骤S1包括以下步骤：
S101：准备100万张以上的无人机航拍交通图片作为样本图片，其中，至少60％的所述无人机航拍交通图片为飞行高度大于等于50米，例如50～75米的无人机航拍交通图片，以及所述无人机航拍交通图片相对于地面的拍摄角度为75～90°；
S102：利用图像标注软件LabelImg对样本图片进行标注，用矩形框标出样本图片中所有完整车辆，生成与所标注样本图片文件名相同的xml文件，由此形成样本集。
5.根据权利要求1至4中任一项所述的交通监测方法，其中，步骤S2中所述数据增强方法为选自水平翻转、垂直翻转、随机旋转、随机裁剪、色彩抖动和高斯噪声中的一种或多种，优选为选自水平翻转、垂直翻转和随机旋转中的一种或多种。
6.根据权利要求1至5中任一项所述的交通监测方法，其中，步骤S3中通过包括以下步骤的方法训练YOLO v3模型：
S301：设置YOLO v3模型的待定参数，将训练集输入到构建的YOLO v3模型进行运算；其中，所述待定参数包括学习率、权重衰减和batch size；
S302：通过尺寸聚类方法生成锚框尺寸，将输入的每张训练图片分割成S*S网格，每个网格预测输出B个边框和C个类别概率值数据；
S303：将所有网格的输出数据与标记文件中数据进行比较，得到YOLO v3模型的预测值与标记文件的真实值之间的预测误差；
S304：基于预测误差，使用梯度下降方法，更新YOLO v3模型的参数，反复训练直至预测误差小于阈值。
7.根据权利要求1至6中任一项所述的交通监测方法，其中，步骤S4还包括以下步骤：
S401：采用滤波器算法对实时获得的无人机航拍交通图像进行处理以消除因为无人机画面抖动和/或信号干扰而产生的误差，然后将经滤波器算法处理的无人机航拍交通图像输入到经训练的YOLO v3模型；
优选地，所述滤波器算法为限幅滤波法、限幅平均滤波法、消抖滤波法或限幅消抖滤波法，优选为卡尔曼滤波算法。
8.根据权利要求1至7中任一项所述的交通监测方法，其中，步骤S4中通过包括以下步骤的方法来计算得到实时交通监测数据：
S402：根据车辆顶部在图像中的大小如车身长度和车身宽度对车辆进行分类，统计各类车辆的流量；和/或
S403：根据无人机的飞行高度和经训练的YOLO v3模型的监测和分析结果，计算车辆运行速度。
9.基于无人机图像识别的交通监测系统，其中，所述交通监测系统包括：
无人机，所述无人机用于实时获得无人机航拍交通图像；
数据传输装置，包括编解码芯片和信号传输线，所述编解码芯片用于将无人机航拍交通图像转换为适于计算机处理的数据；
数据处理装置，包括处理模块和存储器，其中，所述存储器存储有用于执行如权利要求1至8中任一项所述的交通监测方法的程序；
优选地，所述处理模块包括1个或更多个GPU。
10.一种存储介质，所述存储介质存储有用于执行如权利要求1至8中任一项所述的交通监测方法的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010220284.0A CN113450573A (zh) | 2020-03-25 | 2020-03-25 | 基于无人机图像识别的交通监测方法和交通监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010220284.0A CN113450573A (zh) | 2020-03-25 | 2020-03-25 | 基于无人机图像识别的交通监测方法和交通监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113450573A true CN113450573A (zh) | 2021-09-28 |
Family
ID=77806917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010220284.0A Pending CN113450573A (zh) | 2020-03-25 | 2020-03-25 | 基于无人机图像识别的交通监测方法和交通监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450573A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114038193A (zh) * | 2021-11-08 | 2022-02-11 | 华东师范大学 | 基于无人机和多目标追踪的智能交通流量数据统计方法及系统 |
| CN114724140A (zh) * | 2022-04-06 | 2022-07-08 | 中科合肥智慧农业协同创新研究院 | 一种基于yolo v3的草莓成熟度检测方法、装置 |
| CN115482474A (zh) * | 2022-08-24 | 2022-12-16 | 湖南科技大学 | 一种基于高空航拍图像的桥面车辆荷载识别方法和系统 |
| CN116017010A (zh) * | 2022-12-01 | 2023-04-25 | 凡游在线科技(成都)有限公司 | 基于视频的ar融合处理方法、电子设备和计算机可读介质 |
| CN117315934A (zh) * | 2023-09-25 | 2023-12-29 | 阜阳交通能源投资有限公司 | 基于无人机的高速公路车流量实时监测及拥堵预测系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108831161A (zh) * | 2018-06-27 | 2018-11-16 | 深圳大学 | 一种基于无人机的交通流量监测方法、智能系统及数据集 |
| CN108921875A (zh) * | 2018-07-09 | 2018-11-30 | 哈尔滨工业大学（深圳） | 一种基于航拍数据的实时车流检测与追踪方法 |
| CN109684803A (zh) * | 2018-12-19 | 2019-04-26 | 西安电子科技大学 | 基于手势滑动的人机验证方法 |
| CN109766912A (zh) * | 2018-12-07 | 2019-05-17 | 国电南瑞科技股份有限公司 | 一种基于卡尔曼滤波与支持向量机的输电线路覆冰评估方法和系统 |
| CN109817009A (zh) * | 2018-12-31 | 2019-05-28 | 天合光能股份有限公司 | 一种获取无人驾驶所需动态交通信息的方法 |
| CN109919058A (zh) * | 2019-02-26 | 2019-06-21 | 武汉大学 | 一种基于Yolo V3的多源视频影像重点目标快速检测方法 |
| CN109935080A (zh) * | 2019-04-10 | 2019-06-25 | 武汉大学 | 一种交通线路上的车流量实时计算的监测系统及方法 |
| CN110222667A (zh) * | 2019-06-17 | 2019-09-10 | 南京大学 | 一种基于计算机视觉的开放道路交通参与者数据采集方法 |
| CN110232406A (zh) * | 2019-05-28 | 2019-09-13 | 厦门大学 | 一种基于统计学习的液晶面板cf图片识别方法 |
| CN110243762A (zh) * | 2019-06-18 | 2019-09-17 | 深圳大雷汽车检测股份有限公司 | 机动车尾气遥测和监管系统及自学习高排污车辆判定算法 |
| CN110675586A (zh) * | 2019-09-25 | 2020-01-10 | 捻果科技(深圳)有限公司 | 一种视频分析和深度学习的机场围界入侵监控方法 |
| CN110689118A (zh) * | 2019-09-29 | 2020-01-14 | 华南理工大学 | 一种基于YOLO V3-tiny改进的目标检测方法 |
| CN110807123A (zh) * | 2019-10-29 | 2020-02-18 | 中国科学院上海微系统与信息技术研究所 | 车辆长度计算方法、装置、系统、计算机设备及存储介质 |
| CN110889324A (zh) * | 2019-10-12 | 2020-03-17 | 南京航空航天大学 | 一种基于yolo v3面向末端制导的热红外图像目标识别方法 |
| CN110909741A (zh) * | 2019-10-28 | 2020-03-24 | 北京航空航天大学 | 一种基于背景分割的车辆再识别方法 |
-
2020
- 2020-03-25 CN CN202010220284.0A patent/CN113450573A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108831161A (zh) * | 2018-06-27 | 2018-11-16 | 深圳大学 | 一种基于无人机的交通流量监测方法、智能系统及数据集 |
| CN108921875A (zh) * | 2018-07-09 | 2018-11-30 | 哈尔滨工业大学（深圳） | 一种基于航拍数据的实时车流检测与追踪方法 |
| CN109766912A (zh) * | 2018-12-07 | 2019-05-17 | 国电南瑞科技股份有限公司 | 一种基于卡尔曼滤波与支持向量机的输电线路覆冰评估方法和系统 |
| CN109684803A (zh) * | 2018-12-19 | 2019-04-26 | 西安电子科技大学 | 基于手势滑动的人机验证方法 |
| CN109817009A (zh) * | 2018-12-31 | 2019-05-28 | 天合光能股份有限公司 | 一种获取无人驾驶所需动态交通信息的方法 |
| CN109919058A (zh) * | 2019-02-26 | 2019-06-21 | 武汉大学 | 一种基于Yolo V3的多源视频影像重点目标快速检测方法 |
| CN109935080A (zh) * | 2019-04-10 | 2019-06-25 | 武汉大学 | 一种交通线路上的车流量实时计算的监测系统及方法 |
| CN110232406A (zh) * | 2019-05-28 | 2019-09-13 | 厦门大学 | 一种基于统计学习的液晶面板cf图片识别方法 |
| CN110222667A (zh) * | 2019-06-17 | 2019-09-10 | 南京大学 | 一种基于计算机视觉的开放道路交通参与者数据采集方法 |
| CN110243762A (zh) * | 2019-06-18 | 2019-09-17 | 深圳大雷汽车检测股份有限公司 | 机动车尾气遥测和监管系统及自学习高排污车辆判定算法 |
| CN110675586A (zh) * | 2019-09-25 | 2020-01-10 | 捻果科技(深圳)有限公司 | 一种视频分析和深度学习的机场围界入侵监控方法 |
| CN110689118A (zh) * | 2019-09-29 | 2020-01-14 | 华南理工大学 | 一种基于YOLO V3-tiny改进的目标检测方法 |
| CN110889324A (zh) * | 2019-10-12 | 2020-03-17 | 南京航空航天大学 | 一种基于yolo v3面向末端制导的热红外图像目标识别方法 |
| CN110909741A (zh) * | 2019-10-28 | 2020-03-24 | 北京航空航天大学 | 一种基于背景分割的车辆再识别方法 |
| CN110807123A (zh) * | 2019-10-29 | 2020-02-18 | 中国科学院上海微系统与信息技术研究所 | 车辆长度计算方法、装置、系统、计算机设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| 姜尚洁: "利用无人机多源影像检测车辆速度", 《测绘学报》 * |
| 杜金航: "基于改进的YOLOv3道路车辆实时检测", 《计算机工程与应用》 * |
| 杨娟娟: "基于机器视觉的无人机避障系统研究", 《中国农机化学报》 * |
| 祝思君: "基于深度学习的无人机遥感图像目标识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 胡雯: "无人机视角地面目标检测与跟踪", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114038193A (zh) * | 2021-11-08 | 2022-02-11 | 华东师范大学 | 基于无人机和多目标追踪的智能交通流量数据统计方法及系统 |
| CN114038193B (zh) * | 2021-11-08 | 2023-07-18 | 华东师范大学 | 基于无人机和多目标追踪的智能交通流量数据统计方法及系统 |
| CN114724140A (zh) * | 2022-04-06 | 2022-07-08 | 中科合肥智慧农业协同创新研究院 | 一种基于yolo v3的草莓成熟度检测方法、装置 |
| CN115482474A (zh) * | 2022-08-24 | 2022-12-16 | 湖南科技大学 | 一种基于高空航拍图像的桥面车辆荷载识别方法和系统 |
| CN116017010A (zh) * | 2022-12-01 | 2023-04-25 | 凡游在线科技(成都)有限公司 | 基于视频的ar融合处理方法、电子设备和计算机可读介质 |
| CN116017010B (zh) * | 2022-12-01 | 2024-05-17 | 凡游在线科技(成都)有限公司 | 基于视频的ar融合处理方法、电子设备和计算机可读介质 |
| CN117315934A (zh) * | 2023-09-25 | 2023-12-29 | 阜阳交通能源投资有限公司 | 基于无人机的高速公路车流量实时监测及拥堵预测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113450573A (zh) | 基于无人机图像识别的交通监测方法和交通监测系统 | |
| CN106845424B (zh) | 基于深度卷积网络的路面遗留物检测方法 | |
| CN106874863B (zh) | 基于深度卷积神经网络的车辆违停逆行检测方法 | |
| CN105844257B (zh) | 基于机器视觉雾天行车错失道路标志牌的预警系统及方法 | |
| CN103985182B (zh) | 一种公交客流自动计数方法及自动计数系统 | |
| CN110097109A (zh) | 一种基于深度学习的道路环境障碍物检测系统及方法 | |
| CN105184271A (zh) | 一种基于深度学习的车辆自动检测方法 | |
| CN104134068B (zh) | 基于稀疏编码的监控车辆特征表示及分类方法 | |
| CN109993138A (zh) | 一种车牌检测与识别方法及装置 | |
| CN114170580A (zh) | 一种面向高速公路的异常事件检测方法 | |
| CN111723706A (zh) | 基于树莓派的厢式货车厢门开度监控装置及系统 | |
| CN116168356B (zh) | 一种基于计算机视觉的车辆损伤判别方法 | |
| CN106710228B (zh) | 一种客货分道交通参数监测系统的实现方法 | |
| CN103679214A (zh) | 基于在线面积估计和多特征决策融合的车辆检测方法 | |
| Malini et al. | An automatic assessment of road condition from aerial imagery using modified VGG architecture in faster-RCNN framework | |
| Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
| CN115294519A (zh) | 一种基于轻量化网络的异常事件检测及预警方法 | |
| CN115719475A (zh) | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 | |
| Amrutha et al. | Real-time litter detection system for moving vehicles using YOLO | |
| CN117636268A (zh) | 一种面向冰雪环境的无人机航拍自然驾驶数据集构建方法 | |
| CN110765900B (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| CN115359306B (zh) | 一种铁路货检高清图像智能识别方法和系统 | |
| CN111145551A (zh) | 一种基于cnn检测遵章率的路口交通规划系统 | |
| CN114743168A (zh) | 基于深度学习的行车风险源识别评估方法及系统 | |
| CN115294774A (zh) | 基于深度学习的非机动车道路违停检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210928 |
|
| RJ01 | Rejection of invention patent application after publication |