CN112201051B - 一种无人机端路面车辆违停检测及取证系统和方法 - Google Patents
一种无人机端路面车辆违停检测及取证系统和方法 Download PDFInfo
- Publication number
- CN112201051B CN112201051B CN202011358610.0A CN202011358610A CN112201051B CN 112201051 B CN112201051 B CN 112201051B CN 202011358610 A CN202011358610 A CN 202011358610A CN 112201051 B CN112201051 B CN 112201051B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unmanned aerial
- license plate
- point
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000007689 inspection Methods 0.000 claims abstract description 55
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 22
- 238000004806 packaging method and process Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims description 32
- 230000003068 static effect Effects 0.000 claims description 29
- 238000009529 body temperature measurement Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 14
- 239000000725 suspension Substances 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000013145 classification model Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011089 mechanical engineering Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及交通违章巡检领域,具体涉及一种无人机端路面车辆违停检测及取证系统和方法。它包含无人机的两种模式，及十三个功能模块。第一种模式是无人机巡检模式，该模式包含图像采集模块；车辆检测模块；温度采集模块；违章判定模块；飞行控制模块。第二种模式是无人机取证模式，无人机在巡检模式下检测违章停车现象时触发，该模式包含图像采集模块；相机云台控制模块；取证点定位模块；飞行控制模块；车牌检测模块；车牌检测失败判定模块；车牌识别模块；信息封装发送模块。本发明提供的路面车辆违停检测及取证系统运行速度快、检测精度高、检测区域灵活，能保障道路巡检的及时性，为居民的交通便利及交通安全提供保障。
Description
技术领域
本发明涉及交通违章巡检领域,具体涉及一种无人机端路面车辆违停检测及取证系统和方法。
背景技术
随着城市化建设逐步完善，住宅尤其是高层住宅密度越来越大，市内私家车数量越来越多，直接导致路边违章停车现象严重，尤其是非主干道，路边违章停车现象极为普遍，极易引发机动车互相碰擦、机动车非机动车碰擦、机动车人员碰擦等轻微事故，也可能导致一些较为严重交通事故发生。因此需要一种有效的监督方法，防止路边违章停车的现象出现，进而降低交通事故的发生，保障居民的交通便利及交通安全。
目前大多数交通监控相机都安装在路口、红绿灯处、交通要道等地方，非主干道较为少见监控相机，因此，非主干道成为监控的“盲区”，经常出现违章停车现象。除此之外，非主干道较为复杂，细小支路较多，也给交警的巡检造成一定困难。
除上述道路不利因素外，交通巡查的工作量也是一个难题。目前，依靠交警现场巡查已经不是一个高效的解决方法。随着图像处理技术和计算机视觉技术的发展和应用推广，近年来利用基于计算机视觉技术的智能视频分析系统已经应用到图像、视频检测中。但目前还未有有效针对非主干道违章停车检测与取证的手段。
发明内容
针对现有技术存在的不足，本发明提供一种无人机端路面车辆违停检测及取证系统和方法，它弥补固定相机在监控方面的不足，利用无人机搭载的可见光摄像头，按设定频率获取实时图像，将图像输入到专门针对不同车辆训练的深度神经网络模型，通过前向运算检测图像中的内容，若检测到图像中有车辆出现，则结合红外测温技术，根据因拥堵、红灯停车等现象与违章停车现象存在发动机温度差异这一特征，进一步排除非违章停车情况。针对检测出的违章车辆的目标框，截取出以目标框中心，长宽为目标框1.5-2倍的区域内容，并将截取出的新图像送入分类模型中进行分类，得出分类结果为正确停车、未停在停车位内、压停车位线、占多个停车位。若出现违章停车现象（即未停在停车位内，压停车位线，占多个停车位现象，下同），则计算出取证点坐标，降低无人机高度，对车牌拍摄，并与违章图像相关联，保存留作处罚依据。
为实现上述目的，本发明采用的技术方案包括：一种基于深度学习技术的无人机端路面车辆违停检测及取证系统，其特征在于，包括：
第一图像采集模块，用于获取监测区域的实时图像；
车辆检测模块，用于检测实时图像中的车辆；
温度采集模块，用于采集车辆温度并判定是否属于静止车辆；
违章判定模块，用于判定静止车辆是否违章停车；
第一飞行控制模块，用于实现无人机巡航；
第二图像采集模块，当无人机切换为取证模式时将已检出的存在违停现象的车辆目标框在已拍摄的图像中标出并保存；当无人机到达取证点时采集取证照片（即取证图像）；
相机云台控制模块，用于调整相机云台的焦距；
取证点定位模块，用于定位取证点；
第二飞行控制模块，根据已经定位出的取证点坐标，控制无人机飞往取证点进行取证；
车牌检测模块，用于对取证照片进行车牌检测；
车牌检测失败判定模块，用于判定车牌检测是否失败；
车牌识别模块，在成功提取到车牌时进行车牌识别，获取车牌信息；
信息封装发送模块，将进入取证模式时第二图像采集模块保存的图像、拍摄的取证图像、提取到的车牌信息传输到地面控制中心；
第一图像采集模块、车辆检测模块、温度采集模块、违章判定模块、第一飞行控制模块在无人机巡检模式下运行；
第二图像采集模块、相机云台控制模块、取证点定位模块、第二飞行控制模块、车牌检测模块、车牌检测失败判定模块、车牌识别模块、信息封装发送模块在无人机取证模式下运行；
无人机巡检模式为无人机初始化模式，无人机在巡检模式下检测到违章停车的车辆时切换为无人机取证模式。
优选的，所述的车辆检测模块使用深度学习目标检测的算法；所述的违章判定模块针对已经判定为静止车辆的车辆目标框，从图像（指监测区域的实时图像，其包含静止车辆）中提取车辆目标框1.5-2倍的区域，送入训练好的深度学习分类网络进行分类，得到是否属于违章停车的判定结果。
当车辆检测模块检测出图像（指监测区域的实时图像）中有车辆时，温度采集模块通过车辆检测模块得到的车辆目标框信息，计算出车头车尾的大致区域，采集两个测温点的温度信息；将两个温度数值相减并取绝对值，若所得绝对值大于或等于设定的温差阈值（温差阈值优选为10摄氏度），即判定该车不属于静止车辆；若所得绝对值小于设定的温差阈值（温差阈值优选为10摄氏度），则判定该车属于静止车辆。
优选的，若一张图像（指监测区域的实时图像）中有多个车辆违停，无人机进入取证模式时，以自身为中心点，计算每个目标中心点（指每个目标车辆对应的车辆目标框的中心点）与无人机的直线距离，选取距离最近目标作为取证目标，取证完成后无人机暂时不动，重新计算剩余目标与无人机当前位置的直线距离，并选取直线距离最近目标作为下一个取证目标；以此循环直到图片（即图像）中所有目标都取证完成；所述的目标为目标车辆的车辆目标框。此外，还可以采用以下方法：若一张图像中有多个车辆违停，无人机进入取证模式时，以自身为中心点，计算每个目标中心点与无人机的直线距离，同时计算所有中心点的两两距离，最终通过排序算法得出最优路径。
所述的取证点定位模块，其提取目标车辆的车辆目标框的中心点为A，取车辆目标框长宽边中较短边中心点，分别为B、C；从A分别向B、C连接得到有向线段，并延长目标车辆目标框（即目标车辆的车辆目标框，又称作目标车辆对应的车辆目标框，参见图12，假定图12中车辆为目标车辆，那么图12中目标车辆外侧的矩形边框即目标车辆的车辆目标框）长宽边中较长边/2（具体指：分别从B、C点向外继续延伸至D、E；线段BD、AB、AC、CE长度相等且长度均为车辆目标框长边的一半，线段BD、AB、AC、CE均与车辆目标框的两个长边平行），分别为D、E；D、E点即无人机取证点的坐标；此处是为了保证尽量能采集到车牌，以及尽量采集车头车尾的车牌，防止车牌识别错误、车牌遮挡、车牌篡改等情况发生。
所述的第二飞行控制模块，根据已经定位出的D、E点坐标（接收取证点定位模块的D、E点坐标信息），并控制无人机飞往D点进行取证，在D点取证完成后，继续控制无人机飞往E点，进行取证。
无人机在到达点D或点E时，进行取证拍照（由第二图像采集模块完成）并调用车牌检测模块对取证照片进行车牌检测；
调用车牌检测模块之后，出现两种情况，一是未检测到任何车牌；二是检测到一个或多个车牌。当情况一出现时，则车牌检测失败计数加1，此时车牌检测失败判定模块读取焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
当情况二出现时，车牌检测失败判定模块通过读取预置标记位（Flag）得知无人机当前处于D点还是E点，若处于D点，则目标车牌中心点的y坐标值应大于拍摄图像高度（即图像的height，这里的图像和拍摄图像均指取证照片，以下同）的1/2，且小于拍摄图像高度（即图像的height）的3/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3，且在检测到多个车牌的情况下目标车牌中心点距离拍摄图像中心点最近；若处于E点，则目标车牌中心点的y坐标值应小于拍摄图像高度（即图像的height）的1/2，且大于拍摄图像高度（即图像的height）的1/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3，且在检测到多个车牌的情况下目标车牌中心点距离拍摄图像中心点最近；若不满足以上条件，则车牌检测失败计数加1，此时车牌检测失败判定模块读取焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
若车牌检测失败计数大于或等于设定阈值（阈值一般为3），则放弃车牌检测（指的是不再在该取证点取证拍照和检测，放弃在该取证点提取车牌），不提取车牌，只采集取证照片。
本发明还提供一种基于深度学习技术的无人机端路面车辆违停检测及取证方法，其特征在于，包括如下步骤：无人机巡检模式为无人机初始化模式，无人机在巡检模式下检测到违章停车的车辆时切换为无人机取证模式；取证结束后返回无人机巡检模式；
无人机巡检模式下，在设定的巡检点采集实时图像；检测实时图像中的车辆；采集车辆温度并判定是否属于静止车辆；判定静止车辆是否违章停车，以及违章停车的类型；
当无人机切换为取证模式时将已检出的存在违停现象的车辆目标框在已拍摄的图像中标出并保存；定位取证点；得到已经定位出的取证点坐标，并控制无人机飞往取证点进行取证；无人机在取证点进行车牌检测；判定车牌检测是否成功或失败；在成功提取到车牌时进行车牌识别，获取车牌信息；将进入取证模式时保存的初始化图像、拍摄的取证图像、提取到的车牌信息传输到地面控制中心。
检测实时图像中的车辆时，使用深度学习目标检测的算法；
当检测出图像中有车辆时，通过检测得到的车辆目标框信息，计算出车头车尾的大致区域，采集两个测温点的温度信息；将两个温度数值相减并取绝对值，若所得绝对值大于或等于10摄氏度，即认定该车不属于静止车辆；若所得绝对值小于10摄氏度，则判定该车属于静止车辆；
判定静止车辆是否违章停车以及违章停车的类型时，针对已经判定为静止车辆的车辆目标框，从图像中提取车辆目标框1.5-2倍的区域，送入训练好的分类网络进行分类，得到是否属于违章停车的判定结果。
定位取证点时，提取目标车辆的车辆目标框的中心点为A，取车辆目标框长宽边中两个短边的中心点，分别为B、C；从A分别向B、C连接得到有向线段，并分别从B、C点向外继续延伸至D、E；D、E点即无人机取证点的坐标；线段BD、AB、AC、CE长度相等且线段BD、AB、AC、CE均与车辆目标框的两个长边平行；
根据已经定位出的D、E点坐标，控制无人机飞往D点进行取证，在D点取证完成后，继续控制无人机飞往E点，进行取证。
无人机在到达点D或点E时，进行取证拍照并调用车牌检测模块进行车牌检测；
调用车牌检测模块之后，出现两种情况，一是未检测到任何车牌；二是检测到一个或多个车牌。当情况一出现时，则车牌检测失败计数加1，此时车牌检测失败判定模块读取焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
当情况二出现时，车牌检测失败判定模块通过读取预置标记位（又称为预置标志位）得知无人机当前处于D点还是E点，若处于D点，则目标车牌中心点的y坐标值应大于拍摄图像高度（即图像的height）的1/2，且小于拍摄图像高度（即图像的height）的3/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3，且在检测到多个车牌的情况下目标车牌中心点距离拍摄图像中心点最近；若处于E点，则目标车牌中心点的y坐标值应小于拍摄图像高度（即图像的height）的1/2，且大于拍摄图像高度（即图像的height）的1/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3，且在检测到多个车牌的情况下目标车牌中心点距离拍摄图像中心点最近；若不满足以上条件，则车牌检测失败计数加1，此时车牌检测失败判定模块读取焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
若车牌检测失败计数大于或等于设定阈值（一般阈值设为3），则放弃车牌检测，不提取车牌，只采集取证照片。
取证时，无人机知道自己是往D飞还是往E飞。往D飞，无人机将Flag置D；往E飞，无人机把Flag置E。而车牌检测失败判定模块等可以读取Flag信息。预置标记位Flag由第二飞行控制模块设置。
综上所述，本发明提供一种基于深度学习技术的无人机端路面车辆违停检测及取证系统，本发明提供的针对场景中车辆检测方法，违法违章分类方法，都基于深度学习技术。深度神经网络具有表征图像细节特征的能力，对图像缩放、目标远近、目标物的重叠、光照条件变化、视角变化等情形不敏感，能精确检测车辆，并区分车辆是否真实存在违章停车现象。本发明提供的路面车辆违停检测及取证系统运行速度快、检测精度高、检测区域灵活，因此能保障道路巡检的及时性，能弥补现有监控的不足之处，为居民的交通便利及交通安全提供保障。
温度采集模块会通过检测得到的目标框信息，计算出车头车尾的大致区域，并调用红外测温仪，采集两个点的温度信息,将两个温度数值相减并取绝对值并与阈值进行比较，可以防止将行驶中或因其他因素临时停下的车辆错误地认定为停止车辆。违章判定模块针对已经判定出的车辆目标框，从原始图片中提取目标框1.5倍的区域，可以保证对目标框和周边区域进行有效分类，得到正确的分类结果：正确停车、未停在停车位内，压停车位线，占多个停车位。
选用D、E取证点，目的就是为了在正视角度下（完全朝下俯视角度），相机的视野角可以更好地捕捉到车牌区域，保证后续车牌检测的顺利进行。采用车牌检测失败判定模块，在检测到多个车牌区域时，可以找出目标车牌；在首次未检测到车牌时，通过多次取证拍照后的重新检测以提高车牌检测的准确性。
附图说明
图1. 一种基于深度学习技术的无人机端路面车辆违停检测及取证系统示意图；
图2. 无人机巡检模式架构及流程图；
图3. 无人机取证模式架构及流程图；
图4. 无人机巡检拍摄图像示意图；
图5. 无人机取证点位示意图；
图6. 无人机取证模式拍摄图像示意图；
图7. 无人机飞行路线示意图；
图8. 深度学习目标检测及目标分类一般流程示意图；
图9. 图像坐标系与世界坐标系转换示意图，其中l是成像的焦点，即相机的焦点；lo'是无人机巡检飞行的高度，lo是相机的焦距；
图10. 图像坐标系与世界坐标系转换示意图，其中l是成像的焦点，即相机的焦点；lo'是无人机巡检飞行的高度，lo是相机的焦距；
图11.无人机取证模式正摄视场角示意图；
图12.某车辆目标框的测温点示意图。
具体实施方式
下面针对一个本发明的实施示例进行详细完整地描述，显然，这里所描述的实施示例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种深度学习技术的无人机端路面车辆违停检测及取证系统的示意图如图1所示，
它包含无人机的两种模式，及十三个功能模块。第一种模式是无人机巡检模式，为无人机初始化模式，该模式包含五个功能模块，分别是第一图像采集模块；车辆检测模块；温度采集模块；违章判定模块；第一飞行控制模块。第二种模式是无人机取证模式，无人机在巡检模式下检测违章停车现象时触发，该模式包含八个功能模块，分别是第二图像采集模块；相机云台控制模块；取证点定位模块；第二飞行控制模块；车牌检测模块；车牌检测失败判定模块；车牌识别模块；信息封装发送模块。针对监控现场的网络环境、客户需求和其他实际条件，无人机可以选择将视频直接在无人机端进行异常检测的智能无人机，也可以选择将视频发往地面指挥站的4G/5G通信无人机。
利用无人机搭载的可见光摄像头，按设定频率获取实时图像，将图像输入到专门针对不同车辆训练的深度神经网络模型，通过前向运算检测图像中的内容，若检测到图像中有车辆出现，则结合红外测温技术，根据因拥堵、红灯停车等现象与违章停车现象存在发动机温度差异这一特征，进一步排除非违章停车情况。针对检测出的静止车辆的目标框(目标框指车辆目标框)，截取出以目标框为中心，长宽为目标框1.5倍的区域内容，并将截取出的新图像送入分类模型中进行分类，得出分类结果为正确停车、未停在停车位内、压停车位线、占多个停车位。若出现违章停车现象（即未停在停车位内，压停车位线，占多个停车位现象，下同），则计算出取证点坐标，降低无人机高度（无人机降至无人机取证高度），对车牌拍摄，并与违章图像相关联，保存留作处罚依据。
下面针对以上两个模式，十三个功能模块中涉及的技术方案进行详细说明：
第一个无人机模式为无人机巡检模式，该模式下，无人机根据已经预设的巡检点位信息，进行无人操控的定线巡航。
无人机巡检模式的第一个功能模块为第一图像采集模块，如图2中的①。无人机飞行到预设的悬停点时，调用无人机搭载的可见光摄像头进行抓拍，获取监测区域的实时图像。所拍摄图像如图4所示。
无人机巡检模式的第二个功能模块为车辆检测模块，如图2中的②。车辆检测模块使用深度学习目标检测的算法，主要分为三大类，分别是小型车、中型车、大型车。其中，小型车包含轿车、SUV、MPV、面包车等类型车辆；中型车包含中巴、小货车等类型车辆；大型车包含大货车、拖挂车、机械工程车等类型车辆。车辆检测模块用于检测图像中车辆，并获取所有检测出的车辆目标框信息。
无人机巡检模式的第三个功能模块为温度采集模块，如图2中的③。在无人机巡检过程中，必然会检测到行驶中车辆，缓行车辆，因堵车、让行等情况临时停留车辆，及长时间停止车辆等不同的车辆状态，需要对车辆状态进行判定，以找出真正违章停车的车辆。当车辆行驶中，或临时停下时，由于车辆发动机温度较高，会造成车辆发动机所在区域表面温度较高，而非发动机区域温度较低现象，通过分析大量车辆数据，我们得到发动机一般处于车头车尾2个位置，因此取该2个位置为测温点（如图12）。当上一步骤中，车辆检测模块检测出图像中有车辆时，温度采集模块会通过检测得到的车辆目标框信息，计算出车头车尾的大致区域（一般取车辆目标框前三分之一面积的中心点和后三分之一面积的中心点，即测温点1和测温点2，计算在这两个中心点测得的温度的差值的绝对值，由于是计算温度差的绝对值，因此不关注温点1和测温点2具体是车头点还是车尾点，只关注其所取位置（即测温点1和测温点2的坐标）。其中车辆目标框前、后三分之一面积的确定方式为：将车辆目标框的较长边三等分，通过与车辆目标框较短边平行的第一分割线和第二分割线将车辆目标框按面积分为三等分，依次为前三分之一面积、中三分之一面积、后三分之一面积，图12，车辆目标框为矩形），并调用红外测温仪，采集两个测温点的温度信息。将两个测温点测得的温度数值相减并取绝对值，若所得绝对值大于或等于10度（这里的度指摄氏度），即认定该车为行驶中或因其他因素临时停下的车辆，不属于静止车辆；若所得绝对值小于10度，则认为车辆已经停下较长时间，属于静止车辆。
无人机巡检模式的第四个功能模块为违章判定模块，如图2中的④。当检测出车辆存在停车现象之后，需要更精确的判定是否属于违章停车。因此，该模块针对已经判定出（指已经判定为静止车辆）的车辆目标框，从原始图片（指第一图像采集模块所采集的实时图像）中提取车辆目标框1.5倍的区域（以目标框中心，长宽均为目标框1.5倍的区域内容，作为新图像输入分类网络中，即新图像的长度为车辆目标框长度的1.5倍，新图像的宽度为车辆目标框宽度的1.5倍，新图像的中心为车辆目标框），送入训练好的分类网络（深度学习目标分类模型）进行分类，得到是否属于违章停车的判定结果。即，得出分类结果为正确停车、未停在停车位内、压停车位线或占多个停车位。当分类结果为未停在停车位内、压停车位线、占多个停车位现象，则判定为违章停车。
无人机巡检模式的第五个功能模块为第一飞行控制模块，使无人机根据已经预设的巡检点位信息，进行无人操控的定线巡航，如图2中的⑤。所述的巡检点位即悬停点（又称为巡检点）。
第二个无人机模式为无人机取证模式，该模式下无人机定点自动飞行。当无人机巡检模式下检测到车辆有违停现象时，无人机自动进入取证模式，针对违章停车的车辆，拍摄照片和进行车牌识别，并将识别的车牌信息和照片发送给后台控制中心，作为后续处罚依据。若一张图像中有多个车辆违停，无人机进入取证模式时，会以自身为中心点，计算每个目标中心点与无人机的直线距离，选取距离最近目标作为取证目标，取证完成后重新计算剩余目标与无人机当前位置的直线距离，并选取直线距离最近目标作为下一个取证目标。以此循环直到图片中所有目标都取证完成。采用这样的取证方法，保证取证速度更快、取证更充分全面。
无人机取证模式的第一个功能模块为第二图像采集模块，如图3中的①。当无人机成功切换为取证模式时，会将已检出的存在违停现象的车辆目标框在已拍摄的照片中标出，并保存。已拍摄的照片即第一图像采集模块所采集的实时图像。此外，无人机飞行到取证点时，调用无人机搭载的可见光摄像头进行拍照，得到取证照片。
需要说明的是，这里是第一次标框，也就是说，这里才正式在图像中标注出车辆目标框，标注出来的框是已经判定为违章停车的车辆目标框。之前在无人机巡检模式中提到的车辆目标框信息，是检测出来的车辆目标框信息，但并未在图像中标出。
无人机取证模式的第二个功能模块为相机云台控制模块，如图3中的②。该模块读取预设的配置文件中，经过测试并预设完成的云台拍摄焦距，调整相机云台的焦距。拉近相机的拍摄画面，使得取证图片更加清晰。当取证完成时，该模块会调整云台焦距为预设的巡检焦距，以更大视野范围进行违章巡检。
无人机取证模式的第三个功能模块为取证点定位模块，如图3中的③。该模块会提取目标车辆目标框的中心点为A，取目标车辆目标框长宽边中较短边中心点，分别为B、C。从A分别向B、C连接形成有向线段AB、AC，并延长目标车辆目标框长宽边中较长边/2（具体指：分别从B、C点向外继续延伸至D、E；线段BD、AB、AC、CE长度相等且长度均为车辆目标框长边的一半，线段BD、AB、AC、CE均与车辆目标框的两个长边平行），分别为D、E。如图5所示。D、E点即无人机取证点的坐标。这里的坐标均为二维坐标。定位D、E点后，直接可得出D、E点在图像（存在违停现象的车辆目标框在已拍摄的照片中标出并保存，形成该图像）中的坐标。选用这两个取证点，目的就是为了在正视角度下（完全朝下俯视角度），相机的视野角可以捕捉到车牌区域。
无人机取证模式的第四个功能模块为第二飞行控制模块，如图3中的④。第二飞行控制模块得到已经定位出的D、E点坐标，并控制无人机飞往D点进行取证，在D点取证完成后，继续控制无人机飞往E点，进行取证。该模块控制无人机飞行时，涉及无人机像素坐标与世界坐标系的换算，将在具体实施方案中详细解释。实际上，以一张图像的第一个目标或唯一目标的取证为例，首先，从悬停点开始，纵向飞行一定距离，再横向飞行一定距离（纵横向飞行均在水平面内进行），到达D点坐标（此时还不能取证拍照）；然后下降无人机高度至取证高度，再进行拍照取证；然后，D点取证完成后，升高无人机至巡检飞行高度；然后无人机纵向飞行一定距离，再横向飞行一定距离，到达E点坐标（此时还不能取证拍照）；然后下降无人机高度至取证高度，进行拍照取证。其中下降无人机高度的过程为垂直下降，即仅为无人机高度z值的变化。
无人机取证模式的第五个功能模块为车牌检测模块，如图3中的⑤。无人机在到达点D或点E时，进行取证拍照，再调用车牌检测模块对取证照片进行车牌检测（车牌检测模块用于检测是否出现车牌）。车牌检测模块为现有技术中的通用模块，不作赘述。车牌检测模块用于检测取证图像中是否有车牌区域，当检测到的车牌经车牌检测失败判定模块判定确定了目标车牌，则截取取证图像中的目标车牌区域以形成新图像，新图像仅包含目标车牌区域。
无人机取证模式的第六个功能模块为车牌检测失败判定模块，如图3中的⑥。调用车牌检测之后，会出现两种情况，一是未检测到任何车牌；二是检测到一个或多个车牌。
当情况一（未检测到任何车牌）出现时，则车牌检测失败计数加1，此时该模块读取预设的配置文件中经过测试并预设完成的焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照，然后进行车牌检测，若检测到车牌则按照下述的情况二进行判定；若仍然没检测到车牌则车牌检测失败计数再加1，然后继续调整焦距、取证拍照和车牌检测、车牌检测失败判定，当车牌检测失败计数大于或等于3次，则放弃车牌检测，不提取车牌，只采集取证照片。
情况二（检测到一个或多个车牌）出现时，这里先讨论检测到多个车牌出现的情形。当检测到多个车牌出现，车牌检测失败判定模块通过读取预置标记位（Flag）得知无人机当前处于D点还是E点，若处于D点，则目标车牌中心点的y坐标值应大于拍摄图像高度（即图像的height）的1/2，且小于拍摄图像高度（即图像的height）的3/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3，并距离拍摄图像中心点最近（其它车牌中心点离拍摄图像中心点更远，目标车牌中心点离拍摄图像中心点距离最近）。若处于E点，则目标车牌中心点的y坐标值应小于拍摄图像高度（即图像的height）的1/2，且大于拍摄图像高度（即图像的height）的1/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3，并距离拍摄图像中心点最近（其它车牌中心点离拍摄图像中心点更远，目标车牌中心点离拍摄图像中心点距离最近）。如图6所示。这是因为，离无人机最近的车牌应当为需要采集的目标车牌，其他车牌可能只是背景中其他车辆的车牌。若满足上述条件（x、y坐标值要求，“距离最近”的要求），则截取取证图像中的目标车牌区域以形成新图像（即提取车牌）；若不满足以上条件，则车牌检测失败计数加1，此时该模块读取预设的配置文件中经过测试并预设完成的焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照、车牌检测、车牌检测失败判定。若车牌检测失败计数大于或等于3次，则放弃车牌检测，不提取车牌（提取车牌指：提取取证图像中目标车牌区域，即截取取证图像中的目标车牌区域以形成新图像），只采集取证照片。当检测到多个车牌时，采用此方法可在多个车牌中选择并提取目标车牌，目标车牌为一个。
再讨论情况二中检测到一个车牌的情形，当检测到一个车牌出现，车牌检测失败判定模块通过读取预置标记位（Flag）得知无人机当前处于D点还是E点，若处于D点，则目标车牌中心点的y坐标值应大于拍摄图像高度（即图像的height）的1/2，且小于拍摄图像高度（即图像的height）的3/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3。若处于E点，则目标车牌中心点的y坐标值应小于拍摄图像高度（即图像的height）的1/2，且大于拍摄图像高度（即图像的height）的1/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3。若满足上述条件（x、y坐标值要求），则截取取证图像中的目标车牌区域以形成新图像（即提取车牌）；若不满足以上条件，则车牌检测失败计数加1，此时该模块读取预设的配置文件中经过测试并预设完成的焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照、车牌检测、车牌检测失败判定。若车牌检测失败计数大于或等于3次，则放弃车牌检测，不提取车牌（提取车牌指：提取取证图像中目标车牌区域，即截取取证图像中的目标车牌区域以形成新图像），只采集取证照片。
其中拍摄图像高度是指图像的height，图像分辨率为height*width，height是图像的一个默认参数。无人机在飞往D点时，会记录此时是D点，有对应的Flag信息（Flag信息即预置标记位）。同样飞往E点时， Flag置为E，便于车牌检测失败判定模块读取无人机当前处于D点还是E点的信息。y坐标就是二维坐标中的（x,y）中的y值，即是图像坐标中的y值，与图像height*width中的height对应。在图像中，y最小为0，最大为height。x最小为0，最大为width。拍摄图像中心点即（width/2，height/2）这个点。车牌中心点（x,y）与拍摄图像中心点的距离是通过点与点的距离公式算出来的，即：
取证时，相机朝下正摄，但是车牌是视野角采集到的，类似余光（图11中，α为视场角，从无人机视场角可以拍摄到车牌位置）。相机视野角类似一个等腰三角形。此方法优点为：不需要调整相机云台角度，减少因角度变换产生的计算量，同时可以在检测到多个车牌区域时，可以找出目标车牌。
无人机取证模式的第七个功能模块为车牌识别模块，如图3中的⑦。若成功提取到车牌区域（截取取证图像中的目标车牌区域形成的新图像），则调用车牌识别模块进行车牌识别（对新图像进行车牌识别），获取到车牌信息（车牌识别是指提取出车牌的文字信息，比如苏A12345），并保存。车牌识别模块为现有技术中的通用模块，不作赘述。
无人机取证模式的第八个功能模块为信息封装发送模块，如图3中的⑧。该模块会将无人机的GPS信息、进入取证模式时第二图像采集模块保存的初始化图像（已检出的存在违停现象的车辆目标框在已拍摄的照片中标出并保存，即初始化图像）、在D点和E点分别拍摄的取证图像（即取证照片）、提取到的车牌信息（若未提取到车牌信息，则该项为空，车牌信息例如苏A12345）等信息都传输到地面控制中心，作为交管部门处罚依据。同时设置无人机返回巡检模式，继续进行违章巡检。
图3中，判断该次取证是D或E点由第二飞行控制模块完成，具体指：读取预置标记位（Flag），如果Flag为E，则得知该次取证是E点；如果Flag为D，则得知该次取证是D点。取证初始位置指：刚进入取证模式时的无人机位置。
下面结合一个具体实例来详细描述一下一种基于深度学习技术的无人机端路面车辆违停检测及取证系统的实施过程。
首先，要根据无人机飞行的高度，相机拍摄的视野。经过大量测试，得出较为合理的相机参数，分别是：相机拍摄图像的总长宽，无人机巡检焦距，无人机取证初始焦距，焦距调整的步长，无人机巡检高度（即无人机巡检飞行的高度，一般设置50至100米），无人机取证高度（一般设置7至10米）。同时，根据需要进行巡检的路段信息，设置无人机巡检的悬停点。无人机飞行路线如图7所示。
其次，要进行深度学习目标检测的模型训练，如图8所示。通过网络爬虫，客户提供，自己主动采集等方式去收集高空正摄的车辆图像，图像数量至少不低于每个类别1000张；并按照车辆类型将图像进行标注；然后将标注完成的数据和原始图像，进行数据增强和数据扰动，以增加泛化性和防止过拟合问题，接着放入深度学习训练算法和网络中进行深度学习模型的训练。此深度神经网络包含52层网络连接层，其中输入层的输入为3通道彩色图像，这里取图像分辨率为608像素*608像素。此深度神经网络的输出为已定义好的分类数量及检测目标坐标区域和置信度，表示输入图像属于哪种车辆类别，目标框的坐标值及是否该目标的可信程度。此深度神经网络的中间层采用非常适合图像检测的多层卷积神经网络；随机抽取20%的样本作为验证样本，抽取80%的样本作为训练样本，将这些分类标注好的样本图像输入到深度神经网络的输入层。经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播（BP）算法运算，更新各神经元之间的连接参数；当对验证图像分类精度达到一定的阈值，这里取99.8%的正确率为阈值，或训练达到一定迭代次数（这里取最大迭代次数为100万次）后，结束深度神经网络的训练；等待训练完成之后，会生成相应的深度学习目标检测模型；利用得到的模型对未训练的图像进行测试，得到测试结果，并根据测试结果优化调整深度学习目标检测模型，最终得到效果最优的模型。请注意这里优化调整深度学习目标检测模型的过程不是必须的，即不经优化已可实现目标检测。采用此深度学习目标检测的模型，用于检测实时图像中的车辆。
再次，要进行深度学习目标分类的模型训练，如图8所示。定义车辆违停分类，如未停在停车位内，压停车位线，占多个停车位等。通过网络爬虫，客户提供，自己主动采集等方式去收集高空正摄的车辆违停图像及正确停车图像，图像数量至少不低于每个类别500张，并按照车辆违停类型将图像进行标注；然后将标注完成的数据和原始图像，进行数据增强和数据扰动，以增加泛化性和防止过拟合问题，接着放入深度学习训练算法和网络中进行深度学习模型的训练。此深度神经网络包含13层网络连接层，其中输入层的输入为3通道彩色图像，这里取图像分辨率为128像素*128像素。此深度神经网络的输出为已定义好的分类数量，表示输入图像属于哪种车辆违停类别。此深度神经网络的中间层采用非常适合图像分类的多层卷积神经网络；随机抽取20%的样本作为验证样本，抽取80%的样本作为训练样本，将这些分类标注好的样本图像输入到深度神经网络的输入层。经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播（BP）算法运算，更新各神经元之间的连接参数；当对验证图像分类精度达到一定的阈值，这里取99.8%的正确率为阈值，或训练达到一定迭代次数（这里取最大迭代次数为100万次）后，结束深度神经网络的训练；等待训练完成之后，会生成相应的深度学习目标分类模型；利用得到的模型对未训练的图像进行测试，得到测试结果，并根据测试结果优化调整深度学习目标分类模型，最终得到效果最优的模型。请注意这里优化调整深度学习目标分类模型的过程不是必须的，即不经优化已可实现目标分类。采用此深度学习目标分类模型，用于车辆违章判定（违章判定模块）。
至此，前期准备工作结束。下面为无人机一次巡检的详细过程。
首先，在需要监控的区域部署无人机。启动无人机，并设定无人机为初始化状态，即无人机开启巡检模式。无人机飞行到预设的悬停点时，调用无人机搭载的可见光相机，抓拍实时图像。同时调用深度学习目标检测算法，通过已训练完成的深度学习目标检测模型，进行目标检测。从检测结果中，筛选是否有车辆。车辆检测模块使用深度学习目标检测的算法，主要分为三大类，分别是小型车、中型车、大型车。其中，小型车包含轿车、SUV、MPV、面包车等类型车辆；中型车包含中巴、小货车等类型车辆；大型车包含大货车、拖挂车、机械工程车等类型车辆。
其次，车辆检测模块检测出图像中有车辆时，温度采集模块会通过检测得到的车辆目标框信息，计算出车头车尾的大致区域，并调用红外测温仪，采集两个测温点（测温点1和测温点2）的温度信息。将两个温度数值相减并取绝对值，若所得绝对值大于或等于10摄氏度，即认定该车为行驶中或因其他因素临时停下的车辆，不属于静止车辆；若所得绝对值小于10摄氏度，则认为车辆已经停下较长时间，属于静止车辆。
再次，当检测出车辆存在停车现象之后，需要更精确的判定是否属于违章停车。因此，该模块针对已经判定出的车辆目标框，从原始图片中提取目标框1.5倍的区域（以目标框为中心，提取长、宽分别为目标框长、宽1.5倍的区域），送入训练好的分类网络进行分类，得到是否属于违章停车的判定结果。违章判定模块使用深度学习目标分类的算法，得出的结果应当为4类，分别是正确停车、未停在停车位内，压停车位线，占多个停车位。若未出现违章停车现象，则通知第一飞行控制模块飞往下一个无人机悬停点进行巡检；若出现违章停车现象，则无人机进入取证模式。具体流程如图2所示。
然后，当无人机在巡检模式下检测到违章停车现象，则无人机设置为取证模式。该模式下，无人机定点自动飞行。当无人机成功切换为取证模式时，第二图像采集模块会将已检出的存在违停现象的车辆目标框在已拍摄的照片中标出，并保存。
然后，相机云台控制模块读取预设的配置文件中，经过测试并预设完成的云台拍摄焦距(即取证初始焦距)，调整相机云台的焦距(即使得相机焦距由巡检焦距变为取证初始焦距)。拉近相机的拍摄画面，使得取证图片更加清晰。
然后，取证点定位模块会提取目标车辆目标框的中心点为A，取目标车辆目标框长宽边中较短边中心点，分别为B、C。从A分别向B、C连接有向线段，并延长目标车辆目标框长宽边中较长边/2，分别为D、E。如图5所示。D、E点即无人机取证点的坐标。线段BD、AB、AC、CE长度相等。本模块是在初始化图像上完成取证点定位的，初始化图像指：将已检出的存在违停现象的车辆目标框在已拍摄的照片中标出，形成初始化图像。
然后，第二飞行控制模块得到已经定位出的D、E点坐标，并控制无人机飞往D点进行取证，在D点取证完成后，继续控制无人机飞往E点，进行取证。假设图像（指前述的初始化图像）为矩形，图像的四个顶点分别为a、b、c、d，且图像中心为o点，o点即摄像头云台指向的直线与图像采集平面的交点,由于是正摄图像（即相机云台角度垂直地面），因此相机的光心可以认为是图像中心点o。以o点为中心，做两条线段，平行于图像的宽边和高边，分别为ef、gh。我们已得到D点在图像中的坐标（D点用p表示），再从p点做线段分别垂直于ef、gh，线段与ef、gh的交点分别为n、m，n、m即p点分别在ef、gh线段上的投影，如图9中①所示。此时根据相机的成像原理，我们切换角度从侧面来看，如图9中②。点o为图像中心点，g为图像上顶点a、b在线段gh上的投影；h为图像下顶点c、d在线段gh上的投影；m为点p在线段gh上的投影；o’为o点在世界坐标系中的投影；m’为m在世界坐标系中的投影；lo是相机焦距（lo为巡检焦距）；lo’是无人机巡检飞行高度。由于相机的焦距lo是已知的，此时计算无人机纵向飞行距离o'm’公式为：
由于lo（相机焦距）、lo’（无人机巡检飞行高度）、om（目标像素距离）都已知，因此可以求出世界坐标系中o'm’距离，即无人机在一个纵向上的飞行距离。无人机在横向上的飞行距离同理，此处不做赘述。
计算完从o飞往D点的纵、横距离后，再以o点为中心，做两条线段，平行于图像的宽边和高边，分别为ef、gh。我们已得到E点在图像中的坐标（E点用q表示），再从q点做线段分别垂直于ef、gh，线段与ef、gh的交点分别为j、i，j、i即q点分别在ef、gh线段上的投影，如图10中①所示。此时根据相机的成像原理，我们切换角度从侧面来看，如图10中②。点o为图像中心点，g为图像上顶点a、b在线段gh上的投影；h为图像下顶点c、d在线段gh上的投影；i为点q在线段gh上的投影；o’为o点在世界坐标系中的投影；i’为i在世界坐标系中的投影；lo是相机焦距（lo为巡检焦距）；lo’是无人机巡检飞行高度。由于相机的焦距lo是已知的，此时计算无人机纵向飞行距离o'i’公式为：
由于lo（相机焦距）、lo’（无人机巡检飞行高度）、oi（目标像素距离）都已知，因此可以求出世界坐标系中o'i’距离，即无人机在一个纵向上的飞行距离。无人机在横向上的飞行距离同理，此处不做赘述。
此时，o'm’为无人机从o点飞往D点的纵向飞行距离（以一张图像中的第一个目标或唯一目标的取证为例，实际无人机是从悬停点开始飞行的，无人机位于悬停点时摄像头云台指向的直线与图像采集平面的交点为o，即在图像中无人机的起始位置可以认为是o，以下同理）,同理可以计算出无人机从o点飞往D点的横向飞行距离，假设为o'n’（n’为n在世界坐标系中的投影，o'n’为连接o'和n’的线段，该线段两端分别为o'和n’）；o'i’为无人机从o点飞往E点的纵向飞行距离，同理可以计算出无人机从o点飞往E点的横向飞行距离，假设为o'j’ （j’为j在世界坐标系中的投影，o'j’为连接o'和j’的线段，该线段两端分别为o'和j’）。在计算出两个点纵向、横向分别的飞行距离后，调用第二飞行控制模块控制无人机飞行。无人机实际飞行过程如下：首先，从悬停点开始，纵向飞行o'm’，再横向飞行o'n’（纵横向飞行均在水平面内进行），到达D点坐标；然后下降无人机高度，至取证高度（即无人机取证高度，一般设置为7至10米，以下同），进行拍照取证；然后，D点取证完成后，升高无人机至巡检飞行高度；然后无人机从D点往E点飞行（即纵向飞行o'i’减去o'm’距离，再横向飞行o'j’减去o'n’距离），即可到达E点坐标；然后下降无人机高度，至取证高度，进行拍照取证。需要说明的是，在无人机每次坐标移动之前，需要返回预设的巡检飞行高度，再进行飞行动作，等到达预定坐标点后，再降低到取证高度。防止在低空飞行时出现一些不安全隐患。此处的横向指的是二维坐标中的x坐标方向，纵向指的是在二维坐标中的y坐标方向。
当一张图像中有多个需要取证的目标时，对于第一个目标，实际无人机是从悬停点开始飞行的，无人机位于悬停点时摄像头云台指向的直线与图像采集平面的交点为o，即在图像中无人机的起始位置可以认为是o，以下同理。当对第一个目标D、E点分别取证完成时，无人机飞往下一个目标的D点，此时应当以第一个取证目标的E点作为o，以第二个取证目标的D点作为p点，第二个取证目标的E点作为q点，再次计算需要飞行的距离。以此循环，直到所有需要取证的目标全部取证完成。最后从最后一个取证目标的E点，飞回取证的初始点，即无人机巡检悬停的点。
当无人机在某悬停点检测到违章停车现象并进入取证模式，无人机先保持不动，当无人机计算得到两个纵向飞行距离、两个横向飞行距离之后，才开始飞行。
此外，还可以采用现有技术中的其它方法使无人机根据已经定位出的D、E点坐标，控制无人机飞往D点进行取证，在D点取证完成后，继续控制无人机飞往E点，进行取证。
然后，无人机拍摄一张图片，并调用车牌检测模块进行车牌检测。调用车牌检测模块之后，会出现两种情况，一是未检测到任何车牌；二是检测到一个或多个车牌。当情况一出现时，则车牌检测失败计数加1，此时该模块读取预设的配置文件中经过测试并预设完成的焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
当情况二出现时，这里先讨论检测到多个车牌出现的情形。当检测到多个车牌出现，先读取无人机当前处于D点还是E点(读取Flag，如果读取到的Flag是D，则得知无人机处于D点，如果读取到的Flag是E，则得知无人机处于E点)，若处于D点，则目标车牌中心点的y坐标值应大于拍摄图像高度（即图像的height）的1/2，且小于拍摄图像高度（即图像的height）的3/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3，并距离拍摄图像中心点最近。若处于E点，则目标车牌中心点的y坐标值应小于拍摄图像高度（即图像的height）的1/2，且大于拍摄图像高度（即图像的height）的1/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3，并距离拍摄图像中心点最近。如图6所示。若不满足以上条件，则车牌检测失败计数加1，此时该模块读取预设的配置文件中经过测试并预设完成的焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照。若车牌检测失败计数大于或等于3次，则放弃车牌提取，不提取车牌，只采集取证照片。
再讨论情况二中检测到一个车牌的情形，当检测到一个车牌出现，车牌检测失败判定模块读取无人机当前处于D点还是E点，若处于D点，则目标车牌中心点的y坐标值应大于拍摄图像高度（即图像的height）的1/2且小于拍摄图像高度（即图像的height）的3/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3。若处于E点，则目标车牌中心点的y坐标值应小于拍摄图像高度（即图像的height）的1/2且大于拍摄图像高度（即图像的height）的1/4，目标车牌中心点的x坐标值应大于拍摄图像宽度（即图像的width）的1/3且小于拍摄图像宽度（即图像的width）的2/3。若不满足以上条件，则车牌检测失败计数加1，此时该模块读取预设的配置文件中经过测试并预设完成的焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照。若车牌检测失败计数大于或等于3次，则放弃车牌检测，不提取车牌（提取车牌指：提取图像中车牌区域，又称作截取取证图像中的目标车牌区域以形成新图像），只采集取证照片。
然后，若成功提取到车牌区域，则调用车牌识别模块进行车牌识别，获取到车牌信息，并保存。车牌识别用于识别车牌上字符，即车牌号码，如苏A12345。
最后，信息封装发送模块会将无人机的GPS信息、进入取证模式时第二图像采集模块保存的初始化图像、在D点和E点分别拍摄的取证图像、提取到的车牌信息（若未提取到车牌信息，则该项为空）等信息都传输到地面控制中心，作为交管部门处罚依据。同时设置无人机返回巡检模式，继续进行违章巡检。具体流程如图3所示。
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。上述实施仅是本发明的较佳实施例，凡是依据本发明所做的任何修改和改变，均应包含在本发明专利的保护范围。
Claims (6)
1.一种无人机端路面车辆违停检测及取证系统，其特征在于，包括：
第一图像采集模块，用于获取监测区域的实时图像；
车辆检测模块，用于检测实时图像中的车辆；
温度采集模块，用于采集车辆温度并判定是否属于静止车辆；
违章判定模块，用于判定静止车辆是否违章停车；
第一飞行控制模块，用于实现无人机巡航；
第二图像采集模块，当无人机切换为取证模式时将已检出的存在违停现象的车辆目标框在已拍摄的图像中标出并保存；
相机云台控制模块，用于调整相机云台的焦距；
取证点定位模块，用于定位取证点；
第二飞行控制模块，根据已经定位出的取证点坐标，控制无人机飞往取证点进行取证；
车牌检测模块，用于对取证照片进行车牌检测；
车牌检测失败判定模块，用于判定车牌检测是否失败；
车牌识别模块，在成功提取到车牌时进行车牌识别，获取车牌信息；
信息封装发送模块，将进入取证模式时第二图像采集模块保存的图像、拍摄的取证照片、提取到的车牌信息传输到地面控制中心；
第一图像采集模块、车辆检测模块、温度采集模块、违章判定模块、第一飞行控制模块在无人机巡检模式下运行；
第二图像采集模块、相机云台控制模块、取证点定位模块、第二飞行控制模块、车牌检测模块、车牌检测失败判定模块、车牌识别模块、信息封装发送模块在无人机取证模式下运行；
无人机巡检模式为无人机初始化模式，无人机在巡检模式下检测到违章停车的车辆时切换为无人机取证模式；
所述的取证点定位模块，其提取目标车辆的车辆目标框的中心点为A，取车辆目标框长宽边中两个短边的中心点，分别为B、C；从A分别向B、C连接得到有向线段，并分别从B、C点向外继续延伸至D、E；D、E点即无人机取证点的坐标；线段BD、AB、AC、CE长度相等且线段BD、AB、AC、CE均与车辆目标框的两个长边平行；
所述的第二飞行控制模块，根据已经定位出的D、E点坐标，控制无人机飞往D点进行取证，在D点取证完成后，继续控制无人机飞往E点，进行取证；
无人机在到达点D或点E时，取证拍照并调用车牌检测模块进行车牌检测；
调用车牌检测模块之后，出现两种情况，一是未检测到任何车牌；二是检测到一个或多个车牌；
当情况一出现时，则车牌检测失败计数加1，此时车牌检测失败判定模块读取焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
当情况二出现时，通过读取预置标记位得知无人机当前处于D点还是E点，若处于D点，则目标车牌中心点的y坐标值应大于拍摄图像高度的1/2，且小于拍摄图像高度的3/4，目标车牌中心点的x坐标值应大于拍摄图像宽度的1/3且小于拍摄图像宽度的2/3，且在检测到多个车牌的情况下目标车牌中心点距离拍摄图像中心点最近；若处于E点，则目标车牌中心点的y坐标值应小于拍摄图像高度的1/2且大于拍摄图像高度的1/4，目标车牌中心点的x坐标值应大于拍摄图像宽度的1/3且小于拍摄图像宽度的2/3，且在检测到多个车牌的情况下目标车牌中心点距离拍摄图像中心点最近；若不满足以上条件，则车牌检测失败计数加1，此时车牌检测失败判定模块读取焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
若车牌检测失败计数大于或等于设定阈值，则不提取车牌，只采集取证照片。
2.根据权利要求1所述的一种无人机端路面车辆违停检测及取证系统，其特征在于，所述的车辆检测模块使用深度学习目标检测的算法；所述的违章判定模块针对已经判定为静止车辆的车辆目标框，从图像中提取车辆目标框1.5至2倍的区域，送入训练好的深度学习分类网络进行分类，得到是否属于违章停车的判定结果。
3.根据权利要求1或2所述的一种无人机端路面车辆违停检测及取证系统，其特征在于，当车辆检测模块检测出图像中有车辆时，温度采集模块通过车辆检测模块得到的车辆目标框信息，计算出车头车尾的区域，采集两个测温点的温度信息；将两个温度数值相减并取绝对值，若所得绝对值大于或等于设定的温差阈值，即判定该车不属于静止车辆；若所得绝对值小于设定的温差阈值，则判定该车属于静止车辆。
4.根据权利要求1所述的一种无人机端路面车辆违停检测及取证系统，其特征在于，若一张图像中有多个车辆违停，无人机进入取证模式时，以自身为中心点，计算每个目标中心点与无人机的直线距离，选取距离最近目标作为取证目标，取证完成后重新计算剩余目标与无人机当前位置的直线距离，并选取直线距离最近目标作为下一个取证目标；以此循环直到图像中所有目标都取证完成。
5.一种无人机端路面车辆违停检测及取证方法，其特征在于，包括如下步骤：无人机巡检模式为无人机初始化模式，无人机在巡检模式下检测到违章停车的车辆时切换为无人机取证模式；取证结束后返回无人机巡检模式；
无人机巡检模式下，在设定的巡检点采集实时图像；检测实时图像中的车辆；采集车辆温度并判定是否属于静止车辆；判定静止车辆是否违章停车，以及违章停车的类型；
当无人机切换为取证模式时将已检出的存在违停现象的车辆目标框在已拍摄的图像中标出并保存；定位取证点；根据已经定位出的取证点坐标，控制无人机飞往取证点进行取证；无人机在取证点取证拍照后，对取证照片进行车牌检测；判定车牌检测是否成功或失败；在成功提取到车牌时进行车牌识别，获取车牌信息；将进入取证模式时保存的初始化图像、拍摄的取证照片、提取到的车牌信息传输到地面控制中心；
定位取证点时，提取目标车辆的车辆目标框的中心点为A，取车辆目标框长宽边中两个短边的中心点，分别为B、C；从A分别向B、C连接得到有向线段，并分别从B、C点向外继续延伸至D、E；D、E点即无人机取证点的坐标；线段BD、AB、AC、CE长度相等且线段BD、AB、AC、CE均与车辆目标框的两个长边平行；
根据已经定位出的D、E点坐标，控制无人机飞往D点进行取证，在D点取证完成后，继续控制无人机飞往E点，进行取证；
无人机在到达点D或点E时，取证拍照并调用车牌检测模块进行车牌检测；
调用车牌检测模块之后，出现两种情况，一是未检测到任何车牌；二是检测到一个或多个车牌；
当情况一出现时，则车牌检测失败计数加1，此时车牌检测失败判定模块读取焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
当情况二出现时，车牌检测失败判定模块通过读取预置标记位得知无人机当前处于D点还是E点，若处于D点，则目标车牌中心点的y坐标值应大于拍摄图像高度的1/2，且小于拍摄图像高度的3/4，目标车牌中心点的x坐标值应大于拍摄图像宽度的1/3且小于拍摄图像宽度的2/3，且在检测到多个车牌的情况下目标车牌中心点距离拍摄图像中心点最近；若处于E点，则目标车牌中心点的y坐标值应小于拍摄图像高度的1/2且大于拍摄图像高度的1/4，目标车牌中心点的x坐标值应大于拍摄图像宽度的1/3且小于拍摄图像宽度的2/3，且在检测到多个车牌的情况下目标车牌中心点距离拍摄图像中心点最近；若不满足以上条件，则车牌检测失败计数加1，此时车牌检测失败判定模块读取焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照；
若车牌检测失败计数大于或等于设定阈值，则不提取车牌，只采集取证照片。
6.根据权利要求5所述的一种无人机端路面车辆违停检测及取证方法，其特征在于，检测实时图像中的车辆时，使用深度学习目标检测的算法；
当检测出图像中有车辆时，通过检测得到的车辆目标框信息，计算出车头车尾的区域，采集两个测温点的温度信息；将两个温度数值相减并取绝对值，若所得绝对值大于或等于10摄氏度，即认定该车不属于静止车辆；若所得绝对值小于10摄氏度，则判定该车属于静止车辆；
判定静止车辆是否违章停车以及违章停车的类型时，针对已经判定为静止车辆的车辆目标框，从图像中提取车辆目标框1.5-2倍的区域，送入训练好的深度学习分类网络进行分类，得到是否属于违章停车的判定结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011358610.0A CN112201051B (zh) | 2020-11-27 | 2020-11-27 | 一种无人机端路面车辆违停检测及取证系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011358610.0A CN112201051B (zh) | 2020-11-27 | 2020-11-27 | 一种无人机端路面车辆违停检测及取证系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112201051A CN112201051A (zh) | 2021-01-08 |
| CN112201051B true CN112201051B (zh) | 2021-07-06 |
Family
ID=74033617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011358610.0A Active CN112201051B (zh) | 2020-11-27 | 2020-11-27 | 一种无人机端路面车辆违停检测及取证系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112201051B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284347A (zh) * | 2021-05-19 | 2021-08-20 | 北京骑胜科技有限公司 | 两轮车辆违停检测方法、装置、搭载摄像头和服务器 |
| CN113158989A (zh) * | 2021-05-19 | 2021-07-23 | 北京骑胜科技有限公司 | 两轮车辆违停检测方法、装置、电子设备和可读存储介质 |
| CN113593057A (zh) * | 2021-06-28 | 2021-11-02 | 西安坤斗科技有限责任公司 | 一种基于无人机巡检的路内停车位管理方法 |
| CN113254697B (zh) * | 2021-07-14 | 2021-09-10 | 四川泓宝润业工程技术有限公司 | 一种对管道路由所在区域的图像信息进行自动标记的方法 |
| CN115841756A (zh) * | 2021-09-06 | 2023-03-24 | 中移系统集成有限公司 | 车辆违停检测方法及装置 |
| CN113593256B (zh) * | 2021-09-29 | 2021-12-28 | 深圳联和智慧科技有限公司 | 基于城市管理的无人机智能驱离控制方法、系统及云平台 |
| CN114596508A (zh) * | 2022-03-14 | 2022-06-07 | 浙江这里飞科技有限公司 | 基于无人机的违章识别方法、装置、计算机设备及存储介质 |
| CN115083171B (zh) * | 2022-07-20 | 2022-11-18 | 深圳联和智慧科技有限公司 | 一种基于渣土车监控的无人机定点巡检方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107187587A (zh) * | 2017-05-06 | 2017-09-22 | 深圳市雷凌广通技术研发有限公司 | 一种用于影视航拍的智能无人机 |
| CN207650996U (zh) * | 2018-01-05 | 2018-07-24 | 南京邮电大学 | 一种基于无人机的自主式巡检违章罚停系统 |
| CN108510750A (zh) * | 2018-04-25 | 2018-09-07 | 济南浪潮高新科技投资发展有限公司 | 一种基于神经网络模型的无人机巡检违章停车的方法 |
| JP2019046368A (ja) * | 2017-09-06 | 2019-03-22 | Kddi株式会社 | 管理装置、駐車監視システム、管理方法及びプログラム |
| KR101981666B1 (ko) * | 2018-07-06 | 2019-05-24 | 공낙현 | 기계식 주차장의 빈자리 공유 시스템 및 방법 |
| CN110321814A (zh) * | 2019-06-18 | 2019-10-11 | 浙江大华技术股份有限公司 | 一种车辆违章取证方法、装置、电子设备及存储介质 |
| KR20190115317A (ko) * | 2018-04-02 | 2019-10-11 | 주식회사 알트에이 | 불법 주정차 감지 방법 및 시스템 |
| CN110766978A (zh) * | 2019-11-04 | 2020-02-07 | 深圳市凯达尔科技实业有限公司 | 基于无人机的路边停车管理方法、系统及存储介质 |
| CN111310698A (zh) * | 2020-02-26 | 2020-06-19 | 北京停简单信息技术有限公司 | 车牌识别的方法、装置及巡检车 |
| CN111679695A (zh) * | 2020-08-11 | 2020-09-18 | 中航金城无人系统有限公司 | 一种基于深度学习技术的无人机巡航及追踪系统和方法 |
| CN112562345A (zh) * | 2020-11-26 | 2021-03-26 | 南京信息工程大学 | 一种基于无人机的交通违章监控方法 |
-
2020
- 2020-11-27 CN CN202011358610.0A patent/CN112201051B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107187587A (zh) * | 2017-05-06 | 2017-09-22 | 深圳市雷凌广通技术研发有限公司 | 一种用于影视航拍的智能无人机 |
| JP2019046368A (ja) * | 2017-09-06 | 2019-03-22 | Kddi株式会社 | 管理装置、駐車監視システム、管理方法及びプログラム |
| CN207650996U (zh) * | 2018-01-05 | 2018-07-24 | 南京邮电大学 | 一种基于无人机的自主式巡检违章罚停系统 |
| KR20190115317A (ko) * | 2018-04-02 | 2019-10-11 | 주식회사 알트에이 | 불법 주정차 감지 방법 및 시스템 |
| CN108510750A (zh) * | 2018-04-25 | 2018-09-07 | 济南浪潮高新科技投资发展有限公司 | 一种基于神经网络模型的无人机巡检违章停车的方法 |
| KR101981666B1 (ko) * | 2018-07-06 | 2019-05-24 | 공낙현 | 기계식 주차장의 빈자리 공유 시스템 및 방법 |
| CN110321814A (zh) * | 2019-06-18 | 2019-10-11 | 浙江大华技术股份有限公司 | 一种车辆违章取证方法、装置、电子设备及存储介质 |
| CN110766978A (zh) * | 2019-11-04 | 2020-02-07 | 深圳市凯达尔科技实业有限公司 | 基于无人机的路边停车管理方法、系统及存储介质 |
| CN111310698A (zh) * | 2020-02-26 | 2020-06-19 | 北京停简单信息技术有限公司 | 车牌识别的方法、装置及巡检车 |
| CN111679695A (zh) * | 2020-08-11 | 2020-09-18 | 中航金城无人系统有限公司 | 一种基于深度学习技术的无人机巡航及追踪系统和方法 |
| CN112562345A (zh) * | 2020-11-26 | 2021-03-26 | 南京信息工程大学 | 一种基于无人机的交通违章监控方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112201051A (zh) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112201051B (zh) | 一种无人机端路面车辆违停检测及取证系统和方法 | |
| CN106652468B (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
| CN111145545A (zh) | 基于深度学习的道路交通行为无人机监测系统及方法 | |
| CN106875707A (zh) | 一种针对应急交通场景的空中交警系统 | |
| CN104616502A (zh) | 基于组合式车路视频网络的车牌识别与定位系统 | |
| CN113593250A (zh) | 一种基于视觉识别的违章停车检测系统 | |
| CN102867417A (zh) | 一种出租车防伪系统及方法 | |
| CN110415544A (zh) | 一种灾害天气预警方法及汽车ar-hud系统 | |
| CN112418126A (zh) | 一种基于无人机的车辆违停检测方法、装置及存储介质 | |
| Matsuda et al. | A system for real-time on-street parking detection and visualization on an edge device | |
| CN114387533A (zh) | 道路违规识别的方法、装置、电子设备及存储介质 | |
| CN117558158A (zh) | 一种基于无人机场组网的静态交通常态化巡检系统和方法 | |
| Lin et al. | Two-Stage License Plate Recognition System Using Deep learning | |
| CN111161539B (zh) | 专用车道通行控制系统及方法 | |
| CN115965926B (zh) | 一种车载式道路标志标线巡检系统 | |
| CN110766949B (zh) | 违章抓拍方法及装置 | |
| CN116794650A (zh) | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 | |
| CN111627224A (zh) | 车辆速度异常检测方法、装置、设备及存储介质 | |
| CN202887450U (zh) | 一种出租车防伪系统 | |
| CN114512005A (zh) | 一种道路自巡检方法、装置、无人机及存储介质 | |
| CN115641724A (zh) | 一种路内泊位管理的巡检识别方法、系统及计算机介质 | |
| KR102516890B1 (ko) | 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템 | |
| CN114693722A (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN114373152A (zh) | 道路违规识别的方法、装置、电子设备及存储介质 | |
| Long et al. | Automatic Vehicle Speed Estimation Method for Unmanned Aerial Vehicle Images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |