CN114512005A - 一种道路自巡检方法、装置、无人机及存储介质 - Google Patents
一种道路自巡检方法、装置、无人机及存储介质 Download PDFInfo
- Publication number
- CN114512005A CN114512005A CN202210136278.6A CN202210136278A CN114512005A CN 114512005 A CN114512005 A CN 114512005A CN 202210136278 A CN202210136278 A CN 202210136278A CN 114512005 A CN114512005 A CN 114512005A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- violation
- unmanned aerial
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 230000006399 behavior Effects 0.000 claims description 71
- 230000033001 locomotion Effects 0.000 claims description 50
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000037147 athletic performance Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 9
- 230000001174 ascending effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 206010010356 Congenital anomaly Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种道路自巡检方法、装置、无人机及存储介质。该方法应用于无人机，无人机包括图像采集设备以及雷达采集设备，该方法包括：在无人机沿预设巡检航线飞行的过程中控制图像采集设备以及雷达采集设备分别采集数据；根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合；基于融合数据判断车辆的违章情况。本发明实施例，根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合；基于融合数据判断车辆的违章情况，解决了无人机巡检的单一摄像头方案存在的先天不足问题，避免出现漏检的情况，提高车辆巡检的精确性，使得巡检的视野范围增加，同时使得巡检速度更快，提高了巡检效率。
Description
技术领域
本发明实施例涉及高速公路智能巡检控制技术领域，尤其涉及一种道路自巡检方法、装置、无人机及存储介质。
背景技术
现有技术中，高速公路应急车道违章取证的传统方法是固定摄像头拍照或交警人工巡查，然而这种传统方法的覆盖面比较有限，在高速公路上交警进行现场执法存在一定的难度，同时有的路段又没有视频监控这会导致应急车道被占用，从而导致违章取证效率低下且打击力度不足易漏检。近年来，随着人工智能技术和无人机技术的逐渐成熟，无人机逐渐代替人工巡检高速公路应急车道违章，但是无人机巡检的单一摄像头方案存在一些先天不足，比如：摄像头需要兼顾目标跟踪和变焦拍照等业务，变焦拍照和目标跟踪的图像视频流无法同时输出，从而产生系统紊乱，使得巡检业务效率低下，降低了车辆违章检测的精确性。
发明内容
本发明提供一种道路自巡检方法、装置、无人机及存储介质，以实现道路的无人巡检，提高巡检效率，增加巡检的准确性。
第一方面，本发明实施例提供了一种道路自巡检方法，该方法应用于无人机，所述无人机包括图像采集设备以及雷达采集设备，所述方法包括：
在所述无人机沿预设巡检航线飞行的过程中控制所述图像采集设备以及所述雷达采集设备分别采集数据；
根据采集时间和车辆位置对所述图像采集设备和所述雷达采集设备采集的所述数据进行数据融合；
基于融合数据判断所述车辆的违章情况。
第二方面，本发明实施例还提供了一种道路自巡检装置，该装置应用于无人机，所述无人机包括图像采集设备以及雷达采集设备，所述装置包括：
数据采集模块，用于在所述无人机沿预设巡检航线飞行的过程中控制所述图像采集设备以及所述雷达采集设备分别采集数据；
数据融合模块，用于根据采集时间和车辆位置对所述图像采集设备和所述雷达采集设备采集的所述数据进行数据融合；
违章判断模块，用于基于融合数据判断所述车辆的违章情况。
第三方面，本发明实施例还提供了一种无人机，包括：固定设置于所述无人机上的图像采集设备以及雷达采集设备，还包括：一个或多个控制器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个控制器执行，使得所述一个或多个控制器实现如第一方面所述的道路自巡检方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面任一所述的道路自巡检方法。
本发明实施例上述技术方案，通过在无人机沿预设巡检航线飞行的过程中控制图像采集设备以及雷达采集设备分别采集数据；根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合；基于融合数据判断车辆的违章情况。本发明实施例，根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合；基于融合数据判断车辆的违章情况，解决了无人机巡检的单一摄像头方案存在的先天不足问题，避免出现漏检的情况，提高车辆巡检的精确性，增加巡检的视野范围，同时使得巡检更快速，提高了巡检效率。
附图说明
图1为本发明实施例一提供的一种道路自巡检方法的流程图；
图2为本发明实施例二提供的一种道路自巡检方法的流程图；
图3为本发明实施例二提供的一种道路自巡检方法的流程示意图；
图4为本发明实施例三提供的一种道路自巡检装置的结构示意图；
图5为本发明实施例四提供的一种无人机的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种道路自巡检方法的流程图，本实施例可适用于对道路进行无人巡检时的情况，该方法可以由一种道路自巡检装置来执行，该装置可以采用硬件和/或软件的方式来实现，通常可配置于无人机设备中。该方法应用于无人机，无人机包括图像采集设备以及雷达采集设备，该方法具体包括如下步骤：
S110、在无人机沿预设巡检航线飞行的过程中控制图像采集设备以及雷达采集设备分别采集数据。
其中，预设巡检航线可以理解为预先采集并制作的相关巡检路段的高精度地图中的巡检航线，高精度地图在云端服务器中存放。在无人机沿预设高精度地图中的巡检航线飞行的过程中，将无人机将要进行巡检路段的起飞的起始点以及位置与云端服务器中的高精度地图一一对应，沿着高精度地图提前设置的巡检路径进行路段巡检。
在本实施例中，数据可以理解为图像采集设备以及雷达采集设备分别所实时采集的视野范围内中的所有数据，可以包括车辆相关图像数据以及点云数据，例如可以是车辆的车身颜色、车牌号、车型以及车辆的位置信息、车辆的运动状态信息，以及车辆的运动行为等相关的数据信息；也可以包括非交通参与者，如路牙、绿化灌木、标识标牌等的相关数据，本实施例在此不做限制。需要说明的是，图像采集设备以及雷达采集设备分别实时采集的数据进入到数据处理单元，可以通过特定的神经网络算法以判断出采集的数据是否是车辆相关数据。
在本实施例中，图像采集设备可以为摄像头、摄像机、相机、视频采集卡以及具有图像采集功能的设备，图像采集设备可以提供车辆的详细外观信息，例如可以是车身颜色、车牌号以及车型等。雷达采集设备可以为激光雷达采集设备以及毫米波雷达采集设备，毫米波雷达具有高可靠性，全天候工作，可以提供目标的位置、速度等信息，激光雷达采集设备可以理解为激光技术与雷达技术相结合的产物，激光雷达的作用是能精确测量目标的位置、运动状态和形状，探测、识别、分辨和跟踪目标。
具体的，在无人机沿预先采集并制作的相关巡检路段的高精度地图中的巡检航线进行飞行的过程中，可以控制图像采集设备实时采集的数据，以及控制雷达采集设备所采集的数据，可以先采用特定的神经网络算法，例如可以是卷积神经网络，可以判断出采集的数据是否是车辆相关数据。需要说明的是，图像采集设备以及雷达采集设备实时采集的数据是同时进行的。
在本实施例中，无人机在到达巡检路径的起点时，开始起飞，沿着高精度地图提前设置的巡检路径巡飞的过程中，控制图像采集设备以及雷达采集设备分别实时沿巡检路径，采集同一区域中的数据，可以为车辆数据，也可以为非交通参与者的相关数据。
S120、根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合。
其中，采集时间可以理解为图像采集设备以及雷达采集设备分别采集数据的时间。车辆位置可以理解为车辆相对于图像采集设备和雷达采集设备位置信息。数据融合可以理解为图像采集设备所采集的车辆数据与雷达采集设备所采集的车辆数据进行数据匹配以及叠加，将两者采集的数据融合为一组数据。示例性的，将图像采集设备所采集的车辆运动状态信息与雷达采集设备所采集的车辆运动状态信息进行数据的叠加，可以得到更加精确的车辆运动状态信息。
在本实施例中，可以将图像采集设备以及雷达采集设备分别采集数据的时间，以及车辆相对于图像采集设备和雷达采集设备位置信息作为基准，对图像采集设备和雷达采集设备采集的数据进行数据匹配，融合为一组数据。需要说明的是，由于可以通过特定的神经网络算法判断图像采集设备和雷达采集设备所采集的数据是否有车辆，在判断出物体是否为车辆的基础上，即当判断物体为车辆时，可以将车辆数据中的图像数据与由高精度地图提供的车道定位信息，将数据采集模块采集到的数据过滤出感兴趣的区域车道的点云数据，进行采集时间同步，根据车辆相对于图像采集设备和雷达采集设备位置信息进行车辆数据的数据融合。
S130、基于融合数据判断车辆的违章情况。
其中，融合数据可以理解为图像采集设备和雷达采集设备所采集的数据进行数据融合之后所产生的车辆数据，融合数据中可以包含车辆的位置信息、车辆的运动状态信息以及车辆的运动行为等相关的数据信息，融合数据可以使得图像采集设备和雷达采集设备所采集的车辆数据更加精确。
在本实施例中，在通过所采集数据判断物体为车辆的基础上，可以通过图像采集设备和雷达采集设备所采集的车辆数据进行数据融合，由数据融合的结果，以判断车辆的是否存在违章行为。具体的，可以根据融合数据中的车辆的位置信息、车辆的运动状态信息以及车辆的运动行为等相关的数据信息，并根据相关违章判别规则判断车辆是否存在违章。
本发明实施例上述技术方案，通过在无人机沿预设巡检航线飞行的过程中控制图像采集设备以及雷达采集设备分别采集数据；根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合；基于融合数据判断车辆的违章情况。本发明实施例，根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合；基于融合数据判断车辆的违章情况，解决了无人机巡检的单一摄像头方案存在的先天不足问题，避免出现漏检的情况，提高车辆违章检测的精确性，使得巡检的视野范围增加，同时使得巡检速度更快，提高了巡检效率。
可选的，道路自巡检方法，还包括：
采集并制作巡检航线的高精度地图，并存放高精度地图于云端服务器。
其中，高精度地图也可以称为自动驾驶地图、高分辨率地图。高精度地图具有准确而且全面地表征道路特征，并要求更高的实时性。
在本实施例中，可以在无人机沿预设巡检航线飞行之前，采集并制作巡检航线的高精度地图，也可以在无人机沿预设巡检航线飞行过程中，采集并制作巡检航线的高精度地图，并实时存放高精度地图于云端服务器。
实施例二
图2为本发明实施例二提供的一种道路自巡检方法的流程图。本实施例在上述各实施例的基础上，对控制图像采集设备以及雷达采集设备分别采集数据、根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合以及基于融合数据判断车辆的违章情况，进行了进一步的细化。具体可以包含如下步骤：
S210、在无人机沿预设巡检航线飞行的过程中，控制图像采集设备采集图像数据。
其中，图像数据可以理解为图像采集设备所采集的相关图像数据，例如可以是无人机相对车辆的位置信息，可以包括图像坐标系下的坐标信息和像素信息等。
在本实施例中，在无人机沿预设巡检航线飞行的过程中，图像采集设备可以实时获取视频流以及相关图像数据，并将图像采集设备获取的图像数据实时的发送至总线。
S220、控制雷达采集设备采集点云数据，并在高精度地图中过滤出感兴趣区域车道的点云数据。
其中，感兴趣区域车道可以理解为在无人机沿预设巡检航线飞行的过程中，雷达采集设备所采集车辆的前方的车道线区域。示例性的，若无人机巡检航线为上行道区域，则雷达采集设备感兴趣区域车道为上行道区域；若无人机巡检航线为下行道区域，则雷达采集设备感兴趣区域车道为下行道区域。
在本实施例中，感兴趣区域车道存放在高精度地图中，可以通过前端人工进行输入，例如可以是通过前端手持设备在无人机巡检前进行输入感兴趣区域车道，也可以在无人机巡飞过程中进行输入感兴趣区域车道。需要说明的是，可以根据高精度地图提供的车道定位信息，将数据采集模块采集到的数据过滤出感兴趣的区域车道或者感兴趣的区域车道的有效数据。其中，点云数据可以理解为雷达采集设备所采集的相关点云数据，例如可以是雷达坐标系下的位置信息，如坐标信息等。
S230、针对各图像数据分别确定具有相同的采集时间的目标点云数据。
其中，目标点云数据可以理解为在同一区域内，图像采集设备采集时间与雷达采集设备采集时间相同时，以雷达采集设备为基准坐标系下的点云数据。
在本实施例中，对于图像采集设备所采集的各图像数据，可以通过时间同步，在对同一个区域，确定具有与图像采集设备采集时间与雷达采集设备采集时间相同雷达采集设备下的目标点云数据。
S240、将图像数据从图像采集设备坐标系转换到雷达采集设备坐标系下。
在本实施例中，可以通过坐标转换，将图像采集设备所采集的图像数据从图像采集设备坐标系转换到雷达采集设备坐标系下，以通过位置信息的叠加实现数据融合。
S250、按照目标点云数据中车辆位置将图像数据叠加到目标点云数据以实现数据融合。
在本实施例中，通过图像采集设备与雷达采集设备采集的数据，使用特定的神经网络算法以判断物体为车辆的基础上，可以按照图像采集设备与雷达采集设备采集时间相同时，以雷达采集设备为基准坐标系下的目标点云数据中的车辆位置，例如可以是车辆坐标信息等，将图像采集设备所采集的图像数据叠加到以雷达采集设备为基准坐标系下的目标点云数据中，以实现图像数据与点云数据的融合。
S260、在融合数据提取至少一个车辆的运动行为数据。
其中，运动行为数据可以理解为车辆的运行状态数据，例如可以为车辆处于静止状态的相关数据信息，也可以为车辆处于正常行驶过程中的相关数据信息，还可以为车辆处于超速状态的相关数据信息；本实施例在此不做限制。
在本实施例中，可以通过模式识别的方法，在图像数据与点云数据的融合数据中提取出至少一个车辆的运行状态数据信息。
S270、使用预设违章行为集中的判别规则确定运动行为数据是否满足违章条件，若满足，则执行S280；若不满足，则执行S290。
其中，预设违章行为集可以理解为预先设置的违章行为集合，预设违章行为集可以包括车辆静止违章、车辆实线变道违章、车辆的车速违章以及应急车道违章等。
需要说明的是，在高精度地图中，无人机巡航路段均有相对应的车道信息，示例性的应急车道的信息，左转弯车道的信息，直行车道的信息等，每个车道信息中均有相对应的标准车速信息、车辆变道信息等，可以根据高精度地图得出巡航路段的标准车速、是否可以变道以及是否可以停车等信息，可以将此信息存入预设违章行为集，用于判断车辆的运动行为数据是否满足违章条件。
在本实施例中，在融合数据提取多个车辆的运动行为数据之后，可以根据车辆的运动行为数据，使用预先设置的违章行为集合中的判别规则，以判断车辆的运动行为数据是否满足违章条件，在车辆的运动行为数据满足违章条件时，可以根据帧数据对应的车辆位置信息，判断车辆的违章行为，在确定车辆违章的情况下，对违章车辆进行违章取证，并进行后续操作；在车辆的运动行为数据不满足违章条件时，控制无人机沿巡检航线继续续航，并重复数据融合的操作，以判断车辆是否违章。
可选的，使用预设违章行为集中的判别规则确定运动行为数据是否满足违章条件，包括：
存在至少两帧运动行为数据对应的车辆位置相同，确定车辆为静止违章；存在至少两帧运动行为数据对应的车辆位置位于相同实线两侧，确定车辆为实线变道违章；存在至少两帧运动行为数据对应的车辆速度超出或低于标准车速范围，确定车辆处于车速违章；存在至少一帧运动行为数据对应的车辆位置位于应急车道，确定车辆处于应急车道违章。
在本实施例中，可以通过模式识别的方法，通过帧数据对应的车辆位置信息，以判断车辆的违章行为。具体的，在至少两帧运动行为数据对应的车辆位置位于相同实线两侧的情况下，可以认为此时车辆为实线变道违章行为；在存在至少两帧运动行为数据对应的车辆速度超出或低于标准车速范围的情况下，可以认为车辆处于车速违章行为；在存在至少一帧运动行为数据对应的车辆位置位于应急车道的情况下，认为车辆处于应急车道违章行为。
S280、对车辆的违章行为进行取证。
在本实施例中，在车辆的运动行为数据满足违章条件时，可以根据帧数据对应的车辆位置信息，判断车辆的违章行为，在确定车辆违章后，对违章的车辆进行取证。具体的，可以在捕获违章车辆后，使用雷达采集设备进行目标跟踪，拍照存储违章车辆的照片。
可选的，对车辆的违章行为进行取证，包括：
控制雷达设备跟踪车辆；
控制图像采集设备变焦后采集对车辆的违章行为的至少一帧违章图片；
存储至少一帧违章图像，控制无人机结束取证。
在本实施例中，在对文章车辆进行取证时，在捕获违章车辆后，使用雷达采集设备进行测距，并进行目标跟踪，释放摄像头检测车辆并使用图像采集设备进行变焦，之后使用图像采集设备采集对车辆的违章行为的至少一帧违章图片，并将违章照片进行存储，控制无人机结束取证，使得变焦拍照和目标跟踪的图像视频流可以同时输出，进一步提高巡检的效率。
需要说明的是，在无人机结束取证后，图像采集设备的图像采集任务可以重新启动，并继续重复数据融合的操作，遍历车辆的运动行为数据，以判断车辆是否违章。
S290、控制无人机继续巡检直到无人机巡检航线终点。
在本实施例中，可以在车辆的运动行为数据不满足违章条件时，控制无人机沿巡检航线继续续航，重复数据融合的操作，以判断车辆是否违章，直至无人机巡检航线终点；也可以在车辆的运动行为数据不满足违章条件时，控制无人机继续巡检直到无人机巡检航线终点。示例性的，
本发明上述技术方案，通过在无人机沿预设巡检航线飞行的过程中控制图像采集设备采集图像数据；控制雷达采集设备采集点云数据，并在高精度地图中过滤出感兴趣区域车道的点云数据，针对各图像数据分别确定具有相同的采集时间的目标点云数据；将图像数据从图像采集设备坐标系转换到雷达采集设备坐标系下；按照目标点云数据中车辆位置将图像数据叠加到目标点云数据以实现数据融合。在融合数据提取至少一个车辆的运动行为数据；使用预设违章行为集中的判别规则确定运动行为数据是否满足违章条件；若满足，则对车辆的违章行为进行取证，若不满足，则控制无人机继续巡检直到无人机巡检航线终点。本发明实施例，通过针对各图像数据分别确定具有相同的采集时间的目标点云数据；将图像数据从图像采集设备坐标系转换到雷达采集设备坐标系下；按照目标点云数据中车辆位置将图像数据叠加到目标点云数据以实现数据融合，进一步解决了无人机巡检的单一摄像头方案存在的先天不足问题，增加了巡检的视野范围，避免出现漏检的情况，提高车辆巡检的精确性。通过在融合数据提取至少一个车辆的运动行为数据；使用预设违章行为集中的判别规则确定运动行为数据是否满足违章条件；若满足，则对车辆的违章行为进行取证，若不满足，则控制无人机继续巡检直到无人机巡检航线终点，进一步提高了巡检效率，使得巡检速度更快。
示例性的，为便于更好的理解道路自巡检方法，图3为本发明实施例二提供的一种道路自巡检方法的流程示意图。其中，图像采集设备为摄像头；雷达采集设备为激光雷达，巡检道路为上行道。如图3所示，道路自巡检方法的具体步骤为：
S301、采集并制作巡检航线的高精度地图，并存放高精度地图于云端服务器。
在本实施例中，采集并制作巡检航线的高精度地图，并存放高精度地图于云端服务器。
S302、根据高精度地图生成巡检路径。
S303、无人机开始起飞。
S304、到达巡检路径的起点。
在本实施例中，无人机从起飞点起飞，沿着高精度地图提前设置的巡检路径巡飞。
S305、沿线飞行实时点云匹配定位。
S306、从高精度地图中过滤出感兴趣车道。
在本实施例中，由于高精度地图对巡检路段进行了完整建模，激光雷达可以只探测感兴趣的车道(如上行车道)上的车辆。
S307、图像采集设备和雷达采集设备采集的数据进行数据融合，以检测上行车道车辆。
在本实施例中，图像检测和雷达检测同时进行，在时间同步的基础上做数据融合，联合判定车辆，以及车辆的运动行为，其中，车辆的运动行为可以为静止、低速、实线变道、超速、应急道行驶等。
S308、遍历上行车道车辆运动行为。
S309、将上行车道车辆运动行为与预设违章行为集进行匹配，判断车辆是否为违章行为，若是，则执行S310；若否，则执行S312。
S310、捕捉车辆后雷达采集设备测距跟踪目标。
在本实施例中，在对违章行为进行取证时，激光雷达对单目标测距反馈给控制系统对该目标跟踪，释放摄像头的图像检测任务，变焦拍照取证，直至违章目标全部取证结束。
S311、释放图像采集设备检测目标，并变焦拍照存储。
在本实施例中，释放摄像头检测目标，并变焦拍照存储之后，可以再次进入正常巡逻流程，图像采集设备的图像检测任务重启，继续与雷达采集设备做数据融合，以准确抓取目标。
S312、继续巡检，直到无人机巡检航线终点。
在本实施例中，再次进入正常巡检流程，图像采集设备的图像检测任务重启，继续与雷达采集设备做数据融合，以准确抓取目标。也即继续巡检并返回执行图像采集设备和雷达采集设备采集的车辆数据进行数据融合，遍历车辆的运动行为，并与预设违章行为集进行匹配的操作。
在本实施例中，如果巡检路段只有上行道，在巡检完上行道之后，直接结束任务；如果巡检路段还有下行道，则在当上行道检测完之后，无人机可以掉头到下行到继续进行巡检，在完成巡检任务后结束任务。
S313、结束返航。
实施例三
图4为本发明实施例三提供的一种道路自巡检装置的结构示意图。本实施例所提供的一种道路自巡检装置可以通过软件和/或硬件来实现，可配置于服务器中来实现本发明实施例中的一种道路自巡检方法。如图4所示，该装置应用于无人机，所述无人机包括图像采集设备以及雷达采集设备，该装置具体可包括：数据采集模块410、数据融合模块420、违章判断模块430。
其中，数据采集模块410，用于在所述无人机沿预设巡检航线飞行的过程中控制所述图像采集设备以及所述雷达采集设备分别采集数据。
数据融合模块420，用于根据采集时间和车辆位置对所述图像采集设备和所述雷达采集设备采集的所述车辆数据进行数据融合。
违章判断模块430，用于基于融合数据判断所述车辆的违章情况。
本发明实施例上述技术方案，数据采集模块，通过在无人机沿预设巡检航线飞行的过程中控制图像采集设备以及雷达采集设备分别采集数据；数据融合模块，根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合；违章判断模块，基于融合数据判断车辆的违章情况。本发明实施例，根据采集时间和车辆位置对图像采集设备和雷达采集设备采集的数据进行数据融合；基于融合数据判断车辆的违章情况，解决了无人机巡检的单一摄像头方案存在的先天不足问题，避免出现漏检的情况，提高车辆巡检的精确性，使得巡检的视野范围增加，同时使得巡检速度更快，提高了巡检效率。
可选的，数据采集模块410，包括：
第一数据采集单元，用于控制所述图像采集设备采集图像数据。
第二数据采集单元，用于控制所述雷达采集设备采集点云数据，并在高精度地图中过滤出感兴趣区域车道的所述点云数据。
可选的，数据融合模块420，包括：
点云数据确定单元，用于针对各所述图像数据分别确定具有相同的所述采集时间的所述目标点云数据。
坐标转换单元，用于将所述图像数据从所述图像采集设备坐标系转换到所述雷达采集设备坐标系下。
数据融合单元，用于按照所述目标点云数据中所述车辆位置将所述图像数据叠加到所述目标点云数据以实现数据融合。
可选的，违章判断模块430，包括：
数据提取单元，用于在所述融合数据提取至少一个所述车辆的运动行为数据。
违章确定单元，用于使用预设违章行为集中的判别规则确定所述运动行为数据是否满足违章条件。
取证单元，用于若满足，则对所述车辆的违章行为进行取证。
巡航单元，用于若不满足，则控制所述无人机继续巡检直到所述无人机巡检航线终点。
可选的，违章确定单元，包括：
静止违章确定子单元，用于存在至少两帧所述运动行为数据对应的车辆位置相同，确定所述车辆为静止违章。
实线变道违章确定子单元，用于存在至少两帧所述运动行为数据对应的车辆位置位于相同实线两侧，确定所述车辆为实线变道违章。
车速违章子单元，用于存在至少两帧所述运动行为数据对应的车辆速度超出或低于标准车速范围，确定所述车辆处于车速违章。
应急车道违章子单元，用于存在至少一帧所述运动行为数据对应的车辆位置位于应急车道，确定所述车辆处于应急车道违章。
可选的，取证单元，包括：
车辆控制子单元，用于控制所述雷达设备跟踪所述车辆。
图片采集单元，用于控制所述图像采集设备变焦后采集对所述车辆的违章行为的至少一帧违章图片。
图片存储单元，用于存储所述至少一帧违章图像，控制所述无人机结束取证。
本发明实施例所提供的道路自巡检装置可执行本发明任意实施例所提供的道路自巡检方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种无人机的结构示意图，如图5所示，该无人机510包括无人机上的图像采集设备520以及雷达采集设备530、控制器540、存储器550、输入装置560和输出装置570；无人机中控制器540的数量可以是一个或多个，图5中以一个控制器540为例；无人机中的控制器540、存储器550、输入装置560和输出装置570可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器550作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的道路自巡检方法对应的程序指令/模块(例如，道路自巡检装置中的数据采集模块410、数据融合模块420以及违章判断模块430)。控制器540通过运行存储在存储器550中的软件程序、指令以及模块，从而执行无人机的各种功能应用以及数据处理，即实现上述的道路自巡检方法。
存储器550可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器550可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器550可进一步包括相对于控制器540远程设置的存储器，这些远程存储器可以通过网络连接至无人机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置560可用于接收输入的数字或字符信息，以及产生与无人机的用户设置以及功能控制有关的键信号输入。输出装置570可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种道路自巡检方法，该方法包括：
在所述无人机沿预设巡检航线飞行的过程中控制所述图像采集设备以及所述雷达采集设备分别采集数据；
根据采集时间和车辆位置对所述图像采集设备和所述雷达采集设备采集的所述数据进行数据融合；
基于融合数据判断所述车辆的违章情况。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的道路自巡检方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种道路自巡检方法，其特征在于，应用于无人机，所述无人机包括图像采集设备以及雷达采集设备，所述方法包括：
在所述无人机沿预设巡检航线飞行的过程中控制所述图像采集设备以及所述雷达采集设备分别采集数据；
根据采集时间和车辆位置对所述图像采集设备和所述雷达采集设备采集的所述数据进行数据融合；
基于融合数据判断所述车辆的违章情况。
2.根据权利要求1所述方法，其特征在于，所述控制所述图像采集设备以及所述雷达采集设备分别采集数据，包括：
控制所述图像采集设备采集图像数据；
控制所述雷达采集设备采集点云数据，并在高精度地图中过滤出感兴趣区域车道的所述点云数据。
3.根据权利要求1或2所述的方法，其特征在于，所述根据采集时间和车辆位置对所述图像采集设备和所述雷达采集设备采集的所述数据进行数据融合，包括：
针对各所述图像数据分别确定具有相同的所述采集时间的所述目标点云数据；
将所述图像数据从所述图像采集设备坐标系转换到所述雷达采集设备坐标系下；
按照所述目标点云数据中所述车辆位置将所述图像数据叠加到所述目标点云数据以实现数据融合。
4.根据权利要求1所述的方法，其特征在于，所述基于融合数据判断所述车辆的违章情况，包括：
在所述融合数据提取至少一个所述车辆的运动行为数据；
使用预设违章行为集中的判别规则确定所述运动行为数据是否满足违章条件；
若满足，则对所述车辆的违章行为进行取证，若不满足，则控制所述无人机继续巡检直到所述无人机巡检航线终点。
5.根据权利要求4所述方法，其特征在于，所述使用预设违章行为集中的判别规则确定所述运动行为数据是否满足违章条件，包括：
存在至少两帧所述运动行为数据对应的车辆位置相同，确定所述车辆为静止违章；
存在至少两帧所述运动行为数据对应的车辆位置位于相同实线两侧，确定所述车辆为实线变道违章；
存在至少两帧所述运动行为数据对应的车辆速度超出或低于标准车速范围，确定所述车辆处于车速违章；
存在至少一帧所述运动行为数据对应的车辆位置位于应急车道，确定所述车辆处于应急车道违章。
6.根据权利要求4所述的方法，其特征在于，所述对所述车辆的违章行为进行取证，包括：
控制所述雷达设备跟踪所述车辆；
控制所述图像采集设备变焦后采集对所述车辆的违章行为的至少一帧违章图片；
存储所述至少一帧违章图像，控制所述无人机结束取证。
7.根据权利要求1所述的方法，其特征在于，还包括：
采集并制作所述巡检航线的高精度地图，并存放所述高精度地图于云端服务器。
8.一种道路自巡检装置，其特征在于，应用于无人机，所述无人机包括图像采集设备以及雷达采集设备，所述装置包括：
数据采集模块，用于在所述无人机沿预设巡检航线飞行的过程中控制所述图像采集设备以及所述雷达采集设备分别采集数据；
数据融合模块，用于根据采集时间和车辆位置对所述图像采集设备和所述雷达采集设备采集的所述数据进行数据融合；
违章判断模块，用于基于融合数据判断所述车辆的违章情况。
9.一种无人机，包括：固定设置于所述无人机上的图像采集设备以及雷达采集设备，还包括：一个或多个控制器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个控制器执行，使得所述一个或多个控制器实现如权利要求1-7中任一所述的道路自巡检方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的道路自巡检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210136278.6A CN114512005B (zh) | 2022-02-15 | 2022-02-15 | 一种道路自巡检方法、装置、无人机及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210136278.6A CN114512005B (zh) | 2022-02-15 | 2022-02-15 | 一种道路自巡检方法、装置、无人机及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114512005A true CN114512005A (zh) | 2022-05-17 |
| CN114512005B CN114512005B (zh) | 2023-04-04 |
Family
ID=81552257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210136278.6A Active CN114512005B (zh) | 2022-02-15 | 2022-02-15 | 一种道路自巡检方法、装置、无人机及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114512005B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116592906A (zh) * | 2023-07-17 | 2023-08-15 | 巢湖学院 | 一种车道线识别导航方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101213579A (zh) * | 2005-06-30 | 2008-07-02 | 普兰纳姆威申有限公司 | 监测沿预定路径发生的禁止运动的监视系统和方法 |
| CN109358640A (zh) * | 2018-10-15 | 2019-02-19 | 广东电网有限责任公司 | 一种无人机激光探测实时可视化方法、系统及存储介质 |
| CN110648540A (zh) * | 2019-09-09 | 2020-01-03 | 安徽师范大学 | 基于无人机的高速公路紧急车道占用跟踪系统及方法 |
| CN112489417A (zh) * | 2020-10-19 | 2021-03-12 | 苏州创存数字科技有限公司 | 一种基于速度识别的智能交通监测方法及其系统 |
| CN112562345A (zh) * | 2020-11-26 | 2021-03-26 | 南京信息工程大学 | 一种基于无人机的交通违章监控方法 |
| CN113593250A (zh) * | 2021-07-12 | 2021-11-02 | 浙江工贸职业技术学院 | 一种基于视觉识别的违章停车检测系统 |
-
2022
- 2022-02-15 CN CN202210136278.6A patent/CN114512005B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101213579A (zh) * | 2005-06-30 | 2008-07-02 | 普兰纳姆威申有限公司 | 监测沿预定路径发生的禁止运动的监视系统和方法 |
| CN109358640A (zh) * | 2018-10-15 | 2019-02-19 | 广东电网有限责任公司 | 一种无人机激光探测实时可视化方法、系统及存储介质 |
| CN110648540A (zh) * | 2019-09-09 | 2020-01-03 | 安徽师范大学 | 基于无人机的高速公路紧急车道占用跟踪系统及方法 |
| CN112489417A (zh) * | 2020-10-19 | 2021-03-12 | 苏州创存数字科技有限公司 | 一种基于速度识别的智能交通监测方法及其系统 |
| CN112562345A (zh) * | 2020-11-26 | 2021-03-26 | 南京信息工程大学 | 一种基于无人机的交通违章监控方法 |
| CN113593250A (zh) * | 2021-07-12 | 2021-11-02 | 浙江工贸职业技术学院 | 一种基于视觉识别的违章停车检测系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116592906A (zh) * | 2023-07-17 | 2023-08-15 | 巢湖学院 | 一种车道线识别导航方法及系统 |
| CN116592906B (zh) * | 2023-07-17 | 2023-09-22 | 巢湖学院 | 一种车道线识别导航方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114512005B (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112201051B (zh) | 一种无人机端路面车辆违停检测及取证系统和方法 | |
| CN108154686A (zh) | 一种车载违章行为抓拍系统 | |
| CN111126235A (zh) | 一种船只违章停泊检测处理方法及装置 | |
| CN106092123B (zh) | 一种视频导航方法及装置 | |
| CN113326719A (zh) | 一种用于目标追踪的方法、设备及系统 | |
| CN110033622A (zh) | 基于无人机航摄技术的违法抓拍占用应急车道方法 | |
| CN113676702A (zh) | 基于视频流的目标追踪监测方法、系统、装置及存储介质 | |
| CN114512005B (zh) | 一种道路自巡检方法、装置、无人机及存储介质 | |
| CN115909240A (zh) | 一种基于车道线和车辆识别的道路拥堵检测方法 | |
| CN116580567A (zh) | 基于智能交通灯的道路拥堵原因获取方法、系统及设备 | |
| CN207938184U (zh) | 一种车载违章行为抓拍系统 | |
| CN114415708A (zh) | 一种道路自巡检方法、装置、无人机及存储介质 | |
| Zheng | Developing a traffic safety diagnostics system for unmanned aerial vehicles usingdeep learning algorithms | |
| Ke et al. | Edge computing for real-time near-crash detection for smart transportation applications | |
| CN111339834B (zh) | 车辆行驶方向的识别方法、计算机设备及存储介质 | |
| CN116524718A (zh) | 一种路口数据的远程可视化处理方法和系统 | |
| CN116794650A (zh) | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 | |
| CN110414392A (zh) | 一种障碍物距离的确定方法及装置 | |
| CN206259023U (zh) | 一种智能交通违章信息采集装置 | |
| Pan et al. | Identifying Vehicles Dynamically on Freeway CCTV Images through the YOLO Deep Learning Model. | |
| CN114241373A (zh) | 一种端到端的车辆行为检测方法、系统、设备及存储介质 | |
| CN113837222A (zh) | 一种用于毫米波雷达路口车流量监测系统的云边协同的机器学习部署应用方法及装置 | |
| CN113850112A (zh) | 基于孪生神经网络的路况识别方法和系统 | |
| CN113128847A (zh) | 一种基于激光雷达的出入口匝道实时风险预警系统及方法 | |
| CN113850111A (zh) | 基于语义分割和神经网络技术的路况识别方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |