CN114415708A - 一种道路自巡检方法、装置、无人机及存储介质 - Google Patents

一种道路自巡检方法、装置、无人机及存储介质 Download PDF

Info

Publication number
CN114415708A
CN114415708A CN202210078537.4A CN202210078537A CN114415708A CN 114415708 A CN114415708 A CN 114415708A CN 202210078537 A CN202210078537 A CN 202210078537A CN 114415708 A CN114415708 A CN 114415708A
Authority
CN
China
Prior art keywords
road
unmanned aerial
flight
aerial vehicle
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210078537.4A
Other languages
English (en)
Inventor
苏阔
程亮
邓刚林
陈冰岩
胡冬
宋军
曹亚兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fuya Intelligent Technology Co ltd
Original Assignee
Shanghai Fuya Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fuya Intelligent Technology Co ltd filed Critical Shanghai Fuya Intelligent Technology Co ltd
Priority to CN202210078537.4A priority Critical patent/CN114415708A/zh
Publication of CN114415708A publication Critical patent/CN114415708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种道路自巡检方法、装置、无人机及存储介质。该方法应用于无人机,无人机包括无人机本体以及云台摄像机,该方法包括:在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;通过对各道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;接收到车辆巡检指令时根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测;返回重新执行道路图像的采集操作,直至达到飞行终点。本发明实施例,通过对各道路图像的识别处理,进行飞行航线校正,并根据各道路图像对所巡检道路中的车辆进行驾驶行为检测,提高了巡检效率,且巡检的视野范围广,不受道路交通状况的限制。

Description

一种道路自巡检方法、装置、无人机及存储介质
技术领域
本发明实施例涉及高速公路智能巡检控制技术领域,尤其涉及一种道路自巡检方法、装置、无人机及存储介质。
背景技术
随着人工飞手操作无人机进行巡检的逐渐推广,减轻交通管理人员的劳动强度,提高巡检效率与质量的需求逐渐凸显。现有技术中,在无人机交通巡检规划时,需提前规划无人机飞行航线后才能够进行自动化巡检,可主要分为两种形式,一种是人工示教航点生成航线;另一种是使用地理信息系统(Geographic Information System,GIS)点云地图航迹规划。人工示教航点生成航线,需要无人机飞手携带无人机设备前往现场,并对巡检目标路段的所有巡检点位进行拍照点人工示教,生成并保存无人机飞行航线文件,并进行现场航线验证,在后续正式对路段进行精细化巡检时,无人机可直接加载所需巡检目标的航线文件进行航线复飞完成交通巡检。GIS点云地图航迹规划,则首先需要使用无人机搭载激光雷达对目标进行激光扫描,生成点云地图或无人机搭载可见光倾斜对目标摄像,并进行数据处理生成点云地图,而后人工在三维点云地图上手动标注航点生成无人机飞行航线,无人机巡检时便根据点云地图上生成航线进行道路交通的巡检。由此可见,无论使用上述两种方法中的哪种方法,为能够实现全自动巡检,都需要投入较大人力、物力做前期准备,同时需要较多的先验信息,且每次准备的先验信息只能适用于一个路段,不具备通用性,不能够真正做到智能化低成本自主巡检,进而使得巡检效率大大降低。
发明内容
本发明提供一种道路自巡检方法、装置、无人机及存储介质,以实现对道路的自巡检,提高巡检效率,减轻人工巡检压力。
第一方面,本发明实施例提供了一种道路自巡检方法,该方法应用于无人机,所述无人机包括无人机本体以及云台摄像机,所述方法包括:
在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;
通过对各所述道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;
接收到车辆巡检指令时根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测;
返回重新执行道路图像的采集操作,直至达到飞行终点。
第二方面,本发明实施例还提供了一种道路自巡检装置,该装置应用于无人机,所述无人机包括无人机本体以及云台摄像机,所述装置包括:
第一采集模块,用于在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;
飞行控制模块,用于通过对各所述道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;
车辆检测模块,用于接收到车辆巡检指令时根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测;
第二采集模块,用于返回重新执行道路图像的采集操作,直至达到飞行终点。
第三方面,本发明实施例还提供了一种无人机,包括:无人机本体、固定设置于所述无人机本体上的云台摄像机、还包括:一个或多个控制器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个控制器执行,使得所述一个或多个控制器实现如第一方面所述的道路自巡检方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如第一方面任一所述的道路自巡检方法。
本发明通过在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;通过对各道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;接收到车辆巡检指令时根据各道路图像对所巡检道路中的车辆进行驾驶行为检测;返回重新执行道路图像的采集操作,直至达到飞行终点。本发明实施例,通过对各道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;根据各道路图像对所巡检道路中的车辆进行驾驶行为检测,提高了巡检效率,大大减轻人工巡检压力,且巡检的视野范围广,不受道路交通状况的限制。与现有技术相比,所采用的道路自巡检方法,具备一定的通用性,无需大量的先验信息,也无需提前进行示教飞行和点云数据采集,节省了人力以及物力,降低了成本,大大减轻人工巡检压力,提升巡检效率。
附图说明
图1为本发明实施例一提供的一种道路自巡检方法的流程图;
图2为本发明实施例二提供的一种道路自巡检方法的流程图;
图3为本发明实施例二提供的一种道路自巡检方法的流程示意图;
图4为本发明实施例二提供的一种无人机姿态矫正阶段的流程示意图;
图5为本发明实施例二提供的一种违章驾驶行为检测阶段的流程示意图;
图6为本发明实施例三提供的一种道路自巡检装置的结构示意图;
图7为本发明实施例四提供的一种无人机的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种道路自巡检方法的流程图,本实施例可适用于对道路进行自巡检时的情况,该方法可以由一种道路自巡检装置来执行,该装置可以采用硬件和/或软件的方式来实现,通常可配置于无人机设备中。该方法应用于无人机,无人机包括无人机本体以及云台摄像机,该方法具体包括如下步骤:
S110、在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像。
其中,设定捕获周期可以理解为预先设置的对所巡检道路的道路图像进行采集的周期。在一个捕获周期采集完之后,进行下一个捕获周期的道路图像的采集。
在本实施例中,无人机包含无人机本体以及云台摄像机。其中,云台摄像机可以理解为带有云台的摄像机,云台是安装、固定摄像机的支撑设备,云台摄像机带有承载摄像机进行水平和垂直两个方向转动的装置,把摄像机装云台上能使摄像机从多个角度对所巡检的道路进行摄像,水平及垂直转动的角度大小可通过限位开关进行调整。
具体的,可以在无人机中输入所巡检道路开始以及结束的高精度无线电导航的定位系统(Global Positioning System,GPS),飞机在到达所巡检道路开始点时,持续攀升直至无人机本体到达安全高度并进入稳定飞行状态。
在本实施例中,在无人机本体进入稳定飞行状态后,可以控制云台摄像机按照预先设定的捕获周期,以采集无人机所巡检道路的道路图像。其中,道路图像中可以包含有车辆、车道线、车道路面等。
S120、通过对各道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行。
在本实施例中,可以将云台摄像机按照预先设定的捕获周期,采集所巡检道路的道路图像,然后对所采集的各道路图像进行相应的识别处理,以对无人机本体的飞行航线进行一定的矫正,使得无人机本体,按照校正后的飞行航线进行飞行。
具体的,在对道路的路面以及车道线进行检测之后,若无人机本体的飞行航线与实际飞行航线出现一定的偏差,则需要对飞行姿态进行调整,以通过飞行姿态的调整,以调整飞行航线,可以是将各道路图像输入分割网络模型中,对车道线和车道路面进行检测,以通过分割网络模型得到车道线分割图以及车道路面分割图,并结合云台摄像机中的相关数据,以确定所巡检道路的路面中心点沿线,当路面中心点沿线与所采集的各道路图像上画幅中心的偏差达到某个阈值时,可以根据车道线分割图、路面中心点及画幅中心,进行校正无人机本体的飞行航线。
S130、接收到车辆巡检指令时根据各道路图像对所巡检道路中的车辆进行驾驶行为检测。
其中,车辆巡检指令可以理解为对道路中的车辆进行开始巡检时的相关指令。
在本实施例中,无人机本体按照校正后的飞行航线进行飞行后,在接收到车辆巡检指令时,云台摄像机按照预先设定的捕获周期所采集的巡检道路中的道路图像,对所巡检道路中的车辆进行驾驶行为检测。其中,驾驶行为检测的结果可以为正常驾驶行为,也可以为违章驾驶行为。
具体的,可以采用多目标跟踪算法,对所采集的各道路图像进行处理,以获得所巡检道路中行驶车辆的车辆目标框,对道路环境进行一定的处理,以确定所巡检道路中车道线位置,例如可以是应急车道的车道线位置,以根据所巡检道路中行驶车辆的车辆目标框,以及所巡检道路中的车道线位置,对相应车辆进行驾驶行为检测。其中,多目标跟踪算法可以理解为对各道路图像中的多个目标车辆进行跟踪。车辆目标框可以理解为根据多目标跟踪算法所得到的所巡检道路中每个行驶车辆的相应的车辆目标框。
S140、返回重新执行道路图像的采集操作,直至达到飞行终点。
在本实施例中,在云台摄像机按照预先设定的捕获周期,采集所巡检道路的道路图像,并根据各道路图像对所巡检道路中的车辆进行驾驶行为检测之后,返回重新执行道路图像的采集操作,直至达到无人机本体飞行的终点。
本发明通过在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;通过对各道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;接收到车辆巡检指令时根据各道路图像对所巡检道路中的车辆进行驾驶行为检测;返回重新执行道路图像的采集操作,直至达到飞行终点。本发明实施例,通过对各道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;根据各道路图像对所巡检道路中的车辆进行驾驶行为检测,提高了巡检效率,大大减轻人工巡检压力。与现有技术相比,所采用的道路自巡检方法,具备一定的通用性,无需大量的先验信息,也无需提前进行示教飞行和点云数据采集,节省了人力以及物力,降低了成本,大大减轻人工巡检压力,提升巡检效率。
可选的,在根据各道路图像对所巡检道路中的车辆进行驾驶行为检测之后,还包括:
如果存在驾驶行为检测结果为违章驾驶的违章车辆,则采用单目标跟随算法控制云台摄像机实时跟踪违章车辆,获得违章车辆的车辆放大图像。
其中,单目标跟随算法可以理解为对各道路图像中,单个目标车辆进行跟踪。
在本实施中,如果驾驶行为的检测结果为违章驾驶的违章车辆,则采用单目标跟随算法,以控制云台摄像机实时的跟踪违章车辆,并可以采用跟踪优化算法确定违章车辆的精确位置,并对确定精确位置的违章车辆的车辆图像进行放大处理。
可选的,道路自巡检方法,还包括:
基于手持终端所发送巡检启动指令中携带的飞行位置信息,确定飞行航点形成所巡检道路的初始飞行航线;
控制无人机本体按照初始飞行航线飞行并进入稳定飞行状态。
其中,手持终端可以理解具有操作系统、内存、CPU、显卡、屏幕、键盘以及具备数据传输处理能力等特性的便于携带的数据处理终端。手持终端可以与无人机进行数据通信,例如可以通过手持终端发送无人机的飞行位置信息。巡检启动指令可以理解为手持终端向无人机发送的巡检启动指令,巡检指令中包含无人机的飞行位置信息。飞行位置信息可以理解为无人机的飞行位置信息,可以包含从所巡检道路的起点到终点的相关位置信息。
在本实施例中,在进行安全检查,确定无人机的飞行起始点远离杆塔且上方区域无遮挡的情况下,手持终端可以向无人机发送巡检启动指令中所携带的飞行位置信息,确定飞行航点形成的所巡检道路的初始飞行航线,控制无人机本体按照初始飞行航线飞行,在无人机接收到巡检启动指令并进入稳定飞行状态后,使用云台摄像机对道路进行检测。
实施例二
图2为本发明实施例二提供的一种道路自巡检方法的流程图。本实施例在上述各实施例地基础上,对通过对各道路图像的识别处理,进行飞行航线校正以及根据各道路图像对所巡检道路中的车辆进行驾驶行为检测,进行了进一步的细化。具体可以包含如下步骤:
S210、在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像。
在本实施例中,在无人机本体进入稳定飞行状态后,可以控制云台摄像机按照设定的捕获周期,采集所巡检道路的道路图像。
S220、将采集的各道路图像分别输入预先训练的语义分割网络模型及车道线分割网络模型,获得路面分割图及车道线分割图。
其中,预先训练的语义分割网络模型可用于对各道路图像的路面进行分割,以得到路面分割图。语义分割网络模型,例如可以是pspnet-like模型,其目的是获知采集的各道路图像的每个像素的类别标签。预先训练的车道线分割网络模型可用于对各道路图像的车道线进行分割,以得到车道线分割图。车道线分割网络模型,例如可以是lanenet网络模型。
在本实施例中,可以将云台摄像机,按照设定捕获周期采集所巡检道路的道路图像,分别输入至预先训练的语义分割网络模型及车道线分割网络模型中,以根据预先训练的语义分割网络模型及车道线分割网络模型,获得各道路图像相对应的路面分割图及车道线分割图。其中,路面分割图可以是使用神经网络进行路面的语义分割,以得到的路面分割图。车道线分割图可以是由预先训练的车道线分割网络模型而得到。
S230、根据路面分割图结合云台摄像机的内参数据,确定所巡检道路的路面中心点沿线。
其中,路面中心点沿线可以由路面分割图和云台摄像机的内参数据所确定。云台摄像机的内参数据可以理解为在小孔成像模型中有一个光点P,其将光以直线的方式穿过纸板的小孔,也可以称为光心,射到显示纸板上,所形成的内参数据。内参可以分为内参矩阵和畸变参数矩阵。
在本实施例中,根据预先训练的语义分割网络模型,得到路面分割图之后,可以基于路面分割图并结合云台摄像机的内参数据,以确定所巡检道路的路面中心点沿线。
S240、当路面中心点沿线与所采集图像上画幅中心的偏差达到设定阈值时,根据车道线分割图、路面中心点及画幅中心,校正飞行航线,并控制无人机本体按照校正后的飞行航线飞行。
其中,画幅中心可以理解为所采集的各道路图像上的图副中心。设定阈值可以理解为预先设置的阈值。
在本实施中,当路面中心点沿线,与所采集的各道路图像上画幅中心的偏差,达到预先设置的阈值时,可以根据车道线分割图、路面中心点及画幅中心,进行校正无人机的飞行航线,并控制无人机本体按照校正后的飞行航线进行飞行。
具体的,可以先确定车道线俯视图,从车道线俯视图中计算所巡检道路中车道线中心点,基于路面中心点、画幅中心、车道线中心点以及初始飞行航线时所用的GPS点位,确定目标飞行点位,根据目标飞行点位形成校正后的飞行航线。
可选的,根据车道线分割图、路面中心点及画幅中心,校正飞行航线,包括:
根据各车道线分割图拟合形成所巡检道路的车道线表达式,通过车道线表达式确定车道线俯视图;
从车道线俯视图中计算所巡检道路中车道线中心点;
基于路面中心点、画幅中心、车道线中心点以及初始飞行航线时所用的GPS点位,确定目标飞行点位;
基于各目标飞行点位形成校正后的飞行航线。
其中,目标飞行点位由路面中心点、画幅中心、车道线中心点以及初始飞行航线时所用的GPS点位来确定。
在本实施例中,根据各车道线分割图,可以拟合成所巡检道路的车道线表达式,通过车道线表达式确定车道线俯视图,然后从车道线俯视图中,计算所巡检道路中车道线中心点,基于路面中心点、画幅中心、车道线中心点以及初始飞行航线时所用的GPS点位,可以确定目标飞行点位,最后基于各目标飞行点位形成校正后的飞行航线。
S250、采用多目标跟踪算法对各道路图像进行处理,获得所巡检道路中行驶车辆的车辆目标框。
在本实施例中,可以采用多目标跟踪算法对各车辆进行跟踪,对所采集的各道路图像进行相应的处理,以得到所巡检道路中行驶车辆的车辆目标框,也可以称为车辆筛选框。其中,车辆目标框可以理解为根据多目标跟踪算法所得到的所巡检道路中,每个行驶车辆的相应的车辆目标框。
S260、采用车道线网络分割模型对各道路环境进行处理,确定所巡检道路中目标车道的目标车道线位置。
在本实施例中,可以采用车道线网络分割模型,对各道路的环境进行一定的处理,以确定所巡检道路中目标车道的目标车道线位置。其中,目标车道可以理解为应急车道。目标车道线位置可以理解为应急车道的车道线位置,可以根据车辆目标框以及目标车道线位置对相应的车辆驾驶行为进行检测。
S270、针对每个车辆目标框,基于车辆目标框与目标车道线位置,对相应车辆的进行驾驶行为检测。
在本实施例中,对于所巡检道路中行驶车辆的每个车辆目标框,可以基于每个车辆目标框与应急车道的车道线位置,对所巡检道路中行驶车辆进行驾驶行为检测。其中,驾驶行为检测的结果可以为违章驾驶行为,也可以为安全驾驶行为。
具体的,可以根据车辆的目标框中心点、车辆目标框的各顶点位置及目标车道线位置,确定目标车道是否与车辆目标框有交叉,以根据交叉区域重叠的区域面积与目标框面积的占比,判断相应的车辆在行驶中是否存在违章驾驶。
可选的,基于车辆目标框与目标车道线位置,对相应的车辆进行驾驶行为检测,包括:
确定车辆目标框相对所巡检道路的目标框中心点、各顶点位置以及目标框面积;
根据目标框中心点、各顶点位置及目标车道线位置,确定目标车道是否与车辆目标框有交叉;
如果与车辆目标框有交叉,则确定车辆目标框与目标车道所构成重叠区域的区域面积;
当区域面积与目标框面积的占比大于设定占比阈值时,确定相应的车辆在行驶中存在违章驾驶。
其中,设定占比阈值可以理解为预先设置的面积占比阈值。设定占比阈值可用于判断对车辆在行驶过程中是否存在违章驾驶行为。目标框面积可以理解为应急车道的目标框面积。
在本实施例中,可以根据每个车辆目标框,以确定每个车辆目标框的目标框中心点、目标框的各顶点位置以及车辆所在目标框的面积,可以根据目标框的目标框中心点、目标框的各顶点位置以及应急车道的车道线位置,确定应急车道与每各车辆的目标框是否存在交叉区域,若应急车道与车辆目标框存在交叉区域,则可以将重叠区域的区域面积和目标框面积的占比,与设定占比阈值进行比较,若比较结果为大于设定占比阈值,则可以确定相应的车辆在行驶中存在违章驾驶;若小于或/和等于设定占比阈值,则可以确定相应的车辆在行驶中,不存在违章驾驶。
S280、返回重新执行道路图像的采集操作,直至达到飞行终点。
本发明实施例,通过将采集的各道路图像分别输入预先训练的语义分割网络模型及车道线分割网络模型,获得路面分割图及车道线分割图,然后根据路面分割图结合云台摄像机的内参数据,确定所巡检道路的路面中心点沿线;当路面中心点沿线与所采集图像上画幅中心的偏差达到设定阈值时,根据车道线分割图、路面中心点及画幅中心,校正飞行航线,并控制无人机本体按照校正后的飞行航线飞行,进一步提升了巡检效率。通过采用多目标跟踪算法对各道路图像进行处理,获得所巡检道路中行驶车辆的车辆目标框;采用车道线网络分割模型对各道路环境进行处理,确定所巡检道路中目标车道的目标车道线位置;针对每个车辆目标框,基于车辆目标框与目标车道线位置,对相应车辆的进行驾驶行为检测,使得车辆进行驾驶行为检测更加精确。
示例性的,为便于更好的理解道路自巡检方法,图3为本发明实施例二提供的一种道路自巡检方法的流程示意图。如图3所示,道路自巡检方法的具体步骤为:
S301、输入道路开始和结束GPS,无人机开始起飞。
在本实施例中,首先进行安全检查,确定无人机起飞点远离杆塔且上方空域无遮挡,输入道路开始和结束GPS,无人机起飞。
S302、无人机是否到达路段开始点,若是,则执行S304;若否,则执行S303。
S303、无人机持续爬升,高于安全高度时,重新执行S302。
S304、接受巡检启动指令,确定飞行航线和航点。
S305、根据巡检启动指令,开始所巡检道路的路面和车道检测。
S306、飞行航线是否与实际飞行航线出现偏差,若是,则执行S307,之后重新执行S305;若否,则执行S308。
S307、调整飞行姿态。
S308、接收到车辆巡检指令。
S309、云台摄像机扫描并识别所有行驶车辆。
S310、判断行驶车辆是否属于违章驾驶行为,若是,则执行S311;若否则执行S309。
S311、云台摄像机实时对准目标车辆。
S312、放大目标违章驾驶行为车辆,拍照进行取证。
S313、判断无人机是否到达终点,若是,则执行S315;若否,则执行S314。
S314、继续沿飞行航线和航点进行飞行。
需要说明的是,若无人机在继续沿飞行航线和航点进行飞行的过程中,飞行航线与实际飞行航线出现偏差,则需继续调整飞行姿态,然后进行道路巡检。
S315、无人机返航。
在本实施例中,在无人机任务完成后升至安全高度返航。
需要说明的是,在飞行航线与实际飞行航线出现偏差时,需要调整飞行姿态,为便于更好的理解飞机姿态矫正阶段,图4为本发明实施例二提供的一种无人机姿态矫正阶段的流程示意图。其中,如图4所示,无人机姿态矫正阶段的具体步骤为:
a1、获取云台摄像机按照设定捕获周期采集所巡检道路的道路图像。
a2、将采集的各道路图像,输入预先训练的语义分割网络模型,例如可以是Pspnet-lite模型,以得到路面分割图,然后根据得到的路面分割图,并结合云台摄像机的内参数据,可以确定所巡检道路的路面中心点沿线。
a3、将采集的各道路图像,输入预先训练的车道线分割网络模型,例如可以是Lanenet网络模型,以获得车道线分割图,然后根据各车道线分割图拟合形成所巡检道路的车道线表达式,通过车道线表达式计算车道线俯视图,并从车道线俯视图中计算所巡检道路中车道线中心点。
a4、当路面中心点沿线与所采集图像上画幅中心的偏差达到一定的阈值时,根据车道线分割图、路面中心点及画幅中心,校正飞行航线;可基于路面中心点、画幅中心、车道线中心点以及初始飞行航线时所用的GPS点位,确定目标飞行点位,并基于各目标飞行点位形成校正后的飞行航线。
a5、无人机飞行航线在校正后的道路位置上进行飞行。
需要说明的是,为便于更好的理解违章驾驶行为检测阶段的具体流程,图5为本发明实施例二提供的一种违章驾驶行为检测阶段的流程示意图。其中,如图5所示,无人机违章驾驶行为检测阶段的具体步骤为:
S501、输入无人机飞行中,云台摄像机按照设定捕获周期,采集的所巡检道路的道路图像。
S502、采用多目标跟踪算法进行车辆跟踪,并对各道路图像进行处理,得到每辆车的车辆目标框。
S503、采用车道线网络分割模型,对各道路环境进行处理,并对车道线进行检测,以得到所巡检道路中应急车道的车道线位置。
S504、确定以车辆目标框的中心点、各顶点位置及目标车道线位置所组成的车辆目标框所占应急车道的占比。
S505、根据占比,判断该车辆的行驶行为是否存在违章驾驶,若是,则执行S506;若否则执行S504。
S506、使用单目标跟随算法对违章车辆进行跟踪。
S507、使用云台摄像机实时追踪违章车辆,根据道路图像车辆目标框的位置对车辆进行对准。
S508、对道路图像中的违章驾驶车辆进行放大处理。
实施例三
图6为本发明实施例三提供的一种道路自巡检装置的结构示意图。本实施例所提供的一种道路自巡检装置可以通过软件和/或硬件来实现,可配置于服务器中来实现本发明实施例中的一种道路自巡检方法。如图6所示,该装置应用于无人机,无人机包括无人机本体以及云台摄像机,该装置具体可包括:第一采集模块610、飞行控制模块620、车辆检测模块630以及第二采集模块640。
其中,第一采集模块610,用于在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;
飞行控制模块620,用于通过对各所述道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;
车辆检测模块630,用于接收到车辆巡检指令时根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测;
第二采集模块640,用于返回重新执行道路图像的采集操作,直至达到飞行终点。
本发明实施例,飞行控制模块,通过对各道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;车辆检测模块根据各道路图像对所巡检道路中的车辆进行驾驶行为检测,提高了巡检效率,大大减轻人工巡检压力,且巡检的视野范围广,不受道路交通状况的限制。与现有技术相比,所采用的道路自巡检方法,具备一定的通用性,无需大量的先验信息,也无需提前进行示教飞行和点云数据采集,节省了人力以及物力,降低了成本,大大减轻人工巡检压力,提升巡检效率。
可选的,飞行控制模块620,包括:
分割图获取单元,用于将采集的各所述道路图像分别输入预先训练的语义分割网络模型及车道线分割网络模型,获得路面分割图及车道线分割图:
中心点沿线确定单元,用于根据所述路面分割图结合所述云台摄像机的内参数据,确定所巡检道路的路面中心点沿线;
航线矫正单元,用于当所述路面中心点沿线与所采集图像上画幅中心的偏差达到设定阈值时,根据所述车道线分割图、路面中心点及所述画幅中心,校正所述飞行航线。
可选的,航线矫正单元,包括:
俯视图确定子单元,用于根据各所述车道线分割图拟合形成所巡检道路的车道线表达式,通过所述车道线表达式确定车道线俯视图;
中心点确定子单元,用于从所述车道线俯视图中计算所巡检道路中车道线中心点;
点位确定子单元,用于基于路面中心点、画幅中心、车道线中心点以及初始飞行航线时所用的GPS点位,确定目标飞行点位;
航线校正子单元,用于基于各目标飞行点位形成校正后的飞行航线。
可选的,车辆检测模块630,包括:
目标框获取单元,用于采用多目标跟踪算法对各所述道路图像进行处理,获得所巡检道路中行驶车辆的车辆目标框;
位置确定单元,用于采用车道线网络分割模型对各所述道路环境进行处理,确定所巡检道路中目标车道的目标车道线位置;
车辆检测单元,用于针对每个车辆目标框,基于所述车辆目标框与所述目标车道线位置,对相应车辆的进行驾驶行为检测。
可选的,车辆检测单元,包括:
信息确定子单元,用于确定所述车辆目标框相对所巡检道路的目标框中心点、各顶点位置以及目标框面积;
交叉区域确定子单元,用于根据所述目标框中心点、各顶点位置及所述目标车道线位置,确定所述目标车道是否与所述车辆目标框有交叉;
面积确定子单元,用于如果与所述车辆目标框有交叉,则确定所述车辆目标框与所述目标车道所构成重叠区域的区域面积;
违章驾驶确定子单元,用于当所述区域面积与所述目标框面积的占比大于设定占比阈值时,确定相应的车辆在行驶中存在违章驾驶。
可选的,所述道路自巡检装置,还包括:
图像放大模块,用于在根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测之后,如果存在驾驶行为检测结果为违章驾驶的违章车辆,则采用单目标跟随算法控制所述云台摄像机实时跟踪所述违章车辆,获得所述违章车辆的车辆放大图像。
可选的,所述道路自巡检装置,还包括:
航线确定模块,用于基于手持终端所发送巡检启动指令中携带的飞行位置信息,确定飞行航点形成所巡检道路的初始飞行航线;
状态控制模块,用于控制无人机本体按照所述初始飞行航线飞行并进入稳定飞行状态。
本发明实施例所提供的道路自巡检装置可执行本发明任意实施例所提供的道路自巡检方法,具备执行方法相应的功能模块和有益效果。
实施例四
图7为本发明实施例四提供的一种无人机的结构示意图,如图7所示,该无人机包括无人机本体710、云台摄像机720、控制器730、存储器740、输入装置750和输出装置760;无人机中控制器730的数量可以是一个或多个,图7中以一个控制器730为例;无人机中的控制器730、存储器740、输入装置750和输出装置760可以通过总线或其他方式连接,图7中以通过总线连接为例。
存储器740作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的道路自巡检方法对应的程序指令/模块(例如,道路自巡检装置中的第一采集模块610、飞行控制模块620、车辆检测模块630以及第二采集模块640)。控制器730通过运行存储在存储器740中的软件程序、指令以及模块,从而执行无人机的各种功能应用以及数据处理,即实现上述的道路自巡检方法。
存储器740可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器740可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器740可进一步包括相对于控制器730远程设置的存储器,这些远程存储器可以通过网络连接至无人机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置750可用于接收输入的数字或字符信息,以及产生与无人机的用户设置以及功能控制有关的键信号输入。输出装置760可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种道路自巡检方法,该方法包括:
在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;
通过对各所述道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;
接收到车辆巡检指令时根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测;
返回重新执行道路图像的采集操作,直至达到飞行终点。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的道路自巡检方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述搜索装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种道路自巡检方法,其特征在于,应用于无人机,所述无人机包括无人机本体以及云台摄像机,所述方法包括:
在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;
通过对各所述道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;
接收到车辆巡检指令时根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测;
返回重新执行道路图像的采集操作,直至达到飞行终点。
2.根据权利要求1所述的方法,其特征在于,所述通过对各所述道路图像的识别处理,进行飞行航线校正,包括:
将采集的各所述道路图像分别输入预先训练的语义分割网络模型及车道线分割网络模型,获得路面分割图及车道线分割图:
根据所述路面分割图结合所述云台摄像机的内参数据,确定所巡检道路的路面中心点沿线;
当所述路面中心点沿线与所采集图像上画幅中心的偏差达到设定阈值时,根据所述车道线分割图、路面中心点及所述画幅中心,校正所述飞行航线。
3.根据权利要求2所述的方法,其特征在于,所述根据所述车道线分割图、路面中心点及所述画幅中心,校正所述飞行航线,包括:
根据各所述车道线分割图拟合形成所巡检道路的车道线表达式,通过所述车道线表达式确定车道线俯视图;
从所述车道线俯视图中计算所巡检道路中车道线中心点;
基于路面中心点、画幅中心、车道线中心点以及初始飞行航线时所用的GPS点位,确定目标飞行点位;
基于各目标飞行点位形成校正后的飞行航线。
4.根据权利要求1所述的方法,其特征在于,所述根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测,包括:
采用多目标跟踪算法对各所述道路图像进行处理,获得所巡检道路中行驶车辆的车辆目标框;
采用车道线网络分割模型对各所述道路环境进行处理,确定所巡检道路中目标车道的目标车道线位置;
针对每个车辆目标框,基于所述车辆目标框与所述目标车道线位置,对相应车辆的进行驾驶行为检测。
5.根据权利要求4所述的方法,其特征在于,所述基于所述车辆目标框与所述目标车道线位置,对相应的车辆进行驾驶行为检测,包括:
确定所述车辆目标框相对所巡检道路的目标框中心点、各顶点位置以及目标框面积;
根据所述目标框中心点、各顶点位置及所述目标车道线位置,确定所述目标车道是否与所述车辆目标框有交叉;
如果与所述车辆目标框有交叉,则确定所述车辆目标框与所述目标车道所构成重叠区域的区域面积;
当所述区域面积与所述目标框面积的占比大于设定占比阈值时,确定相应的车辆在行驶中存在违章驾驶。
6.根据权利要求1所述的方法,其特征在于,在根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测之后,还包括:
如果存在驾驶行为检测结果为违章驾驶的违章车辆,则采用单目标跟随算法控制所述云台摄像机实时跟踪所述违章车辆,获得所述违章车辆的车辆放大图像。
7.根据权利要求1-6任一项所述的方法,其特征在于,还包括:
基于手持终端所发送巡检启动指令中携带的飞行位置信息,确定飞行航点形成所巡检道路的初始飞行航线;
控制无人机本体按照所述初始飞行航线飞行并进入稳定飞行状态。
8.一种道路自巡检装置,其特征在于,应用于无人机,所述无人机包括无人机本体以及云台摄像机,所述装置包括:
第一采集模块,用于在无人机本体进入稳定飞行状态后,控制云台摄像机按照设定捕获周期采集所巡检道路的道路图像;
飞行控制模块,用于通过对各所述道路图像的识别处理,进行飞行航线校正,并控制无人机本体按照校正后的飞行航线飞行;
车辆检测模块,用于接收到车辆巡检指令时根据各所述道路图像对所巡检道路中的车辆进行驾驶行为检测;
第二采集模块,用于返回重新执行道路图像的采集操作,直至达到飞行终点。
9.一种无人机,包括:无人机本体、固定设置于所述无人机本体上的云台摄像机、还包括:一个或多个控制器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个控制器执行,使得所述一个或多个控制器实现如权利要求1-7中任一所述的道路自巡检方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的道路自巡检方法。
CN202210078537.4A 2022-01-24 2022-01-24 一种道路自巡检方法、装置、无人机及存储介质 Pending CN114415708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210078537.4A CN114415708A (zh) 2022-01-24 2022-01-24 一种道路自巡检方法、装置、无人机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210078537.4A CN114415708A (zh) 2022-01-24 2022-01-24 一种道路自巡检方法、装置、无人机及存储介质

Publications (1)

Publication Number Publication Date
CN114415708A true CN114415708A (zh) 2022-04-29

Family

ID=81276370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210078537.4A Pending CN114415708A (zh) 2022-01-24 2022-01-24 一种道路自巡检方法、装置、无人机及存储介质

Country Status (1)

Country Link
CN (1) CN114415708A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274845A (zh) * 2023-11-22 2023-12-22 山东中宇航空科技发展有限公司 一种飞行无人机影像抓取方法、系统、设备及储存介质
CN117528255A (zh) * 2024-01-08 2024-02-06 洲际联合超伦科技(北京)有限公司 一种无人机路面跟随拍摄方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105549603A (zh) * 2015-12-07 2016-05-04 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法
CN105679023A (zh) * 2016-02-19 2016-06-15 李彦玮 一种基于无人机的高速公路违章监测系统
CN106155086A (zh) * 2016-08-09 2016-11-23 长安大学 一种道路检测无人机及其自动巡航方法
CN110738857A (zh) * 2018-07-18 2020-01-31 杭州海康威视数字技术股份有限公司 一种车辆违章取证方法、装置及设备
CN112258843A (zh) * 2020-11-05 2021-01-22 浙江点辰航空科技有限公司 一种应用于高速公路应急车道无人机巡检的图像识别方法
CN112258844A (zh) * 2020-11-05 2021-01-22 浙江点辰航空科技有限公司 一种使用无人机对高速公路急车道进行巡检的方法
CN113221883A (zh) * 2021-05-12 2021-08-06 武汉天图地信科技有限公司 无人机飞行导航路线实时修正方法
CN113408413A (zh) * 2021-06-18 2021-09-17 苏州科达科技股份有限公司 应急车道的识别方法、系统及装置
CN113763719A (zh) * 2021-10-13 2021-12-07 深圳联和智慧科技有限公司 一种基于无人机的违法占用应急车道检测方法及系统
CN113963598A (zh) * 2021-10-19 2022-01-21 国网浙江省电力有限公司湖州供电公司 一种综合式视觉反馈的无人机巡线仿真培训系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105549603A (zh) * 2015-12-07 2016-05-04 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法
CN105679023A (zh) * 2016-02-19 2016-06-15 李彦玮 一种基于无人机的高速公路违章监测系统
CN106155086A (zh) * 2016-08-09 2016-11-23 长安大学 一种道路检测无人机及其自动巡航方法
CN110738857A (zh) * 2018-07-18 2020-01-31 杭州海康威视数字技术股份有限公司 一种车辆违章取证方法、装置及设备
CN112258843A (zh) * 2020-11-05 2021-01-22 浙江点辰航空科技有限公司 一种应用于高速公路应急车道无人机巡检的图像识别方法
CN112258844A (zh) * 2020-11-05 2021-01-22 浙江点辰航空科技有限公司 一种使用无人机对高速公路急车道进行巡检的方法
CN113221883A (zh) * 2021-05-12 2021-08-06 武汉天图地信科技有限公司 无人机飞行导航路线实时修正方法
CN113408413A (zh) * 2021-06-18 2021-09-17 苏州科达科技股份有限公司 应急车道的识别方法、系统及装置
CN113763719A (zh) * 2021-10-13 2021-12-07 深圳联和智慧科技有限公司 一种基于无人机的违法占用应急车道检测方法及系统
CN113963598A (zh) * 2021-10-19 2022-01-21 国网浙江省电力有限公司湖州供电公司 一种综合式视觉反馈的无人机巡线仿真培训系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274845A (zh) * 2023-11-22 2023-12-22 山东中宇航空科技发展有限公司 一种飞行无人机影像抓取方法、系统、设备及储存介质
CN117528255A (zh) * 2024-01-08 2024-02-06 洲际联合超伦科技(北京)有限公司 一种无人机路面跟随拍摄方法及装置
CN117528255B (zh) * 2024-01-08 2024-03-26 洲际联合超伦科技(北京)有限公司 一种无人机路面跟随拍摄方法及装置

Similar Documents

Publication Publication Date Title
CN109765930B (zh) 一种无人机视觉导航系统
CN108496129B (zh) 一种基于飞行器的设施检测方法及控制设备
US9996746B1 (en) Systems and methods for autonomous perpendicular imaging with a target field of view
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN107358796B (zh) 一种基于无人机的车辆检测方法
CA2767312C (en) Automatic video surveillance system and method
CN114415708A (zh) 一种道路自巡检方法、装置、无人机及存储介质
CN112799422B (zh) 一种用于电力巡检的无人机飞行控制方法及装置
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN114296483B (zh) 一种风力发电机不停机状态下的智能巡检方法及电子设备
CN112326686A (zh) 无人机智能巡航路面病害检测方法、无人机和检测系统
CN112068539A (zh) 一种风电机组叶片无人机自动驾驶巡检方法
CN114020002A (zh) 无人机巡检风机叶片的方法、装置、设备、无人机及介质
CN110046584B (zh) 一种基于无人机巡检的道路裂纹检测装置及检测方法
CN116736891B (zh) 一种多机协同巡检电网线路的自主航迹规划系统和方法
CN116501091B (zh) 基于无人机自动调整航线的风机巡检控制方法和装置
CN114495568A (zh) 一种泊车方法、设备、存储介质和泊车系统
CN115793689A (zh) 基于前端目标识别的无人机自动化架空输电线路巡检方法及系统
CN110320934B (zh) 云台控制方法、装置、云台及移动设备
CN114020039A (zh) 无人机巡检杆塔自动对焦系统及方法
CN108195359B (zh) 空间数据的采集方法及系统
CN113759944A (zh) 基于指定高度飞行的自动巡检方法、系统和设备
CN112882487A (zh) 风机叶片的无人机巡检轨迹生成方法,巡检方法及系统
CN114659499B (zh) 一种基于无人机技术的智慧城市3d地图模型摄影建立方法
CN115775417A (zh) 基站巡检系统、方法及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1404, Guanghua Building, No. 777, Guangzhou Road, Binjiang Street, Haimen District, Nantong City, Jiangsu Province, 226100

Applicant after: Fuya Intelligent Technology Development (Jiangsu) Co.,Ltd.

Address before: 200433 3rd floor, No.1 Lane 127, Guotai Road, Yangpu District, Shanghai

Applicant before: SHANGHAI FUYA INTELLIGENT TECHNOLOGY Co.,Ltd.