CN112817307B - 一种基于无人机道路感知的车辆辅助驾驶系统及方法 - Google Patents

一种基于无人机道路感知的车辆辅助驾驶系统及方法 Download PDF

Info

Publication number
CN112817307B
CN112817307B CN202011609893.1A CN202011609893A CN112817307B CN 112817307 B CN112817307 B CN 112817307B CN 202011609893 A CN202011609893 A CN 202011609893A CN 112817307 B CN112817307 B CN 112817307B
Authority
CN
China
Prior art keywords
vehicle
unmanned aerial
aerial vehicle
target vehicle
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011609893.1A
Other languages
English (en)
Other versions
CN112817307A (zh
Inventor
黄高飞
刘兆年
谢怡佳
赵讯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202011609893.1A priority Critical patent/CN112817307B/zh
Publication of CN112817307A publication Critical patent/CN112817307A/zh
Application granted granted Critical
Publication of CN112817307B publication Critical patent/CN112817307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于无人机道路感知的车辆辅助驾驶系统及方法，该系统设有无人机和目标车辆，无人机包括机载控制器、机载摄像头模块、机载无线通信模块、飞行控制模块、机载GPS模块；目标车辆包括车载控制器、车载摄像头模块、车载无线通信模块、车载GPS模块；机载无线通信模块与车载无线通信模块无线连接；机载摄像头模块采集目标车辆前方和周围的第一路况信息；机载GPS模块定位无人机位置；机载控制器计算无人机位置和速度；车载摄像头模块采集目标车辆前方的第二路况信息；车载控制器处理第一路况信息、第二路况信息；车载GPS模块定位目标车辆位置。本发明将无人机引入到车辆辅助驾驶系统中进行道路感知，提高了态势感知能力。

Description

一种基于无人机道路感知的车辆辅助驾驶系统及方法
技术领域
本发明涉及车辆辅助驾驶技术领域，具体涉及一种基于无人机道路感知的车辆辅助驾驶系统及方法。
背景技术
随着车辆辅助驾驶技术的普及与应用，拥有更大覆盖范围、更强态势感知能力的无人机辅助驾驶系统，成为车辆辅助驾驶领域的重要解决方案。目前，车辆辅助驾驶系统主要是通过车辆上安装的各种传感器来采集车辆周围的路况信息，来辅助驾驶员完成对车辆的驾驶任务。但是这一方式有一个较大的局限就是传感器往往固定安装在车体上，采集的路况信息仅限于车身周围，很难确定距离车辆较远距离的实时交通状况。同时由于固定在车辆上的传感器的视角有限，只能实现固定方向范围内的信息采集，当有障碍物或其他车辆遮挡，就无法探测到视线死角内的道路状况，很难辅助驾驶员进行路径规划和安全预警。
另一方面，在现有的无人机辅助车辆驾驶系统里，很少将无人机获得的路况信息与车体本身获得的路况信息进行融合处理。
通常无人机自身携带的能量有限，如何让无人机在空中飞行更长时间是一个不可忽视的问题，在以往的无人机辅助车辆路径规划方法很少考虑无人机能量损耗问题，并且现有路径规划方法大多是在确定起点与终点后，从起点开始向终点进行搜索从而确定目标车辆行驶路径，而目标车辆在城市道路间行驶过程中，路况信息往往随着时间快速动态变化，所以目标车辆的轨迹变化往往是由于障碍物的变化(例如前方车辆突然减速)引起的，不是一成不变的，故现有辅助车辆驾驶技术缺乏无人机辅助车辆驾驶过程中既能够保证获取路况信息质量同时又能够尽可能降低无人机飞行能耗的方案。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于无人机道路感知的车辆辅助驾驶系统，该系统通过对无人机端与目标车辆端分别得到的路况信息进行融合处理，实现对目标车辆的辅助驾驶与安全预警。
本发明的第二目的在于，提供了一种基于无人机道路感知的车辆辅助驾驶系统控制方法。
为了达到上述目的，本发明采用以下技术方案：
一种基于无人机道路感知的车辆辅助驾驶系统，设有无人机和目标车辆，所述无人机包括机载控制器、机载摄像头模块、机载无线通信模块、飞行控制模块、机载GPS模块；所述机载控制器分别与机载摄像头模块、机载无线通信模块、飞行控制模块、机载GPS模块连接；
所述目标车辆包括车载控制器、车载摄像头模块、车载无线通信模块、车载GPS模块；所述车载控制器分别与车载摄像头模块、车载无线通信模块、车载GPS模块连接；其中机载无线通信模块与车载无线通信模块无线连接；
所述机载摄像头模块用于基于无人机预设高度、摄像头预设倾角、摄像头预设镜头角度进行采集目标车辆前方和周围的第一路况信息；
所述机载GPS模块用于定位无人机的当前位置；
所述机载控制器根据目标车辆的当前行驶状态信息和无人机的当前位置计算无人机下一时刻的到达位置以及飞行速度；其中目标车辆的当前行驶状态信息包括位置、速度；
所述机载无线通信模块用于将机载摄像头模块所采集的第一路况信息传输至车载无线通信模块中；
所述飞行控制模块用于保障无人机正常飞行；
所述车载摄像头模块用于采集目标车辆前方的第二路况信息；
所述车载控制器用于处理第一路况信息和第二路况信息，根据第一路况信息对目标车辆进行路径规划和安全预警，根据第二路况信息进行车辆和行人检测；
所述车载GPS模块用于定位目标车辆当前所在的位置；
所述车载无线通信模块用于将目标车辆当前所在的位置传输至机载无线通信模块。
作为优选的技术方案，所述无人机预设高度设置为10米。
作为优选的技术方案，所述摄像头预设倾角设置为45度。
作为优选的技术方案，所述摄像头预设镜头角度设置为80度。
为了达到上述第二目的，本发明采用以下技术方案：
一种基于无人机道路感知的车辆辅助驾驶系统控制方法，包括下述步骤：
S1：无人机S与目标车辆D建立通信连接，无人机将机载摄像头模块所拍摄的目标车辆周围的第一路况信息传输至目标车辆的车载控制器；同时车载控制器将当前目标车辆的位置信息传输至机载控制器；无人机通过飞行控制模块升空至预设高度，机载摄像头模块以预设倾角俯视目标车辆周围，通过对机载摄像头模块进行标定处理得到图像像素点与实际道路长度之间的关系；
S2：基于目标车辆当前的位置、速度，对机载摄像头采集的第一路况信息进行路径规划；对车载摄像头采集的第二路况信息进行处理，并判断目标车辆前方是否存在障碍物以及目标车辆与障碍物之间的距离，从而计算目标车辆的最佳行驶路径和位置信息；机载控制器根据无人机当前自身位置坐标和无人机飞行能耗模型计算无人机的实际飞行位置和实际飞行速度；
S3：基于道路障碍物识别方法对机载摄像头模块所拍摄的图像信息进行道路障碍物检测，从而获得目标车辆周围障碍物位置坐标信息；
S4：根据目标车辆周围障碍物位置坐标信息对目标车辆进行更新路径规划；
S5：基于道路障碍物识别方法对车载摄像头模块所拍摄的图像信息进行道路障碍物检测，获得目标车辆前方障碍物位置坐标信息；
S6：将目标车辆前方障碍物位置坐标信息进行标注处理，保存目标车辆前方障碍物的位置坐标信息，并标注目标车辆实际的行驶路径，将标注后的目标车辆实际的行驶路径结合到更新路径规划中，获得空中和地面分别对道路图像信息处理的结果进行共同反馈给车辆完成辅助驾驶。
作为优选的技术方案，所述机载控制器根据无人机当前自身位置坐标和无人机飞行能耗模型计算无人机的实际飞行位置和实际飞行速度，包括以下步骤：
S21：计算无人机获取最佳路况信息的飞行速度Vp，令目标车辆沿Y轴方向前进，道路的宽度为l米，无人机飞行高度为H米，搭载的机载摄像头模块以θ度的倾角俯视目标车辆周围，机载摄像头模块的镜头角度为α，此时目标车辆和无人机的平面坐标分别为(xD,yD)和(xS,yS)，无人机最佳路况信息获取位置应当覆盖目标车辆的同时观测到更远目标车辆的前方路况信息，此时无人机最佳路况信息获取位置(xD,yD-Htan(θ))，此时无人机从当前位置(xS,yS)移动至(xD,yD-Htan(θ))所需要的飞行速度为Vp；
S22：计算无人机可移动范围和对应的飞行速度Vmin和Vmax，无人机为目标车辆提供可靠的路况信息的可移动区域的对角线坐标分别为
Figure BDA0002871412110000041
Figure BDA0002871412110000042
时无人机从当前位置(xS,yS)移动至该区域最小和最大飞行速度分别为Vmin和Vmax，即Vmin表示可移动范围的最小飞行速度，Vmax表示可移动范围的最大飞行速度；
S23：计算无人机最小飞行功率损耗时的飞行速度Ve，当无人机飞行速度为V时，无人机在当前时刻的无人机飞行能耗模型为：
Figure BDA0002871412110000051
其中，P0和Pi是定义的两个与无人机自身硬件有关常数，分别表示叶栅轮廓功率和悬停状态下的感应功率，Utip表示转子叶片的叶尖速度，v0称为悬停时的转子平均诱导速度，d0和s分别是机身阻力比和转子坚固度，ρ和A分别表示空气密度和转子盘面积，根据无人机在的飞行功率损耗模型得到无人机最小飞行功率损耗时的飞行速度Ve；
S24：计算无人机最佳的飞行速度Vopt，无人机的最佳飞行速度表示为：
Vopt＝λVp+(1-λ)Ve
其中，0＜λ＜1，λ表示为权重系数，Vp和Ve分别表示无人机能够获得最佳路况信息的飞行速度和能耗最低的飞行速度；
无人机的飞行速度需满足以下约束：
Vmin≤Vopt≤Vmax。
作为优选的技术方案，步骤S3中道路障碍物识别方法采用yolov3方法。
作为优选的技术方案，所述步骤S4中的更新路径规划，包括以下步骤：
S41：根据机载摄像头模块所获得的图像，将目标车辆当前所在位置(xS,yS)作为起点，并确定图像中车辆可通行区域的终点(xF,yF)；
S42：将连接起点(xS,yS)与终点(xF,yF)之间的线段作为目标车辆的第一最佳行驶路径；
S43：当第一最佳行驶路径之间存在障碍物，首先计算目标车辆的当前位置与障碍物之间的距离，若此距离小于或等于设定的最小安全距离时，则在障碍物前后固定距离的第一最佳行驶路径上设置路径规划搜索起点(xi1,yi1)和终点(xf1,yf1)，通过路径规划算法不断搜索更新避开障碍物的预行驶最佳行驶路径，进而确定目标车辆避开障碍物行驶的实际最佳行驶路径作为第二最佳行驶路径，并将绕开障碍物的第二最佳行驶路径替换搜索起点(xi1,yi1)和终点(xf1,yf1)之间的第一最佳行驶路径；
S44：获得目标车辆前方道路的最终规划路径，并将改变车辆当前行驶状态的路径规划结果反映为驾驶提示信息，其中驾驶提示信息包括转弯信息、加减速信息、预警信息。
作为优选的技术方案，所述通过路径规划算法不断搜索更新避开障碍物的预行驶最佳行驶路径，采用A*算法、人工势场算法或Frenet算法的任一种方法。
作为优选的技术方案，所述步骤S5中的道路障碍物识别方法采用yolov3-tiny方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明将无人机引入到车辆辅助驾驶系统中进行道路感知，具有更大的覆盖范围，更强的态势感知能力，尤其是在大范围路况信息采集、跨路网的交通态势感知、以及快速灵活部署与调度等方面具有车体本身设施难以比拟的优势。
(2)本发明的无人机通过调整无人机预设高度、摄像头预设倾角、摄像头预设镜头角度获取到更广范围内的路况信息、以及更全面的目标车辆周围预警信息，根据无人机获取信息的特点，利用图像采集技术检测目标车辆及其周围的障碍物(包括其他行驶车辆和行人等)，解决了路况信息的实时预测问题，实现了对车辆的路径规划以及为目标车辆提供紧急预警信息；而车体本身传感器能够更及时获得目标车辆周围(主要是车辆前方)的路况信息，满足辅助驾驶的实时性要求，将无人机获得的路况信息与车体本身获得的路况信息进行融合处理，使路况信息更加丰富，也更适合驾驶员查看与理解。
(3)本发明利用无人机获取目标车辆周围路况信息的特点，将路径规划的起点和终点设定在障碍物的前后方，而目标车辆在其他无障碍物的区域仍保持正常安全行驶，在面对有障碍物的区域对路径规划进行更新，使得整体控制过程更加高效。
(4)本发明在无人机道路感知的车辆辅助驾驶系统中通过引入无人机飞行能耗模型，在保证提供车辆路况信息质量的同时，减少无人机的飞行能量损耗，进一步延长无人机道路感知系统的工作时长。
附图说明
图1为本发明实施例1中基于无人机道路感知的车辆辅助驾驶系统的模块结构示意图；
图2为本发明实施例1中基于无人机道路感知的车辆辅助驾驶系统的分布示意图；
图3为本发明实施例2中基于无人机道路感知的车辆辅助驾驶系统的控制流程示意图；
图4为本发明实施例2中无人机实际飞行位置和实际飞行速度计算流程图；
图5为本发明实施例2中目标车辆更新路径规划的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
实施例1
如图1所示，本实施例提供一种基于无人机道路感知的车辆辅助驾驶系统，该系统设有无人机和目标车辆；其中无人机设有机载控制器、机载摄像头模块、机载无线通信模块、飞行控制模块以及机载GPS(全球定位系统)模块；目标车辆设有车载控制器、车载摄像头模块、车载无线通信模块以及车载GPS(全球定位系统)模块；机载控制器分别与机载摄像头模块、机载无线通信模块、飞行控制模块、机载GPS模块连接；车载控制器分别与车载摄像头模块、车载无线通信模块、车载GPS模块连接；其中机载无线通信模块与车载无线通信模块无线连接；
如图2所示，机载摄像头模块基于无人机预设高度、摄像头预设倾角、摄像头预设镜头角度进行采集目标车辆前方和周围的第一路况信息，其中α是机载摄像头模块的镜头角度；机载GPS模块用于定位无人机的当前位置；机载控制器可以根据目标车辆的当前行驶状态信息(位置、速度)和无人机的当前位置计算无人机下一时刻的到达位置以及飞行速度；机载无线通信模块用来将机载摄像头模块所采集的第一路况信息传输至目标车辆的车载无线通信模块中；飞行控制模块用于保障无人机正常飞行。
在本实施例中，车载摄像头模块用于采集目标车辆前方有限范围的第二路况信息，其中β是车载摄像头模块的镜头角度；车载控制器用于处理机载摄像头模块、车载摄像头模块采集到的路况信息，根据机载摄像头模块采集到第一路况信息对目标车辆进行路径规划和安全预警；同时根据车载摄像头模块采集到的第二路况信息进行车辆和行人检测，保障车辆能够安全稳定运行。车载GPS模块用于定位目标车辆当前所在的位置；车载无线通信模块用于将目标车辆当前所在的位置传输至机载无线通信模块。
实施例2
如图3所示，本实施例还提供一种基于无人机道路感知的车辆辅助驾驶系统控制方法，该方法包括下述步骤：
S1：无人机S与目标车辆D建立通信连接，无人机将机载摄像头模块所拍摄的目标车辆周围的第一路况信息传输至目标车辆的车载控制器；同时车载控制器将当前目标车辆的位置信息传输至无人机的机载控制器。无人机通过飞行控制模块升空至预设高度，搭载的机载摄像头模块以预设倾角俯视目标车辆周围；通过对机载摄像头模块进行标定处理，可以得到图像像素点与实际道路长度之间的关系，从而降低环境感知的误差。在本实施例中，预设高度设置为10米，预设倾角为45度，当机载摄像头模块的镜头角度α为80度，此时无人机的视野范围为110-120米，能够感知目标车辆周围大部分路况信息；此外在此不限定本实施例中的预设高度、预设倾角，可根据实际情况调整。
S2：基于目标车辆的当前状态信息(位置和速度)，对机载摄像头采集的目标车辆的第一路况信息进行路径规划，再通过车载摄像头采集的前方路况信息作为第二路况信息进行处理，并判断目标车辆前方是否存在障碍物以及目标车辆与障碍物之间的距离，从而计算目标车辆的最佳行驶路径和位置信息；无人机搭载的机载控制器根据无人机当前自身位置坐标和无人机飞行能耗模型计算无人机的实际飞行位置和实际飞行速度，如图4所示，具体计算方法如下：
S21：计算无人机获取最佳路况信息的飞行速度Vp，假设目标车辆沿Y轴方向前进，道路的宽度为l米，无人机飞行高度为H＝10米，搭载的机载摄像头模块以θ＝45度的倾角俯视目标车辆周围，机载摄像头模块的镜头角度α为80度，此时目标车辆和无人机的平面坐标分别为(xD,yD)和(xS,yS)；无人机最佳路况信息获取位置应当覆盖目标车辆的同时，还能观测到比目标车辆的前方更远的路况信息；此时无人机最佳路况信息获取位置(xD,yD-Htan(θ))，此时无人机从当前位置(xS,yS)移动至(xD,yD-Htan(θ))所需要的飞行速度为Vp；
S22：计算无人机可移动范围和对应的飞行速度Vmin和Vmax，为了保证无人机为目标车辆提供可靠的路况信息，需要限制无人机的可移动区域，保证无人机为目标车辆提供可靠的路况信息的可移动区域的对角线坐标分别为
Figure BDA0002871412110000101
时无人机从当前位置(xS,yS)移动至该区域最小和最大飞行速度分别为Vmin和Vmax，即Vmin表示可移动范围的最小飞行速度，Vmax表示可移动范围的最大飞行速度；
S23：计算无人机最小飞行功率损耗时的飞行速度Ve，当无人机飞行速度为V时，无人机在当前时刻的无人机飞行能耗模型为：
Figure BDA0002871412110000102
其中，P0和Pi是定义的两个与无人机自身硬件有关常数，分别表示叶栅轮廓功率和悬停状态下的感应功率，Utip表示转子叶片的叶尖速度，v0称为悬停时的转子平均诱导速度，d0和s分别是机身阻力比和转子坚固度，ρ和A分别表示空气密度和转子盘面积，根据无人机在的飞行功率损耗模型可以得到无人机最小飞行功率损耗时的飞行速度Ve；
S24：计算无人机最佳的飞行速度Vopt。为了权衡无人机飞行能耗最低和最佳视角拍摄道路信息，无人机的最佳飞行速度表示为：
Vopt＝λVp+(1-λ)Ve
其中，0＜λ＜1，λ表示为权重系数，Vp和Ve分别表示无人机能够获得最佳路况信息的飞行速度和能耗最低的飞行速度；
为了保证无人机为目标车辆提供可靠的路况信息，无人机的飞行速度需满足以下约束：
Vmin≤Vopt≤Vmax
S3：基于yolov3的道路障碍物识别方法对机载摄像头模块所拍摄的图像信息进行道路障碍物检测，从而可以获得目标车辆周围障碍物在图像中的位置坐标信息；
S4：根据步骤S3获得的目标车辆周围障碍物位置坐标信息对目标车辆进行更新路径规划，如图5所示，更新路径规划的具体步骤为：
S41：根据机载摄像头模块所获得的图像，将目标车辆当前所在位置(xS,yS)作为起点，并确定图像中车辆可通行区域的终点(xF,yF)；
S42：将连接起点(xS,yS)与终点(xF,yF)之间的线段作为目标车辆的第一最佳行驶路径；
S43：当第一最佳行驶路径之间存在障碍物，首先计算目标车辆的当前位置与障碍物之间的距离，若此距离小于或等于设定的最小安全距离时，则在障碍物前后固定距离的第一最佳行驶路径上设置路径规划搜索起点(xi1,yi1)和终点(xf1,yf1)，通过Frenet路径规划算法不断搜索更新避开障碍物的预行驶最佳行驶路径，进而确定目标车辆避开障碍物行驶的实际最佳行驶路径作为第二最佳行驶路径，并将绕开障碍物的第二最佳行驶路径替换搜索起点(xi1,yi1)和终点(xf1,yf1)之间的第一最佳行驶路径；在本实施例中，路径规划算法也可以采用A*算法、人工势场算法或Frenet算法。
S44：获得目标车辆前方道路的最终规划路径，并将改变车辆当前行驶状态的路径规划结果反映为转弯信息、加减速信息和预警信息等；
S5：基于yolov3-tiny的道路障碍物识别方法对车载摄像头模块所拍摄的图像信息进行道路障碍物检测，从而可以获得目标车辆前方障碍物在图像中的位置坐标信息，以提示目标车辆是否需要向左或右变道、减速和制动；
S6：将步骤S5获得的目标车辆前方障碍物位置坐标信息进行标注处理，即保存目标车辆前方障碍物的位置坐标信息，并标注目标车辆实际的行驶路径，以辅助目标车辆能够作出准确的指令绕开障碍物，将该处理结果结合到步骤S4中机载摄像头模块采集的图像信息对目标车辆进行的路径规划中，从而获得空中和地面分别对道路图像信息处理的结果，即融合步骤S44和步骤S5得到的最佳行驶路径共同反馈给车辆完成相应的行驶动作，并显示在辅助驾驶信息展示界面，进而完成辅助驾驶。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于无人机道路感知的车辆辅助驾驶系统，设有无人机和目标车辆，其特征在于，所述无人机包括机载控制器、机载摄像头模块、机载无线通信模块、飞行控制模块、机载GPS模块；所述机载控制器分别与机载摄像头模块、机载无线通信模块、飞行控制模块、机载GPS模块连接；
所述目标车辆包括车载控制器、车载摄像头模块、车载无线通信模块、车载GPS模块；所述车载控制器分别与车载摄像头模块、车载无线通信模块、车载GPS模块连接；其中机载无线通信模块与车载无线通信模块无线连接；
所述机载摄像头模块用于基于无人机预设高度、摄像头预设倾角、摄像头预设镜头角度进行采集目标车辆前方和周围的第一路况信息；
所述机载GPS模块用于定位无人机的当前位置；
所述机载控制器根据目标车辆的当前行驶状态信息和无人机的当前位置计算无人机下一时刻的到达位置以及飞行速度；其中目标车辆的当前行驶状态信息包括位置、速度；
机载控制器根据无人机当前自身位置坐标和无人机飞行能耗模型计算无人机的实际飞行位置和实际飞行速度，包括：
计算无人机获取最佳路况信息的飞行速度Vp，令目标车辆沿Y轴方向前进，道路的宽度为l米，无人机飞行高度为H米，搭载的机载摄像头模块以θ度的倾角俯视目标车辆周围，机载摄像头模块的镜头角度为α，此时目标车辆和无人机的平面坐标分别为(xD,yD)和(xS,yS)，无人机最佳路况信息获取位置应当覆盖目标车辆的同时观测到更远目标车辆的前方路况信息，此时无人机最佳路况信息获取位置(xD,yD-H tan(θ))，此时无人机从当前位置(xS,yS)移动至(xD,yD-H tan(θ))所需要的飞行速度为Vp；
计算无人机可移动范围和对应的飞行速度Vmin和Vmax，无人机为目标车辆提供可靠的路况信息的可移动区域的对角线坐标分别为
Figure FDA0003692199380000021
Figure FDA0003692199380000022
时无人机从当前位置(xS,yS)移动至该区域最小和最大飞行速度分别为Vmin和Vmax，即Vmin表示可移动范围的最小飞行速度，Vmax表示可移动范围的最大飞行速度；
计算无人机最小飞行功率损耗时的飞行速度Ve，当无人机飞行速度为V时，无人机在当前时刻的无人机飞行能耗模型为：
Figure FDA0003692199380000023
其中，P0和Pi是定义的两个与无人机自身硬件有关常数，分别表示叶栅轮廓功率和悬停状态下的感应功率，Utip表示转子叶片的叶尖速度，v0称为悬停时的转子平均诱导速度，d0和s分别是机身阻力比和转子坚固度，ρ和A分别表示空气密度和转子盘面积，根据无人机在的飞行功率损耗模型得到无人机最小飞行功率损耗时的飞行速度Ve；
计算无人机最佳的飞行速度Vopt，无人机的最佳飞行速度表示为：
Vopt＝λVp+(1-λ)Ve
其中，0＜λ＜1，λ表示为权重系数，Vp和Ve分别表示无人机能够获得最佳路况信息的飞行速度和能耗最低的飞行速度；
无人机的飞行速度需满足以下约束：
Vmin≤Vopt≤Vmax；
所述机载无线通信模块用于将机载摄像头模块所采集的第一路况信息传输至车载无线通信模块中；
所述飞行控制模块用于保障无人机正常飞行；
所述车载摄像头模块用于采集目标车辆前方的第二路况信息；
所述车载控制器用于处理第一路况信息和第二路况信息，根据第一路况信息对目标车辆进行路径规划和安全预警，根据第二路况信息进行车辆和行人检测；
所述车载GPS模块用于定位目标车辆当前所在的位置；
所述车载无线通信模块用于将目标车辆当前所在的位置传输至机载无线通信模块。
2.根据权利要求1所述的基于无人机道路感知的车辆辅助驾驶系统，设有无人机和目标车辆，其特征在于，所述无人机预设高度设置为10米。
3.根据权利要求2所述的基于无人机道路感知的车辆辅助驾驶系统，设有无人机和目标车辆，其特征在于，所述摄像头预设倾角设置为45度。
4.根据权利要求3所述的基于无人机道路感知的车辆辅助驾驶系统，设有无人机和目标车辆，其特征在于，所述摄像头预设镜头角度设置为80度。
5.一种基于无人机道路感知的车辆辅助驾驶系统控制方法，其特征在于，包括下述步骤：
S1：无人机S与目标车辆D建立通信连接，无人机将机载摄像头模块所拍摄的目标车辆周围的第一路况信息传输至目标车辆的车载控制器；同时车载控制器将当前目标车辆的位置信息传输至机载控制器；无人机通过飞行控制模块升空至预设高度，机载摄像头模块以预设倾角俯视目标车辆周围，通过对机载摄像头模块进行标定处理得到图像像素点与实际道路长度之间的关系；
S2：基于目标车辆当前的位置、速度，对机载摄像头采集的第一路况信息进行路径规划；对车载摄像头采集的第二路况信息进行处理，并判断目标车辆前方是否存在障碍物以及目标车辆与障碍物之间的距离，从而计算目标车辆的最佳行驶路径和位置信息；机载控制器根据无人机当前自身位置坐标和无人机飞行能耗模型计算无人机的实际飞行位置和实际飞行速度；
所述机载控制器根据无人机当前自身位置坐标和无人机飞行能耗模型计算无人机的实际飞行位置和实际飞行速度，包括以下步骤：
S21：计算无人机获取最佳路况信息的飞行速度Vp，令目标车辆沿Y轴方向前进，道路的宽度为l米，无人机飞行高度为H米，搭载的机载摄像头模块以θ度的倾角俯视目标车辆周围，机载摄像头模块的镜头角度为α，此时目标车辆和无人机的平面坐标分别为(xD,yD)和(xS,yS)，无人机最佳路况信息获取位置应当覆盖目标车辆的同时观测到更远目标车辆的前方路况信息，此时无人机最佳路况信息获取位置(xD,yD-H tan(θ))，此时无人机从当前位置(xS,yS)移动至(xD,yD-H tan(θ))所需要的飞行速度为Vp；
S22：计算无人机可移动范围和对应的飞行速度Vmin和Vmax，无人机为目标车辆提供可靠的路况信息的可移动区域的对角线坐标分别为
Figure FDA0003692199380000041
Figure FDA0003692199380000042
时无人机从当前位置(xS,yS)移动至该区域最小和最大飞行速度分别为Vmin和Vmax，即Vmin表示可移动范围的最小飞行速度，Vmax表示可移动范围的最大飞行速度；
S23：计算无人机最小飞行功率损耗时的飞行速度Ve，当无人机飞行速度为V时，无人机在当前时刻的无人机飞行能耗模型为：
Figure FDA0003692199380000043
其中，P0和Pi是定义的两个与无人机自身硬件有关常数，分别表示叶栅轮廓功率和悬停状态下的感应功率，Utip表示转子叶片的叶尖速度，v0称为悬停时的转子平均诱导速度，d0和s分别是机身阻力比和转子坚固度，ρ和A分别表示空气密度和转子盘面积，根据无人机在的飞行功率损耗模型得到无人机最小飞行功率损耗时的飞行速度Ve；
S24：计算无人机最佳的飞行速度Vopt，无人机的最佳飞行速度表示为：
Vopt＝λVp+(1-λ)Ve
其中，0＜λ＜1，λ表示为权重系数，Vp和Ve分别表示无人机能够获得最佳路况信息的飞行速度和能耗最低的飞行速度；
无人机的飞行速度需满足以下约束：
Vmin≤Vopt≤Vmax；
S3：基于道路障碍物识别方法对机载摄像头模块所拍摄的图像信息进行道路障碍物检测，从而获得目标车辆周围障碍物位置坐标信息；
S4：根据目标车辆周围障碍物位置坐标信息对目标车辆进行更新路径规划；
S5：基于道路障碍物识别方法对车载摄像头模块所拍摄的图像信息进行道路障碍物检测，获得目标车辆前方障碍物位置坐标信息；
S6：将目标车辆前方障碍物位置坐标信息进行标注处理，保存目标车辆前方障碍物的位置坐标信息，并标注目标车辆实际的行驶路径，将标注后的目标车辆实际的行驶路径结合到更新路径规划中，获得空中和地面分别对道路图像信息处理的结果进行共同反馈给车辆完成辅助驾驶。
6.根据权利要求5所述的基于无人机道路感知的车辆辅助驾驶系统控制方法，其特征在于，步骤S3中道路障碍物识别方法采用yolov3方法。
7.根据权利要求5所述的基于无人机道路感知的车辆辅助驾驶系统控制方法，其特征在于，所述步骤S4中的更新路径规划，包括以下步骤：
S41：根据机载摄像头模块所获得的图像，将目标车辆当前所在位置(xS,yS)作为起点，并确定图像中车辆可通行区域的终点(xF,yF)；
S42：将连接起点(xS,yS)与终点(xF,yF)之间的线段作为目标车辆的第一最佳行驶路径；
S43：当第一最佳行驶路径之间存在障碍物，首先计算目标车辆的当前位置与障碍物之间的距离，若此距离小于或等于设定的最小安全距离时，则在障碍物前后固定距离的第一最佳行驶路径上设置路径规划搜索起点(xi1,yi1)和终点(xf1,yf1)，通过路径规划算法不断搜索更新避开障碍物的预行驶最佳行驶路径，进而确定目标车辆避开障碍物行驶的实际最佳行驶路径作为第二最佳行驶路径，并将绕开障碍物的第二最佳行驶路径替换搜索起点(xi1,yi1)和终点(xf1,yf1)之间的第一最佳行驶路径；
S44：获得目标车辆前方道路的最终规划路径，并将改变车辆当前行驶状态的路径规划结果反映为驾驶提示信息，其中驾驶提示信息包括转弯信息、加减速信息、预警信息。
8.根据权利要求7所述的基于无人机道路感知的车辆辅助驾驶系统控制方法，其特征在于，所述通过路径规划算法不断搜索更新避开障碍物的预行驶最佳行驶路径，采用A*算法、人工势场算法或Frenet算法的任一种方法。
9.根据权利要求5所述的基于无人机道路感知的车辆辅助驾驶系统控制方法，其特征在于，所述步骤S5中的道路障碍物识别方法采用yolov3-tiny方法。
CN202011609893.1A 2020-12-30 2020-12-30 一种基于无人机道路感知的车辆辅助驾驶系统及方法 Active CN112817307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011609893.1A CN112817307B (zh) 2020-12-30 2020-12-30 一种基于无人机道路感知的车辆辅助驾驶系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011609893.1A CN112817307B (zh) 2020-12-30 2020-12-30 一种基于无人机道路感知的车辆辅助驾驶系统及方法

Publications (2)

Publication Number Publication Date
CN112817307A CN112817307A (zh) 2021-05-18
CN112817307B true CN112817307B (zh) 2022-08-02

Family

ID=75856189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011609893.1A Active CN112817307B (zh) 2020-12-30 2020-12-30 一种基于无人机道路感知的车辆辅助驾驶系统及方法

Country Status (1)

Country Link
CN (1) CN112817307B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359724B (zh) * 2021-06-02 2023-02-24 岚图汽车科技有限公司 基于无人机的车辆智能驾驶系统、方法及存储介质
CN113064451B (zh) * 2021-06-02 2021-09-24 北京三快在线科技有限公司 一种无人设备控制方法、装置、存储介质及电子设备
CN113793522B (zh) * 2021-07-19 2022-08-26 安徽工程大学 一种基于物联网技术的辅助车辆行驶的装置及方法
CN113625752A (zh) * 2021-08-06 2021-11-09 航天时代飞鹏有限公司 基于卫星导航定位的车载六旋翼无人机控制方法及装置
CN114674334A (zh) * 2022-03-24 2022-06-28 江铃汽车股份有限公司 一种越野路线的规划方法、系统、存储介质及车辆
CN115022837A (zh) * 2022-05-31 2022-09-06 重庆邮电大学 一种无人机作为空中基站的自动驾驶汽车控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105318888A (zh) * 2015-12-07 2016-02-10 北京航空航天大学 基于无人机感知的无人驾驶车辆路径规划方法
CN208224845U (zh) * 2018-06-05 2018-12-11 南京工程学院 一种全方位视角的无人车导航系统
CN109426255A (zh) * 2017-09-04 2019-03-05 中兴通讯股份有限公司 基于无人机的无人驾驶车辆控制方法、装置及存储介质
CN109737983A (zh) * 2019-01-25 2019-05-10 北京百度网讯科技有限公司 用于生成行驶路径的方法和装置
CN109782766A (zh) * 2019-01-25 2019-05-21 北京百度网讯科技有限公司 用于控制车辆行驶的方法和装置
CN110347182A (zh) * 2019-07-23 2019-10-18 广汽蔚来新能源汽车科技有限公司 辅助驾驶装置、系统、无人机以及车辆
CN110442147A (zh) * 2019-07-26 2019-11-12 广州大学 一种基于变分法的无人机最优能耗路径的规划方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013525A1 (en) * 2018-07-11 2020-01-16 Samsung Electronics Co., Ltd. In-vehicle infotainment system communicating with unmanned aerial vehicle and method of operating the same
KR20200017582A (ko) * 2018-07-26 2020-02-19 현대자동차주식회사 드론을 이용한 자율주행 지원 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105318888A (zh) * 2015-12-07 2016-02-10 北京航空航天大学 基于无人机感知的无人驾驶车辆路径规划方法
CN109426255A (zh) * 2017-09-04 2019-03-05 中兴通讯股份有限公司 基于无人机的无人驾驶车辆控制方法、装置及存储介质
CN208224845U (zh) * 2018-06-05 2018-12-11 南京工程学院 一种全方位视角的无人车导航系统
CN109737983A (zh) * 2019-01-25 2019-05-10 北京百度网讯科技有限公司 用于生成行驶路径的方法和装置
CN109782766A (zh) * 2019-01-25 2019-05-21 北京百度网讯科技有限公司 用于控制车辆行驶的方法和装置
CN110347182A (zh) * 2019-07-23 2019-10-18 广汽蔚来新能源汽车科技有限公司 辅助驾驶装置、系统、无人机以及车辆
CN110442147A (zh) * 2019-07-26 2019-11-12 广州大学 一种基于变分法的无人机最优能耗路径的规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Energy Minimization for Wireless Communication With Rotary-Wing UAV;Yong Zeng等;《IEEE Transactions on Wireless Communications》;20190308;第18卷(第4期);第2329-2345页 *

Also Published As

Publication number Publication date
CN112817307A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112817307B (zh) 一种基于无人机道路感知的车辆辅助驾驶系统及方法
US11226622B2 (en) System and method for analyzing driving trajectories for a route section
CN109556615B (zh) 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
EP3644294B1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
CN109062209A (zh) 一种智能辅助驾驶控制系统及其控制方法
CN108445885A (zh) 一种基于纯电动物流车的自动驾驶系统及其控制方法
CN208149310U (zh) 一种用于自动驾驶车辆的环境感知系统
CN105892464A (zh) 基于固定路线的专用车自动驾驶系统及其驾驶方法
CN106696961A (zh) 高速公路自动驾驶上下匝道控制系统及方法
CN105955257A (zh) 基于固定路线的公交车自动驾驶系统及其驾驶方法
CN116249644B (zh) 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统
US20200114916A1 (en) Vehicle control device
JP2007106364A (ja) 走行支援装置及び走行支援方法
US20210197837A1 (en) Method and System for Determining Effective Wind Speeds for Motor Vehicles
JP2009075933A (ja) 分岐路内位置演算装置、分岐路内位置演算方法、および、分岐路内位置演算プログラム
US20220204048A1 (en) Method for ascertaining a vehicle trajectory
CN113791621A (zh) 一种自动驾驶牵引车与飞机对接方法及系统
US20230118619A1 (en) Parking-stopping point management device, parking-stopping point management method, and vehicle device
US20230120095A1 (en) Obstacle information management device, obstacle information management method, and device for vehicle
CN110399898A (zh) 一种无人车辆多传感器信息融合体系架构
US11335195B2 (en) Traffic control system
EP4285083A1 (en) Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle
GB2610252A (en) Controlling vehicle performance based on data associated with an atmospheric condition
CN109425861A (zh) 本车位置可信度运算装置
US20200391605A1 (en) Management device, management method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant