CN113821033B - 一种无人车路径规划方法、系统及终端 - Google Patents

一种无人车路径规划方法、系统及终端 Download PDF

Info

Publication number
CN113821033B
CN113821033B CN202111097739.5A CN202111097739A CN113821033B CN 113821033 B CN113821033 B CN 113821033B CN 202111097739 A CN202111097739 A CN 202111097739A CN 113821033 B CN113821033 B CN 113821033B
Authority
CN
China
Prior art keywords
ground
unmanned aerial
obstacle
aerial vehicle
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111097739.5A
Other languages
English (en)
Other versions
CN113821033A (zh
Inventor
崔金强
牛冠冲
尉越
丁玉隆
商成思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202111097739.5A priority Critical patent/CN113821033B/zh
Publication of CN113821033A publication Critical patent/CN113821033A/zh
Application granted granted Critical
Publication of CN113821033B publication Critical patent/CN113821033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种无人车路径规划方法、系统及终端，所述方法包括：获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物；提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位；根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划。本发明通过利用无人机对环境中的地面无人车和障碍物进行语义分割，然后生成规划路径，实现了一个无人机可以同时为多辆地面无人车提供避障和提供规划路径的服务，降低了无人驾驶的成本，提高了无人驾驶的安全性。

Description

一种无人车路径规划方法、系统及终端
技术领域
本发明涉及无人驾驶技术领域，尤其涉及一种无人车路径规划方法、系统、终端及计算机可读存储介质。
背景技术
路径规划作为智能移动机器人和自动飞行员的一个重要组成部分，有望在生成节能轨迹之前识别可能的碰撞，以避免无人驾驶地面车辆(UGVs)的障碍。例如，作为社区治安的UGV(Unmanned Ground Vehicle，无人地面车)应该有能力识别散布在路上的随机障碍物。此外，为避免多个UGV之间的碰撞而进行细致的路径规划也是非常必要的。对于UGV检测障碍物和其他UGV，基于范围和外观的方法是两个主要的解决方案，分别应用LiDAR(lightdetection and ranging，激光雷达)和RGB-D camera(深度相机)。但是，这两种解决方案的性能并不总是令人满意。首先，RGB-D和LiDAR传感器都很昂贵，如果单独装备在每个UGV上，会产生很高的成本。其次，但重要的是，RGB-D和LiDAR传感器在应用于大规模障碍物的场景时，会受到视角的限制。
在过去的十年里，人们对配备了RGB-D相机或LiDAR的无人驾驶地面车辆(UGV)的路径规划问题的研究兴趣日益浓厚。然而，除了成本极高外，这些传感器还可能被障碍物遮挡，这使得它们在许多复杂的情况下不实用。此外，大多数现有的路径规划工作都没有考虑到UGV的能源效率，因为它们通常受到有限的机载电池的限制。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种无人车路径规划方法、系统、终端及计算机可读存储介质，旨在解决现有技术中对地面无人车无法有效避障的问题。
为实现上述目的，本发明提供一种无人车路径规划方法，所述无人车路径规划方法包括如下步骤：
获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物；
提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位；
根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划。
可选地，所述的无人车路径规划方法，其中，所述获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物，具体包括：
获取所述无人机通过广角摄像头对地面环境进行拍摄的图像；
使用实时实例分割开源库对所述图像进行语义分割，识别所述图像中识别地面无人车和障碍物的位置信息。
可选地，所述的无人车路径规划方法，其中，所述无人车路径规划方法还包括：
将感兴趣的区域映射到原始图像上，并将感兴趣的区域以外的像素设置为0，对于所述图像中的第i个像素，使用ROI指示函数定义ROI区域：
Figure BDA0003269669490000031
其中，ROI表示感兴趣的区域，otherwise表示感兴趣的区域以外的区域；
所述感兴趣的区域包括地面无人车和障碍物。
可选地，所述的无人车路径规划方法，其中，所述提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位，具体包括：
根据所述ROI指示函数的定义提取所述图像中感兴趣的区域；
基于所述无人机的位置，通过所述无人机上的所述广角摄像头对地面无人车和障碍物进行定位。
可选地，所述的无人车路径规划方法，其中，所述无人车路径规划方法还包括：
将所述无人机的水平位置表示为pUAV＝[xu，yu]，高度为hu，则一个物体的二维位置可以表示如下：
Figure BDA0003269669490000032
其中，fc是所述无人机的所述广角摄像头的焦距，dimg是与图像中心的相对像素距离。
可选地，所述的无人车路径规划方法，其中，所述无人车路径规划方法还包括：
使用K个圆形函数来表示地面障碍物的形状，量化障碍物和圆形表示之间的近似误差，定义交并比IoU为：
Figure BDA0003269669490000041
其中Area of Overlap是指K个圆与障碍物重叠的面积，Area of Union是K个圆的联合面积。
可选地，所述的无人车路径规划方法，其中，确定满足IoU≥λ的最小圆圈数，其中，λ是所需的最小IoU；
获取包含整个障碍物的最小矩形，设计K个相同的圆代替最小矩形，以满足最小IoU的要求；
从K＝1的圆开始，其半径为：
Figure BDA0003269669490000042
其中，L表示最小矩形的长，W表示最小矩形的宽。
可选地，所述的无人车路径规划方法，其中，所述无人车路径规划方法还包括：
当存在N辆地面无人车时，N辆地面无人车的运动被建模为N个线性动态系统，状态模型被表述为：
Figure BDA0003269669490000043
Figure BDA0003269669490000044
其中t＝0，1，…，T-1表示离散时间，
Figure BDA0003269669490000045
由位置和速度组成，表示n＝1，2，…，N的第n辆地面无人车的状态，
Figure BDA0003269669490000046
代表二维位置输出，
Figure BDA0003269669490000047
是第n辆地面无人车在t时间瞬间改变速度所需的能耗，对于第n辆地面无人车，参数A(n)，B(n)和C(n)定义如下：
Figure BDA0003269669490000051
其中，
Figure BDA0003269669490000052
是一个身份矩阵，
Figure BDA0003269669490000053
是一个零矩阵，ΔT是两个连续状态之间的时间间隔，
Figure BDA0003269669490000054
是第n辆地面无人车遇到的速度阻力阻尼。
可选地，所述的无人车路径规划方法，其中，多辆地面无人车避免碰撞的约束条件为：
Figure BDA0003269669490000055
其中，dUGV是任意两辆地面无人车之间的最小安全距离。
可选地，所述的无人车路径规划方法，其中，所述无人车路径规划方法还包括：
基于一个所述无人机同时为多辆所述地面无人车提供避障信息和提供规划路径。
此外，为实现上述目的，本发明还提供一种无人车路径规划系统，其中，所述无人车路径规划系统包括：
语义分割模块，用于获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物；
目标定位模块，用于提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位；
路径规划模块，用于根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无人车路径规划程序，所述无人车路径规划程序被所述处理器执行时实现如上所述的无人车路径规划方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有无人车路径规划程序，所述无人车路径规划程序被处理器执行时实现如上所述的无人车路径规划方法的步骤。
本发明通过获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物；提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位；根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划。本发明通过利用无人机对环境中的地面无人车和障碍物进行语义分割，然后生成规划路径，实现了一个无人机可以同时为多辆地面无人车提供避障和提供规划路径的服务，降低了无人驾驶的成本，提高了无人驾驶的安全性。
附图说明
图1是本发明无人车路径规划方法的较佳实施例的流程图；
图2是本发明无人车路径规划方法的较佳实施例中进行图像处理的示意图；
图3是本发明无人车路径规划方法的较佳实施例中无人机通过安装在无人机上的广角摄像头对地面环境进行拍照的示意图；
图4是本发明无人车路径规划方法的较佳实施例中使用圆形函数来表示地面物体的形状的示意图；
图5是本发明无人车路径规划方法的较佳实施例中为地面无人车进行路径规划的示意图；
图6是本发明无人车路径规划系统的较佳实施例中原理示意图；
图7为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的无人车路径规划方法，如图1所示，所述无人车路径规划方法包括以下步骤：
步骤S10、获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物。
具体地，获取所述无人机通过广角摄像头(例如一个拥有广角摄像头的无人机可以探测到远处的物体，例如，型号为MAVIC2使用其内置的摄像头可以实现最远180米的探测范围)对地面环境进行拍摄的图像；无人机拍摄的视频流和照片可以实时传输回来，这支持对延迟敏感的应用，如自动驾驶；使用实时实例分割开源库(YOLACT++)对所述图像进行语义分割，识别所述图像中识别地面无人车和障碍物的位置信息。覆盖范围内的无人机和UGV之间的无线信道在大多数时候都是LoS，这可以实现高效的无线数据通信。
尽管利用LiDAR和RGB-D相机在物体探测和分割方面取得了巨大的成功，但它们的高成本使得它们无法在地面上的每辆UGV(地面无人车)上配备，因此本发明提出了一个无人机辅助的合作系统，其中一个普通的无人机可以用来实现多个UGV的碰撞感知避障路径规划，例如一个典型商用无人机能够同时为多个UGV服务；具体来说，使用YOLACT++(这是做语义分割的一个工具，可以搜索查到项目地址)从无人机拍摄的照片中识别物体和它们(障碍物和UGV)的位置；对于不同的物体，根据UGV的避障策略设置不同的保护半径。例如，如果障碍物是行人，由于人类的高流动性，UGV应该被引导到离行人更远的地方。
其中，YOLACT++有几个实际优势，具体来说，即使使用ResNet-101也很容易达到30FPS(每秒30帧，也就是每秒拍摄或播放30个画面)，这样就可以实现实时语义分割，实现自动驾驶。此外，由于YOLACT++中的重新聚合过程不会产生任何图像质量损失，因此与更传统的方法相比，YOLACT++为大型物体生成的掩码具有明显的质量，因此，本发明在无人机上使用YOLACT++来实现实时语义分割。
如图2所示，无人机通过广角摄像头对地面环境进行拍摄得到图像后，从无人机的广角摄像头获取图像信息，对图像进行二值化处理，完成目标识别与提取，之后建立数学公式描述，利用DCCP进行求解以获取规划路线。
步骤S20、提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位。
具体地，如图3所示，在本发明提出的UAV(Unmanned Aerial Vehicle，无人驾驶飞机)-UGV合作系统中，无人机首先通过安装在无人机上的广角摄像头对地面环境进行拍照；随后，使用语义分割法获得包括UGV和沿途所有可能的障碍物在内的地面信息。然后，感兴趣的区域(ROI，Region of interests)被映射到原始图像上，其中ROI以外的像素被设置为零；对于图像中的第i个像素，使用以下ROI指示函数来定义ROI区域：
Figure BDA0003269669490000091
其中，ROI表示感兴趣的区域，otherwise表示感兴趣的区域以外的区域；所述感兴趣的区域包括地面无人车和障碍物。
尽管一个物体的相对坐标可以从图像中得出，但它的实际物理位置对于后续的路径规划过程是必需的。
根据所述ROI指示函数的定义提取所述图像中感兴趣的区域；基于所述无人机的位置，通过所述无人机上的所述广角摄像头对地面无人车和障碍物进行定位。
本发明，通过YOLACT++检测到地面无人车(UGV)和障碍物，随后提取ROI区域，对于室外环境，GPS可以提供无人机的准确位置，随后，基于无人机的位置，障碍物和UGV可以通过无人机上配备的相机进行定位，具体如下。在数学上，将所述无人机的水平位置表示为pUAV＝[xu，yu]，高度为hu，则一个物体的二维位置可以表示如下：
Figure BDA0003269669490000092
其中，fc是所述无人机的所述广角摄像头的焦距，dimg是与图像中心的相对像素距离。
步骤S30、根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划。
具体地，本发明使用圆形函数来表示地面物体的形状，对于一个任意的形状，可以使用K(K表述常数，例如为K为5)个圆形函数来近似二维物体的形状，如图4所示，使用圆形函数最重要的优点是为避免碰撞提供了一个平滑的保护区域，同时大大简化了下面的优化问题表述。为了量化实际物体和它的圆形表示之间的近似误差，提出了以下的Intersection over Union(IoU，交并比)，定义为：
Figure BDA0003269669490000101
其中Area of Overlap是指K个圆与障碍物重叠的面积，Area of Union是K个圆的联合面积；显然，较大的IoU代表更精确的近似。
鉴于检测到的物体的二维形状，提出了一种算法以确定满足IoU≥λ的最小圆圈数，其中λ是所需的最小IoU。由于在随后的路径规划优化中，每个圆圈都将被转换为一个约束条件，因此所需的圆圈数量越多，就意味着所产生的约束条件越多，即后续优化问题的复杂性越高。因此，需要找到最小的圆圈数。
如图4所示，提出首先找到尺寸为W×L(宽和长)的最小矩形，该矩形可以包含整个物体，如图4所示。之后，设计K个相同的圆来代替矩形，以满足最小IoU的要求。更具体地说，从K＝1的圆开始，其半径为：
Figure BDA0003269669490000111
其中，L表示最小矩形的长，W表示最小矩形的宽。
如图5所示，通过语义分割识别出地面上存在4个障碍物，那么可以对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划，使得地面无人车在行进时避开障碍物。
进一步地，当系统中部署了多辆UGV时，必须考虑碰撞问题。N辆UGV的运动可以被建模为N个线性动态系统，状态模型可以被表述为：
Figure BDA0003269669490000112
Figure BDA0003269669490000113
其中t＝0，1，…，T-1表示离散时间，
Figure BDA0003269669490000114
由位置和速度组成，表示n＝1，2，…，N的第n辆地面无人车的状态，
Figure BDA0003269669490000115
代表二维位置输出，
Figure BDA0003269669490000116
是第n辆地面无人车在t时间瞬间改变速度所需的能耗，对于第n辆地面无人车，参数A(n)，B(n)和C(n)定义如下：
Figure BDA0003269669490000117
其中，
Figure BDA0003269669490000118
是一个身份矩阵，
Figure BDA0003269669490000119
是一个零矩阵，ΔT是两个连续状态之间的时间间隔，
Figure BDA00032696694900001110
是第n辆地面无人车遇到的速度阻力阻尼；R(n)的值取决于环境，如第n辆UGV与地面之间的摩擦。为简单起见，将R(n)设为常数矩阵，忽略环境差异。
通过推导最佳速度曲线来解决碰撞感知的能量最小化问题，重点是避免UGV之间的碰撞。具体来说，多辆地面无人车避免碰撞的约束条件为：
Figure BDA00032696694900001111
其中，dUGV是任意两辆地面无人车之间的最小安全距离。
例如，可以将问题描述如下:
Figure BDA0003269669490000121
subject to：C1：
Figure BDA0003269669490000122
C2：
Figure BDA0003269669490000123
C3：
Figure BDA0003269669490000124
C4：
Figure BDA0003269669490000125
C5：
Figure BDA0003269669490000126
C6：
Figure BDA0003269669490000127
C7：
Figure BDA0003269669490000128
其中，C1、C2、C3、C4、C5、C6、C7表示的是限制条件，n是第n辆UGV，ut (n)是消耗的瞬时能量，sinit (n)是起始状态，包含了速度和位置信息，send (n)是最终状态，为给定的值，Pmax是最大的瞬时能量消耗，γ是两个规划点的距离，pm是障碍物的坐标，rm是障碍物的半径，dm是障碍物和UGV之间的安全距离。
进一步地，如图6所示，基于上述无人车路径规划方法，本发明还相应提供了一种无人车路径规划系统，其中，所述无人车路径规划系统包括：
语义分割模块51，用于获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物；
目标定位模块52，用于提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位；
路径规划模块53，用于根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划。
本发明提出了一个基于视觉的UAV辅助的多个UGV的合作系统，提出的系统利用UAV的广阔视野，在一般的室外和全球定位系统(GPS)封锁的室内环境中都能运行。与传统的启发式算法(如快速探索随机树算法和Dijkstra方法)形成鲜明对比的是，通过考虑碰撞感知的避障，所提出的无人机节能路径规划被表述为一个非凸优化(凸优化问题可以找到全局最优解，而非凸的只能找到局部最优解)问题。更具体地说，所提出的路径规划方案包含两个阶段，即通过利用安装在无人机上的广角摄像头对环境中的UGV和障碍物进行语义分割，然后生成轨迹，其中为非凸的能量最小化问题设计了一种有纪律的凸凹编程(Disciplined Convex Concave Programming,DCCP)算法。
进一步地，如图7所示，基于上述无人车路径规划方法和系统，本发明还相应提供了一种装置，所述装置包括处理器10、存储器20及显示器30。图7仅示出了装置的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器20在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述装置的应用软件及各类数据，例如所述安装装置的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有无人车路径规划程序40，该无人车路径规划程序40可被处理器10所执行，从而实现本申请中无人车路径规划方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述无人车路径规划方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述装置的信息以及用于显示可视化的用户界面。所述装置的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中无人车路径规划程序40时实现如上所述无人车路径规划的步骤：
综上所述，本发明提供一种无人车路径规划方法、系统、终端及计算机可读存储介质，获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物；提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位；根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划。本发明通过利用无人机对环境中的地面无人车和障碍物进行语义分割，然后生成规划路径，实现了一个无人机可以同时为多辆地面无人车提供避障和提供规划路径的服务，降低了无人驾驶的成本，提高了无人驾驶的安全性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种无人车路径规划方法，其特征在于，所述无人车路径规划方法包括：
获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物；
所述获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物，具体包括：
获取所述无人机通过广角摄像头对地面环境进行拍摄的图像；
使用实时实例分割开源库对所述图像进行语义分割，识别所述图像中识别地面无人车和障碍物的位置信息；
提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位；
根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划；
将感兴趣的区域映射到原始图像上，并将感兴趣的区域以外的像素设置为0，对于所述图像中的第i个像素，使用ROI指示函数定义ROI区域：
Figure FDA0004203321400000011
其中，ROI表示感兴趣的区域，otherwise表示感兴趣的区域以外的区域；
所述感兴趣的区域包括地面无人车和障碍物；
所述提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位，具体包括：
根据所述ROI指示函数的定义提取所述图像中感兴趣的区域；
基于所述无人机的位置，通过所述无人机上的所述广角摄像头对地面无人车和障碍物进行定位；
将所述无人机的水平位置表示为pUAV＝[xu，yu]，高度为hu，则一个物体的二维位置可以表示如下：
Figure FDA0004203321400000012
其中，fc是所述无人机的所述广角摄像头的焦距，dimg是与图像中心的相对像素距离；
使用K个圆形函数来表示地面障碍物的形状，量化障碍物和圆形表示之间的近似误差，定义交并比IoU为：
Figure FDA0004203321400000013
其中Area of Overlap是指K个圆与障碍物重叠的面积，Area of Union是K个圆的联合面积；
确定满足IoU≥λ的最小圆圈数，其中，λ是所需的最小IoU：
获取包含整个障碍物的最小矩形，设计K个相同的圆代替最小矩形，以满足最小IoU的要求；
从K＝1的圆开始，其半径为：
Figure FDA0004203321400000021
其中，L表示最小矩形的长，W表示最小矩形的宽。
2.根据权利要求1所述的无人车路径规划方法，其特征在于，所述无人车路径规划方法还包括：
当存在N辆地面无人车时，N辆地面无人车的运动被建模为N个线性动态系统，状态模型被表述为：
Figure FDA0004203321400000022
Figure FDA0004203321400000023
其中t＝0，1，…，T-1表示离散时间，
Figure FDA0004203321400000024
由位置和速度组成，表示n＝1，2，…，N的第n辆地面无人车的状态，
Figure FDA0004203321400000025
代表二维位置输出，
Figure FDA0004203321400000026
是第n辆地面无人车在t时间瞬间改变速度所需的能耗，对于第n辆地面无人车，参数A(n)，B(n)和C(n)定义如下：
Figure FDA0004203321400000027
其中，
Figure FDA0004203321400000028
是一个身份矩阵，
Figure FDA0004203321400000029
是一个零矩阵，ΔT是两个连续状态之间的时间间隔，
Figure FDA00042033214000000210
是第n辆地面无人车遇到的速度阻力阻尼。
3.根据权利要求2所述的无人车路径规划方法，其特征在于，多辆地面无人车避免碰撞的约束条件为：
Figure FDA00042033214000000211
其中，dUGv是任意两辆地面无人车之间的最小安全距离。
4.根据权利要求1所述的无人车路径规划方法，其特征在于，所述无人车路径规划方法还包括：
基于一个所述无人机同时为多辆所述地面无人车提供避障信息和提供规划路径。
5.一种无人车路径规划系统，其特征在于，所述无人车路径规划系统包括：
语义分割模块，用于获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物；
目标定位模块，用于提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位；
路径规划模块，用于根据地面无人车和障碍物进行定位结果，对地面障碍物的形状进行规划，并根据障碍物的形状规划结果为地面无人车进行路径规划；
所述获取无人机拍摄的图像，对所述图像进行语义分割以识别地面无人车和障碍物，具体包括：
获取所述无人机通过广角摄像头对地面环境进行拍摄的图像；
使用实时实例分割开源库对所述图像进行语义分割，识别所述图像中识别地面无人车和障碍物的位置信息；
将感兴趣的区域映射到原始图像上，并将感兴趣的区域以外的像素设置为0，对于所述图像中的第i个像素，使用ROI指示函数定义ROI区域：
Figure FDA0004203321400000031
其中，ROI表示感兴趣的区域，otherwise表示感兴趣的区域以外的区域；
所述感兴趣的区域包括地面无人车和障碍物；
所述提取所述图像中感兴趣的区域，基于所述无人机的位置，对地面无人车和障碍物进行定位，具体包括：
根据所述ROI指示函数的定义提取所述图像中感兴趣的区域；
基于所述无人机的位置，通过所述无人机上的所述广角摄像头对地面无人车和障碍物进行定位；
将所述无人机的水平位置表示为pUAV＝[xu，yu]，高度为hu，则一个物体的二维位置可以表示如下：
Figure FDA0004203321400000032
其中，fc是所述无人机的所述广角摄像头的焦距，dimg是与图像中心的相对像素距离；
使用K个圆形函数来表示地面障碍物的形状，量化障碍物和圆形表示之间的近似误差，定义交并比IoU为：
Figure FDA0004203321400000033
其中Area of Overlap是指K个圆与障碍物重叠的面积，Area of Union是K个圆的联合面积；
确定满足IoU≥λ的最小圆圈数，其中，λ是所需的最小IoU：
获取包含整个障碍物的最小矩形，设计K个相同的圆代替最小矩形，以满足最小IoU的要求；
从K＝1的圆开始，其半径为：
Figure FDA0004203321400000041
其中，L表示最小矩形的长，W表示最小矩形的宽。
6.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无人车路径规划程序，所述无人车路径规划程序被所述处理器执行时实现如权利要求1-4任一项所述的无人车路径规划方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有无人车路径规划程序，所述无人车路径规划程序被处理器执行时实现如权利要求1-4任一项所述的无人车路径规划方法的步骤。
CN202111097739.5A 2021-09-18 2021-09-18 一种无人车路径规划方法、系统及终端 Active CN113821033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111097739.5A CN113821033B (zh) 2021-09-18 2021-09-18 一种无人车路径规划方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111097739.5A CN113821033B (zh) 2021-09-18 2021-09-18 一种无人车路径规划方法、系统及终端

Publications (2)

Publication Number Publication Date
CN113821033A CN113821033A (zh) 2021-12-21
CN113821033B true CN113821033B (zh) 2023-06-06

Family

ID=78914845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111097739.5A Active CN113821033B (zh) 2021-09-18 2021-09-18 一种无人车路径规划方法、系统及终端

Country Status (1)

Country Link
CN (1) CN113821033B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115237157B (zh) * 2022-08-08 2024-01-23 南京理工大学 一种路网约束下的空地无人集群多任务点路径规划方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109813322A (zh) * 2019-03-18 2019-05-28 东莞理工学院 无人机与无人车协作导航系统
CN110285822A (zh) * 2019-07-01 2019-09-27 东莞理工学院 无人机建图算法与无人车导航算法的融合应用系统及方法
CN111413965A (zh) * 2020-03-11 2020-07-14 西安工程大学 一种基于uav协同感知的ugv行驶路径规划方法
CN111666921B (zh) * 2020-06-30 2022-05-20 腾讯科技（深圳）有限公司 车辆控制方法、装置、计算机设备和计算机可读存储介质
SG10202009757XA (en) * 2020-10-01 2021-04-29 Yitu Pte Ltd Video-based human action recognition method and apparatus, a medium and an electronic device
CN112580542A (zh) * 2020-12-24 2021-03-30 杭州电子科技大学 一种基于目标检测的钢筋计数方法
CN113362394A (zh) * 2021-06-11 2021-09-07 上海追势科技有限公司 一种基于视觉语义分割技术的车辆实时定位方法

Also Published As

Publication number Publication date
CN113821033A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
JP7485749B2 (ja) ビデオベースの位置決め及びマッピングの方法及びシステム
Maddern et al. 1 year, 1000 km: The oxford robotcar dataset
CN110874100B (zh) 用于使用视觉稀疏地图进行自主导航的系统和方法
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
EP3459238B1 (en) Need-sensitive image and location capture system and method
Krajník et al. A practical multirobot localization system
US20200133272A1 (en) Automatic generation of dimensionally reduced maps and spatiotemporal localization for navigation of a vehicle
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
Xue et al. A vision-centered multi-sensor fusing approach to self-localization and obstacle perception for robotic cars
Shim et al. An autonomous driving system for unknown environments using a unified map
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
US11430199B2 (en) Feature recognition assisted super-resolution method
US12061252B2 (en) Environment model using cross-sensor feature point referencing
CN107421540A (zh) 一种基于视觉的移动机器人导航方法及系统
US11891091B2 (en) Semantic occupancy grid management in ADAS/autonomous driving
Zhou et al. Developing and testing robust autonomy: The university of sydney campus data set
Silva et al. Monocular trail detection and tracking aided by visual SLAM for small unmanned aerial vehicles
CN113821033B (zh) 一种无人车路径规划方法、系统及终端
He et al. AutoMatch: Leveraging Traffic Camera to Improve Perception and Localization of Autonomous Vehicles
CN111833443A (zh) 自主机器应用中的地标位置重建
US11377125B2 (en) Vehicle rideshare localization and passenger identification for autonomous vehicles
CN206832260U (zh) 一种基于视觉的移动机器人导航系统
Wang et al. Holistic Parking Slot Detection with Polygon-Shaped Representations
Khan et al. Real-time traffic light detection from videos with inertial sensor fusion
KR20220050386A (ko) 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant