CN115220449A - 路径规划的方法、装置、存储介质、芯片及车辆 - Google Patents

路径规划的方法、装置、存储介质、芯片及车辆 Download PDF

Info

Publication number
CN115220449A
CN115220449A CN202210834671.2A CN202210834671A CN115220449A CN 115220449 A CN115220449 A CN 115220449A CN 202210834671 A CN202210834671 A CN 202210834671A CN 115220449 A CN115220449 A CN 115220449A
Authority
CN
China
Prior art keywords
target
pitch angle
obstacle
lane
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210834671.2A
Other languages
English (en)
Other versions
CN115220449B (zh
Inventor
李俊
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Automobile Technology Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd, Xiaomi Automobile Technology Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202210834671.2A priority Critical patent/CN115220449B/zh
Publication of CN115220449A publication Critical patent/CN115220449A/zh
Application granted granted Critical
Publication of CN115220449B publication Critical patent/CN115220449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种路径规划的方法、装置、存储介质、芯片及车辆,涉及自动驾驶领域。通过图像采集装置获取待检测的目标区域的图像信息;根据图像信息获取障碍物的障碍物参数,以及车道线的车道线参数;根据障碍物参数和车道线参数,确定车辆的目标俯仰角;根据障碍物参数、车道线参数以及目标俯仰角,从车道线中确定障碍物所在的第一目标车道,根据所述第一目标车道进行路径规划。这样,能够准确地确定车辆的目标俯仰角,根据目标俯仰角通过图像信息确定障碍物所在的第一目标车道,及时更新路径规划,提升用户的自动驾驶体验。

Description

路径规划的方法、装置、存储介质、芯片及车辆
技术领域
本公开涉及自动驾驶领域,尤其涉及一种路径规划的方法、装置、存储介质、芯片及车辆。
背景技术
通过对障碍物的检测获取障碍物所在目标车道线的信息,并根据障碍物所在的目标车道线的信息完成路径规划是车辆自动驾驶技术中的关键技术,相关技术中,通常是通过激光雷达检测出点云结果,根据点云结果得到障碍物的位置,并根据该障碍物的位置进行路径规划。
但是,由于激光雷达探测有限,尤其对一些比较小的障碍物,例如道路施工区域的锥桶,雷达探测的精度较低,无法进行有效的检测,导致无法及时根据障碍物更新路径规划,影响用户的体验。
发明内容
为克服相关技术中存在的问题,本公开提供一种路径规划的方法、装置、存储介质、芯片及车辆。
根据本公开实施例的第一方面,提供一种路径规划的方法,所述方法应用于车辆,所述方法包括:
通过图像采集装置获取待检测的目标区域的图像信息,所述目标区域包括障碍物和车道线;
根据所述图像信息获取所述障碍物的障碍物参数,以及所述车道线的车道线参数;
根据所述障碍物参数和所述车道线参数,确定所述车辆的目标俯仰角;
根据所述障碍物参数、所述车道线参数以及所述目标俯仰角,从所述车道线中确定所述障碍物所在的第一目标车道;
根据所述第一目标车道进行路径规划。
可选地,所述根据所述障碍物参数和所述车道线参数,确定所述车辆的目标俯仰角包括:
根据所述障碍物参数和所述车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重;
根据所述障碍物参数或者所述车道线参数,确定所述预设俯仰角获取模型对应的待定俯仰角;
根据所述目标权重对所述待定俯仰角进行加权处理,得到所述目标俯仰角。
可选地,所述根据所述障碍物参数和所述车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重包括:
将每个预设俯仰角获取模型的对应的预设权重,作为所述预设俯仰角获取模型对应的目标权重。
可选地,所述障碍物参数包括所述障碍物的识别类型,所述车道线参数包括所述车道线的曲率;所述根据所述障碍物参数和所述车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重包括:
根据所述识别类型、所述曲率以及所述图像采集装置的数量从多个预设权重组合中,确定所述多个预设俯仰角获取模型对应的目标权重组合。
可选地,所述车道线参数包括所述车道线的第一位置信息,所述预设俯仰角获取模型包括第一俯仰角获取模型,根据所述车道线参数,确定所述预设俯仰角获取模型对应的待定俯仰角包括:
根据所述第一位置信息确定所述车辆所在车道的两条当前车道线对应的目标灭点,所述目标灭点表征所述两条当前车道线对应的拟合直线的交点;
将所述目标灭点的目标灭点坐标和所述图像采集装置的标定参数作为所述第一俯仰角获取模型的输入,得到所述第一俯仰角获取模型输出的所述待定俯仰角。
可选地,所述障碍物参数包括所述障碍物的第二位置信息,所述预设俯仰角获取模型包括第二俯仰角获取模型,所述图像采集装置的数量为多个,所述第二位置信息包括多个所述图像采集装置分别对应的多个所述障碍物的位置信息,根据所述障碍物参数,确定所述预设俯仰角获取模型对应的待定俯仰角包括:
从多个所述图像采集装置中确定两个目标图像采集装置,从所述第二位置信息中获取所述目标图像采集装置分别对应的目标位置信息;
根据所述目标位置信息、所述目标图像采集装置的目标标定参数以及两个所述目标图像采集装置之间的预设距离,确定与所述障碍物的目标距离;
将所述目标距离、所述目标位置信息、所述目标标定参数以及所述目标图像采集装置的安装高度,作为所述第二俯仰角获取模型的输入,得到所述第二俯仰角获取模型输出的所述待定俯仰角。
可选地,所述障碍物参数包括所述障碍物的第二位置信息,所述预设俯仰角获取模型包括第三俯仰角获取模型,所述障碍物参数还包括所述障碍物的识别类型,根据所述障碍物参数,确定所述预设俯仰角获取模型对应的待定俯仰角包括:
在所述识别类型包括目标识别类型的情况下,获取所述目标识别类型对应的目标高度;
将所述目标高度、所述第二位置信息、所述图像采集装置的标定参数以及所述图像采集装置的安装高度,作为所述第三俯仰角获取模型的输入,得到所述第三俯仰角获取模型输出的所述待定俯仰角。
可选地,所述车道线参数包括所述车道线的第一位置信息,所述障碍物参数包括所述障碍物的第二位置信息,所述根据所述障碍物参数、所述车道线参数以及所述目标俯仰角,从所述车道线中确定所述障碍物所在的第一目标车道包括:
根据所述第一位置信息、所述图像采集装置的标定参数以及所述目标俯仰角确定所述车道线的第一三维坐标信息;
根据所述第二位置信息、所述图像采集装置的标定参数以及所述目标俯仰角确定所述障碍物的第二三维坐标信息;
根据所述第一三维坐标信息和所述第二三维坐标信息,从所述车道线中确定所述障碍物所在的第一目标车道。
可选地,所述车道线参数包括所述车道线的第一位置信息,所述障碍物参数包括所述障碍物的第二位置信息,所述方法还包括:
根据所述第一位置信息和所述第二位置信息,从所述车道线中确定所述障碍物所在的第二目标车道;
所述根据所述第一目标车道进行路径规划包括:根据所述第一目标车道和所述第二目标车道进行路径规划。
可选得,所述障碍物的高度小于或者等于预设高度阈值。
根据本公开实施例的第二方面,提供一种路径规划的装置,所述装置应用于车辆,所述装置包括:
采集模块,被配置为通过图像采集装置获取待检测的目标区域的图像信息,所述目标区域包括障碍物和车道线;
获取模块,被配置为根据所述图像信息获取所述障碍物的障碍物参数,以及所述车道线的车道线参数;
确定模块,被配置为根据所述障碍物参数和所述车道线参数,确定所述车辆的目标俯仰角;
第一检测模块,被配置为根据所述障碍物参数、所述车道线参数以及所述目标俯仰角,从所述车道线中确定所述障碍物所在的第一目标车道;
路径规划模块,被配置为根据所述第一目标车道进行路径规划。
可选地,所述确定模块,还被配置为:
根据所述障碍物参数和所述车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重;
根据所述障碍物参数或者所述车道线参数,确定所述预设俯仰角获取模型对应的待定俯仰角;
根据所述目标权重对所述待定俯仰角进行加权处理,得到所述目标俯仰角。
可选地,所述确定模块,还被配置为:
将每个预设俯仰角获取模型的对应的预设权重,作为所述预设俯仰角获取模型对应的目标权重。
可选地,所述障碍物参数包括所述障碍物的识别类型,所述车道线参数包括所述车道线的曲率,所述确定模块,还被配置为:
根据所述识别类型、所述曲率以及所述图像采集装置的数量从多个预设权重组合中,确定所述多个预设俯仰角获取模型对应的目标权重组合。
可选地,所述车道线参数包括所述车道线的第一位置信息,所述预设俯仰角获取模型包括第一俯仰角获取模型,所述确定模块,还被配置为:
根据所述第一位置信息确定所述车辆所在车道的两条当前车道线对应的目标灭点,所述目标灭点表征所述两条当前车道线对应的拟合直线的交点;
将所述目标灭点的目标灭点坐标和所述图像采集装置的标定参数作为所述第一俯仰角获取模型的输入,得到所述第一俯仰角获取模型输出的所述待定俯仰角。
可选地,所述障碍物参数包括所述障碍物的第二位置信息,所述预设俯仰角获取模型包括第二俯仰角获取模型,所述图像采集装置的数量为多个,所述第二位置信息包括多个所述图像采集装置分别对应的多个所述障碍物的位置信息,所述确定模块,还被配置为:
从多个所述图像采集装置中确定两个目标图像采集装置,从所述第二位置信息中获取所述目标图像采集装置分别对应的目标位置信息;
根据所述目标位置信息、所述目标图像采集装置的目标标定参数以及两个所述目标图像采集装置之间的预设距离,确定与所述障碍物的目标距离;
将所述目标距离、所述目标位置信息、所述目标标定参数以及所述目标图像采集装置的安装高度,作为所述第二俯仰角获取模型的输入,得到所述第二俯仰角获取模型输出的所述待定俯仰角。
可选地,所述障碍物参数包括所述障碍物的第二位置信息,所述预设俯仰角获取模型包括第三俯仰角获取模型,所述障碍物参数还包括所述障碍物的识别类型,所述确定模块,还被配置为:
在所述识别类型包括目标识别类型的情况下,获取所述目标识别类型对应的目标高度;
将所述目标高度、所述第二位置信息、所述图像采集装置的标定参数以及所述图像采集装置的安装高度,作为所述第三俯仰角获取模型的输入,得到所述第三俯仰角获取模型输出的所述待定俯仰角。
可选地,所述车道线参数包括所述车道线的第一位置信息,所述障碍物参数包括所述障碍物的第二位置信息,所述第一检测模块,还被配置为:
根据所述第一位置信息、所述图像采集装置的标定参数以及所述目标俯仰角确定所述车道线的第一三维坐标信息;
根据所述第二位置信息、所述图像采集装置的标定参数以及所述目标俯仰角确定所述障碍物的第二三维坐标信息;
根据所述第一三维坐标信息和所述第二三维坐标信息,从所述车道线中确定所述障碍物所在的第一目标车道。
可选地,所述装置还包括第二检测模块,被配置为:
根据所述第一位置信息和所述第二位置信息,从所述车道线中确定所述障碍物所在的第二目标车道;
所述路径规划模块,还被配置为根据所述第一目标车道和所述第二目标车道进行路径规划。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现第一方面中任一项所述方法中的步骤。
根据本公开实施例的第四方面,提供一种芯片,包括处理器和接口;所述处理器用于读取指令以执行第一方面中任一项所述的方法。
根据本公开实施例的第五方面,提供一种车辆,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面中任一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过图像采集装置获取待检测的目标区域的图像信息;根据图像信息获取障碍物的障碍物参数,以及车道线的车道线参数;根据障碍物参数和车道线参数,确定车辆的目标俯仰角;根据障碍物参数、车道线参数以及目标俯仰角,从车道线中确定障碍物所在的第一目标车道,根据所述第一目标车道进行路径规划。这样,能够准确地确定车辆的目标俯仰角,根据目标俯仰角通过图像信息确定障碍物所在的第一目标车道,及时更新路径规划,提升用户的自动驾驶体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,但并不构成对本公开的限制。
图1是根据一示例性实施例示出的一种路径规划的方法的流程图。
图2是根据一示例性实施例示出的另一种路径规划的方法的流程图。
图3是根据一示例性实施例示出的一种获取待定俯仰角方法的几何示意图。
图4是根据一示例性实施例示出的又一种路径规划的方法的流程图。
图5是根据一示例性实施例示出的又一种路径规划的方法的流程图。
图6是根据一示例性实施例示出的一种路径规划的装置的框图。
图7是根据一示例性实施例示出的另一种路径规划的装置的框图。
图8是根据一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子,应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
下面结合具体实施例对本公开进行说明。
图1是根据一示例性实施例示出的一种路径规划的方法的流程图,该方法应用于车辆,如图1所示,该方法可以包括以下步骤。
在步骤S101中,通过图像采集装置获取待检测的目标区域的图像信息。
其中,目标区域可以包括障碍物和车道线。
该图像采集装置可以是设置在车辆上的摄像头,障碍物可以是在车道上的工程指示装置,例如锥桶,工程指示牌,也可以是车道上停放或者低速形式的车辆,还可以是车道上的异物,例如抛洒物,石块等,本公开对障碍物的具体类型不做限制。
在步骤S102中,根据图像信息获取障碍物的障碍物参数,以及车道线的车道线参数。
示例地,车道线的车道线参数可以包括车道线在该图像信息中的第一位置信息,障碍物的障碍物参数可以包括障碍物在该图像信息中的第二位置信息。
在一些可能的实现方式中,该图像信息的像素点可以采用像素坐标系表示,第一位置信息可以包括多个车道线中每个车道线在像素坐标系中的二维坐标集合,该第二位置信息可以包括障碍物在像素坐标系中的二维坐标集合。关于像素坐标系可以参见相关技术中的描述,此处不再展开赘述。
在一些可能的实现方式中,可以通过预先训练的深度学习模型根据图像信息获取障碍物的障碍物参数,例如,可以通过YOLO目标检测模型获取障碍物的障碍物参数,也可以通过Faster R-CNN(Faster Region-based Convolutional Neural Networks,更快的基于区域的卷积神经网络)获取障碍物的障碍物参数,本公开对获取障碍物参数的深度学习模型的选择不做限定。具体图像识别的深度学习模型可以参见相关技术中的描述,此处不再赘述。
在一些可能的实现方式中,可以通过预先训练的深度学习模型根据图像信息获取车道线的车道线参数,例如可以通过LaneNet车道线检测网络模型根据图像信息获取车道线的车道线参数,本公开对获取车道线参数的深度学习模型的选择不做限定。具体获取车道线参数的深度学习模型可以参见相关技术中的描述,此处不再赘述。
在步骤S103中,根据障碍物参数和车道线参数,确定车辆的目标俯仰角。
车辆在行驶过程中,存在由于车辆颠簸导致车辆姿态角的改变的情况,在车辆姿态角中,尤其以围绕垂直于车身侧面的轴旋转的姿态角最为普遍,该姿态角称为Pitch,即俯仰角。根据图像信息确定障碍物所在的目标车道线以及与障碍物之间的距离时,需要根据图像采集装置的标定参数分别对第一位置信息和第二位置信息进行转换,在存在俯仰角的情况下,会带来较大的误差。
在一些可能的实现方式中,可以根据障碍物参数、车道线参数以及图像采集装置的标定参数确定车辆的目标俯仰角,该标定参数可以包括图像采集装置的内参和外参,其中图像采集装置的内参用于将目标对象的坐标在像素坐标系和相机坐标系中转换,图像采集装置的外参用于将目标对象的坐标在相机坐标系和车体坐标系中转换,结合车辆所在的世界坐标,图像采集装置的外参可以进一步地将目标对象的坐标在相机坐标系和世界坐标系中转换。可以参见相关技术中图像采集装置的标定参数的描述。
示例地,可以根据多个预设俯仰角获取模型以及对应的目标权重,根据障碍物参数、车道线参数以及图像采集装置的标定参数,确定车辆的目标俯仰角。
在步骤S104中,根据障碍物参数、车道线参数以及目标俯仰角,从车道线中确定障碍物所在的第一目标车道。
其中,车道线参数可以包括车道线的第一位置信息,障碍物参数可以包括障碍物的第二位置信息。
在一些可能的实现方式中,可以根据第一位置信息、图像采集装置的标定参数以及目标俯仰角确定车道线的第一三维坐标信息。根据第二位置信息、图像采集装置的标定参数以及目标俯仰角确定障碍物的第二三维坐标信息。根据第一三维坐标信息和第二三维坐标信息,从车道线中确定障碍物所在的第一目标车道,其中该第一目标车道表征距离该障碍物最近的两条车道线组成的车道。
在步骤S105中,根据第一目标车道进行路径规划。
在一些可能的实现方式中,可以根据第一目标车道和车辆所在的当前车道进行路径规划。
在一些实施例中,在从车道线中确定障碍物所在的第一目标车道之后,可以根据有俯仰角的测距公式确定障碍物与图像采集装置的目标距离,根据第一目标车道、当前车道和目标距离,更新车辆的自动驾驶的路径规划,例如在该目标距离小于或者等于第一预设距离阈值且当前车道与第一目标车道相同的情况下,进行当前车道的切换。
这样,能够准确地确定车辆的目标俯仰角,根据目标俯仰角通过图像信息确定障碍物所在的第一目标车道,及时更新路径规划,提升用户的自动驾驶体验。
图2是根据一示例性实施例示出的另一种路径规划的方法的流程图,如图2所示,步骤S103可以包括以下步骤。
在步骤S1031中,根据障碍物参数和车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重。
在本申请中,可以预先设置多个预设的俯仰角获取模型,通过对多个预设的俯仰角获取模型得到的待定俯仰角进行加权,可以获得准确的目标俯仰角信息,从而确定车辆的目标俯仰角。
在一些可能的实现方式中,可以将每个预设俯仰角获取模型的对应的预设权重,作为预设俯仰角获取模型对应的目标权重。
示例地,该预设权重可以根据多个实验测试场景的中的多个预设俯仰角获取模型的实验俯仰角和实际俯仰角的误差确定该预设权重,在一些可能的实现方式中,对于实验俯仰角和实际俯仰角的误差较小的预设俯仰角获取模型,可以设置较大的目标权重,对于实验俯仰角和实际俯仰角的误差较大的预设俯仰角获取模型,可以设置较小的目标权重。
在一些实施例中,根据预设俯仰角获取模型的不同,障碍物参数、车道线参数和图像采集装置的参数(例如数量)可能会对目标俯仰角的准确度存在影响,在一些可能的实现方式中,可以根据该障碍物参数、车道线参数和图像采集装置的参数确定多个预设俯仰角获取模型分别对应的目标权重。
例如,在多个预设俯仰角获取模型中,车道线的曲率对于通过获取车辆所在的当前车道线的灭点确定待定俯仰角的方案准确性影响较大,则可以根据当前车道线的曲率确定权重组合中该预设俯仰角获取模型的目标权重。
示例地,障碍物参数包括障碍物的识别类型,车道线参数包括车道线的曲率,可以根据识别类型、曲率以及图像采集装置的数量从多个预设权重组合中,确定目标权重组合。
其中,预设权重组合中包括多个预设俯仰角获取模型分别对应的预设权重,每个预设权重组合表征多个预设俯仰角获取模型分别对应的预设权重的组合。
其中,障碍物的识别类型可以通过预先训练的深度学习模型(例如YOLO目标检测模型,或者Faster R-CNN)获取,该车道线的曲率可以根据车道线的第一位置信息进行拟合,从而确定该车道线的曲率,具体参考相关技术中描述,此处不再赘述。
在一些可能的实现方式中,可以根据识别类型、曲率以及图像采集装置的数量从表一中的多个预设权重组合中,确定多个预设俯仰角获取模型对应的目标权重组合,如下表一所示,
Figure BDA0003747170460000121
Figure BDA0003747170460000131
表一
如表一所示,可以根据车道线的曲率、图像采集装置的数量和障碍物的识别类型中的一个或者多个,从表一中确定第一俯仰角获取模型、第二俯仰角获取模型以及第三俯仰角获取模型分别对应的目标权重,从而得到该目标权重集合,例如,在车道线的曲率为0,图像采集装置的数量为1且障碍物的识别类型为“国标锥桶”的情况下,确定的目标权重组合中,第一俯仰角获取模型、第二俯仰角获取模型和第三俯仰角获取模型对应的目标权重分别为5,0,5,在车道线的曲率为0.2,图像采集装置的数量为2且障碍物的识别类型为“普通锥桶”的情况下,确定的目标权重组合中,第一俯仰角获取模型、第二俯仰角获取模型和第三俯仰角获取模型对应的目标权重分别为4.5,4,4;在车道线的曲率为0.5,图像采集装置的数量为3且障碍物的识别类型为“石块”的情况下,确定的目标权重组合中,第一俯仰角获取模型、第二俯仰角获取模型和第三俯仰角获取模型对应的目标权重分别为2,4.5,0。
需要说明的是,上述表一中的各个参数只是举例说明,本公开对此不作限定。
在步骤S1032中,根据障碍物参数或者车道线参数,确定每个预设俯仰角获取模型对应的待定俯仰角。
在一些实施例中,车道线参数包括车道线的第一位置信息,预设俯仰角获取模型包括第一俯仰角获取模型。可以通过如下的步骤根据车道线参数,确定预设俯仰角获取模型对应的待定俯仰角。
步骤1、根据第一位置信息确定车辆所在车道的两条当前车道线对应的目标灭点。
其中,目标灭点表征两条当前车道线对应的拟合直线的交点,在一些可能的实现方式中,该目标灭点可以采用像素坐标系中的二维坐标表示。
示例地,第一位置信息可以包括多个车道线中每个车道线在像素坐标系中的二维坐标集合,可以首先获取车辆所在车道的两条当前车道线对应的目标二维坐标集合,通过对目标二维坐标集合进行直线拟合的方式确定该目标灭点的二维坐标。确定车辆所在车道的两条当前车道线的二维坐标集合的方法可以参见相关技术中通过预先训练的深度学习模型获取两条当前车道线的方法,此处不再赘述。
在另一可能的实现方式中,还可以通过预先训练的深度学习模型(例如LaneNet车道线检测网络模型)根据图像信息获取车道线的目标灭点的二维坐标,参见相关技术中的描述,此处不再赘述。
步骤2、将目标灭点的目标灭点坐标和图像采集装置的标定参数作为第一俯仰角获取模型的输入,得到第一俯仰角获取模型输出的待定俯仰角。
示例地,可以根据目标灭点的目标灭点坐标、图像采集装置的标定参数、以及如下的公式1,确定第一俯仰角获取模型的待定俯仰角。
Figure BDA0003747170460000141
其中,θ为第一俯仰角获取模型输出的待定俯仰角,y为该目标灭点在像素坐标系中的纵坐标,cy和fy是图像采集装置的标定参数中的内参,具体含义参见相关技术中图像采集装置的内参的相关描述,此处不再赘述。
需要特别说明的是,该目标灭点有可能会落在该图像信息上,也可能落在图像信息之外,本公开对此不做限制。
在另一实施例中,障碍物参数包括障碍物的第二位置信息,预设俯仰角获取模型包括第二俯仰角获取模型,图像采集装置的数量为多个,第二位置信息包括多个图像采集装置分别对应的多个该障碍物的位置信息。
其中,该图像信息的像素点可以采用像素坐标系表示,该第二位置信息可以包括障碍物在像素坐标系中的二维坐标集合。
在一些可能的实现方式中,可以通过如下的方式根据障碍物参数,确定预设俯仰角获取模型对应的待定俯仰角。
步骤1、从多个图像采集装置中确定两个目标图像采集装置,从第二位置信息中获取目标图像采集装置分别对应的目标位置信息。
示例地,在车辆上可以设置有采集目标区域的图像信息的多个图像采集装置,从多个图像采集装置中确定两个目标图像采集装置,两个图像采集装置分别获取了目标区域中目标图像信息,可以从第二位置信息的位置信息中获取两个目标图像采集装置分别对应的目标位置信息,该目标位置信息可以为障碍物底边中点所在的二维坐标。
步骤2、根据目标位置信息、目标图像采集装置的目标标定参数以及两个目标图像采集装置之间的预设距离,确定与障碍物的目标距离。
在一些可能的实现方式中,通过双目测距的方法确定的与障碍物的目标距离可以通过如下的公式2表示。
Figure BDA0003747170460000151
其中,z表示两个目标图像采集装置的预设安装位置的中点与障碍物的目标距离,f为图像采集装置的焦距,b为两个目标图像采集装置的预设安装位置之间的距离,单位可以为像素个数,d为两个目标图像采集装置分别对应的目标位置信息在像素坐标系中x轴方向的坐标的差值,单位可以为像素个数。
考虑到两个目标图像采集装置的参数(例如焦距)可能存在差异,影响通过双目测距的方法确定的与障碍物的目标距离的准确度。在另一可能的实现方式中,则可以首先根据两个目标图像采集装置的标定参数,获取第一目标图像采集装置相对于第二目标图像采集装置的相对旋转矩阵和相对平移向量。然后,根据相对旋转矩阵和相对平移向量对第一目标图像采集装置对应的目标位置信息进行双摄立体矫正,例如可以对第一目标图像采集装置对应的目标位置信息进行偏移、旋转以及去畸变,获得矫正后的矫正位置信息,最后,根据该矫正位置信息、第二目标图像采集装置对应的目标位置信息以及公式2确定与障碍物的目标距离,具体获取相对旋转矩阵、相对平移变量、以及双摄立体矫正可以参见相关技术中的描述,此处不再赘述。
步骤3、将目标距离、目标位置信息、目标标定参数以及目标图像采集装置的安装高度作为第二俯仰角获取模型的输入,得到第二俯仰角获取模型输出的所述待定俯仰角。
示例地,可以根据目标距离、目标位置信息、目标标定参数、目标图像采集装置的安装高度以及公式3,确定第二俯仰角获取模型的待定俯仰角。
Figure BDA0003747170460000161
其中,θ为第二俯仰角获取模型输出的待定俯仰角,H为图像采集装置的安装高度,z为公式2得到的目标距离,py为任一目标图像采集装置对应的目标位置信息的纵坐标,单位为像素个数,cy和fy为该目标图像采集装置的内参,单位为像素个数。
在另一实施例中,障碍物参数包括障碍物的第二位置信息,预设俯仰角获取模型包括第三俯仰角获取模型,障碍物参数还包括障碍物的识别类型。
其中,该图像信息的像素点可以采用像素坐标系表示,该第二位置信息可以包括障碍物在像素坐标系中的二维坐标集合。
在一些实际的应用场景中,目标区域的障碍物可能是拥有标准高度的障碍物,例如锥桶,或者工程施工指示牌,其高度符合国家或者行业标准。在获取待定俯仰角时,可以借助该标准高度的障碍物确定该待定俯仰角。
在一些可能的实现方式中,可以通过如下的方式根据障碍物参数,确定预设俯仰角获取模型对应的待定俯仰角。
步骤1、在识别类型包括目标识别类型的情况下,获取目标识别类型对应的目标高度。
示例地,可以通过预先训练的深度学习模型(例如YOLO目标检测模或者Faster R-CNN)获取障碍物的识别类型。
在识别类型包括目标识别类型的情况下,可以从多个预设的障碍物高度中获取目标识别模型对应的目标高度,示例地,该障碍物为锥桶,该目标高度为0.65米。
步骤2、将目标高度、第二位置信息、图像采集装置的标定参数以及图像采集装置的安装高度,作为第三俯仰角获取模型的输入,得到第三俯仰角获取模型输出的待定俯仰角。
图3是根据一示例性实施例示出的一种获取待定俯仰角方法的几何示意图。如图3所述,O为图像采集装置的光心,OH为图像采集装置的安装高度(为预设的已知值),OD为图像采集装置的光轴,AB为识别类型为目标识别类型的障碍物的目标高度,ab所在的平面为成像平面,“·”所在的角即为待定俯仰角θ,ab为障碍物在图像信息上的高度,可以通过第二位置信息和图像采集装置的参数(例如每个像素的高度)获取得到。
在确定OH、AB和ab后,可以通过以下公式4、公式5以及公式6,求解出该待定俯仰角θ。
Figure BDA0003747170460000171
其中,f为图像采集装置的焦距。
Figure BDA0003747170460000181
Figure BDA0003747170460000182
需要说明的是,图3中给出的获取待定俯仰角方法中,是以待定俯仰角为下倾角为例进行说明的,在该待定俯仰角为上仰角的情况下,可以通过类似的方法求解出该待定俯仰角θ,具体方法可以参考相关技术中的描述,此处不再赘述。
在步骤S1033中,根据目标权重对待定俯仰角进行加权处理,得到目标俯仰角。
在一些可能的实现方式中,在确定每个预设俯仰角获取模型对应的待定俯仰角之后,可以根据多个预设俯仰角获取模型对应的待定俯仰角、对应的目标权重以及如下的公式7确定目标俯仰角。
Figure BDA0003747170460000183
其中,θt为目标俯仰角,θi为第i个预设俯仰角获取模型获得的待定俯仰角,Wi为第i个预设俯仰角获取模型对应的目标权重,N为预设俯仰角获取模型的数量。
需要说明的是,本公开对预设俯仰角获取模型的数量不做限制,本领域的技术人员可以参考上述实施例示出的预设俯仰角获取模型,根据相关技术中俯仰角获取的其他方法,考虑更多的预设俯仰角获取模型,进一步提升目标俯仰角的精度。
采用上述的技术方案,可以准确地确定车辆的目标俯仰角,用于根据目标俯仰角通过图像信息确定障碍物所在的第一目标车道,提升用户的自动驾驶体验。
图4是根据一示例性实施例示出的又一种路径规划的方法的流程图,如图4所示,步骤S104可以包括以下步骤。
在步骤S1041中,根据第一位置信息、图像采集装置的标定参数以及目标俯仰角确定车道线的第一三维坐标信息。
在一些可能的实现方式中,第一位置信息可以包括多个车道线中每个车道线在像素坐标系中的二维坐标集合,针对每个车道线中的每个二维坐标,可以根据有俯仰角的测距公式确定该二维坐标对应的实际位置与图像采集装置之间的距离,通过图像采集装置的内参和该距离,可以将每个车道线中的每个二维坐标的二维坐标转换为相机坐标系中对应的三维坐标,每个车道线中多个二维坐标对应的三维坐标的集合组成该车道线的车道线三维坐标集合。可以将相机坐标系中的车道线三维坐标集合作为车道线的第一三维坐标信息。
在另一可能的实现方式中,可以进一步通过图像采集装置的外参,将相机坐标系中的车道线三维坐标集合转换为世界坐标系中的车道线三维坐标集合,可以将世界坐标系中的车道线三维坐标集合作为该车道线的第一三维坐标信息。
在步骤S1042中,根据第二位置信息、图像采集装置的标定参数以及目标俯仰角确定障碍物的第二三维坐标信息。
在一些可能的实现方式中,第二位置信息可以包括障碍物在像素坐标系中的二维坐标集合。可以根据有俯仰角的测距公式确定每一个二维坐标对应的实际位置与图像采集装置之间的距离,通过图像采集装置的内参和该距离,可以将二维坐标转换为相机坐标系中对应的三维坐标,每个障碍物中多个二维坐标对应的三维坐标的集合组成该障碍物的障碍物三维坐标集合,可以将相机坐标系中的障碍物三维坐标集合作为该障碍物的第二三维坐标信息,有俯仰角的测距公式可以参考相关技术中的描述,此处不再赘述。
在另一可能的实现方式中,可以进一步通过图像采集装置的外参,将相机坐标系中的障碍物三维坐标集合转换为世界坐标系中的障碍物三维坐标集合,可以将世界坐标系中的障碍物三维坐标集合作为该障碍物的第二三维坐标信息。
在步骤S1043中,根据第一三维坐标信息和第二三维坐标信息,从车道线中确定障碍物所在的第一目标车道。
在一些可能的实现方式中,可以根据第一三维坐标信息中多个车道线分别对应的车道线三维坐标集合和第二三维坐标信息中的障碍物三维坐标通过如下的步骤确定该第一目标车道。
步骤1、获取每个车道线分别对应的车道线三维坐标集合中与障碍物三维坐标距离最近的预设数量个(例如两个)目标三维坐标。
步骤2、针对每个车道线,获取该车道线对应的目标三维坐标与障碍物三维坐标的平均距离。
示例地,障碍物三维坐标可以是障碍物底边中点的三维坐标,可以将预设数量个(例如两个)目标三维坐标与该障碍物三维坐标的欧氏距离的平均值作为该平均距离。
步骤3、将多个车道线中与障碍物三维坐标的平均距离最小的两个车道线组成的行车道作为该第一目标车道。
在一些实施例中,在从车道线中确定障碍物所在的第一目标车道之后,可以根据有俯仰角的测距公式确定障碍物与图像采集装置的目标距离,可以根据第一目标车道和目标距离,更新车辆的自动驾驶的路径规划。
采用上述的方案,能够准确地确定车辆的目标俯仰角,根据目标俯仰角通过图像信息确定障碍物所在的第一目标车道,及时更新路径规划,提升自动驾驶的用户体验。
在一些实施例中,在车辆上设置窄视角(FOV)图像采集装置,根据该窄视角(FOV)图像采集装置采集的目标区域的图像信息,可以通过公式1获取精确度更高的待定俯仰角,在车辆上同时设置采用广视角(FOV)图像采集装置采集目标区域的图像信息,用于完成障碍物的检测,采用窄视角图像采集装置和宽视角图像采集装置结合的方式完成障碍物的检测,可以进一步提高障碍物检测的精度,及时更新路径规划,进一步提升用户的自动驾驶体验。
图5是根据一示例性实施例示出的又一种路径规划的方法的流程图,如图5所示,该方法还可以包括以下步骤:
在步骤S106中,根据第一位置信息和第二位置信息,从车道线中确定障碍物所在的第二目标车道。
第一位置信息可以包括多个车道线中每个车道线在像素坐标系中的二维坐标集合,该第二位置信息可以包括障碍物在像素坐标系中的二维坐标集合。
在一些可能的实现方式中,可以通过如下的步骤确定该第二目标车道。
步骤1、获取每个车道线分别对应的二维坐标集合中与障碍物二维坐标距离最近的预设数量个(例如两个)目标二维坐标。
步骤2、针对每个车道线,获取该车道线对应的目标二维坐标与障碍物二维坐标的平均距离。
示例地,障碍物三维坐标可以是障碍物底边中点的二维坐标,可以将预设数量个(例如两个)目标二维坐标与该障碍物二维坐标的欧氏距离的平均值作为该平均距离。
步骤3、将多个车道线中与障碍物二维坐标的平均距离最小的两个车道线组成的行车道作为该第二目标车道。
在一些可能的实现方式中,步骤S105可以根据第一目标车道、第二目标车道以及车辆所在的当前车道进行路径规划。
在一些实施例中,在从车道线中确定障碍物所在的第一目标车道之后,可以根据有俯仰角的测距公式确定障碍物与图像采集装置的目标距离,在第一目标车道与第二目标车道相同的情况下,根据第一目标车道、当前车道以及目标距离,更新车辆的自动驾驶的路径规划,例如在该目标距离小于或者等于第一预设距离阈值且当前车道与第一目标车道相同的情况下,进行当前车道的切换。
在一些可能的实现方式中,在第一目标车道与第二目标车道不相同的情况下,可以根据第二目标车道、当前车道和目标距离,更新车辆的自动驾驶的路径规划,例如在该目标距离小于或者等于第一预设距离阈值且当前车道与第二目标车道相同的情况下,进行当前车道的切换。
采用上述的方案,能够通过图像信息确定障碍物所在的第一目标车道和第二目标车道,根据第一目标车道和第二目标车道及时更新自动驾驶的路径规划,进一步提升用户的自动驾驶体验。
在另一实施例中,在从车道线中确定障碍物所在的第一目标车道之后,可以根据有俯仰角的测距公式确定障碍物与图像采集装置的目标距离,在该目标距离小于或者等于第二预设距离阈值的情况下,可以通过设置在车辆上的雷达获取障碍物的点云信息,结合点云信息检测结果和第一目标车道及时更新自动驾驶的路径规划,进一步提升用户的体验,获取点云信息检测结果的技术方案可以参见相关技术中雷达监测障碍物的技术方案,此处不再赘述。
采用上述的方案,能够准确通过图像信息确定障碍物所在的第一目标车道,并通过雷达获取障碍物的点云信息,结合点云信息检测结果和第一目标车道及时更新自动驾驶的路径规划,进一步提升用户的自动驾驶体验。
在另一实施例中,障碍物的高度小于或者等于预设高度阈值。
示例地,该预设高度阈值可以为0.8米。
本公开在障碍物的尺寸较小(比如该障碍物为高度0.65米的国标锥桶)情况下,仍然能够准确通过图像信息确定障碍物所在的目标车道,及时更新自动驾驶的路径规划,提升用户的自动驾驶体验。
图6是根据一示例性实施例示出的一种路径规划的装置600的框图,如图6所示,路径规划的装置600包括:
采集模块601,被配置为通过图像采集装置获取待检测的目标区域的图像信息,目标区域包括障碍物和车道线。
获取模块602,被配置为根据图像信息获取障碍物的障碍物参数,以及车道线的车道线参数。
确定模块603,被配置为根据障碍物参数和车道线参数,确定车辆的目标俯仰角。
第一检测模块604,被配置为根据障碍物参数、车道线参数以及目标俯仰角,从车道线中确定障碍物所在的第一目标车道。
路径规划模块605,被配置为根据第一目标车道进行路径规划。
可选地,确定模块603,还被配置为:
根据所述障碍物参数和所述车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重;
根据障碍物参数或者车道线参数,确定预设俯仰角获取模型对应的待定俯仰角;
根据目标权重对待定俯仰角进行加权处理,得到目标俯仰角。
可选地,确定模块603,还被配置为:
将每个预设俯仰角获取模型的对应的预设权重,作为预设俯仰角获取模型对应的目标权重。
可选地,障碍物参数包括障碍物的识别类型,车道线参数包括车道线的曲率,确定模块603,还被配置为:
根据识别类型、曲率以及图像采集装置的数量从多个预设权重组合中,确定多个预设俯仰角获取模型对应的目标权重组合。
可选地,车道线参数包括车道线的第一位置信息,预设俯仰角获取模型包括第一俯仰角获取模型,确定模块603,还被配置为:
根据第一位置信息确定车辆所在车道的两条当前车道线对应的目标灭点,目标灭点表征两条当前车道线对应的拟合直线在图像信息上的交点;
将目标灭点的目标灭点坐标和图像采集装置的标定参数作为第一俯仰角获取模型的输入,得到第一俯仰角获取模型输出的待定俯仰角。
可选地,障碍物参数包括障碍物的第二位置信息,预设俯仰角获取模型包括第二俯仰角获取模型,图像采集装置的数量为多个,第二位置信息包括多个图像采集装置分别对应的多个该障碍物的位置信息,确定模块603,还被配置为:
从多个图像采集装置中确定两个目标图像采集装置,从第二位置信息中获取目标图像采集装置分别对应的目标位置信息;
根据目标位置信息、目标图像采集装置的目标标定参数以及两个目标图像采集装置之间的预设距离,确定与障碍物的目标距离;
将目标距离、目标位置信息、目标标定参数以及目标图像采集装置的安装高度作为第二俯仰角获取模型的输入,得到第二俯仰角获取模型输出的待定俯仰角。
可选地,障碍物参数包括障碍物的第二位置信息,预设俯仰角获取模型包括第三俯仰角获取模型,障碍物参数还包括障碍物的识别类型,确定模块603,还被配置为:
在识别类型包括目标识别类型的情况下,获取目标识别类型对应的目标高度;
将目标高度、第二位置信息、图像采集装置的标定参数以及图像采集装置的安装高度作为第三俯仰角获取模型的输入,得到第三俯仰角获取模型输出的待定俯仰角。
可选地,车道线参数包括车道线的第一位置信息,障碍物参数包括障碍物的第二位置信息,第一检测模块604,还被配置为:
根据第一位置信息、图像采集装置的标定参数以及目标俯仰角确定车道线的第一三维坐标信息;
根据第二位置信息、图像采集装置的标定参数以及目标俯仰角确定障碍物的第二三维坐标信息;
根据第一三维坐标信息和第二三维坐标信息,从车道线中确定障碍物所在的第一目标车道。
采用上述的技术方案,能够准确地确定车辆的目标俯仰角,根据目标俯仰角通过图像信息确定障碍物所在的第一目标车道,及时更新路径规划,提升用户的自动驾驶体验。
图7是根据一示例性实施例示出的一种路径规划的装置600的框图,如图7所示,路径规划的装置600还包括第二检测模块606,被配置为:
根据第一位置信息和第二位置信息,从车道线中确定障碍物所在的第二目标车道。
路径规划模块605,还被配置为根据第一目标车道和第二目标车道进行路径规划。
采用上述的技术方案,能够通过图像信息确定障碍物所在的第一目标车道和第二目标车道,根据第一目标车道和第二目标车道及时更新自动驾驶的路径规划,进一步提升用户的自动驾驶体验。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种非临时性计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的路径规划的方法的步骤。
路径规划的装置600除了可以是独立的电子设备外,也可是独立电子设备的一部分,例如在一种实施例中,该装置可以是集成电路(Integrated Circuit,IC)或芯片,其中该集成电路可以是一个IC,也可以是多个IC的集合;该芯片可以包括但不限于以下种类:GPU(Graphics Processing Unit,图形处理器)、CPU(Central Processing Unit,中央处理器)、FPGA(Field Programmable Gate Array,可编程逻辑阵列)、DSP(Digital SignalProcessor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、SOC(System on Chip,SoC,片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码),以实现上述的路径规划的方法。其中该可执行指令可以存储在该集成电路或芯片中,也可以从其他的装置或设备获取,例如该集成电路或芯片中包括处理器、存储器,以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中,当该可执行指令被处理器执行时实现上述的路径规划的方法;或者,该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行,以实现上述的路径规划的方法。
参阅图8,图8是一示例性实施例示出的一种车辆800的功能框图示意图。车辆800可以被配置为完全或部分自动驾驶模式。例如,车辆800可以通过感知系统820获取其周围的环境信息,并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶,或者将分析结果呈现给用户以实现部分自动驾驶。
车辆800可包括各种子系统,例如,信息娱乐系统810、感知系统820、决策控制系统830、驱动系统840以及计算平台850。可选的,车辆800可包括更多或更少的子系统,并且每个子系统都可包括多个部件。另外,车辆800的每个子系统和部件可以通过有线或者无线的方式实现互连。
在一些实施例中,信息娱乐系统810可以包括通信系统811,娱乐系统812以及导航系统813。
通信系统811可以包括无线通信系统,无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信系统可利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信系统可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐系统812可以包括显示设备,麦克风和音响,用户可以基于娱乐系统在车内收听广播,播放音乐;或者将手机和车辆联通,在显示设备上实现手机的投屏,显示设备可以为触控式,用户可以通过触摸屏幕进行操作。
在一些情况下,可以通过麦克风获取用户的语音信号,并依据对用户的语音信号的分析实现用户对车辆800的某些控制,例如调节车内温度等。在另一些情况下,可以通过音响向用户播放音乐。
导航系统813可以包括由地图供应商所提供的地图服务,从而为车辆800提供行驶路线的导航,导航系统813可以和车辆的全球定位系统821、惯性测量单元822配合使用。地图供应商所提供的地图服务可以为二维地图,也可以是高精地图。
感知系统820可包括感测关于车辆800周边的环境的信息的若干种传感器。例如,感知系统820可包括全球定位系统821(全球定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)822、激光雷达823、毫米波雷达824、超声雷达825以及摄像装置826。感知系统820还可包括被监视车辆800的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆800的安全操作的关键功能。
全球定位系统821用于估计车辆800的地理位置。
惯性测量单元822用于基于惯性加速度来感测车辆800的位姿变化。在一些实施例中,惯性测量单元822可以是加速度计和陀螺仪的组合。
激光雷达823利用激光来感测车辆800所位于的环境中的物体。在一些实施例中,激光雷达823可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。
毫米波雷达824利用无线电信号来感测车辆800的周边环境内的物体。在一些实施例中,除了感测物体以外,毫米波雷达824还可用于感测物体的速度和/或前进方向。
超声雷达825可以利用超声波信号来感测车辆800周围的物体。
摄像装置826用于捕捉车辆800的周边环境的图像信息。摄像装置826可以包括单目相机、双目相机、结构光相机以及全景相机等,摄像装置826获取的图像信息可以包括静态图像,也可以包括视频流信息。
决策控制系统830包括基于感知系统820所获取的信息进行分析决策的计算系统831,决策控制系统830还包括对车辆800的动力系统进行控制的整车控制器832,以及用于控制车辆800的转向系统833、油门834和制动系统835。
计算系统831可以操作来处理和分析由感知系统820所获取的各种信息以便识别车辆800周边环境中的目标、物体和/或特征。目标可以包括行人或者动物,物体和/或特征可包括交通信号、道路边界和障碍物。计算系统831可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪等技术。在一些实施例中,计算系统831可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算系统831可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器832可以用于对车辆的动力电池和引擎841进行协调控制,以提升车辆800的动力性能。
转向系统833可操作来调整车辆800的前进方向。例如在一个实施例中可以为方向盘系统。
油门834用于控制引擎841的操作速度并进而控制车辆800的速度。
制动系统835用于控制车辆800减速。制动系统835可使用摩擦力来减慢车轮844。在一些实施例中,制动系统835可将车轮844的动能转换为电流。制动系统835也可采取其他形式来减慢车轮844转速从而控制车辆800的速度。
驱动系统840可包括为车辆800提供动力运动的组件。在一个实施例中,驱动系统840可包括引擎841、能量源842、传动系统843和车轮844。引擎841可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合,例如汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎841将能量源842转换成机械能量。
能量源842的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源842也可以为车辆800的其他系统提供能量。
传动系统843可以将来自引擎841的机械动力传送到车轮844。传动系统843可包括变速箱、差速器和驱动轴。在一个实施例中,传动系统843还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮844的一个或多个轴。
车辆800的部分或所有功能受计算平台850控制。计算平台850可包括至少一个处理器851,处理器851可以执行存储在例如存储器852这样的非暂态计算机可读介质中的指令853。在一些实施例中,计算平台850还可以是采用分布式方式控制车辆800的个体组件或子系统的多个计算设备。
处理器851可以是任何常规的处理器,诸如商业可获得的CPU。可替换地,处理器851还可以包括诸如图像处理器(Graphic Process Unit,GPU),现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、片上系统(Sysem on Chip,SOC)、专用集成芯片(Application Specific Integrated Circuit,ASIC)或它们的组合。尽管图7功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中,处理器851可以执行上述的路径规划的方法。
在此处所描述的各个方面中,处理器851可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,存储器852可包含指令853(例如,程序逻辑),指令853可被处理器851执行来执行车辆800的各种功能。存储器852也可包含额外的指令,包括向信息娱乐系统810、感知系统820、决策控制系统830、驱动系统840中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令853以外,存储器852还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆800在自主、半自主和/或手动模式中操作期间被车辆800和计算平台850使用。
计算平台850可基于从各种子系统(例如,驱动系统840、感知系统820和决策控制系统830)接收的输入来控制车辆800的功能。例如,计算平台850可利用来自决策控制系统830的输入以便控制转向系统833来避免由感知系统820检测到的障碍物。在一些实施例中,计算平台850可操作来对车辆800及其子系统的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆800分开安装或关联。例如,存储器852可以部分或完全地与车辆800分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图6不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车,如上面的车辆800,可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,可以用来确定自动驾驶汽车所要调整的速度。
可选地,车辆800或者与车辆800相关联的感知和计算设备(例如计算系统831、计算平台850)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆800能够基于预测的识别的物体的行为来调整它的速度。换句话说,自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如,加速、减速、或者停止)何种稳定状态。在这个过程中,也可以考虑其它因素来确定车辆800的速度,诸如,车辆800在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算设备还可以提供修改车辆800的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的车辆)的安全横向和纵向距离。
上述车辆800可以为各种类型的行驶工具,例如,轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等,本公开实施例不做特别的限定。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种路径规划的方法,其特征在于,所述方法应用于车辆,所述方法包括:
通过图像采集装置获取待检测的目标区域的图像信息,所述目标区域包括障碍物和车道线;
根据所述图像信息获取所述障碍物的障碍物参数,以及所述车道线的车道线参数;
根据所述障碍物参数和所述车道线参数,确定所述车辆的目标俯仰角;
根据所述障碍物参数、所述车道线参数以及所述目标俯仰角,从所述车道线中确定所述障碍物所在的第一目标车道;
根据所述第一目标车道进行路径规划。
2.根据权利要求1所述的方法,其特征在于,所述根据所述障碍物参数和所述车道线参数,确定所述车辆的目标俯仰角包括:
根据所述障碍物参数和所述车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重;
根据所述障碍物参数或者所述车道线参数,确定所述预设俯仰角获取模型对应的待定俯仰角;
根据所述目标权重对所述待定俯仰角进行加权处理,得到所述目标俯仰角。
3.根据权利要求2所述的方法,其特征在于,所述根据所述障碍物参数和所述车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重包括:
将每个预设俯仰角获取模型的对应的预设权重,作为所述预设俯仰角获取模型对应的目标权重。
4.根据权利要求2所述的方法,其特征在于,所述障碍物参数包括所述障碍物的识别类型,所述车道线参数包括所述车道线的曲率,所述根据所述障碍物参数和所述车道线参数,获取多个预设俯仰角获取模型分别对应的目标权重包括:
根据所述识别类型、所述曲率以及所述图像采集装置的数量从多个预设权重组合中,确定所述多个预设俯仰角获取模型对应的目标权重组合。
5.根据权利要求2所述的方法,其特征在于,所述车道线参数包括所述车道线的第一位置信息,所述预设俯仰角获取模型包括第一俯仰角获取模型,根据所述车道线参数,确定所述预设俯仰角获取模型对应的待定俯仰角包括:
根据所述第一位置信息确定所述车辆所在车道的两条当前车道线对应的目标灭点,所述目标灭点表征所述两条当前车道线对应的拟合直线的交点;
将所述目标灭点的目标灭点坐标和所述图像采集装置的标定参数作为所述第一俯仰角获取模型的输入,得到所述第一俯仰角获取模型输出的所述待定俯仰角。
6.根据权利要求2所述的方法,其特征在于,所述障碍物参数包括所述障碍物的第二位置信息,所述预设俯仰角获取模型包括第二俯仰角获取模型,所述图像采集装置的数量为多个,所述第二位置信息包括多个所述图像采集装置分别对应的多个所述障碍物的位置信息,根据所述障碍物参数,确定所述预设俯仰角获取模型对应的待定俯仰角包括:
从多个所述图像采集装置中确定两个目标图像采集装置,从所述第二位置信息中获取所述目标图像采集装置分别对应的目标位置信息;
根据所述目标位置信息、所述目标图像采集装置的目标标定参数以及两个所述目标图像采集装置之间的预设距离,确定与所述障碍物的目标距离;
将所述目标距离、所述目标位置信息、所述目标标定参数以及所述目标图像采集装置的安装高度,作为所述第二俯仰角获取模型的输入,得到所述第二俯仰角获取模型输出的所述待定俯仰角。
7.根据权利要求2所述的方法,其特征在于,所述障碍物参数包括所述障碍物的第二位置信息,所述预设俯仰角获取模型包括第三俯仰角获取模型,所述障碍物参数还包括所述障碍物的识别类型,根据所述障碍物参数,确定预设俯仰角获取模型对应的待定俯仰角包括:
在所述识别类型包括目标识别类型的情况下,获取所述目标识别类型对应的目标高度;
将所述目标高度、所述第二位置信息、所述图像采集装置的标定参数以及所述图像采集装置的安装高度,作为所述第三俯仰角获取模型的输入,得到所述第三俯仰角获取模型输出的所述待定俯仰角。
8.根据权利要求1所述的方法,其特征在于,所述车道线参数包括所述车道线的第一位置信息,所述障碍物参数包括所述障碍物的第二位置信息,所述根据所述障碍物参数、所述车道线参数以及所述目标俯仰角,从所述车道线中确定所述障碍物所在的第一目标车道包括:
根据所述第一位置信息、所述图像采集装置的标定参数以及所述目标俯仰角确定所述车道线的第一三维坐标信息;
根据所述第二位置信息、所述图像采集装置的标定参数以及所述目标俯仰角确定所述障碍物的第二三维坐标信息;
根据所述第一三维坐标信息和所述第二三维坐标信息,从所述车道线中确定所述障碍物所在的第一目标车道。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述车道线参数包括所述车道线的第一位置信息,所述障碍物参数包括所述障碍物的第二位置信息,所述方法还包括:
根据所述第一位置信息和所述第二位置信息,从所述车道线中确定所述障碍物所在的第二目标车道;
所述根据所述第一目标车道进行路径规划包括:根据所述第一目标车道和所述第二目标车道进行路径规划。
10.根据权利要求9所述的方法,其特征在于,所述障碍物的高度小于或者等于预设高度阈值。
11.一种路径规划的装置,其特征在于,所述装置应用于车辆,所述装置包括:
采集模块,被配置为通过图像采集装置获取待检测的目标区域的图像信息,所述目标区域包括障碍物和车道线;
获取模块,被配置为根据所述图像信息获取所述障碍物的障碍物参数,以及所述车道线的车道线参数;
确定模块,被配置为根据所述障碍物参数和所述车道线参数,确定所述车辆的目标俯仰角;
第一检测模块,被配置为根据所述障碍物参数、所述车道线参数所述目标俯仰角,从所述车道线中确定所述障碍物所在的第一目标车道;
路径规划模块,被配置为根据所述第一目标车道进行路径规划。
12.一种非临时性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1至10中任一项所述方法中的步骤。
13.一种芯片,其特征在于,包括处理器和接口;所述处理器用于读取指令以执行权利要求1至10中任一项所述的方法。
14.一种车辆,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1至10中任一项所述方法的步骤。
CN202210834671.2A 2022-07-14 2022-07-14 路径规划的方法、装置、存储介质、芯片及车辆 Active CN115220449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210834671.2A CN115220449B (zh) 2022-07-14 2022-07-14 路径规划的方法、装置、存储介质、芯片及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210834671.2A CN115220449B (zh) 2022-07-14 2022-07-14 路径规划的方法、装置、存储介质、芯片及车辆

Publications (2)

Publication Number Publication Date
CN115220449A true CN115220449A (zh) 2022-10-21
CN115220449B CN115220449B (zh) 2023-11-21

Family

ID=83612744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210834671.2A Active CN115220449B (zh) 2022-07-14 2022-07-14 路径规划的方法、装置、存储介质、芯片及车辆

Country Status (1)

Country Link
CN (1) CN115220449B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937826A (zh) * 2023-02-03 2023-04-07 小米汽车科技有限公司 目标检测方法及装置
CN116164770A (zh) * 2023-04-23 2023-05-26 禾多科技(北京)有限公司 路径规划方法、装置、电子设备和计算机可读介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
CN107037817A (zh) * 2017-06-19 2017-08-11 吉林大学 一种智能电动车纵侧向集成控制平台及车辆
CN110567480A (zh) * 2019-09-12 2019-12-13 北京百度网讯科技有限公司 车辆定位的优化方法、装置、设备及存储介质
CN110962847A (zh) * 2019-11-26 2020-04-07 清华大学苏州汽车研究院(吴江) 车道居中辅助自适应巡航的轨迹规划方法和系统
US20200342760A1 (en) * 2019-04-29 2020-10-29 Qualcomm Incorporated Method and apparatus for vehicle maneuver planning and messaging
CN113866783A (zh) * 2021-09-10 2021-12-31 杭州鸿泉物联网技术股份有限公司 车辆测距方法及系统
CN113859267A (zh) * 2021-10-27 2021-12-31 广州小鹏自动驾驶科技有限公司 路径决策方法、装置及车辆
KR20220052312A (ko) * 2021-09-29 2022-04-27 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 차량 포지셔닝 방법, 장치 및 자율 운전 차량
WO2022091305A1 (ja) * 2020-10-29 2022-05-05 日本電気株式会社 挙動推定装置、挙動推定方法、経路生成装置、経路生成方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
CN107037817A (zh) * 2017-06-19 2017-08-11 吉林大学 一种智能电动车纵侧向集成控制平台及车辆
US20200342760A1 (en) * 2019-04-29 2020-10-29 Qualcomm Incorporated Method and apparatus for vehicle maneuver planning and messaging
CN110567480A (zh) * 2019-09-12 2019-12-13 北京百度网讯科技有限公司 车辆定位的优化方法、装置、设备及存储介质
CN110962847A (zh) * 2019-11-26 2020-04-07 清华大学苏州汽车研究院(吴江) 车道居中辅助自适应巡航的轨迹规划方法和系统
WO2022091305A1 (ja) * 2020-10-29 2022-05-05 日本電気株式会社 挙動推定装置、挙動推定方法、経路生成装置、経路生成方法、及びコンピュータ読み取り可能な記録媒体
CN113866783A (zh) * 2021-09-10 2021-12-31 杭州鸿泉物联网技术股份有限公司 车辆测距方法及系统
KR20220052312A (ko) * 2021-09-29 2022-04-27 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 차량 포지셔닝 방법, 장치 및 자율 운전 차량
CN113859267A (zh) * 2021-10-27 2021-12-31 广州小鹏自动驾驶科技有限公司 路径决策方法、装置及车辆

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937826A (zh) * 2023-02-03 2023-04-07 小米汽车科技有限公司 目标检测方法及装置
CN115937826B (zh) * 2023-02-03 2023-05-09 小米汽车科技有限公司 目标检测方法及装置
CN116164770A (zh) * 2023-04-23 2023-05-26 禾多科技(北京)有限公司 路径规划方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN115220449B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN112512887B (zh) 一种行驶决策选择方法以及装置
CN115220449B (zh) 路径规划的方法、装置、存储介质、芯片及车辆
US20240017719A1 (en) Mapping method and apparatus, vehicle, readable storage medium, and chip
CN115330923B (zh) 点云数据渲染方法、装置、车辆、可读存储介质及芯片
CN115042821B (zh) 车辆控制方法、装置、车辆及存储介质
CN115147796A (zh) 评测目标识别算法的方法、装置、存储介质及车辆
CN114779790B (zh) 识别障碍物方法、装置、车辆、服务器、存储介质及芯片
CN115265561A (zh) 车辆定位方法、装置、车辆及介质
CN115205365A (zh) 车辆距离检测方法、装置、车辆、可读存储介质及芯片
CN115123257A (zh) 路面减速带位置识别方法、装置、车辆、存储介质及芯片
CN114842075A (zh) 数据标注方法、装置、存储介质及车辆
CN114782638B (zh) 生成车道线的方法、装置、车辆、存储介质及芯片
CN115222791B (zh) 目标关联方法、装置、可读存储介质及芯片
CN115100630B (zh) 障碍物检测方法、装置、车辆、介质及芯片
CN114842440B (zh) 自动驾驶环境感知方法、装置、车辆及可读存储介质
CN115202234B (zh) 仿真测试方法、装置、存储介质和车辆
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
CN115205311A (zh) 图像处理方法、装置、车辆、介质及芯片
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN114972824B (zh) 杆件检测方法、装置、车辆和存储介质
CN115205461B (zh) 场景重建方法、装置、可读存储介质及车辆
CN115082573B (zh) 参数标定方法、装置、车辆及存储介质
CN115407344B (zh) 栅格地图创建方法、装置、车辆及可读存储介质
CN115139946B (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片
CN114822216B (zh) 生成车位地图的方法、装置、车辆、存储介质及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant