CN111874006B - 路线规划处理方法和装置 - Google Patents

路线规划处理方法和装置 Download PDF

Info

Publication number
CN111874006B
CN111874006B CN202010779922.2A CN202010779922A CN111874006B CN 111874006 B CN111874006 B CN 111874006B CN 202010779922 A CN202010779922 A CN 202010779922A CN 111874006 B CN111874006 B CN 111874006B
Authority
CN
China
Prior art keywords
vehicle
boundary line
turning
lane
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010779922.2A
Other languages
English (en)
Other versions
CN111874006A (zh
Inventor
何文浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010779922.2A priority Critical patent/CN111874006B/zh
Publication of CN111874006A publication Critical patent/CN111874006A/zh
Application granted granted Critical
Publication of CN111874006B publication Critical patent/CN111874006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Abstract

本申请提供了一种路线规划处理方法、装置、设备及计算机可读存储介质；方法包括：获取车辆在待转车道中行驶时所处环境的图像，其中，所述待转车道是用于转弯驶入目标车道的车道；对所述图像中的像素点进行分类处理，以确定边界线像素点；根据所述边界线像素点确定边界线，其中，所述边界线用于对所述车辆当前的行驶车道和所述目标车道进行分界；根据所述边界线确定所述车辆从所述行驶车道驶入所述目标车道的转弯路线。通过本申请，能够在地图不完善的转弯场景中高效准确地规划出车辆的转弯路线。

Description

路线规划处理方法和装置
技术领域
本申请涉及自动驾驶技术，尤其涉及一种路线规划处理方法、装置、设备及计算机可读存储介质。
背景技术
作为人工智能的一个重要应用，自动驾驶技术在近年来得到了巨大的发展。在自动驾驶技术中，对自动驾驶车辆进行路线规划是一项必不可缺的功能。
以自动驾驶车辆在路口转弯的应用场景为例，相关技术中采用激光雷达对车辆周围场景进行扫描与高精地图匹配的方案，对车辆做精准定位，从而制定的路口转弯方案以实现自动驾驶车辆的路口转弯。
但是采用相关技术中的这种方案并不能适应于所有驾驶场景，在一些驾驶场景中存在各自的局限性，例如，对于行驶道路位置变动或者行驶道路没有与之匹配的高精地图的地区就不能适用。因此，相关技术中缺乏在各种驾驶场景下都能够规划车辆的转弯路线的有效方案。
发明内容
本申请实施例提供一种路线规划处理方法、装置、设备及计算机可读存储介质，能够在地图不完善的转弯场景中高效准确地规划出车辆的转弯路线。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种路线规划处理方法，包括：
获取车辆在待转车道中行驶时所处环境的图像，其中，所述待转车道是用于转弯驶入目标车道的车道；
对所述图像中的像素点进行分类处理，以确定边界线像素点；
根据所述边界线像素点确定边界线，其中，所述边界线用于对所述车辆当前的行驶车道和需要转弯驶入的目标车道进行分界；
根据所述边界线确定所述车辆从所述行驶车道驶入所述目标车道的转弯路线。
本申请实施例提供一种路线规划处理装置，包括：
环境感知模块，用于：获取车辆在待转车道中行驶时所处环境的图像，其中，所述待转车道是用于转弯驶入目标车道的车道；
决策规划模块，用于：对所述图像中的像素点进行分类处理，以确定边界线像素点；
根据所述边界线像素点确定边界线，其中，所述边界线用于对所述车辆当前的行驶车道和所述目标车道进行分界；
根据所述边界线确定所述车辆从所述行驶车道驶入所述目标车道的转弯路线。
上述方案中，所述图像包括对所述车辆所处环境进行扫描得到的二维的像素点数据；所述决策规划模块，还用于：
从所述像素点数据中提取所述图像中像素点的走向特征；
将所述像素点的走向特征映射为属于边界线像素点的概率，并将超过第一概率阈值的概率对应的像素点确定为边界线像素点；
对多个所述边界线像素点进行拟合处理，以经过多个所述边界线像素点的线段作为边界线。
上述方案中，所述图像是对所述车辆所处环境进行扫描得到的三维的点云数据；所述决策规划模块，还用于：
从所述点云数据中提取所述图像中像素点的点云数据特征；
将所述像素点的点云数据特征映射为属于边界线像素点的概率，并将超过第二概率阈值的概率对应的像素点确定为边界线像素点；
对多个所述边界线像素点进行拟合处理，以与多个所述边界线像素点之间的垂直距离最小的线段作为边界线。
上述方案中，所述决策规划模块，还用于：
提取所述像素点的梯度特征；
将所述像素点的梯度特征映射为路口转角顶点的概率，并将最高的两个概率分别对应的两个像素点确定为路口转角顶点；
以所述两个路口转角顶点为边界线顶点，并连接所述两个边界点顶点得到所述边界线。
上述方案中，所述决策规划模块，还用于：
当检测到所述待转车道中的前方有车辆时，将所述前方的车辆的行驶轨迹确定为转弯路线；
当检测到所述待转车道中的前方没有车辆，且查找到与所述待转车道匹配的地图时，根据所述地图确定转弯路线；
当检测到待转车道中的前方没有车辆，且未查找到与所述待转车道匹配的地图时，转入执行所述获取车辆在待转车辆车道中行驶时所处环境的图像的步骤。
上述方案中，所述根据所述地图确定转弯路线之后，所述决策规划模块，还用于：
确定在所述转弯路线中行驶时对应的以下转弯方案：
当识别到所述图像中存在障碍物时，根据至少两张所述图像中障碍物的相对位置，确定所述障碍物的移动方向和移动速度，以预测所述障碍物在预设时间后与所述车辆之间的距离，当所述障碍物与所述车辆之间的距离小于距离阈值时，控制所述车辆进行减速操作；
当识别到所述图像中的交通灯指示等待转弯时，控制所述车辆进行停车操作；
当识别到所述图像中的交通灯指示转弯时，控制所述车辆执行所述转弯路线。
上述方案中，所述决策规划模块，还用于：
在包括所述边界线和所述车辆的实时位置的平面坐标系中，确定满足以下条件的曲线为转弯路线：
以所述边界线的中点作为所述转弯路线的终点；
以所述车辆的转弯位置作为所述转弯路线的起点；
以所述车辆的行驶方向作为所述转弯路线的起点的切线方向。
上述方案中，当确定所述转弯路线之后，所述决策规划模块，还用于：
确定在所述转弯路线中行驶时对应的以下转弯方案：
当识别到所述图像中存在障碍物时，根据至少两张所述图像中障碍物的相对位置，确定所述障碍物的移动方向和移动速度，以预测所述障碍物在预设时间后与所述车辆之间的距离，当所述障碍物与所述车辆之间的距离小于距离阈值时，控制所述车辆进行减速操作；
当识别到所述图像中的交通灯指示等待转弯时，控制所述车辆进行停车操作；
当识别到所述图像中的交通灯指示转弯时，控制所述车辆执行所述转弯路线。
上述方案中，所述决策规划模块，还用于：
当所述车辆的实时位置满足转弯条件时，将所述车辆的实时位置确定为所述转弯位置；
其中，所述转弯条件包括：所述车辆的实时位置与转弯临界点之间的距离处于转弯阈值区间；所述转弯临界点为所述边界线中距离所述车辆最近的边界线端点。
本申请实施例提供一种路线规划处理设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的路线规划处理方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的路线规划处理方法。
本申请实施例具有以下有益效果：
通过车辆行驶时所处的环境图像中的边界线规划车辆的转弯路线，能够灵活应对各种驾驶场景，尤其是在转弯位置的地图(例如高精地图)缺失时，也能够及时准确制定转弯路线，实现了对各种驾驶场景良好的兼容性，提高了规划车辆的转弯路线的性能。
附图说明
图1是相关技术中实现转弯路线的方案的流程示意图；
图2是本申请实施例提供的路线规划处理装置555实施为自动驾驶系统的一个架构示意图；
图3是本申请实施例提供的路线规划处理设备500的结构示意图；
图4A是本申请实施例提供的路线规划处理方法的一个流程示意图；
图4B是本申请实施例提供的路线规划处理方法的一个流程示意图；
图4C是本申请实施例提供的路线规划处理方法的一个流程示意图；
图5是本申请实施例提供的车辆处于待转车道的示意图；
图6是本申请实施例提供的路线规划处理方法中确定转弯路线的示意图；
图7是本申请实施例提供的路线规划处理方法的一个流程示意图；
图8是本申请实施例提供的边界线示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)自动驾驶，是指不需要测试驾驶员执行物理性驾驶操作的情况下，能够对车辆行驶任务进行指导与决策，并代替测试驾驶员操控行为使车辆完成安全行驶的功能。
2)自动驾驶系统，实现车辆的不同级别的自动驾驶功能的系统，例如辅助驾驶系统(L2)、需要人监管的高速自动驾驶系统(L3)和高度/完全自动驾驶系统(L4/L5)。
3)路线规划，通过给定的车辆的初始状态(包括起始位置、速度和加速度)、目标状态(包括目标位置、速度和加速度)、障碍物位置以及动力学和舒适性的约束条件，计算出一条平滑的路线，使车辆能够沿着此路线到达目标状态。路线规划包括路径规划和速度规划两部分：路径规划负责计算出从起始位置到目标位置的平滑的路径，而速度规划则在此路径的基础上计算每个路径点的速度，从而形成一条速度曲线。
4)驾驶场景，自动驾驶的车辆所处的环境从不同维度表现出来的特性，例如待转车道是否人车混行道路、待转车道的前方是否有需要避让的障碍物、待转车道是否被高精地图覆盖、与待转车道匹配的高精地图是否更新及时等。
5)路口，地图上每条道路被视作一条线，道路与道路之间用点连接，如果一个点连接了三条或者三条以上的道路，则该点被称为路口。
6)边界线：包括道路边界和伪道路边界两种类型，其中道路边界是机动车道与非机动车道的区分边界，伪道路边界是当前行驶的机动车道路与非当前行驶(且需要转弯驶入)的机动车道路的边界，即车辆当前的行驶车道与需要转弯驶入的目标车道的边界线；为描述方便，下文中的边界线如无特别说明，均是指伪道路边界。
7)直角坐标系，以车辆的起始位置为原点，坐标轴相互垂直，分为x方向和y方向，坐标表示为(x，y)。
参见图1，图1是相关技术中实现转弯路线的方案的流程示意图，在本申请实施例的实施过程中，发现相关技术存在以下问题：以自动驾驶车辆在路口转弯的应用场景为例，随着自动驾驶技术的快速发展，自动驾驶车辆在路口转弯是一项必不可缺的功能，相关技术中采用激光点阵雷达对车辆周围场景进行扫描得到成像信息，将成像信息与高精地图匹配，获取车辆当前位置，然后获取周围车辆、行人等动态物体的位置与移动方向以及红绿灯等交通标志信息，基于高精定位结果以及附加信息制定路口转弯方案实现自动驾驶车辆的路口转弯。但是采用相关技术中的这种方案只能适用于一些特定驾驶场景，并不能适应于所有驾驶场景，在一些驾驶场景中存在各自的局限性，例如，对于行驶道路位置变动或者行驶道路没有与之匹配的高精地图的地区就不能适用。因此，相关技术中不具有多场景的路线规划能力，缺乏在各种驾驶场景下都能够高效准确地规划出车辆的转弯路线的有效方案。
针对上述技术问题，本申请实施例提供一种路线规划处理方法、装置、设备和计算机可读存储介质，能够通过车辆行驶时所处的环境图像，确定行驶车道和目标车道之间的边界线，再综合周围环境因素(交通信号、障碍物等)规划车辆的转弯路线，灵活应对各种驾驶场景，实现了对各种驾驶场景良好的兼容性，提高了规划车辆的转弯路线的性能，降低了对高精地图的依赖，减少了规划车辆转弯路线的硬件资源消耗。
本申请实施例提供路线规划处理方案可以应用到各种自动驾驶系统中，包括L2、L3、L4和L5的自动驾驶系统，以实现自动驾驶车辆在不同驾驶场景下的安全、高效地路线规划。
本申请实施例提供一种路线规划处理方法、装置、设备和计算机可读存储介质，在各种驾驶场景下都能够高效准确地规划出车辆的转弯路线，下面说明本申请实施例提供的路线规划处理装置的示例性应用，参见图2，图2是本申请实施例提供的路线规划处理装置555实施为自动驾驶系统的一个架构示意图，其中，路线规划处理装置555包括环境感知模块5551、决策规划模块5552和车辆控制模块5553。
环境感知模块5551用于获取车辆在待转车道中行驶时所处环境的图像。在一些实施例中，还可以感知环境中障碍物的位置、速度，朝向以及物体分类(如车辆，行人，自行车)、车辆自身的状态(包括速度、加速度和方向)以及车辆的实时位置。
决策规划模块5552中的决策模块5554的决策包括道路选择、车道选择、参考车速、道路上是否正常跟随障碍物(例如人、车等)、是否绕过障碍物(例如人、车等)、是否停车、遇到交通灯和行人时是否等待避让、以及各道路的交通信息(拥堵情况)等。
在一些实施例中，决策模块5554根据交通信息和目标位置，结合客观的物理规律，结合障碍物和周边环境以及积累的历史数据知识，预测出车辆到达目标位置的路线上在每个路口的目标车道。
在一些实施例中，决策模块5554的预测还包括障碍物在将来一段时间内运动的方向，和障碍物在运动中的速度变化。例如行人过马路的时候会预测他们使用较为恒定的步行速度，对车辆转弯的时候进行减速处理。
在一些实施例中，决策模块5554包括通过像素点分类的方式，从车辆行驶时所处的环境图像中检测出的边界线，根据边界线的位置规划出车辆的转弯路线。
决策规划模块5552中的路线规划模块5555用于根据环境感知信息和决策模块5554的做出的决策，规划出理想的转弯路线，包括选择路线途经的路径点，以及到达每个路径点时车辆的速度、朝向和加速度等。路径点不仅在时空上保持连续性，而且每个路径点的速度、朝向和加速度等参数，都在车辆的实际可操作的物理范围之内。
在一些实施例中，路线规划模块5555包括基于决策模块5554确定的转弯路线，制定转弯方案，以供车辆控制模块5553执行。其中，转案方案包括当识别到环境图像中存在障碍物时，根据至少两张环境图像中障碍物的相对位置，确定障碍物的移动方向和移动速度，以预测障碍物在预设时间后与车辆之间的距离，当障碍物与车辆之间的距离小于距离阈值时，控制车辆进行减速操作；当识别到环境图像中的交通灯指示等待转弯时，控制车辆进行停车操作；当识别到环境图像中的交通灯指示转弯时，控制车辆执行转弯路线。
车辆控制模块5553接收路线规划模块5555规划的路线，结合车身属性和外界物理因素进行动力学计算，转换成对车辆电子化控制的油门量、刹车量、以及方向盘信号等车辆控制参数并执行，从而控制车辆去执行基于转弯路线的转弯方案。
下面继续说明实现本发明实施例的路线规划处理装置的示例性应用。
在一些实施例中，如图2所示的路线规划处理装置555中各个子模块可以封装为一个整体例如自动驾驶程序，支持被部署到各种可能的路线规划处理设备。例如被部署到车载终端、用户终端(包括智能手机和平板电脑)等终端设备中，终端设备通过与车辆的无线方式或有线方式的通信来控制车辆，实现车辆的自动驾驶功能。又例如被部署到服务器中，服务器通过与车辆的各种方式的无线通信控制车辆而实现车辆的自动驾驶功能。
在另一些实施例中，如图2所示的路线规划处理装置555中各个子模块可以封装为独立的软件、模块或插件的形式，被部署到上述的设备中，以实现自动驾驶功能或自动驾驶功能的部分子功能，例如路线规划。
下面，将说明环境感知模块和决策规划模块被部署到终端设备时示例性应用。参见图3，图3是本申请实施例提供的路线规划处理设备500的结构示意图，图3所示的路线规划处理设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的路线规划处理装置可以采用软件方式实现，图3示出了存储在存储器550中的路线规划处理装置555，其可以是程序和插件等形式的软件，包括以下软件模块：环境感知模块5551、决策规划模块5552和车辆控制模块5553，其中，车辆控制模块5553是可选的，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的路线规划处理装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的路线规划处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Progra mmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmabl e Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面将结合本申请实施例提供的终端设备的示例性应用和实施，说明本申请实施例提供的路线规划处理方法。下文所述的路线规划处理方法可以是由上文所述的路线规划处理执行，例如可以路线规划处理设备通过运行自动驾驶系统的软件来实现。
参见图4A，图4A是本申请实施例提供的路线规划处理方法的一个流程示意图，将结合图4A示出的步骤进行说明。
在步骤101中，获取车辆在待转车道中行驶时所处环境的图像，其中，待转车道是用于转弯驶入目标车道的车道。
在一些实施例中，获取车辆在待转车道中行驶时所处环境的图像之前，可以通过决策规划来实现上述的待转车道的选择。根据目标位置(即目的地)和交通信息(通向目的地的车道上的拥堵情况)，选择车辆到达目标位置的路线上在每个路口的目标车道，待转车道即为在当前路口驶向目标车道方向的车道。
作为示例，参见图5，图5是本申请实施例提供的车辆处于待转车道的示意图。根据目的地和通向目的地的各个车道的拥堵情况，综合选择出一条车辆到达该目标地的目标路线，例如，以路径最短为决策策略，根据目标路线选择出在当前路口左转，如图5中小车所在的左转车道即为当前路口的待转车道。
本申请实施例采用决策算法选择目标车道，能够根据不同策略进行选择，例如路径最短、道路最畅通等，也可以综合多个策略进行选择，能够适应不同用户的需求。
在步骤102中，对车辆在待转车道中行驶时所处环境的图像中的像素点进行分类处理，以确定边界线像素点。
在一些实施例中，车辆在待转车道中行驶时所处环境的图像包括采用摄像头对车辆所处环境进行拍摄得到的二维的像素点数据；对图像中的像素点进行分类处理，以确定边界线像素点，包括：从像素点数据中提取图像中像素点的走向特征；将像素点的走向特征映射为属于边界线像素点的概率，并将超过第一概率阈值的概率对应的像素点确定为边界线像素点。
在一些示例中，对图像中的像素点进行分类处理，是通过调用用于对像素点进行第一机器学习模型实现的，根据提取的走向特征分类出像素点是否属于边界线像素点。其中，走向特征表征的是图像中的灰度变化情况，走向特征值可以反映出图像中的特定走向(例如水平、垂直、对角等)，例如，走向特征的特征值可以用右边区域像素和减去左边区域像素和来表示。这里，右边区域和左边区域是将以像素点为中心的固定区域平分得到的。
这里说明第一机器学习模型的一种训练方法。采集对车辆所处环境进行拍摄得到的历史二维图像作为样本图像，标注出样本图像中的边界线位置，提取样本图像的走向特征作为样本特征，利用样本特征及对应的样本图像的标注去训练机器学习模型。并通过前向传播过程得到各训练样本与对应的训练标签之间的损失函数值，将各训练样本与对应的训练标签之间的损失函数值进行相加，得到模型总损失以更新模型参数，基于更新后的模型参数进行迭代训练。当输出结果满足精度要求时，结束训练，以得到训练好的机器学习模型。举例来说，这里的第一机器学习模型可以是卷积神经网络、深度神经网络等；损失函数可以是二分类损失函数、二元交叉熵损失函数等。
在另一些实施例中，车辆在待转车道中行驶时所处环境的图像包括对车辆所处环境进行扫描得到的三维的点云数据；对图像中的像素点进行分类处理，以确定边界线像素点，包括：从点云数据中提取图像中像素点的点云数据特征；将像素点的点云数据特征映射为属于边界线像素点的概率，并将超过第二概率阈值的概率对应的像素点确定为边界线像素点。
在一些示例中，对图像中的像素点进行分类处理，也是通过调用用于对像素点进行第二机器学习模型实现的，根据提取的点云数据特征分类出像素点是否属于边界线像素点。其中，点云数据可以是激光点云，具体可以是利用激光雷达在同一空间参考系下对环境中每个采样点的空间坐标获取对应的表面特性，例如反射率，每个采样点可以对应得到一个三维点云数据点。点云数据特征表征的是三维图像中的像素点与领域像素点之间的空间差异，举例来说，点云数据特征向量可以通过三维图像中的点特征直方图来表示。
这里说明第二机器学习模型的训练方法。获取对车辆所处环境进行扫描得到的三维点云数据作为样本数据，标注出样本数据中的边界线位置，提取样本图像的点特征直方图作为样本特征，利用样本特征及对应的样本数据的标注去训练机器学习模型。并通过前向传播过程得到各训练样本与对应的训练标签之间的损失函数值，将各训练样本与对应的训练标签之间的损失函数值进行相加，得到模型总损失以更新模型参数，基于更新后的模型参数进行迭代训练。当输出结果满足精度要求时，结束训练，以得到训练好的机器学习模型。举例来说，这里的机器学习模型可以是卷积神经网络、深度神经网络等；损失函数可以是二分类损失函数、二元交叉熵损失函数等。
在另一些实施例中，对图像中的像素点进行分类处理，以确定边界线像素点，包括：提取像素点的梯度特征；将像素点的梯度特征映射为路口转角顶点的概率，并将最高的两个概率分别对应的两个像素点确定为路口转角顶点。
在一些示例中，对图像中的像素点进行分类处理，也是通过调用用于对像素点进行第三机器学习模型实现的，根据提取的梯度特征分类出像素点是否属于路口转角顶点。其中，梯度特征表征的是图像中的像素点不同方向的平均灰度变化。举例来说，梯度特征向量可以通过最小灰度方差来表示。
这里说明第三机器学习模型的训练方法。采集对车辆所处环境进行拍摄得到的二维图像数据作为样本数据，标注出样本数据中的路口转角顶点位置，提取样本图像的梯度特征作为样本特征，利用样本特征及对应的样本数据的标注去训练机器学习模型。并通过前向传播过程得到各训练样本与对应的训练标签之间的损失函数值，将各训练样本与对应的训练标签之间的损失函数值进行相加，得到模型总损失以更新模型参数，基于更新后的模型参数进行迭代训练。当输出结果满足精度要求时，结束训练，以得到训练好的机器学习模型。举例来说，这里的机器学习模型可以是卷积神经网络、深度神经网络等；损失函数可以是二分类损失函数、二元交叉熵损失函数等。
在步骤103中，根据边界线像素点确定边界线。
在一些实施例中，根据边界线像素点确定边界线，包括：对多个边界线像素点进行拟合处理，以经过多个边界线像素点(例如全部的边界线像素点或经过最多的边界线像素点)的线段作为边界线。
在一些示例中，对多个边界线像素点进行拟合处理可以通过霍夫Hough变换来实现，具体的实现方式如下：
在包括边界线像素点的平面坐标系((x-y)空间)中，经过一点(x，y)的直线可以表示成参数方程(1)：
b＝-xk+y (1)
其中，k是(k-b)空间的横坐标，b是(k-b)空间的纵坐标。于是将边界线像素点从原来包括边界线像素点的平面坐标系转移到了(k-b)空间，且原来图像上的一个边界线像素点对应(k-b)空间中的一条直线。
在(k-b)空间中，对于每条直线经过的点，确定直线相交数量最多的交点，由于边界线像素点在(x-y)空间中的值都是已知的，任选两条直线b＝-x1k+y1，b＝-x2k+y2，计算出k、b的值，将得到的(x-y)空间的拟合线段作为边界线。
在另一些实施例中，根据边界线像素点确定边界线，包括：对多个边界线像素点进行拟合处理，以与多个边界线像素点(例如全部的边界线像素点或经过最多的边界线像素点)之间垂直距离最小的线段作为边界线。
在一些示例中，对边界线像素点进行拟合处理可以通过最小二乘法来实现，具体的实现方式如下：
将拟合直线(x，y，z)用直线方程(2)表示：
Figure BDA0002619836310000151
其中，a1、a2、a3、b1、b2、b3为拟合直线(x，y，z)的参数。
将所有边界线像素点到拟合直线的垂直距离，作为拟合误差：
Figure BDA0002619836310000152
其中，V为边界线像素点到拟合直线上任取一点的向量，向量D为拟合直线的方向向量，是单位向量。
当拟合误差的平方和最小时，确定拟合直线为最佳拟合直线。这里的拟合误差的平方和最小，可以用拟合误差的平方和对a1、a2、a3、b1、b2、b3求偏导数，当偏导数等于零时认为拟合误差平方和最小，由此，当
Figure BDA0002619836310000153
Figure BDA0002619836310000154
时，求解出a1、a2、a3、b1、b2、b3的值，以得到最佳拟合直线，从而根据已知的边界线像素点，将拟合得到的最佳拟合线段作为边界线。
在另一些实施例中，根据边界线像素点确定边界线，包括：以两个路口转角顶点为边界线顶点，并以直线或符合道路曲度的曲线连接两个边界点顶点得到边界线。
本申请实施例通过识别车辆行驶时所处的环境图像中的边界线规划车辆的转弯路线，能够灵活应对各种驾驶场景，实现了对各种驾驶场景良好的兼容性，提高了规划车辆的转弯路线的性能，降低了对高精地图的依赖，减少了规划车辆转弯路线的硬件资源消耗；对边界线的检测可以根据二维图像数据、三维点云数据、或是连接路口转角顶点等多种方式进行处理，适应于各种驾驶场景，也可以将三种方案进行融合，从而提高边界线检测的准确率。
在一些实施例中，参见图4B，图4B是本申请实施例提供的路线规划处理方法的一个流程示意图，基于图4A，在步骤101之前，还可以执行步骤105至步骤107，将结合各步骤进行说明。
步骤105中，当检测到待转车道中的前方有车辆时，将前方的车辆的行驶轨迹确定为转弯路线。
步骤106中，当检测到待转车道中的前方没有车辆，且查找到与待转车道匹配的地图时，根据地图确定转弯路线。
步骤107中，当检测到待转车道中的前方没有车辆，且未查找到与待转车道匹配的地图时，转入执行获取车辆在待转车辆车道中行驶时所处环境的图像的步骤。
在一些示例中，检测前方有没有车辆可以通过环境感知模块中的传感器实现。其中，环境感知模块中所使用的传感器可以为视觉类摄像机(包括单目、双目立体视觉、全景视觉及红外相机)和雷达类测距传感器(激光雷达、毫米波雷达、超声波雷达等)。
作为示例一，通过车载摄像头获取车辆在待转车道中的图像，利用车辆的一些典型特征进行特征检测，比如车辆阴影特征、车灯、几何特征(角点、边缘)等，确定前方是否存在车辆。
对图像的全图进行二值化分割，利用大津算法获得全图二值化分割阈值和全图二值图；将灰度值低于全图二值化分割阈值的点标记为白点作为前景、其余标记为黑色作为背景，并对全图二值图提取轮廓，求取轮廓的最小外接矩形；由于车辆阴影一般比周围区域都要暗，设置第一阈值和第二阈值，其中，第一阈值低于第二阈值，第一阈值用于确定最小外接矩形内部的阴影区域，而第二阈值用于阴影区域的周围环境，可以通过局部分割算法或均值+方差来判断最小外接矩形内部是否为车辆阴影区域；如果是则确定前方有车辆；如果否则确定前方没有车辆。
作为示例二，通过激光雷达扫描车辆在待转车道正前方范围内的障碍物信息，并对获得的连续多帧数据进行目标信息提取，可以计算出目标障碍物的速度矢量、移动方向、物体宽度以及距离等目标信息，通过对目标信息的处理分析可以识别出障碍物是否为车辆，即当识别出有车辆时，确定待转车道中前方有车辆。
值得说明的是，示例一和示例二也可以结合应用，即将视觉传感器和雷达传感器检测的数据进行融合，提高对前方车辆的检测准确率。
在一些示例中，当检测到待转车道中前方没有车辆时，针对激光雷达扫描车辆在待转车道中得到的点云数据，提取点云数据的特征，例如车道线、停止线和人行横道等，与高精地图进行匹配；当查找到与待转车道匹配的地图时，随机选取两组点云数据，计算出这两组点云数据之间的位置：第一组点云数据的每个点在第二组点云数据里找到一个最近的匹配，之后通过所有的匹配来计算均方误差，进而调整估计的位置，经过多次迭代后，最终计算出两组点云数据的相对位置；用实时的点云数据加上一个补偿位置(例如可以预先设定的经验值)就可以精准定位出车辆的当前位置。根据车辆的当前位置和高精地图的经验，决策模块可以预测出车辆在当前路口的转弯路线。
本申请实施例中，在检测到待转车道中前方有车辆时，通过跟车实现转弯，减少计算资源；在检测到待转车道中前方没有车辆且查找到与待转车道匹配的地图时，通过地图能够精准定位当前车辆位置以及精准规划车辆的转弯路线；在地图路网更新不及时或者地图覆盖不到的区域，通过车辆行驶时所处的环境图像中的边界线规划车辆的转弯路线，以实现路口的自动转向，减少了规划车辆转弯路线的硬件资源消耗。
在一些实施例中，在步骤106之后，可以执行以下步骤，确定在转弯路线中行驶时对应的以下转弯方案：当识别到图像中存在障碍物时，根据至少两张图像中障碍物的相对位置，确定障碍物的移动方向和移动速度，以预测障碍物在预设时间后与车辆之间的距离，当障碍物与车辆之间的距离小于距离阈值时，控制车辆进行减速操作；当识别到图像中的交通灯指示等待转弯时，控制车辆进行停车操作；当识别到图像中的交通灯指示转弯时，控制车辆执行转弯路线。
本申请实施例中在制定转弯路线后，通过识别周围场景要素制定合理的转弯方案，提高自动驾驶车辆的安全性和可靠性。
在步骤104中，根据边界线确定车辆从行驶车道驶入目标车道的转弯路线。
在一些实施例中，根据边界线确定车辆从行驶车道驶入目标车道的转弯路线，包括：在包括边界线和车辆的实时位置的平面坐标系中，确定满足以下条件的曲线为转弯路线：以边界线的中点作为转弯路线的终点；以车辆的转弯位置作为转弯路线的起点；以车辆的行驶方向作为转弯路线的起点的切线方向。
举例来说，参见图6，图6是本申请实施例提供的路线规划处理方法中确定转弯路线的示意图。其中，P1P2＝P3P4，P2P3＝P5P6。假设转弯路线为抛物线，根据P2、P5和P5的切线方向(即车辆的行驶方向)可以确定出一条抛物线的参数值，该抛物线的轨迹即为车辆的转弯路线。
在一些实施例中，参见图4C，图4C是本申请实施例提供的路线规划处理方法的一个流程示意图，基于图4A，在步骤104之后，还可以执行步骤108至步骤110，将结合各步骤进行说明。
确定在转弯路线中行驶时对应的以下转弯方案：
在步骤108中，当识别到图像中存在障碍物时，根据至少两张图像中障碍物的相对位置，确定障碍物的移动方向和移动速度，以预测障碍物在预设时间后与车辆之间的距离，当障碍物与车辆之间的距离小于距离阈值时，控制车辆进行减速操作；
在步骤109中，当识别到图像中的交通灯指示等待转弯时，控制车辆进行停车操作；
在步骤110中，当识别到图像中的交通灯指示转弯时，控制车辆执行转弯路线。
在一些实施例中，当车辆的实时位置满足转弯条件时，将车辆的实时位置确定为转弯位置；
其中，转弯条件包括：车辆的实时位置与转弯临界点之间的距离处于转弯阈值区间；转弯临界点为边界线中距离车辆最近的边界线端点。
举例来说，车辆的实时位置与转弯临界点之间的距离可以是转弯临界点到车辆的实时位置的垂直距离，如图6中的D所示，转弯阈值区间可以设置在0m～5m。
本申请实施例在制定转弯路线后通过识别周围场景要素以及根据转弯条件确定转弯的最佳位置，制定合理的转弯方案，提高了自动驾驶车辆的安全性和可靠性。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，在车辆转弯进入目标车道且缺乏地图的场景中，采集车辆所处的环境图像，确定行驶车道和目标车道之间的边界线，再综合周围环境因素(交通信号、障碍物等)规划车辆的转弯路线，灵活应对各种驾驶场景，实现了对各种驾驶场景良好的兼容性，提高了规划车辆的转弯路线的性能，降低了对高精地图的依赖，减少了规划车辆转弯路线的硬件资源消耗。
参见图7，图7是本申请实施例提供的路线规划处理方法的一个流程示意图，本申请实施例的实现方案具体如下：
步骤201：行驶至待转车道。根据决策规划模块的决策，行驶至待转车道。
步骤202：是否跟车转弯。进入待转车道后，判断待转车道中前方是否存在车辆。如果检测到待转车道中前方存在车辆，则执行跟车转弯(步骤203)；如果检测到待转车道中前方不存在车辆，则执行步骤204(查找是否有与待转车道匹配的高精地图)。
步骤204：高精地图匹配。通过激光点阵雷达对周围场景进行扫描，并将其与高精地图进行匹配，做高精定位。如果当前的待转车道与高精地图匹配，则基于高精地图，制定转弯路线(步骤205)；步骤206：场景要素识别。对周围场景中的车辆、行人、自行车等动态物体进行检测以及估计移动方向和移动的速度；对周围场景的交通标志如红绿灯、斑马线、标牌等进行识别，确定交规信息；步骤207：转弯方案制定。如果需要在路口处等待红绿灯，则等待红绿灯指示可以转弯时，沿着转弯路线进行转弯；如果路口处不存在红绿灯，则沿着转弯路线进行转弯；在沿着转弯路线进行转弯时，如果识别出前方存在车辆也进行同方向的转弯，则进行跟车，保持车距在交规范围内；如果前方不存在车辆，则沿转弯路线进行转弯，并对转弯期间出现的行人等临时出现的物体进行减速或停车避让处理。
如果当前的待转车道与高精地图不匹配(高精地图未覆盖当前道路或者高精地图与实际场景匹配失败)，则进行边界线的检测(步骤208)。
在一些示例中，向道路发送激光雷达探测信号，然后将道路发射回来的信号(目标回波)与发射信号进行比较，由于不同密度的物体的反射率都有一定的差异，物体反射率决定激光回波脉冲宽度特性，路面和车道线有着明显的差异，例如，路面的回波宽度在2米左右，车道线的回波宽度在4米左右。从而利用回波脉冲宽度的差异对车道上的特征(车道线、停止线和人行横道)进行区分，从而根据车道上的特征，与高精地图匹配。
步骤208：边界线检测。对待转弯的路口做边界线检测；在完成边界线起始点的定位后，即可确定可以转弯的路口位置，参见图8，图8是本申请实施例提供的边界线示意图，图8中全黑的线为边界线301，对应左转弯路口的位置。
在一些示例中，采集对车辆所处环境进行拍摄得到的历史二维图像作为样本图像，标注出样本图像中的边界线位置，提取样本图像的走向特征作为样本特征，利用样本特征及对应的样本图像的标注去训练第一机器学习模型。并通过前向传播过程得到各训练样本与对应的训练标签之间的损失函数值，将各训练样本与对应的训练标签之间的损失函数值进行相加，得到模型总损失以更新模型参数，基于更新后的模型参数进行迭代训练。当输出结果满足精度要求时，结束训练，以得到训练好的机器学习模型。举例来说，这里的第一机器学习模型可以是卷积神经网络、深度神经网络等；损失函数可以是二分类损失函数、二元交叉熵损失函数等。对采集的车辆当前所处环境进行拍摄得到的图像进行分类，分类出图像中边界线像素点，然后通过基于霍夫变换的直线提取算法得到边界线的起始点。
在另一些示例中，还可以基于激光点阵雷达形成的3D点云，实现边界线检测的效果。
在另一些示例中，还可以对路口转角的顶点进行定位，从而实现边界线检测的效果，相当于获取了线段的两个端点。
步骤209：转弯路线制定。基于步骤208的边界线检测，制定转弯路线如下所示：
实现方案为：将整个车想象成一个立方体，然后转弯方案依据图6示例制定。当车辆位于路口前0m～5m(图6中D的长度)范围内时方可转弯，否则认为已经远离路口不可转弯。假设转弯路线为抛物线，抛物线的参数根据边界线上转弯路线的终点、车辆的实时位置、以及车辆当前的行驶路线(即为车辆实时位置的切线方向)来确定，根据P1P2＝P3P4，P2P3＝P5P6确定边界线上转弯路线的终点位置(P2和P3)。
步骤210：场景要素识别。对周围场景中的车辆、行人、自行车等动态物体进行检测以及估计移动方向和移动的速度；对周围场景的交通标志如红绿灯、斑马线、标牌等进行识别，确定交规信息。
步骤211：转弯方案制定。如果需要在路口处等待红绿灯，则等待红绿灯指示可以转弯时，沿着转弯路线进行转弯；如果路口处不存在红绿灯，则沿着转弯路线进行转弯；在沿着转弯路线进行转弯时，如果识别出前方存在车辆也进行同方向的转弯，则进行跟车，保持车距在交规范围内；如果前方不存在车辆，则沿转弯路线进行转弯，并对转弯期间出现的行人等临时出现的物体进行减速或停车避让处理。
下面继续说明本申请实施例提供的路线规划处理装置555的实施为软件模块的示例性结构，在一些实施例中，如图3所示，存储在存储器550的路线规划处理装置555中的软件模块可以包括：
环境感知模块5551，用于：获取车辆在待转车道中行驶时所处环境的图像，其中，所述待转车道是用于转弯驶入目标车道的车道；
决策规划模块5552，用于：对所述图像中的像素点进行分类处理，以确定边界线像素点；根据所述边界线像素点确定边界线，其中，所述边界线用于对所述车辆当前的行驶车道和所述目标车道进行分界；根据所述边界线确定所述车辆从所述行驶车道驶入所述目标车道的转弯路线。
在一些实施例中，所述图像包括对所述车辆所处环境进行扫描得到的二维的像素点数据；所述决策规划模块5552，还用于：从所述像素点数据中提取所述图像中像素点的走向特征；将所述像素点的走向特征映射为属于边界线像素点的概率，并将超过第一概率阈值的概率对应的像素点确定为边界线像素点；对多个所述边界线像素点进行拟合处理，以经过多个所述边界线像素点的线段作为边界线。
在一些实施例中，所述图像是对所述车辆所处环境进行扫描得到的三维的点云数据；所述决策规划模块5552，还用于：从所述点云数据中提取所述图像中像素点的点云数据特征；将所述像素点的点云数据特征映射为属于边界线像素点的概率，并将超过第二概率阈值的概率对应的像素点确定为边界线像素点；对多个所述边界线像素点进行拟合处理，以与多个所述边界线像素点之间垂直距离最小的线段作为边界线。
在一些实施例中，所述决策规划模块5552，还用于：提取所述像素点的梯度特征；将所述像素点的梯度特征映射为路口转角顶点的概率，并将最高的两个概率分别对应的两个像素点确定为路口转角顶点；以所述两个路口转角顶点为边界线顶点，并连接所述两个边界点顶点得到边界线。
在一些实施例中，所述决策规划模块5552，还用于：当检测到所述待转车道中的前方有车辆时，将所述前方的车辆的行驶轨迹确定为转弯路线；当检测到所述待转车道中的前方没有车辆，且查找到与所述待转车道匹配的地图时，根据所述地图确定转弯路线；当检测到所述待转车道中的前方没有车辆，且未查找到与所述待转车道匹配的地图时，转入执行所述获取车辆在待转车辆车道中行驶时所处环境的图像的步骤。
在一些实施例中，所述根据所述地图确定转弯路线之后，所述决策规划模块5552，还用于：确定在所述转弯路线中行驶时对应的以下转弯方案：当识别到所述图像中存在障碍物时，根据至少两张所述图像中障碍物的相对位置，确定所述障碍物的移动方向和移动速度，以预测所述障碍物在预设时间后与所述车辆之间的距离，当所述障碍物与所述车辆之间的距离小于距离阈值时，控制所述车辆进行减速操作；当识别到所述图像中的交通灯指示等待转弯时，控制所述车辆进行停车操作；当识别到所述图像中的交通灯指示转弯时，控制所述车辆执行所述转弯路线。
在一些实施例中，所述决策规划模块5552，还用于：在包括所述边界线和所述车辆的实时位置的平面坐标系中，确定满足以下条件的曲线为转弯路线：以所述边界线的中点作为所述转弯路线的终点；以所述车辆的转弯位置作为所述转弯路线的起点；以所述车辆的行驶方向作为所述转弯路线的起点的切线方向。
在一些实施例中，当确定所述转弯路线之后，所述决策规划模块5552，还用于：确定在所述转弯路线中行驶时对应的以下转弯方案：当识别到所述图像中存在障碍物时，根据至少两张所述图像中障碍物的相对位置，确定所述障碍物的移动方向和移动速度，以预测所述障碍物在预设时间后与所述车辆之间的距离，当所述障碍物与所述车辆之间的距离小于距离阈值时，控制所述车辆进行减速操作；当识别到所述图像中的交通灯指示等待转弯时，控制所述车辆进行停车操作；当识别到所述图像中的交通灯指示转弯时，控制所述车辆执行所述转弯路线。
在一些实施例中，所述决策规划模块5552，还用于：当所述车辆的实时位置满足转弯条件时，将所述车辆的实时位置确定为所述转弯位置；其中，所述转弯条件包括：所述车辆的实时位置与转弯临界点之间的距离处于转弯阈值区间；所述转弯临界点为所述边界线中距离所述车辆最近的边界线端点。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的路线规划处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的路线规划处理方法，例如，如图4A、图4B、图4C示出的路线规划处理方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例通过车辆行驶时所处的环境图像中的边界线高效准确地规划车辆的转弯路线，能够灵活应对各种驾驶场景，尤其是在转弯位置的地图(例如高精地图)缺失时，也能够及时准确制定转弯路线，实现了对各种驾驶场景良好的兼容性，提高了规划车辆的转弯路线的性能，降低了对高精地图的依赖；在检测到待转车道中前方有车辆时，通过跟车实现转弯，减少计算资源；在检测到待转车道中前方没有车辆且查找到与待转车道匹配的地图时，通过地图能够精准定位当前车辆位置以及精准规划车辆的转弯路线；在地图路网更新不及时或者地图覆盖不到的区域，通过车辆行驶时所处的环境图像中的边界线规划车辆的转弯路线，以实现路口的自动转向，减少了规划车辆转弯路线的硬件资源消耗；在制定转弯路线后通过识别周围场景要素以及根据转弯条件确定转弯的最佳位置，制定合理的转弯方案，提高了自动驾驶车辆的安全性和可靠性。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (11)

1.一种路线规划处理方法，其特征在于，包括：
根据目标位置和交通信息，确定当车辆在到达所述目标位置的路线上时在每个路口的目标车道；
当检测到待转车道的前方没有其他车辆，且未查找到与所述待转车道匹配的地图时，获取所述车辆在所述待转车道中行驶时所处环境的图像，其中，所述待转车道是用于转弯驶入所述目标车道的车道；
根据所述图像中像素点的走向特征、所述图像中像素点的点云数据特征和梯度特征中的至少之一，对所述图像中的像素点进行分类处理，以确定所述像素点中的边界线像素点；
根据所述边界线像素点确定边界线，其中，所述边界线用于对所述车辆当前的行驶车道和需要转弯驶入的所述目标车道进行分界；
根据所述边界线确定所述车辆从所述行驶车道驶入所述目标车道的转弯路线；
确定在所述转弯路线中行驶时对应的以下转弯方案：
当识别到所述图像中存在障碍物时，根据至少两张所述图像中所述障碍物的相对位置，确定所述障碍物的移动方向和移动速度，以预测所述障碍物在预设时间后与所述车辆之间的距离，当所述障碍物与所述车辆之间的距离小于距离阈值时，控制所述车辆进行减速操作；
当识别到所述图像中的交通灯指示等待转弯时，控制所述车辆进行停车操作；
当识别到所述图像中的交通灯指示转弯时，控制所述车辆执行所述转弯路线。
2.根据权利要求1所述的方法，其特征在于，
所述图像包括对所述车辆所处环境进行扫描得到的二维的像素点数据；
根据所述图像中像素点的走向特征、所述图像中像素点的点云数据特征和梯度特征中的至少之一，对所述图像中的像素点进行分类处理，以确定边界线像素点，包括：
从所述像素点数据中提取所述图像中像素点的走向特征；
将所述像素点的走向特征映射为属于所述边界线像素点的概率，并将超过第一概率阈值的概率对应的像素点确定为所述边界线像素点；
所述根据所述边界线像素点确定边界线，包括：
对多个所述边界线像素点进行拟合处理，以经过多个所述边界线像素点的线段作为所述边界线。
3.根据权利要求1所述的方法，其特征在于，
所述图像是对所述车辆所处环境进行扫描得到的三维的点云数据；
所述根据所述图像中像素点的走向特征、所述图像中像素点的点云数据特征和梯度特征中的至少之一，对所述图像中的像素点进行分类处理，以确定边界线像素点，包括：
从所述点云数据中提取所述图像中像素点的点云数据特征；
将所述像素点的点云数据特征映射为属于所述边界线像素点的概率，并将超过第二概率阈值的概率对应的像素点确定为所述边界线像素点；
所述根据所述边界线像素点确定边界线，包括：
对多个所述边界线像素点进行拟合处理，以与多个所述边界线像素点之间垂直距离最小的线段作为所述边界线。
4.根据权利要求1所述的方法，其特征在于，
所述根据所述图像中像素点的走向特征、所述图像中像素点的点云数据特征和梯度特征中的至少之一，对所述图像中的像素点进行分类处理，以确定边界线像素点，包括：
提取所述像素点的梯度特征；
将所述像素点的梯度特征映射为路口转角顶点的概率，并将最高的两个概率分别对应的两个像素点确定为路口转角顶点；
所述根据所述边界线像素点确定边界线，包括：
以两个所述路口转角顶点为边界线顶点，并连接两个所述边界线顶点得到所述边界线。
5.根据权利要求1所述的方法，其特征在于，所述获取所述车辆在待转车辆车道中行驶时所处环境的图像之前，还包括：
当检测到所述待转车道中的前方有车辆时，将所述前方的车辆的行驶轨迹确定为转弯路线；
当检测到所述待转车道中的前方没有车辆，且查找到与所述待转车道匹配的所述地图时，根据所述地图确定转弯路线。
6.根据权利要求5所述的方法，其特征在于，所述根据所述地图确定转弯路线之后，还包括：
确定在所述转弯路线中行驶时对应的以下转弯方案：
当识别到所述图像中存在障碍物时，根据至少两张所述图像中障碍物的相对位置，确定所述障碍物的移动方向和移动速度，以预测所述障碍物在预设时间后与所述车辆之间的距离，当所述障碍物与所述车辆之间的距离小于距离阈值时，控制所述车辆进行减速操作；
当识别到所述图像中的交通灯指示等待转弯时，控制所述车辆进行停车操作；
当识别到所述图像中的交通灯指示转弯时，控制所述车辆执行所述转弯路线。
7.根据权利要求1所述的方法，其特征在于，所述根据所述边界线确定所述车辆从所述行驶车道驶入所述目标车道的转弯路线，包括：
在包括所述边界线和所述车辆的实时位置的平面坐标系中，确定满足以下条件的曲线为转弯路线：
以所述边界线的中点作为所述转弯路线的终点；
以所述车辆的转弯位置作为所述转弯路线的起点；
以所述车辆的行驶方向作为所述转弯路线的起点的切线方向。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
当所述车辆的实时位置满足转弯条件时，将所述车辆的实时位置确定为所述转弯位置；
其中，所述转弯条件包括：所述车辆的实时位置与转弯临界点之间的距离处于转弯阈值区间；所述转弯临界点为所述边界线中距离所述车辆最近的边界线端点。
9.一种路线规划处理装置，其特征在于，包括：
环境感知模块，用于当检测到待转车道的前方没有其他车辆，且未查找到与所述待转车道匹配的地图时，获取所述车辆在所述待转车道中行驶时所处环境的图像，其中，所述待转车道是用于转弯驶入目标车道的车道；
决策规划模块，用于根据所述图像中像素点的走向特征、所述图像中像素点的点云数据特征和梯度特征中的至少之一，对所述图像中的像素点进行分类处理，以确定所述像素点中的边界线像素点；根据所述边界线像素点确定边界线，其中，所述边界线用于对所述车辆当前的行驶车道和需要转弯驶入的所述目标车道进行分界；根据所述边界线确定所述车辆从所述行驶车道驶入所述目标车道的转弯路线；
所述决策规划模块包括决策模块，所述决策模块用于根据目标位置和交通信息，确定当车辆在到达所述目标位置的路线上时在每个路口的所述目标车道；
当确定所述转弯路线之后，所述决策规划模块，还用于确定在所述转弯路线中行驶时对应的以下转弯方案：当识别到所述图像中存在障碍物时，根据至少两张所述图像中所述障碍物的相对位置，确定所述障碍物的移动方向和移动速度，以预测所述障碍物在预设时间后与所述车辆之间的距离，当所述障碍物与所述车辆之间的距离小于距离阈值时，控制所述车辆进行减速操作；
当识别到所述图像中的交通灯指示等待转弯时，控制所述车辆进行停车操作；
当识别到所述图像中的交通灯指示转弯时，控制所述车辆执行所述转弯路线。
10.一种路线规划处理设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至8任一项所述的路线规划处理方法。
11.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至8任一项所述的路线规划处理方法。
CN202010779922.2A 2020-08-05 2020-08-05 路线规划处理方法和装置 Active CN111874006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010779922.2A CN111874006B (zh) 2020-08-05 2020-08-05 路线规划处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010779922.2A CN111874006B (zh) 2020-08-05 2020-08-05 路线规划处理方法和装置

Publications (2)

Publication Number Publication Date
CN111874006A CN111874006A (zh) 2020-11-03
CN111874006B true CN111874006B (zh) 2022-11-04

Family

ID=73211955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010779922.2A Active CN111874006B (zh) 2020-08-05 2020-08-05 路线规划处理方法和装置

Country Status (1)

Country Link
CN (1) CN111874006B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528917A (zh) * 2020-12-18 2021-03-19 深兰科技（上海）有限公司 斑马线区域识别方法、装置、电子设备和存储介质
CN112784885B (zh) * 2021-01-11 2022-05-24 腾讯科技（深圳）有限公司 基于人工智能的自动驾驶方法、装置、设备、介质及车辆
CN112912894B (zh) * 2021-02-07 2022-08-09 华为技术有限公司 道路边界识别方法和装置
CN112896187B (zh) * 2021-02-08 2022-07-26 浙江大学 一种考虑社会兼容的自动驾驶决策的系统与方法
CN113044029B (zh) * 2021-03-19 2022-03-15 北京理工大学 一种保证无人车在三维地形上安全行驶的运动规划方法
CN112985444B (zh) * 2021-03-31 2023-03-24 上海商汤临港智能科技有限公司 一种地图中导航元素构建方法及装置
CN113119999B (zh) 2021-04-16 2024-03-12 阿波罗智联(北京)科技有限公司 自动驾驶特征的确定方法、装置、设备、介质及程序产品
CN113470348B (zh) * 2021-06-07 2022-07-05 北京三快在线科技有限公司 用于构建道路的交汇口路面的方法、装置、介质及设备
CN113238237B (zh) * 2021-07-12 2021-10-01 天津天瞳威势电子科技有限公司 一种库位探测方法及装置
CN114407927B (zh) * 2022-01-21 2023-05-26 常州大学 一种物流运输车辆智能辅助驾驶系统及方法
CN114694116A (zh) * 2022-03-24 2022-07-01 商汤集团有限公司 一种道路边界检测方法、装置、电子设备和存储介质
CN115937812B (zh) * 2023-01-06 2023-05-16 河北博士林科技开发有限公司 一种交通路口虚拟车道线的生成方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6833329B2 (ja) * 2016-03-28 2021-02-24 日野自動車株式会社 目標経路生成装置及び操舵制御装置
CN106379319B (zh) * 2016-10-13 2019-11-19 上汽大众汽车有限公司 一种汽车辅助驾驶系统及控制方法
JP6624117B2 (ja) * 2017-02-22 2019-12-25 トヨタ自動車株式会社 車両運転支援システム
CN108216229B (zh) * 2017-09-08 2020-01-10 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN109766878B (zh) * 2019-04-11 2019-06-28 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备

Also Published As

Publication number Publication date
CN111874006A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111874006B (zh) 路线规划处理方法和装置
CN111095291B (zh) 由自动驾驶车辆实时检测车道和边界
US11217012B2 (en) System and method for identifying travel way features for autonomous vehicle motion control
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
Hirabayashi et al. Traffic light recognition using high-definition map features
US8751154B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
CN114902295A (zh) 用于自主驾驶应用的三维路口结构预测
CN112740268B (zh) 目标检测方法和装置
CN112752950A (zh) 修改与地图数据相关联的地图元素
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
CN114072841A (zh) 根据图像使深度精准化
US20230184560A1 (en) Visual interface display method and apparatus, electronic device, and storage medium
CN111986128A (zh) 偏心图像融合
CN111178122A (zh) 道路场景中三维车道的检测及平面表示
CN111091037A (zh) 用于确定驾驶信息的方法和设备
Ortega et al. Overtaking maneuver scenario building for autonomous vehicles with PreScan software
WO2023179028A1 (zh) 一种图像处理方法、装置、设备及存储介质
US20230311932A1 (en) Merging object and background radar data for autonomous driving simulations
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
US11465620B1 (en) Lane generation
CN116457800A (zh) 用于自动驾驶车辆中的地图变化检测的架构
US11055543B2 (en) Road curvature generation in real-world images as a method of data augmentation
CN114729810A (zh) 人行横道检测
US11884268B2 (en) Motion planning in curvilinear coordinates for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant