CN116461551A - 自动驾驶决策方法、装置、电子设备、存储介质及车辆 - Google Patents
自动驾驶决策方法、装置、电子设备、存储介质及车辆 Download PDFInfo
- Publication number
- CN116461551A CN116461551A CN202310261311.2A CN202310261311A CN116461551A CN 116461551 A CN116461551 A CN 116461551A CN 202310261311 A CN202310261311 A CN 202310261311A CN 116461551 A CN116461551 A CN 116461551A
- Authority
- CN
- China
- Prior art keywords
- data
- decision
- host vehicle
- track
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000000605 extraction Methods 0.000 claims description 95
- 230000004927 fusion Effects 0.000 claims description 69
- 230000006399 behavior Effects 0.000 claims description 16
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 abstract description 18
- 238000012545 processing Methods 0.000 abstract description 15
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 35
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000004880 explosion Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种自动驾驶决策方法、装置、电子设备、存储介质及车辆,涉及数据处理及人工智能技术领域,具体涉及自动驾驶、智能交通、车联网、智能座舱及大数据等技术领域,其中,自动驾驶决策方法包括:获取主车预测决策参考数据;其中,所述主车预测决策参考数据包括主车预测参考数据和主车决策参考数据;根据所述主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据;根据所述主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据。本公开实施例能够降低算力和资源占用,并提高自动驾驶中预测数据和决策数据的一致性,以及决策模式的安全性、可靠性和灵活性。
Description
技术领域
本公开涉及数据处理及人工智能技术领域,具体涉及自动驾驶、智能交通、车联网、智能座舱及大数据等技术领域。
背景技术
自动驾驶也称为无人驾驶,是指车辆自动监控外部环境和并自动做出和实施驾驶决策。自动驾驶车辆尤其包括基于来自传感器系统的输入来自动调整车辆的速度和驾驶方向的能力。自动驾驶车辆的决策能力,可以实现在没有驾驶员的任何输入的情况下进行操作。自动驾驶车辆的决策功能在智能交通、车联网及智能座舱等相关技术领域都具有重要的应用意义。
发明内容
本公开实施例提供了一种自动驾驶决策方法、装置、电子设备、存储介质及车辆,能够降低算力和资源占用,并提高自动驾驶中预测数据和决策数据的一致性,以及决策模式的安全性、可靠性和灵活性。
第一方面,本公开实施例提供了一种自动驾驶决策方法,应用于预测决策统一模型,包括:
获取主车预测决策参考数据;其中,所述主车预测决策参考数据包括主车预测参考数据和主车决策参考数据;
根据所述主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据;
根据所述主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据。
第二方面,本公开实施例提供了一种自动驾驶决策装置,配置于预测决策统一模型,包括:
预测决策参考数据获取模块,用于获取主车预测决策参考数据;其中,所述主车预测决策参考数据包括主车预测参考数据和主车决策参考数据;
主车关联预测数据获取模块,用于根据所述主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据;
主车决策数据获取模块,用于根据所述主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据。
第三方面,本公开实施例提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面实施例所提供的自动驾驶决策方法。
第四方面,本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行第一方面实施例所提供的自动驾驶决策方法。
第五方面,本公开实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现第一方面实施例所提供的自动驾驶决策方法。
第六方面,本公开实施例还提供了一种车辆,包括车体,还包括第三方面实施例所提供的电子设备。
本公开实施例通过预测决策统一模型获取包括主车预测参考数据和主车决策参考数据的主车预测决策参考数据,以通过预测决策统一模型根据获取的主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据,进而根据主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据,解决现有自动驾驶技术中预测过程与决策过程重复计算相同参考数据导致的算力高和决策模式的逻辑冲突及爆炸等问题,实现了自动驾驶中数据驱动的决策模式,能够降低算力和资源占用,并提高自动驾驶中预测数据和决策数据的一致性,以及决策模式的安全性、可靠性和灵活性。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开实施例提供的一种自动驾驶决策方法的流程图;
图2是本公开实施例提供的一种自动驾驶决策方法的流程图;
图3是本公开实施例提供的一种基于预测决策统一模型生成主车决策数据的流程示意图;
图4是本公开实施例提供的一种主车全局路径规划数据的效果示意图;
图5是本公开实施例提供的一种预测决策统一模型进行障碍物决策的流程示意图;
图6是本公开实施例提供的一种对预测决策统一模型进行评估测试的结果示意图;
图7是本公开实施例提供的一种自动驾驶决策装置的结构图;
图8是用来实现本公开实施例的自动驾驶决策方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
目前在城市复杂道路的自动驾驶中,常见的自动驾驶系统(如L4级别的系统)主要包括以下6个功能模块:感知模块、定位模块、预测模块、决策模块、规划模块及控制模块。其中,预测模块用于提供自动驾驶车辆(后文简称为主车)周围交通参与者未来的可能的行驶轨迹。决策模块则基于预测模块提供的预测信息,主要进行横向决策和纵向决策。
目前,自动驾驶车辆中预测模块和决策模块是两个相互独立的模块,也即,预测和决策是分别进行的。其中。预测模块常用的实现方法是人工智能领域中基于数据驱动的神经网络模型,决策模块常用的实现方法则为基于规则的逻辑处理。
现有自动驾驶技术对预测决策分别考虑的方法,主要存在如下问题:
(1)、由于预测和决策是一个耦合和博弈的过程,比如抢行和让行的过程,合理变道与加塞的过程,实际过程中预测车辆常需要与主车交互博弈,因此,预测模块输出的信息决策模块无法充分使用或完全信任使用。同时,预测模块预测的轨迹等数据,实际已经考虑了与主车的博弈结果,但主车可能并未掌握该博弈结果,导致主车可能会做出相反的行为,降低了决策的准确率。
比如在预测周围车辆会cutin(前车加塞)主车时,预测模块可能已经考虑了主车会让行的意图。但是在预测决策相独立的框架下,可能本车也可以决策规划出抢行不让的轨迹,反而使主车陷入危险的情形。
(2)、在决策过程中,需要考虑的信息与预测相同,包括周围道路参与者信息、路网结构信息以及交通灯信息等。重复构建这些信息,浪费算力与资源。
(3)、现有的基于学习模型的决策方案通常会直接输出主车轨迹,这个主车轨迹的可执行性通常不理想。
在一个示例中,图1是本公开实施例提供的一种自动驾驶决策方法的流程图,本实施例可适用于通过预测决策统一模型利用预测和决策相关的参考数据进行决策的情况,该方法可以由自动驾驶决策装置来执行,该装置可以由软件和/或硬件的方式来实现,并一般可集成在电子设备中。该电子设备可以是终端设备,也可以是服务器设备(如进行测试的设备等),本公开实施例并不对电子设备的具体设备类型进行限定。相应的,如图1所示,该方法包括如下操作:
S110、获取主车预测决策参考数据;其中,所述主车预测决策参考数据包括主车预测参考数据和主车决策参考数据。
其中,主车预测决策参考数据可以是用于主车进行预测和决策的参考数据。主车预测参考数据可以是用于主车进行预测的参考数据,例如可以包括但不限于历史状态数据和路网数据等。主车决策参考数据则可以是用于主车进行决策的参考数据,例如可以包括但不限于主车全局规划数据和主车驾驶目的地等。主车决策参考数据与主车预测参考数据的数据内容并不相同。
发明人在实现本公开的过程中发现,主车预测交通参与者的相关信息时,需要提取如下几个特征,包括交通参与者的运动学特征、交通参与者与周围物体的交互特征以及交通参与者与环境之间的交互特征。主车进行决策任务时,往往也需要考虑上述特征信息,在此基础上,还需额外获取本车的驾驶目的地信息进行决策的逻辑。由此可见,对于主车来说,预测和决策两个任务没有本质的区别。
据此,本公开实施例采用预测决策统一模型来同时完成主车的预测和决策功能。其中,预测决策统一模型可以是能够同时实现预测和决策功能的基于数据驱动的模型,例如可以是一种类型的神经网络模型等,只要能够同时实现预测和决策功能即可,本公开实施例并不对预测决策统一模型的模型类型进行限定。可以理解的是,如果预测决策统一模型需要一定的训练过程才能达到满足需求的准确率,则在将预测决策统一模型应用于主车之前,首先可以获取匹配的训练集数据对其进行训练和测试,直至其模型趋于收敛,满足预测决策准确率需求后,在应用主车为其提供预测和决策相统一的决策方式。
由于预测过程和决策过程中参考的数据大部分相同,区别仅在于决策过程还需要参考额外的数据,如终点数据或规划数据等区别于主车预测参考数据的主车决策参考数据。因此,可以将主车决策过程中利用的主车决策参考数据融入至主车预测参考数据,以构建同时可以用于进行预测和决策的主车预测决策参考数据,并基于主车预测决策参考数据的特性,在预测决策统一模型中配置对应的编码模块,即可实现预测和决策的统一模型框架。
S120、根据所述主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据。
其中,主车关联交通参与者可以是主车在自动行驶过程中影响其驾驶预测和决策过程的参与者,例如可以包括但不限于主车本身、影响主车行驶的其他车辆或障碍物等。主车关联预测数据可以是主车基于主车预测决策参考数据进行预测所得到的数据集。
相应的,当主车获取到主车预测决策参考数据,即可将融合主车预测参考数据和主车决策参考数据的主车预测决策参考数据作为输入数据输入至预测决策统一模型中,由预测决策统一模型基于主车预测决策参考数据进行预测,得到主车预测过程生成的主车关联预测数据。可以理解的是,由于预测决策统一模型同时参考了主车预测和决策过程的数据,因此,预测过程输出的主车关联预测数据可以被决策过程充分使用或完全信任使用。
S130、根据所述主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据。
其中,主车决策数据也即主车最终生成的决策数据。可选的,主车决策数据可以包括主车的意图数据,以引导主车的自动驾驶行为。
在本公开实施例中,当主车基于预测决策统一模型生成主车可以完全信任的主车关联预测数据之后,可以进一步以主车关联预测数据为基准进行决策。由于主车关联预测数据可以被决策过程完全信任,因此可以有效提高主车决策过程的灵活性,减少急刹和停滞不前等不友好的场景。
主车在决策过程中,无需再重复计算预测过程参考的数据,从而降低算力与资源的浪费情况。同时,主车生成的主车决策数据可以包括主车的意图数据,可以作为后续规划的边界约束条件来求解轨迹,以更好的满足车辆运动学约束。
由此可见,用于主车决策的预测决策统一模型能够将预测和决策统筹考虑,使得决策过程更加合理方便的考虑预测信息,因此主车的决策行为与预测结果有较强的一致性。同时,预测决策统一模型的应用可以减少决策过程所需的场景构建过程,从而减少算力和资源浪费。此外,预测决策统一模型实现了基于数据驱动的决策模式,可以更好的演化,避免基于规则的决策模式中存在的逻辑冲突和逻辑爆炸问题,其安全性和可靠性更高。
本公开实施例通过预测决策统一模型获取包括主车预测参考数据和主车决策参考数据的主车预测决策参考数据,以通过预测决策统一模型根据获取的主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据,进而根据主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据,解决现有自动驾驶技术中预测过程与决策过程重复计算相同参考数据导致的算力高和决策模式的逻辑冲突及爆炸等问题,实现了自动驾驶中数据驱动的决策模式,能够降低算力和资源占用,并提高自动驾驶中预测数据和决策数据的一致性,以及决策模式的安全性、可靠性和灵活性。
在一个示例中,图2是本公开实施例提供的一种自动驾驶决策方法的流程图,图3是本公开实施例提供的一种基于预测决策统一模型生成主车决策数据的流程示意图。本公开实施例在上述各实施例的技术方案的基础上,进行了优化改进,给出了根据主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,以及根据主车关联预测数据对主车的自动驾驶行为进行决策的多种具体可选的实现方式。
如图2所示的一种自动驾驶决策方法,包括:
S210、获取主车预测决策参考数据;其中,所述主车预测决策参考数据包括主车预测参考数据和主车决策参考数据。
在本公开的一个可选实施例中,所述主车预测参考数据可以包括交通参与者历史状态数据、主车历史状态数据以及路网结构多段线数据;所述主车决策参考数据可以包括主车全局路径规划数据。
其中,交通参与者历史状态数据可以包括与主车相关的交通参与者的历史状态数据。示例性的,与主车相关的交通参与者影响主车行驶的其他车辆或障碍物等。主车历史状态数据则可以包括主车的历史状态数据。历史状态数据则可以包括但不限于行驶车道、行驶车速、行驶方向以及相对位置等。路网结构多段线数据可以是由主车基于当前位置获取的路网结构的多段线形式的数据。主车全局路径规划数据可以是主车进行全局路径规划所的得到的数据。
可以理解的是,全局路径规划是指能够打到目的地的车道链接信息,具体可以包括根据当前主车的车辆位置和预期的驾驶终点生成推荐的车道级信息。因此,全局路径规划的主要输入和路网结构多段线的输入相似,可以作为路网关系的子集。同时,全局路径规划数据中可以包括主车规划路径以及主车终点等决策过程的参考数据。
图4是本公开实施例提供的一种主车全局路径规划数据的效果示意图。在一个具体的例子中,如图4所示,在十字路口左转的场景中,主车可以基于路网结构多段线数据生成主车于十字路口进行左转的多种全局规划路径,并选择左转后行驶方向的最右侧车道作为最终的行驶车道。因此,全局规划路径可以表征主车要达到目的地可以选择的车道,可以理解的是,对于要预测的其他车辆来说,其他车辆的目的地信息是无法获得的,因此全局规划路径数据的应用只针对主车有效。
可以理解的是,主车现有的预测模型可以将交通参与者历史状态数据、主车历史状态数据以及路网结构多段线数据等主车预测参考数据进行预测过程。为了提高预测和决策的一致性,本公开实施例将主车全局路径规划数据等主车决策参考数据,也作为原始的输入数据,与主车预测参考数据一同输入至预测决策统一模型。
如图3所示,本公开实施例所涉及的预测决策统一模型的特征提取部分可以包括历史信息、交互信息、全局规划和多段线相关的编码器,如历史信息编码器、交互信息编码器、全局规划编码器和多段线编码器,以及历史信息MCG编码器、交互信息MCG编码器、全局规划MCG编码器和多段线MCG编码器。其中,编码器可以用于对匹配的信息进行抽象和聚合,MCG编码器则可以用于对编码器输出的信息进行特征提取。可选的,历史信息编码器和交互信息编码器可以使用网络结构相似的模型,例如可以使用LSTM(Long Short-Term Memory,长短期记忆网络)网络。全局规划器编码器和多段线编码器可以使用网络结构相似的模型,例如可以使用MLP(Multi-Layer Perceptron,多层感知器)网络。MCG(Multi ContextGating)编码器可以由多个CG模块的串联组合,每个CG模块可以由MLP网络组成。CG模块的设计具有置换不变性等特征,适用于对可变的及无序的元素进行编码。
需要说明的是,由于全局路径规划数据属于路网结构多段线的子集,因此,全局规划编码器的网络结构和数据处理原理与多段线编码器相同,且全局规划MCG编码器的网络结构和数据处理原理与多段线MCG编码器相同。
相应的,历史信息编码器的输入可以为交通参与者行驶路线和相对位置等交通参与者历史状态数据,交互信息编码器的输入可以为交通参与者历史状态数据和主车历史状态数据,全局规划编码器的输入可以为一系列路标点的主车全局路径规划数据,多段线编码器的输入则可以为路网结构多段线数据。
S220、提取所述交通参与者历史状态数据的数据特征,得到第一历史状态特征提取数据。
在一个具体的例子中,如图3所示,第一历史状态特征提取数据(图3未示出)可以是利用历史信息编码器和历史信息MCG编码器对交通参与者历史状态数据进行信息抽取、聚合和特征提取后得到的特征数据。
S230、提取所述交通参与者历史状态数据和所述主车历史状态数据的融合数据的数据特征,得到第二历史状态特征提取数据。
在一个具体的例子中,如图3所示,第二历史状态特征提取数据(图3未示出)可以是利用交互信息编码器和交互信息MCG编码器,对交通参与者历史状态数据和主车历史状态数据的融合数据进行信息抽取、聚合和特征提取后得到的特征数据。
S240、根据所述交通参与者历史状态数据、所述主车历史状态数据、所述主车全局路径规划数据以及所述路网结构多段线数据提取多段线融合特征数据。
其中,多段线融合特征数据可以是对各类影响多段线结构的数据进行信息抽取、聚合和特征提取后得到的特征数据。
在本公开的一个可选实施例中,所述根据所述交通参与者历史状态数据、所述主车历史状态数据、所述主车全局路径规划数据以及所述路网结构多段线数据提取多段线融合特征数据,可以包括:提取所述主车全局路径规划数据的数据特征,得到全局规划特征提取数据;提取所述路网结构多段线数据的抽取聚合数据,得到多段线信息抽取数据;对所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述全局规划特征提取数据进行融合,得到融合特征提取数据;将所述多段线信息抽取数据和所述融合特征提取数据进行融合,得到多段线融合数据;提取所述多段线融合数据的数据特征,得到所述多段线融合特征数据。
在一个具体的例子中,如图3所示,全局规划特征提取数据(图3未示出)可以利用全局规划编码器和全局规划MCG编码器对主车全局路径规划数据进行信息抽取、聚合和特征提取后得到的特征数据。多段线信息抽取数据(图3未示出)可以是利用多段线编码器对路网结构多段线数据进行信息抽取和聚合后得到的数据。融合特征提取数据可以是对第一历史状态特征提取数据、第二历史状态特征提取数据和全局规划特征提取数据融合后得到的特征数据。
由于多段线的特征容易受到历史信息、交互信息以及全局路径规划信息等数据特征的影响,因此,在提取多段线特征时,除了需要参考路网结构多段线数据,还可以同时参考交通参与者历史状态数据、主车历史状态数据以及主车全局路径规划数据。如图3所示,具体的,在分别利用匹配的编码器和MCG编码器获取到第一历史状态特征提取数据、第二历史状态特征提取数据和全局规划特征提取数据后,对其进行聚合处理,得到融合特征提取数据。同时,利用多段线编码器对路网结构多段线数据进行信息抽取和聚合得到的数据,与聚合处理得到的融合特征提取数据同时作为输入数据输入至多段线MCG编码器,以通过多段线MCG编码器提取最终的多段线融合特征数据。
上述技术方案,对多段线提取特征时综合考虑了影响多段线特征的关联参考数据的特征,该关联参考数据同时包括部分主车预测参考数据和主车决策参考数据,可以提高多段线特征提取的准确率。
S250、根据所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据生成所述主车关联预测数据。
相应的,在对输入数据进行信息抽取、聚合和特征提取后,即可根据提取到的第一历史状态特征提取数据、第二历史状态特征提取数据和多段线融合特征数据进行聚合处理,并基于聚合结果生成主车关联预测数据。
在上述技术方案中,通过在预测决策统一模型新增全局规划编码器和全局规划MCG编码器,以根据新增的编码器对包括本车驾驶目的地的全局规划信息以合适的方式进行编码,即可将主车决策参考数据融入预测过程,从而实现预测和决策的同一框架。
在本公开的一个可选实施例中,所述根据所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据生成所述主车关联预测数据,可以包括:对所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据进行融合,得到多模态融合特征数据;将轨迹锚点特征编码与所述多模态融合特征数据进行融合,得到目标融合特征数据;根据所述目标融合特征数据生成所述主车关联预测数据。
其中,多模态融合特征数据可以是第一历史状态特征提取数据、第二历史状态特征提取数据和多段线融合特征数据三个维度特征数据融合得到的特征数据。轨迹锚点特征编码可以理解为基于轨迹的运动学特征,该轨迹可以是基于大数据统计的各种车辆的局部的行驶轨迹,可以包括但不限于车辆位置和车辆速度等相关信息。目标融合特征数据则可以是轨迹锚点特征编码与多模态融合特征数据融合得到的数据。
在一个具体的例子中,如图3所示,当预测决策统一模型获取到各类特征数据后,可以进一步对第一历史状态特征提取数据、第二历史状态特征提取数据和多段线融合特征数据进行融合,得到多模态融合特征数据,并将轨迹锚点特征编码与多模态融合特征数据进行融合,得到目标融合特征数据,以将目标融合特征数据作为输入数据输入至另外一个历史信息MCG编码器中,以通过历史信息MCG编码器提取目标融合特征数据的综合特征,并依据提取的综合特征生成最终所需的主车关联预测数据。
上述方案中,由于提取的多段线融合特征数据包括了主车全局路径规划数据的特征,因此能够实现自动驾驶中预测和决策的一致性。
在本公开的一个可选实施例中,所述主车关联预测数据可以包括障碍物预测轨迹数据和主车预测轨迹数据;
其中,障碍物预测轨迹数据也即针对障碍物预测的轨迹相关数据,可以包括轨迹的构成、绝对位置及相对位置等,障碍物的类型可以是车辆,也可以是行人或影响通行的固定物体等,本公开实施例并不对障碍物的类型以及障碍物预测得到的轨迹相关数据的具体数据内容进行限定。主车预测轨迹数据可以是针对主车预测的轨迹相关数据,可以包括轨迹的构成、绝对位置及相对位置等,本公开实施例统一不对主车预测得到的轨迹相关数据的具体数据内容进行限定。
S260、根据所述障碍物预测轨迹数据和所述主车预测轨迹数据确定障碍物预测轨迹和主车预测轨迹的轨迹相交关联数据。
其中,障碍物预测轨迹也即预测决策统一模型对障碍物预测的轨迹,主车预测轨迹也即预测决策统一模型对主车预测的轨迹。轨迹相交关联数据可以是障碍物预测轨迹和主车预测轨迹之间相交情况的关联数据。示例性的,轨迹相交关联数据可以包括但不限于轨迹是否相交、轨迹是否横向十字相交、障碍物预测轨迹和主车预测轨迹之间的最短距离、障碍物与主车相对位置关系以及障碍物是否早于主车到达相交点等。
S270、根据所述轨迹相交关联数据生成所述主车决策数据。
在本公开实施例中,当预测决策统一模型基于主车关联预测数据确定障碍物预测轨迹数据和主车预测轨迹数据后,可以进一步确定障碍物预测轨迹和主车预测轨迹,进而根据障碍物预测轨迹和主车预测轨迹的具体数据计算两者之间的,能够反应两者轨迹相交情况的轨迹相交关联数据,最终根据轨迹相交关联数据生成主车意图,作为主车决策数据。
通过将主车的意图信息作为主车决策数据,以将作为主车决策数据作为后续规划的边界约束条件来求解轨迹,能够更好的满足车辆运动学约束。
在本公开的一个可选实施例中,所述根据所述轨迹相交关联数据生成所述主车决策数据,可以包括:在根据所述轨迹相交关联数据确定所述障碍物预测轨迹和所述主车预测轨迹相交的情况下,根据所述障碍物预测轨迹和所述主车预测轨迹的轨迹相交类型生成主车横向决策数据,并根据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据;在根据所述轨迹相交关联数据确定所述障碍物预测轨迹和所述主车预测轨迹不相交的情况下,根据所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距生成主车横向决策数据。
其中,主车横向决策数据可以包括但不限于判断主车应该选择哪个车道通行,以及对周围障碍障碍物是否横向躲避等。主车纵向决策数据可以包括但不限于主车抢行或主车让行等。
在本公开实施例中,预测决策统一模型的决策内容主要包括车道决策和障碍物决策两部分。其中,车道决策可以依据本车终点所在车道并结合主车预测的信息判断,主要依据最后1s内的车道中心线贴合情况,决定规划中的参考线。障碍物决策主要包含横向决策和纵向决策两个部分。其中,横向决策主要用来后续的局部路径规划,更新可通行空间,包括忽略、左侧绕行和右侧绕行等决策内容。纵向决策则主要用来后续的速度规划。
图5是本公开实施例提供的一种预测决策统一模型进行障碍物决策的流程示意图。在一个具体的例子中,如图5所示,预测决策统一模型可以首先判断障碍物预测轨迹和主车预测轨迹在未来的一段时间内的相交情况。如果确定障碍物预测轨迹和主车预测轨迹相交,则可以障碍物预测轨迹和主车预测轨迹的轨迹相交类型生成主车横向决策数据,并根据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据。如果确定障碍物预测轨迹和主车预测轨迹不相交,则可以进一步判断障碍物预测轨迹和主车预测轨迹之间的最短间距,并根据障碍物预测轨迹和主车预测轨迹之间的最短间距生成主车横向决策数据。
上述技术方案,以障碍物预测轨迹和主车预测轨迹是否相交为决策依据,可以有效避免障碍物和主车的碰撞情况,保证主车自动驾驶的安全性。
在本公开的一个可选实施例中,所述根据所述障碍物预测轨迹和所述主车预测轨迹的轨迹相交类型生成主车横向决策数据,可以包括:在确定所述轨迹相交类型为横向十字相交类型的情况下,生成忽略障碍物的横向决策数据;在确定所述轨迹相交类型为非横向十字相交类型的情况下,确定所述障碍物与所述主车的相对位置关系;根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据。
在一个具体的例子中,如图5所示,如果预测决策统一模型确定障碍物预测轨迹和主车预测轨迹相交,可以进一步判断障碍物预测轨迹和主车预测轨迹的相交类型是否为横向十字相交类型。如果确定轨迹相交类型为横向十字相交类型,表明障碍物和主车在相交点发送碰撞的危害性较大,但在短期内可能无法顺利变道,则可以生成忽略障碍物的横向决策数据,并进一步依据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据。如果确定轨迹相交类型不为横向十字相交类型,表明障碍物和主车在相交点发送碰撞的危害性较小,可以在短期内通过变道绕行的方式避免在预测的轨迹相交点处相交,此时,可以确定障碍物与主车的相对位置关系,并依据障碍物与主车的相对位置关系生成主车横向决策数据,并进一步依据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据。
上述技术方案,通过根据轨迹相交类型具体确定主车的决策数据,实现了决策的精准化处理。
在本公开的一个可选实施例中,所述根据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据,可以包括:在确定所述障碍物早于所述主车到达所述轨迹相交点的情况下,生成主车让行的纵向决策数据;在确定所述障碍物不早于所述主车到达所述轨迹相交点的情况下,生成主车抢行的纵向决策数据。
在一个具体的例子中,如图5所示,如果预测决策统一模型确定障碍物早于主车到达轨迹相交点,则可以生成主车让行的纵向决策数据,避免与障碍物在轨迹相交点发生碰撞。相应的,如果确定障碍物不早于主车到达轨迹相交点,则可以生成主车抢行的纵向决策数据,同样可以避免与障碍物在轨迹相交点发生碰撞。
在本公开的一个可选实施例中,所述根据所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距生成主车横向决策数据,可以包括:在确定所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距小于预设间距阈值的情况下,确定所述障碍物与所述主车的相对位置关系;根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据;在确定所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距等于或大于所述预设间距阈值的情况下,生成忽略障碍物的综合决策数据。
其中,预设间距阈值可以根据实际需求设定,如5m或6m等,本公开实施例并不对预设间距阈值的具体数值进行限定。综合决策数据可以同时包括横向决策数据和纵向决策数据。
在一个具体的例子中,如图5所示,如果预测决策统一模型确定障碍物预测轨迹和主车预测轨迹之间的最短间距小于预设间距阈值,则可以进一步判断障碍物与主车的相对位置关系,从而根据障碍物与主车的相对位置关系生成主车横向决策数据。如果预测决策统一模型确定障碍物预测轨迹和主车预测轨迹之间的最短间距大于或等于预设间距阈值,表明障碍物大概率不会影响主车的通行,则可以忽略障碍物的综合决策数据,也即主车无需变道绕行,也无需通过变速进行抢行或让行。
上述技术方案,结合障碍物预测轨迹和主车预测轨迹之间的最短间距以及相对位置关系确定主车的决策数据,进一步提高了主车决策的精准化。
在本公开的一个可选实施例中,所述根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据,可以包括:在根据所述障碍物与所述主车的相对位置关系确定所述障碍物位于主车右侧的情况下,生成左侧绕行的横向决策数据;在根据所述障碍物与所述主车的相对位置关系确定所述障碍物位于主车非右侧的情况下,生成右侧绕行的横向决策数据。
在一个具体的例子中,如图5所示,如果预测决策统一模型确定需要根据障碍物与主车的相对位置关系生成主车横向决策数据,则可以基于障碍物与主车的相对位置关系判断障碍物是否一直位于主车右侧。如果确定障碍物一直位于主车右侧,则可以生成左侧绕行的横向决策数据;如果确定障碍物并未一直位于主车右侧,则可以生成右侧绕行的横向决策数据。基于障碍物与主车的相对位置关系在横向维度生成主车决策数据,保证了决策数据的准确性。
在自动驾驶车辆中,后续规划模块可以根据预测决策统一模型输出的决策数据获取其隐含的车道选择信息、横向躲避信息及抢行、让行信息。规划模块可以将以上决策信息作为约束进行轨迹规划及安全检测。
图6是本公开实施例提供的一种对预测决策统一模型进行评估测试的结果示意图。如图6所示,对预测决策统一模型的测评主要包括两部分,对预测功能的测评及整体自动驾驶行为的测评,使用的测评标准为现有开放道路测试运营版本。由图6可知,基于预测决策统一模型的预测功能的单独测试的准确率略有下降,但该测试结果符合预期,因为预测决策统一模型是一个多模态轨迹预测模型,在轨迹的后处理中也可以对车辆的多预测轨迹进行保留。相应的,预测决策统一模型的召回率提高,表示样本中真实发生的轨迹更多的被预测出来。对于预测决策统一模型决策的合理性判断,主要通过综合性指标来评价,可以包括碰撞、停滞不前及急刹场景等相关指标。根据测试结果可知,预测决策统一模型对这些指标有正向收益,尤其是急刹场景没有增多,并没因为预测轨迹的增多,而导致很多不合理的急刹场景增多,可以体现出预测和决策一体化的优势。
此外,由于预测和决策的功能模块处于自动驾驶功能模块中的中间位置,因此,预测决策统一模型对于其下游模块如路径规划和速度规划方案的影响较小,非常方便集成和使用,进一步提高了灵活性。
上述技术方案,通过将预测和决策统筹考虑,使得预测决策统一模型中的决策过程能够更加合理方便的考虑预测信息,决策行为与预测结果有较强的一致性。同时,预测决策统一模型可以减少决策模块所需的场景构建过程,减少算力和资源占用。此外,预测决策统一模型实现了数据驱动的决策模式,可以更好的演化,避免基于规则的逻辑冲突和逻辑爆炸问题,从而提高了安全性和可靠性,在保证安全的前提下即碰撞指标没有下降,还提高了决策的灵活性,可以减少急刹和停滞不前场景。
需要说明的是,以上各实施例中各技术特征之间的任意排列组合也属于本公开的保护范围。
在一个示例中,图7是本公开实施例提供的一种自动驾驶决策装置的结构图,本公开实施例可适用于通过预测决策统一模型利用预测和决策相关的参考数据进行决策的情况,该装置通过软件和/或硬件实现,并具体可以配置于自动驾驶车辆的控制系统中。
如图7所示的一种自动驾驶决策装置700,包括:预测决策参考数据获取模块710、主车关联预测数据获取模块720和主车决策数据获取模块730。其中,
预测决策参考数据获取模块710,用于获取主车预测决策参考数据;其中,所述主车预测决策参考数据包括主车预测参考数据和主车决策参考数据;
主车关联预测数据获取模块720,用于根据所述主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据;
主车决策数据获取模块730,用于根据所述主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据。
本公开实施例通过预测决策统一模型获取包括主车预测参考数据和主车决策参考数据的主车预测决策参考数据,以通过预测决策统一模型根据获取的主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据,进而根据主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据,解决现有自动驾驶技术中预测过程与决策过程重复计算相同参考数据导致的算力高和决策模式的逻辑冲突及爆炸等问题,实现了自动驾驶中数据驱动的决策模式,能够降低算力和资源占用,并提高自动驾驶中预测数据和决策数据的一致性,以及决策模式的安全性、可靠性和灵活性。
可选的,所述主车预测参考数据包括交通参与者历史状态数据、主车历史状态数据以及路网结构多段线数据;所述主车决策参考数据包括主车全局路径规划数据;主车关联预测数据获取模块720,具体用于:提取所述交通参与者历史状态数据的数据特征,得到第一历史状态特征提取数据;提取所述交通参与者历史状态数据和所述主车历史状态数据的融合数据的数据特征,得到第二历史状态特征提取数据;根据所述交通参与者历史状态数据、所述主车历史状态数据、所述主车全局路径规划数据以及所述路网结构多段线数据提取多段线融合特征数据;根据所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据生成所述主车关联预测数据。
可选的,主车关联预测数据获取模块720,还用于:提取所述主车全局路径规划数据的数据特征,得到全局规划特征提取数据;提取所述路网结构多段线数据的抽取聚合数据,得到多段线信息抽取数据;对所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述全局规划特征提取数据进行融合,得到融合特征提取数据;将所述多段线信息抽取数据和所述融合特征提取数据进行融合,得到多段线融合数据;提取所述多段线融合数据的数据特征,得到所述多段线融合特征数据。
可选的,主车关联预测数据获取模块720,还用于:对所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据进行融合,得到多模态融合特征数据;将轨迹锚点特征编码与所述多模态融合特征数据进行融合,得到目标融合特征数据;根据所述目标融合特征数据生成所述主车关联预测数据。
可选的,所述主车关联预测数据包括障碍物预测轨迹数据和主车预测轨迹数据;主车决策数据获取模块730,还用于:根据所述障碍物预测轨迹数据和所述主车预测轨迹数据确定障碍物预测轨迹和主车预测轨迹的轨迹相交关联数据;根据所述轨迹相交关联数据生成所述主车决策数据。
可选的,主车决策数据获取模块730,还用于:在根据所述轨迹相交关联数据确定所述障碍物预测轨迹和所述主车预测轨迹相交的情况下,根据所述障碍物预测轨迹和所述主车预测轨迹的轨迹相交类型生成主车横向决策数据,并根据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据;在根据所述轨迹相交关联数据确定所述障碍物预测轨迹和所述主车预测轨迹不相交的情况下,根据所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距生成主车横向决策数据。
可选的,主车决策数据获取模块730,还用于:在确定所述轨迹相交类型为横向十字相交类型的情况下,生成忽略障碍物的横向决策数据;在确定所述轨迹相交类型为非横向十字相交类型的情况下,确定所述障碍物与所述主车的相对位置关系;根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据。
可选的,主车决策数据获取模块730,还用于:在确定所述障碍物早于所述主车到达所述轨迹相交点的情况下,生成主车让行的纵向决策数据;在确定所述障碍物不早于所述主车到达所述轨迹相交点的情况下,生成主车抢行的纵向决策数据。
可选的,主车决策数据获取模块730,还用于:在确定所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距小于预设间距阈值的情况下,确定所述障碍物与所述主车的相对位置关系;根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据;在确定所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距等于或大于所述预设间距阈值的情况下,生成忽略障碍物的综合决策数据。
可选的,主车决策数据获取模块730,还用于:在根据所述障碍物与所述主车的相对位置关系确定所述障碍物位于主车右侧的情况下,生成左侧绕行的横向决策数据;在根据所述障碍物与所述主车的相对位置关系确定所述障碍物位于主车非右侧的情况下,生成右侧绕行的横向决策数据。
上述自动驾驶决策装置可执行本公开任意实施例所提供的自动驾驶决策方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本公开任意实施例提供的自动驾驶决策方法。
由于上述所介绍的自动驾驶决策装置为可以执行本公开实施例中的自动驾驶决策方法的装置,故而基于本公开实施例中所介绍的自动驾驶决策方法,本领域所属技术人员能够了解本实施例的自动驾驶决策装置的具体实施方式以及其各种变化形式,所以在此对于该自动驾驶决策装置如何实现本公开实施例中的自动驾驶决策方法不再详细介绍。只要本领域所属技术人员实施本公开实施例中自动驾驶决策方法所采用的装置,都属于本公开所欲保护的范围。
在一个示例中,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如自动驾驶决策方法。例如,在一些实施例中,自动驾驶决策方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的自动驾驶决策方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行自动驾驶决策方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。服务器还可以分布式系统的服务器,或者是结合了区块链的服务器。
本公开实施例通过预测决策统一模型获取包括主车预测参考数据和主车决策参考数据的主车预测决策参考数据,以通过预测决策统一模型根据获取的主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据,进而根据主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据,解决现有自动驾驶技术中预测过程与决策过程重复计算相同参考数据导致的算力高和决策模式的逻辑冲突及爆炸等问题,实现了自动驾驶中数据驱动的决策模式,能够降低算力和资源占用,并提高自动驾驶中预测数据和决策数据的一致性,以及决策模式的安全性、可靠性和灵活性。
在上述实施例的基础上,本公开实施例还提供了一种车辆,包括车体,还包括上述实施例所述的电子设备。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (24)
1.一种自动驾驶决策方法,应用于预测决策统一模型,包括:
获取主车预测决策参考数据;其中,所述主车预测决策参考数据包括主车预测参考数据和主车决策参考数据;
根据所述主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据;
根据所述主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据。
2.根据权利要求1所述的方法,其中,所述主车预测参考数据包括交通参与者历史状态数据、主车历史状态数据以及路网结构多段线数据;所述主车决策参考数据包括主车全局路径规划数据;
所述根据所述主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据,包括:
提取所述交通参与者历史状态数据的数据特征,得到第一历史状态特征提取数据;
提取所述交通参与者历史状态数据和所述主车历史状态数据的融合数据的数据特征,得到第二历史状态特征提取数据;
根据所述交通参与者历史状态数据、所述主车历史状态数据、所述主车全局路径规划数据以及所述路网结构多段线数据提取多段线融合特征数据;
根据所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据生成所述主车关联预测数据。
3.根据权利要求2所述的方法,其中,所述根据所述交通参与者历史状态数据、所述主车历史状态数据、所述主车全局路径规划数据以及所述路网结构多段线数据提取多段线融合特征数据,包括:
提取所述主车全局路径规划数据的数据特征,得到全局规划特征提取数据;
提取所述路网结构多段线数据的抽取聚合数据,得到多段线信息抽取数据;
对所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述全局规划特征提取数据进行融合,得到融合特征提取数据;
将所述多段线信息抽取数据和所述融合特征提取数据进行融合,得到多段线融合数据;
提取所述多段线融合数据的数据特征,得到所述多段线融合特征数据。
4.根据权利要求2所述的方法,其中,所述根据所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据生成所述主车关联预测数据,包括:
对所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据进行融合,得到多模态融合特征数据;
将轨迹锚点特征编码与所述多模态融合特征数据进行融合,得到目标融合特征数据;
根据所述目标融合特征数据生成所述主车关联预测数据。
5.根据权利要求1所述的方法,其中,所述主车关联预测数据包括障碍物预测轨迹数据和主车预测轨迹数据;
所述根据所述主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据,包括:
根据所述障碍物预测轨迹数据和所述主车预测轨迹数据确定障碍物预测轨迹和主车预测轨迹的轨迹相交关联数据;
根据所述轨迹相交关联数据生成所述主车决策数据。
6.根据权利要求5所述的方法,其中,所述根据所述轨迹相交关联数据生成所述主车决策数据,包括:
在根据所述轨迹相交关联数据确定所述障碍物预测轨迹和所述主车预测轨迹相交的情况下,根据所述障碍物预测轨迹和所述主车预测轨迹的轨迹相交类型生成主车横向决策数据,并根据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据;
在根据所述轨迹相交关联数据确定所述障碍物预测轨迹和所述主车预测轨迹不相交的情况下,根据所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距生成主车横向决策数据。
7.根据权利要求6所述的方法,其中,所述根据所述障碍物预测轨迹和所述主车预测轨迹的轨迹相交类型生成主车横向决策数据,包括:
在确定所述轨迹相交类型为横向十字相交类型的情况下,生成忽略障碍物的横向决策数据;
在确定所述轨迹相交类型为非横向十字相交类型的情况下,确定所述障碍物与所述主车的相对位置关系;
根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据。
8.根据权利要求6所述的方法,其中,所述根据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据,包括:
在确定所述障碍物早于所述主车到达所述轨迹相交点的情况下,生成主车让行的纵向决策数据;
在确定所述障碍物不早于所述主车到达所述轨迹相交点的情况下,生成主车抢行的纵向决策数据。
9.根据权利要求6所述的方法,其中,所述根据所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距生成主车横向决策数据,包括:
在确定所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距小于预设间距阈值的情况下,确定所述障碍物与所述主车的相对位置关系;
根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据;
在确定所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距等于或大于所述预设间距阈值的情况下,生成忽略障碍物的综合决策数据。
10.根据权利要求7或9所述的方法,其中,所述根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据,包括:
在根据所述障碍物与所述主车的相对位置关系确定所述障碍物位于主车右侧的情况下,生成左侧绕行的横向决策数据;
在根据所述障碍物与所述主车的相对位置关系确定所述障碍物位于主车非右侧的情况下,生成右侧绕行的横向决策数据。
11.一种自动驾驶决策装置,配置于预测决策统一模型,包括:
预测决策参考数据获取模块,用于获取主车预测决策参考数据;其中,所述主车预测决策参考数据包括主车预测参考数据和主车决策参考数据;
主车关联预测数据获取模块,用于根据所述主车预测决策参考数据对主车关联交通参与者的行驶轨迹进行预测,得到主车关联预测数据;
主车决策数据获取模块,用于根据所述主车关联预测数据对主车的自动驾驶行为进行决策,得到主车决策数据。
12.根据权利要求11所述的装置,其中,所述主车预测参考数据包括交通参与者历史状态数据、主车历史状态数据以及路网结构多段线数据;所述主车决策参考数据包括主车全局路径规划数据;所述主车关联预测数据获取模块,还用于:
提取所述交通参与者历史状态数据的数据特征,得到第一历史状态特征提取数据;
提取所述交通参与者历史状态数据和所述主车历史状态数据的融合数据的数据特征,得到第二历史状态特征提取数据;
根据所述交通参与者历史状态数据、所述主车历史状态数据、所述主车全局路径规划数据以及所述路网结构多段线数据提取多段线融合特征数据;
根据所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据生成所述主车关联预测数据。
13.根据权利要求12所述的装置,其中,所述主车关联预测数据获取模块,还用于:
提取所述主车全局路径规划数据的数据特征,得到全局规划特征提取数据;
提取所述路网结构多段线数据的抽取聚合数据,得到多段线信息抽取数据;
对所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述全局规划特征提取数据进行融合,得到融合特征提取数据;
将所述多段线信息抽取数据和所述融合特征提取数据进行融合,得到多段线融合数据;
提取所述多段线融合数据的数据特征,得到所述多段线融合特征数据。
14.根据权利要求12所述的装置,其中,所述主车关联预测数据获取模块,还用于:
对所述第一历史状态特征提取数据、所述第二历史状态特征提取数据和所述多段线融合特征数据进行融合,得到多模态融合特征数据;
将轨迹锚点特征编码与所述多模态融合特征数据进行融合,得到目标融合特征数据;
根据所述目标融合特征数据生成所述主车关联预测数据。
15.根据权利要求11所述的装置,其中,所述主车关联预测数据包括障碍物预测轨迹数据和主车预测轨迹数据;所述主车决策数据获取模块,还用于:
根据所述障碍物预测轨迹数据和所述主车预测轨迹数据确定障碍物预测轨迹和主车预测轨迹的轨迹相交关联数据;
根据所述轨迹相交关联数据生成所述主车决策数据。
16.根据权利要求15所述的装置,其中,所述主车决策数据获取模块,还用于:
在根据所述轨迹相交关联数据确定所述障碍物预测轨迹和所述主车预测轨迹相交的情况下,根据所述障碍物预测轨迹和所述主车预测轨迹的轨迹相交类型生成主车横向决策数据,并根据障碍物与主车到达轨迹相交点的顺序生成主车纵向决策数据;
在根据所述轨迹相交关联数据确定所述障碍物预测轨迹和所述主车预测轨迹不相交的情况下,根据所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距生成主车横向决策数据。
17.根据权利要求16所述的装置,其中,所述主车决策数据获取模块,还用于:
在确定所述轨迹相交类型为横向十字相交类型的情况下,生成忽略障碍物的横向决策数据;
在确定所述轨迹相交类型为非横向十字相交类型的情况下,确定所述障碍物与所述主车的相对位置关系;
根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据。
18.根据权利要求16所述的装置,其中,所述主车决策数据获取模块,还用于:
在确定所述障碍物早于所述主车到达所述轨迹相交点的情况下,生成主车让行的纵向决策数据;
在确定所述障碍物不早于所述主车到达所述轨迹相交点的情况下,生成主车抢行的纵向决策数据。
19.根据权利要求16所述的装置,其中,所述主车决策数据获取模块,还用于:
在确定所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距小于预设间距阈值的情况下,确定所述障碍物与所述主车的相对位置关系;
根据所述障碍物与所述主车的相对位置关系生成所述主车横向决策数据;
在确定所述障碍物预测轨迹和所述主车预测轨迹之间的最短间距等于或大于所述预设间距阈值的情况下,生成忽略障碍物的综合决策数据。
20.根据权利要求17或19所述的装置,其中,所述主车决策数据获取模块,还用于:
在根据所述障碍物与所述主车的相对位置关系确定所述障碍物位于主车右侧的情况下,生成左侧绕行的横向决策数据;
在根据所述障碍物与所述主车的相对位置关系确定所述障碍物位于主车非右侧的情况下,生成右侧绕行的横向决策数据。
21.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的自动驾驶决策方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行权利要求1-10中任一项所述的自动驾驶决策方法。
23.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1-10中任一项所述的自动驾驶决策方法。
24.一种车辆,包括车体,还包括权利要求21所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310261311.2A CN116461551A (zh) | 2023-03-16 | 2023-03-16 | 自动驾驶决策方法、装置、电子设备、存储介质及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310261311.2A CN116461551A (zh) | 2023-03-16 | 2023-03-16 | 自动驾驶决策方法、装置、电子设备、存储介质及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116461551A true CN116461551A (zh) | 2023-07-21 |
Family
ID=87183280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310261311.2A Pending CN116461551A (zh) | 2023-03-16 | 2023-03-16 | 自动驾驶决策方法、装置、电子设备、存储介质及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116461551A (zh) |
-
2023
- 2023-03-16 CN CN202310261311.2A patent/CN116461551A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220105961A1 (en) | Method for automatic control of vehicle and method for training lane change intention prediction network | |
JP2022104639A (ja) | 車両の車線変更制御方法、機器、記憶媒体及びプログラム | |
KR20220013422A (ko) | 차량 주행 제어 방법 및 장치 | |
CN113682318B (zh) | 车辆行驶控制方法及装置 | |
CN114758502B (zh) | 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆 | |
CN113569378A (zh) | 仿真场景的生成方法、装置、电子设备以及存储介质 | |
CN116499487B (zh) | 一种车辆的路径规划方法、装置、设备及介质 | |
CN117168488A (zh) | 一种车辆的路径规划方法、装置、设备及介质 | |
CN116749996A (zh) | 轨迹预测方法、装置、电子设备及存储介质 | |
CN115771526A (zh) | 自动驾驶中控制车辆左转的方法、装置与自动驾驶车辆 | |
CN116461551A (zh) | 自动驾驶决策方法、装置、电子设备、存储介质及车辆 | |
CN116149329A (zh) | 轨迹确定方法、装置、设备以及自动驾驶车辆 | |
CN115214722A (zh) | 自动驾驶方法、装置、电子设备、存储介质及车辆 | |
CN114715151A (zh) | 车辆控制方法、装置、电子设备、介质和自动驾驶车辆 | |
CN114973656A (zh) | 交通交互性能的评估方法、装置、设备、介质和产品 | |
CN115497322A (zh) | 一种窄路会车方法、装置、设备及存储介质 | |
CN114030483A (zh) | 车辆控制方法、装置、电子设备和介质 | |
CN114299758A (zh) | 车辆控制方法及装置、设备、介质和产品 | |
CN114264312A (zh) | 自动驾驶车辆的路径规划方法、装置和自动驾驶车辆 | |
CN116264038A (zh) | 信号灯控制方法及装置、电子设备和存储介质 | |
CN114407916B (zh) | 车辆控制及模型训练方法、装置、车辆、设备和存储介质 | |
CN116203964B (zh) | 一种控制车辆行驶的方法、设备和装置 | |
CN117590849A (zh) | 自动驾驶方法和装置、电子设备、存储介质、车辆 | |
CN115716483A (zh) | 自动驾驶车辆的障碍物轨迹预测方法、装置和电子设备 | |
CN115285146A (zh) | 车辆交互方法、装置、电子设备及自动驾驶车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |