CN114021840A - 换道策略生成方法和装置、计算机存储介质、电子设备 - Google Patents

换道策略生成方法和装置、计算机存储介质、电子设备 Download PDF

Info

Publication number
CN114021840A
CN114021840A CN202111354329.4A CN202111354329A CN114021840A CN 114021840 A CN114021840 A CN 114021840A CN 202111354329 A CN202111354329 A CN 202111354329A CN 114021840 A CN114021840 A CN 114021840A
Authority
CN
China
Prior art keywords
current
lane
state information
learner
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111354329.4A
Other languages
English (en)
Inventor
徐鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Kunpeng Jiangsu Technology Co Ltd
Original Assignee
Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Kunpeng Jiangsu Technology Co Ltd filed Critical Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority to CN202111354329.4A priority Critical patent/CN114021840A/zh
Publication of CN114021840A publication Critical patent/CN114021840A/zh
Priority to PCT/CN2022/109804 priority patent/WO2023082726A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本公开是关于一种换道策略生成方法和装置、计算机存储介质、电子设备，涉及智能驾驶技术领域，该方法包括：获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，通过所述目标换道学习器得到所述当前车辆的换道策略。本公开提高了换道策略生成的效率以及准确率。

Description

换道策略生成方法和装置、计算机存储介质、电子设备
技术领域
本公开实施例涉及智能驾驶技术领域，具体而言，涉及一种换道策略生成方法、换道策略生成装置、计算机存储介质以及电子设备。
背景技术
随着全球经济和汽车工业的飞速发展，机动车保有量逐年攀升，导致的交通事故对人们的生命和财产构成巨大威胁。人、车、环境是交通事故的三大主要因素，驾驶人的感知、认知、决策和操控能力具有局限性、动态不确定性与开放向，且容易受到驾驶人自身状态和道路环境等内外因素的影响，因此，难以保证驾驶安全的一致性与稳定性。
近年来，智能汽车依靠精准的定位与传感装置，能实时获取人、车和道路环境的信息，具备复杂环境下的场景认知、风险评估、智能决策和控制等能力，有望成为未来减少交通事故的重要途径。
在智能汽车中,决策和路径规划是智能驾驶的核心，传统的决策问题是基于规则的专家系统，如有限状态机、决策树模型等，但是专家系统依赖先验知识且建模成本高、可拓展性差、场景泛化能力不足，难以适应复杂多变的驾驶路况；路径规划通常采用基于滚动时域的局部路径规划算法，该算法能够在动态多变的环境中规划处安全高效的无碰路径，但是，计算量相对较大，实际应用受限制。
因此，需要提供一种新的换道策略生成方法。
需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种换道策略生成方法、换道策略生成装置、计算机存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的生成当前车辆换道策略的效率低下的问题。
根据本公开的一个方面，提供一种换道策略生成方法，包括：
获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；
将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；
在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；
通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，通过所述目标换道学习器得到所述当前车辆的换道策略。
在本公开的一种示例性实施例中，获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息，包括：
获取当前车辆的行驶速度、航向角以及与目标车道的横向距离；
确定与所述当前车辆关联的周围车辆，获取所述周围车辆的状态信息。
在本公开的一种示例性实施例中，确定与所述当前车辆关联的周围车辆，获取所述周围车辆的状态信息，包括：
获取目标车道、所述当前车辆的自车道；
确定所述当前车辆的自车道的前车、目标车道中相对于当前车辆的目标车道前车以及目标车道后车；
获取所述自车道前车、所述目标车道前车以及所述目标车道后车的纵向相对速度、纵向和横向相对距离、避撞时间倒数以及跟车时距。
在本公开的一种示例性实施例中，将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，包括：
对所述当前车辆的状态信息以及所述周围车辆的状态信息进行归一化处理，得到归一化的当前车辆的状态信息以及归一化的周围车辆的状态信息；
将所述归一化的当前车辆的状态信息以及所述归一化的周围车辆的状态信息输入至所述当前换道学习器以及所述预设的轨迹优化器中。
在本公开的一种示例性实施例中，所述轨迹学习控制量中包括当前车辆的加速度和前轮转角，所述轨迹优化控制量中包括目标加速度和目标前轮转角。
在本公开的一种示例性实施例中，在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对，包括：
获取所述轨迹学习控制量与所述轨迹优化控制量的偏差；
在确定所述偏差小于所述预设阈值时，所述当前换道学习器收敛，并将所述当前换道学习器作为目标换道学习器；
在确定所述偏差大于所述预设阈值时，通过所述轨迹优化控制量以及所述当前车辆状态信息、所述周围车辆状态信息生成所述当前路径数据对。
在本公开的一种示例性实施例中，通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，包括：
获取原始路径数据集，其中，所述原始路径数据集中包括多个路径数据对；
将所述当前路径数据对添加至所述原始路径数据集中，对所述原始路径数据集进行更新，得到目标路径数据集；
通过所述目标路径数据集中包括路径数据对对所述当前换道学习器进行训练，直至所述当前换道学习器收敛，得到所述目标换道学习器。
根据本公开的一个方面，提供一种换道策略生成装置，包括：
输入数据获取模块，用于获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；
输出数据获取模块，用于将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；
当前路径数据对生成模块，在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；
换道策略生成模块，用于通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器。
根据本公开的一个方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一示例性实施例所述的换道策略生成方法。
根据本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任一示例性实施例所述的换道策略生成方法。
本公开实施例提供的一种换道策略生成方法，获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，通过所述目标换道学习器得到所述当前车辆的换道策略；一方面，将获取到的当前车辆状态信息以及当前车辆关联的周围车辆状态信息输入至当前换道学习器以及轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量，计算轨迹学习控制量与轨迹优化控制量之间的偏差，当偏差大于预设阈值时，基于轨迹优化控制量生成当前路径数据对，通过当前路径数据对对换道学习器进行训练，得到目标换道学习器，并通过目标换道学习器生成当前车辆的换道策略，解决了现有技术中通过专家系统在进行决策时，其需要依赖先验知识且建模成本高、可拓展性差、场景泛化能力不足的问题，提高了换道策略生成的效率；另一方面，通过当前换道学习器得到当前车辆的轨迹学习控制量之后，计算该轨迹学习控制量的偏差，在确定偏差大于预设阈值时，生成当前路径数据对并通过当前路径数据对对当前换道学习器进行训练，得到目标换道学习器，避免了当前换道学习器输出的轨迹学习控制量存在较大的误差，而导致当前车辆的路径发生较大偏移，提高了生成换道策略的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出根据本公开示例实施例的一种换道策略生成方法应用场景的系统架构框图。
图2示意性示出根据本公开示例实施例的一种换道策略生成方法的流程图。
图3示意性示出根据本公开示例实施例的一种换道策略生成系统的框图。
图4示意性示出根据本公开示例实施例的一种获取当前车辆的状态信息以及周围车辆的状态信息的方法流程图。
图5示意性示出根据本公开示例实施例的一种确定与当前车辆关联的周围车辆，获取周围车辆的状态信息的方法流程图。
图6示意性示出根据本公开示例实施例的一种当前换道学习器的结构框图。
图7示意性示出根据本公开示例实施例的一种将当前车辆的状态信息以及周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中的方法流程图。
图8示意性示出根据本公开示例实施例的一种通过当前路径数据对对当前换道学习器进行训练得到目标换道学习器的方法流程图。
图9示意性示出根据本公开示例实施例的一种生成目标换道学习器的方法流程图。
图10示意性示出根据本公开示例实施例的一种当前换道学习器训练过程中损失函数曲线对比图。
图11示意性示出根据本公开示例实施例的一种当前换道学习器训练过程中训练次数与绝对值误差均值之间的关系图。
图12示意性示出根据本发明示例实施例的一种将当前换道学习器训练过程中训练次数与百分比绝对误差均值之间的关系图。
图13示意性示出根据本发明示例实施例的一种在线仿真过程中原始路径与目标换道学习器的换道策略的对比图。
图14示意性示出根据本发明示例实施例的一种在线仿真过程中原始控制量与目标换道学习器的加速度以及前轮转角的对比图。
图15示意性示出根据本公开示例实施例的一种换道策略生成装置的框图。
图16示意性示出根据本发明示例实施例的用于实现上述换道策略生成方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
混合交通场景中的场景认知要求智能汽车能对环境感知信息做进一步的加工、存储和提取，理解各个交通要素的构成和交互关系，解释道路使用者的行为及其演变规律，由此可见，场景认知时智能驾驶的关键环节。传统的场景认知通常是建立在演绎逻辑与语义描述的基础上，难以对动态多变的交通对象及其行为进行精确建模。特别地，弱势道路使用者(Vulnerable Road Users，VRUs)种类繁杂、数量众多，交通安全意识薄弱，行为具有高度的动态不确定性，导致现有的行为认知模型难以描述VRUs的行为特性，这对混合交通环境下的自动驾驶构成极大的挑战。随着技术的发展，近年来，基于深度强化学习(DeepReinforcement Learning)的决策框架成为智能汽车决策和规划的重要研究方向，驾驶决策被看作时智能汽车与周围环境的博弈结果，通过构建价值网络评估当前到未来预测时域内的行车风险，然后通过构建策略网络输出车辆的控制决策，从而能够适应动态多变的驾驶场景。然而，在基于深度强化学习的决策框架算法搜索空间大、收敛慢，难以满足实时性的需求。
基于上述一个或者多个问题，首先，参考图1，图1示出了可以应用本公开实施例的一种换道策略生成方法及装置的示例性应用场景的系统架构的示意框图。
如图1所示，系统架构100可以包括终端设备101、102中的一个或多个，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102可以是智能驾驶车，包括但不限于智能驾驶汽车、智能驾驶公交等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器104可以是多个服务器组成的服务器集群等。
本公开实施例所提供的换道策略生成方法一般由服务器104执行，相应地，换道策略生成装置一般设置于服务器104中。但本领域技术人员容易理解的是，本公开实施例所提供的换道策略生成方法也可以由终端设备101、102执行，相应的，换道策略生成装置也可以设置于终端设备101、102中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是通过终端设备101、102将当前车辆状态信息以及与当前车辆关联的周围车辆状态信息上传至服务器104，服务器通过本公开实施例所提供的换道策略生成方法生成目标换道学习器，通过目标换道学习器生成当前车辆的换道策略，并将生成的当前车辆换道策略传输给终端设备101、102等以使终端设备101、102根据接收到的当前车辆换道策略执行对应的换道决策。
图2示出了换道策略生成方法的流程示意图，参考图2所示，该换道策略生成方法可以包括以下步骤：
步骤S210.获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；
步骤S220.将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；
步骤S230.在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；
步骤S240.通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，通过所述目标换道学习器得到所述当前车辆的换道策略。
上述换道策略生成方法，获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，通过所述目标换道学习器得到所述当前车辆的换道策略；一方面，将获取到的当前车辆状态信息以及当前车辆关联的周围车辆状态信息输入至当前换道学习器以及轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量，计算轨迹学习控制量与轨迹优化控制量之间的偏差，当偏差大于预设阈值时，基于轨迹优化控制量生成当前路径数据对，通过当前路径数据对对换道学习器进行训练，得到目标换道学习器，并通过目标换道学习器生成当前车辆的换道策略，解决了现有技术中通过专家系统在进行决策时，其需要依赖先验知识且建模成本高、可拓展性差、场景泛化能力不足的问题，提高了换道策略生成的效率；另一方面，通过当前换道学习器得到当前车辆的轨迹学习控制量之后，计算该轨迹学习控制量的偏差，在确定偏差大于预设阈值时，生成当前路径数据对并通过当前路径数据对对当前换道学习器进行训练，得到目标换道学习器，避免了当前换道学习器输出的轨迹学习控制量存在较大的误差，而导致当前车辆的路径发生较大偏移，提高了生成换道策略的准确度。
以下，对本公开示例实施例的换道策略生成方法中涉及的各步骤进行详细的解释以及说明。
首先，对本公开示例实施例的应用场景以及发明目的进行解释以及说明。具体的，本公开示例实施例可以应用于智能驾驶中，主要研究如何根据当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息，生成当前车辆的换道策略，提高当前车辆换道策略生成的效率以及准确度。
本公开以获取到的当前车辆状态信息以及与当前车辆关联的周围车辆状态信息为基础，将获取到的当前车辆状态信息以及与当前车辆关联的周围车辆状态信息输入至当前换道学习器以及预设的轨迹优化器中，通过当前换道学习器得到轨迹学习控制量，通过轨迹优化器得到轨迹优化控制量，其中，当前换道学习器是基于训练集训练得到的；其中，训练集中的数据为原始路径数据集中包括的数据；轨迹优化器是基于混合整合整数二次规划的优化器；当得到轨迹学习控制量以及轨迹优化控制量之后，根据轨迹学习控制量与轨迹优化控制量之间的偏差生成当前路径数据对，通过生成的当前路径数据对原始路径数据集进行更新，并通过更新后原始路径数据集更新训练集，利用更新后的训练集对当前换道学习器进行训练，生成目标换道学习器，并通过目标换道学习器生成当前车辆的换道策略，提高了换道策略生成的效率以及准确度。
其次，对本公开示例实施例中涉及到的换道策略生成系统进行解释以及说明。参考图3所示，该换道策略生成系统可以包括状态信息收集模块310、当前换道学习器320、轨迹优化器330以及目标换道学习器340。其中，状态信息收集模块310，用于收集当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息，并对收集到的当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息进行归一化处理，得到归一化的当前车辆的状态信息以及归一化的周围车辆的状态信息；当前换道学习器320，与状态信息收集模块310网络连接，用于获取状态信息收集模块310中收集的当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息，将获取到的当前车辆的状态信息以及周围车辆的状态信息输入至当前换道学习器中，得到当前车辆的轨迹学习控制量，其中，当前车辆的轨迹学习控制量中包括当前车辆的加速度以及前轮转角；轨迹优化器330，与状态信息收集模块310网络连接，用于获取状态信息收集模块310中收集的当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息，将获取到的当前车辆的状态信息以及周围车辆的状态信息输入至轨迹优化器330中，得到当前车辆的轨迹优化控制量，其中轨迹优化控制量中包括当前车辆的目标加速度和目标前轮转角；目标换道学习器340，与当前换道学习器320以及轨迹优化器330网络连接，用于根据计算轨迹学习控制量与轨迹优化控制量之间的偏差，在确定偏差大于预设阈值时，根据输入至轨迹优化器中的当前车辆的状态信息、周围车辆的状态信息以及轨迹优化器输出的轨迹优化控制量生成当前路径数据对，通过当前路径数据对对原始路径数据集进行更新，并通过更新后的原始路径数据集对训练集进行更新，通过更新后的训练集对当前换道学习器进行训练，直至该当前换道学习器收敛，得到目标换道学习器，并通过该目标换道学习器得到当前车辆的换道策略。
以下，将结合图3对步骤S210-步骤S240进行详细的解释以及说明。
在步骤S210中，获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息。
在本示例实施例中，表1所示的状态信息为当前车辆换道决策时需要考虑的状态信息，对于当前车辆，由于可以通过车速表感知到当前车辆速度的变化，也可以根据外接参考物的位置感知自车的横向位置和纵向位置的变化，因此，可以选择当前车辆的绝对运动作为当前车辆的状态信息，包含：当前车辆的行驶速度、航向角以及当前车辆与目标车道的横向距离；与当前车辆关联的周围车辆包括：当前车辆的自车道的前车、目标车道的前车以及目标车道的后车；对于与当前车辆关联的周围车辆，当前车辆换道时考虑的是当前车辆与周围车辆的相对运动的变化，而不是绝对运动变化，因此，可以选择周围车辆的纵向相对速度、纵向和横向相对距离，此外，避撞时间倒数(inverse of Time to Collision，TTCi)可以反映驾驶人对行车风险的感知特性，对当前车辆换道决策影响显著，因此避撞时间倒数也可以作为周围车辆的状态信息；同时，跟车时距(Time Headway，THW)作为跟车特性的重要衡量指标，也可以作为周围车辆的状态信息，因此，周围车辆的状态信息包括：纵向相对速度、纵向和横向相对距离、避撞时间倒数以及跟车时距。
表1当前车辆的状态信息以及周围车辆的状态信息
Figure BDA0003352040090000111
在本示例实施例中，参考图4所示，获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息，可以包括步骤S410以及步骤S420：
步骤S410.获取当前车辆的行驶速度、航向角以及与目标车道的横向距离。
在本示例实施例中，在获取当前车辆的状态信息时，当前车辆的状态信息可以包括：当前车辆的行驶速度、当前车辆的航向角以及当前车辆与目标车道的横向距离；其中，当前车辆的航向角为基于地面坐标系，当前车辆的质心速度与横轴的夹角。
步骤S420.确定与所述当前车辆关联的周围车辆，获取所述周围车辆的状态信息。
在本示例实施例中，参考图5所示，确定与所述当前车辆关联的周围车辆，获取所述周围车辆的状态信息，可以包括步骤S510-步骤S530：
步骤S510.获取目标车道、所述当前车辆的自车道；
步骤S520.确定所述当前车辆的自车道的前车、目标车道中相对于当前车辆的目标车道前车以及目标车道后车；
步骤S530.获取所述自车道前车、所述目标车道前车以及所述目标车道后车的纵向相对速度、纵向和横向相对距离、避撞时间倒数以及跟车时距。
以下，将对步骤S510-步骤S530进行解释以及说明。具体的，首先，获取当前车辆的自车道以及当前车辆想要换道的目标车道；然后，获取自车道中当前车辆的前车，目标车道中相对于当前车辆的目标车道前车以及目标车道后车；最后，获取自车道前车、目标车道前车以及目标车道后车的纵向相对速度、纵向和横向相对距离、避撞时间倒数以及跟车时距，并将获取到的纵向相对速度、纵向和横向相对距离、避撞时间倒数以及跟车时距作为与当前车辆关联的周围车辆的状态信息。
在步骤S220中，将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量。
在本示例实施例中，当前换道学习器是通过训练集对深度神经网络训练得到的，其中，训练集中的数据为原始路径数据集中包括的数据，原始路径数据集原始路径数据集中包括由输入至轨迹优化器中的状态信息与该轨迹优化器输出的轨迹优化控制量构成的路径数据对；当输入至当前换道学习器中的特征为当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息时，该当前换道学习器输出的特征为当前车辆的加速度以及前轮转角。预设的轨迹优化器是基于混合整合整数二次规划的优化器，当输入至轨迹优化器中的特征为当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息时，该轨迹优化器输出的特征为当前车辆的目标加速度以及目标前轮转角；轨迹学习控制量中包括当前车辆的加速度以及当前车辆的前轮转角；轨迹优化控制量中包括当前车辆的目标加速度以及当前车辆的目标前轮转角。
具体的，参考图6所示，可以选择keras搭建深度神经网络模型，其中，Keras是由Python编写的开源人工神经网络库，网络模型包含输入层、隐藏层和输出层，均采用全连接层；其中，输入的特征维度为18，输入层包括256个神经单元，激活函数可以为ReLU；隐藏层包含128个神经单元，激活函数为ReLU；输出层包含2个神经元，分别对应输出的加速度以及前轮转角，激活函数为tanh函数。轨迹优化器选择Adam算法，作为随机梯度下降算法的扩展，并且，可以通过计算梯度矩阵估计为不同的参数射击独立的自适应学习率，计算效率高且占用内存低。
在本示例实施例中，参考图7所示，将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，可以包括步骤S710以及步骤S720：
步骤S710.对所述当前车辆的状态信息以及所述周围车辆的状态信息进行归一化处理，得到归一化的当前车辆的状态信息以及归一化的周围车辆的状态信息；
步骤S720.将所述归一化的当前车辆的状态信息以及所述归一化的周围车辆的状态信息输入至所述当前换道学习器以及所述预设的轨迹优化器中。
以下，将对步骤S710、步骤S720进行解释以及说明。具体的，由于输入至当前换道学习器中的当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息的计量单位不同，直接将获取到的当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息输入至当前换道学习器中难以学习到有效的特征，因此，需要对获取到的当前车辆的状态信息以及周围车辆的状态信息进行归一化处理，得到归一化的当前车辆的状态信息以及归一化的周围车辆的状态信息；其中，在进行归一化处理时，可以根据最大值以及最小值对当前车辆的状态信息以及周围车辆的状态信息进行归一化处理，对于状态信息中的任一特征，可参考表达式(1)对该特征进行归一化处理。
Figure BDA0003352040090000131
其中，
Figure BDA0003352040090000132
表示标准化后的状态信息，
Figure BDA0003352040090000133
表示第i个样本的第j个状态信息，
Figure BDA0003352040090000134
表示状态信息j对应的样本中的最小值，
Figure BDA0003352040090000135
表示状态信息j对应的样本中的最大值。
在本示例实施例中，当将归一化的当前车辆的状态信息以及归一化的周围车辆的状态信息输入至当前换道学习器以及轨迹优化器中，输出的特征分别为当前车辆的加速度、当前车辆的前轮转角以及当前车辆的目标加速度、当前车辆的目标前轮转角。
在步骤S230中，在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对。
在本示例实施例中，当当前换道学习器输出的轨迹学习控制量与最佳决策之间存在较大偏差时，该偏差将导致当前车辆的路径发生较大偏移，为解决这个问题，在对当前换道学习器训练过程中，对当前换道学习器中输出的可能产生偏差的轨迹学习控制量进行采样标记，并且在线对原始路径数据集进行更新，并通过更新后的路径数据集对当前换道学习器进行训练，以减少当前换道学习器输出的轨迹学习控制量与最佳决策之间的偏差。
在本示例实施例中，可以通过计算轨迹学习控制量中的当前车辆的加速度与轨迹优化控制量中的当前车辆的目标加速度之间的第一偏差，以及计算轨迹学习控制量中的当前车辆的前轮转角与轨迹优化控制量中的当前车辆的目标前轮转角之间的第二偏差，当第一偏差和/或第二偏差大于预设阈值，其中，预设阈值中包括第一预设阈值以及第二预设阈值，即，当第一偏差大于第一预设阈值和/或第二偏差大于第二预设阈值时，通过轨迹优化控制量以及与该轨迹优化控制量对应的当前车辆的状态信息、周围车辆的状态信息生成当前路径数据对；当第一偏差小于第一预设阈值以及第二偏差小于第二预设阈值时，可以认为当前策略学习器收敛，即，当前策略学习器可以为目标换道学习器。
在当前换道学习器的训练过程中，可以采用平均绝对误差(Mean AbsoluteError，MAE)作为损失函数，以更好地反应、控制输出误差，其中，损失函数可以参考表达式(2)：
Figure BDA0003352040090000141
其中，n为预测点的数量，
Figure BDA0003352040090000142
为第i个预测点的预测值，
Figure BDA0003352040090000143
为第i个预测点的真实值。
在步骤S240中，通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，通过所述目标换道学习器得到所述当前车辆的换道策略。
在本示例实施例中，参考图8所示，通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，可以包括步骤S810-步骤S830：
步骤S810.获取原始路径数据集，其中，所述原始路径数据集中包括多个路径数据对；
步骤S820.将所述当前路径数据对添加至所述原始路径数据集中，对所述原始路径数据集进行更新，得到目标路径数据集；
步骤S830.通过所述目标路径数据集中包括路径数据对对所述当前换道学习器进行训练，直至所述当前换道学习器收敛，得到所述目标换道学习器。
以下，将对步骤S810-步骤S830进行解释以及说明。具体的，获取原始样本数据中的原始路径数据集，其中，原始路径数据集中包括多个路径数据对；然后，将当前路径数据对添加至原始路径数据集中，对原始路径数据集进行更新，得到目标路径数据集，同时，通过目标路径数据集对训练样本进行更新，并通过更新的样本数据对当前换道学习器进行训练，直至当前换道学习器收敛，得到目标换道学习器。当得到目标换道学习器之后，将当前车辆的状态信息以及与当前车辆关联的周围车辆的状态信息输入至目标换道学习器中，得到当前车量的换道策略。
进一步的，参考图9所示，目标换道学习器的生成可以包括：将当前车辆的状态信息以及周围车辆的状态信息
Figure BDA0003352040090000151
输入至基于神经网络的当前换道学习器πθ(ut|ot)中以及基于混合正数二次规划的轨迹优化器中，分别得到当前车辆的轨迹学习控制量
Figure BDA0003352040090000152
以及当前车辆的轨迹优化控制量
Figure BDA0003352040090000153
对得到的当前车辆的轨迹学习控制量以及轨迹优化控制量进行对比，得到偏差，在确定偏差小于预设阈值时，当前换道策略学习器为目标换道学习器；在确定偏差大于预设阈值时，通过轨迹优化器中的数据生成当前路径数据对
Figure BDA0003352040090000161
对原始路径数据集进行更新，即，通过输入轨迹优化器中的当前车辆的状态信息、周围车辆的状态信息
Figure BDA0003352040090000162
以及轨迹优化器输出的轨迹优化控制量
Figure BDA0003352040090000163
对原始路径数据集D＝{(o1,u1),…,(oN,uN)}进行更新，并通过更新后的原始路径数据集对训练集进行更新
Figure BDA0003352040090000164
并通过更新后的训练集对基于深度神经网络的当前换道学习器进行训练，直至收敛，得到目标换道学习器
Figure BDA0003352040090000165
其中，t为第t次训练，t为正整数。
在本示例实施例中，当原始路径数据集中包括的路径数据对的数量为43550，训练集、验证集和测试集上样本比例分别为6：2：2，Adam算法的主要参数：初始学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，深度神经网络模型训练的epoch(时期，当一个完成的数据集通过神经网络一次并且返回了一次，该过程为一个时期)为100次，批大小为32，图10示出了当前换道学习器训练过程中训练集和验证集上的损失函数曲线，在图10中可以得到，当前换道学习器在训练100次后基本收敛。图11以及图12示出了基于上述参数对当前换道学习器进行训练后，该当前换道学习器的绝对误差值均为5*10-4，百分比绝对误差均值为25％。图13为在线仿真中，原始路径与通过目标换道学习器决策得到的路径的对比，可见，通过目标换道学习器决策得到的路径与原始路径的偏差较小。图14为在线仿真中，原始加速度、前轮转角与通过目标换道学习器决策得到的加速度以及前轮转角的对比，可见，通过目标换道学习器得到的加速度和前轮转角的范围均满足学习器的约束，表明当前换道学习器可以实现安全、平顺和高效的换道决策。
本公开示例实施例提供的换道策略生成方法至少具有以下优点：一方面，不仅考虑当前车辆的状态信息，还考虑了与当前车辆关联的周围车辆的状态信息，提高了环境信息的完整程度；另一方面，通过原始路径数据集对深度神经网络模型进行训练得到当前换道学习器，并通过当前换道学习器得到当前车辆的换道策略，不需要依赖先验知识，建模成本低，提高了换道策略生成的效率；再一方面，当通过当前换道策略学习器得到当前车辆的轨迹学习控制量之后，对该轨迹学习控制量与轨迹优化器中得到的轨迹优化控制量进行对比，基于对比偏差生成的当前路径数据对，并通过当前路径数据对对原始路径数据集进行更新，通过更新后的原始路径数据集对当前换道学习器进行再次训练，在当前换道学习器收敛时，得到目标换道学习器，并通过目标换道学习器生成当前车辆的换道策略，提高了换道策略生成的准确率。
本公开示例实施例还提供了一种换道策略生成装置，参考图15所示，可以包括：输入数据获取模块1510、输出数据获取模块1520、当前路径数据对生成模块1530以及换道策略生成模块1540。其中：
输入数据获取模块1510，用于获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；
输出数据获取模块1520，用于将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；
当前路径数据对生成模块1530，在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；
换道策略生成模块1540，用于通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器。
上述换道策略生成装置中各模块的具体细节已经在对应的换道策略生成方法中进行了详细的描述，因此此处不再赘述。
在本公开的一种示例性实施例中，获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息，包括：
获取当前车辆的行驶速度、航向角以及与目标车道的横向距离；
确定与所述当前车辆关联的周围车辆，获取所述周围车辆的状态信息。
在本公开的一种示例性实施例中，确定与所述当前车辆关联的周围车辆，获取所述周围车辆的状态信息，包括：
获取目标车道、所述当前车辆的自车道；
确定所述当前车辆的自车道的前车、目标车道中相对于当前车辆的目标车道前车以及目标车道后车；
获取所述自车道前车、所述目标车道前车以及所述目标车道后车的纵向相对速度、纵向和横向相对距离、避撞时间倒数以及跟车时距。
在本公开的一种示例性实施例中，将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，包括：
对所述当前车辆的状态信息以及所述周围车辆的状态信息进行归一化处理，得到归一化的当前车辆的状态信息以及归一化的周围车辆的状态信息；
将所述归一化的当前车辆的状态信息以及所述归一化的周围车辆的状态信息输入至所述当前换道学习器以及所述预设的轨迹优化器中。
在本公开的一种示例性实施例中，所述轨迹学习控制量中包括当前车辆的加速度和前轮转角，所述轨迹优化控制量中包括目标加速度和目标前轮转角。
在本公开的一种示例性实施例中，在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对，包括：
获取所述轨迹学习控制量与所述轨迹优化控制量的偏差；
在确定所述偏差小于所述预设阈值时，所述当前换道学习器收敛，并将所述当前换道学习器作为目标换道学习器；
在确定所述偏差大于所述预设阈值时，通过所述轨迹优化控制量以及所述当前车辆状态信息、所述周围车辆状态信息生成所述当前路径数据对。
在本公开的一种示例性实施例中，通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，包括：
获取原始路径数据集，其中，所述原始路径数据集中包括多个路径数据对；
将所述当前路径数据对添加至所述原始路径数据集中，对所述原始路径数据集进行更新，得到目标路径数据集；
通过所述目标路径数据集中包括路径数据对对所述当前换道学习器进行训练，直至所述当前换道学习器收敛，得到所述目标换道学习器。
根据本公开的一个方面，提供一种换道策略生成装置，包括：
输入数据获取模块，用于获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；
输出数据获取模块，用于将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；
当前路径数据对生成模块，在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；
换道策略生成模块，用于通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图16来描述根据本发明的这种实施方式的电子设备1600。图16显示的电子设备1600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图16所示，电子设备1600以通用计算设备的形式表现。电子设备1600的组件可以包括但不限于：上述至少一个处理单元1610、上述至少一个存储单元1620、连接不同系统组件(包括存储单元1620和处理单元1610)的总线1630以及显示单元1640。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1610执行，使得所述处理单元1610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1610可以执行如图2中所示的步骤S210：获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；S220：将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；S230：在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；S240：通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，通过所述目标换道学习器得到所述当前车辆的换道策略。
存储单元1620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)16201和/或高速缓存存储单元16202，还可以进一步包括只读存储单元(ROM)16203。
存储单元1620还可以包括具有一组(至少一个)程序模块16205的程序/实用工具16204，这样的程序模块16205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1600也可以与一个或多个外部设备1700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1600交互的设备通信，和/或与使得该电子设备1600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1650进行。并且，电子设备1600还可以通过网络适配器1660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1660通过总线1630与电子设备1600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。
在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (10)

1.一种换道策略生成方法，其特征在于，包括：
获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；
将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；
在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；
通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，通过所述目标换道学习器得到所述当前车辆的换道策略。
2.根据权利要求1所述的换道策略生成方法，其特征在于，获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息，包括：
获取当前车辆的行驶速度、航向角以及与目标车道的横向距离；
确定与所述当前车辆关联的周围车辆，获取所述周围车辆的状态信息。
3.根据权利要求2所述的换道策略生成方法，其特征在于，确定与所述当前车辆关联的周围车辆，获取所述周围车辆的状态信息，包括：
获取目标车道、所述当前车辆的自车道；
确定所述当前车辆的自车道的前车、目标车道中相对于当前车辆的目标车道前车以及目标车道后车；
获取所述自车道前车、所述目标车道前车以及所述目标车道后车的纵向相对速度、纵向和横向相对距离、避撞时间倒数以及跟车时距。
4.根据权利要求1所述的换道策略生成方法，其特征在于，将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，包括：
对所述当前车辆的状态信息以及所述周围车辆的状态信息进行归一化处理，得到归一化的当前车辆的状态信息以及归一化的周围车辆的状态信息；
将所述归一化的当前车辆的状态信息以及所述归一化的周围车辆的状态信息输入至所述当前换道学习器以及所述预设的轨迹优化器中。
5.根据权利要求1所述的换道策略生成方法，其特征在于，所述轨迹学习控制量中包括当前车辆的加速度和前轮转角，所述轨迹优化控制量中包括目标加速度和目标前轮转角。
6.根据权利要求1所述的换道策略生成方法，其特征在于，在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对，包括：
获取所述轨迹学习控制量与所述轨迹优化控制量的偏差；
在确定所述偏差小于所述预设阈值时，所述当前换道学习器收敛，并将所述当前换道学习器作为目标换道学习器；
在确定所述偏差大于所述预设阈值时，通过所述轨迹优化控制量以及所述当前车辆状态信息、所述周围车辆状态信息生成所述当前路径数据对。
7.根据权利要求6所述的换道策略生成方法，其特征在于，通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器，包括：
获取原始路径数据集，其中，所述原始路径数据集中包括多个路径数据对；
将所述当前路径数据对添加至所述原始路径数据集中，对所述原始路径数据集进行更新，得到目标路径数据集；
通过所述目标路径数据集中包括路径数据对对所述当前换道学习器进行训练，直至所述当前换道学习器收敛，得到所述目标换道学习器。
8.一种换道策略生成装置，其特征在于，包括：
输入数据获取模块，用于获取当前车辆的状态信息以及与所述当前车辆关联的周围车辆的状态信息；
输出数据获取模块，用于将所述当前车辆的状态信息以及所述周围车辆的状态信息输入至当前换道学习器以及预设的轨迹优化器中，得到轨迹学习控制量以及轨迹优化控制量；
当前路径数据对生成模块，在确定所述轨迹学习控制量与所述轨迹优化控制量的偏差大于预设阈值时，基于所述轨迹优化控制量生成当前路径数据对；
换道策略生成模块，用于通过所述当前路径数据对对所述当前换道学习器进行训练，得到目标换道学习器。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的换道策略生成方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的换道策略生成方法。
CN202111354329.4A 2021-11-12 2021-11-12 换道策略生成方法和装置、计算机存储介质、电子设备 Pending CN114021840A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111354329.4A CN114021840A (zh) 2021-11-12 2021-11-12 换道策略生成方法和装置、计算机存储介质、电子设备
PCT/CN2022/109804 WO2023082726A1 (zh) 2021-11-12 2022-08-02 换道策略生成方法和装置、计算机存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111354329.4A CN114021840A (zh) 2021-11-12 2021-11-12 换道策略生成方法和装置、计算机存储介质、电子设备

Publications (1)

Publication Number Publication Date
CN114021840A true CN114021840A (zh) 2022-02-08

Family

ID=80064375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111354329.4A Pending CN114021840A (zh) 2021-11-12 2021-11-12 换道策略生成方法和装置、计算机存储介质、电子设备

Country Status (2)

Country Link
CN (1) CN114021840A (zh)
WO (1) WO2023082726A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482687A (zh) * 2022-09-15 2022-12-16 吉咖智能机器人有限公司 用于车辆变道风险评估的方法、装置、设备和介质
CN115657684A (zh) * 2022-12-08 2023-01-31 禾多科技（北京）有限公司 车辆路径信息生成方法、装置、设备和计算机可读介质
WO2023082726A1 (zh) * 2021-11-12 2023-05-19 京东鲲鹏(江苏)科技有限公司 换道策略生成方法和装置、计算机存储介质、电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110568760B (zh) * 2019-10-08 2021-07-02 吉林大学 适用于换道及车道保持的参数化学习决策控制系统及方法
CN112937564B (zh) * 2019-11-27 2022-09-02 魔门塔(苏州)科技有限公司 换道决策模型生成方法和无人车换道决策方法及装置
US11061403B2 (en) * 2019-12-12 2021-07-13 Baidu Usa Llc Path planning with a preparation distance for a lane-change
CN112578672B (zh) * 2020-12-16 2022-12-09 吉林大学青岛汽车研究院 基于底盘非线性的无人驾驶汽车轨迹控制系统及其轨迹控制方法
CN114021840A (zh) * 2021-11-12 2022-02-08 京东鲲鹏(江苏)科技有限公司 换道策略生成方法和装置、计算机存储介质、电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082726A1 (zh) * 2021-11-12 2023-05-19 京东鲲鹏(江苏)科技有限公司 换道策略生成方法和装置、计算机存储介质、电子设备
CN115482687A (zh) * 2022-09-15 2022-12-16 吉咖智能机器人有限公司 用于车辆变道风险评估的方法、装置、设备和介质
CN115482687B (zh) * 2022-09-15 2024-05-07 吉咖智能机器人有限公司 用于车辆变道风险评估的方法、装置、设备和介质
CN115657684A (zh) * 2022-12-08 2023-01-31 禾多科技（北京）有限公司 车辆路径信息生成方法、装置、设备和计算机可读介质
CN115657684B (zh) * 2022-12-08 2023-03-28 禾多科技（北京）有限公司 车辆路径信息生成方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
WO2023082726A1 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN110796856B (zh) 车辆变道意图预测方法及变道意图预测网络的训练方法
Yufang et al. Investigating long‐term vehicle speed prediction based on BP‐LSTM algorithms
Gu et al. A novel lane-changing decision model for autonomous vehicles based on deep autoencoder network and XGBoost
Han et al. Statistical‐based approach for driving style recognition using Bayesian probability with kernel density estimation
CN114021840A (zh) 换道策略生成方法和装置、计算机存储介质、电子设备
JP2023027777A (ja) 障害物移動軌跡の予測方法、装置及び自動運転車両
US11645518B2 (en) Multi-agent simulations
CN113044064B (zh) 基于元强化学习的车辆自适应的自动驾驶决策方法及系统
CN112085165A (zh) 一种决策信息生成方法、装置、设备及存储介质
Balan et al. An Improved Deep Learning‐Based Technique for Driver Detection and Driver Assistance in Electric Vehicles with Better Performance
Gao et al. A data-driven lane-changing behavior detection system based on sequence learning
Yuan et al. End‐to‐end learning for high‐precision lane keeping via multi‐state model
Zhu et al. Interaction-aware cut-in trajectory prediction and risk assessment in mixed traffic
CN114261400A (zh) 一种自动驾驶决策方法、装置、设备和存储介质
Kim et al. Toward explainable and advisable model for self‐driving cars
Liu et al. Estimation of driver lane change intention based on the LSTM and Dempster–Shafer evidence theory
Zhang et al. Stacking‐based ensemble learning method for the recognition of the preceding vehicle lane‐changing manoeuvre: A naturalistic driving study on the highway
CN114021080A (zh) 轨迹预测模型训练以及轨迹预测方法、装置、设备及介质
CN116662815B (zh) 时间预测模型的训练方法以及相关设备
CN115979679B (zh) 自动驾驶系统实际道路测试方法、设备和存储介质
Hu et al. Manoeuvre prediction and planning for automated and connected vehicles based on interaction and gaming awareness under uncertainty
CN113276860B (zh) 车辆控制方法、装置、电子设备以及存储介质
Guo et al. Adaptive Lane-Departure Prediction Method with Support Vector Machine and Gated Recurrent Unit Models
CN112820111B (zh) 一种异常车辆识别方法、装置和电子设备
Deng et al. Research on operation characteristics and safety risk forecast of bus driven by multisource forewarning data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination