CN112298194B - 一种车辆的换道控制方法及装置 - Google Patents

一种车辆的换道控制方法及装置 Download PDF

Info

Publication number
CN112298194B
CN112298194B CN201910687303.8A CN201910687303A CN112298194B CN 112298194 B CN112298194 B CN 112298194B CN 201910687303 A CN201910687303 A CN 201910687303A CN 112298194 B CN112298194 B CN 112298194B
Authority
CN
China
Prior art keywords
vehicle
current
data
candidate target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910687303.8A
Other languages
English (en)
Other versions
CN112298194A (zh
Inventor
马贤忠
胡皓瑜
江浩
董维山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910687303.8A priority Critical patent/CN112298194B/zh
Publication of CN112298194A publication Critical patent/CN112298194A/zh
Application granted granted Critical
Publication of CN112298194B publication Critical patent/CN112298194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开一种车辆的换道控制方法及装置。该方法包括：在当前车辆需要路径变换时，获得当前车辆的速度、位置、加速度以及当前道路图像；基于目标检测模型，从当前道路图像中检测出当前车辆对应的当前他车，并确定每一当前他车相对于当前车辆的朝向信息；针对每一当前他车，基于当前车辆的位置、当前他车相对于当前车辆的朝向信息以及当前他车与当前车辆之间的距离，确定当前他车的位置；根据当前车辆的速度、位置、加速度以及当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，按照目标行驶路径执行路径变换操作，以实现提升路径规划的准确度和效率。

Description

一种车辆的换道控制方法及装置
技术领域
本发明涉及自动驾驶领域，具体而言，涉及一种车辆的换道控制方法及装置。
背景技术
运动规划，就是在给定的位置A与位置B之间为无人驾驶车辆找到一条符合约束条件的路径。这个约束条件可以是无碰撞、路径最短、机械功最小等。是机器人学的一个重要研究领域。
对于安全高效的无人车规划来说，基于优化求解的规划办法可以给无人车提供一种最优策略。目前已有的路径规划算法，大多是基于搜索，生成一系列的满足动力学的可行轨迹，然后再通过碰撞检测，以及融合人为的一些轨迹特征筛选出较为合适的运动路径。
上述方式在实现过程中计算复杂度较大，并且不能将所有可行的轨迹都列举出来，并不适用于实时的应用过程。
发明内容
本发明提供了一种车辆的换道控制方法及装置，以实现提升路径规划的准确度和效率，并通过基于困难样本修正后的目标检测模型，提高了对图像中他车的检测准确性，进而更好的保障路径规划的准确性。具体的技术方案如下。
第一方面，本发明实施例提供了一种车辆的换道控制方法，所述方法包括：在当前车辆需要路径变换时，获得当前车辆的速度、位置、加速度以及所述当前车辆的图像采集设备采集的当前道路图像；
基于预先建立的目标检测模型，从所述当前道路图像中检测出所述当前车辆对应的当前他车，所述当前他车包括：在所述当前车辆所在第一当前车道上的前车以及所述当前车辆执行路径变换后对应的第一目标车道上的前车和后车，所述目标检测模型为：基于标注有待检测目标的困难样本和待修正检测模型训练所得的模型，所述困难样本为：基于预先建立的目标数据筛选模型所筛选出的模型样本，所述目标数据筛选模型为：基于标定为正常值类型的数据和标定为异常值类型的数据训练所得的模型，所述标定为正常值类型的数据为：基于所述目标检测模型对应的待修正检测模型确定的满足预设正确检测条件的数据，所述标定为异常值类型的数据为：所述待修正检测模型确定的满足预设错误检测条件的数据；
基于所述当前道路图像，确定每一当前他车相对于所述当前车辆的朝向信息；
针对每一当前他车，基于所述当前车辆的位置、该当前他车相对于所述当前车辆的朝向信息以及该当前他车与所述当前车辆之间的距离，确定出该当前他车的位置；
获得每一当前他车的速度和加速度；
根据所述当前车辆的速度、位置、加速度以及所述当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；
其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和当前他车的速度、位置和加速度，与所述当前车辆进行路径更换时的目标行驶路径相关联。
第二方面，本发明实施例提供了一种车辆的换道控制装置，所述装置包括：
第一获得模块，被配置为在当前车辆需要路径变换时，获得当前车辆的速度、位置、加速度以及所述当前车辆的图像采集设备采集的当前道路图像；
检测模块，被配置为基于预先建立的目标检测模型，从所述当前道路图像中检测出所述当前车辆对应的当前他车，所述当前他车包括：在所述当前车辆所在第一当前车道上的前车以及所述当前车辆执行路径变换后对应的第一目标车道上的前车和后车，所述目标检测模型为：基于标注有待检测目标的困难样本和待修正检测模型训练所得的模型，所述困难样本为：基于预先建立的目标数据筛选模型所筛选出的模型样本，所述目标数据筛选模型为：基于标定为正常值类型的数据和标定为异常值类型的数据训练所得的模型，所述标定为正常值类型的数据为：基于所述目标检测模型对应的待修正检测模型确定的满足预设正确检测条件的数据，所述标定为异常值类型的数据为：所述待修正检测模型确定的满足预设错误检测条件的数据；
第一确定模块，被配置为基于所述当前道路图像，确定每一当前他车相对于所述当前车辆的朝向信息；
第二确定模块，被配置为针对每一当前他车，基于所述当前车辆的位置、该当前他车相对于所述当前车辆的朝向信息以及该当前他车与所述当前车辆之间的距离，确定出该当前他车的位置；
第二获得模块，被配置为获得每一当前他车的速度和加速度；
变道控制模块，被配置为根据所述当前车辆的速度、位置、加速度以及所述当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和当前他车的速度、位置和加速度，与所述当前车辆进行路径更换时的目标行驶路径相关联。
由上述内容可知，本发明实施例提供的一种车辆的换道控制方法及装置，可以在当前车辆需要路径变换时，获得当前车辆的速度、位置、加速度以及当前车辆的图像采集设备采集的当前道路图像；基于预先建立的目标检测模型，从当前道路图像中检测出当前车辆对应的当前他车，当前他车包括：在当前车辆所在第一当前车道上的前车以及当前车辆执行路径变换后对应的第一目标车道上的前车和后车，目标检测模型为：基于标注有待检测目标的困难样本和待修正检测模型训练所得的模型，困难样本为：基于预先建立的目标数据筛选模型所筛选出的模型样本，目标数据筛选模型为：基于标定为正常值类型的数据和标定为异常值类型的数据训练所得的模型，标定为正常值类型的数据为：基于目标检测模型对应的待修正检测模型确定的满足预设正确检测条件的数据，标定为异常值类型的数据为：待修正检测模型确定的满足预设错误检测条件的数据；基于当前道路图像，确定每一当前他车相对于当前车辆的朝向信息；针对每一当前他车，基于当前车辆的位置、该当前他车相对于当前车辆的朝向信息以及该当前他车与所述当前车辆之间的距离，确定出该当前他车的位置；获得每一当前他车的速度和加速度；根据当前车辆的速度、位置、加速度以及当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照目标行驶路径执行路径变换操作；其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；路径变换模型使得当前车辆和当前他车的速度、位置和加速度，与当前车辆进行路径更换时的目标行驶路径相关联。
应用本发明实施例，在当前车辆需要路径变换时，利用基于困难样本修正后的目标检测模型，提高了对当前道路中图像中当前他车的检测准确性，并基于当前道路图像中检测准确的当前他车所在区域图像，确定每一当前他车相对于当前车辆的朝向信息，进而，结合当前车辆的位置、以及每一当前他车与当前车辆之间的距离，确定出每一当前他车的位置，以得到每一当前他车的当前运动信息，即速度、位置和加速度；后续的，如果根据当前车辆的当前运动信息和当前他车的当前运动信息，能够获取到基于路径变换模型生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照目标行驶路径执行路径变换操作。相对于直接根据自车和他车的运动信息，通过不断迭代的方式生成目标行驶路径，本实施例应用神经网络以实现提升路径规划的准确度和效率，并通过基于困难样本修正后的目标检测模型，提高了对图像中他车的检测准确性，进而更好的保障路径规划的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、通过设计目标函数，并通过对神经网络模型进行训练的方式，使得神经网络模型能根据自车和他车的运动信息即速度、位置和加速度，输出使得目标函数最小且符合路径变换要求的目标行驶路径，解决了通过搜索算法从多条候选路径中，筛选出最优路径时计算复杂度较大的问题，提升了目标行驶路径规划的准确性和速率。并通过基于困难样本修正后的目标检测模型，提高了对图像中他车的检测准确性，进而提高所确定的当前他车的运动信息的准确性，以更好的保障路径规划的准确性。
2、通过将达到预设路径变换要求的目标行驶路径和对应的历史运动信息作为训练样本集，对初始神经网络模型进行训练，使得神经网络模型将当前车辆和他车的运动信息与当前车辆进行路径更换时的目标行驶路径相关联。在车辆的实际行驶过程中，避免了不断执行迭代算法而影响路径规划速度的问题，加速了目标行驶路径的生成速度。
3、通过该预先建立的数据筛选模型，可以更灵活地、准确地且全面地从模型样本中确定出困难样本，提高困难样本的筛选灵活性，并提高困难样本的准确率和查全率，并且仅基于模型样本中的待筛选区域内的局部视觉特征，进行后续的困难样本的筛选，在一定程度上减少了计算量。
4、基于预设置信度阈值以及候选目标区域对应的置信度，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据，进而，参照异常值检测的原理，基于标定为正常值类型的数据、标定为异常值类型的数据以及初始的数据筛选模型，训练得到可以灵活地、准确地且全面地筛选出困难样本的预先建立的数据筛选模型。
5、结合预设置信度阈值、区域位置交并比阈值以及候选目标区域对应的置信度和区域位置交并比，共同从候选目标区域中确定出正常值类型的数据；并确定出异常值类型的数据。在一定程度上，提高所确定出的正常值类型的数据和异常值类型的数据的准确性，进而提高训练所得的预先建立的数据筛选模型的检测结果的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车辆的换道控制方法的一种流程示意图；
图2是本发明实施例提供的一种车道变化的示意图；
图3A和图3B分别为基于不同的标定方式标定出各类数据的类型的标定结果的示意图；
图4为本发明实施例提供的车辆的换道控制装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种车辆的换道控制方法及装置，以实现提升路径规划的准确度和效率，并通过基于困难样本修正后的目标检测模型，提高了对图像中他车的检测准确性，进而更好的保障路径规划的准确性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的车辆的换道控制方法的一种流程示意图。该方法应用于电子设备，该电子设备可以为具有较强计算处理能力的设备，例如服务器等。该电子设备可以位于智能车辆之外的地方，也可以位于智能车辆上，这些都是可行的。该方法具体包括以下步骤：
S101：在当前车辆需要路径变换时，获得当前车辆的速度、位置、加速度以及当前车辆的图像采集设备采集的当前道路图像。
其中，路径变换可以指车道变换、超车或者靠马路右侧停车等。电子设备确定当前车辆需要路径变换的触发条件可以是：电子设备接收到驾驶员根据当前车辆的实际运行情况向驾驶辅助系统发送的路径变换指令，或者可以是当前车辆处于自动驾驶状态时，电子设备根据导航信息自动确定当前车辆需要路径变换，或者也可以是当前车辆处于自动驾驶状态时，电子设备在检测到其他车辆的运行轨迹将对当前车辆的运行轨迹造成影响自动确定当前车辆需要路径变换。
其中，当前车辆中设置有多个图像采集设备，该多个图像采集设备可以实时或周期性地分别针对当前车辆所处位置的四周采集图像。上述当前道路图像为在确定当前车辆需要路径变换的时刻，即当前时刻，图像采集设备采集的道路图像。
S102：基于预先建立的目标检测模型，从当前道路图像中检测出当前车辆对应的当前他车。
其中，当前他车包括：在当前车辆所在第一当前车道上的前车以及当前车辆执行路径变换后对应的第一目标车道上的前车和后车，目标检测模型为：基于标注有待检测目标的困难样本和待修正检测模型训练所得的模型，困难样本为：基于预先建立的目标数据筛选模型所筛选出的模型样本，目标数据筛选模型为：基于标定为正常值类型的数据和标定为异常值类型的数据训练所得的模型，标定为正常值类型的数据为：基于目标检测模型对应的待修正检测模型确定的满足预设正确检测条件的数据，标定为异常值类型的数据为：待修正检测模型确定的满足预设错误检测条件的数据。
本步骤中，电子设备基于预先建立的目标检测模型，对当前道路图像进行图像特征提取，进而，基于所提取的图像特征，检测出当前车辆对应的当前他车及每一当前他车在当前道路图像中的位置。
该预先建立的目标检测模型可以为神经网络模型，例如：可以为卷积神经网络模型，具体的可以为Faster R-CNN(Faster Region-Convolutional Neural Networks，快速地区域-卷积神经网络模型)以及YOLO(You Only Look Once) 模型。其中，该预先建立的目标检测模型可以为：相关技术中任一类型的可以检测图像中目标所在位置的神经网络模型，本发明实施例并不对该预先建立的目标检测模型的具体类型进行限定。对于对该预先建立的目标检测模型的训练方式可以参见相关技术，本发明实施例并不作具体限定。
其中，该待修正检测模型为：预先基于标注有待检测目标的数据训练所得的模型。该待检测目标可以为车辆。
S103：基于当前道路图像，确定每一当前他车相对于当前车辆的朝向信息。
一种情况，电子设备在获得当前道路图像之后，根据相关技术中图像形态学进行去噪、平滑滤波以及二值化阈值分割等预处理，获得二值化图像，通过轮廓提取和跟踪监测车辆边缘线，根据车辆边缘线确定每一当前他车相对于当前车辆的朝向信息。
另一种情况，电子设备基于当前道路图像中每一当前他车所在位置，通过车辆检测模型，确定每一当前他车的车辆区域和车牌区域；针对每一当前他车，根据该当前他车的车辆区域和车牌区域之间的相对位置关系，确定该当前他车的宽高尺寸比例，其中，宽高尺寸比例，可以理解为该当前他车的宽度与高度之间的比例；针对每一当前他车，基于该当前他车的宽高尺寸比例，通过车辆结构线检测模型，从该当前他车的车辆区域中，确定该当前他车的结构线信息；其中，车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；根据预设的朝向信息与结构线信息的对应关系，确定结构线信息对应的朝向信息，作为待检测车辆的朝向信息，其中，朝向信息与结构线信息的对应关系，可以通过预先对大量样本车辆图像和对应的标准朝向信息进行分析后确定。
其中，车辆区域可以为包含当前他车的所有像素点的区域，车牌区域为包含该当前他车的车牌的所有像素点的区域。车辆区域和车牌区域为一一对应的，并且车牌区域位于车辆区域内部。车辆区域和车牌区域均可以采用矩形框包围的区域表示，具体可以采用矩形对角点的坐标进行表示。车辆检测模型用于根据预先训练好的模型参数确定当前道路图像中每一当前他车的车辆区域和车牌区域。车辆检测模型可以为预先根据大量样本车辆图像和标注的车辆区域和车牌区域训练得到。车辆检测模型可以采用卷积神经网络进行训练。其中，该车辆检测模型可以与上述目标检测模型为同一检测模型，也可以为不同的检测模型，这都是可以的。
上述根据该当前他车的车辆区域和车牌区域之间的相对位置关系，确定该当前他车的宽高尺寸比例的过程，可以是：根据该当前他车的车辆区域在高度方向上的像素数量，确定该当前他车的虚拟高度信息；确定车牌区域边界框在宽度方向上与车辆区域边界框之间的两个像素数量，其中，车牌区域位于车辆区域内部，可以计算车牌区域左边界框与车辆区域左边界框之间的像素数量，计算车牌区域右边界框与车辆区域右边界框之间的像素数量。在计算边界框之间的像素数量时，可以将边界框之间垂直连线上的像素数量作为边界框之间的像素数量，两个像素数量分别包括左边界框之间的像素数量和右边界框之间的像素数量；根据两个像素数量中较小的一个像素数量，确定该当前他车的虚拟宽度信息；将虚拟高度信息与虚拟宽度信息之间的比值，或者虚拟宽度信息与虚拟高度信息之间的比值，确定为待检测车辆的宽高尺寸比例。
上述基于该当前他车的宽高尺寸比例，通过车辆结构线检测模型，从该当前他车的车辆区域中，确定该当前他车的结构线信息的过程，可以是：通过车辆结构线检测模型的特征提取层的第一模型参数，提取车辆区域的特征向量；通过车辆结构线检测模型的回归层的第二模型参数和宽高尺寸比例，对特征向量进行回归，得到该当前他车的结构线信息。其中，第一模型参数和第二模型参数都是车辆结构线检测模型的模型参数，是通过对车辆结构线检测模型对应样本数据进行训练得到的。该车辆结构线检测模型可以采用卷积神经网络进行训练。其训练过程可以参见相关技术中神经网络模型的训练过程，训练得到该车辆结构线检测模型对应样本数据为包含车辆的图像，其对应的训练所需的标定信息包括图像中车辆的样本宽高尺寸比例以及每个车辆对应的标准结构线信息。
上述根据预设的朝向信息与结构线信息的对应关系，确定结构线信息对应的朝向信息过程，可以是：确定结构线信息对应的结构线特征范围，根据确定的结构线特征范围对应的朝向分类，确定结构线信息对应的朝向信息。其中，结构线特征范围可以包括结构线信息对应的朝向向量区间。其中，可以预先训练基于多个朝向分类的分类模型，将结构线信息输入该分类模型。该分类模型可以根据训练得到的多个朝向分类与结构线特征范围的对应关系，确定输入的结构线信息对应的朝向分类。在训练该分类模型时，可以采用预先获取的大量样本车辆图像和对应标注的车辆朝向对神经网络模型进行训练。
在划分朝向分类时，可以从0度开始，每隔45度为一个方向类别，总计 8个类别。在进行车辆朝向的数据标注时，如样本车辆图像中车辆朝向不是恰好落在8个类别之中，则选择与车辆朝向方向夹角最小的类别作为车辆朝向类别。
当当前他车位于不同的车道时，结构线之间的角度和结构线的绝对长度和比例都会相应发生变化。针对同一车道中不同朝向的车辆，其结构线信息也是完全不同的。结构线信息可以包含能确定不同车道的车辆朝向的信息。
本实施例中的分类模型可以选用经过剪枝的双重路径网络(Dual Path Network，DPN)作为分类器，对图片进行分类。DPN网络具有较高的参数效率，相较于其他卷积神经网络在同等规模下可以取得较好的精度。
S104：针对每一当前他车，基于当前车辆的位置、该当前他车相对于当前车辆的朝向信息以及该当前他车与当前车辆之间的距离，确定出该当前他车的位置。
其中，电子设备可以通过雷达、激光传感器、红外传感器以及超声波传感器等测距传感器，获得每一当前他车与当前车辆之间的距离。
可以理解的是，通过该当前他车相对于当前车辆的朝向信息和该当前他车与当前车辆之间的距离，可以确定出当前他车与当前车辆之间的相对位置关系，进而基于该相对位置关系以及当前车辆的位置，可以确定出该当前他车的位置。
S105：获得每一当前他车的速度和加速度。
本步骤中，可以通过传感器或图像采集设备确定出每当前他车的速度和加速度。举例而言，可以通过测距传感器确定出在当前时刻，每一当前他车和当前车辆之间的第一距离，其中，当前时刻为：在确定当前车辆需要路径变换的时刻；获得当前时刻的前一时刻的每一当前他车和当前车辆之间的第二距离，进而，针对每一当前他车，基于该当前他车与当前车辆之间的第一距离和第二距离，确定在前一时刻与当前时刻，该当前他车与当前车辆之间的距离差，计算前一时刻与当前时刻之间的时间差；针对每一当前他车，基于当前他车与当前车辆之间的距离差、前一时刻与当前时刻之间的时间差以及当前车辆在当前时刻的速度，分别计算每一当前他车的速度和加速度。
S106：根据当前车辆的速度、位置、加速度以及当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作。
其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；路径变换模型使得当前车辆和当前他车的速度、位置和加速度，与所当前车辆进行路径更换时的目标行驶路径相关联。
本发明实施例中，该路径变换模型是利用当前车辆的自车的历史运动信息、他车的历史运动信息以及对应的达到预设路径变换要求的历史行驶路径训练得到的。该路径变换模型具有根据自车的运动信息和他车的运动信息，得到当前车辆的达到预设路径变换要求的行驶路径的功能。在路径变换模型的实际应用过程中，如果根据当前车辆的当前运动信息和当前他车的当前运动信息，能够获取到达到预设路径变换要求的行驶路径，即目标行驶路径，则可控制当前车辆按照目标行驶路径执行路径变换操作。其中，当前车辆的当前运动信息包括：在当前时刻获得的当前车辆的速度、位置和加速度，当前他车的当前运动信息包括：在当前时刻获得的当前他车的速度、位置和加速度。
在一种实现方式中，在执行S106之前，电子设备需要首先训练得到该路径变换模型，其中，该训练得到路径变换模型的过程，可以包括如下步骤01-08：
01：获得当前车辆在历史时刻需要进行路径变换时自车的历史速度、历史位置、历史加速度，以及当前车辆的图像采集设备采集的历史道路图像；
02：基于目标检测模型，从历史道路图像中检测出当前车辆对应的历史他车，历史他车包括：在当前车辆在历史时刻时所在第二当前车道上的前车以及当前车辆执行路径变换后对应的第二目标车道上的前车和后车；
03：基于历史道路图像，确定历史道路图像对应的每一历史他车相对于当前车辆的历史朝向信息；
04：针对每一历史他车，基于当前车辆的历史位置、该历史他车相对于当前车辆的历史朝向信息以及该历史他车与当前车辆之间的距离，确定出该历史他车的历史位置；
05：获得每一历史他车的历史速度和历史加速度；
06：根据自车的历史运动信息，以及历史他车的历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的历史规划路径，其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系，自车的历史运动信息包括：自车的历史速度、历史位置和历史加速度，历史他车的历史运动信息包括：历史他车的历史速度、历史位置和历史加速度；
07：对历史规划路径进行路径变换效果的检测，并将检测结果中达到预设路径变换要求的历史行驶路径和对应的历史运动信息作为训练样本集；
08：利用训练样本集对初始神经网络模型进行训练，得到车辆的路径变换模型，路径变换模型使得当前车辆和历史他车的运动信息，与当前车辆进行路径更换时的目标行驶路径相关联。
其中，该历史时刻为上述当前时刻之前的时刻。该历史时刻可以包括多个时刻，其中，每历史时刻对应一组该时刻的当前车辆的自车的历史运动信息和该时刻的当前车辆对应的历史他车的历史运动信息，其中，自车的历史运动信息包括：当前车辆的历史速度、历史位置和历史加速度，历史他车的历史运动信息包括：历史他车的历史速度、历史位置和历史加速度。
上述01-05的具体实现过程，可以参照图1所示的S101～S105的具体实现过程，在此不再赘述。
可以理解的是，车辆在改变行驶路径的过程中，需要考虑与他车的安全距离以及路径变换的时间以及平稳性等因素。本实施例中，通过设计目标函数，并使得目标函数最小，且结合车辆位置约束，可使得车辆以最快、最平稳地状态到达目标位置，即得到最优的规划路径。其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系，该积分关系即目标函数可通过如下公式来表示：
Figure RE-GDA0002182717930000101
其中，c1为系数，a为加速度，y为当前车辆在变换路径前所在车道的横向位置，ygoal为当前车辆在路径变换后所在车道的横向位置。
车辆位置约束包括：当前车辆在变换路径前所在车道即第二当前车道时，当前车辆的纵向位置小于在运行方向上前车的纵向位置；以及，当前车辆在执行车道变换后行驶到第二目标车道时，当前车辆的纵向位置，大于在当前车辆的运行方向上当前车辆后车的纵向位置，且小于当前车辆前车的纵向位置。
示例性的，规划路径的生成可采用迭代的方式，将每次根据自车的历史运动信息和历史他车的历史运动信息，得到的满足车辆位置约束的运动学参数值，作为下次迭代的输入，直到生成使得预设目标函数最小的规划路径。其中，运动学参数包括车辆的横向位置、纵向位置、速度、加速度和转角等。
具体的，以车辆变道为例，图2是本发明实施例提供的一种车道变换的示意图，如图2所示，1表示当前车辆，2、3和4表示除当前车辆之外的当前他车。CL表示当前车辆的当前行驶车道，即第一当前车道，TL表示当前车辆进行车道变换后的车道，即第一目标车道。如图2所示，当前车辆在当前车道CL时，当前车辆的纵向位置小于在运行方向上前车2的纵向位置；当前车辆在执行车道变换后行驶到第一目标车道TL时，当前车辆的纵向位置大于在运行方向上当前车辆后车3的纵向位置，且小于当前车辆前车4的纵向位置，具体可通过如下公式来体现：
Figure RE-GDA0002182717930000111
其中，
Figure RE-GDA0002182717930000112
表示当前车辆的纵向位置，
Figure RE-GDA0002182717930000113
表示当前车辆在当前车道时当前车辆的纵向位置小于在运行方向上前车2的纵向位置；
Figure RE-GDA0002182717930000114
表示当前车辆在执行车道变换后行驶到第一目标车道时，在运行方向上当前车辆后车 3的纵向位置；
Figure RE-GDA0002182717930000115
表示当前车辆在执行车道变换后行驶到目标车道时，在运行方向上当前车辆前车4的纵向位置。
本发明的一种实现方式中，根据各运动学参数之前的关系，可将表征车辆运动信息的线性系统
Figure RE-GDA0002182717930000116
经过离散化后，按照如下迭代公式，生成使得预设目标函数最小的规划路径：
Figure RE-GDA0002182717930000117
其中，
Figure RE-GDA0002182717930000118
Figure RE-GDA0002182717930000119
其中，x表示的是当前车辆的纵向位置， y当前车辆的横向位置；v表示当前车辆的速度；θ表示当前车辆的转角；n 表示规划轨迹的第n个离散点，k表示迭代次数；vmin和vmax分别表示当前车辆的最低速度和最高速度；wego表示当前车辆的宽度；
Figure RE-GDA00021827179300001110
表示车辆在执行车道变换后行驶到第二目标车道时，在运行方向上当前车辆后车的纵向位置；
Figure RE-GDA00021827179300001111
表示当前车辆在执行车道变换后行驶到第二目标车道时，在运行方向上当前车辆前车的纵向位置；Δsafe(i)表示当前车辆与第i历史他车之间的安全距离。
本实施例中，通过采用上述迭代的方式可生成使得预设目标函数最小的规划路径，该规划路径按照时间点进行离散化，每个离散点都存在与时刻对应的运动学参数值。本实施例提供的按照上述迭代公式直接得到规划路径的方式，降低了现有技术中按照搜索算法从多条候选的规划路径中筛选出最优路径的复杂度，而且本实施例这样设置也可以提高路径规划的准确度。
应用本发明实施例，在当前车辆需要路径变换时，利用基于困难样本修正后的目标检测模型，提高了对当前道路中图像中当前他车的检测准确性，并基于当前道路图像中检测准确的当前他车所在区域图像，确定每一当前他车相对于当前车辆的朝向信息，进而，结合当前车辆的位置、以及每一当前他车与当前车辆之间的距离，确定出每一当前他车的位置，以得到每一当前他车的当前运动信息，即速度、位置和加速度；后续的，如果根据当前车辆的当前运动信息和当前他车的当前运动信息，能够获取到基于路径变换模型生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照目标行驶路径执行路径变换操作。相对于直接根据自车和他车的运动信息，通过不断迭代的方式生成目标行驶路径，本实施例应用神经网络以实现提升路径规划的准确度和效率，并通过基于困难样本修正后的目标检测模型，提高了对图像中他车的检测准确性，进而更好的保障路径规划的准确性。
在本发明的另一实施例中，由于路径变换模型在训练时，所用的训练样本集中的目标行驶路径是经过路径变换效果的检测后筛选得到的符合预设路径变换要求的路径，即对于一些运动信息，并不存在对应的目标行驶路径。因此，如果根据当前车辆的当前运动信息和他车的当前运动信息，未能获取到对应的目标行驶路径，则继续保持当前车辆在当前车道的行驶状态。
进一步的，在按照目标行驶路径执行路径变换操作之前，还可根据目标行驶路径各离散点所对应的运动学参数值，对当前车辆和当前他车进行碰撞检测；如果检测结果为当前车辆与当前他车会产生碰撞，则保持当前车辆在第一当前车道的行驶状态；如果检测结果为当前车辆与当前他车不会产生碰撞，则可以控制当前车辆按照目标行驶路径执行车道变换动作。这样设置可进一步提升车道路径变化的安全性。
在本发明的另一实施例中，在S102之前，该方法还可以包括：从待修正检测模型对应的标注有待检测目标的模型样本中，筛选出用于修正待修正检测模型的困难样本，以基于标注有待检测目标的困难样本和待修正检测模型，训练得到目标检测模型的过程，其中，该过程可以包括如下步骤：
步骤11：利用待修正检测模型，对所获得的每一标注有待检测目标的模型样本进行视觉特征提取，确定出每一模型样本包含的至少一个疑似目标区域以及每一疑似目标区域对应的置信度，其中，待修正检测模型为：预先基于标注有待检测目标的数据训练所得的模型；
步骤12：基于第一置信度阈值以及每一疑似目标区域对应的置信度，从疑似目标区域中，确定出待筛选区域；
步骤13：将至少一个待筛选区域，输入目标数据筛选模型，确定出每一待筛选区域对应的数据类型；
步骤14：将包含有至少一个被确定为异常值类型的待筛选区域的模型样本，确定为困难样本。
本发明实施例中，该模型样本可以为图像和/或视频。一种情况中，当模型样本为视频时，电子设备可以预先将该视频拆分为各个视频帧，进而，利用上述困难样本的筛选过程，以从各个视频帧中筛选出作为困难样本的视频帧。
电子设备获得模型样本，其中，该模型样本为图像，可以利用该待修正检测模型对所获得的每一图像进行全图的视觉特征提取，例如，该待修正检测模型为神经网络模型，可以将该待修正检测模型的指定层的输出来表征全图的视觉特征；进而通过该待修正检测模型，对该指定层的输出进行局部化操作，以提取得到疑似目标所在区域的局部视觉特征，并确定出每一图像包含的至少一个疑似目标区域，即确定出每一图像包含的至少一个疑似目标区域在相应图像中的位置信息，并确定出每一疑似目标区域对应的置信度，其中，置信度可以表征所对应的疑似目标区域存在目标的可能性，当置信度表征所对应疑似目标区域存在目标的可能性非常低时，可以认为该类疑似目标区域为不存在目标的区域，该类疑似目标区域则被确认为不可作为确定困难样本的参考。
上述局部化操作可以包括但不限于：1x1卷积操作、Region Proposal(候选区域)提取操作、ROI pooling(Region of interest pooling，感兴趣区域池化) 操作等操作。该疑似目标区域表示：基于待修正检测模型所确定的模型样本中可能包含目标的区域，其中，每一疑似目标区域可以对应其所在区域的局部视觉特征。
其中，上述视觉特征可以为：待修正检测模型的指定层的输出中的图像特征，该视觉特征可以表征模型样本中目标的相关信息的信息，例如，表征模型样本中的目标所在位置、尺寸以及类型等相关信息的信息。
可以理解的是，在确定出模型样本包含的至少一个疑似目标区域之后，可以标记并记录每一模型样本与其包含的至少一个疑似目标区域之间的对应关系；或者，可以直接标记并记录每一模型样本与其包含的待筛选区域之间的对应关系，以用于后续的流程。
电子设备基于第一置信度阈值以及每一疑似目标区域对应的置信度，从疑似目标区域中，确定出所对应置信度表征其存在目标的可能性不太低的疑似目标区域，作为待筛选区域；进而，仅将待筛选区域，输入预先建立的数据筛选模型，确定出每一待筛选区域的数据类型，进而，将包含有至少一个被确定为异常值类型的待筛选区域的模型样本，确定为困难样本。可以在一定程度上滤除一部分疑似目标区域，在一定程度上节省后续的确定困难样本的确定时间以及计算资源。
在一种实现方式中，若置信度越高表征所对应疑似目标区域存在目标的可能性越大；步骤12，可以包括：基于第一置信度阈值以及每一疑似目标区域对应的置信度，从疑似目标区域中，确定出所对应置信度不低于第一置信度阈值的疑似目标区域，作为待筛选区域。其中，该所对应置信度不低于第一置信度阈值的疑似目标区域，则可以确定为所对应置信度表征其存在目标的可能性不太低的疑似目标区域。
在另一种实现方式中，若置信度越高表征所对应疑似目标区域存在目标的可能性越小，步骤12，可以包括：基于第一置信度阈值以及每一疑似目标区域对应的置信度，从疑似目标区域中，确定出所对应置信度不高于第一置信度阈值的疑似目标区域，作为待筛选区域。其中，该所对应置信度不高于第一置信度阈值的疑似目标区域，则可以确定为所对应置信度表征其存在目标的可能性不太低的疑似目标区域。
电子设备在确定出模型样本包含的至少一个待筛选区域之后，可以将至少一个待筛选区域，输入预先建立的数据筛选模型，确定出每一待筛选区域对应的数据类型，其中，上述待筛选区域对应的数据类型可以包括：正常值类型和异常值类型，该预先建立的数据筛选模型为：基于标定为正常值类型的数据和标定为异常值类型的数据训练所得的模型，标定为正常值类型的数据为：基于待修正检测模型确定的满足预设正确检测条件的数据，标定为异常值类型的数据为：待修正检测模型确定的满足预设错误检测条件的数据。其可以为神经网络模型。可以理解的是，该预先建立的数据筛选模型与待修正检测模型存在对应关系。
其中，若置信度越高表征所对应待筛选区域存在目标的可能性越大。一种情况，该满足预设正确检测条件的数据可以包括：基于待修正检测模型确定出所对应置信度不低于第一置信度阈值的候选目标区域；相应地，该满足预设错误检测条件的数据可以包括：基于预先建立的目标检测模型确定出所对应置信度低于第一置信度阈值的候选目标区域。
另一种情况，该满足预设正确检测条件的数据可以包括：基于待修正检测模型确定出所对应置信度不低于第一置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域；相应地，该满足预设错误检测条件的数据可以包括：基于待修正检测模型确定出的，除所对应置信度不低于第一置信度阈值的，和/或所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域。
另一种情况，该满足预设正确检测条件的数据可以包括：基于待修正检测模型确定出所对应置信度不低于第二置信度阈值的候选目标区域；相应地，该满足预设错误检测条件的数据可以包括：基于待修正检测模型确定出所对应置信度低于第二置信度阈值且不低于第一置信度阈值的候选目标区域，其中，第二置信度阈值大于第一置信度阈值。
另一种情况，该满足预设正确检测条件的数据可以包括：基于待修正检测模型确定出所对应置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域；相应地，该满足预设错误检测条件的数据可以包括：基于待修正检测模型确定出的，除所对应置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，以及所对应置信度低于第一置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域外的其他候选目标区域。
其中，该候选目标区域为：基于待修正检测模型，从图像中预测出的目标所在区域。候选目标区域对应的区域位置交并比可以表示：该区域对应的预测位置信息所表征的预测框，及其对应的标定位置信息所表征的标定框之间的交集和并集的比值，即该区域对应的预测框与该区域对应的标定框之间的第一面积与第二面积的比值，其中，第一面积为该区域对应的预测框与该区域对应的标定框之间的相重合的区域的面积；该第二面积为该区域对应的预测框与该区域对应的标定框所占面积总和，即该区域对应的预测框的所占面积与该区域对应的标定框所占面积的和，减去第一面积之后所得的面积。
该区域对应的预测位置信息为：待修正检测模型所输出的该区域的位置信息，该区域对应的标定位置信息为：所对应标定信息中该区域的位置信息。
一种情况，候选目标区域对应的置信度可以表示：该区域存在目标的可信度；另一种情况，若该预先建立的目标检测模型可以确定出每一疑似目标区域对应的类型，即预测的该疑似目标区域所存在的目标的类型，该候选目标区域对应的置信度可以表示：该区域存在目标且该目标的类型为所预测的类正确的可信度。
为了布局清楚，后续对预先建立的数据筛选模型的建立过程进行详细介绍，在此不再赘述。
可以理解的是，每一模型样本中可以包含不包含待筛选区域，或者可以包含至少一个待筛选区域，当模型样本中包含至少一个被确定为异常值类型的待筛选区域时，将该模型样本确定为困难样本。该困难样本可以指：该预先建立的目标检测模型比较容易漏检和误检的数据。
在一种实现方式中，在确定出困难样本之后，可以对该困难样本重新进行存储以及标注，并保存每一疑似目标区域与其对应的模型样本之间的对应关系。进而，利用该困难样本及其标定信息继续训练该待修正检测模型，即利用该困难样本及其标定信息，更新该待修正检测模型的参数，得到检测精度更高的预先建立的目标检测模型。
本发明实施例中，通过异常值检测的思想，利用模型样本的局部视觉特征，从模型样本中筛选出困难样本，即将困难样本作为异常值进行检查，以实现对困难样本的检测。实现对于训练数据中未出现过的困难样本，也能做到有效筛选，实现筛选的困难样本的准确率和查全率。进而，保证基于该预先建立的目标检测模型的检测结果更准确。
在本发明的另一实施例中，在步骤13之前，所述方法还可以包括：建立预先建立的数据筛选模型；其中，该过程包括：
步骤011：获得多个训练数据。
步骤012：获得初始的数据筛选模型。
步骤013：利用待修正检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度。
步骤014：基于预设置信度阈值以及候选目标区域对应的置信度，从候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据，其中，预设置信度阈值至少包括第二置信度阈值，第二置信度阈值大于第一置信度阈值。
步骤015：基于标定为正常值类型的数据、标定为异常值类型的数据以及初始的数据筛选模型，训练得到预先建立的数据筛选模型。
本发明实施例，电子设备在建立预先建立的数据筛选模型的过程中，可以首先获得多个用于训练该预先建立的数据筛选模型的训练数据，其中，该训练数据可以为图像和/或视频，每一训练数据中标注有待检测目标。电子设备获得初始的数据筛选模型；电子设备将每一训练数据输入待修正检测模型，通过待修正检测模型对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度。电子设备获得预设置信度阈值，基于预设置信度阈值以及候选目标区域对应的置信度，从候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据；进而，基于标定为正常值类型的数据、标定为异常值类型的数据以及初始的数据筛选模型，训练得到预先建立的数据筛选模型。
其中，候选目标区域为：预先建立的目标检测模型预测的可能存在目标的区域。
一种情况，上述步骤014的过程，可以是：将每一候选目标区域对应的置信度与该预设置信度阈值中的第二置信度阈值进行比较，将多个候选目标区域分为两组，分别为：所对应置信度不低于第二置信度阈值的一组候选目标区域，以及所对应置信度低于第二置信度阈值的一组候选目标区域。
后续的，以置信度越高表征所对应疑似目标区域存在目标的可能性越大的情况为例说明：电子设备可以直接将所对应置信度不低于第二置信度阈值的一组候选目标区域，作为满足预设正确检测条件的候选目标区域，并标定为正常值类型的数据。将所对应置信度低于第二置信度阈值的一组候选目标区域，作为满足预设错误检测条件的候选目标区域，标定为异常值类型的数据。
另一种情况，上述预设置信度阈值包括第一置信度阈值和第二置信度阈值，上述步骤014的过程，可以是：将每一候选目标区域对应的置信度分别与该预设置信度阈值中的第一置信度阈值和第二置信度阈值进行比较，将多个候选目标区域分为三组，分别为：所对应置信度不低于第二置信度阈值的一组候选目标区域，所对应置信度低于第二置信度阈值且不低于第一置信度阈值的一组候选目标区域，以及所对应置信度低于第一置信度阈值的一组候选目标区域。
后续的，以置信度越高表征所对应疑似目标区域存在目标的可能性越大的情况为例说明：电子设备可以直接将所对应置信度不低于第二置信度阈值的一组候选目标区域，作为满足预设正确检测条件的候选目标区域，并标定为正常值类型的数据。将所对应置信度低于第一置信度阈值的一组候选目标区域，作为满足预设错误检测条件的候选目标区域，标定为异常值类型的数据。
上述初始的数据筛选模型可以为：采用无监督学习思想的异常值检测方法设置的模型，该初始的数据筛选模型可以采用的异常值检测(anomaly detection或noveltydetection)算法，包括但不限于LOF(Local Outlier Factor, 局部离群因子检测方法)算法、ABOD(Angle-Based Outlier Detection，基于角度的异常值检测)算法、HBOS(Histogram-based Outlier Score，基于直方图的异常值检测)算法等，进一步地，可以在多个单一模型上使用集成算法，如Isolation Forest(孤立森林)算法、XGBOD(ExtremeGradient Boosting Outlier Detection，极端梯度提升异常值检测方法)算法等。
上述基于标定为正常值类型的数据、标定为异常值类型的数据以及初始的数据筛选模型，训练得到预先建立的数据筛选模型的过程，可以是：将标定为正常值类型的数据以及标定为异常值类型的数据，输入该初始的数据筛选模型；通过该初始的数据筛选模型，提取每一数据的数据特征，进而，基于每一数据的数据特征，确定每一数据的当前数据类型，即该当前数据类型为正常值类型或异常值类型；将每一数据的当前数据类型及其标定的数据类型进行匹配，若匹配成功，且统计得到匹配成功的次数超过预设次数，或确定匹配成功的次数占训练数据的个数的占比超过预设比例，确定该初始的数据筛选模型收敛，得到该预先建立的数据筛选模型；若匹配失败，调整该初始的数据筛选模型的参数，并返回执行将标定为正常值类型的数据以及标定为异常值类型的数据，输入该初始的数据筛选模型的步骤，直至匹配成功，且统计得到匹配成功的次数超过预设次数，或确定匹配成功的次数占训练数据的个数的占比超过预设比例，确定该初始的数据筛选模型收敛，得到该预先建立的数据筛选模型。
其中，上述匹配成功即数据的当前数据类型与其标定的数据类型相同。
其中，上述数据包括该标定为正常值类型的数据和标定为异常值类型的数据，其可以均为图像，相应的，该数据的数据特征为图像特征。
上述确定模型收敛的方式仅作为一种示例，相关技术中任一可以确定模型收敛的方式均可应用于本发明实施例中。
在本发明的另一实施例中，电子设备还可以获得每一训练数据对应的包含该训练数据中目标区域的标定位置信息的标定信息，其中，该目标区域为：真实存在目标的区域。在电子设备获得上述标定信息的情况下，上述步骤01 可以包括如下步骤：
步骤016：获得多个训练数据。
步骤017：获得每一训练数据对应的标定信息，其中，标定信息包括：表征所对应训练数据中目标区域的标定位置信息。
步骤018：获得初始的数据筛选模型。
步骤019：将多个训练数据以及每一训练数据对应的标定信息，输入预先建立的目标检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度和区域位置交并比，其中，区域位置交并比为：所对应候选目标区域对应的预测位置信息所表征的预测框，及其对应的标定位置信息所表征的标定框之间的交集和并集的比值。
步骤0110：基于预设置信度阈值、区域位置交并比阈值以及候选目标区域对应的置信度和区域位置交并比，从候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据，其中，所述预设置信度阈值至少包括第一置信度阈值。
步骤0111：基于标定为正常值类型的数据、标定为异常值类型的数据以及初始的数据筛选模型，训练得到预先建立的数据筛选模型。
其中，步骤016与步骤011相同，步骤018于步骤012相同，步骤019 为步骤013的一种实现方式，步骤0110为步骤014的一种实现方式，步骤 0111与步骤0115相同。
本实现方式中，在每一训练数据还对应有其标定信息时，每一训练数据对应的标定信息包括：该训练数据中所包括的待检测目标所在区域的标定位置信息；电子设备在确定满足预设正确检测条件的候选目标区域和满足预设错误检测条件的候选目标区域，即确定候选目标区域对应的数据类型时，不仅可以依赖利用待修正检测模型确定出的每一候选目标区域对应的置信度，还可以结合利用待修正检测模型确定出的每一候选目标区域对应的区域位置交并比，即预先利用待修正检测模型确定出候选目标区域对应的预测位置信息所表征的预测框，及其对应的标定位置信息所表征的标定框之间的交集和并集的比值，来确定候选目标区域对应的数据类型。以在一定程度上，确定出准确性更高的候选目标区域对应的数据类型，进而提高训练所得的预先建立的数据筛选模型的检测结果的精确度。
在一种实现方式中，该预设置信度阈值可以包括第二置信度阈值；
所述步骤0110，可以通过如下两种实现方式实现：
第一种实现方式：
从候选目标区域中，确定出所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；
将候选目标区域中除标定为正常值类型的数据外的候选目标区域，标定为异常值类型的数据。
本实现方式中，直接将候选目标区域分为两类，即所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；将候选目标区域中除标定为正常值类型的数据外的候选目标区域，标定为异常值类型的数据。在一定程度上节省计算时间。
第二种实现方式：
从候选目标区域中，确定出所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；
从候选目标区域中，确定出所对应的置信度低于第二置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域，作为无用数据；
从候选目标区域中，确定出除标定为正常值类型的数据和无用数据外的候选目标区域，标定为异常值类型的数据。
本实现方式中，对于所对应的置信度低于第二置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域，即无用数据来说，其以较低置信度且较低区域位置交并比，被确定为候选目标区域，此时可以认为该候选目标区域中存在目标的可能性非常低，即认为不会存在目标，可以直接认为该种类型的候选目标区域不为困难样本。本实现方式中，将所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；且，从候选目标区域中，确定出除标定为正常值类型的数据和无用数据外的候选目标区域，并标定为异常值类型的数据。
其中，如图3A所示，基于该第二置信度阈值以及区域位置交并比阈值，对候选目标区域进行分类的一种示例图。图3A中IoU(Intersection-over-Union) 表示候选目标区域对应的区域位置交并比，score表示候选目标区域对应的置信度，threshold1表示第二置信度阈值，threshold2表示区域位置交并比阈值。如图3A所示，基于该第二置信度阈值以及区域位置交并比阈值，可以将候选目标区域确定为四种组，分别为：“正确检出”组、“误检”组、“漏检”组以及“无关”组。其中，“正确检出”组包括：所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域；“误检”组包括：所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域；“漏检”组包括：所对应的置信度低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域；“无关”组包括：所对应的置信度低于第二置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域。
可以理解的是，“正确检出”组所包括的候选目标区域为：基于待修正检测模型预测的目标的位置和类型与真实情形一致的区域；电子设备可以直接将该组中的候选目标区域标定为正常值类型的数据。
“误检”组所包括的候选目标区域为：基于待修正检测模型以较大置信度预测存在目标，而实际不存在目标的区域。“漏检”组所包括的候选目标区域为：基于待修正检测模型以较小置信度预测存在目标，而实际存在目标的区域；“无关”组所包括的候选目标区域为：基于待修正检测模型以较低置信度预测存在目标，而实际不存在目标的区域。
一种情况，电子设备可以直接将“误检”组、“漏检”组以及“无关”组所包括的所有候选目标区域，均标定为异常值类型的数据。另一种情况，电子设备可以直接将“误检”组和“漏检”组所包括的所有候选目标区域，均标定为异常值类型的数据。
其中，不同组对应的椭圆的面积可以表示该组所包含的候选目标区域的个数。其中，所对应的椭圆的面积越大，表示该组所包含的候选目标区域的个数越多。
在一种情况中，“正确检出”组和“无关”组所包括的候选目标区域占总候选目标区域的比例较高，而“误检”组和“漏检”组所包括的候选目标区域占总候选目标区域的比例较低。如果使用异常检测的思想来看待数据，若将“误检”组、“漏检”组以及“无关”组所包括的所有候选目标区域，均标定为异常值类型的数据，则标定为异常值类型的数据太多，不符合异常检测的一般假设，即异常值类型的数据为罕见、少数的。若将“误检”组和“漏检”组所包括的所有候选目标区域，标定为异常值类型的数据，则会在一定程度上影响后续的修正所得的预先建立的目标检测模型的性能。
在另一种实现方式中，该预设置信度阈值包括第一置信度阈值和第二置信度阈值，其中，第二置信度阈值大于第一置信度阈值；
所述步骤0110，可以包括：
从候选目标区域中，确定出所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；
从候选目标区域中，确定出所对应的置信度低于第一置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域，作为无用数据；
从候选目标区域中，确定出除标定为正常值类型的数据和无用数据外的候选目标区域，标定为异常值类型的数据。
本实现方式中，通过关于置信度的双阈值，即第一置信度阈值和第二置信度阈值，以及区域位置交并比阈值，可以将候选目标区域分为六类，如图 3B所示，分别为：所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，即为“正常检出”组的区域；所对应的置信度不低于第二置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域，即为“误检”组的区域；所对应的置信度低于第二置信度阈值且不低于第一置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域，即为“低分误检”组的区域；所对应的置信度低于第二置信度阈值且不低于第一置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，即为“高分漏检”组的区域；所对应的置信度低于第一置信度阈值的，且所对应区域位置交并比低于区域位置交并比阈值的候选目标区域，即为“无关”组的区域；以及所对应的置信度低于第一置信度阈值的，且所对应区域位置交并比不低于区域位置交并比阈值的候选目标区域，即为“低分漏检”组的区域。图3B中IoU表示候选目标区域对应的区域位置交并比，score表示候选目标区域对应的置信度，threshold1表示第二置信度阈值，threshold2表示区域位置交并比阈值，threshold3表示第一置信度阈值。
本实现方式中，将“正常检出”组的区域标定为正常值类型的数据，且将除“正常检出”组和“无关”组的区域外的其他组的区域，标定为异常值类型的数据。在一定程度上保证标定为异常值类型的数据的数据量不特别多，且不特别少，以在符合异常检测的一般假设的同时，保证训练所得的预先建立的数据筛选模型的性能。
图4为本发明实施例提供的车辆的换道控制装置的一种结构示意图。该装置包括：
第一获得模块410，被配置为在当前车辆需要路径变换时，获得当前车辆的速度、位置、加速度以及所述当前车辆的图像采集设备采集的当前道路图像；
检测模块420，被配置为基于预先建立的目标检测模型，从所述当前道路图像中检测出所述当前车辆对应的当前他车，所述当前他车包括：在所述当前车辆所在第一当前车道上的前车以及所述当前车辆执行路径变换后对应的第一目标车道上的前车和后车，所述目标检测模型为：基于标注有待检测目标的困难样本和待修正检测模型训练所得的模型，所述困难样本为：基于预先建立的目标数据筛选模型所筛选出的模型样本，所述目标数据筛选模型为：基于标定为正常值类型的数据和标定为异常值类型的数据训练所得的模型，所述标定为正常值类型的数据为：基于所述目标检测模型对应的待修正检测模型确定的满足预设正确检测条件的数据，所述标定为异常值类型的数据为：所述待修正检测模型确定的满足预设错误检测条件的数据；
第一确定模块430，被配置为基于所述当前道路图像，确定每一当前他车相对于所述当前车辆的朝向信息；
第二确定模块440，被配置为针对每一当前他车，基于所述当前车辆的位置、该当前他车相对于所述当前车辆的朝向信息以及该当前他车与所述当前车辆之间的距离，确定出该当前他车的位置；
第二获得模块450，被配置为获得每一当前他车的速度和加速度；
变道控制模块460，被配置为根据所述当前车辆的速度、位置、加速度以及所述当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和当前他车的速度、位置和加速度，与所述当前车辆进行路径更换时的目标行驶路径相关联。
应用本发明实施例，在当前车辆需要路径变换时，利用基于困难样本修正后的目标检测模型，提高了对当前道路中图像中当前他车的检测准确性，并基于当前道路图像中检测准确的当前他车所在区域图像，确定每一当前他车相对于当前车辆的朝向信息，进而，结合当前车辆的位置、以及每一当前他车与当前车辆之间的距离，确定出每一当前他车的位置，以得到每一当前他车的当前运动信息，即速度、位置和加速度；后续的，如果根据当前车辆的当前运动信息和当前他车的当前运动信息，能够获取到基于路径变换模型生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照目标行驶路径执行路径变换操作。相对于直接根据自车和他车的运动信息，通过不断迭代的方式生成目标行驶路径，本实施例应用神经网络以实现提升路径规划的准确度和效率，并通过基于困难样本修正后的目标检测模型，提高了对图像中他车的检测准确性，进而更好的保障路径规划的准确性。
在本发明的另一实施例中，所述装置还包括：碰撞检测模块，被配置为在按照所述目标行驶路径执行路径变换操作之前，根据所述目标行驶路径各离散点所对应的运动学参数值，对所述当前车辆和所述当前他车进行碰撞检测；状态保持模块，被配置为如果检测结果为所述当前车辆与当前他车会产生碰撞，则保持当前车辆在当前车道的行驶状态；如果检测结果为所述当前车辆与当前他车不会产生碰撞，则触发所述变道控制模块。
在本发明的另一实施例中，所述装置还包括：第一模型训练模块，被配置为在所述根据所述当前车辆的速度、位置、加速度以及所述当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作之前，训练得到所述路径变换模型，其中，所述第一模型训练模块，被具体被配置为：获得所述当前车辆在历史时刻需要进行路径变换时自车的历史速度、历史位置、历史加速度，以及所述当前车辆的图像采集设备采集的历史道路图像；
基于所述目标检测模型，从所述历史道路图像中检测出所述当前车辆对应的历史他车，所述历史他车包括：在所述当前车辆在所述历史时刻时所在第二当前车道上的前车以及所述当前车辆执行路径变换后对应的第二目标车道上的前车和后车；
基于所述历史道路图像，确定所述历史道路图像对应的每一历史他车相对于所述当前车辆的历史朝向信息；
针对每一历史他车，基于所述当前车辆的历史位置、该历史他车相对于所述当前车辆的历史朝向信息以及该历史他车与所述当前车辆之间的距离，确定出该历史他车的历史位置；
获得每一历史他车的历史速度和历史加速度；
根据所述自车的历史运动信息，以及所述历史他车的历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的历史规划路径，其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系，所述自车的历史运动信息包括：所述自车的历史速度、历史位置和历史加速度，所述历史他车的历史运动信息包括：所述历史他车的历史速度、历史位置和历史加速度；
对所述历史规划路径进行路径变换效果的检测，并将所述检测结果中达到预设路径变换要求的历史行驶路径和对应的历史运动信息作为训练样本集；
利用所述训练样本集对初始神经网络模型进行训练，得到车辆的路径变换模型，所述路径变换模型使得当前车辆和历史他车的运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
在本发明的另一实施例中，所述规划路径的生成采用迭代的方式，将每次根据所述自车的历史运动信息和所述历史他车的历史运动信息，得到的满足所述车辆位置约束的运动学参数值，作为下次迭代的输入，直到生成使得预设目标函数最小的规划路径；
其中，所述车辆位置约束包括：所述当前车辆在第二当前车道时，当前车辆的纵向位置小于在运行方向上前车的纵向位置；所述当前车辆在执行车道变换后行驶到第二目标车道时，当前车辆的纵向位置大于在所述运行方向上当前车辆后车的纵向位置，且小于当前车辆前车的纵向位置；
所述目标函数为
Figure RE-GDA0002182717930000241
其中，c1为系数，a为加速度， y为车辆的横向位置，ygoal为车辆在第二目标车道的横向位置。
在本发明的另一实施例中，所述装置还包括：
筛选模块，被配置为在所述基于预先建立的目标检测模型，从所述当前道路图像中检测出所述当前车辆对应的当前他车之前，从所述待修正检测模型对应的标注有待检测目标的模型样本中，筛选出用于修正所述待修正检测模型的困难样本，以基于标注有待检测目标的困难样本和所述待修正检测模型，训练得到所述目标检测模型的过程，其中，所述筛选模块包括：
第一确定单元，被配置为利用所述待修正检测模型，对所获得的每一标注有待检测目标的模型样本进行视觉特征提取，确定出每一模型样本包含的至少一个疑似目标区域以及每一疑似目标区域对应的置信度，其中，所述待修正检测模型为：预先基于标注有待检测目标的数据训练所得的模型；
第二确定单元，被配置为基于第一置信度阈值以及每一疑似目标区域对应的置信度，从所述疑似目标区域中，确定出待筛选区域；
第三确定单元，被配置为将所述至少一个待筛选区域，输入所述目标数据筛选模型，确定出每一待筛选区域对应的数据类型；
第四确定单元，被配置为将包含有至少一个被确定为异常值类型的待筛选区域的模型样本，确定为困难样本。
在本发明的另一实施例中，所述筛选模块还包括：
模型训练单元，被配置为在所述将所述至少一个待筛选区域，输入所述目标数据筛选模型，确定出每一待筛选区域的数据类型之前，建立所述目标数据筛选模型；其中，所述模型训练单元包括：
第一获得子模块，被配置为获得多个训练数据；
第二获得子模块，被配置为获得初始的数据筛选模型；
第一确定子模块，被配置为利用所述待修正检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度；
第二确定子模块，被配置为基于预设置信度阈值以及所述候选目标区域对应的置信度，从所述候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据，其中，所述预设置信度阈值至少包括第一置信度阈值；
训练子模块，被配置为基于所述标定为正常值类型的数据、所述标定为异常值类型的数据以及初始的数据筛选模型，训练得到所述目标数据筛选模型。
在本发明的另一实施例中，所述模型训练单元还包括：第三获得子模块，被配置为在所述利用所述待修正检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度之前，获得每一训练数据对应的标定信息，其中，所述标定信息包括：表征所对应训练数据中目标区域的标定位置信息；
所述第一确定子模块，被具体配置为将所述多个训练数据以及每一训练数据对应的标定信息，输入所述待修正检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度和区域位置交并比，其中，所述区域位置交并比为：所对应候选目标区域对应的预测位置信息所表征的预测框，及其对应的标定位置信息所表征的标定框之间的交集和并集的比值；
所述第二确定子模块，被具体配置为基于预设置信度阈值、区域位置交并比阈值以及所述候选目标区域对应的置信度和区域位置交并比，从所述候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据，其中，所述预设置信度阈值至少包括第二置信度阈值，所述第二置信度阈值大于第一置信度阈值。
在本发明的另一实施例中，所述预设置信度阈值包括所述第二置信度阈值；所述第二确定子模块，被具体配置为从所述候选目标区域中，确定出所对应的置信度不低于所述第二置信度阈值的，且所对应区域位置交并比不低于所述区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；将所述候选目标区域中除所述标定为正常值类型的数据外的候选目标区域，标定为异常值类型的数据；
或，被具体配置为从所述候选目标区域中，确定出所对应的置信度不低于所述第二置信度阈值的，且所对应区域位置交并比不低于所述区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；从所述候选目标区域中，确定出所对应的置信度低于所述第二置信度阈值的，且所对应区域位置交并比低于所述区域位置交并比阈值的候选目标区域，作为无用数据；从所述候选目标区域中，确定出除所述标定为正常值类型的数据和所述无用数据外的候选目标区域，标定为异常值类型的数据。
在本发明的另一实施例中，所述预设置信度阈值包括所述第一置信度阈值和所述第二置信度阈值，其中，所述第二置信度阈值大于所述第一置信度阈值；所述第二确定子模块，被具体配置为从所述候选目标区域中，确定出所对应的置信度不低于所述第二置信度阈值的，且所对应区域位置交并比不低于所述区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；从所述候选目标区域中，确定出所对应的置信度低于所述第一置信度阈值的，且所对应区域位置交并比低于所述区域位置交并比阈值的候选目标区域，作为无用数据；从所述候选目标区域中，确定出除所述标定为正常值类型的数据和所述无用数据外的候选目标区域，标定为异常值类型的数据。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种车辆的换道控制方法，其特征在于，所述方法包括：
在当前车辆需要路径变换时，获得当前车辆的速度、位置、加速度以及所述当前车辆的图像采集设备采集的当前道路图像；
基于预先建立的目标检测模型，从所述当前道路图像中检测出所述当前车辆对应的当前他车，所述当前他车包括：在所述当前车辆所在第一当前车道上的前车以及所述当前车辆执行路径变换后对应的第一目标车道上的前车和后车，所述目标检测模型为：基于标注有待检测目标的困难样本和待修正检测模型训练所得的模型，所述困难样本为：基于预先建立的目标数据筛选模型所筛选出的模型样本，所述目标数据筛选模型为：基于标定为正常值类型的数据和标定为异常值类型的数据训练所得的模型，所述标定为正常值类型的数据为：基于所述目标检测模型对应的待修正检测模型确定的满足预设正确检测条件的数据，所述标定为异常值类型的数据为：所述待修正检测模型确定的满足预设错误检测条件的数据；
基于所述当前道路图像，确定每一当前他车相对于所述当前车辆的朝向信息；
针对每一当前他车，基于所述当前车辆的位置、该当前他车相对于所述当前车辆的朝向信息以及该当前他车与所述当前车辆之间的距离，确定出该当前他车的位置；
获得每一当前他车的速度和加速度；
根据所述当前车辆的速度、位置、加速度以及所述当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；
其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和当前他车的速度、位置和加速度，与所述当前车辆进行路径更换时的目标行驶路径相关联。
2.如权利要求1所述的方法，其特征在于，在按照所述目标行驶路径执行路径变换操作之前，所述方法还包括：
根据所述目标行驶路径各离散点所对应的运动学参数值，对所述当前车辆和所述当前他车进行碰撞检测；
相应的，如果检测结果为所述当前车辆与当前他车会产生碰撞，则保持当前车辆在当前车道的行驶状态；
如果检测结果为所述当前车辆与当前他车不会产生碰撞，则按照所述目标行驶路径执行车道变换动作。
3.如权利要求1所述的方法，其特征在于，在所述根据所述当前车辆的速度、位置、加速度以及所述当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作的步骤之前，所述方法还包括：
训练得到所述路径变换模型的过程，其中，所述过程，包括：
获得所述当前车辆在历史时刻需要进行路径变换时自车的历史速度、历史位置、历史加速度，以及所述当前车辆的图像采集设备采集的历史道路图像；
基于所述目标检测模型，从所述历史道路图像中检测出所述当前车辆对应的历史他车，所述历史他车包括：在所述当前车辆在所述历史时刻时所在第二当前车道上的前车以及所述当前车辆执行路径变换后对应的第二目标车道上的前车和后车；
基于所述历史道路图像，确定所述历史道路图像对应的每一历史他车相对于所述当前车辆的历史朝向信息；
针对每一历史他车，基于所述当前车辆的历史位置、该历史他车相对于所述当前车辆的历史朝向信息以及该历史他车与所述当前车辆之间的距离，确定出该历史他车的历史位置；
获得每一历史他车的历史速度和历史加速度；
根据所述自车的历史运动信息，以及所述历史他车的历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的历史规划路径，其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系，所述自车的历史运动信息包括：所述自车的历史速度、历史位置和历史加速度，所述历史他车的历史运动信息包括：所述历史他车的历史速度、历史位置和历史加速度；
对所述历史规划路径进行路径变换效果的检测，并将所述检测结果中达到预设路径变换要求的历史行驶路径和对应的历史运动信息作为训练样本集；
利用所述训练样本集对初始神经网络模型进行训练，得到车辆的路径变换模型，所述路径变换模型使得当前车辆和历史他车的运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
4.根据权利要求3所述的方法，其特征在于，所述规划路径的生成采用迭代的方式，将每次根据所述自车的历史运动信息和所述历史他车的历史运动信息，得到的满足所述车辆位置约束的运动学参数值，作为下次迭代的输入，直到生成使得预设目标函数最小的规划路径；
其中，所述车辆位置约束包括：
所述当前车辆在第二当前车道时，当前车辆的纵向位置小于在运行方向上前车的纵向位置；
所述当前车辆在执行车道变换后行驶到第二目标车道时，当前车辆的纵向位置大于在所述运行方向上当前车辆后车的纵向位置，且小于当前车辆前车的纵向位置；
所述目标函数为
Figure FDA0003420296700000031
其中，c1为系数，a为加速度，y为车辆的横向位置，ygoal为车辆在第二目标车道的横向位置。
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述基于预先建立的目标检测模型，从所述当前道路图像中检测出所述当前车辆对应的当前他车的步骤之前，还包括：
从所述待修正检测模型对应的标注有待检测目标的模型样本中，筛选出用于修正所述待修正检测模型的困难样本，以基于标注有待检测目标的困难样本和所述待修正检测模型，训练得到所述目标检测模型的过程，其中，所述过程包括：
利用所述待修正检测模型，对所获得的每一标注有待检测目标的模型样本进行视觉特征提取，确定出每一模型样本包含的至少一个疑似目标区域以及每一疑似目标区域对应的置信度，其中，所述待修正检测模型为：预先基于标注有待检测目标的数据训练所得的模型；
基于第一置信度阈值以及每一疑似目标区域对应的置信度，从所述疑似目标区域中，确定出待筛选区域；
将所述至少一个待筛选区域，输入所述目标数据筛选模型，确定出每一待筛选区域对应的数据类型；
将包含有至少一个被确定为异常值类型的待筛选区域的模型样本，确定为困难样本。
6.如权利要求5所述的方法，其特征在于，在所述将所述至少一个待筛选区域，输入所述目标数据筛选模型，确定出每一待筛选区域的数据类型的步骤之前，所述方法还包括：
建立所述目标数据筛选模型的过程；其中，所述过程包括：
获得多个训练数据；
获得初始的数据筛选模型；
利用所述待修正检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度；
基于预设置信度阈值以及所述候选目标区域对应的置信度，从所述候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据，其中，所述预设置信度阈值至少包括第一置信度阈值；
基于所述标定为正常值类型的数据、所述标定为异常值类型的数据以及初始的数据筛选模型，训练得到所述目标数据筛选模型。
7.如权利要求6所述的方法，其特征在于，在所述利用所述待修正检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度的步骤之前，所述方法还包括：
获得每一训练数据对应的标定信息，其中，所述标定信息包括：表征所对应训练数据中目标区域的标定位置信息；
所述利用所述待修正检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度的步骤，包括：
将所述多个训练数据以及每一训练数据对应的标定信息，输入所述待修正检测模型，对每一训练数据进行视觉特征提取，确定出每一训练数据包含的至少一个候选目标区域及每一候选目标区域对应的置信度和区域位置交并比，其中，所述区域位置交并比为：所对应候选目标区域对应的预测位置信息所表征的预测框，及其对应的标定位置信息所表征的标定框之间的交集和并集的比值；
所述基于预设置信度阈值以及所述候选目标区域对应的置信度，从所述候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据的步骤，包括：
基于预设置信度阈值、区域位置交并比阈值以及所述候选目标区域对应的置信度和区域位置交并比，从所述候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据，其中，所述预设置信度阈值至少包括第二置信度阈值，所述第二置信度阈值大于第一置信度阈值。
8.如权利要求7所述的方法，其特征在于，所述预设置信度阈值包括所述第二置信度阈值；
所述基于预设置信度阈值、区域位置交并比阈值以及所述候选目标区域对应的置信度和区域位置交并比，从所述候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据的步骤，可以通过如下任一种实现方式实现：
第一种实现方式：
从所述候选目标区域中，确定出所对应的置信度不低于所述第二置信度阈值的，且所对应区域位置交并比不低于所述区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；
将所述候选目标区域中除所述标定为正常值类型的数据外的候选目标区域，标定为异常值类型的数据；
第二种实现方式：
从所述候选目标区域中，确定出所对应的置信度不低于所述第二置信度阈值的，且所对应区域位置交并比不低于所述区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；
从所述候选目标区域中，确定出所对应的置信度低于所述第二置信度阈值的，且所对应区域位置交并比低于所述区域位置交并比阈值的候选目标区域，作为无用数据；
从所述候选目标区域中，确定出除所述标定为正常值类型的数据和所述无用数据外的候选目标区域，标定为异常值类型的数据。
9.如权利要求7所述的方法，其特征在于，所述预设置信度阈值包括所述第一置信度阈值和所述第二置信度阈值，其中，所述第二置信度阈值大于所述第一置信度阈值；
所述基于预设置信度阈值、区域位置交并比阈值以及所述候选目标区域对应的置信度和区域位置交并比，从所述候选目标区域中，确定出满足预设正确检测条件的候选目标区域，标定为正常值类型的数据；并确定出满足预设错误检测条件的候选目标区域，标定为异常值类型的数据的步骤，包括：
从所述候选目标区域中，确定出所对应的置信度不低于所述第二置信度阈值的，且所对应区域位置交并比不低于所述区域位置交并比阈值的候选目标区域，标定为正常值类型的数据；
从所述候选目标区域中，确定出所对应的置信度低于所述第一置信度阈值的，且所对应区域位置交并比低于所述区域位置交并比阈值的候选目标区域，作为无用数据；
从所述候选目标区域中，确定出除所述标定为正常值类型的数据和所述无用数据外的候选目标区域，标定为异常值类型的数据。
10.一种车辆的换道控制装置，其特征在于，包括：
第一获得模块，被配置为在当前车辆需要路径变换时，获得当前车辆的速度、位置、加速度以及所述当前车辆的图像采集设备采集的当前道路图像；
检测模块，被配置为基于预先建立的目标检测模型，从所述当前道路图像中检测出所述当前车辆对应的当前他车，所述当前他车包括：在所述当前车辆所在第一当前车道上的前车以及所述当前车辆执行路径变换后对应的第一目标车道上的前车和后车，所述目标检测模型为：基于标注有待检测目标的困难样本和待修正检测模型训练所得的模型，所述困难样本为：基于预先建立的目标数据筛选模型所筛选出的模型样本，所述目标数据筛选模型为：基于标定为正常值类型的数据和标定为异常值类型的数据训练所得的模型，所述标定为正常值类型的数据为：基于所述目标检测模型对应的待修正检测模型确定的满足预设正确检测条件的数据，所述标定为异常值类型的数据为：所述待修正检测模型确定的满足预设错误检测条件的数据；
第一确定模块，被配置为基于所述当前道路图像，确定每一当前他车相对于所述当前车辆的朝向信息；
第二确定模块，被配置为针对每一当前他车，基于所述当前车辆的位置、该当前他车相对于所述当前车辆的朝向信息以及该当前他车与所述当前车辆之间的距离，确定出该当前他车的位置；
第二获得模块，被配置为获得每一当前他车的速度和加速度；
变道控制模块，被配置为根据所述当前车辆的速度、位置、加速度以及所述当前他车的速度、位置和加速度，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和当前他车的速度、位置和加速度，与所述当前车辆进行路径更换时的目标行驶路径相关联。
CN201910687303.8A 2019-07-29 2019-07-29 一种车辆的换道控制方法及装置 Active CN112298194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910687303.8A CN112298194B (zh) 2019-07-29 2019-07-29 一种车辆的换道控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910687303.8A CN112298194B (zh) 2019-07-29 2019-07-29 一种车辆的换道控制方法及装置

Publications (2)

Publication Number Publication Date
CN112298194A CN112298194A (zh) 2021-02-02
CN112298194B true CN112298194B (zh) 2022-05-13

Family

ID=74329820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910687303.8A Active CN112298194B (zh) 2019-07-29 2019-07-29 一种车辆的换道控制方法及装置

Country Status (1)

Country Link
CN (1) CN112298194B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113008256A (zh) * 2021-02-18 2021-06-22 恒大新能源汽车投资控股集团有限公司 自动泊车路径的规划方法、规划装置以及存储介质
CN114379576B (zh) * 2021-12-15 2022-11-11 禾多科技（北京）有限公司 变道信息提示方法、装置、电子设备和计算机可读介质
CN114838796B (zh) * 2022-04-29 2023-06-09 合肥市正茂科技有限公司 视觉辅助车辆动态称重方法与称重系统
CN116644373B (zh) * 2023-07-27 2023-10-31 广东小途汽车科技有限公司 基于人工智能的汽车流量数据分析管理系统
CN116714591B (zh) * 2023-08-09 2023-10-24 福瑞泰克智能系统有限公司 换道意图的生成方法、装置和存储介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3154835A1 (en) * 2014-06-10 2017-04-19 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
JP6488226B2 (ja) * 2015-12-07 2019-03-20 株式会社豊田中央研究所 走路パラメータ推定装置及びプログラム
US10139831B2 (en) * 2017-03-17 2018-11-27 Denso International America, Inc. Vehicle system and vehicle controller for controlling vehicle
US10583839B2 (en) * 2017-12-28 2020-03-10 Automotive Research & Testing Center Method of lane change decision-making and path planning
CN109920246B (zh) * 2019-02-22 2022-02-11 重庆邮电大学 一种基于v2x通信与双目视觉的协同局部路径规划方法

Also Published As

Publication number Publication date
CN112298194A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112298194B (zh) 一种车辆的换道控制方法及装置
CN111488795B (zh) 应用于无人驾驶车辆的实时行人跟踪方法
CN104318258B (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN112417926B (zh) 车位识别方法、装置、计算机设备及可读存储介质
Apostoloff et al. Robust vision based lane tracking using multiple cues and particle filtering
CN111932580A (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
JP7078021B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111491093B (zh) 一种摄像头视场角的调整方法和装置
CN110738690A (zh) 一种基于多目标追踪框架的无人机视频中车速校正方法
CN104282020A (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN115049700A (zh) 一种目标检测方法及装置
CN111149131B (zh) 区划线识别装置
CN110568861B (zh) 一种人机运动障碍物监测方法、可读存储介质和无人机
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN107066968A (zh) 基于目标识别和跟踪的融合策略的车载行人检测方法
CN105069451B (zh) 一种基于双目摄像头的车牌识别与定位方法
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
KR20180070258A (ko) 주행상황에서의 동시적 물체 인식 및 학습 방법
CN115861968A (zh) 一种基于实时点云数据的动态障碍物剔除方法
CN112232257A (zh) 一种交通异常确定方法、装置、设备及介质
CN113673383B (zh) 一种面向复杂道路场景的时空域障碍物检测方法及系统
CN115755888A (zh) 多传感器数据融合的agv障碍物检测系统及避障方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211125

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant