CN111428571A - 一种车辆引导方法、装置、设备及存储介质 - Google Patents
一种车辆引导方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111428571A CN111428571A CN202010128575.7A CN202010128575A CN111428571A CN 111428571 A CN111428571 A CN 111428571A CN 202010128575 A CN202010128575 A CN 202010128575A CN 111428571 A CN111428571 A CN 111428571A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- current vehicle
- motion planning
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 67
- 230000006399 behavior Effects 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000010801 machine learning Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 9
- 210000005252 bulbus oculi Anatomy 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000270272 Coluber Species 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种车辆引导方法、装置、设备及存储介质，该方法包括：获取当前车辆的目标环境信息和目标行驶信息；对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息；将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果；所述预设驾驶行为模型基于样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到；基于所述目标运动规划结果，显示所述当前车辆对应的引导信息。本申请能够在特定场景下自动生成相应的目标运动规划结果，对驾驶策略提供参考，从而为驾驶员提供一种全新的驾驶体验。
Description
技术领域
本申请属于汽车辅助驾驶技术领域，具体涉及一种车辆引导方法、装置、设备及存储介质。
背景技术
先进的传感器技术和环境模型算法使汽车高级辅助驾驶系统(Advanced DrivingAssistant System，ADAS)能够更智能的理解其所处的场景。通过收集和分析顶尖驾驶员(例如赛车手)的驾驶行为习惯，ADAS可以学习任意场景下最接近顶尖驾驶员的驾驶策略。结合浸入式的虚拟车辆显示和驾驶操作引导，ADAS系统能够为驾驶员提供最优的驾驶策略指引，成为每个驾驶员的领航员，带给用户崭新的驾驶体验。
现有技术中，虚拟车辆显示在虚拟现实(Virtual reality，VR)游戏、车辆仿真系统等领域有一些初步应用。虽然现有技术对虚拟车辆在物理世界中的显示提供了一种解决方案，但仅仅停留在显示参考物的层面，并未对驾驶策略提供任何控制参考。
发明内容
为了在特定场景下自动生成相应的目标运动规划结果，对驾驶策略提供控制参考，从而为驾驶员提供一种全新的驾驶体验，本申请提出一种车辆引导方法、装置、设备及存储介质。
一方面，本申请提出了一种车辆引导方法，所述方法包括：
获取当前车辆的目标环境信息和目标行驶信息；
对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息；
将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果；所述预设驾驶行为模型基于样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到；
基于所述目标运动规划结果，显示所述当前车辆对应的引导信息。
进一步地，所述获取当前车辆的目标环境信息和目标行驶信息，包括：
对所述当前车辆进行第一定位处理，得到所述当前车辆的第一环境信息和第一行驶信息；
根据所述第一环境信息和所述第一行驶信息，确定所述当前车辆在预设时间之后的预测环境信息；
判断所述预测环境信息是否满足预设条件；
若所述预测环境信息满足所述预设条件，则对所述当前车辆进行第二定位处理，得到所述当前车辆的第二环境信息和第二行驶信息；
将所述第二环境信息作为所述目标环境信息，将所述第二行驶信息作为所述目标行驶信息。
进一步地，所述对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息，包括：
对所述第二环境信息和所述第二行驶信息进行融合，得到所述目标融合信息。
进一步地，所述基于所述目标运动规划结果，显示所述当前车辆对应的引导信息，包括：
将所述目标运动规划结果转换为所述引导信息；
向用户显示所述引导信息对应的目标操作值和所述当前车辆当前所达到的当前操作值。
进一步地，在所述将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果之后，所述方法还包括：
基于所述目标运动规划结果，渲染生成所述目标运动规划结果对应的虚拟车辆；
基于所述目标场景融合信息，确定所述虚拟车辆与所述当前车辆之间的位置关系信息；
基于用户的眼球位置信息，确定所述用户观测所述虚拟车辆的视线角度信息；
基于所述位置关系信息和所述视线角度信息，确定所述虚拟车辆的显示位置；
在所述显示位置显示所述虚拟车辆对应的二维图像信息。
进一步地，在所述基于所述目标运动规划结果，渲染生成所述目标运动规划结果对应的虚拟车辆之后，所述方法还包括：
设置所述虚拟车辆的时间戳信息；
其中，设置后的所述虚拟车辆的时间戳信息与所述当前车辆的时间戳信息之间的时差信息等于预设阈值。
进一步地，所述方法还包括构建所述预设驾驶行为模型的步骤，所述构建所述预设驾驶行为模型包括：
获取标注有运动规划标签的样本场景融合信息；
基于所述样本场景融合信息对预设机器学习模型进行运动规划学习，在运动规划学习过程中调整所述预设机器学习模型的模型参数至所述预设机器学习模型输出的运动规划标签与所述样本场景融合信息的运动规划标签相匹配；
将当前模型参数对应的机器学习模型作为所述预设驾驶行为模型。
另一方面，本申请提出了一种车辆引导装置，所述装置包括：
获取模块，用于获取当前车辆的目标环境信息和目标行驶信息；
融合模块，用于对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息；
运动规划处理，用于将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果；所述预设驾驶行为模型基于样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到；
显示引导模块，用于基于所述目标运动规划结果，显示所述当前车辆对应的引导信息。
另一方面，本申请提出了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的车辆引导方法。
另一方面，本申请提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如上述所述的车辆引导方法。
本申请提出的一种车辆引导方法、装置、设备及存储介质，通过对样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到预设驾驶行为模型，将由当前车辆的目标环境信息和目标行驶信息融合得到的目标场景融合信息输入该预设驾驶行为模型，从而得到与当前车辆的目标场景融合信息对应的目标运动规划结果，从而在特定场景下自动生成目标运动规划结果。同时，可以基于所述目标运动规划结果，显示所述当前车辆对应的引导信息，实现对驾驶策略提供控制引导参考，从而为驾驶员提供一种全新的驾驶体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种车辆引导方法的实施环境示意图。
图2是本申请实施例提供的一种车辆引导方法的流程示意图。
图3是本申请实施例提供的另一种车辆引导方法的流程示意图。
图4是本申请实施例提供的另一种车辆引导方法的流程示意图。
图5是本申请实施例提供的构建预设驾驶行为模型的流程示意图。
图6是本申请实施例提供的预设驾驶行为模型的构建和使用该预设驾驶行为模型进行目标运动规划结果预测的原理图。
图7是本申请实施例提供的在HUD上投射出符合虚拟车辆在现实世界中位置的二维图像以及引导信息的结构示意图。
图8是本申请实施例提供的避免当前车辆与虚拟车辆重叠的结构的示意图。
图9是本申请实施例提供的一种车辆引导装置的结构示意图。
图10是本申请实施例提供的服务器结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种车辆引导方法的实施环境示意图。如图1所示，该实施环境可以至少包括：
传感器01：可以包含全球定位系统(Global Positioning System，GPS)、高精度地图(HD-MAP)、摄像头、毫米波雷达、激光雷达等在内的传感器，实现对车辆环境的感知和定位。
高级辅助驾驶控制器(Advanced Driving Assistant System ElectronicControl Unit，ADAS ECU)02：可以用于实现目标识别、感知、定位、融合、运动规划等
影音娱乐控制器(IHU ECU)03：可以包括仪表显示模块和抬头显示模块(Head-UpDisplay，HUD)可以用于实现对虚拟运动规划和虚拟控制指引的显示。
其中，运动规划包括路径规划和轨迹规划，路径规划是指车辆行进路线的构成策略，表述为连接起点位置和终点位置的序列点。轨迹规划是包含时间信息的路径规划。
除此之外，该实施环境还可以包括：当前车辆状态探测模块(当前车辆速度、加速度、位姿)和显示设备等。
需要说明的是，图1仅仅是一种示例。
图2是本申请实施例提供的一种车辆引导方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：
S101.获取当前车辆的目标环境信息和目标行驶信息。
本申请实施例中，如图3所示，S101可以包括：
S1011.对所述当前车辆进行第一定位处理，得到所述当前车辆的第一环境信息和第一行驶信息。
S1013.根据所述第一环境信息和所述第一行驶信息，确定所述当前车辆在预设时间之后的预测环境信息。
S1015.判断所述预测环境信息是否满足预设条件。
S1017.若所述预测环境信息满足所述预设条件，则对所述当前车辆进行第二定位处理，得到所述当前车辆的第二环境信息和第二行驶信息。
在实际应用中，如果所述预测环境信息不满足所述预设条件，则重新返回S1011。
S1019.将所述第二环境信息作为所述目标环境信息，将所述第二行驶信息作为所述目标行驶信息。
如图4所示为另一种车辆引导方法的流程示意图，如图4所示，获取当前车辆的目标环境信息和目标行驶信息可以主要包括两大部分：
(1)第一定位处理：粗略定位和条件判断：
如S1011-S1015所述，在第一定位处理过程中，可以通过GPS获取当前车辆的粗略定位，通过粗略定位以及地理场景(即第一环境信)预估前方出现的地理场景(即预测环境信息)，并根据该预测环境信息，决定后续功能是否触发。
例如，继续如图4所示，以弯道场景为例，定义距离当前位置前方L距离内出现曲率半径<R的弯道为触发条件。则可以首先从第一行驶信息中确定当前车辆的第一位置信息，并判断距离第一位置信息前方L处是否存在曲率半径小于R的弯道，如果存在，则触发后续功能。如果不存在，则返回重新进行第一定位处理。
需要说明的是，该触发条件并不限于弯道场景，在实际应用中还可以扩展至定义的其他地理场景中。
(2)第二定位处理：感知和精确定位：
如S1017-S1019所述，如果预测环境信息是否满足预设条件，即功能触发，则可以运用前沿的传感器技术和先进的自动驾驶感知软件，对车辆周围的环境进行精确的感知和定位。
具体地，该感知信息(即第二环境信息)包含但不限于道路边沿位置、道路曲率、道路坡度和起伏、障碍物坐标、障碍物速度、障碍物加速度、环境参数(胎温、摩擦系数)等。
具体地，该定位方法为结合GPS、视觉传感器、高精度地图的视觉即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)。定位获取的信息(即第二行驶信息)包括但不限于当前车辆的位置坐标、姿态(航向角)、速度、加速度等。
在实际应用中，可以将第二环境信息作为目标环境信息，将第二行驶信息作为所述目标行驶信息，由此得到当前车辆的目标环境信息和目标行驶信息。
S103.对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息。
本申请实施例中，在通过上述感知和定位方法得到目标环境信息和目标行驶信息之后，可以对感知到的目标列表进行融合，构建包括车辆周围环境和当前车辆位姿信息的3D世界模型。
其中，本申请实施例中的“3D世界模型”可以理解为对第二环境信息和所述第二行驶信息进行融合，得到的目标融合信息，其包含了外界环境信息和当前车辆的当前车辆信息。具体地，该目标场景融合信息中体现的信息包括但不限于：
当前车辆的坐标、航向角、速度、加速度等当前车辆信息；
障碍物的坐标、速度、加速度等信息；
道路曲率、道路边沿位置、道路坡度和起伏等信息；
环境参数(胎温、摩擦系数等)等信息。
S105.将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果；所述预设驾驶行为模型基于样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到。
具体地，如图5所示，所述预设驾驶行为模型的构建可以包括：
S201.获取标注有运动规划标签的样本场景融合信息。
S203.基于所述样本场景融合信息对预设机器学习模型进行运动规划学习，在运动规划学习过程中调整所述预设机器学习模型的模型参数至所述预设机器学习模型输出的运动规划标签与所述样本场景融合信息的运动规划标签相匹配。
S205.将当前模型参数对应的机器学习模型作为所述预设驾驶行为模型。
图6所示为预设驾驶行为模型的构建和使用该预设驾驶行为模型进行目标运动规划结果预测的原理图。如图6所示，样本场景融合信息(Xi)可以由样本车辆的样本环境信息和样本行驶信息进行融合得到。而样本场景融合信息的确定可以参见目标场景融合信息的确定过程，在此不再赘述。
在实际应用中，运动规划标签(Yi)的确定需要包括：从起始点至结束点的车辆行进路径(几何信息)、在路径上每个点的速度和加速度(时间信息)。
在实际应用中，所述预设驾驶行为模型可以为范式驾驶行为模型。获取目标运动规划结果的方法可以是监督学习(Supervised Learning)的方法：首先需要建立神经网络的学习系统(即预设机器学习模型)，将样本场景融合信息和运动规划标签作为数据集(设计一部分训练集，一部分测试集)，通过映射函数训练出优化的范式驾驶驾驶行为模型，接着将该目标场景融合信息输入该范式驾驶行为模型进行运动规划处理，仿照该范式驾驶行为模型中记录的样本场景融合信息(X)与相应的运动规则标签(Y)间的映射关系，自动生成当前车辆对应的目标运动规划结果。
在一个可行的实施例中，样本场景融合信息和运动规划标签是可以调整和定制的。例如，在赛道场景中，不同的范式驾驶行为模型是根据不同顶尖赛车手的历史驾驶行为训练出的，驾驶员可以选择不同赛车手的历史驾驶行为作为学习范式。
在一个可行的实施例中，若考虑满足安全性条件，该目标运动规划结果的确定还可以考虑3D世界模型中的障碍物(动态和静态)，以形成避撞的目标运动规划结果。
本申请实施例中，继续如图3和4所示，在所述将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果之后，所述方法还可以包括：
S106.生成虚拟车辆以及对虚拟车辆进行增强显示。
具体地，S106可以包括：
S1061.基于所述目标运动规划结果，渲染生成所述目标运动规划结果对应的虚拟车辆。
S1063.基于所述目标场景融合信息，确定所述虚拟车辆与所述当前车辆之间的位置关系信息。
S1065.基于用户的眼球位置信息，确定所述用户观测所述虚拟车辆的视线角度信息。
S1067.基于所述位置关系信息和所述视线角度信息，确定所述虚拟车辆的显示位置。
S1069.在所述显示位置显示所述虚拟车辆对应的二维图像信息。
在实际应用中，在得到目标运动规划结果之后，还可以在3D世界模型中渲染生成与目标运动规划重合的虚拟车辆(“影子车”/“教练车”)。该虚拟车辆将可视化的提供给用户(即驾驶员)，以该运动规划实现的驾驶轨迹，作为驾驶员控制真实车辆的参考。
在实际应用中，虚拟车辆在HUD屏上的显示位置主要取决于虚拟车辆相对当前车辆的位置和人眼观察目标虚拟车辆的角度。其中，虚拟车辆相对当前车辆位置信息包含在3D世界模型中；人眼的位置由车内配备的驾驶员监测系统(DMS)探测，该DMS能够探测并识别驾驶员眼球的位置。即基于当前车辆与目标虚拟车辆间的相对位置、目标虚拟车辆所有视角二维图像的完整信息，再结合驾驶员视线位置(Point of View,POV)，即可在HUD上投射出符合虚拟车辆在现实世界中位置的二维图像，如图7所示。
在实际应用中，该HUD上还可以显示包括虚拟车辆的历史轨迹、下一时间区间的轨迹等额外信息。
在实际应用中，该HUD还可以显示通过虚拟车辆外观、颜色的变化反映其属性，例如：蓝色代表加速、红色代表刹车。
在实际应用中，如图8所示，为了避免虚拟车辆与驾驶员控制真实车辆重叠，系统可以设置虚拟车辆的时间戳比真实车辆快(比如快0.5秒)，即在S1061之后，所述方法还包括：设置所述虚拟车辆的时间戳信息；其中，设置后的所述虚拟车辆的时间戳信息与所述当前车辆的时间戳信息之间的时差信息等于预设阈值。
S107.基于所述目标运动规划结果，显示所述当前车辆对应的引导信息。
本申请实施例中，继续如图3所示，S107可以包括：
S1071.将所述目标运动规划结果转换为所述引导信息。
S1073.向用户显示所述引导信息对应的目标操作值和所述当前车辆当前所达到的当前操作值。
本申请实施例中，在得到目标运动规划结果之后，可以通过车辆动力学，将该目标运动规划结果转换为完成车辆操控的相应操作(Maneuver)，得到指引控制信息。该指引控制信息包括但不限于：包含时间戳的方向盘转角、油门、刹车等。
在实际应用中，如图7所示，还可以在抬头显示屏(Head-Up Display，HUD)上即时显示该引导信息，可以以指针形式反馈方向盘转角、油门、刹车的目标操作值和驾驶员操作达成的当前操作值，当然也可以以其他形式进行反馈。
在实际应用中，当用户在HUD上看到引导信息之后，用户(即驾驶员)可以触发操作值调整指令，系统可以响应于用户的操作值调整指令，将所述当前操作值调整至所述目标操作值，当然，用户也可以不触发操作值调整指令，不对当前操作值进行调整。
如图9所示，本申请实施例提供了一种车辆引导装置，所述装置可以包括：
获取模块301，可以用于获取当前车辆的目标环境信息和目标行驶信息。
具体地，所述获取模块301可以包括：
第一定位单元，可以用于对所述当前车辆进行第一定位处理，得到所述当前车辆的第一环境信息和第一行驶信息。
预测环境信息确定单元，可以用于根据所述第一环境信息和所述第一行驶信息，确定所述当前车辆在预设时间之后的预测环境信息。
判断单元，可以用于判断所述预测环境信息是否满足预设条件。
第二定位单元，可以用于若所述预测环境信息满足所述预设条件，则对所述当前车辆进行第二定位处理，得到所述当前车辆的第二环境信息和第二行驶信息。
目标环境信息和目标行驶信息确定单元，可以用于将所述第二环境信息作为所述目标环境信息，将所述第二行驶信息作为所述目标行驶信息。
融合模块303，可以用于对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息。
具体地，所述融合模块303可以进一步用于：对所述第二环境信息和所述第二行驶信息进行融合，得到所述目标融合信息。
运动规划处理模块305，可以用于将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果；所述预设驾驶行为模型基于样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到。
显示引导模块307，可以用于基于所述目标运动规划结果，显示所述当前车辆对应的引导信息。
具体地，所述显示引导模块307可以进一步包括：
引导信息确定单元，可以用于将所述目标运动规划结果转换为所述引导信息。
第一显示单元，可以用于向用户显示所述引导信息对应的目标操作值和所述当前车辆当前所达到的当前操作值。
具体地，所述装置还可以包括：
虚拟车辆生成模块，可以用于基于所述目标运动规划结果，渲染生成所述目标运动规划结果对应的虚拟车辆。
位置关系信息确定模块，可以用于基于所述目标场景融合信息，确定所述虚拟车辆与所述当前车辆之间的位置关系信息。
视线角度信息获取模块，可以用于基于用户的眼球位置信息，确定所述用户观测所述虚拟车辆的视线角度信息。
显示位置确定模块，可以用于基于所述位置关系信息和所述视线角度信息，确定所述虚拟车辆的显示位置。
二维图像信息显示模块，可以用于在所述显示位置显示所述虚拟车辆对应的二维图像信息。
具体地，所述装置还可以包括：
时间戳设置模块，可以用于设置所述虚拟车辆的时间戳信息；其中，设置后的所述虚拟车辆的时间戳信息与所述当前车辆的时间戳信息之间的时差信息等于预设阈值。
具体地，所述装置还可以包括构建预设驾驶行为模型模块，所述构建预设驾驶行为模型模块可以包括：
样本场景融合信息获取模块，可以用于获取标注有运动规划标签的样本场景融合信息。
运动规划学习模块，可以用于基于所述样本场景融合信息对预设机器学习模型进行运动规划学习，在运动规划学习过程中调整所述预设机器学习模型的模型参数至所述预设机器学习模型输出的运动规划标签与所述样本场景融合信息的运动规划标签相匹配。
预设驾驶行为模型确定模块，可以用于将当前模型参数对应的机器学习模型作为所述预设驾驶行为模型。
需要说明的是，本申请实施例提供的装置实施例与上述方法实施例基于相同的发明构思。
本申请实施例还提供了一种车辆引导的电子设备，该电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述方法实施例所提供的车辆引导方法。
本申请的实施例还提供了一种存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述方法实施例提供的车辆引导方法。
可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请提出的车辆引导方法、装置、设备及存储介质，通过对样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到预设驾驶行为模型，将由当前车辆的目标环境信息和目标行驶信息融合得到的目标场景融合信息输入该预设驾驶行为模型，从而得到与当前车辆的目标场景融合信息对应的目标运动规划结果，实现在特定场景下自动生成目标运动规划。同时，可以基于所述目标运动规划结果，显示所述当前车辆对应的引导信息，实现对驾驶策略提供控制参考，此外，可以使用HUD，可视化的表示目标运动规划的轨迹和车辆操作。本申请可以融合ADAS对驾驶策略的分析、学习和计算方法，以及虚拟车辆显示技术，为驾驶员提供一种全新的驾驶体验。
本申请实施例所提供的车辆引导方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图10是本申请实施例提供的一种车辆引导方法的服务器的硬件结构框图。如图10所示，该服务器400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)410(处理器310可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器430，一个或一个以上存储应用程序423或数据422的存储介质420(例如一个或一个以上海量存储设备)。其中，存储器430和存储介质420可以是短暂存储或持久存储。存储在存储介质420的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器310可以设置为与存储介质420通信，在服务器400上执行存储介质420中的一系列指令操作。服务器400还可以包括一个或一个以上电源460，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口440，和/或，一个或一个以上操作系统421，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
输入输出接口440可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器400的通信供应商提供的无线网络。在一个实例中，输入输出接口440包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口440可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器400还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种车辆引导方法，其特征在于，所述方法包括：
获取当前车辆的目标环境信息和目标行驶信息；
对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息；
将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果；所述预设驾驶行为模型基于样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到；
基于所述目标运动规划结果，显示所述当前车辆对应的引导信息。
2.根据权利要求1所述的方法，其特征在于，所述获取当前车辆的目标环境信息和目标行驶信息，包括：
对所述当前车辆进行第一定位处理，得到所述当前车辆的第一环境信息和第一行驶信息；
根据所述第一环境信息和所述第一行驶信息，确定所述当前车辆在预设时间之后的预测环境信息；
判断所述预测环境信息是否满足预设条件；
若所述预测环境信息满足所述预设条件，则对所述当前车辆进行第二定位处理，得到所述当前车辆的第二环境信息和第二行驶信息；
将所述第二环境信息作为所述目标环境信息，将所述第二行驶信息作为所述目标行驶信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息，包括：
对所述第二环境信息和所述第二行驶信息进行融合，得到所述目标融合信息。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标运动规划结果，显示所述当前车辆对应的引导信息，包括：
将所述目标运动规划结果转换为所述引导信息；
向用户显示所述引导信息对应的目标操作值和所述当前车辆当前所达到的当前操作值。
5.根据权利要求1所述的方法，其特征在于，在所述将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果之后，所述方法还包括：
基于所述目标运动规划结果，渲染生成所述目标运动规划结果对应的虚拟车辆；
基于所述目标场景融合信息，确定所述虚拟车辆与所述当前车辆之间的位置关系信息；
基于用户的眼球位置信息，确定所述用户观测所述虚拟车辆的视线角度信息；
基于所述位置关系信息和所述视线角度信息，确定所述虚拟车辆的显示位置；
在所述显示位置显示所述虚拟车辆对应的二维图像信息。
6.根据权利要求5所述的方法，其特征在于，在所述基于所述目标运动规划结果，渲染生成所述目标运动规划结果对应的虚拟车辆之后，所述方法还包括：
设置所述虚拟车辆的时间戳信息；
其中，设置后的所述虚拟车辆的时间戳信息与所述当前车辆的时间戳信息之间的时差信息等于预设阈值。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括构建所述预设驾驶行为模型的步骤，所述构建所述预设驾驶行为模型包括：
获取标注有运动规划标签的样本场景融合信息；
基于所述样本场景融合信息对预设机器学习模型进行运动规划学习，在运动规划学习过程中调整所述预设机器学习模型的模型参数至所述预设机器学习模型输出的运动规划标签与所述样本场景融合信息的运动规划标签相匹配；
将当前模型参数对应的机器学习模型作为所述预设驾驶行为模型。
8.一种车辆引导装置，其特征在于，所述装置包括：
获取模块，用于获取当前车辆的目标环境信息和目标行驶信息；
融合模块，用于对所述目标环境信息和所述目标行驶信息进行融合，得到所述当前车辆的目标场景融合信息；
运动规划处理，用于将所述目标场景融合信息作为预设驾驶行为模型的输入，在所述预设驾驶行为模型中对所述当前车辆进行运动规划处理，得到所述当前车辆对应的目标运动规划结果；所述预设驾驶行为模型基于样本车辆的样本场景融合信息与相应的运动规划标签进行机器学习训练得到；
显示引导模块，用于基于所述目标运动规划结果，显示所述当前车辆对应的引导信息。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的车辆引导方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的车辆引导方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128575.7A CN111428571B (zh) | 2020-02-28 | 2020-02-28 | 一种车辆引导方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128575.7A CN111428571B (zh) | 2020-02-28 | 2020-02-28 | 一种车辆引导方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428571A true CN111428571A (zh) | 2020-07-17 |
| CN111428571B CN111428571B (zh) | 2024-04-19 |
Family
ID=71551709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010128575.7A Active CN111428571B (zh) | 2020-02-28 | 2020-02-28 | 一种车辆引导方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428571B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112115798A (zh) * | 2020-08-21 | 2020-12-22 | 东风汽车集团有限公司 | 驾驶场景中的对象标注方法、装置及存储介质 |
| CN112381025A (zh) * | 2020-11-23 | 2021-02-19 | 恒大新能源汽车投资控股集团有限公司 | 一种驾驶员注意力检测方法、装置、电子设备及存储介质 |
| CN112861266A (zh) * | 2021-03-05 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 设备驱动模式的控制方法、装置、介质及电子设备 |
| CN113325767A (zh) * | 2021-05-27 | 2021-08-31 | 深圳Tcl新技术有限公司 | 场景推荐方法、装置、存储介质及电子设备 |
| CN113642644A (zh) * | 2021-08-13 | 2021-11-12 | 北京赛目科技有限公司 | 车辆环境等级的确定方法、装置、电子设备及存储介质 |
| CN115641569A (zh) * | 2022-12-19 | 2023-01-24 | 禾多科技（北京）有限公司 | 驾驶场景处理方法、装置、设备及介质 |
| CN115952570A (zh) * | 2023-02-07 | 2023-04-11 | 江苏泽景汽车电子股份有限公司 | Hud仿真方法、装置及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019023628A1 (en) * | 2017-07-27 | 2019-01-31 | Waymo Llc | NEURAL NETWORKS FOR VEHICLE TRACK PLANNING |
| CN109747659A (zh) * | 2018-11-26 | 2019-05-14 | 北京汽车集团有限公司 | 车辆驾驶的控制方法和装置 |
-
2020
- 2020-02-28 CN CN202010128575.7A patent/CN111428571B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019023628A1 (en) * | 2017-07-27 | 2019-01-31 | Waymo Llc | NEURAL NETWORKS FOR VEHICLE TRACK PLANNING |
| CN109747659A (zh) * | 2018-11-26 | 2019-05-14 | 北京汽车集团有限公司 | 车辆驾驶的控制方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 陈慧;王洁新;: "基于驾驶人不满度的高速公路自动驾驶换道决策", 中国公路学报, no. 12 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112115798A (zh) * | 2020-08-21 | 2020-12-22 | 东风汽车集团有限公司 | 驾驶场景中的对象标注方法、装置及存储介质 |
| CN112381025A (zh) * | 2020-11-23 | 2021-02-19 | 恒大新能源汽车投资控股集团有限公司 | 一种驾驶员注意力检测方法、装置、电子设备及存储介质 |
| CN112861266A (zh) * | 2021-03-05 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 设备驱动模式的控制方法、装置、介质及电子设备 |
| CN113325767A (zh) * | 2021-05-27 | 2021-08-31 | 深圳Tcl新技术有限公司 | 场景推荐方法、装置、存储介质及电子设备 |
| CN113642644A (zh) * | 2021-08-13 | 2021-11-12 | 北京赛目科技有限公司 | 车辆环境等级的确定方法、装置、电子设备及存储介质 |
| CN113642644B (zh) * | 2021-08-13 | 2024-05-10 | 北京赛目科技有限公司 | 车辆环境等级的确定方法、装置、电子设备及存储介质 |
| CN115641569A (zh) * | 2022-12-19 | 2023-01-24 | 禾多科技（北京）有限公司 | 驾驶场景处理方法、装置、设备及介质 |
| CN115952570A (zh) * | 2023-02-07 | 2023-04-11 | 江苏泽景汽车电子股份有限公司 | Hud仿真方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111428571B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428571B (zh) | 一种车辆引导方法、装置、设备及存储介质 | |
| CN111897305B (zh) | 一种基于自动驾驶的数据处理方法、装置、设备及介质 | |
| US11328219B2 (en) | System and method for training a machine learning model deployed on a simulation platform | |
| CN108508881B (zh) | 自动驾驶控制策略调整方法、装置、设备及存储介质 | |
| CN110214107B (zh) | 提供驾驶员教育的自主车辆 | |
| CN111580493B (zh) | 一种自动驾驶仿真方法、系统及介质 | |
| CN110462543A (zh) | 用于评估自动驾驶车辆的感知要求的基于仿真的方法 | |
| CN111665738A (zh) | 在环仿真系统及其中的信息处理方法及装置 | |
| US9744971B2 (en) | Method, system, and computer program product for monitoring a driver of a vehicle | |
| CN111127651A (zh) | 基于高精度可视化技术的自动驾驶测试开发方法及装置 | |
| JP2020076745A (ja) | 映像及びマップデータ基盤測位方法及び装置 | |
| EP3896604A1 (en) | Vehicle driving and monitoring system; method for maintaining a sufficient level of situational awareness; computer program and computer readable medium for implementing the method | |
| US11604908B2 (en) | Hardware in loop testing and generation of latency profiles for use in simulation | |
| KR20130027367A (ko) | 내비게이션 장치 및 경로 표시 방법 | |
| CN113483774B (zh) | 导航方法、装置、电子设备及可读存储介质 | |
| CN115453912A (zh) | 自动驾驶仿真方法、系统、设备以及介质 | |
| KR20220035343A (ko) | 자율 운전 특징의 확정 방법, 장치, 기기, 매체 및 컴퓨터 프로그램 | |
| CN116394981B (zh) | 车辆控制方法和自动驾驶提示方法及相关装置 | |
| CN116136418A (zh) | 导航引导信息生成方法、导航引导方法、程序产品和介质 | |
| CN116088538A (zh) | 车辆轨迹信息生成方法、装置、设备和计算机可读介质 | |
| CN115171384A (zh) | 一种车载显示过程中关键车位置延迟补偿方法及装置 | |
| CN115950652A (zh) | 车辆的测试方法及测试装置 | |
| CN112249029B (zh) | 一种基于ar辅助车辆近距离调整姿态的方法及系统 | |
| CN115235487B (zh) | 数据处理方法及装置、设备和介质 | |
| CN115035239B (zh) | 用于构建虚拟环境的方法、装置、计算机设备及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |