CN117227760A - 一种车辆的行驶控制方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种车辆的行驶控制方法、装置、设备及存储介质，该方法包括：沿车辆行驶方向采集多帧目标图像数据；依据目标图像数据检测车辆与停车让行标志的管控范围之间的位置关系；若位置关系为车辆位于停车让行标志的管控范围内，则控制车辆减速、直至车辆在停车让行标志前停止；控制车辆从停止开始加速通过停车让行标志。本实施例针对停车让行标志开发辅助的控制流程，与计算机视觉处理相结合，可以控制车辆在停车让行标志前减速至停车观察，而后顺利加速通过，可有效降低车辆通过停车让行标志时的违规率，同时，并不影响端到端的自动驾驶模型的其它表现，是一个即插即用的模块，可扩展性强。

Description

一种车辆的行驶控制方法、装置、设备及存储介质

技术领域

本发明涉及自动驾驶的技术领域，尤其涉及一种车辆的行驶控制方法、装置、设备及存储介质。

背景技术

随着自动驾驶技术的快速提升，在诸如高速公路和城市道路等场景中已经有开始将自动驾驶技术部署到车辆中，辅助用户驾驶车辆。

随着收集的数据不断增加，为端到端的自动驾驶模型的优化提供了良好的基础，因此，在自动驾驶技术中，通常使用端到端的自动驾驶模型，它能直接实现输入图像和车辆控制信号的映射。

由于采集的数据中存在较为明显的长尾分布，尤其是一些交通标志设置有特定的规范，因而在一些少出现的场景中，端到端的自动驾驶模型往往表现较差。

其中，停车让行标志属于长尾分布的交通标志之一，端到端的自动驾驶模型在面对停车让行标志时，会发生持续停车的异常。

发明内容

本发明提供了一种车辆的行驶控制方法、装置、设备及存储介质，以解决如何在自动驾驶中面对停车让行标志时按照规范行驶的问题。

根据本发明的一方面，提供了一种车辆的行驶控制方法，包括：

沿车辆行驶方向采集多帧目标图像数据；

依据所述目标图像数据检测所述车辆与停车让行标志的管控范围之间的位置关系；

若所述位置关系为所述车辆位于所述停车让行标志的管控范围内，则控制所述车辆减速、直至所述车辆在所述停车让行标志前停止；

控制所述车辆从所述停止开始加速通过所述停车让行标志。

根据本发明的另一方面，提供了一种车辆的行驶控制装置，包括：

目标图像数据采集模块，用于沿车辆行驶方向采集多帧目标图像数据；

位置关系检测模块，用于依据所述目标图像数据检测所述车辆与停车让行标志的管控范围之间的位置关系；

减速停车控制模块，用于若所述位置关系为所述车辆位于所述停车让行标志的管控范围内，则控制所述车辆减速、直至所述车辆在所述停车让行标志前停止；

加速控制模块，用于控制所述车辆从所述停止开始加速通过所述停车让行标志。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的车辆的行驶控制方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的车辆的行驶控制方法。

在本实施例中，沿车辆行驶方向采集多帧目标图像数据；依据目标图像数据检测车辆与停车让行标志的管控范围之间的位置关系；若位置关系为车辆位于停车让行标志的管控范围内，则控制车辆减速、直至车辆在停车让行标志前停止；控制车辆从停止开始加速通过停车让行标志。本实施例针对停车让行标志开发辅助的控制流程，与计算机视觉处理相结合，可以控制车辆在停车让行标志前减速至停车观察，而后顺利加速通过，可有效降低车辆通过停车让行标志时的违规率，同时，并不影响端到端的自动驾驶模型的其它表现，是一个即插即用的模块，可扩展性强。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种车辆的行驶控制方法的流程图；

图2是根据本发明实施例一提供的一种车辆的结构示意图；

图3是根据本发明实施例一提供的一种停车让行标志的示例图；

图4是根据本发明实施例一提供的另一种停车让行标志的示例图；

图5是根据本发明实施例一提供的又一种停车让行标志的示例图；

图6是根据本发明实施例一提供的一种正样本图像数据的示例图；

图7是根据本发明实施例一提供的另一种正样本图像数据的示例图；

图8是根据本发明实施例一提供的一种负样本图像数据的示例图；

图9是根据本发明实施例二提供的一种车辆的行驶控制装置的结构示意图；

图10是根据本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种车辆的行驶控制方法的流程图，本实施例可适用于对停车让行标志的管控范围分类并按照规范行驶的情况，该方法可以由车辆的行驶控制装置来执行，该车辆的行驶控制装置可以采用硬件和/或软件的形式实现，该车辆的行驶控制装置可配置于电子设备中。如图1所示，该方法包括：

步骤101、沿车辆行驶方向采集多帧目标图像数据。

本实施例中的车辆配置有自动驾驶程序，可支持车辆实现自动驾驶，所谓自动驾驶，可以指车辆本身拥有环境感知、路径规划并且自主实现车辆控制的能力，也就是用电子技术控制车辆进行的仿人驾驶。

根据对车辆操控任务的把握程度，自动驾驶车辆可以分为L0非自动化(NoAutomotion)、L1驾驶人辅助(Driver Assistance)、L2部分自动化(Partial Automation)、L3有条件自动化(Conditional Automation)、L4高自动化(High Automation)、L5全自动化(Full Automation)。

本实施例中部署自动驾驶程序的车辆，可以指满足L1-L5中任一要求的车辆，其中，系统在L1-L3起辅助功能，当到达L4，车辆驾驶将交给系统，因此，自动驾驶的车辆可选为满足L4、L5中任一要求的车辆。

如图2所示，车辆200可以包括驾驶控制设备201，车身总线202，ECU(ElectronicControl Unit，电子控制单元)203、ECU 204、ECU 205，传感器206、传感器207、传感器208和执行器件209、执行器件210、执行器件211。

驾驶控制设备(又称为车载大脑)201负责整个车辆200的总体智能控制。驾驶控制设备201可以是单独设置的控制器，例如，可编程逻辑控制器(ProgrammableLogicController，PLC)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。驾驶控制设备可以对从车身总线202上接收到的各个ECU发来的数据和/或各个传感器发来的数据进行分析处理，作出相应的决策，并将决策对应的指令发送到车身总线。

车身总线202可以是用于连接驾驶控制设备201，ECU 203、ECU 204、ECU 205，传感器206、传感器207、传感器208以及车辆200的其他未示出的设备的总线。由于CAN(Controller AreaNetwork，控制器局域网络)总线的高性能和可靠性已被广泛认同，因此目前机动车中常用的车身总线为CAN总线。当然，可以理解的是车身总线也可以是其他类型的总线。

车身总线202可以将驾驶控制设备201发出的指令发送给ECU 203、ECU 204、ECU205，ECU 203、ECU 204、ECU 205再将上述指令进行分析处理后发给相应的执行器件执行。

传感器206、传感器207、传感器208包括但不限于激光雷达、毫米波雷达、摄像头，等等。

示例性地，摄像头以阵列的形式安装在车辆上，某个摄像头属于RGB(Red GreenBlue，红绿蓝)摄像头，该摄像头的FOV(Field of View，视场角)为100°，方向朝正前方，输出的图像数据的宽高为800×600。

应该理解，图2中的车辆、驾驶控制设备、车身总线、ECU、执行器件和传感器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的车辆、驾驶控制设备、车身总线、ECU和传感器。

本实施例中的车辆，可以指自动驾驶模拟器中模拟的车辆，也可以指真实的车辆，无论是在自动驾驶模拟器中模拟车辆在道路上行驶、亦或是真实的车辆在道路上行驶，均可驱动在车辆中部署的摄像头，沿车辆行驶方向(即朝向车辆行驶方向的前方)持续采集多帧图像数据，记为目标图像数据。

步骤102、依据目标图像数据检测车辆与停车让行标志的管控范围之间的位置关系。

停车让行标志是交通禁令标志，其规定车辆应在停止线前停车瞭望，确认安全后，方可通行，在不同的地区中，停车让行标志的设计有所不同。

在一种设计中，如图3所示，停车让行标志的形状为八角形，底色为红色，白色衬边，标志中有白色的“停”字。

在另一种设计中，如图4所示，停车让行标志的形状为八角形，底色为红色，白色衬边，标志中有白色的“STOP”字。

在又一设计中，如图5所示，停车让行标志的为白色的“STOP”字，涂写在道路的路面上。

某些道路的路口受到特殊原因的影响，车辆仅靠减速并不能够充分确认安全的时候，会用停车让行标志，要求车辆完全停稳，再去观察交通情况。

一般情况下，停车让行标志可在下列情况下设置：

(1)、没有交通信号灯控制的路口，通常在等级较低的道路设置停车让行标志。

(2)、没有交通信号灯控制的路口，当两条道路的等级一样，或者两条道路的车辆、行人流量都较大时，在所有道路的路口均同时设置停车让行标志。

(3)、虽然路口设置了交通信号灯，但是信号灯不是全天工作的，停车让行标志在信号灯不亮或者黄闪时生效。

(4)、无人看守的铁路道口。

停车让行标志具有管控范围，即停车让行标志生效的范围，车辆进入该管控范围，则按照停车让行标志的规定，开始减速，在停止线前停车瞭望，确认安全后通行。

在不同的地区中，停车让行标志的管控范围有所不同，在某些地区中，停车让行标志的管控范围为其前方20米，即，车辆在停车让行标志前20米即进入管控范围、开始减速。

在本实施例中，可以对多帧目标图像数据进行图像处理，在已知车辆的摄像头的参数(如FOV、焦距等)的情况下，分析车辆的摄像头的视觉，检测车辆与停车让行标志的管控范围之间的位置关系，即，车辆位于停车让行标志的管控范围内，或者，车辆位于停车让行标志的管控范围外。

进一步地，车辆位于停车让行标志的管控范围外，可以指车辆前方未出现停车让行标志，也可以指车辆前方已出现停车让行标志、但车辆尚未进入停车让行标志的管控范围。

在本发明的一个实施例中，步骤102可以包括如下步骤：

步骤1021、确定对停车让行标志的管控范围训练的分类器。

在本实施例中，可以预先对停车让行标志的管控范围构建并训练二分类的分类器，使得该分类器可分类是否位于停车让行标志的管控范围。

其中，分类器可以为机器学习模型，如SVM(Support Vector Machine，支持向量机)等，也可以为深度学习模型，如VGG(Visual Geometry Group，视觉几何图形组)等。

进一步地，分类器的结构不局限于人工设计的神经网络，也可以通过模型量化方法优化的神经网络，通过NAS(Neural Architecture Search，神经网络结构搜索)方法针对停车让行标志的管控范围的特性搜索的神经网络，等等，本实施例对此不加以限制。

在本发明的一个实施例中，步骤1021可以包括如下步骤：

步骤10211、启动自动驾驶模拟器，以加载仿真车辆在行驶时的仿真环境。

考虑到停车让行标志属于长尾分布的交通标志之一，真实的样本数据量较低，为了节约成本、丰富样本的数据量，提高分类器的性能，即提高分类的准确率，除了使用真实车辆采集视频数据作为样本(包含正样本、负样本)之外，可以启动自动驾驶模拟器(如Carla)，在自动驾驶模拟器中加载仿真车辆在行驶时的仿真环境，从而在该仿真环境中抓取样本。

步骤10212、在仿真环境中采集正样本图像数据、负样本图像数据。

在自动驾驶模拟器中，可以定位不同的仿真环境，从仿真车辆(摄像头)的视觉采集部分图像数据作为正样本图像数据(即正样本)，采集部分图像数据作为负样本图像数据(即负样本)。

其中，如图6、图7所示，正样本图像数据表示仿真车辆位于停车让行标志的管控范围内。

如图8所示，负样本图像数据表示仿真车辆位于停车让行标志的管控范围外。

在具体实现中，可查询自动驾驶模拟器中具有数据采集权限的代理(如Carla中的auto_pilot)。

在自动驾驶模拟器中控制仿真车辆行驶，一方面，调用该代理在仿真车辆处于管控状态时执行图像采集操作，得到正样本图像数据，另一方面，调用代理在仿真车辆并非处于管控状态时执行图像采集操作，得到负样本图像数据。

其中，管控状态表示仿真车辆与停车让行标志之间的距离小于表示管控范围的管控阈值(如20米)。

进一步地，在车辆的视觉中，图像数据的顶部大多为天空，天空的天气(如晴天、雨天)会经常变换，对训练分类器造成一定的干扰。

因此，可以在正样本图像数据中裁剪位于顶部的部分数据(像素点)，以及，在负样本图像数据中裁剪位于顶部的部分数据(像素点)，排除天气的干扰，将注意力集中在道路上，进一步提高分类器的性能，提高分类器分类的精确度。

进一步地，顶部的部分数据可以指图像数据(包含正样本图像数据、负样本图像数据)中自上而下N行(或占比为M％)的像素点，其中，N为正整数、M为正数。

步骤10213、构建训练集、验证集。

样本(包含正样本、负样本)属于数据集，提供有监督训练，可使用留出法、交叉验证法等方法将其划分为训练集、验证集，其中，训练集中包含部分正样本图像数据与部分负样本图像数据，验证集中包含部分正样本图像数据与部分负样本图像数据。

训练集用于分类器拟合分类器中参数，验证集用于查看训练效果，判断训练分类器的效果是否朝着坏的方向进行，例如，通过查看训练集和验证集的损失值随着epoch(训练的轮数)的变化关系可以看出分类器是否过拟合，如果是可以及时停止训练，然后根据情况调整分类器的结构和超参数，以节省时间。

在具体实现中，将部分正样本图像数据划分至训练集中、将部分正样本图像数据划分至验证集中，以使训练集中正样本图像数据的数量与验证集中正样本图像数据的数量符合第一比例(如9:1)。

将部分负样本图像数据划分至训练集中、将部分负样本图像数据划分至验证集中，以使训练集述负样本图像数据的数量与验证集中负样本图像数据的数量符合第二比例(如9:1)。

考虑到长尾现象较为明显，可对训练集中的负样本图像数据执行数据增强操作，以在训练集中生成新的负样本图像数据。

考虑到长尾现象较为明显，可对验证集中的负样本图像数据执行数据增强操作，以在验证集中生成新的负样本图像数据。

其中，数据增强操作包括翻转(如水平翻转、垂直翻转等)、色彩抖动(如调节亮度、调节色调、调节对比度、调节锐度等)、增加噪声(如高斯噪声、椒盐噪声等)，等等。

进一步地，对所有正样本图像数据与所有负样本图像数据调整至统一的宽高(如120×120)，以符合分类器对输入的要求。

示例性地，共采集样本120000张，其中，包含正样本8000张，负样本112000张，从中划分出训练集和验证集，验证集中的正样本为641张，在验证集的负样本中随机采样出1013个作为最终的验证集，在训练集的负样本中随机采样(数据增强操作)出30000张作为最终的训练集，可显著提升分类器的收敛速度。

步骤10214、使用训练集训练分类器，以使分类器具备分类是否位于停车让行标志的管控范围的功能。

在本实施例中，按照预设的训练参数(如学习率、batch_size(每次训练时输入的训练集的大小)、优化器、损失函数、训练的轮数等)使用训练集训练分类器，将分类器训练至具备分类是否位于停车让行标志的管控范围的功能。

示例性地，学习率为0.00003，batch_size为32，采用Adam(Adaptive MomentEstimation，自适应运动估计)优化器，损失函数为交叉熵损失，共训练10个epoch。

步骤10215、若完成训练，则使用验证集对分类器分类是否位于停车让行标志的管控范围的功能进行验证。

如果年初训练分类器，则可以按照预设的指标(如准确率等)使用验证集对分类器分类是否位于停车让行标志的管控范围的功能进行验证。

示例性地，在验证分类器时，在验证集上的准确率为99.94％，其中，正样本识别的准确率为99.69％，负样本识别的准确率为100％，从而确定分类器识别的准确率满足实用要求、通过验证，可部署运行。

在实际应用中，分类器是在离线时进行训练、验证，在验证通过时，可以分发到各个车辆上部署，车辆将分类器及其参数加载至内存运行。

步骤1022、将目标图像数据输入分类器中进行分类，得到表示是否位于停车让行标志的管控范围的类别。

将各帧目标图像数据调整至统一的宽高，若完成调整，则将各帧目标图像数据依次输入分类器中，分类器按照其结构对目标图像数据进行分类，输出表示是否位于停车让行标志的管控范围的类别，即，位于停车让行标志的管控范围内，或者，位于停车让行标志的管控范围外。

步骤1023、依据类别确定车辆与停车让行标志的管控范围之间的位置关系。

一般情况下，可以将分类器输出的类别设置为车辆与停车让行标志的管控范围之间的位置关系，即，如果分类器输出的类别为位于停车让行标志的管控范围内，则可以确定车辆与停车让行标志的管控范围之间的位置关系为车辆位于停车让行标志的管控范围内，如果分类器输出的类别为位于停车让行标志的管控范围外，则可以确定车辆与停车让行标志的管控范围之间的位置关系为车辆位于停车让行标志的管控范围外。

但是，考虑到分类器的准确率无法达到100％，为了让车辆在满足不违反交通规则的前提下提升驾驶的流畅性，可以创建一个长度为T(T为正整数，如20)的队列来缓存近T帧目标图像数据的类别，当队列未填满类别时，等待队列缓存类别，当队列被填满时，如果来了一个新的类别，则把队列中时间戳最早的类别弹出，将新的类别压入队列中。

那么，可以在预设的队列中缓存分类器最近分类的多个类别，在队列中统计表示位于停车让行标志的管控范围内的类别的数量。

将该数量与占比阈值进行比较，其中，占比阈值为在队列的长度中取指定的比例生成，例如，队列的长度为20时，占比阈值为15。

若数量大于或等于占比阈值，表示位于停车让行标志的管控范围内的结果较为稳定，则可以确定车辆与停车让行标志的管控范围之间的位置关系为车辆位于停车让行标志的管控范围内。

若数量小于占比阈值，表示位于停车让行标志的管控范围内的结果不稳定，则可以确定车辆与停车让行标志的管控范围之间的位置关系为车辆位于停车让行标志的管控范围外。

本实施例通过队列缓存多个分类的结果，从中取稳定的分类的结果，可以提升整理控制流程的容错率。

步骤103、若位置关系为车辆位于停车让行标志的管控范围内，则控制车辆减速、直至车辆在停车让行标志前停止。

如果检测到当前车辆位于停车让行标志的管控范围内，则可以控制车辆减速、直至车辆在停车让行标志前停止。

在本发明的一个实施例中，步骤103可以包括如下步骤：

步骤1031、确定减速标志位、停车标志位。

如果训练一个停车让行标志的多目标检测模型来识别环境中交通标志的类别信息，以及，训练一个交通类别信息映射到车辆控制信号的车辆控制模型(如卷积神经网络)，车辆控制模型的输入为环境的图像数据和交通标志的类别信息，在车辆行驶至停车让行标志的整个过程中，输入到车辆控制模型的信息没有变化，依然为环境的图像数据和交通标志的类别信息，车辆控制模型会陷入减速停车但无法加速通过的状态。

在本实施例中，可以在创建两个变量，一个变量为减速标志位need_brake、另一个变量为停车标志位stop_complete，减速标志位表示是否减速，停车标志位表示是否停车，将减速标志位与停车标志位作为自动驾驶程序的输入，在车辆行驶至停车让行标志的整个过程中，改变减速标志位与停车标志位，从而改变自动驾驶程序的输入，使得车辆在停车让行标志前减速停车、并加速通过停车让行标志。

车辆在启动时、每次经过停车让行标志后初始化减速标志位与停车标志位，减速标志位初始为表示未减速的第一数值(如need_brake＝0)、停车标志位初始为表示未停止的第二数值(如stop_complete＝0)。

步骤1032、若位置关系为车辆位于停车让行标志的管控范围内，则将减速标志位从第一数值修改为表示减速的第三数值，维持停车标志位为第二数值不变。

如果车辆位于停车让行标志的管控范围内，则可以将减速标志位从第一数值(如need_brake＝0)修改为表示减速的第三数值(如need_brake＝1)，维持停车标志位为第二数值(如stop_complete＝0)不变。

步骤1033、在减速标志位为第三数值与停车标志位为第二数值时，向自动驾驶程序发出刹车信号，以及，检测车辆的速度。

在具体实现中，在检测到减速标志位为第三数值(如need_brake＝1)与停车标志位为第二数值(如stop_complete＝0)时，一方面，可以持续向自动驾驶程序发出刹车信号control.brake，另一方面，可以持续检测车辆行驶的速度。

其中，该刹车信号control.brake用于控制车辆按照停车让行标志的管控范围降低速度，即，自动驾驶程序在接收到刹车信号control.brake时，按照停车让行标志的管控范围确定减速度(如control.brake＝0.6)，该减速度可以在停车让行标志的管控范围内让车辆停止，使用该减速度触发刹车信号，对车辆制动，从而降低车辆的速度。

步骤1034、若速度小于停止阈值，则确定车辆在停车让行标志前停止，停止向自动驾驶程序发出停车信号，以及，维持减速标志位为第三数值不变，将停车标志位从第二数值修改为表示停止的第四数值。

如果车辆的速度小于停止阈值(如0.1m/s)，且减速标志位为第三数值(如need_brake＝1)，则可以确定车辆在停车让行标志前停止，此时，停止向自动驾驶程序发出刹车信号control.brake，使得车辆停止制动，维持减速标志位为第三数值(如need_brake＝1)不变，将停车标志位从第二数值(如stop_complete＝0)修改为表示停止的第四数值(如stop_complete＝1)，等待重新加速。

步骤104、控制车辆从停止开始加速通过停车让行标志。

如果车辆在停车让行标志前移完成停车，则可以在安全的条件下，控制车辆从停止的状态开始加速通过停车让行标志。

在本发明的一个实施例中，步骤104可以包括如下步骤：

步骤1041、调用自动驾驶程序查询减速标志位与停车标志位，以在检测到减速标志位为第三数值与停车标志位为第四数值时，感知车辆周边的环境信息。

自动驾驶程序会持续查询减速标志位与停车标志位，在检测到减速标志位为第三数值(如need_brake＝1)与停车标志位为第四数值(如stop_complete＝1)时，可以调用激光雷达、摄像头等传感器感知车辆周边的环境信息，除此之外，还会感知车辆自身的状态信息，例如，位置信息、姿态、加速度，等等。

步骤1042、若环境信息适于通行，则调用自动驾驶程序控制车辆从停止开始加速通过停车让行标志。

步骤1043、若环境信息适于让行，则调用自动驾驶程序控制车辆维持停止不变。

将环境信息、状态信息输入端对端的自动驾驶模型中，从而预测感知到的障碍物的运动轨迹，根据感知到的信息，规划出一条到达目的地的行进路线，以及未来一段时间内每一时刻所在位置的精细轨迹和自车状态。

如果判断环境信息安全、车辆适于在当前环境中通行，即当前环境信息适于加速，则可以调用自动驾驶程序控制车辆从停止的状态开始加速，并通过停车让行标志。

如果判断环境信息存在风险，车辆适于在当前环境中让行，即当前环境信息适于减速、停止等，则可以调用自动驾驶程序控制车辆维持停止的状态不变，继续等待在安全的条件下加速通过停车让行标志。

在车辆通过停车让行标志后，分类器分类的类别为位于停车让行标志的管控范围外，此时，可以确定车辆位于停车让行标志的管控范围外。

若位置关系为车辆位于停车让行标志的管控范围外，则可以将减速标志位从第三数值(如need_brake＝1)修改为第一数值(如need_brake＝0)。

若检测到减速标志位为第一数值(如need_brake＝0)，则可以将停车标志位从第四数值(如stop_complete＝1)修改为第二数值(如stop_complete＝0)，返回初始的状态。

本实施例使用减速标志位、停车标志位构建车辆的控制模型，实现方式简洁且高效，没有阈值，能自适应大部分的现实场景。

在本实施例中，沿车辆行驶方向采集多帧目标图像数据；依据目标图像数据检测车辆与停车让行标志的管控范围之间的位置关系；若位置关系为车辆位于停车让行标志的管控范围内，则控制车辆减速、直至车辆在停车让行标志前停止；控制车辆从停止开始加速通过停车让行标志。本实施例针对停车让行标志开发辅助的控制流程，与计算机视觉处理相结合，可以控制车辆在停车让行标志前减速至停车观察，而后顺利加速通过，可有效降低车辆通过停车让行标志时的违规率，同时，并不影响端到端的自动驾驶模型的其它表现，是一个即插即用的模块，可扩展性强。

将本实施例针对停车让行标志提出的车辆的行驶控制方法集成到端到端的自动驾驶模型中，在测试集longest06(包含36条测试路线)上测试，结果显示，停车让行标志的违规通过次数从21次降至13次，整体驾驶分数从52.2提升至59.7。结果表明本专利的提出的方法可降低无人驾驶车辆通过停车让行标志时的违规率。

实施例二

图9为本发明实施例二提供的一种车辆的行驶控制装置的结构示意图。如图9所示，该装置包括：

目标图像数据采集模块901，用于沿车辆行驶方向采集多帧目标图像数据；

位置关系检测模块902，用于依据所述目标图像数据检测所述车辆与停车让行标志的管控范围之间的位置关系；

减速停车控制模块903，用于若所述位置关系为所述车辆位于所述停车让行标志的管控范围内，则控制所述车辆减速、直至所述车辆在所述停车让行标志前停止；

加速控制模块904，用于控制所述车辆从所述停止开始加速通过所述停车让行标志。

在本发明的一个实施例中，所述位置关系检测模块902包括：

分类器确定模块，用于确定对停车让行标志的管控范围训练的分类器；

图像分类模块，用于将所述目标图像数据输入所述分类器中进行分类，得到表示是否位于停车让行标志的管控范围的类别；

位置关系确定模块，用于依据所述类别确定所述车辆与停车让行标志的管控范围之间的位置关系。

在本发明的一个实施例中，所述分类器确定模块包括：

仿真模块，用于启动自动驾驶模拟器，以加载仿真车辆在行驶时的仿真环境；

样本采集模块，用于在所述仿真环境中采集正样本图像数据、负样本图像数据，所述正样本图像数据表示所述仿真车辆位于停车让行标志的管控范围内，所述负样本图像数据表示所述仿真车辆位于停车让行标志的管控范围外；

集合构建模块，用于构建训练集、验证集，所述训练集中包含部分所述正样本图像数据与部分所述负样本图像数据，所述验证集中包含部分所述正样本图像数据与部分所述负样本图像数据；

分类器训练模块，用于使用所述训练集训练分类器，以使所述分类器具备分类是否位于停车让行标志的管控范围的功能；

分类器验证模块，用于若完成训练，则使用所述验证集对所述分类器分类是否位于停车让行标志的管控范围的功能进行验证。

在本发明的一个实施例中，所述样本采集模块包括：

代理查询模块，用于查询所述自动驾驶模拟器中具有数据采集权限的代理；

正样本图像数据采集模块，用于调用所述代理在所述仿真车辆处于管控状态时执行图像采集操作，得到正样本图像数据；

负样本图像数据采集模块，用于调用所述代理在所述仿真车辆并非处于管控状态时执行图像采集操作，得到负样本图像数据；

其中，所述管控状态表示所述仿真车辆与停车让行标志之间的距离小于表示管控范围的管控阈值。

在本发明的一个实施例中，所述样本采集模块还包括：

第一顶部裁剪模块，用于在所述正样本图像数据中裁剪位于顶部的部分数据；

第二顶部裁剪模块，用于在所述负样本图像数据中裁剪位于顶部的部分数据。

在本发明的一个实施例中，所述集合构建模块包括：

正样本图像数据划分模块，用于将部分所述正样本图像数据划分至训练集中、将部分所述正样本图像数据划分至验证集中，以使所述训练集中所述正样本图像数据的数量与所述验证集中所述正样本图像数据的数量符合第一比例；

负样本图像数据划分模块，用于将部分所述负样本图像数据划分至训练集中、将部分所述负样本图像数据划分至验证集中，以使所述训练集中所述负样本图像数据的数量与所述验证集中所述负样本图像数据的数量符合第二比例；

第一数据增强操作模块，用于对所述训练集中的所述负样本图像数据执行数据增强操作，以在所述训练集中生成新的负样本图像数据；

第二数据增强操作模块，用于对所述验证集中的所述负样本图像数据执行数据增强操作，以在所述验证集中生成新的负样本图像数据。

在本发明的一个实施例中，所述位置关系确定模块包括：

类别缓存模块，用于在预设的队列中缓存所述分类器最近分类的多个所述类别；

数量统计模块，用于在所述队列中统计表示位于停车让行标志的管控范围内的所述类别的数量；

范围内确定模块，用于若所述数量大于或等于占比阈值，则确定所述车辆与停车让行标志的管控范围之间的位置关系为所述车辆位于停车让行标志的管控范围内；

范围外确定模块，用于若所述数量小于占比阈值，则确定所述车辆与停车让行标志的管控范围之间的位置关系为所述车辆位于停车让行标志的管控范围外。

在本发明的一个实施例中，所述减速停车控制模块903包括：

标志位确定模块，用于确定减速标志位、停车标志位，所述减速标志位初始为表示未减速的第一数值、所述停车标志位初始为表示未

停止的第二数值；

减速更新模块，用于若所述位置关系为所述车辆位于所述停车让行标志的管控范围内，则将所述减速标志位从所述第一数值修改为表示减速的第三数值，维持所述停车标志位为所述第二数值不变；

减速控制模块，用于在所述减速标志位为所述第三数值与所述停车标志位为所述第二数值时，向自动驾驶程序发出刹车信号，以及，检测所述车辆的速度，所述刹车信号用于控制所述车辆按照所述停车让行标志的管控范围降低速度；

停车更新模块，用于若所述速度小于停止阈值，则确定所述车辆在所述停车让行标志前停止，停止向自动驾驶程序发出停车信号，以及，维持所述减速标志位为所述第三数值不变，将所述停车标志位从所述第二数值修改为表示停止的第四数值。

在本发明的一个实施例中，所述加速控制模块904包括：

环境信息感知模块，用于调用所述自动驾驶程序查询所述减速标志位与所述停车标志位，以在检测到所述减速标志位为所述第三数值与所述停车标志位为所述第四数值时，感知所述车辆周边的环境信息；

加速控制模块，用于若所述环境信息适于通行，则调用所述自动驾驶程序控制所述车辆从所述停止开始加速通过所述停车让行标志；

停止维持模块，用于若所述环境信息适于让行，则调用所述自动驾驶程序控制所述车辆维持所述停止不变。

在本发明的一个实施例中，还包括：

范围外更新模块，用于若所述位置关系为所述车辆位于所述停车让行标志的管控范围外，则将所述减速标志位从所述第三数值修改为所述第一数值；

初始更新模块，用于若检测到所述减速标志位为所述第一数值，则将所述停车标志位从所述第四数值修改为所述第二数值。

本发明实施例所提供的车辆的行驶控制装置可执行本发明任意实施例所提供的车辆的行驶控制方法，具备执行车辆的行驶控制方法相应的功能模块和有益效果。

实施例三

图10示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，如车辆的行驶控制方法。

在一些实施例中，车辆的行驶控制方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的车辆的行驶控制方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车辆的行驶控制方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

实施例四

本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的车辆的行驶控制方法。

计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种车辆的行驶控制方法，其特征在于，包括：

沿车辆行驶方向采集多帧目标图像数据；

依据所述目标图像数据检测所述车辆与停车让行标志的管控范围之间的位置关系；

若所述位置关系为所述车辆位于所述停车让行标志的管控范围内，则控制所述车辆减速、直至所述车辆在所述停车让行标志前停止；

控制所述车辆从所述停止开始加速通过所述停车让行标志。

2.根据权利要求1所述的方法，其特征在于，所述依据所述目标图像数据检测所述车辆与停车让行标志的管控范围之间的位置关系，包括：

确定对停车让行标志的管控范围训练的分类器；

将所述目标图像数据输入所述分类器中进行分类，得到表示是否位于停车让行标志的管控范围的类别；

依据所述类别确定所述车辆与停车让行标志的管控范围之间的位置关系。

3.根据权利要求2所述的方法，其特征在于，所述确定对停车让行标志的管控范围训练的分类器，包括：

启动自动驾驶模拟器，以加载仿真车辆在行驶时的仿真环境；

在所述仿真环境中采集正样本图像数据、负样本图像数据，所述正样本图像数据表示所述仿真车辆位于停车让行标志的管控范围内，所述负样本图像数据表示所述仿真车辆位于停车让行标志的管控范围外；

构建训练集、验证集，所述训练集中包含部分所述正样本图像数据与部分所述负样本图像数据，所述验证集中包含部分所述正样本图像数据与部分所述负样本图像数据；

使用所述训练集训练分类器，以使所述分类器具备分类是否位于停车让行标志的管控范围的功能；

若完成训练，则使用所述验证集对所述分类器分类是否位于停车让行标志的管控范围的功能进行验证。

4.根据权利要求3所述的方法，其特征在于，所述在所述仿真环境中采集正样本图像数据、负样本图像数据，包括：

查询所述自动驾驶模拟器中具有数据采集权限的代理；

调用所述代理在所述仿真车辆处于管控状态时执行图像采集操作，得到正样本图像数据；

调用所述代理在所述仿真车辆并非处于管控状态时执行图像采集操作，得到负样本图像数据；

其中，所述管控状态表示所述仿真车辆与停车让行标志之间的距离小于表示管控范围的管控阈值。

5.根据权利要求4所述的方法，其特征在于，所述在所述仿真环境中采集正样本图像数据、负样本图像数据，还包括：

在所述正样本图像数据中裁剪位于顶部的部分数据；

在所述负样本图像数据中裁剪位于顶部的部分数据。

6.根据权利要求3所述的方法，其特征在于，所述构建训练集、验证集，包括：

将部分所述正样本图像数据划分至训练集中、将部分所述正样本图像数据划分至验证集中，以使所述训练集中所述正样本图像数据的数量与所述验证集中所述正样本图像数据的数量符合第一比例；

将部分所述负样本图像数据划分至训练集中、将部分所述负样本图像数据划分至验证集中，以使所述训练集中所述负样本图像数据的数量与所述验证集中所述负样本图像数据的数量符合第二比例；

对所述训练集中的所述负样本图像数据执行数据增强操作，以在所述训练集中生成新的负样本图像数据；

对所述验证集中的所述负样本图像数据执行数据增强操作，以在所述验证集中生成新的负样本图像数据。

7.根据权利要求2所述的方法，其特征在于，所述依据所述类别确定所述车辆与停车让行标志的管控范围之间的位置关系，包括：

在预设的队列中缓存所述分类器最近分类的多个所述类别；

在所述队列中统计表示位于停车让行标志的管控范围内的所述类别的数量；

若所述数量大于或等于占比阈值，则确定所述车辆与停车让行标志的管控范围之间的位置关系为所述车辆位于停车让行标志的管控范围内；

若所述数量小于占比阈值，则确定所述车辆与停车让行标志的管控范围之间的位置关系为所述车辆位于停车让行标志的管控范围外。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述若所述位置关系为所述车辆位于所述停车让行标志的管控范围内，则控制所述车辆减速、直至所述车辆在所述停车让行标志前停止，包括：

确定减速标志位、停车标志位，所述减速标志位初始为表示未减速的第一数值、所述停车标志位初始为表示未停止的第二数值；

若所述位置关系为所述车辆位于所述停车让行标志的管控范围内，则将所述减速标志位从所述第一数值修改为表示减速的第三数值，维持所述停车标志位为所述第二数值不变；

在所述减速标志位为所述第三数值与所述停车标志位为所述第二数值时，向自动驾驶程序发出刹车信号，以及，检测所述车辆的速度，所述刹车信号用于控制所述车辆按照所述停车让行标志的管控范围降低速度；

若所述速度小于停止阈值，则确定所述车辆在所述停车让行标志前停止，停止向自动驾驶程序发出停车信号，以及，维持所述减速标志位为所述第三数值不变，将所述停车标志位从所述第二数值修改为表示停止的第四数值。

9.根据权利要求8所述的方法，其特征在于，所述控制所述车辆从所述停止开始加速通过所述停车让行标志，包括：

调用所述自动驾驶程序查询所述减速标志位与所述停车标志位，以在检测到所述减速标志位为所述第三数值与所述停车标志位为所述第四数值时，感知所述车辆周边的环境信息；

若所述环境信息适于通行，则调用所述自动驾驶程序控制所述车辆从所述停止开始加速通过所述停车让行标志；

若所述环境信息适于让行，则调用所述自动驾驶程序控制所述车辆维持所述停止不变。

10.根据权利要求8所述的方法，其特征在于，在所述控制所述车辆从所述停止开始加速通过所述停车让行标志之后，还包括：

若所述位置关系为所述车辆位于所述停车让行标志的管控范围外，则将所述减速标志位从所述第三数值修改为所述第一数值；

若检测到所述减速标志位为所述第一数值，则将所述停车标志位从所述第四数值修改为所述第二数值。

11.一种车辆的行驶控制装置，其特征在于，包括：

目标图像数据采集模块，用于沿车辆行驶方向采集多帧目标图像数据；

位置关系检测模块，用于依据所述目标图像数据检测所述车辆与停车让行标志的管控范围之间的位置关系；

减速停车控制模块，用于若所述位置关系为所述车辆位于所述停车让行标志的管控范围内，则控制所述车辆减速、直至所述车辆在所述停车让行标志前停止；

加速控制模块，用于控制所述车辆从所述停止开始加速通过所述停车让行标志。

12.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的车辆的行驶控制方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-10中任一项所述的车辆的行驶控制方法。