CN113428177B - 一种车辆控制方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种车辆控制方法、装置、设备及存储介质，所述方法包括采集目标车辆的行驶环境图像；基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到目标视觉感知模型中每个图像处理层输出的感知特征图像；基于每个图像处理层输出的感知特征图像，确定每个图像处理层的输出置信度；基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标；当所述模型感知波动指标满足预设行驶干预条件时，执行目标车辆的行驶安全控制操作。利用本申请提供的技术方案能够实时根据模型中多个图像处理层的输出置信度快速准确地确定模型感知波动指标，在模型感知不可靠时及时执行行驶安全控制操作，有利于提升车辆行驶安全性。

Description

一种车辆控制方法、装置、设备及存储介质

技术领域

本发明涉及车辆技术领域，具体涉及一种车辆控制方法、装置、设备及存储介质。

背景技术

随着人工智能和信息技术的快速发展，自动驾驶车辆逐渐成为汽车领域的关注重点。自动驾驶车辆依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有人类主动的操作下，自动完成车辆的行驶操作。

为了实现车辆的自动驾驶，往往需要利用视觉感知技术得到的视觉感知信息，例如进行车道线分割、周围车辆检测等，但由于行驶情况的多样性，以及视觉感知技术本身性能的限制，存在利用视觉感知技术得到的视觉感知信息出现误差的情况。而一旦视觉感知信息出现误差，可能导致车辆转向失误(例如转向丢失、非期望转向等)等问题，存在巨大的安全隐患。因此，需要提供更加有效的方案。

发明内容

为了解决现有技术的问题，本发明提供了一种车辆控制方法、装置、设备及存储介质。所述技术方案如下：

本申请一方面提供了一种车辆控制方法，所述方法包括：

采集目标车辆的行驶环境图像；

基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像；

基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度；

基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标；

当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作。

本申请另一方面提供了一种车辆控制装置，所述装置包括：

图像采集模块，用于采集目标车辆的行驶环境图像；

感知图像处理模块，用于基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像；

输出置信度确定模块，用于基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度；

模型感知波动指标确定模块，用于基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标；

控制模块，用于当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作。

本申请另一方面提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现所述车辆控制方法。

本申请另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的车辆控制方法。

本申请提供的车辆控制方法、装置、设备及存储介质，具有如下技术效果：

本申请通过采集目标车辆的行驶环境图像；基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到目标视觉感知模型中每个图像处理层输出的感知特征图像；基于每个图像处理层输出的感知特征图像，确定每个图像处理层的输出置信度；基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标；当所述模型感知波动指标满足预设行驶干预条件时，执行目标车辆的行驶安全控制操作。能够实时结合模型中多个图像处理层的输出置信度快速准确地确定模型感知波动指标，进而在模型感知不可靠时及时执行行驶安全控制操作，有利于提升车辆行驶安全性。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种车辆控制方法的流程图；

图2是本申请实施例提供的另一种车辆控制方法的流程图；

图3是本申请实施例提供的另一种车辆控制方法的流程图；

图4是本申请实施例提供的另一种车辆控制方法的流程图；

图5是本申请实施例提供的另一种车辆控制方法的流程图；

图6是本申请实施例提供的另一种车辆控制方法的流程图；

图7是本申请实施例提供的另一种车辆控制方法的流程图；

图8是本申请实施例提供的一种车辆控制装置示意图；

图9是本申请实施例提供的一种车辆控制的服务器的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本申请实施例提供的一种车辆控制方法的流程图，请参照图1，本申请实施例提供的车辆控制方法包括如下步骤：

S101：采集目标车辆的行驶环境图像。

在本申请实施例中，该目标车辆可以为具有自动驾驶功能的车辆，且该目标车辆可以设置有多个用于采集图像的摄像头，上述摄像头可以包括但不限于线性摄像头和广角摄像头。上述的行驶环境图像可以为利用该目标车辆的摄像头采集的，反映该目标车辆周边环境的实景图像，具体的，上述的行驶环境图像可以包括但不限于道路图像、以及目标车辆前后左右的环境图像。

在本申请实施例中，上述采集目标车辆的行驶环境图像可以包括在该目标车辆自动驾驶的过程中，采集该目标车辆的行驶环境图像，可以为每隔预设时间间隔采集一次，上述的预设时间间隔可以为，例如，2秒。通过采集目标车辆的行驶环境图像，进而能够基于目标视觉感知模型对所述行驶环境图像进行感知图像处理(例如车道线分割、周围车辆检测等)，最终得到视觉感知信息，并利用得到的视觉感知信息实现自动驾驶的转向等操作。

S103：基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像。

在本申请实施例中，上述的目标视觉感知模型可以表征用于进行车辆视觉感知图像处理的机器学习模型，上述每个图像处理层可以为上述目标视觉感知模型中的每个模型层。具体的，上述的目标视觉感知模型可以包括但不限于车道线分割模型、车辆检测模型和行人检测模型，相应的，基于目标视觉感知模型对所述行驶环境图像进行感知图像处理可以包括但不限于基于车道线分割模型对所述行驶环境图像进行车道线分割处理、基于车辆检测模型对所述行驶环境图像进行目标车辆的周围车辆检测处理，以及基于行人检测模型对所述行驶环境图像进行行人检测处理。

在一个可选的实施例中，上述的行驶环境图像可以为道路图像，上述的目标视觉感知模型可以为车道线分割模型，上述目标视觉感知模型中的多个图像处理层可以包括图像阈值分割层、图像二值化层、第一去噪层、第二去噪层和区域分割层，上述多个图像处理层输出的感知特征图像可以包括车道线粗分割图像、二值化图像、初始去噪图像、目标去噪图像和车道线分割图像。请参照图2，此时上述步骤S103基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像可以包括：

S201：根据所述图像阈值分割层对所述道路图像进行阈值分割，得到所述车道线粗分割图像。

在本申请实施例中，上述的道路图像为彩色图像，车道线一般为黄色或白色，可以基于所述图像阈值分割层，对所述道路图像进行RGB阈值分割(判断道路图像中的像素点的R、G、B值是否大于或小于设定阈值，满足条件的点就保留或删除)，即生成去背景函数并对上述道路图像进行背景去除处理，得到上述的车道线粗分割图像。

S203：根据所述图像二值化层对所述车道线粗分割图像进行二值化处理，得到所述二值化图像。

在实际应用中，图像二值化就是将上述车道线粗分割图像中的像素点的灰度值设置为0或255，即使得整个图像呈现出黑白效果的过程。通过图像二值化能够使图像中数据量大为减少，进而凸显出目标(车道线)的轮廓。

S205：根据所述第一去噪层对所述二值化图像进行高斯模糊去噪处理，得到所述初始去噪图像。

在本申请实施例中，根据所述第一去噪层对所述二值化图像进行高斯模糊去噪处理可以包括：根据所述第一去噪层对上述的二值化图像进行高斯模糊去噪，且进行边缘保持处理。通过根据所述第一去噪层对所述二值化图像进行高斯模糊去噪处理，能够去除上述二值化图像中的噪点，有利于减少无关信息带来的干扰。

S207：根据所述第二去噪层对所述初始去噪图像进行面积阈值去噪处理，得到所述目标去噪图像。

在本申请实施例中，根据所述第二去噪层对所述初始去噪图像进行面积阈值去噪处理具体可以包括设置目标面积阈值，去除面积较小的连通域。根据所述第一去噪层对所述二值化图像进行高斯模糊去噪处理能够去除图像中一些面积较大的噪点，此时初始去噪图像中可能还存在一些面积较小的噪点，通过根据所述第二去噪层对所述初始去噪图像进行面积阈值去噪处理，能够有效去除图像中面积较小的噪点，通过双重去噪使得去噪效果更好，减少无关信息带来的干扰，进而有利于得到更为可靠的车道线分割图像。

S209：根据所述区域分割层对所述车道线粗分割图像进行轮廓检测和区域分割，得到所述车道线分割图像。

通过根据所述区域分割层对所述车道线粗分割图像进行轮廓检测和区域分割，能够得到较为精细的车道线分割图像。进而后续能够利用得到的车道线分割图像实现自动驾驶中的转向判断等操作。

S105：基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度。

在本申请实施例中，上述每个图像处理层的输出置信度可以表征本次采集的行驶环境图像，在该图像处理层进行相关处理后输出的感知特征图像的可信程度。在实际应用中，由于采集的行驶环境图像的情况较为复杂多样，不同的行驶环境图像，在相同图像处理层进行相关处理后输出的感知特征图像的可信程度存在变化；相同的行驶环境图像，在不同图像处理层进行相关处理后输出的感知特征图像的可信程度也不同；因此可以基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度。

在一个具体的实施例中，请参阅图3，上述的基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度可以包括：

S301：获取该目标视觉感知模型的正样本训练图像，在所述每个图像处理层输出的样本特征图像。

在本申请实施例中，该目标视觉感知模型为利用大量样本图像，对预设机器学习模型进行相应的感知图像处理训练得到的。其中，样本图像可以包括正样本训练图像，上述正样本训练图像可以表征在上述目标视觉感知模型的感知图像处理训练中，最终得到了符合预期结果的训练图像。例如，得到了符合预期的车道线分割图像的正样本训练道路图像。正样本训练图像在每个图像处理层输出的样本特征图像都较为合理，可以利用正样本训练图像，确定这些图像在所述每个图像处理层输出的样本特征图像，过程与S103类似。

S303：计算所述每个图像处理层输出的感知特征图像和对应的样本特征图像间的相似度信息。

在本申请实施例中，上述感知特征图像和每个样本特征图像间的相似度信息可以表征，上述感知特征图像和每个样本特征图像之间的图像特征关联情况。可以计算每个图像处理层输出的感知特征图像和对应的样本特征图像间的相似度信息，例如，当该目标视觉感知模型为上述的车道线分割模型时，针对图像阈值分割层，可以计算车道线粗分割图像与正样本训练图像在图像阈值分割层输出的样本粗分割图像之间的相似度信息。具体的，计算上述感知特征图像和每个样本特征图像间的相似度信息可以包括但不限于基于直方图算法计算相似度值，具体可以包括根据上述感知特征图像和该样本特征图像的像素数据，生成各自的直方图数据，然后根据上述感知特征图像和该样本特征图像的直方图数据，进行巴氏系数计算，得到上述感知特征图像和该样本特征图像的相似度值(巴氏系数因子值)。

S305：根据所述相似度信息确定所述每个图像处理层对应的输出置信度。

在一个具体的实施例中，上述正样本训练图像可以包括多个，相应的，上述正样本训练图像在每个图像处理层输出的样本特征图像也可以包括多个，每个图像处理层输出的感知特征图像和对应的样本特征图像间的相似度信息可以包括多个，此时根据所述相似度信息确定所述每个图像处理层对应的输出置信度可以包括：计算每个图像处理层输出的感知特征图像和对应的样本特征图像间的相似度信息的相似度平均值，将每个图像处理层对应的相似度平均值作为该图像处理层对应的输出置信度。

通过获取该目标视觉感知模型的正样本训练图像，在每个图像处理层输出的样本特征图像计算相似度信息，进而计算每个图像处理层对应的输出置信度，能够结合训练数据得到每个图像处理层可靠的输出置信度，即本次采集的行驶环境图像，在该图像处理层进行相关处理后输出的感知特征图像的可信程度，进而提升车辆控制的可靠性。

S107：基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标。

在本申请实施例中，上述的模型感知波动指标可以表征上述目标视觉感知模型当前对行驶环境图像进行感知图像处理的准确程度信息，进而能够表示基于目标视觉感知模型对行驶环境图像进行感知图像处理后得到的视觉感知信息(例如，车道线分割结果)的可靠程度。当上述的模型感知波动指标越小(置信度加权值越小)时，表示目标视觉感知模型当前对行驶环境图像进行感知图像处理的准确程度越低，即模型越不可靠，进而出现自动驾驶转向失误等问题的概率越高。在实际应用中，由于采集的行驶环境图像和车辆行驶的环境因素在不断变化，目标视觉感知模型当前对行驶环境图像进行感知图像处理的准确程度或可靠程度也会存在不同，例如，当路面情况较为简单(周围车辆较少，车道线清晰)时，目标视觉感知模型进行感知图像处理的准确程度可能较高，当路面情况较为复杂(周围车辆较多、车道线模糊、不连续等)时，目标视觉感知模型进行感知图像处理的准确程度可能较低，灯光、阴影等也可能影响目标视觉感知模型的图像处理情况。通过结合目标视觉感知模型中多个图像处理层的输出置信度确定模型感知波动指标，能够从目标视觉感知模型的多个图像处理层出发，更加全面准确地判断目标视觉感知模型当前的可靠程度，在模型不够可靠时执行目标车辆的行驶安全控制操作，提升车辆控制的可靠性，进而保障自动驾驶的安全性。

在一个具体的实施例中，请参阅图4，上述的基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标可以包括：

S401：获取所述每个图像处理层对应的感知权重系数。

具体的，上述的感知权重系数可以表征对应的图像处理层输出的感知特征图像与所述模型感知波动指标的关联程度。感知权重系数越大，表示该图像处理层输出的感知特征图像与上述模型感知波动指标的关联程度越大，即该图像处理层输出的感知特征图像对模型感知波动指标的影响程度越大。上述每个图像处理层对应的感知权重系数可以为结合大量样本数据进行测试的结果，以及实际应用需求确定的，例如，结合大量样本数据进行测试，确定该图像处理层输出的感知特征图像对最终感知信息处理结果(例如车道线分割结果)的影响，进而确定该图像处理层对应的感知权重系数，能够得到可靠的感知权重系数，进而得到更加可靠的模型感知波动指标。

S403：将所述每个图像处理层的输出置信度与对应的感知权重系数相乘，得到所述每个图像处理层对应的置信度加权项。

S405：对所述多个图像处理层对应的置信度加权项进行求和处理，得到所述模型感知波动指标。

在一个具体的实施例中，当上述的目标视觉感知模型为车道线分割模型时，上述目标视觉感知模型中的多个图像处理层可以包括图像阈值分割层、图像二值化层、第一去噪层、第二去噪层和区域分割层，例如，此时图像阈值分割层的输出置信度为A1，感知权重系数为b1；图像二值化层的输出置信度为A2，感知权重系数为b2；第一去噪层的输出置信度为A3，感知权重系数为b3；第二去噪层的输出置信度为A4，感知权重系数为b4；区域分割层的输出置信度为A5，感知权重系数为b5。则此时上述模型感知波动指标可以参照如下计算得到：

模型感知波动指标＝A1*b1+A2*b2+A3*b3+A4*b4+A5*b5。

通过获取所述每个图像处理层对应的感知权重系数，将所述每个图像处理层的输出置信度与对应的感知权重系数相乘得到置信度加权项，再对多个图像处理层对应的置信度加权项进行求和处理，得到上述的模型感知波动指标，能够综合目标视觉感知模型的多个图像处理层确定模型当前对行驶环境图像进行感知图像处理的准确程度信息，有利于更加全面有效地判断目标视觉感知模型当前的可靠程度。

S109：当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作。

在本申请实施例中，上述的预设行驶干预条件可以包括模型感知波动指标小于或等于预设指标阈值，上述的预设指标阈值可以结合样本数据的测试结果和实际应用需求确定，例如，可以利用负样本训练图像在每个图像处理层输出的样本特征图像，确定各负样本训练图像在目标视觉感知模型中多个图像处理层的输出置信度，进而确定各负样本训练图像对应的模型感知波动指标，然后取各负样本训练图像对应的模型感知波动指标的平均值，结合实际应用需求设置预设指标阈值为比上述平均值高预设单位的值。上述负样本训练图像可以表征在上述目标视觉感知模型的感知图像处理训练中，最终未得到符合预期结果的训练图像。当所述模型感知波动指标满足预设行驶干预条件时，表示目标视觉感知模型当前对行驶环境图像进行感知图像处理的准确程度较低，即模型不够可靠，出现自动驾驶转向失误等问题的概率升高。

通过当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作，能够在模型不够可靠时及时执行目标车辆的行驶安全控制操作，提升车辆控制的可靠性，进而有利于提升自动驾驶的安全性。

在一个具体的实施例中，请参阅图5，上述的执行所述目标车辆的行驶安全控制操作可以包括：

S501：发出驾驶接管提示信息。

在本申请实施例中，上述的驾驶接管提示信息可以包括自动驾驶失效原因以及目标期望操作，具体的，自动驾驶失效原因可以包括视觉感知系统失效，目标期望操作可以包括接管目标车辆的自动驾驶操作。具体的，上述的驾驶接管提示信息可以包括但不限于声音提示信息、车内灯光提示信息、文字提示信息或任意两种及以上的结合。例如，上述的发出驾驶接管提示信息可以包括：在目标车辆车内电子显示屏幕上显示文字提示信息“自动驾驶视觉感知系统出错，请接管车辆的自动驾驶”，并通过车辆的声音系统发出报警提示音。

通过发出驾驶接管提示信息，能够在模型不够可靠时快速有效地使得目标车辆的驾驶员感知车辆自动驾驶的异常情况并及时采取相应措施，提升车辆行驶的安全性。

在一个可选的实施例中，请参阅图6，上述的执行所述目标车辆的行驶安全控制操作还可以包括：

S601：监测所述驾驶接管提示信息的响应等待时间。

在本申请实施例中，发出上述驾驶接管提示信息之后，系统会监测所述驾驶接管提示信息的响应等待时间，上述的响应等待时间可以表征从发出驾驶接管提示信息到收到响应操作指令的等待时长，若用户一直未接管目标车辆的自动驾驶，则该响应等待时间会持续增加。

S603：当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动。

具体的，上述的预设时间阈值可以结合实际应用需求进行设定，例如，上述的预设时间阈值可以为10秒。上述的当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动可以包括，当所述响应等待时间超过预设时间阈值时，控制车辆行驶至目标安全区域并停车。上述的目标安全区域可以为距离该目标车辆的当前位置最近的可停靠区域。

在实际应用中，可能存在驾驶员未注意驾驶接管提示信息的情况，若在目标视觉感知模型不够可靠的情况下继续执行自动驾驶，可能导致转向失误等严重安全问题。通过监测所述驾驶接管提示信息的响应等待时间，当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动，能够增加一重安全保障，在驾驶接管提示信息持续未被响应的情况下及时采取其他措施，提升车辆控制和行驶的安全性。

在一个具体的实施例中，请参阅图7，在所述基于目标视觉感知模型对所述行驶环境图像进行感知图像处理之前，上述方法还可以包括：

S701：监控所述目标视觉感知模型的运行环境数据。

在本申请实施例中，上述的运行环境数据可以为利用目标车辆的传感器监控的当前自然环境信息，具体的，上述的运行环境数据可以包括光照强度信息和能见度信息。

S703：当检测到所述运行环境数据不满足预设模型运行条件时，执行所述目标车辆的行驶安全控制操作。

在一个具体的实施例中，当上述的运行环境数据包括光照强度信息时，上述的预设模型运行条件可以包括光照强度信息大于或等于预设强度阈值；当上述的运行环境数据包括能见度信息时，上述的预设模型运行条件可以包括能见度信息小于或等于预设能见度阈值。当上述的运行环境数据同时包括光照强度信息和能见度信息时，检测到其中任一不满足对应的预设模型运行条件时，即执行所述目标车辆的行驶安全控制操作。

在本申请实施例中，上述S703中的执行所述目标车辆的行驶安全控制操作可以包括发出驾驶接管提示信息，具体过程与S501类似，可参见S501的相关描述，在此不再赘述。上述的执行所述目标车辆的行驶安全控制操作还可以包括：监测所述驾驶接管提示信息的响应等待时间；当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动，具体过程与S601～S603类似，可参见S601～S603的相关描述，在此不再赘述。

通过发出驾驶接管提示信息，能够在模型不够可靠时快速有效地使得目标车辆的驾驶员感知车辆自动驾驶的异常情况并及时采取相应措施，提升车辆行驶的安全性。通过监测所述驾驶接管提示信息的响应等待时间，当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动，能够增加一重安全保障，在驾驶接管提示信息持续未被响应的情况下及时采取其他措施，提升车辆控制和行驶的安全性。

在本申请实施例中，通过采集目标车辆的行驶环境图像，基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像，基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度。其中，通过获取该目标视觉感知模型的正样本训练图像，在每个图像处理层输出的样本特征图像计算相似度信息，进而计算每个图像处理层对应的输出置信度，能够结合训练数据得到每个图像处理层可靠的输出置信度，即本次采集的行驶环境图像，在该图像处理层进行相关处理后输出的感知特征图像的可信程度，进而提升车辆控制的可靠性。通过结合目标视觉感知模型中多个图像处理层的输出置信度确定模型感知波动指标，能够从目标视觉感知模型的多个图像处理层出发，更加全面准确地判断目标视觉感知模型当前的可靠程度，在模型不够可靠时执行目标车辆的行驶安全控制操作，提升车辆控制的可靠性，进而保障自动驾驶的安全性。通过当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作，能够在模型不够可靠时及时执行目标车辆的行驶安全控制操作，提升车辆控制的可靠性，进而有利于提升自动驾驶的安全性。通过发出驾驶接管提示信息，能够在模型不够可靠时快速有效地使得目标车辆的驾驶员感知车辆自动驾驶的异常情况并及时采取相应措施，提升车辆行驶的安全性。通过监测所述驾驶接管提示信息的响应等待时间，当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动，能够增加一重安全保障，在驾驶接管提示信息持续未被响应的情况下及时采取其他措施，提升车辆控制和行驶的安全性。

本申请实施例还提供了一种车辆控制装置的实施例，如图8所示，所述装置可以包括：

图像采集模块810，用于采集目标车辆的行驶环境图像；

感知图像处理模块820，用于基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像；

输出置信度确定模块830，用于基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度；

模型感知波动指标确定模块840，用于基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标；

控制模块850，用于当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作。

在一个具体的实施例中，所述模型感知波动指标确定模块840可以包括：

感知权重系数获取单元，用于获取所述每个图像处理层对应的感知权重系数，所述感知权重系数表征对应的图像处理层输出的感知特征图像与所述模型感知波动指标的关联程度；

加权单元，用于将所述每个图像处理层的输出置信度与对应的感知权重系数相乘，得到所述每个图像处理层对应的置信度加权项；

求和单元，用于对所述多个图像处理层对应的置信度加权项进行求和处理，得到所述模型感知波动指标。

在一个具体的实施例中，所述输出置信度确定模块830可以包括：

样本图像获取单元，用于获取所述目标视觉感知模型的正样本训练图像，在所述每个图像处理层输出的样本特征图像；

相似度信息计算单元，用于计算所述每个图像处理层输出的感知特征图像和对应的样本特征图像间的相似度信息；

输出置信度确定单元，用于根据所述相似度信息确定所述每个图像处理层对应的输出置信度。

在一个可选的实施例中，所述装置还可以包括：

环境数据监控模块，用于在所述基于目标视觉感知模型对所述行驶环境图像进行感知图像处理之前，监控所述目标视觉感知模型的运行环境数据；

安全控制模块，用于当检测到所述运行环境数据不满足预设模型运行条件时，执行所述目标车辆的行驶安全控制操作。

在一个具体的实施例中，所述控制模块850可以包括：

提示信息发送单元，用于发出驾驶接管提示信息。

在一个具体的实施例中，所述控制模块850还可以包括：

响应等待时间监测单元，用于监测所述驾驶接管提示信息的响应等待时间；

主动制动单元，用于当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动。

在一个具体的实施例中，所述行驶环境图像包括道路图像，所述目标视觉感知模型包括车道线分割模型，所述多个图像处理层包括图像阈值分割层、图像二值化层、第一去噪层、第二去噪层和区域分割层，所述多个图像处理层输出的感知特征图像包括车道线粗分割图像、二值化图像、初始去噪图像、目标去噪图像和车道线分割图像；所述感知图像处理模块820可以包括：

图像阈值分割单元，用于根据所述图像阈值分割层对所述道路图像进行阈值分割，得到所述车道线粗分割图像；

二值化单元，用于根据所述图像二值化层对所述车道线粗分割图像进行二值化处理，得到所述二值化图像；

第一去噪单元，用于根据所述第一去噪层对所述二值化图像进行高斯模糊去噪处理，得到所述初始去噪图像；

第二去噪单元，用于根据所述第二去噪层对所述初始去噪图像进行面积阈值去噪处理，得到所述目标去噪图像；

区域分割单元，用于根据所述区域分割层对所述车道线粗分割图像进行轮廓检测和区域分割，得到所述车道线分割图像。

所述的装置实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的车辆控制方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括移动终端、计算机终端、服务器或者类似的运算装置。其中，上述的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是车辆ECU(Electronic Control Unit电子控制单元)、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。以运行在服务器上为例，图9是本申请实施例提供的一种用于实现上述车辆控制方法的服务器的硬件结构框图。如图9所示，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在服务器900上执行存储介质920中的一系列指令操作。服务器900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如Windows Server^TM，Mac OS X^TM，Unix^TM,Linux^TM，FreeBSD^TM等等。

处理器910可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

操作系统921可以包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。

本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

本申请的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种车辆控制方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的车辆控制方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的车辆控制方法、装置、计算机设备或存储介质的实施例可见，本申请采集目标车辆的行驶环境图像，基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像，基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度。其中，通过获取该目标视觉感知模型的正样本训练图像，在每个图像处理层输出的样本特征图像计算相似度信息，进而计算每个图像处理层对应的输出置信度，能够结合训练数据得到每个图像处理层可靠的输出置信度，即本次采集的行驶环境图像，在该图像处理层进行相关处理后输出的感知特征图像的可信程度，进而提升车辆控制的可靠性。通过结合目标视觉感知模型中多个图像处理层的输出置信度确定模型感知波动指标，能够从目标视觉感知模型的多个图像处理层出发，更加全面准确地判断目标视觉感知模型当前的可靠程度，在模型不够可靠时执行目标车辆的行驶安全控制操作，提升车辆控制的可靠性，进而保障自动驾驶的安全性。通过当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作，能够在模型不够可靠时及时执行目标车辆的行驶安全控制操作，提升车辆控制的可靠性，进而有利于提升自动驾驶的安全性。通过发出驾驶接管提示信息，能够在模型不够可靠时快速有效地使得目标车辆的驾驶员感知车辆自动驾驶的异常情况并及时采取相应措施，提升车辆行驶的安全性。通过监测所述驾驶接管提示信息的响应等待时间，当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动，能够增加一重安全保障，在驾驶接管提示信息持续未被响应的情况下及时采取其他措施，提升车辆控制和行驶的安全性。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种车辆控制方法，其特征在于，所述方法包括：

采集目标车辆的行驶环境图像，所述行驶环境图像包括道路图像；

基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像，其中，所述目标视觉感知模型包括车道线分割模型，所述目标视觉感知模型中的多个图像处理层包括图像阈值分割层、图像二值化层、第一去噪层、第二去噪层和区域分割层，所述多个图像处理层输出的感知特征图像包括车道线粗分割图像、二值化图像、初始去噪图像、目标去噪图像和车道线分割图像；

基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度；

基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标，所述模型感知波动指标表征所述目标视觉感知模型当前对行驶环境图像进行感知图像处理的准确程度信息；

当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标包括：

获取所述每个图像处理层对应的感知权重系数，所述感知权重系数表征对应的图像处理层输出的感知特征图像与所述模型感知波动指标的关联程度；

将所述每个图像处理层的输出置信度与对应的感知权重系数相乘，得到所述每个图像处理层对应的置信度加权项；

对所述多个图像处理层对应的置信度加权项进行求和处理，得到所述模型感知波动指标。

3.根据权利要求1所述的方法，其特征在于，所述基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度包括：

获取所述目标视觉感知模型的正样本训练图像，在所述每个图像处理层输出的样本特征图像；

计算所述每个图像处理层输出的感知特征图像和对应的样本特征图像间的相似度信息；

根据所述相似度信息确定所述每个图像处理层对应的输出置信度。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述基于目标视觉感知模型对所述行驶环境图像进行感知图像处理之前，监控所述目标视觉感知模型的运行环境数据；

当检测到所述运行环境数据不满足预设模型运行条件时，执行所述目标车辆的行驶安全控制操作。

5.根据权利要求1-4任一所述的方法，其特征在于，所述执行所述目标车辆的行驶安全控制操作包括：

发出驾驶接管提示信息。

6.根据权利要求5所述的方法，其特征在于，所述执行所述目标车辆的行驶安全控制操作还包括：

监测所述驾驶接管提示信息的响应等待时间；

当所述响应等待时间超过预设时间阈值时，执行所述目标车辆的主动制动。

7.根据权利要求1所述的方法，其特征在于，所述基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像包括：

根据所述图像阈值分割层对所述道路图像进行阈值分割，得到所述车道线粗分割图像；

根据所述图像二值化层对所述车道线粗分割图像进行二值化处理，得到所述二值化图像；

根据所述第一去噪层对所述二值化图像进行高斯模糊去噪处理，得到所述初始去噪图像；

根据所述第二去噪层对所述初始去噪图像进行面积阈值去噪处理，得到所述目标去噪图像；

根据所述区域分割层对所述车道线粗分割图像进行轮廓检测和区域分割，得到所述车道线分割图像。

8.一种车辆控制装置，其特征在于，所述装置包括：

图像采集模块，用于采集目标车辆的行驶环境图像，所述行驶环境图像包括道路图像；

感知图像处理模块，用于基于目标视觉感知模型对所述行驶环境图像进行感知图像处理，得到所述目标视觉感知模型中每个图像处理层输出的感知特征图像，其中，所述目标视觉感知模型包括车道线分割模型，所述目标视觉感知模型中的多个图像处理层包括图像阈值分割层、图像二值化层、第一去噪层、第二去噪层和区域分割层，所述多个图像处理层输出的感知特征图像包括车道线粗分割图像、二值化图像、初始去噪图像、目标去噪图像和车道线分割图像；

输出置信度确定模块，用于基于所述每个图像处理层输出的感知特征图像，确定所述每个图像处理层的输出置信度；

模型感知波动指标确定模块，用于基于所述目标视觉感知模型中多个图像处理层的输出置信度，确定模型感知波动指标，所述模型感知波动指标表征所述目标视觉感知模型当前对行驶环境图像进行感知图像处理的准确程度信息；

控制模块，用于当所述模型感知波动指标满足预设行驶干预条件时，执行所述目标车辆的行驶安全控制操作。

9.一种车辆控制设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的车辆控制方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的车辆控制方法。

Images