CN116872961B - 用于智能驾驶车辆的控制系统 - Google Patents

Abstract

本申请公开了一种用于智能驾驶车辆的控制系统。其首先通过摄像头采集包含车辆对象和车道线的车辆图像，接着，对所述车辆图像进行图像特征分析以得到车辆‑车道线交互特征，然后，基于所述车辆‑车道线交互特征，确定是否产生车辆压线预警提示。这样，可以避免人工判断引起的判断误差和浪费精力的问题，从而减少车辆偏离车道带来的潜在风险，保障道路交通的安全和顺畅。

Description

用于智能驾驶车辆的控制系统

技术领域

本申请涉及智能控制领域，且更为具体地，涉及一种用于智能驾驶车辆的控制系统。

背景技术

智能驾驶是指利用先进的计算机视觉、感知和决策算法，使车辆能够在没有人类驾驶员干预的情况下进行自主导航和操作的技术。在智能驾驶过程中，智能驾驶车辆的控制系统起着至关重要的作用，它通过对车辆周围环境的感知和分析，实现对车辆的准确控制和决策。

随着自动驾驶技术的发展，越来越多的车辆具备自主导航和控制能力。然而，在某些情况下，自动驾驶系统可能会出现故障或无法适应复杂的道路环境，导致车辆偏离车道，即压线时，可能会引发交通事故或危险情况，因此，及时提醒驾驶员注意并采取纠正措施非常重要。

然而，传统的驾驶车辆控制系统并没有压线检测功能，通常需要人类驾驶员依靠他们的经验来检测评估车辆是否压线，以进一步进行操作和决策。而人类驾驶员存在疲劳、分心、反应不及时等问题，容易出现判断误差，且可能无法及时响应压线预警提示，从而增加了事故的风险，导致交通事故发生。

因此，期望一种优化的用于智能驾驶车辆的控制系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于智能驾驶车辆的控制系统。其可以避免人工判断引起的判断误差和浪费精力的问题，从而减少车辆偏离车道带来的潜在风险，保障道路交通的安全和顺畅。

根据本申请的一个方面，提供了一种用于智能驾驶车辆的控制系统，其包括：

图像采集模块，用于通过摄像头采集包含车辆对象和车道线的车辆图像；

图像特征分析模块，用于对所述车辆图像进行图像特征分析以得到车辆-车道线交互特征；

以及车辆压线预警模块，用于基于所述车辆-车道线交互特征，确定是否产生车辆压线预警提示。

与现有技术相比，本申请提供的用于智能驾驶车辆的控制系统，其首先通过摄像头采集包含车辆对象和车道线的车辆图像，接着，对所述车辆图像进行图像特征分析以得到车辆-车道线交互特征，然后，基于所述车辆-车道线交互特征，确定是否产生车辆压线预警提示。这样，可以避免人工判断引起的判断误差和浪费精力的问题，从而减少车辆偏离车道带来的潜在风险，保障道路交通的安全和顺畅。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。

图1为根据本申请实施例的用于智能驾驶车辆的控制系统的框图示意图。

图2为根据本申请实施例的用于智能驾驶车辆的控制系统中的所述图像特征分析模块的框图示意图。

图3为根据本申请实施例的用于智能驾驶车辆的控制系统中的所述车辆-车道线交互分析单元的框图示意图。

图4为根据本申请实施例的用于智能驾驶车辆的控制系统中的所述车辆压线预警模块的框图示意图。

图5为根据本申请实施例的用于智能驾驶车辆的控制系统中的所述交互特征优化单元的框图示意图。

图6为根据本申请实施例的用于智能驾驶车辆的控制系统中的所述车辆压线检测单元的框图示意图。

图7为根据本申请实施例的用于智能驾驶车辆的控制方法的流程图。

图8为根据本申请实施例的用于智能驾驶车辆的控制方法的系统架构的示意图。

图9为根据本申请实施例的用于智能驾驶车辆的控制系统的应用场景图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

针对上述技术问题，本申请的技术构思为通过摄像头采集包含车辆对象和车道线的车辆图像，并在后端引入图像处理和分析算法来进行车辆图像的分析以自动进行车辆压线的检测，通过这样的方式，能够自动化地实现车辆压线检测功能，并在车辆压线时产生车辆压线预警提示，以避免人工判断引起的判断误差和浪费精力的问题，从而减少车辆偏离车道带来的潜在风险，保障道路交通的安全和顺畅。

图1为根据本申请实施例的用于智能驾驶车辆的控制系统的框图示意图。如图1所示，根据本申请实施例的用于智能驾驶车辆的控制系统100，包括：图像采集模块110，用于通过摄像头采集包含车辆对象和车道线的车辆图像；图像特征分析模块120，用于对所述车辆图像进行图像特征分析以得到车辆-车道线交互特征；以及，车辆压线预警模块130，用于基于所述车辆-车道线交互特征，确定是否产生车辆压线预警提示。

具体地，在本申请的技术方案中，首先，获取由摄像头采集的包含车辆对象和车道线的车辆图像。应可以理解，考虑到在实际进行车辆偏离车道，即车辆压线检测时，应聚焦于车辆对象目标和车道线目标之间的相对位置特征信息。因此，若能够在进行车辆压线检测时滤除其余无用的干扰特征，显然能够提高检测的精准度。因此，在本申请的技术方案中，进一步将所述车辆图像通过车辆目标检测网络以得到车辆对象感兴趣图像，并且，将所述车辆图像通过车道线目标检测网络以得到车道线对象感兴趣图像。特别地，这里，所述车辆目标检测网络和所述车道线目标检测网络都为基于锚窗的目标检测网络，且所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

然后，在车辆对象感兴趣图像中，所述车辆对象的边缘与周围环境的边缘有明显的区别，因此，在本申请的技术方案中，进一步对所述车辆对象感兴趣图像进行边缘检测以得到车辆对象边缘图像，以此来将车辆对象与其他物体或背景进行有效分离。应可以理解，边缘检测可以帮助提取所述车辆对象感兴趣图像中的边缘线条和轮廓特征，这些线条和轮廓特征通常代表着物体的边界。对于所述车辆对象来说，提取其边缘信息可以更好地理解车辆的形状和结构，从而有利于更准确地进行车辆检测和识别。

进一步地，考虑到在实际进行车辆的压线检测时，关键需要聚焦于车辆的边缘和轮廓等浅层特征信息，且还需要聚焦于车道线的纹理等浅层特征信息。因此，在本申请的技术方案中，进一步将所述车辆对象边缘图像通过基于卷积层的车辆浅层特征提取器中进行特征挖掘，以提取出所述车辆对象边缘图像中有关于车辆对象的浅层特征分布信息，从而得到车辆浅层特征向量，并且，将所述车道线对象感兴趣图像通过基于卷积层的车道线浅层特征提取器中进行特征挖掘，以提取出所述车道线对象感兴趣图像中有关于车道线对象的浅层特征分布信息，从而得到车道线浅层特征向量。

接着，还考虑到若想对于车辆是否压线进行准确地判断，还应关注于所述车辆的边缘等浅层特征分布信息与所述车道线的浅层特征分布信息之间的交互特征，以此来实现车辆压线的检测。因此，在本申请的技术方案中，进一步使用特征间注意力层来对所述车辆浅层特征向量和所述车道线浅层特征向量进行基于注意力机制的特征交互以得到车辆-车道线交互特征向量，以此来捕捉所述车辆浅层特征信息和所述车道线浅层特征信息之间的关联和相互影响，从而进行车辆是否压线的检测判断。应可以理解，由于传统的注意力机制的目标是学习一个注意力权重矩阵，将较大的权重赋予重要的特征，较小的权重赋予次要的特征，从而选择出对当前任务目标更关键的信息。这种方式更侧重于对各个特征的重要性进行加权，而忽略了特征之间的依赖关系。而所述特征间注意力层能够通过基于注意力机制的特征交互，可以捕捉到所述车辆浅层特征和所述车道线浅层特征之间的相关性和相互影响，可以学习到不同特征之间的依赖关系，并根据这些依赖关系对特征进行交互和整合，从而得到车辆-车道线交互特征向量。

相应地，如图2所示，所述图像特征分析模块120，包括：车辆对象目标检测单元121，用于将所述车辆图像通过车辆目标检测网络以得到车辆对象感兴趣图像；车道线目标检测单元122，用于将所述车辆图像通过车道线目标检测网络以得到车道线对象感兴趣图像；车辆目标边缘检测单元123，用于对所述车辆对象感兴趣图像进行边缘检测以得到车辆对象边缘图像；以及，车辆-车道线交互分析单元124，用于对所述车辆对象边缘图像和所述车道线对象感兴趣图像进行图像特征交互分析以得到所述车辆-车道线交互特征。应可以理解，图像特征分析模块120包括车辆对象目标检测单元121、车道线目标检测单元122、车辆目标边缘检测单元123和车辆-车道线交互分析单元124四个单元。其中，车辆对象目标检测单元121使用车辆目标检测网络对车辆图像进行处理，以获得包含车辆对象的感兴趣图像，它的主要作用是检测和定位图像中的车辆；车道线目标检测单元122使用车道线目标检测网络对车辆图像进行处理，以获得包含车道线对象的感兴趣图像，它的主要作用是检测和定位图像中的车道线；车辆目标边缘检测单元对车辆对象的感兴趣图像进行边缘检测，以获得车辆对象的边缘图像，边缘图像是通过检测图像中不同区域之间的边缘来提取车辆对象的形状信息；车辆-车道线交互分析单元124对车辆对象的边缘图像和车道线对象的感兴趣图像进行图像特征交互分析，以获得车辆和车道线之间的交互特征，这可能包括分析车辆边缘和车道线之间的关系、车辆在车道线上的位置等信息。这些单元一起工作，通过对车辆图像进行处理和分析，提取出与车辆和车道线相关的特征信息，用于后续的车辆-车道线交互分析和决策过程。

更具体地，如图3所示，所述车辆-车道线交互分析单元124，包括：车辆浅层特征提取子单元1241，用于将所述车辆对象边缘图像通过基于卷积层的车辆浅层特征提取器以得到车辆浅层特征向量；车道线浅层特征提取子单元1242，用于将所述车道线对象感兴趣图像通过基于卷积层的车道线浅层特征提取器以得到车道线浅层特征向量；以及，车辆-车道线特征交互子单元1243，用于对所述车辆浅层特征向量和所述车道线浅层特征向量进行特征交互以得到车辆-车道线交互特征向量作为所述车辆-车道线交互特征。值得一提的是，卷积层是深度学习神经网络中的一种基本层级结构，用于从输入数据中提取特征。卷积层通过在输入数据上滑动一个小的窗口（称为卷积核或滤波器），对输入数据进行卷积操作。卷积操作是将窗口中的权重与输入数据对应位置的值相乘，并将结果相加得到输出特征图的过程。卷积层的主要目的是通过学习卷积核的权重，从输入数据中提取局部特征。卷积层能够从输入数据中提取出不同尺度、不同方向的特征，例如边缘、纹理和形状等，这些特征对于图像处理任务具有重要意义。卷积层中的卷积核在整个输入数据上共享权重，减少了需要学习的参数数量，降低了模型的复杂度，并且能够提高模型的泛化能力。卷积层在进行特征提取时保持输入数据的空间结构，即对输入数据的不同位置使用相同的卷积核进行处理，从而保留了局部特征的空间关系。在车辆-车道线交互分析单元124中，车辆浅层特征提取子单元1241和车道线浅层特征提取子单元1242使用基于卷积层的特征提取器分别对车辆对象边缘图像和车道线对象感兴趣图像进行特征提取。这样可以从图像中提取出具有语义信息的浅层特征向量，用于后续的车辆-车道线特征交互分析。卷积层的特征提取能力和参数共享特性使得它在图像处理任务中非常有效。

更具体地，所述车辆-车道线特征交互子单元1243，用于：使用特征间注意力层来对所述车辆浅层特征向量和所述车道线浅层特征向量进行基于注意力机制的特征交互以得到所述车辆-车道线交互特征向量。值得一提的是，特征间注意力层是一种注意力机制，用于对不同特征之间进行加权交互，以提取更有意义的特征表示。在车辆-车道线特征交互子单元1243中，特征间注意力层被用于对车辆浅层特征向量和车道线浅层特征向量进行特征交互。通过计算车辆浅层特征向量和车道线浅层特征向量之间的相关性，特征间注意力层可以学习到不同特征之间的关联程度，这有助于捕捉车辆和车道线之间的重要关系和交互信息。根据特征间的关联程度，特征间注意力层可以为不同特征分配权重，将更重要的特征加权放大，减弱或忽略不相关的特征，这有助于提高车辆-车道线交互特征的表达能力和鲁棒性。通过对车辆浅层特征向量和车道线浅层特征向量进行加权求和或其他操作，特征间注意力层可以实现特征的融合，这样可以将车辆和车道线的特征信息有机地结合起来，形成更综合的车辆-车道线交互特征表示。即，特征间注意力层能够通过学习特征之间的关联性和权重，实现车辆浅层特征向量与车道线浅层特征向量之间的有针对性的特征交互，从而提取更具信息量的车辆-车道线交互特征向量，这有助于提高模型对车辆和车道线之间关系的理解和建模能力。

继而，再将所述车辆-车道线交互特征向量通过分类器以得到分类结果，所述分类结果用于表示车辆是否压线。也就是说，以所述车辆的浅层特征和所述车道线的浅层特征之间的交互关联特征信息来进行分类处理，从而对于车辆是否压线进行检测判断，并基于所述分类结果，确定是否产生车辆压线预警提示。这样，能够实现车辆压线的自动检测，并在车辆压线时产生车辆压线预警提示，以及时提醒驾驶员注意并采取纠正措施。

相应地，如图4所示，所述车辆压线预警模块130，包括：交互特征优化单元131，用于对所述车辆-车道线交互特征向量进行特征分布优化以得到优化车辆-车道线交互特征向量；车辆压线检测单元132，用于将所述优化车辆-车道线交互特征向量通过分类器以得到分类结果，所述分类结果用于表示车辆是否压线；以及，预警单元133，用于基于所述分类结果，确定是否产生车辆压线预警提示。应可以理解，在车辆压线预警模块130中，包括交互特征优化单元131、车辆压线检测单元132和预警单元133三个子单元。交互特征优化单元131用于对车辆-车道线交互特征向量进行特征分布优化，以得到优化后的车辆-车道线交互特征向量，这个优化过程可以通过一系列的特征处理和转换操作来实现，例如特征选择、特征降维、特征缩放等，优化后的特征向量可以更好地表达车辆和车道线之间的交互信息，提高后续车辆压线检测的性能。车辆压线检测单元132使用分类器对优化后的车辆-车道线交互特征向量进行分类，以得到车辆是否压线的分类结果。分类器可以是基于机器学习的模型，如支持向量机（SVM）、决策树或深度学习模型等，通过训练分类器，它能够学习到车辆压线的特征模式，并根据输入的特征向量进行分类判断。预警单元133基于车辆压线检测单元的分类结果，确定是否产生车辆压线预警提示，如果分类结果表明车辆压线，预警单元将触发相应的预警机制，例如发出声音警报、显示警告信息等，以提醒驾驶员注意车辆位置并及时采取措施避免压线行为。换言之，交互特征优化单元用于优化车辆-车道线交互特征向量，车辆压线检测单元用于对优化后的特征向量进行分类判断，预警单元则根据分类结果触发相应的车辆压线预警提示，这些子单元协同工作，以实现对车辆压线行为的检测和预警。

更具体地，如图5所示，所述交互特征优化单元131，包括：密集点分布采样融合子单元1311，用于对所述车辆浅层特征向量和所述车道线浅层特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到融合特征向量；以及，特征融合优化子单元1312，用于将融合特征向量与所述车辆-车道线交互特征向量进行融合以得到所述优化车辆-车道线交互特征向量。应可以理解，交互特征优化单元131包括密集点分布采样融合子单元1311和特征融合优化子单元1312两个子单元。其中，密集点分布采样融合子单元1311用于对车辆浅层特征向量和车道线浅层特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合，以得到融合特征向量。密集点分布采样融合是一种特征融合方法，通过在特征空间中均匀采样一组密集点，并计算每个点与车辆和车道线特征向量之间的距离，从而得到一组距离权重，然后，通过对车辆和车道线特征向量进行加权求和，使用距离权重融合两者的特征信息，得到融合特征向量，这样可以将车辆和车道线的特征信息进行有效的融合，提高特征的表达能力。特征融合优化子单元1312用于将融合特征向量与车辆-车道线交互特征向量进行融合，以得到优化后的车辆-车道线交互特征向量，这个融合过程可以通过特征的拼接、加权求和、非线性变换等方式实现，通过将融合特征向量与交互特征向量进行融合，可以进一步优化车辆-车道线交互特征的表示能力，提高后续车辆压线检测的性能。换言之，密集点分布采样融合子单元用于将车辆浅层特征向量和车道线浅层特征向量进行密集点采样和融合，得到融合特征向量。特征融合优化子单元则将融合特征向量与车辆-车道线交互特征向量进行进一步的融合，得到优化后的车辆-车道线交互特征向量。这些操作有助于提取更具判别能力和表达能力的特征，从而提高车辆压线预警模块的性能。

特别地，在本申请的技术方案中，所述特征间注意力层可以提取表达所述车辆浅层特征向量和所述车道线浅层特征向量之间的依赖关系的交互特征，从而获得所述车辆-车道线交互特征向量，因此，如果能够进一步增强所述车辆-车道线交互特征向量对于所述车辆浅层特征向量和所述车道线浅层特征向量各自表达的所述车辆对象边缘图像和所述车道线对象感兴趣图像的浅层局部关联图像语义特征的表示，则可以提升所述车辆-车道线交互特征向量的表达效果。

并且，本申请的申请人考虑到所述车辆浅层特征向量和所述车道线浅层特征向量分别为所述车辆对象边缘图像和所述车道线对象感兴趣图像的基于浅层卷积齐次编码的卷积核尺度下的密集采样式局部关联特征表达，因此对所述车辆浅层特征向量，例如记为和所述车道线浅层特征向量，例如记为/>进行齐次吉尔伯特空间度量式密集点分布采样融合。

相应地，在一个具体示例中，所述密集点分布采样融合子单元1311，用于：以如下融合优化公式对所述车辆浅层特征向量和所述车道线浅层特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到所述融合特征向量；其中，所述融合优化公式为：

其中，是所述车辆浅层特征向量，/>是所述车道线浅层特征向量，/>表示所述车道线浅层特征向量的转置向量，/>表示闵式距离，且/>为超参数，/>和/>分别是所述车辆浅层特征向量和所述车道线浅层特征向量的全局特征均值，且特征向量/>和/>均为行向量，/>为按位置点乘，/>为按位置加法，/>是所述融合特征向量。

这里，通过对所述车辆浅层特征向量和所述车道线浅层特征向量/>的特征分布中心的齐次吉尔伯特空间度量，来对所述车辆浅层特征向量/>和所述车道线浅层特征向量的融合特征分布进行高维特征空间内的融合特征流形超平面的真实（ground-truth）几何中心约束，并以交叉式距离约束的逐点特征关联作为偏置项，来实现特征分布的关联约束界限内的特征密集点采样式分布融合，从而增强向量间的齐次采样关联融合性。然后，再将融合特征向量/>与所述车辆-车道线交互特征向量融合，就可以改进所述车辆-车道线交互特征向量的特征表达，从而提升其通过分类器得到的分类结果的准确性。这样，能够实现车辆压线的自动化检测，并在车辆压线时产生车辆压线的预警提示，以及时提醒驾驶员注意并采取纠正措施，从而减少车辆偏离车道带来的潜在风险，保障道路交通的安全和顺畅。

进一步地，如图6所示，所述车辆压线检测单元132，包括：全连接编码子单元1321，用于使用所述分类器的全连接层对所述优化车辆-车道线交互特征向量进行全连接编码以得到编码分类特征向量；以及，分类子单元1322，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

也就是，在本公开的技术方案中，所述分类器的标签包括车辆压线(第一标签)，以及，车辆不压线(第二标签)，其中，所述分类器通过软最大值函数来确定所述优化分类特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“车辆是否压线”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，车辆是否压线的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“车辆是否压线”的语言文本意义。

应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。

值得一提的是，全连接编码是车辆压线检测单元132中的一个子单元，它的作用是对优化后的车辆-车道线交互特征向量进行全连接编码，以得到编码分类特征向量。全连接编码是指将输入的特征向量与一个全连接层进行连接，并通过该层的神经元进行编码。全连接层中的每个神经元都与前一层的所有神经元相连，因此每个神经元都可以接收到前一层的所有特征信息，并对其进行编码。全连接编码有助于提取输入特征的高级表示和抽象特征。通过全连接层的编码过程，可以通过学习适合任务的特征表示，从而更好地区分不同类别的特征。编码后的特征向量可以包含更多有用的信息，以供后续的分类器进行分类判断。在车辆压线检测中，全连接编码子单元将优化后的车辆-车道线交互特征向量输入到全连接层中，通过神经元的编码过程，得到编码分类特征向量。这样的编码过程可以帮助提取更具判别能力和表达能力的特征表示，为分类子单元提供更好的输入，进而提高车辆压线检测的性能。

综上，基于本申请实施例的用于智能驾驶车辆的控制系统100被阐明，其可以避免人工判断引起的判断误差和浪费精力的问题，从而减少车辆偏离车道带来的潜在风险，保障道路交通的安全和顺畅。

如上所述，根据本申请实施例的基于本申请实施例的用于智能驾驶车辆的控制系统100可以实现在各种终端设备中，例如具有基于本申请实施例的用于智能驾驶车辆的控制算法的服务器等。在一个示例中，基于本申请实施例的用于智能驾驶车辆的控制系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的用于智能驾驶车辆的控制系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的用于智能驾驶车辆的控制系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于本申请实施例的用于智能驾驶车辆的控制系统100与该终端设备也可以是分立的设备，并且该用于智能驾驶车辆的控制系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图7为根据本申请实施例的用于智能驾驶车辆的控制方法的流程图。图8为根据本申请实施例的用于智能驾驶车辆的控制方法的系统架构的示意图。如图7和图8所示，根据本申请实施例的用于智能驾驶车辆的控制方法，其包括：S110，通过摄像头采集包含车辆对象和车道线的车辆图像；S120，对所述车辆图像进行图像特征分析以得到车辆-车道线交互特征；以及，S130，基于所述车辆-车道线交互特征，确定是否产生车辆压线预警提示。

在一个具体示例中，在上述用于智能驾驶车辆的控制方法中，对所述车辆图像进行图像特征分析以得到车辆-车道线交互特征，包括：将所述车辆图像通过车辆目标检测网络以得到车辆对象感兴趣图像；将所述车辆图像通过车道线目标检测网络以得到车道线对象感兴趣图像；对所述车辆对象感兴趣图像进行边缘检测以得到车辆对象边缘图像；以及，对所述车辆对象边缘图像和所述车道线对象感兴趣图像进行图像特征交互分析以得到所述车辆-车道线交互特征。

这里，本领域技术人员可以理解，上述用于智能驾驶车辆的控制方法中的各个步骤的具体操作已经在上面参考图1到图6的用于智能驾驶车辆的控制系统100的描述中得到了详细介绍，并因此，将省略其重复描述。

图9为根据本申请实施例的用于智能驾驶车辆的控制系统的应用场景图。如图9所示，在该应用场景中，首先，通过摄像头采集包含车辆对象和车道线的车辆图像（例如，图9中所示意的D），然后，将所述车辆图像输入至部署有用于智能驾驶车辆的控制算法的服务器中（例如，图9中所示意的S），其中，所述服务器能够使用所述用于智能驾驶车辆的控制算法对所述车辆图像进行处理以得到用于表示车辆是否压线的分类结果。

根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。

技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。

本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (3)

1.一种用于智能驾驶车辆的控制系统，其特征在于，包括：

图像采集模块，用于通过摄像头采集包含车辆对象和车道线的车辆图像；

图像特征分析模块，用于对所述车辆图像进行图像特征分析以得到车辆-车道线交互特征；

以及车辆压线预警模块，用于基于所述车辆-车道线交互特征，确定是否产生车辆压线预警提示；

所述图像特征分析模块，包括：

车辆对象目标检测单元，用于将所述车辆图像通过车辆目标检测网络以得到车辆对象感兴趣图像；

车道线目标检测单元，用于将所述车辆图像通过车道线目标检测网络以得到车道线对象感兴趣图像；

车辆目标边缘检测单元，用于对所述车辆对象感兴趣图像进行边缘检测以得到车辆对象边缘图像；

以及车辆-车道线交互分析单元，用于对所述车辆对象边缘图像和所述车道线对象感兴趣图像进行图像特征交互分析以得到所述车辆-车道线交互特征；

所述车辆-车道线交互分析单元，包括：

车辆浅层特征提取子单元，用于将所述车辆对象边缘图像通过基于卷积层的车辆浅层特征提取器以得到车辆浅层特征向量；

车道线浅层特征提取子单元，用于将所述车道线对象感兴趣图像通过基于卷积层的车道线浅层特征提取器以得到车道线浅层特征向量；

以及车辆-车道线特征交互子单元，用于对所述车辆浅层特征向量和所述车道线浅层特征向量进行特征交互以得到车辆-车道线交互特征向量作为所述车辆-车道线交互特征；

所述车辆压线预警模块，包括：

交互特征优化单元，用于对所述车辆-车道线交互特征向量进行特征分布优化以得到优化车辆-车道线交互特征向量；

车辆压线检测单元，用于将所述优化车辆-车道线交互特征向量通过分类器以得到分类结果，所述分类结果用于表示车辆是否压线；

以及预警单元，用于基于所述分类结果，确定是否产生车辆压线预警提示；

所述交互特征优化单元，包括：

密集点分布采样融合子单元，用于对所述车辆浅层特征向量和所述车道线浅层特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到融合特征向量；

以及特征融合优化子单元，用于将融合特征向量与所述车辆-车道线交互特征向量进行融合以得到所述优化车辆-车道线交互特征向量；

所述密集点分布采样融合子单元，用于：

以如下融合优化公式对所述车辆浅层特征向量和所述车道线浅层特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到所述融合特征向量；

其中，所述融合优化公式为：

；

；

；

其中，是所述车辆浅层特征向量，/>是所述车道线浅层特征向量，/>表示所述车道线浅层特征向量的转置向量，/>表示闵式距离，且/>为超参数，/>和/>分别是所述车辆浅层特征向量和所述车道线浅层特征向量的全局特征均值，且特征向量/>和/>均为行向量，为按位置点乘，/>为按位置加法，/>是所述融合特征向量。

2.根据权利要求1所述的用于智能驾驶车辆的控制系统，其特征在于，所述车辆-车道线特征交互子单元，用于：

使用特征间注意力层来对所述车辆浅层特征向量和所述车道线浅层特征向量进行基于注意力机制的特征交互以得到所述车辆-车道线交互特征向量。

3.根据权利要求2所述的用于智能驾驶车辆的控制系统，其特征在于，所述车辆压线检测单元，包括：

全连接编码子单元，用于使用所述分类器的全连接层对所述优化车辆-车道线交互特征向量进行全连接编码以得到编码分类特征向量；

以及分类子单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。