CN114291107B

CN114291107B - 用于控制车辆的驾驶的装置和方法

Info

Publication number: CN114291107B
Application number: CN202111156549.6A
Authority: CN
Inventors: 梁辰镐
Original assignee: Hyundai Mobis Co Ltd
Current assignee: Hyundai Mobis Co Ltd
Priority date: 2020-10-08
Filing date: 2021-09-29
Publication date: 2023-12-22
Anticipated expiration: 2041-09-29
Also published as: EP3981660A1; US11794723B2; US20220111834A1; CN114291107A; EP3981660B1

Abstract

一种用于控制车辆的驾驶的装置和方法，该装置包括：相机，被配置为获取车辆前方的图像；传感器，被配置为获取车辆的驾驶速度；第一神经网络，被配置为基于将驾驶转向角与计算的转向角进行比较来计算补偿转向角；以及第二神经网络，被配置为基于将补偿转向角与阈值进行比较来设置车辆的速度，其中，驾驶转向角包括在车辆行驶时收集的转向角信息，并且计算的转向角包括通过接收图像和驾驶速度而学习的转向角信息。

Description

用于控制车辆的驾驶的装置和方法

相关申请的交叉引用

本申请要求2020年10月8日在韩国知识产权局提交的韩国专利申请第10-2020-0130246号和2020年10月20日提交的韩国专利申请第10-2020-0136214号的权益，出于所有目的，其全部内容通过引用并入本文。

技术领域

本公开涉及一种用于控制车辆的驾驶的装置和方法。

背景技术

在现代社会，汽车是最常见的交通工具，使用汽车的人越来越多。已经开发高级驾驶员辅助系统(ADAS)，其为驾驶员提供了更多的便利和安全。

典型地，利用地图信息预测前方道路环境，并提供适当的控制和便利服务的系统已经商业化。

近年来，已经开发了一种自动驾驶车辆，其能够自己到达目的地，而无需驾驶员操作方向盘、油门踏板、制动器等。

对于自动驾驶，车道偏离警告系统(LDWS)、车道保持辅助系统(LKAS)、盲侧警告系统(BSD)、智能巡航控制(SCC)和自动紧急制动系统(AEB)必须有组织地运行。

在使用常规相机传感器的路径跟随控制期间，使用与车辆的横向运动相关的动态微分方程来执行建模。

当表示状态空间时，与车辆的曲率(或所需的横摆角速度(yaw rate))和速度相关的干扰仍然存在，并且当跟随弯曲道路时，干扰可以通过补偿由前馈控制预先计算的值而引起附加转向控制值的输入。

然而，前馈控制可以在一定程度上抵消相应的干扰，但可能不去除状态向量的所有元素。

发明内容

提供本发明内容以简化形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本发明内容既不旨在标识所要求保护的权利要求的关键特征或必要特征，也不旨在用于帮助确定所要求保护的权利要求的范围。

在一个总体方面，提供了一种用于控制车辆的驾驶的装置，该装置包括：相机，被配置为获取车辆前方的图像；传感器，被配置为获取车辆的驾驶速度；第一神经网络，被配置为基于将驾驶转向角与计算的转向角进行比较来计算补偿转向角；以及第二神经网络，被配置为基于将补偿转向角与阈值进行比较来设置车辆的速度，其中，驾驶转向角包括在车辆行驶时收集的转向角信息，并且计算转向角包括通过接收图像和驾驶速度而学习的转向角信息。

第二神经网络可被配置为响应于补偿转向角小于或等于阈值，将车辆的速度增加到预设速度，以及响应于补偿转向角超过阈值，将车辆的速度降低到预设速度。

计算的转向角可以基于通过接收图像和驾驶速度获得道路模型，并且通过计算道路模型的道路系数来执行学习。

第一神经网络可被配置为将驾驶速度和补偿转向角标记并存储在相对于图像的相应图像中。

第一神经网络可被配置为响应于与标记有驾驶速度和补偿转向角的图像的道路模型匹配的新图像的道路模型，基于新图像中的驾驶速度来计算补偿转向角。

第一神经网络可被配置为通过将权重应用于先前学习和存储的补偿转向角来计算补偿转向角。

预设速度可以通过车辆的智能巡航控制功能预设。

第二神经网络可被配置为响应于补偿转向角超过阈值而将车辆的速度降低到通过计算出的减速速度，其中V_x，low是减速速度，‘μ’是道路摩擦系数，‘R’是转弯半径(道路系数之间曲率的倒数)，以及‘g’是重力加速度。

在另一个总体方面，提供了一种处理器实施的控制车辆的驾驶的方法，该方法包括：通过相机获取车辆前方的图像；通过传感器获取车辆的驾驶速度；通过第一神经网络，基于将驾驶转向角与计算的转向角进行比较来计算补偿转向角；以及通过第二神经网络基于将补偿转向角与阈值进行比较来设置车辆的速度，其中，驾驶转向角包括在车辆行驶时收集的转向角信息，并且计算转向角包括通过接收图像和驾驶速度而学习的转向角信息。

车辆速度的设置可以包括响应于补偿转向角小于或等于阈值，将车辆的速度增加到预设速度，以及响应于补偿转向角超过阈值，将车辆的速度降低到预设速度。

补偿转向角的计算可以包括通过接收图像和驾驶速度获得道路模型，并且通过计算道路模型的道路系数来执行学习。

补偿转向角的计算可以包括将驾驶速度和补偿转向角标记并存储在相对于图像的相应图像中。

补偿转向角的计算可以包括响应于与标记有驾驶速度和补偿转向角的图像的道路模型匹配的新图像的道路模型，基于新图像中的驾驶速度来计算补偿转向角。

补偿转向角的计算可以包括通过将权重应用于先前学习和存储的补偿转向角来计算补偿转向角。

预设速度可以通过车辆的智能巡航控制功能预设。

车辆的速度的降低可以包括响应于补偿转向角超过阈值而将车辆的速度降低到通过计算出的减速速度，其中V_x，low是减速速度，‘μ’是道路摩擦系数，‘R’是转弯半径(道路系数之间曲率的倒数)，以及‘g’是重力加速度。

从以下详细描述、附图和权利要求书中，其它特征和方面将是显而易见的。

附图说明

通过以下结合附图的详细描述，本公开的上述和其他目的、特征和优点将更加明显：

图1是示出根据本公开的实施例的用于控制车辆的驾驶的装置的框图；

图2和图3是示出根据本公开的实施例的用于控制车辆的驾驶的装置中卷积神经网络的处理过程的图；

图4是示出根据本公开的实施例的用于控制车辆的驾驶的装置中强化学习神经网络的处理过程的图；

图5是示出根据本公开的实施例的用于控制车辆的驾驶的方法的流程图；

图6是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置的框图；

图7是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置的检测范围的图；

图8是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置变道时的移动路径图；

图9是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置的识别设备通过由检测设备检测到的车道的移动来识别车道变化的图；

图10是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置中通过显示器的移动路径的图；以及

图11是示出根据本公开的另一实施例的用于控制车辆的驾驶的方法的流程图。

在整个附图和详细描述中，除非另有描述或提供，否则相同的附图参考数字将被理解为指代相同的元件、特征和结构。附图可能不是按比例的，并且为了清楚、说明和方便起见，附图中元素的相对尺寸、比例和描绘可能被夸大。

具体实施方式

提供以下详细描述以辅助读者获得对本文描述的方法、装置和/或系统的全面理解。然而，在理解本申请的公开内容之后，本文描述的方法、装置和/或系统的各种改变、修改和等效物将是显而易见的。例如，本文所描述的操作序列仅仅是示例，并且不限于本文所述的那些，但是除了必须以特定顺序发生的操作，可以在理解本申请的公开之后显而易见的进行更改。此外，为了提高清晰度和简明性，可以省略对本领域中已知的特征的描述。

本文描述的特征可以以不同的形式体现，并且不应被解释为限于本文描述的示例。相反，以及提供本文描述的示例仅仅是为了说明在理解本申请的公开之后将变得显而易见的实现本文描述的方法、装置和/或系统的许多可能实施中的一些。

本文使用的术语仅用于描述具体示例的目的，并不用于限制本公开。本文所使用的，除非上下文另外明确指示，否则单数形式“一”、“一个”、“该”也旨在包括复数形式。如本文所使用的，术语“和/或”包括任何一个或任何两个或多个相关列出项目的任何的组合。如本文所使用的，术语“包含”、“包括”、“具有”等指定所陈述的特征、数字、操作、元件、部件和/或其组合的存在，但不排除存在或附加一个或多个其它特征、数字、步骤、元件、部件和/或其组合。

在整个说明书中，当部件被描述为“连接到”或“耦合到”另一个部件时，其可以直接“连接到”或“耦合到”另一个部件，或者可能有一个或多个其他部件介入其间。相反，当元件被描述为“直接连接到”或“直接耦合到”另一个元件时，不能有其他元件介入其间。同样，类似的表述，例如“之间”和“紧接之间”和“相邻”和“紧邻”，也应以同样的方式解释。如本文所使用的，术语“和/或”包括任何一个或任何两个或多个相关列出项目的任何的组合。

尽管本文可以使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、部件、区域、层或部分，但这些构件、部件、区域、层或部分不受这些术语的限制。相反，这些术语仅用于将一个构件、部件、区域、层或部分与另一个构件、部件、区域、层或部分区分开来。因此，在不脱离示例的教导的情况下，本文所描述的示例中提及的第一构件、部件、区域、层或部分也可被称为第二构件、部件、区域、层或部分。

在下文中，将参照图1至图4详细描述本公开的实施例。

图1是示出根据本公开的实施例的用于控制车辆的驾驶的装置的框图。图2和图3是示出根据本公开的实施例的用于控制车辆的驾驶的装置中卷积神经网络的处理过程的图。图4是示出根据本公开的实施例的用于控制车辆的驾驶的装置中强化学习神经网络的处理过程的图。

参照图1，根据本公开的实施例的用于控制车辆驾驶的装置可以包括数据存储器101、传感器模块103、卷积神经网络105、强化学习神经网络107、纵向控制器109、横向控制器111、电子速度控制器(ESC)113、和电子转向系统(EPS)115。

传感器模块103可以包括相机、车轮速度传感器、横摆角速度传感器、转向传感器等。

可以通过相机获得车辆100的前方图像，通过车轮速度传感器获得车辆100的驾驶速度，通过横摆角速度传感器获得车辆100的横摆角速度，以及通过转向传感器检测车辆100的旋转角。

可以通过构成传感器模块103的各种传感器从前方的道路图像计算道路系数。

道路系数，其是通过对相机每隔一段时间捕获到的前方图像中的线进行分类提取的，并且通过平面坐标上近似于三阶方程的曲线表示为与车辆的相对位置，可以表示道路曲率、车辆重心、道路曲率、道路曲率切线的倾斜度与车辆行驶方向之间的角度差、车辆与横向车道中心之间的距离等的变化量。

参考图2，包括诸如卷积深度神经网络(CNN)的深度学习模型的卷积神经网络105可以接收车辆100的前方图像和驾驶速度，并比较驾驶转向角和计算转向角之间的差异，以计算补偿转向角。

驾驶转向角是关于当驾驶员在实际弯曲道路上驾驶车辆100时，与车辆100的转弯相对应的实际转向角的信息。

通过接收通过相机拍摄的前方图像和通过车轮传感器测量的驾驶速度，计算的转向角代表通过学习在弯曲道路上的转向角信息。

卷积神经网络105可以通过前方图像和驾驶速度获得道路模型，并且可以通过计算道路模型的道路系数来执行学习。

参照图3，在计算补偿转向角之后，卷积神经网络105可以在对应的前方图像中标记驾驶速度和补偿转向角，并将其存储在数据存储器101中。此后，当获得新的前方图像时，其中标记并存储了车辆驾驶时的驾驶速度和补偿转向角的前方图像与道路模型匹配时，可以基于新的前方图像中的驾驶速度来计算补偿转向角。

在其中通过卷积神经网络105标记并存储驾驶速度和补偿转向角的前方图像中，补偿转向角可以是先前学习和存储的补偿转向角。当在车辆100驾驶时计算当前补偿转向角时，可以通过分别对先前补偿转向角和当前补偿转向角赋予权重来计算最终补偿转向角。

例如，当车辆100在弯曲道路上行驶时，通过卷积神经网络105计算当前补偿转向角后，对与对应的弯曲道路匹配的过去的补偿转向角赋予70％的权重，并对当前补偿转向角赋予30％的权重，以计算最终补偿转向角，从而可以计算更准确的补偿转向角。

同时，当补偿转向角大时，车辆100的转向被瞬时并且突然地补偿，使得驾驶员可能感到不适。需要补偿的转向角大的事实是干扰值本身大的情况。

因此，当车辆100在跟随车道中心时由于要补偿的转向角大而快速转向时，车辆100可能由于离心力等而偏离车道，并可能发生事故。

参照图4，当补偿转向角小于或等于指定阈值时，用于衰减干扰的强化学习神经网络107可被设置为将车辆100的速度增加到预设速度，并且当补偿转向角超过指定阈值时将车辆100的速度降低到预设速度。

例如，当允许车辆100在不受离心力影响的情况下跟随车道中心在弯曲道路上掉头的补偿转向角的阈值被设置为10度时，并且当车辆100在弯曲道路上行驶时计算的补偿转向角为10度或更小时，可以通过发动机管理系统(EMS)设置可以对应于补偿转向角增加的目标速度值(速度参考)。

即，车辆100的速度可以增加到10度的补偿转向角。在这种情况下，因为当车辆100的速度继续增加时存在事故的风险，所以可以通过智能巡航控制(SCC)功能来设置车辆100的速度增加的上限。

因此，即使车辆的速度与补偿转向角相对应地增加，也有可能不超过智控巡航确定的速度。

同时，当车辆100在弯曲道路上行驶时计算的补偿转向角超过10度时，车辆100在弯曲道路上掉头时可能会因离心力偏离车道，从而可以通过发动机管理系统(EMS)降低车辆100的速度，以减少干扰。

在这种情况下，由于车辆100继续减速并且车辆必须不停止，所以可以将减速速度V_x，low，即车辆100可以在不因离心力偏离的情况下沿着弯曲道路的车道行驶的速度，设定为其下限。

减速速度V_x，low可表示为以下等式1。

【等式1】

其中，‘μ’是道路摩擦系数，‘R’是转弯半径(道路系数中曲率的倒数)，以及‘g’是重力加速度。

作为参考，当减速速度小于智能控制巡航确定的速度时，可以将减速速度设置为智能控制巡航确定的速度。

横向控制器111可以接收来自传感器模块103的横摆角速度和行驶速度，以及来自卷积神经网络105的补偿转向角，以便控制EPS 115的驾驶，以允许车辆100以相应的转向角转向。

纵向控制器109可以从强化学习神经网络107接收增加或减少的速度，并控制ESC113的驾驶，使得车辆100可以以相应的速度行驶。

在下文中，将参照图5详细描述根据本公开的另一实施例的控制车辆驾驶的方法。

图5是示出根据本公开的实施例的用于控制车辆的驾驶的方法的流程图。

在下文中，假设当在图1的弯曲道路上行驶时，用于补偿干扰的装置执行图5的处理。

首先，在S110中，可以通过相机获得车辆100的前方图像，并且可以通过传感器获得车辆100的驾驶速度。

接下来，在S120和S130中，在卷积神经网络105中，将作为在车辆100行驶时收集的转向角信息的驾驶转向角以及作为通过接收前方图像和驾驶速度学习的转向角信息的计算的转向角相互比较，以计算补偿转向角。

在计算补偿转向角之后，在S140中，卷积神经网络105可以在对应的前方图像中标记驾驶速度和补偿转向角，并将其存储在数据存储器101中。

接下来，在S150中，在强化学习神经网络107中，当补偿转向角小于或等于预设阈值时，将车辆100的速度设置为增加到预设速度，并且当补偿转向角超过预设阈值时，可以将车辆100的速度设置为降低到预设速度。

接下来，当接收来自传感器模块103横摆角速度和行驶速度，以及来自卷积神经网络105接收补偿转向角时，横向控制器111可以控制EPS 115的驾驶，使得车辆100以相应的转向角转向。当从强化学习神经网络107接收增加或减少的速度时，纵向控制器109可以控制ESC 113的驾驶，使得车辆100以相应的速度行驶。

如上所述，根据本公开，可以使用前方图像的深度学习来补偿当跟随弯曲道路时产生的干扰。

由于通过深度学习计算的干扰补偿值是通过驾驶员驾驶数据的实验值来学习的，因此与基于简化动力学模型计算的补偿值相比，其异质性可能更小。此外，当学习大量的数据时，可能可以补偿在各种弯曲的道路中干扰。

由于干扰中包括车辆速度值，可以通过强化学习计算最优车速值，从而降低驾驶员的焦虑，同时降低需要补偿的车速值。

在下文中，将参照图6至图11详细描述本公开的其他实施例。

根据本公开的另一实施例的感测设备10、识别设备20、确定设备30、设置设备40、控制设备50和显示设备60可以通过非易失性存储器(未示出)和处理器(未示出)来实施，非易失性存储器被配置为存储与算法相关的数据，该算法被配置为控制车辆的各种部件的操作，或用于再现算法的软件指令，该处理器被配置为通过使用存储在相应存储器中的数据来执行下面描述的操作。在这种情况下，存储器和处理器可实施为单独的芯片。可替代地，存储器和处理器可实施为彼此集成的单个芯片。该处理器可包括一个或多个处理器。

图6是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置的框图。图7是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置的检测范围的图。图8是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置变道时的移动路径图。

根据本公开的另一实施例的用于控制车辆驾驶的装置可以在改变车辆90的车道时辅助车道变换，或者可以控制车辆90改变车道。

根据本公开的另一实施例的用于控制车辆驾驶的装置可应用于普通车辆或自动驾驶车辆。当应用于普通车辆时，用于控制车辆驾驶的装置可以用移动路径引导驾驶员。当应用于自动驾驶车辆时，用于控制车辆驾驶的装置可以控制车辆沿着移动路径的驾驶。

根据本公开的另一实施例的用于控制车辆驾驶的装置可以包括：感测设备10，用于检测车辆90行驶的车道线；识别设备20，用于识别检测线与车辆90之间的横向距离的变化；确定设备30，用于基于由识别设备20识别的检测线与车辆90之间的横向距离的变化来确定车道变换意图；以及设置设备40，用于基于由确定设备30确定的车道变换意图来设置用于车辆90的车道变换的移动路径。

参照图6至图8，感测设备10可以通过感测车辆90的周围环境来检测车辆90行驶的线。

识别设备20可以通过计算由感测设备10检测到的线与车辆90之间的横向距离来识别线与车辆90之间的横向距离的变化。

确定设备30可以基于由识别设备20识别的线与车辆90之间的横向距离来确定车辆90向左或向右移动以改变车道的车道变换意图。

当识别设备20识别出车辆90的左车道和车辆90之间的距离越来越近时，确定设备30确定车辆90改变到左车道，当识别设备20识别出车辆90的右车道和车辆90之间的距离越来越近时，可以确定车辆改变到右车道。

设置设备40可以基于确定设备30是否确定车道变换来设置车辆90的车道变换方向上的移动路径。

因此，通过设置车辆90的车道变换移动路径，可以允许车辆90安全地变换车道或辅助车道变换。

感测设备10可以安装在车辆90上，以连接到拍摄车辆90的周围的相机11，并且可以通过使用相机11拍摄的图像来检测车辆90两侧的线。

参照图7，感测设备10可以连接到安装在车辆90上的相机11传感器，以实时地拍摄车辆90的周围，并且可以基于由相机11传感器拍摄的图像信息来检测线。

此外，感测设备10可以基于由相机11传感器拍摄的图像信息来检测与车辆90相邻的障碍物。

感测设备10可以通过按颜色和类型对车道进行分类来检测车道的颜色和类型，并且确定设备30可以基于由感测设备10检测到的车道的颜色和类型来确定车辆90的车道变换是否可操作。

感测设备10可以基于由相机11传感器拍摄的图像信息来检测车道的颜色或类型。车辆90可以基于车道的颜色和类型来执行车道变换，并且确定设备30可以基于车道的颜色和类型来确定是否执行车辆90的车道变换。

因此，当检测到车道为实线、双实线或黄线时，不能改变车道，只有当车道为白色虚线时才能改变车道。

感测设备10可以检测与车辆90相邻的外部障碍，并且确定设备30可以基于由感测设备10检测到的与车辆90相邻的外部障碍来确定车辆90的车道变换是否可能。

感测设备10可以通过安装在车辆90上的相机11检测与车辆90相邻的外部障碍物。外部障碍物可以包括使得不能改变车辆90的车道的物体，例如位于主车辆附近的外部车辆、路边石、行道树等。

当由感测设备10检测到的外部障碍物位于车辆90附近时，确定设备30可以确定不能改变车辆90的车道。

图9是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置的识别设备通过由检测设备检测到的车道的移动来识别车道变化的图。

图9中显示车道的视图示出了车道位于图7所示的检测范围内的情况。

当存在改变车道的意图时，确定设备30可以深度学习车辆90与由识别设备20识别的车道之间的距离随时间的变化。

参照图9，确定设备30可以按时间顺序深度学习车辆90和由识别设备20识别的车道之间的横向距离。因此，确定设备30可以快速确定是否发生车辆90的线变化。

可进一步包括控制设备50，用于控制车辆90沿着由设置设备40设置的虚拟车道行驶，或者当车辆90偏离由感测设备10检测到的线时生成警告信号。

在自动驾驶车辆的情况下，控制设备50可以通过控制车辆90沿着由设置设备40设置的车道变换移动路径的驾驶来改变车道。

此外，在普通车辆的情况下，当驾驶员不打算改变车道而检测到因车道弯曲而改变车道时，可以向驾驶员生成警告信号，以驾驶员可以专注于驾驶。

因此，可以降低车辆碰撞事故的概率。

在确定设备30未确定改变车道意图的状态下，当识别设备20识别出线与车辆90之间的横向距离的变化时，控制设备50可以生成线维持警告信号，或者控制车辆90的转向以维持由感测设备10检测到的线。

当线弯曲时，由于驾驶员的粗心，线与车辆90之间的横向距离可能更近。当识别设备20识别出线与车辆90之间的横向距离的变化时，在普通车辆的情况下，控制设备50可以向驾驶员生成线维护警告，以便驾驶员可以更集中精力驾驶。此外，在自动驾驶车辆的情况下，控制设备50可以控制车辆90的驾驶以保持由传感器设备10检测到的当前线。

因此，可以减少车辆碰撞事故的发生概率。

确定设备30可以基于由感测设备10检测到的线来确定是否可能改变车辆90的车道。当确定设备30确定存在改变车辆90的车道的意图并且不能改变车道时，控制设备50可以基于由感测设备10检测到的线向驾驶员发送线维护警告信号或控制车辆90的转向。

在驾驶员识别到车道变换的状态下，确定设备30可以基于由感测设备10检测到的线的类型或颜色来确定车辆90是否可以改变到车道。当确定车辆不能改变车道时，控制器50可以控制车辆90以保持由感测设备10检测到的当前线，或者可以向驾驶员发送警告信号。

此外，感测设备10可以识别车辆90周围的障碍物，并且确定设备30可以基于该障碍物来确定车辆90是否可以改变车道。

因此，可以减少车辆碰撞事故的发生概率。

确定设备30可以连接到安装在车辆90上的角速度传感器31、转向扭矩传感器32、转向角传感器33或转向信号设备34，并且基于从角速度传感器31、转向扭矩传感器32、转向角传感器33或转向信号设备34接收的转向信息来确定改变车道的意图。

与识别是否改变车道的识别设备20分开，确定设备30可以连接到角速度传感器31、转向扭矩传感器32、转向角传感器33或转向信号设备34，以基于由角速度传感器31、转向扭矩传感器32或转向角传感器33检测的转向信息或从转向信号设备34输入的转向信息来识别车辆90的车道变换。

角速度传感器31可以测量横摆角速度。因为当车辆90中发生转向不足或转向过度时，车辆90不处于可以进行正常转弯的状态，所以当车辆90中发生转向不足或转向过度时，确定设备30不处于可以进行正常转弯的状态，因此当角速度传感器31检测到的横摆角速度邻近或等于预设横摆角速度时，确定设备30可以确定车辆90正常转弯并识别是否改变车道。

转向扭矩传感器32或转向角传感器33可以连接到车辆90的转向设备，以检测驾驶员旋转方向盘，并且确定设备30可以基于其识别是否改变车道。

设置设备40连接到车辆90的速度传感器41，以基于车辆90的速度设置扩展虚拟线的纵向长度或曲率，以改变车道。

参照图8，设置设备40可以设置移动路径，并连接到安装在车辆90上的速度传感器41，以设置移动路径的纵向长度或移动路径的曲率。

当车辆90的速度较高时，设置设备40可以将纵向距离设置为相对长，或者将移动路径的曲率设置为相对小。

此外，当车辆90的速度较低时，设置设备40可以将纵向距离设置为相对较短，或者将移动路径的曲率设置为相对较大。

因此，设置设备40可以通过在改变车道时设置移动路径来安全地改变车辆的车道。

可进一步包括显示部分60，以通过安装在车辆90上的显示设备61显示由设置设备40设置的移动路径。

图10是示出根据本公开的另一实施例的用于控制车辆的驾驶的装置中通过显示器的移动路径的图。

参照图10，诸如平视显示器(HUD)或显示车辆信息的监视器的显示设备61可以安装在车辆90中，并且在普通车辆的情况下，显示部分60可以在显示设备61上显示由设置设备40设置的车道变换移动路径，如图10所示。

因此，可以辅助驾驶员驾驶。

图11是示出根据本公开的另一实施例的用于控制车辆的驾驶的方法的流程图。将参照图11详细描述根据本公开的另一实施例的控制车辆的驾驶的方法的优选示例。

根据本公开的另一实施例的控制车辆的驾驶的方法可以包括：S10，检测车辆90行驶的车道线；S20，识别在S20中检测到的车辆90与线之间的横向距离的变化；S40，基于在S40中识别的车辆90与线之间的横向距离的变化来确定改变车道的意图；以及S50，基于在S40中确定的车道变换意图来设置用于车辆90的车道变换的移动路径。

在S10中，可以使用由安装在车辆90上的相机11拍摄的图像来检测车辆90两侧的线，以拍摄车辆90的周围。

在S10中，通过颜色和类型对线进行分类和检测，并且在确定操作中，基于在检测操作中检测到的线的颜色和类型，可以确定车辆90的车道变换是否可能。

在S40中，当存在改变车道的意图时，可以深度学习车辆90与在识别操作中识别的线之间的距离随时间的变化。

可进一步包括控制车辆90沿着在S50中设置的虚拟线的驾驶的S63。

可进一步包括生成线维护警告信号的S61和控制车辆90的转向以维护在S10中检测到的线的S62。当在S41中没有确定车道变换意图并且在步骤S10中检测到车道变换时，可以执行S62。

可进一步包括生成线维护警告信号的S61和控制车辆90的转向以维护在S10中检测到的线的S62。在S50中，可以基于在S10中检测到的线来确定车辆90的车道变换是否可能。当在S41中确定存在车道变换意图并且在S42中确定车道变换不可能时，可以执行S61和S62。

可进一步包括在S40之前从安装在车辆90上的角速度传感器31、转向扭矩传感器32、转向角传感器33或转向信号设备34接收转向信息的S30。在S40中，可以基于转向信息确定车道变换意图(S41)。

在S50中，可以结合车辆90的速度传感器41设置延伸虚拟线的纵向长度或曲率，以基于车辆90的速度改变车道。

可进一步包括通过安装在车辆90上的显示设备61显示在S50中设置的移动路径的S64。

根据本技术，可以通过使用前方图像的深度学习来补偿在弯曲道路上发生的干扰。

提供了一种用于控制车辆的驾驶的装置和方法，其能够使用前方图像的深度学习来补偿当跟随弯曲道路时发生的干扰。

此外，可以提供通过本公开直接或间接理解的各种效果。

本文描述的设备、单元、模块和部件由硬件部件实施。在适当的情况下，可用于执行本申请中描述的操作的硬件部件的示例包括控制器、传感器、发生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，执行本申请中描述的操作的一个或多个硬件部件由计算硬件实施，例如由一个或多个处理器或计算机实施。处理器或计算机可以由一个或多个处理元件实施，例如逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或任何其他设备或设备组合，其被配置为以定义的方式响应和执行指令以实现所需的结果。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实施的硬件部件可以执行指令或软件，例如操作系统(OS)和在OS上运行的一个或多个软件应用程序，以执行本申请中描述的操作。响应于指令或软件的执行，硬件部件还可以访问、操纵、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可以在本申请中描述的示例中使用，但是在其他示例中，可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件，或者多种类型的处理元件，或者两者都包括。例如，单个硬件部件或两个或更多个硬件部件可以由单个处理器、或两个或更多个处理器、或处理器和控制器来实施。一个或多个硬件部件可以由一个或多个处理器或处理器和控制器来实施，并且一个或多个其他硬件部件可以由一个或多个其他处理器或另一处理器和另一控制器来实施。一个或多个处理器或处理器和控制器，可以实施单个硬件部件，或两个或多个硬件部件。硬件部件可以具有不同处理配置中的任意一个或多个，其示例包括单个处理器，独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理、多指令多数据(MIMD)多处理、控制器和算术逻辑单元(ALU)、DSP、微型计算机、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑单元(PLU)、中央处理单元(CPU)、图形处理单元(GPU)、神经处理单元(NPU)或能够以规定的方式响应和执行指令的任何其他设备。

执行本申请中描述的操作的方法由计算硬件执行，例如由如上所述实施的一个或多个处理器或计算机执行，执行指令或软件以执行本申请中描述的由这些方法执行的操作。例如，单个操作或两个或多个操作可以由单个处理器、或两个或多个处理器、或处理器和控制器执行。一个或多个操作可以由一个或多个处理器或处理器和控制器执行，并且一个或多个其他操作可以由一个或多个其他处理器或另一处理器和另一控制器执行。一个或多个处理器或处理器和控制器，可以执行单个操作或两个或多个操作。

用于控制处理器或计算机以实施上述硬件部件和执行上述方法的指令或软件被编写成计算机程序、代码段、指令或其任何组合，用于单独地或共同指示或配置处理器或计算机作为机器或专用计算机来操作，以执行由上述硬件部件和方法执行的操作。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在一个示例中，指令或软件包括小程序、动态链接库(DLL)、中间件、固件、设备驱动程序、存储控制车辆驾驶的方法的应用程序中的至少一个。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的高级代码。本领域普通技术人员可以基于附图中所示的框图和流程图以及说明书中的相应描述容易地编写指令或软件，说明书公开了用于执行由硬件部件执行的操作的算法和如上所述的方法。

用于控制处理器或计算机以实施上述硬件部件和执行上述方法的指令或软件，以及任何相关联的数据、数据文件和数据结构，被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或其上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)，随机存取可编程只读存储器(PROM)，电可擦除可编程只读存储器(EEPROM)，随机存取存储器(RAM)，磁RAM(MRAM)，自旋转移扭矩(STT)-MRAM，静态随机存取存储器(SRAM)，晶闸管RAM(T-RAM)，零电容RAM(Z-RAM)，双晶体管RAM(TTRAM)，导电桥接RAM(CBRAM)，铁电RAM(FeRAM)，相变随机存储器(PRAM)，电阻RAM(RRAM)，纳米管RRAM，聚合物RAM(PoRAM)，纳米浮栅存储器(NFGM)，全息存储器，分子电子存储器件)，绝缘子电阻变化存储器，动态随机存取存储器(DRAM)，静态随机存取存储器(SRAM)，闪存，非易失性存储器，CD-ROM，CD-R，CD+R，CD-RW，CD+RW，DVD-ROM，DVD-R，DVD+R，DVD-RW，DVD+RW，DVD-RAM，BD-ROM，BD-R，BD-R LTH，BD-RE，蓝光或光盘存储，硬盘驱动器(HDD)，固态硬盘(SSD)，闪存，诸如多媒体卡micro或卡(例如，安全数字(SD)或极限数字(XD))的卡型存储器，磁带，软盘，磁光数据存储设备，光数据存储设备，硬盘，固态盘，以及被配置为以非暂时性方式存储指令或软件以及任何相关数据、数据文件和数据结构并将指令或软件以及任何相关数据、数据文件和数据结构提供给处理器或计算机的任何其他设备以便处理器或计算机可以执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构在网络耦合计算机系统上分布，使得指令和软件以及任何相关联的数据、数据文件和数据结构由一个或多个处理器或计算机以分布式方式存储、访问和执行。

尽管本公开包括具体的示例，但在理解本申请的公开之后，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例中进行形式和细节上的各种改变将是显而易见的。本文描述的示例仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述应被认为适用于其他示例中的类似特征或方面。如果以不同的顺序执行所描述的技术，和/或如果以不同的方式组合所描述的系统、架构、设备或电路中的部件，和/或由其他部件或其等价物替换或补充，可以实现合适的结果。

因此，本公开的范围不是由详细描述限定的，而是由权利要求及其等价物限定的，并且在权利要求及其等价物范围内的所有变化都应被解释为包括在本公开中。

Claims

1.一种用于控制车辆的驾驶的装置，所述装置包括：

相机，被配置为获取车辆前方的图像；

传感器，被配置为获取所述车辆的驾驶速度；

第一神经网络，被配置为基于将驾驶转向角与计算的转向角进行比较来计算补偿转向角；以及

第二神经网络，被配置为基于将所述补偿转向角与阈值进行比较来设置所述车辆的速度，

其中，所述驾驶转向角包括在所述车辆行驶时收集的转向角信息，并且所述计算的转向角包括通过接收所述图像和所述驾驶速度而学习的转向角信息，

其中，所述第二神经网络还被配置为：

响应于所述补偿转向角小于或等于所述阈值，将所述车辆的所述速度增加到预设速度；并且

响应于所述补偿转向角超过所述阈值，将所述车辆的所述速度降低到所述预设速度。

2.根据权利要求1所述的装置，其中，所述计算的转向角基于通过接收所述图像和所述驾驶速度获得道路模型，并且通过计算所述道路模型的道路系数来执行学习。

3.根据权利要求1所述的装置，其中，所述第一神经网络还被配置为将所述驾驶速度和所述补偿转向角标记并存储在相对于所述图像的相应图像中。

4.根据权利要求3所述的装置，其中，所述第一神经网络还被配置为响应于与标记有所述驾驶速度和所述补偿转向角的所述图像的道路模型匹配的新图像的道路模型，基于所述新图像中的所述驾驶速度来计算所述补偿转向角。

5.根据权利要求1所述的装置，其中，所述第一神经网络被配置为通过将权重应用于先前学习和存储的补偿转向角来计算所述补偿转向角。

6.根据权利要求1所述的装置，其中，所述预设速度由所述车辆的智能巡航控制功能预设。

7.根据权利要求1所述的装置，其中，所述第二神经网络还被配置为响应于所述补偿转向角超过所述阈值而将所述车辆的所述速度降低到通过计算出的减速速度，其中V_x,low是所述减速速度，‘μ’是道路摩擦系数，‘R’是转弯半径，道路系数之间曲率的倒数，以及‘g’是重力加速度。

8.一种处理器实施的控制车辆的驾驶的方法，所述方法包括：

通过相机获取车辆前方的图像；

通过传感器获取所述车辆的驾驶速度；

通过第一神经网络，基于将驾驶转向角与计算的转向角进行比较来计算补偿转向角；以及

通过第二神经网络，基于将所述补偿转向角与阈值进行比较来设置所述车辆的速度，

其中，设置所述车辆的所述速度包括：

响应于所述补偿转向角小于或等于所述阈值，将所述车辆的所述速度增加到预设速度；以及

9.根据权利要求8所述的方法，其中，计算所述补偿转向角包括：

通过接收所述图像和所述驾驶速度获得道路模型，并且通过计算所述道路模型的道路系数来执行学习。

10.根据权利要求8所述的方法，其中，计算所述补偿转向角包括：

将所述驾驶速度和所述补偿转向角标记并存储在相对于所述图像的相应图像中。

11.根据权利要求10所述的方法，其中，计算所述补偿转向角包括：

响应于与标记有所述驾驶速度和所述补偿转向角的所述图像的道路模型匹配的新图像的道路模型，基于所述新图像中的所述驾驶速度来计算所述补偿转向角。

12.根据权利要求8所述的方法，其中，计算所述补偿转向角包括：

通过将权重应用于先前学习和存储的补偿转向角来计算所述补偿转向角。

13.根据权利要求8所述的方法，其中，所述预设速度由所述车辆的智能巡航控制功能预设。

14.根据权利要求8所述的方法，其中，降低所述车辆的所述速度包括：

响应于所述补偿转向角超过所述阈值而将所述车辆的所述速度降低到通过计算出的减速速度，其中V_x,low是所述减速速度，μ是道路摩擦系数，R是转弯半径，道路系数之间曲率的倒数，以及g是重力加速度。