CN118279852A - 用于基于深度学习的2d图像车道曲率检测的系统和方法 - Google Patents

Abstract

提供了方法和系统以检测由车辆捕获的二维图像中的线的实例，并确定该线的实例是否为该车辆将用于横穿路线的车道的车道边界。使用处理电路来检测由车辆捕获的二维图像中的线的实例。该处理电路用于确定该线的实例是与该车辆相关联的车道的车道边界。使用该处理电路来确定基于该线的实例的该车道边界的曲线拟合。该处理电路还用于基于该曲线拟合来确定该车道的弯曲度。使用该处理电路基于所确定的弯曲度来促进车辆动作的执行。

Description

用于基于深度学习的2D图像车道曲率检测的系统和方法

相关申请的交叉引用

本申请要求于2022年12月30日提交的美国临时专利申请63/436,215号的权益，该临时专利申请的公开内容据此以引用的方式全文并入本文。

引言

本公开旨在检测车辆的行驶路径中即将到来的车道曲率和/或高度变化。

发明内容

在道路上行驶的车辆通常沿着可能具有曲率和高度变化的车道。因此，由车辆的相机检测到的另一车辆或障碍物实际上是否在该车辆的行驶路径中并不总是很清楚。因此，确定车辆正在其中行驶的车道是否具有即将到来的曲率或高度变化是有用的。

根据本公开，使用2D图像来检测车辆的行驶路径中即将到来的车道曲率和高度变化。检测在2D图像中即将到来的曲率和高度有助于避免将图像包装到3D空间或鸟瞰图坐标中的处理器密集型任务。此外，将车道投影到3D空间中加剧了相机校准误差的敏感性并呈现没有高度的平坦车道，从而在车辆的行驶车道中存在显著高度时导致误差。

根据本公开的一些实施方案，提供了用于使用由车辆的相机捕获的2D图像来检测车辆的行驶车道中的曲率和高度变化的系统和方法。这避免了例如将车道投影到3D空间中的需要，并且还提高了检测速度并降低了车道检测中的误差。车道线、路径指示标识或其它定向行驶指示标识中的一者或多者的每个实例可使用深度学习实例分割来实现。基于对线的每个实例(例如，路径指示标识)的检测，可以做出关于车辆正在其中行驶的自我车道的边界的确定。自我车道对应于在执行路线期间车辆预期在其中行驶的车道，并且基于车辆不受限制地横穿车道所需的间隙来限定。

在一些实施方案中，车辆的处理电路测量图像中从图像的中心到二维线(例如，路径指示标识)的形心的距离，以确定哪条线(或路径指示标识)属于自我车道作为左侧自我线和右侧自我线(例如，使得左侧自我线和右侧自我线对应于在其间形成车道的一对路径指示标识，车辆可在没有阻碍的情况下横穿该车道)。

在一些实施方案中，基于所检测到的路径指示标识的实例，处理电路确定自我车道边界的曲线拟合。这可通过将三阶多项式拟合到路径指示标识的实例来实现。

在一些实施方案中，处理电路基于曲线拟合确定自我车道的弯曲度。可通过使曲线拟合的长度除以曲线拟合的起点和终点之间的最短路径的距离来确定弯曲度。自我车道是否包括曲率可通过将弯曲度与阈值进行比较来确定。例如，1.05的阈值能够被用来指示自我车道中即将到来的曲率的存在。

在一些实施方案中，处理电路确定两个曲线拟合，第一曲线拟合用于左侧自我车道边界，而第二曲线拟合用于右侧自我车道边界。可基于第一曲线拟合和第二曲线拟合来确定自我车道的弯曲度。此外，自我车道中即将到来的高度变化也可以基于第一曲线拟合和第二曲线拟合来确定。例如，基于具有向左的曲率的左侧自我车道边界的曲线拟合和具有向右的曲率的右侧自我车道边界的曲线拟合来确定即将到来的高度增加。

在一些实施方案中，处理电路使得车辆动作基于弯曲度而被执行。例如，自我车道可基于弯曲度而显示在车辆的显示器上。作为另一个示例，高级驾驶辅助系统(ADAS)可基于弯曲度执行一个或多个动作，诸如确定车辆的路径中是否存在对象，以及显示警告或启动车辆的制动。

附图说明

参考以下附图详细描述了根据一个或多个各种实施方案的本公开。附图仅出于举例说明的目的而提供，并且仅示出典型的或示例性实施方案。提供这些附图以有利于理解本文所公开的概念，并且这些附图不应被认为是对这些概念的广度、范围或适用性的限制。应当指出的是，为了清楚起见和便于说明，这些附图未必按比例绘制。

图1示出了根据本公开的一些实施方案的具有处理电路的系统的部件的框图，该系统用于车辆以捕获2D图像并确定车辆的行驶路径中曲率或高度的存在；

图2示出了根据本公开的一些实施方案的具有用户界面的车辆内部的例示性描绘；

图3示出了根据本公开的一些实施方案的由车辆的相机捕获的2D图像以及路径指示标识实例的检测；

图4示出了根据本公开的一些实施方案的描绘弯曲度与车辆相机的帧时间之间的关系的曲线图；

图5示出了根据本公开的一些实施方案的描绘自我车道的用户界面显示器；

图6是根据本公开的一些实施方案的用于检测车辆的行驶车道中的曲率的例示性方法的流程图；

图7是根据本公开的一些实施方案的用于检测车辆的行驶车道中的高度变化的例示性方法的流程图；并且

图8是根据本公开的一些实施方案的用于处理来自多个来源的车道曲率数据以生成用户通知并执行车辆动作的例示性方法的流程图。

具体实施方式

在一些实施方案中，本公开涉及捕获2D图像和使用它们检测车辆的行驶路径中的曲率和/或高度变化。本公开的系统和方法还可以基于曲率和/或高度变化来执行动作，诸如基于曲率和/或高度的存在，在用户界面上向用户提供关于其行驶路径中的对象的警报。本公开提供了2D图像的捕获和处理如何消除将本文公开的系统和方法与附加的或替代的传感器配对的需求的示例。例如，所公开的系统和方法可准确地确定在2D帧中出现在车辆前方的对象可能是沿着与该车辆所横穿的弯曲车道平行的弯曲车道行驶的车辆。因此，可通过本公开的系统和方法产生对对象轨迹的更准确表征和对车道的更准确描述，而无需可能产生错误警报(例如，接近警报)的多个附加传感器和数据处理。

图1示出了根据本公开的一些实施方案的具有处理电路102的系统100的部件的框图，该系统用于车辆101以捕获2D图像并确定车辆的行驶路径中曲率或高度的存在。在一些实施方式中，车辆101可为汽车(例如，双门小轿车、轿车、卡车、SUV、公共汽车)、摩托车、飞行器(例如，无人机)、船舶(例如，船)或任何其他类型的运载工具。车辆包括处理电路102，该处理电路可包括处理器104和存储器106。处理器104可包括硬件处理器、软件处理器(例如，使用虚拟机模拟的处理器)或它们的任何组合。在一些实施方案中，处理器104和存储器106的组合可称为车辆101的处理电路102。在一些实施方案中，单独的处理器104可称为车辆101的处理电路102。存储器106可包括其上编码有非暂态存储命令或指令的硬件元件(例如，非暂态计算机可读介质)，该命令或指令在由处理器104执行时使处理器104根据上文和下文所讨论的实施方案操作车辆101。存储器106还可存储经由传感器接口112接收的传感器数据以及经由输入电路108从用户界面110接收的数据和经由通信电路132从数据库140接收的数据。在一些实施方案中，数据库140由服务器138托管并且由通信电路132通过网络134通信可达。处理电路系统102可经由一个或多个线或经由无线连接来通信地连接到车辆101的部件。在一些实施方案中，网络134是基于云的网络，其以能够通信的方式地联接到通信电路132和服务器138，每一联接通过有线或无线连接形成。

处理电路系统102可通信地连接到传感器接口112，该传感器接口可被配置成为在车辆上使用的一组传感器提供网络总线。该组传感器可包括热相机114、超声波传感器116、激光雷达传感器118、雷达传感器120、相机122和冲击传感器128。在一些实施方案中，为了从该组传感器检索传感器数据，处理电路系统102可经由传感器接口112连续地轮询。在另选实施方案中，该组传感器，包括但不限于冲击传感器128，可检测冲击事件并向处理电路102发送中断信号以启动进一步传感器数据检索以用于冲击的识别和分类。在一些实施方案中，这些传感器中的一者或多者用于高级驾驶辅助系统(ADAS)。例如，雷达传感器120和相机122可用于确定何时向驾驶员报警ADAS特征警告或执行自动事件，以在驾驶时保护车辆用户。然而，为了在车辆停放时提供用户和车辆101保护，无论用户位于车辆内部还是位于车辆101的周围附近，本公开的系统和方法可使用相同ADAS传感器中的一些ADAS传感器。在一些实施方案中，除ADAS传感器之外的传感器可用于提供用户和车辆101保护。

相机122中的一个相机可捕获车辆前方路径的2D图像，描绘车辆或障碍物以及车辆前方的车道。处理电路102可经由传感器接口112可通信地连接到相机122。处理电路可处理2D图像，以确定在2D图像中检测到的路径指示标识的实例。可基于如下所述的深度学习实例分割来确定路径指示标识的实例。处理电路102可处理从2D图像提取的数据(例如，线或路径指示标识的实例)以确定自我车道的边界，该自我车道是车辆正在其中行驶的车道。该确定可通过测量图像中从图像的中心到所确定的二维线的实例的形心的距离来实现。基于测量结果，处理电路102确定哪个线实例是左侧自我线以及哪个线实例是右侧自我线(在识别出两条线的程度上)，左侧自我线和右侧自我线形成车辆101正在其中行驶的自我车道的边界。

处理电路102可进一步处理来自相机122的2D图像，以确定自我车道边界的曲线拟合。处理电路102可将三阶多项式拟合到自我车道的边界的实例，以便获得左侧自我线和右侧自我线的曲线拟合，如基于测量结果所检测的。在一些实施方案中，贝塞尔曲线能够被用来获得线实例的曲线拟合。在一些实施方案中，也可使用其它类型的曲线拟合。

处理电路102可进一步处理所确定的曲线拟合，以计算自我车道的弯曲度。可通过使曲线拟合的长度除以曲线拟合的起点和终点之间的最短路径的距离来确定弯曲度。车道中曲率和/或高度变化的确定可基于自我车道的弯曲度来进行，如通过车辆101的处理电路102所计算的。

一旦已经由处理电路102做出曲率和/或高度变化的确定，则能够基于所检测到的曲率和/或高度变化，确定在2D图像中检测到的任何对象是否在车辆101的行驶路径中。处理电路102可通过计算在2D图像中在车辆101的前方检测到的对象或其它车辆的坐标并基于自我车道的曲率或高度变化确定那些坐标是否落入自我车道中来进行该确定。如果处理电路102确定对象或其它车辆在车辆101的行驶路径中，则处理电路可使用车辆内的用户界面110来通知用户行驶路径中的对象。

用户界面110(例如，方向盘、触摸屏显示器、按钮、旋钮、麦克风或其它音频捕获设备等)可经由输入电路108以能够通信的方式地联接到处理电路102。在一些实施方案中，可准许车辆101的用户(例如，驾驶员或乘客)结合车辆101的操作选择特定的设定(例如，选择车辆的预定区域进行保护)。在一些实施方案中，处理电路102可经由车辆101的通信电路132可通信地连接到导航系统(例如，全球定位系统(GPS)系统135)，其中用户可经由用户界面110与GPS系统135进行交互。GPS系统135可与多个卫星通信，以确定车辆的位置并向处理电路102提供当前车辆位置。作为另一个示例，定位设备可对地面信号(诸如蜂窝电话信号、Wi-Fi信号或超宽带信号)进行操作以确定车辆101的位置。当前车辆位置可为任何合适的形式，诸如地理坐标。

在一些实施方案中，处理电路102可通过服务器138和网络134与数据库140无线通信(例如，经由通信电路132)。在一些实施方案中，数据库140中的一些或全部信息也可本地存储在车辆101的存储器106中。

处理电路102还可通信地连接到输出电路124、可通信地连接到用户界面110和扬声器130，以便向用户呈现信息(例如，向用户显示或播放接近车道曲率、高度变化的通知，或关于行驶路径中对象的信息)。

应当理解，图1仅示出了车辆101的一些部件，并且应当理解，车辆101还包括车辆中常见的其他元件，例如，马达、制动器、车轮、车轮控件、转向灯、窗户、门等。

图2示出了根据本公开的一些实施方案的具有用户界面110的车辆内部的例示性描绘。车辆内部或车厢200可包括方向盘204、作为用户界面110的一部分的一个或多个显示器202和/或206以及驾驶员座椅210。在一些实施方案中，车辆的内部200可为图1中的车辆101的内部。在一些实施方案中，一个或多个显示器202和/或206能够经由触摸屏、旋钮、按钮、麦克风或其它音频捕获设备用作用户界面。处理电路102可被配置为通过方向盘204或一个或多个显示器202和/或206接收用户输入，以便做出选择和输入信息。在一些实施方案中，处理电路102可生成车辆101的本地导航视图和界面，该界面显示车辆正在其中行驶的车道以及即将到来的车道曲率和高度变化，以用于在车辆101的一个或多个驾驶员显示器202和/或中心显示器206上显示。

另外地或另选地，处理电路102可被配置为生成音频指示标识或警报(例如，以听觉上将用户的注意力引到通知)和/或其它视觉提示(例如，显眼的照明图案(诸如闪光灯)以试图获得用户的注意力，诸如位于方向盘204、驾驶员显示器202、中心显示器206、左侧视镜、右侧视镜208、后视镜、舱灯、门灯等中的一者或多者处的光源)以用于输出。音频警报可为从扬声器传输的基于语音的指令和/或警报类型指示标识(例如，旨在迫切捕获用户的注意力的重复性、高音调的铃声)的形式。在一些实施方案中，处理电路102可生成触感或触觉指示标识以用于输出(例如，向驾驶员提供触感或触觉反馈，例如，在驾驶员的座椅210或乘客座椅上)。

图3示出了根据本公开的一些实施方案的由车辆的相机捕获的2D图像300以及线实例的检测。图像300可由诸如位于车辆上的相机122之类的相机捕获。在一些实施方案中，图像300可由经由对生产组件进行修改而安装在车辆上的相机捕获。

相机122可捕获车辆前方路径的2D图像，以描绘不同车辆或障碍物以及车辆前方的车道。在一些实施方案中，所捕获的2D图像可包括在车辆前方道路上具有多个路径指示标识的多个车道。在一些实施方案中，车辆正在其中行驶的道路可以是没有分隔对向车流的屏障的双向街道，从而并入道路上的多个路径指示标识以及在相反方向上行驶的车辆。

处理电路102可处理2D图像300以确定在2D图像300中检测到的路径指示标识的实例。在一些实施方案中，可基于深度学习实例分割来确定路径指示标识的实例。例如，处理电路102可进一步处理所检测到的实例(例如，基于所检测到的路径指示标识的实例)以确定车辆101正在其中行驶的自我车道302的边界中的一个或两个边界。图像分割包括分割复杂视觉环境中的对象(例如，将车道中的对象与由车道的线限定的围绕该车道的环境分离)。实力分割是用于检测和定位图像中的对象的计算机视觉任务。在一些实施方案中，实例分割可被认为是语义分割的自然序列。语义分割取得所提供的图像，并基于类别或类来标记图像中的每个像素。因此，相同类别的每个像素接收相同标签。对象检测系统可利用框(例如，边界框)来粗略地局部定位多个对象，该框能够与语义分割框架进行交互以产生上述提及的像素级标记。在包括实例分割的情况下，产生像素的每一标签的片段地图以及指示特定类的像素类别或标签的每个实例的数据。这提供了应当在图像中识别的对象的详细且具有情景的数据地图(例如，使得能够区分在行驶车道内的对象和未进入行驶车道的对象)。与通过语义分割实现的更受限的方法不同，实例分割为处理电路提供了将一个图像中的多个相同对象识别为空间上不同的对象的能力，这些对象被分类为同一时间(例如，对于识别和跟踪跨多个图像的交通中，诸如在实况视频输入中的多个车辆是有用的)。在一些实施方案中，卡尔曼滤波器(例如，线性二次估计)能够与实例分割一起使用，以降低在不同视图中捕获相同对象的图像之间的变化的影响(例如，当经过或接近对象时，这可能导致由车辆成像系统捕获的不同视角)。

自我车道边界的确定可通过测量图像中从图像的中心到所检测到的二维线或路径指示标识的形心的距离来实现。处理电路102可以首先检索或确定图像的中心的坐标以及所检测到的二维路径指示标识实例的形心的坐标。处理电路102然后可以计算图像的中心的坐标与形心的坐标之间的距离。基于测量结果，处理电路102可将至图像的中心的左侧的最近线(即，线实例301)分类为左侧自我线，并且处理电路102可将至图像的中心的右侧的最近线实例(即，线实例303)分类为右侧自我线。在图3所示的实施方案中，处理电路102可确定左侧自我线301和右侧自我线303共同形成自我车道302的边界。在一些实施方案中，处理电路102可仅测量2D图像中路径指示标识的一个实例，并且可以仅确定形成车辆101正在其中行驶的自我车道302的左侧边界或右侧边界的单个自我路径指示标识。在一些实施方案中，处理电路102可检测2D图像中路径指示标识的超过两个实例，通过发送信号通知另外的行驶车道的存在。

在确定共同形成自我车道302的边界的左侧自我线301和右侧自我线303之后，处理电路102可进一步处理来自相机122的2D图像，以确定自我车道边界的曲线拟合。在一些实施方案中，处理电路102可将三阶多项式拟合到自我车道的边界的实例，以便获得左侧自我线301和右侧自我线303的曲线拟合。在一些实施方案中，贝塞尔曲线或任何其它合适的曲线拟合能够被用来获得左侧自我线301和右侧自我线303的曲线拟合。处理电路102然后可以处理所确定的曲线拟合以计算自我车道的弯曲度。可通过使曲线拟合的长度除以曲线拟合的起点和终点之间的最短路径的距离来确定弯曲度。处理电路102可通过测量2D图像中的起点和终点之间的直线来测量这两点之间的最短路径。当识别出左侧自我车道边界和右侧自我车道边界时，确定两个弯曲度，第一弯曲度用于左侧自我车道边界，并且第二弯曲度用于右侧自我车道边界。例如，可通过选择两个所确定的弯曲度中的较大弯曲度或较小弯曲度，或通过平均化该两个弯曲度来确定自我车道的弯曲度。然后可基于自我车道的弯曲度来确定车道中的曲率，如由车辆101的处理电路102所计算的。可通过比较左侧自我车道边界和右侧自我车道边界来确定高度变化。

图4示出了根据本公开的一些实施方案的描绘弯曲度与车辆相机的帧时间之间的关系的曲线图400。曲线图400提供了较大的弯曲度值如何产生由所捕获的图像的处理所表征的较大曲线的视觉表征。曲线图400可用于(或配置为产生曲线图400的处理)创建用于在用户界面中限定车道的自我线的地图。

对于由相机122获得的每个2D图像，处理电路102可基于所检测到的路径指示标识实例和自我车道边界的曲线拟合来计算自我车道的弯曲度，如上文参考图3所描述的。如果曲线拟合的长度，如在自我车道边界上所计算的，被确定为大于起点和终点之间的最短路径的距离，则2D图像的该帧的弯曲度值被确定为大于1。曲线图400示出了Y轴上的每一帧401的弯曲度，如由车辆101的处理电路102所计算的。X轴描绘了由车辆101的相机122拍摄2D图像时的帧时间402。随着车辆继续行驶，在每一帧时间处，车辆101的相机122可继续拍摄2D图像。对于每个图像，车辆101的处理电路102处理图像并计算车辆101正在其中行驶的自我车道的自我边界线(例如，边界路径指示标识)的弯曲度。如图4所示，所计算的弯曲度值被映射到与帧时间相关的曲线图上。处理电路可以使用弯曲度阈值，超过该弯曲度阈值可做出自我车道中存在曲率的确定。曲线图400示出了描绘1.05的弯曲度阈值的阈值线403。对于任何给定的帧时间，当弯曲度值超过1.05时，处理电路做出自我车道具有即将到来的曲率的确定。应当理解，1.05的弯曲度阈值仅是例示性的，并且可以适当地使用其它阈值。在一些实施方案中，可基于所使用的相机的属性(例如，基于视场和透镜畸变)来调整阈值。

图5示出了根据本公开的一些实施方案的描绘自我车道501的用户界面显示器500。在一些实施方案中，用户界面显示器500可对应于车辆101的显示器202或206。在一些实施方案中，当车辆101使用其处理电路102确定车辆正在其中行驶的自我车道中具有即将到来的曲率或高度变化时，处理电路102可使用该信息并进一步处理2D图像以检测车辆101的行驶路径中的其它对象。

在一些实施方案中，处理电路102可通过计算在2D图像中在车辆101的前方检测到的对象或其它车辆的坐标并基于自我车道的曲率或高度变化确定那些坐标是否落入自我车道中来确定该其它车辆或对象是否在车辆101的行驶路径中。如果处理电路102确定对象或其它车辆在车辆101的行驶路径中，则处理点库可使用车辆内的用户界面显示器500来通知用户行驶路径中的对象。用户界面显示器500可基于所确定的车辆101正在其中行驶的自我车道的曲率和/或高度变化来描绘自我车道以及周围车辆和车道的视觉表示501。处理电路102可映射自我车道的曲率，如基于曲线拟合和弯曲度所确定的，并且能够将其转换成待显示在用户界面显示器500上的视觉表示501。

在一些实施方案中，自我车道501的视觉表示还可以包括车辆101在自我车道上的位置。在一些实施方案中，用户界面显示器500还可以包括在车辆101旁边的道路上行驶的其它车辆。处理电路102可基于来自相机122(并且可能使用其它车辆传感器和相机)的2D图像来计算在道路上行驶的其它车辆中的每个车辆的坐标，并将它们定位在用户界面显示器500上的适当位置处。基于其它车辆或障碍物相对于车辆101和自我车道501的定位，向用户呈现哪些车辆或障碍物位于其行驶路径中的清晰描绘。另外，如果车辆101正在接近停止或较慢的车辆或障碍物，则可在用户界面显示器500上呈现其它通知。

尽管在图5的实施方案中对用户的通知以视觉表示的形式示出在用户界面显示器500上，但是也可以使用语音通知、对方向盘进行振动等形式来做出。

图6是根据本公开的一些实施方案的用于检测车辆的行驶车道中的曲率的例示性方法600的流程图。方法600可由车辆101的处理电路102执行。

在601处，处理电路102处理2D图像以检测2D图像中的线的实例。例如，处理电路102可处理2D图像300，并检测线实例301或线实例303。在一些实施方案中，可基于深度学习实例分割来检测线的实例或路径指示标识。处理电路102可检测2D图像上的多条线，其中例如车辆101在具有多条车道的高速公路上行驶。在一些实施方案中，处理电路102可在车辆101正在乡村道路或道路状况的维持已经很差的道路上行驶的情况下仅检测一个或两个路径指示标识。

在602处，处理电路102处理从2D图像提取的数据以确定线(或路径指示标识)实例是否是自我车道的边界，该自我车道是车辆101正在其中行驶的车道。在一些实施方案中，该确定通过测量图像中从图像的中心到所检测到的二维线的形心的距离来实现。处理电路102可检索图像的中心的坐标，并计算所检测到的二维线的形心的坐标。处理电路102然后可以计算图像的中心的坐标与所检测到的二维线的形心的坐标之间的距离。基于该测量结果，处理电路102可将距图像的中心的左侧最近的线分类为左侧自我线边界，并且处理电路102可将距图像的中心的右侧最近的线分类为右侧自我线边界。如果确定距中心的距离过大或过小，则处理电路102可做出该线实例不是自我车道的边界的确定。

如果确定该线实例不是自我车道边界，则方法600停止并返回至开始，以开始处理下一2D图像。然而，如果确定该线实例是自我车道边界，则在603处，处理电路102计算自我车道边界的弯曲度。在一些实施方案中，处理电路102还处理线的实例并确定自我车道边界的曲线拟合。处理电路102可例如将三阶多项式拟合到线的实例，以便获得曲线拟合。处理电路102然后处理所确定的曲线拟合以确定自我车道的弯曲度。

在一些实施方案中，通过使曲线拟合的长度除以曲线拟合的起点和终点之间的最短路径的距离来确定弯曲度。处理电路102可通过测量起点和终点之间的直线来测量这两点之间的最短路径。处理电路102可使用自我车道的弯曲度来确定自我车道是否具有曲率或高度变化。如果曲线拟合的长度被确定为大于起点和终点之间的最短路径的距离，则曲线拟合的弯曲度值将大于1。处理电路102可使用阈值(例如，1.05)来做出车辆101正在其中行驶的自我车道中是否存在曲率的确定。

在604处，车辆101的一个或多个部件或元件基于所确定的弯曲度促进车辆动作的执行。例如，一个或多个车辆模块或与不同车辆模块相关联的处理电路可基于所确定的弯曲度而被激活。因此，一个或多个处理电路可执行用于执行导致车辆动作的模块动作的指令的生成和传输中的一者或多者(例如，致动器引起到用户的车辆反馈的变化或对用户输入的车辆响应)。在一些实施方案中，车辆动作可以是在基于弯曲度而检测到车辆101的行驶路径中的障碍物时施加制动。在一些实施方案中，车辆动作可以是向车辆101的用户显示弯曲度或曲率信息。在一些实施方案中，由车辆101执行的动作可以是经由用户界面110向用户提供警报的形式。在一些实施方案中，车辆101可使用其它通知手段，诸如声音或方向盘的振动来警告用户。

图7是根据本公开的一些实施方案的用于检测车辆的行驶车道中的高度变化的例示性方法700的流程图。方法700可由车辆101的处理电路102执行。

在701处，处理电路102处理2D图像以检测2D图像中的线(或路径指示标识)的两个实例。在一些实施方案中，可基于深度学习实例分割来检测线的实例。处理电路102可检测2D图像上的多条线，其中例如车辆101在具有多条车道的高速公路上行驶。在一些实施方案中，处理电路102可在车辆101正在乡村道路或道路状况的维持已经很差的道路上行驶的情况下仅检测一条或两条线。为了确定高度，处理电路102使用车辆101正在其中行驶的自我车道的左侧边界线和右侧边界线。

在702处，处理电路102处理从2D图像提取的数据以确定是否已经检测到两个线实例以及它们是否是自我车道的边界。在一些实施方案中，该确定通过测量图像中从图像的中心到二维线的形心的距离来实现，如上文参考图6所描述的。

如果确定线实例不是自我车道边界，则方法700停止并返回至开始，以开始处理下一2D图像。然而，如果确定线实例是自我车道边界(即，左侧自我边界和右侧自我边界均已被检测到)，则在703处，处理电路102计算该两个自我车道边界的曲线拟合。处理电路102可将三阶多项式拟合到自我车道的边界的实例，以便获得左侧自我车道边界和右侧自我车道边界两者的曲线拟合。在704处，处理电路102然后处理所确定的左侧自我边界线和右侧自我边界线的两个曲线拟合以计算自我车道的弯曲度。

可通过使曲线拟合的长度除以曲线拟合的起点和终点之间的最短路径的距离来确定弯曲度。处理电路102可通过测量2D图像中的起点和终点之间的直线来测量这两点之间的最短路径。

在705处，然后可以基于左侧自我边界线和右侧自我边界线的弯曲度和曲线拟合来确定自我车道中即将到来的高度变化。例如，当车辆101正在位于平坦表面上的直的车道上行驶时，左侧自我边界线和右侧自我边界线通常是直的。然而，如果表面向上弯曲(即，存在高度增加)，则左侧自我边界线预期向左弯曲，并且右侧自我边界线预期向右弯曲。此外，如果如果表面向下弯曲(即，存在高度降低)，则左侧自我边界线预期向右弯曲，并且右侧自我边界线预期向左弯曲。因此，如果处理电路102确定左侧自我车道边界和右侧自我车道边界两者的弯曲度均大于阈值(例如，1.02)并且左侧自我车道边界和右侧自我车道边界的曲线拟合沿相反方向弯曲，则处理电路102将确定车辆101的行驶路径中存在即将到来的高度变化(例如，高度增加或高度降低)。

图8是根据本公开的一些实施方案的用于处理来自多个来源的车道曲率数据以生成用户通知并执行车辆动作的例示性方法800的流程图。方法800可由车辆101的处理电路102执行。在方法800中，显示器和ADAS功能使用来自多个来源的曲率数据输入来执行一个或多个车辆动作。

在801处，将由处理电路102基于来自车辆101的相机122的2D图像计算的一个或多个自我车道边界发送到显示器和ADAS功能。自我车道边界的弯曲度可如上文参考图6和图7所描述的进行计算。

在802处，提供地图数据曲率作为对显示器和ADAS功能的输入。地图数据(例如，由车辆制造商或第三方供应商提供的数据)可包括曲率信息。在一些实施方案中，处理电路确定车辆的位置(例如，使用GPS系统135)并使用车辆的位置来从地图数据提取曲率。在一些实施方案中，地图数据存储在数据库140中，并且使用云网络134将车辆位置发送到服务器138，并且响应于车辆位置，服务器138将地图数据曲率发送到车辆101。

在803处，将来自车道相机的车道曲率信息发送到显示器和ADAS功能。在一些实施方案中，车道相机是被定位成显示自我车道的左侧车道标记和右侧车道标记的相机122中的两个相机。例如，车道相机可位于面向前方和下方的侧视镜中。处理电路102可从车道相机接收图像数据并使用它们来单独地检测车道曲率。在一些实施方案中，通过确定左侧车道标记和右侧车道标记的弯曲度来检测曲率，如上文参考图6和图7所描述的。

在804处，还可以使用其它曲率来源来提取车道曲率数据，并将其发送到显示器和ADAS功能。这些其它曲率来源可以是安装在车辆101上的第三方供应商相机或其它传感器。在一些实施方案中，其它曲率来源可以是位于在车辆101旁边行驶的其它附近车辆上的相机。

在805处，显示器和ADAS功能接收并处理从所有来源接收的曲率信息。通过使用来自多个来源的曲率，可做出关于车辆的行驶路径是否具有曲率或即将到来的高度变化的更稳健或准确的确定，如上文参考图6和图7所描述的。在一些实施方案中，通过对来自多个来源的曲率进行平均化而确定平均曲率。在一些实施方案中，从多个来源确定中值曲率。在一些实施方案中，来自多个来源的曲率可使用任何合适的技术来统一，以做出自我车道曲率和/或高度变化的最终确定，从而执行如806、807和808处所示的一个或多个车辆动作。

在806处，基于由显示器和ADAS功能接收和计算的车道曲率信息，处理电路102生成待在用户界面110上显示的车道边界，用户界面位于车辆101内部。在一些实施方案中，车道边界可被描绘为如图5的用户界面显示器500中所示。显示器和ADAS功能还可以确定在车辆101周围行驶的其它车辆的定位，并且基于它们的位置，确定车辆中的哪些车辆在车辆101的行驶路径中。处理电路102还可以在用户界面110上显示这些其它车辆的位置。在一些实施方案中，这些车辆的位置可被描绘在用户界面显示器500上，如图5所示。

在807处，显示器和ADAS功能基于车辆或其它障碍物是否在车辆101的行驶路径中而生成对象检测警告。可以经由位于车辆101内部的用户界面110向用户提供警告。在一些实施方案中，可以经由音频通知向用户提供警告。在一些实施方案中，警告可以是对方向盘进行振动的形式。

在808处，车辆101的处理电路102基于自我车道的曲率和行驶路径中的对象检测促进车辆动作的执行，执行车辆动作。附加地或另选地，车辆内的一个或多个处理电路能够被激活或用于该促进(例如，如参考图6的框604所描述的)。在一些实施方案中，车辆动作可以是施加制动。在一些实施方案中，车辆动作可以是转动方向盘以改变车道或避让行驶路径中的障碍物。在一些实施方案中，车辆动作可为减缓车辆的速度。虽然本文中提供了车辆动作的几个示例，但是这些动作并不限于此，并且可以基于所计算的自我车道的曲率和/或高度变化以及对车辆101的行驶路径中障碍物的检测来执行其它车辆动作。

前述内容只是举例说明本公开的原理，并且在不脱离本公开的范围的情况下，本领域的技术人员可作出各种修改。上述实施方案是出于举例说明而非限制的目的而呈现的。本公开还可采用除本文明确描述的那些形式之外的许多形式。因此，应当强调的是，本公开不限于明确公开的方法、系统和仪器，而是旨在包括其变型和修改，这些变型和修改在以下权利要求书的实质内。

Claims (20)

1.一种方法，包括：

使用处理电路检测由车辆捕获的二维图像中的线的实例；

使用所述处理电路确定所述线的所述实例是与所述车辆相关联的车道的车道边界；

使用所述处理电路基于所述线的所述实例来确定所述车道边界的曲线拟合；

使用所述处理电路基于所述曲线拟合来确定所述车道的弯曲度；以及

使用所述处理电路基于所确定的弯曲度来促进车辆动作的执行。

2.根据权利要求1所述的方法，还包括使用所述车辆上的相机来捕获所述二维图像。

3.根据权利要求2所述的方法，其中确定所述线的所述实例是所述车道边界包括确定所述二维图像的中心与所述线的所述实例的形心之间的距离。

4.根据权利要求1所述的方法，其中确定所述车道边界的所述曲线拟合包括将三阶多项式拟合到所述线的所述实例。

5.根据权利要求1所述的方法，其中确定所述车道的所述弯曲度包括使曲线拟合的长度除以所述曲线拟合的起点和终点之间的最短路径的距离。

6.根据权利要求1所述的方法，还包括：

基于所述弯曲度与阈值的比较，确定所述车道具有曲率。

7.根据权利要求1所述的方法，其中：

所述线的所述实例包括线的第一实例；

所述线边界包括左侧线边界；并且

所述曲线拟合包括第一曲线拟合，所述方法还包括：

检测所述二维图像中的线的第二实例；

确定所述线的所述第二实例是所述车道的右侧车道边界；以及

基于所述线的所述第二实例确定所述右侧车道边界的第二曲线拟合，其中：

确定所述车道边界的所述弯曲度基于所述第一曲线拟合和所述第二曲线拟合。

8.根据权利要求7所述的方法，还包括：

基于所述第一曲线拟合和所述第二曲线拟合来确定所述车道中即将到来的高度变化。

9.根据权利要求7所述的方法，还包括：

基于具有向左的曲率的所述第一曲线拟合和具有向右的曲率的所述第二曲线拟合，确定即将到来的高度增加。

10.根据权利要求1所述的方法，其中执行所述车辆动作包括：

基于所述弯曲度在所述车辆的显示器上显示所述车道；或者

基于所述弯曲度执行高级驾驶辅助系统(ADAS)动作。

11.一种系统，包括：

车辆的相机，所述相机被配置为捕获二维图像；和

处理电路，所述处理电路被配置为：

使用处理电路检测由车辆捕获的二维图像中的线的实例；

使用所述处理电路确定所述线的所述实例是与所述车辆相关联的车道的车道边界；

使用所述处理电路基于所述线的所述实例来确定所述车道边界的曲线拟合；

使用所述处理电路基于所述曲线拟合来确定所述车道的弯曲度；以及

使用所述处理电路基于所确定的弯曲度来促进车辆动作的执行。

12.根据权利要求11所述的系统，其中所述处理电路被进一步配置为使用所述车辆上的所述相机捕获图像。

13.根据权利要求12所述的系统，其中所述处理电路被进一步配置为确定所述二维图像的中心与所述线的所述实例的形心之间的距离。

14.根据权利要求11所述的系统，其中所述处理电路被进一步配置为将三阶多项式拟合到所述线的所述实例。

15.根据权利要求11所述的系统，其中所述处理电路被进一步配置为使曲线拟合的长度除以所述曲线拟合的起点和终点之间的最短路径的距离。

16.根据权利要求11所述的系统，其中所述处理电路被进一步配置为基于所述弯曲度与阈值的比较，确定所述车道具有曲率。

17.根据权利要求11所述的系统，其中：

所述线的所述实例包括线的第一实例；

所述线边界包括左侧线边界；并且

所述曲线拟合包括第一曲线拟合，并且其中所述处理电路被进一步配置为：

检测所述二维图像中的线的第二实例；

确定所述线的所述第二实例是所述车道的右侧车道边界；

基于所述线的所述第二实例确定所述右侧车道边界的第二曲线拟合；以及

基于所述第一曲线拟合和所述第二曲线拟合来确定所述车道边界的所述弯曲度。

18.根据权利要求17所述的系统，其中所述处理电路被进一步配置为基于所述第一曲线拟合和所述第二曲线拟合来确定所述车道中即将到来的高度变化。

19.根据权利要求17所述的方法，其中所述处理电路被进一步配置为基于具有向左的曲率的所述第一曲线拟合和具有向右的曲率的所述第二曲线拟合，确定即将到来的高度增加。

20.一种非暂态计算机可读介质，所述非暂态计算机可读介质具有编码在其上的非暂态计算机可读指令，所述非暂态计算机可读指令在由处理器执行时使所述处理器：

使用处理电路检测由车辆捕获的二维图像中的线的实例；

使用所述处理电路确定所述线的所述实例是与所述车辆相关联的车道的车道边界；

使用所述处理电路基于所述线的所述实例来确定所述车道边界的曲线拟合；

使用所述处理电路基于所述曲线拟合来确定所述车道的弯曲度；以及

使用所述处理电路基于所确定的弯曲度来促进车辆动作的执行。