CN113673438A - 一种碰撞预警的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种碰撞预警的方法、装置、电子设备及存储介质，其中，该方法包括：获取当前车辆上设置的摄像装置采集的目标图像；对目标图像进行目标检测；基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在目标图像中的位置的拟合曲线；基于检测到的目标对象在目标图像的位置信息，以及各条车道线的拟合曲线，发出碰撞预警。本公开实施例利用曲线拟合可以确定车道线的拟合曲线，这样，基于目标对象在目标图像中的位置信息以及各条拟合曲线可以确定目标对象与各车道线之间的关系，进而实现在同一车道层面上的车辆碰撞预警，准确度较高。

Description

一种碰撞预警的方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种碰撞预警的方法、装置、电子设备及存储介质。

背景技术

目前车载的高级辅助驾驶系统(Advanced Driver Assistance Systems,ADAS)中，有一项重要的预警功能是前向碰撞预警。前向碰撞预警功能通过感知前方车辆和计算碰撞时间，来避免潜在的碰撞风险。前向碰撞预警能够提升行车安全，尤其是在驾驶员出现分心、疲劳犯困时，能够发挥极大的作用。

相关的车辆前向碰撞预警方法主要基于车辆的相对位置和速度关系计算相对碰撞时间，从而确定是否发出报警。然而，对于复杂或特殊的行车道上的前方车辆往往会出现漏报、误报的情况，例如，对于乡间较窄的行车道，容易将隔壁对向车道的车判断为本车道的车，从而发生误报。

发明内容

本公开实施例至少提供一种碰撞预警的方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种碰撞预警的方法，所述方法包括：

获取当前车辆上设置的摄像装置采集的目标图像；

对所述目标图像进行目标检测；

基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在所述目标图像中的位置的拟合曲线；

基于检测到的目标对象在所述目标图像中的位置信息，以及各条所述车道线的拟合曲线，发出碰撞预警。

采用上述碰撞预警的方法，可以首先对获取的目标图像进行目标检测。这样，利用检测到的属于车道线上的各个像素点的位置信息可以对车道线进行曲线拟合以得到表征车道线的拟合曲线，而后利用检测到的目标对象在目标图像中的位置信息，以及各条车道线的拟合曲线，可以发出碰撞预警。本公开实施例利用曲线拟合可以确定车道线的拟合曲线，这样，基于目标对象在目标图像中的位置信息以及各条拟合曲线可以确定目标对象与各车道线之间的关系，进而实现在同一车道层面上的车辆碰撞预警，准确度较高。

在一种可能的实施方式中，所述基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，发出碰撞预警，包括：

基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，确定所述目标对象是否处于所述当前车辆所在的车道中；

在确定所述目标对象处于所述当前车辆所在的车道的情况下，基于该车道的车道线的拟合曲线，以及所述目标对象在所述目标图像的位置信息，发出碰撞预警。

这里，首先可以确定目标对象是否处于当前车辆所在的车道中，进而基于同一车道的目标对象进行碰撞预警，避免不同车道所存在的误检情况，提升碰撞预警的准确度。

在一种可能的实施方式中，所述基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，确定所述目标对象是否处于所述当前车辆所在的车道中，包括：

基于所述目标对象在所述目标图像的纵向位置，以及所述当前车辆所在车道的两条车道线的拟合曲线，确定所述当前车辆所在车道的两条车道线的拟合曲线上与所述纵向位置对应的横向位置；

若所述目标对象在所述目标图像的横向位置，位于所述两条车道线所分别对应的两个横向位置之间，确定所述目标对象处于所述当前车辆所在的车道中。

这里，考虑到目标对象与当前车辆所在车道线在目标图像中的相对位置关系，可以将目标对象在目标图像中的纵向位置投射到拟合曲线上，从而确定出与车道线对应的两个横向位置。基于目标对象在所述目标图像中的横向位置以及与车道线对应的两个横向位置之间的相对位置关系可以确定出目标对象与两条车道线之间的相对位置关系，从而实现弯道下的碰撞预警。

在一种可能的实施方式中，所述基于该车道的车道线的拟合曲线，以及所述目标对象在所述目标图像的位置信息，发出碰撞预警，包括：

基于所述目标对象在所述目标图像的位置信息，确定该车道的两条车道线的拟合曲线中位于所述当前车辆与所述目标对象之间的目标曲线段；

基于所述两条车道线分别对应的所述目标曲线段，计算所述目标对象与所述当前车辆之间的实际行驶距离；

基于所述实际行驶距离，确定所述目标对象与所述当前车辆之间的预计碰撞时间；

在所述预计碰撞时间位于目标时间之内的情况下，发出碰撞预警。

考虑到实际车道中存在弯道的可能性，这里可以基于拟合曲线确定两个车辆之间的实际行驶距离，进而确定出预计碰撞时间，更为符合实际的应用场景。

在一种可能的实施方式中，按照如下步骤确定属于车道线上的各个像素点：

基于训练好的第一语义分割模型对所述目标图像进行语义分割，确定对应相同的车道线语义标签的多个车道线像素点；其中，不同车道线的车道线语义标签不同；

将对应相同的车道线语义标签的多个车道线像素点，确定为属于同一条车道线上的各个像素点。

这里，针对不同的车道线可以设置不同的车道线语义标签，例如，左车道线语义标签和右车道线语义标签，进而实现不同车道线在语义层面的检测。

在一种可能的实施方式中，按照如下步骤确定属于车道线上的各个像素点：

基于训练好的第二语义分割模型对所述目标图像进行语义分割，确定对应车道线语义标签的多个车道线像素点；其中，各条车道线具有相同的车道线语义标签；

从所述多个车道线像素点中，随机选取预设数量个车道线像素点分别作为车道线的初始聚类中心；

确定所述多个车道线像素点分别与每个初始聚类中心之间的距离，并将所述多个车道线像素点分别划分至距离最小的聚类中心所在的车道线；

确定每条车道线对应的新的聚类中心，并基于所述新的聚类中心，返回执行将所述多个车道线像素点分别划分至距离最小的聚类中心所在的车道线的步骤，直到满足划分收敛条件，得到属于每条车道线上的各个像素点。

这里，首先可以进车道线的无差别检测，然后再基于多个车道线像素点与车道线的聚类中心的距离实现车道线的聚类，进而实现不同车道线在语义层面的检测。

在一种可能的实施方式中，所述基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在所述目标图像中的位置的拟合曲线，包括：

针对一条车道线包括的像素点，构造以所述车道线所包括的像素点在所述目标图像中的纵向位置变量为自变量、以所述车道线所包括的像素点在所述目标图像中的横向位置变量为因变量的拟合曲线方程；

从所述车道线所包括的像素点中选取至少部分像素点，并基于选取出的像素点在所述目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值，采用包含所述方程参数值的拟合曲线方程表征所述车道线在所述目标图像中的位置的拟合曲线。

这里，可以预先构造拟合曲线方程，进而基于当前车道线的像素点在所述目标图像中的位置信息(包括纵向位置和横向位置)解算拟合曲线方程中的方程参数值，从而可以确定出拟合曲线，操作简单。

在一种可能的实施方式中，所述基于选取出的像素点在所述目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值，包括：

基于构造的所述拟合曲线方程、以及选取出的像素点在所述目标图像中的纵向位置，确定所述拟合曲线方程的输出结果；

基于所述拟合曲线方程的输出结果以及选取出的像素点在所述目标图像中的横向位置，确定包含所述拟合曲线方程的方程参数的目标函数；

确定目标函数的值最小的情况下，所述拟合曲线方程的方程参数值。

在一种可能的实施方式中，所述从所述车道线所包括的像素点中选取至少部分像素点，包括：

针对所述车道线的各个像素点中的每个像素点，获取该像素点属于车道线语义标签的语义得分；

按照语义得分由高至低的顺序对所述各个像素点进行排名，得到排名结果，根据所述排名结果选取部分像素点。

为了使得所拟合出的车道线的拟合曲线更为逼近真实的车道线，这里，可以在进行曲线拟合之前，对车道线的各个像素点进行筛选，筛选出的语义得分比较靠前的像素点可以更为准确的表征车道线。

在一种可能的实施方式中，所述基于选取出的像素点在所述目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值，包括：

基于所述目标图像所在图像坐标系与世界坐标系之间的第一转换关系，以及鸟瞰图所在图像坐标系与世界坐标系之间的第二转换关系，将选取出的像素点投射到所述鸟瞰图所在图像坐标系，得到该像素点在所述鸟瞰图中的纵向位置和横向位置；

基于选取出的像素点在所述鸟瞰图中的纵向位置和横向位置，确定构造的拟合曲线方程的方程参数值。

为了便于进行曲线拟合，可以基于目标图像所在图像坐标系以及鸟瞰图所在图像坐标系之间的转化关系，得到像素点在鸟瞰图中的纵向位置和横向位置进而确定拟合曲线方程的方程参数值。由于在鸟瞰图下消除了视角的影响，因而使得曲线拟合更易操作。

第二方面，本公开实施例还提供了一种碰撞预警的装置，所述装置包括：

获取模块，用于获取当前车辆上设置的摄像装置采集的目标图像；

检测模块，用于对所述目标图像进行目标检测；

拟合模块，用于基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在所述目标图像中的位置的拟合曲线；

预警模块，用于基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，发出碰撞预警。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的碰撞预警的方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的碰撞预警的方法的步骤。

关于上述碰撞预警的装置、电子设备、及计算机可读存储介质的效果描述参见上述碰撞预警的方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种碰撞预警的方法的流程图；

图2示出了本公开实施例所提供的一种碰撞预警的方法的应用示意图；

图3示出了本公开实施例所提供的一种碰撞预警的装置的示意图；

图4示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，相关的车辆前向碰撞预警方法主要基于车辆的相对位置和速度关系计算相对碰撞时间，从而确定是否发出报警。然而，对于复杂或特殊的行车道上的前方车辆往往会出现漏报、误报的情况，例如，对于乡间较窄的行车道，容易将隔壁对向车道的车判断为本车道的车，从而发生误报。

基于上述研究，本公开提供了一种碰撞预警的方法、装置、电子设备及存储介质，检测的准确度较高。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种碰撞预警的方法进行详细介绍，本公开实施例所提供的碰撞预警的方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该碰撞预警的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的碰撞预警的方法的流程图，方法包括步骤S101～S104，其中：

S101：获取当前车辆上设置的摄像装置采集的目标图像；

S102：对目标图像进行目标检测；

S103：基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在目标图像中的位置的拟合曲线；

S104：基于检测到的目标对象在目标图像的位置信息，以及各条车道线的拟合曲线，发出碰撞预警。

为了便于理解本公开实施例提供的碰撞预警的方法，接下来首先对该方法的应用场景进行简单说明。上述碰撞预警的方法主要可以应用于高级辅助驾驶系统(AdvancedDriver Assistance Systems,ADAS)中，通过前向碰撞预警来避免潜在的碰撞风险，特别是在驾驶员出现分心、疲劳犯困时，能够发挥极大的作用。

相关技术中提供的基于车辆的相对位置和速度关系计算相对碰撞时间的碰撞预警方案中，对于复杂或特殊的行车道上的前方车辆往往会出现漏报、误报的情况，例如，对于较大的弯道，或者其他的非直线车道线的场景而言，根据车辆的相对位置判断出的前车并不是本车行驶路径上真正的前车，会出现漏报、误报；再如，对于乡间较窄的行车道，在道路过窄时，容易将隔壁对向车道的车判断为本车道的车，从而发生误报。

正是为了解决上述问题，本公开实施例才提供了一种基于车道线的曲线拟合方案来实现碰撞预警，准确度较高。

其中，本公开实施例中的目标图像可以是当前车辆上设置的摄像装置采集的图像。为了更好的实现前向碰撞预警，这里的摄像装置可以是面向前方设置的。这样，在车辆行进的过程中，可以随时捕捉前方车辆的图像信息，进而实现前向碰撞预警。

对于获取到的目标图像，本公开实施例一方面可以进行车道线检测，另一方面可以进行车道线上目标的检测。针对车道线检测而言，这里可以是基于语义分割实现的，例如，通过训练好的语义分割模型可以确定属于车道线的各个像素点进而通过像素点组合来得到检测出的车道线。针对车道线上目标的检测而言，这里可以是针对行人目标对象的检测，还可以是针对车辆目标对象的检测，例如，通过图像检测的方式确定车辆的属性信息，进而确定车辆在目标图像中的位置，再如，通过训练好的车辆检测模型直接从目标图像中识别出目标车辆，接下来多以目标车辆作为目标对象进行示例说明。

这里，在进行车辆碰撞预警之前，可以对车道线进行曲线拟合，进而得到表征车道线的拟合曲线。

其中，本公开实施例中可以基于属于车道线上的各个像素点的位置信息实现曲线拟合。这里实现曲线拟合的过程可以是基于对构造的拟合曲线方程的方程参数求解过程，在求解出拟合曲线方程的方程参数值的情况下，这一拟合曲线方程所表征的拟合曲线也就确定了。

利用拟合曲线以及目标对象在目标图像的位置信息，可以确定目标对象与各车道线之间的关系，进而可以实现同一车道线内的前向车辆碰撞预警。

考虑到车道线检测对于后续实现车道线的曲线拟合的关键作用，接下来可以分以下两个方面分别阐述检测车道线的过程。

第一方面：本公开实施例可以实现不同车道线的区分检测，具体可以通过如下步骤来实现：

步骤一、基于训练好的第一语义分割模型对目标图像进行语义分割，确定对应相同的车道线语义标签的多个车道线像素点；其中，不同车道线的车道线语义标签不同；

步骤二、将对应相同的车道线语义标签的多个车道线像素点，确定为属于同一条车道线上的各个像素点。

在训练第一语义分割模型的过程中，可以针对不同的车道线设置不同的车道线语义标签，例如，针对左车道线可以设置为标签1，针对右车道线可以设置为标签2，进而可以实现不同车道线的检测。

其中，上述第一语义分割模型可以是基于像素级别的语义标注，这样，在利用第一语义分割模型对目标图像进行语义分割时，可以确定对应相同的车道线语义标签的多个车道线像素点，将对应相同的车道线语义标签的多个车道线像素点进行组合，得到检测出的一条车道线，例如，将对应属于标签1的多个车道线像素点进行组合，可以检测出左车道线。

第二方面：本公开实施例可以先进行车道线的统一检测，再基于聚类实现不同车道线的区分检测。具体可以通过如下步骤来实现：

步骤一、基于训练好的第二语义分割模型对目标图像进行语义分割，确定对应车道线语义标签的多个车道线像素点；其中，各条车道线具有相同的车道线语义标签；

步骤二、从多个车道线像素点中，随机选取预设数量个车道线像素点分别作为车道线的初始聚类中心；

步骤三、确定多个车道线像素点分别与每个初始聚类中心之间的距离，并将多个车道线像素点分别划分至距离最小的聚类中心所在的车道线；

步骤四、确定每条车道线对应的新的聚类中心，并基于新的聚类中心，返回执行将多个车道线像素点分别划分至距离最小的聚类中心所在的车道线的步骤，直到满足划分收敛条件，得到属于每条车道线上的各个像素点。

这里，在训练第二语义分割模型的过程中，可以针对不同的车道线设置相同的车道线语义标签，例如，针对左车道线和右车道线均可以设置为标签1。

其中，上述第二语义分割模型也可以是基于像素级别的语义标注，这样，在利用第二语义分割模型对目标图像进行语义分割时，可以确定对应车道线语义标签的多个车道线像素点，也即可以从目标图像中查找出指向车道线的像素点。

这里，可以基于像素点聚类实现车道线的划分。首先可以选取车道线的初始聚类中心，然后可以确定多个车道线像素点分别与每个初始聚类中心之间的距离，并基于距离最小进行车道线的一次聚合。基于当前次聚合的各个车道线像素点可以确定新的聚类中心，进而在此基于距离最小进行下一次聚合，以此类推，直至得到划分后的各条车道线。

在具体应用中，可以采用mean-shift等聚类算法来实现上述聚类过程。这里的划分收敛条件可以是聚类次数达到预设次数，例如15次，还可以是聚类中心不再发生变化或变化很小，还可以是其它条件，这里不做具体的限制。

本公开实施例提供的碰撞预警的方法可以基于属于车道线上的各个像素点的位置信息，对车道线进行曲线拟合，得到表征车道线的拟合曲线，具体包括如下步骤：

步骤一、针对一条车道线包括的像素点，构造以车道线所包括的像素点在目标图像中的纵向位置变量为自变量、以车道线所包括的像素点在目标图像中的横向位置变量为因变量的拟合曲线方程；

步骤二、从车道线所包括的像素点中选取至少部分像素点，并基于选取出的像素点在目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值，采用包含方程参数值的拟合曲线方程表征车道线在目标图像中的位置的拟合曲线。

考虑到拟合曲线与拟合曲线方程之间的对应关系，这里可以预先构造拟合曲线方程，进而通过已知数据来求解拟合曲线方程的方程参数值。通过求解出的方程参数值可以使得对应的拟合曲线方程来表征拟合曲线。

这里的拟合曲线方程表征的可以是车道线所包括的像素点在目标图像中的纵向位置变量与车道线所包括的像素点在目标图像中的横向位置变量之间的对应关系。例如，可以按照以下方程进行构造：

x＝ay³+by²+cy+d

其中，{a,b,c,d}可以表征的是拟合曲线方程的方程参数，y可以表征的是拟合曲线方程的自变量，x可以表征的是拟合曲线方程的因变量。

这里，将从车道线的各个像素点中选取的部分像素点在目标图像中的纵向位置和横向位置作为拟合曲线方程的观测数据代入至上述方程，可以求解出{a,b,c,d}的值，也即可以确定出拟合曲线方程的方程参数值，进而得到带有方程参数值的拟合曲线方程，该拟合曲线方程可以表示对应的拟合曲线。

本公开实施例中，求解方程参数值的过程可以是针对构造出的包含拟合曲线方程的方程参数的目标函数求解最小值的过程，具体通过如下步骤来实现：

步骤一、基于构造的拟合曲线方程、以及选取出的像素点在目标图像中的纵向位置，确定拟合曲线方程的输出结果；

步骤二、基于拟合曲线方程的输出结果以及选取出的像素点在目标图像中的横向位置，确定包含拟合曲线方程的方程参数的目标函数；

步骤三、确定目标函数的值最小的情况下，拟合曲线方程的方程参数值。

这里，可以将选取出的像素点在目标图像中的纵向位置代入至构造出的拟合曲线方程中，得到的输出结果指向的是像素点在目标图像中的输出横向位置，这里，结合选取出的像素点在目标图像中的横向位置(即真实横向位置)，确定两个横向位置之间的差值，差值越小说明拟合效果越佳。

本公开实施例中，通过求取目标函数的最小值，得到拟合曲线方程的方程参数值，该方程参数值可以是指向最下横向位置差的参数值。

考虑到车道线所对应像素点的数量巨大，直接参与到拟合运算过程将耗费大量的计算资源，因而，本公开实施例提供了一种针对车道线的像素点进行筛选的方案，具体可以通过如下步骤来实现：

步骤一、针对车道线的各个像素点中的每个像素点，获取该像素点属于车道线语义标签的语义得分；

步骤二、按照语义得分由高至低的顺序对各个像素点进行排名，得到排名结果，根据排名结果选取部分像素点。

这里，对于语义得分比较高的像素点往往指向的是车道线居中、像素点的清晰度高等高质量的像素点，因而，这里，可以基于语义得分的排名结果进行像素带的筛选，进而再确保拟合的曲线足够完整的情况下，还可以降低拟合的计算成本。

这里，为了消除视角的影响，在进行曲线拟合之前，可以先将像素点在目标图像中的纵向位置和横向位置转换到鸟瞰图视角下。具体包括如下步骤：

步骤一、基于目标图像所在图像坐标系与世界坐标系之间的第一转换关系，以及鸟瞰图所在图像坐标系与世界坐标系之间的第二转换关系，将选取出的像素点投射到鸟瞰图所在图像坐标系，得到该像素点在鸟瞰图中的纵向位置和横向位置；

步骤二、基于选取出的像素点在鸟瞰图中的纵向位置和横向位置，确定构造的拟合曲线方程的方程参数值。

在进行投射之后，原本会在二维的目标图像地平线上汇聚的直行车道线会变成垂直且平行的，尽管弯道不会是垂直的，但在鸟瞰图下也会变得容易拟合。

本公开实施例提供的碰撞预警的方法，在按照上述方法拟合出各条车道线的拟合曲线的情况下，可以首先基于检测到的目标对象在目标图像的位置信息，以及各条车道线的拟合曲线，确定目标对象是否处于当前车辆所在的车道中，一旦确定出目标对象与当前车辆同处一个车道，可以基于该车道的车道线的拟合曲线，以及目标对象在目标图像的位置信息，发出碰撞预警。

本公开实施例可以按照如下步骤确定目标对象是否处于当前车辆所在的车道中：

步骤一、基于目标对象在目标图像的纵向位置，以及当前车辆所在车道的两条车道线的拟合曲线，确定当前车辆所在车道的两条车道线的拟合曲线上与纵向位置对应的横向位置；

步骤二、若目标对象在目标图像中的横向位置，位于两条车道线所分别对应的两个横向位置之间，确定目标对象处于当前车辆所在的车道中。

这里，首先可以基于目标对象在目标图像中的纵向位置，以及当前车辆所在车道的两条车道线的拟合曲线，确定与纵向位置对应的两条车道线的拟合曲线上的横向位置。本公开实施例中，可以将纵向位置代入到两条车道线的拟合曲线方程中，得到两条车道线在y处的横向位置，x_l和x_r。如果目标对象在目标图像中的横向位置x位于两条车道线所分别对应的两个横向位置之间，也即，x_l<x<x_r，则目标对象位于当前车辆所在车道，否则目标对象位于其他车道。

本公开实施例中，对于位于当前车辆所在车道的目标对象而言，可以实现针对目标对象的碰撞预警。具体可以通过如下步骤来实现：

步骤一、基于目标对象在目标图像的位置信息，确定该车道的两条车道线的拟合曲线中位于当前车辆与目标对象之间的目标曲线段；

步骤二、基于两条车道线分别对应的目标曲线段，计算目标对象与当前车辆之间的实际行驶距离；

步骤三、基于实际行驶距离，确定目标对象与当前车辆之间的预计碰撞时间；

在预计碰撞时间位于目标时间之内的情况下，发出碰撞预警。

这里，首先可以从当前车辆所在车道的两条车道线的拟合曲线中确定位于当前车辆与目标车辆之间的目标曲线段，如图2所示为示例的一个目标曲线段。基于这一目标曲线段可以确定两车之间的实际行驶距离，进而结合当前车辆的行驶速度可以确定预计碰撞时间。

需要说明的是，这里的目标曲线段可以选取的是两条拟合曲线中所确定的较短的一条目标曲线段，更进一步的确保碰撞预警的及时性。

这里，在确定出预计碰撞时间较短，例如小于2分钟的情况下，可以发出碰撞警报信息。这里的碰撞警报信息可以是以指示灯闪烁的方式来实现碰撞警报，还可以是语义的方式来实现，本公开实施例对此不做具体的限制。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与碰撞预警的方法对应的碰撞预警的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述碰撞预警的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种碰撞预警的装置的示意图，装置包括：获取模块301、检测模块302、拟合模块303和预警模块304；其中，

获取模块301，用于获取当前车辆上设置的摄像装置采集的目标图像；

检测模块302，用于对目标图像进行目标检测；

拟合模块303，用于基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在目标图像中的位置的拟合曲线；

预警模块304，用于基于检测到的目标对象在目标图像的位置信息，以及各条车道线的拟合曲线，发出碰撞预警。

采用上述碰撞预警的装置，可以首先对获取的目标图像进行目标检测。这样，利用检测到的属于车道线上的各个像素点的位置信息可以对车道线进行曲线拟合以得到表征车道线的拟合曲线，而后利用检测到的目标对象在目标图像的位置信息，以及各条车道线的拟合曲线，可以发出配碰撞预警。本公开实施例利用曲线拟合可以确定车道线的拟合曲线，基于目标对象在目标图像中的位置信息以及各条拟合曲线可以确定目标对象与各车道线之间的关系，进而实现在同一车道层面上的车辆碰撞预警，准确度较高。

在一种可能的实施方式中，预警模块304，用于按照以下步骤基于检测到的目标对象在目标图像的位置信息，以及各条车道线的拟合曲线，发出碰撞预警：

基于检测到的目标对象在目标图像的位置信息，以及各条车道线的拟合曲线，确定目标对象是否处于当前车辆所在的车道中；

在确定目标对象处于当前车辆所在的车道的情况下，基于该车道的车道线的拟合曲线，以及目标对象在目标图像的位置信息，发出碰撞预警。

在一种可能的实施方式中，预警模块304，用于按照以下步骤基于检测到的目标对象在目标图像的位置信息，以及各条车道线的拟合曲线，确定目标对象是否处于当前车辆所在的车道中：

基于目标对象在目标图像的纵向位置，以及当前车辆所在车道的两条车道线的拟合曲线，确定当前车辆所在车道的两条车道线的拟合曲线上与纵向位置对应的横向位置；

若目标对象在目标图像的横向位置，位于两条车道线所分别对应的两个横向位置之间，确定目标对象处于当前车辆所在的车道中。

在一种可能的实施方式中，预警模块304，用于按照以下步骤基于该车道的车道线的拟合曲线，以及目标对象在目标图像的位置信息，发出碰撞预警：

基于目标对象在目标图像的位置信息，确定该车道的两条车道线的拟合曲线中位于当前车辆与目标对象之间的目标曲线段；

基于两条车道线分别对应的目标曲线段，计算目标对象与当前车辆之间的实际行驶距离；

基于实际行驶距离，确定目标对象与当前车辆之间的预计碰撞时间；

在预计碰撞时间位于目标时间之内的情况下，发出碰撞预警。

在一种可能的实施方式中，检测模块302，用于按照如下步骤确定属于车道线上的各个像素点：

基于训练好的第一语义分割模型对目标图像进行语义分割，确定对应相同的车道线语义标签的多个车道线像素点；其中，不同车道线的车道线语义标签不同；

将对应相同的车道线语义标签的多个车道线像素点，确定为属于同一条车道线上的各个像素点。

在一种可能的实施方式中，检测模块302，按照如下步骤确定属于车道线上的各个像素点：

基于训练好的第二语义分割模型对目标图像进行语义分割，确定对应车道线语义标签的多个车道线像素点；其中，各条车道线具有相同的车道线语义标签；

从多个车道线像素点中，随机选取预设数量个车道线像素点分别作为车道线的初始聚类中心；

确定多个车道线像素点分别与每个初始聚类中心之间的距离，并将多个车道线像素点分别划分至距离最小的聚类中心所在的车道线；

确定每条车道线对应的新的聚类中心，并基于新的聚类中心，返回执行将多个车道线像素点分别划分至距离最小的聚类中心所在的车道线的步骤，直到满足划分收敛条件，得到属于每条车道线上的各个像素点。

在一种可能的实施方式中，拟合模块303，用于基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在目标图像中的位置的拟合曲线：

针对一条车道线包括的像素点，构造以车道线所包括的像素点在目标图像中的纵向位置变量为自变量、以车道线所包括的像素点在目标图像中的横向位置变量为因变量的拟合曲线方程；

从车道线所包括的像素点中选取至少部分像素点，并基于选取出的像素点在目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值，采用包含方程参数值的拟合曲线方程表征车道线在目标图像中的位置的拟合曲线。

在一种可能的实施方式中，拟合模块303，用于按照以下步骤基于选取出的像素点在目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值：

基于构造的拟合曲线方程、以及选取出的像素点在目标图像中的纵向位置，确定拟合曲线方程的输出结果；

基于拟合曲线方程的输出结果以及选取出的像素点在目标图像中的横向位置，确定包含拟合曲线方程的方程参数的目标函数；

确定目标函数的值最小的情况下，拟合曲线方程的方程参数值。

在一种可能的实施方式中，拟合模块303，用于按照以下步骤从车道线所包括的像素点中选取部分像素点：

针对车道线的各个像素点中的每个像素点，获取该像素点属于车道线语义标签的语义得分；

按照语义得分由高至低的顺序对各个像素点进行排名，得到排名结果，根据排名结果选取部分像素点。

在一种可能的实施方式中，拟合模块303，用于按照以下步骤基于选取出的像素点在目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值：

基于目标图像所在图像坐标系与世界坐标系之间的第一转换关系，以及鸟瞰图所在图像坐标系与世界坐标系之间的第二转换关系，将选取出的像素点投射到鸟瞰图所在图像坐标系，得到该像素点在鸟瞰图中的纵向位置和横向位置；

基于选取出的像素点在鸟瞰图中的纵向位置和横向位置，确定构造的拟合曲线方程的方程参数值。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的装置中获取模块301、检测模块302、拟合模块303、预警模块304对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：

获取当前车辆上设置的摄像装置采集的目标图像；

对目标图像进行目标检测；

基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在目标图像中的位置的拟合曲线；

基于检测到的目标对象在目标图像中的位置信息，以及各条车道线的拟合曲线，发出碰撞预警。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的碰撞预警的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的碰撞预警的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种碰撞预警的方法，其特征在于，所述方法包括：

获取当前车辆上设置的摄像装置采集的目标图像；

对所述目标图像进行目标检测；

基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在所述目标图像中的位置的拟合曲线；

基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，发出碰撞预警。

2.根据权利要求1所述的方法，其特征在于，所述基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，发出碰撞预警，包括：

基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，确定所述目标对象是否处于所述当前车辆所在的车道中；

在确定所述目标对象处于所述当前车辆所在的车道的情况下，基于该车道的车道线的拟合曲线，以及所述目标对象在所述目标图像的位置信息，发出碰撞预警。

3.根据权利要求2所述的方法，其特征在于，所述基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，确定所述目标对象是否处于所述当前车辆所在的车道中，包括：

基于所述目标对象在所述目标图像的纵向位置，以及所述当前车辆所在车道的两条车道线的拟合曲线，确定所述当前车辆所在车道的两条车道线的拟合曲线上与所述纵向位置对应的横向位置；

若所述目标对象在所述目标图像的横向位置，位于所述两条车道线所分别对应的两个横向位置之间，确定所述目标对象处于所述当前车辆所在的车道中。

4.根据权利要2或3所述的方法，其特征在于，所述基于该车道的车道线的拟合曲线，以及所述目标对象在所述目标图像的位置信息，发出碰撞预警，包括：

基于所述目标对象在所述目标图像的位置信息，确定该车道的两条车道线的拟合曲线中位于所述当前车辆与所述目标对象之间的目标曲线段；

基于所述两条车道线分别对应的所述目标曲线段，计算所述目标对象与所述当前车辆之间的实际行驶距离；

基于所述实际行驶距离，确定所述目标对象与所述当前车辆之间的预计碰撞时间；

在所述预计碰撞时间位于目标时间之内的情况下，发出碰撞预警。

5.根据权利要求1-4任一所述的方法，其特征在于，按照如下步骤确定属于车道线上的各个像素点：

基于训练好的第一语义分割模型对所述目标图像进行语义分割，确定对应相同的车道线语义标签的多个车道线像素点；其中，不同车道线的车道线语义标签不同；

将对应相同的车道线语义标签的多个车道线像素点，确定为属于同一条车道线上的各个像素点。

6.根据权利要求1-4任一所述的方法，其特征在于，按照如下步骤确定属于车道线上的各个像素点：

基于训练好的第二语义分割模型对所述目标图像进行语义分割，确定对应车道线语义标签的多个车道线像素点；其中，各条车道线具有相同的车道线语义标签；

从所述多个车道线像素点中，随机选取预设数量个车道线像素点分别作为车道线的初始聚类中心；

确定所述多个车道线像素点分别与每个初始聚类中心之间的距离，并将所述多个车道线像素点分别划分至距离最小的聚类中心所在的车道线；

确定每条车道线对应的新的聚类中心，并基于所述新的聚类中心，返回执行将所述多个车道线像素点分别划分至距离最小的聚类中心所在的车道线的步骤，直到满足划分收敛条件，得到属于每条车道线上的各个像素点。

7.根据权利要求1-6任一所述的方法，其特征在于，所述基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在所述目标图像中的位置的拟合曲线，包括：

针对一条车道线包括的像素点，构造以所述车道线所包括的像素点在所述目标图像中的纵向位置变量为自变量、以所述车道线所包括的像素点在所述目标图像中的横向位置变量为因变量的拟合曲线方程；

从所述车道线所包括的像素点中选取至少部分像素点，并基于选取出的像素点在所述目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值，采用包含所述方程参数值的拟合曲线方程表征所述车道线在所述目标图像中的位置的拟合曲线。

8.根据权利要求7所述的方法，其特征在于，所述基于选取出的像素点在所述目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值，包括：

基于构造的所述拟合曲线方程、以及选取出的像素点在所述目标图像中的纵向位置，确定所述拟合曲线方程的输出结果；

基于所述拟合曲线方程的输出结果以及选取出的像素点在所述目标图像中的横向位置，确定包含所述拟合曲线方程的方程参数的目标函数；

确定目标函数的值最小的情况下，所述拟合曲线方程的方程参数值。

9.根据权利要求7或8所述的方法，其特征在于，所述从所述车道线所包括的像素点中选取至少部分像素点，包括：

针对所述车道线的各个像素点中的每个像素点，获取该像素点属于车道线语义标签的语义得分；

按照语义得分由高至低的顺序对所述各个像素点进行排名，得到排名结果，根据所述排名结果选取部分像素点。

10.根据权利要求7-9任一所述的方法，其特征在于，所述基于选取出的像素点在所述目标图像中的纵向位置和横向位置，确定构造的拟合曲线方程中的方程参数值，包括：

基于所述目标图像所在图像坐标系与世界坐标系之间的第一转换关系，以及鸟瞰图所在图像坐标系与世界坐标系之间的第二转换关系，将选取出的像素点投射到所述鸟瞰图所在图像坐标系，得到该像素点在所述鸟瞰图中的纵向位置和横向位置；

基于选取出的像素点在所述鸟瞰图中的纵向位置和横向位置，确定构造的拟合曲线方程的方程参数值。

11.一种碰撞预警的装置，其特征在于，所述装置包括：

获取模块，用于获取当前车辆上设置的摄像装置采集的目标图像；

检测模块，用于对所述目标图像进行目标检测；

拟合模块，用于基于检测到的属于车道线上的各个像素点的位置信息，对目标图像中的车道线进行曲线拟合，得到表征各条车道线在所述目标图像中的位置的拟合曲线；

预警模块，用于基于检测到的目标对象在所述目标图像的位置信息，以及各条所述车道线的拟合曲线，发出碰撞预警。

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的碰撞预警的方法的步骤。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的碰撞预警的方法的步骤。

Images