CN113119960B

CN113119960B - 路滑状况下提供车辆安全距离和速度警示的系统和方法

Info

Publication number: CN113119960B
Application number: CN202011561593.0A
Authority: CN
Inventors: S·葛文德; S·姆皮里西蒂; S·罗伊乔杜里; 赵敏茗
Original assignee: Volvo Car Corp
Current assignee: Volvo Car Corp
Priority date: 2019-12-27
Filing date: 2020-12-25
Publication date: 2024-02-06
Anticipated expiration: 2040-12-25
Also published as: EP3842307A1; CN113119960A

Abstract

考虑后一车辆处的检测到的道路摩擦和后一车辆预测的预测道路摩擦的车辆警示和控制系统和方法。后一车辆轮胎与路面之间的检测到的道路摩擦可使用各种方法来评估并用于计算后一车辆与前一车辆之间的临界安全距离与后一车辆的临界安全速度。后一车辆前方的预测的道路摩擦也可以使用各种方法(提供lidar、摄像机和基于云的示例)来评估并用于计算后一车辆与前一车辆之间的警告安全距离与后一车辆的警告安全速度。这些功能也可应用于车辆/静止物体警告和响应场景。

Description

路滑状况下提供车辆安全距离和速度警示的系统和方法

相关申请的交叉引用

本公开是2018年5月3日递交的名称为“METHODS AND SYSTEMS FOR GENERATINGAND USING A ROAD FRICTION ESTIMATE BASED ON CAMERA IMAGE SIGNAL PROCESSING”的共同未决的美国专利申请No.15/969,973；2019年8月15日递交的名称为“VEHICLE SYSTEMSAND METHODS UTILIZING LIDAR DATA FOR ROAD CONDITION ESTIMATION”的美国专利申请No.16/541,264的部分继续申请，这两份专利申请的内容以全文引用的方式并入本文。

技术领域

本公开总体上涉及机动车领域。更具体地，本公开涉及一种用于在路滑(slipperyroad)状况下提供车辆安全距离和速度警示的系统和方法。

背景技术

各机动车制造商当前正在开发和提供高级驾驶员辅助系统(ADAS)和自主驾驶(AD)功能，诸如安全距离和速度警示、自适应巡航控制(ACC)、和前向碰撞警告和响应。这些主动安全特征使用不同的传感器形态(诸如雷达、激光探测与测量系统(lidar)和摄像机)来识别和跟踪静态障碍物和活动物体。只要路面状况良好，主动安全特征是起作用的和有效的。但是，一旦路面状况受到大雨、雪等的损害，主动安全特征就变得基本上无效，因为这些主动安全特征通常不考虑极端天气条件和路面状况。

因此，本领域仍然需要一种主动安全系统和方法，其是稳健的并且将对路面状况的考虑结合到安全距离和速度警示、ACC和/或前向碰撞警告和响应方案中，向驾驶员提供增强的警告信息和/或向车辆提供主动控制。

发明内容

当前可用的各种驾驶员警告信息和ACC与自动驾驶辅助(PA)功能促使驾驶员或者车辆维持后一车辆与前一车辆之间的安全距离和速度，例如通过在后一车辆处计算前一车辆的速度、后一车辆的速度、和后一车辆与前一车辆之间的距离。此外，使用一个或多个车载传感器和/或摄像机、以及车载和/或基于云的处理系统来执行这样的计算。本公开通过利用诸如在后一车辆处检测到的道路摩擦和后一车辆预测的道路摩擦的信息来补充这些计算。预测的道路摩擦可以以本地观测和/或从其他车辆获得的基于云的观测为基础。后一车辆轮胎与路面之间的检测到的道路摩擦可以使用多种方法来评估，并且用于计算后一车辆与前一车辆之间的临界安全距离以及后一车辆的临界安全速度。后一车辆前方的预测的道路摩擦还可以使用各种方法(提供lidar、摄像机和基于云的示例)来评估，并且用于计算后一车辆与前一车辆之间的警告安全距离以及后一车辆的警告安全速度。这些功能当然也可以应用于车辆/静止物体警告和响应场景等。

因此，虽然大多数常规系统和方法依赖于用于在检测到的场景中启动车辆油门和制动控制的纵向速度控制机构，本公开利用机器学习(ML)模型来检测车辆下方的道路摩擦或路面状况，并且预测车辆前方的道路摩擦或路面状况，从而改进与其他车辆、障碍物等相关的车辆警告和响应系统。结果是提高了确定的临界和警告安全距离和速度的准确性和置信度。

在一个示例性实施例中，本公开提供了一种用于基于检测到的和预测的摩擦信息来确定和利用车辆安全距离和速度信息的系统，所述系统包括：道路状况模块，其配置为接收并用公式表示(formulate)来自一个或多个车载车辆传感器的与车辆附近的检测到的道路摩擦有关的所检测到的道路摩擦数据以及来自一个或多个视觉/感知车辆传感器的与车辆前方的预测的道路摩擦有关的所预测的道路摩擦数据；安全距离/速度模块，其配置为考虑所检测到的道路摩擦数据和所预测的道路摩擦数据来确定车辆相对于另一车辆或物体的安全距离、安全速度、警告距离和警告速度中的一个或多个；以及以下中的一个或多个：(1)驾驶员警示系统，其配置为向车辆的驾驶员呈现安全距离、安全速度、警告距离和警告速度中的一个或多个，或者如果已经违反安全距离或警告距离或者已经超过安全速度或警告速度，则警示驾驶员；以及(2)车辆控制系统，其配置为基于安全距离、安全速度、警告距离和警告速度中的一个或多个来改变车辆的自动操作。所述一个或多个车载车辆传感器包括配置为检测车轮/道路摩擦的传感器。所述一个或多个视觉/感知车辆传感器包括摄像机传感器、雷达传感器和lidar传感器中的一个或多个。所述安全距离使用以下等式来确定：

D_s＝v²/(2*g*f(μ_d,μ_p))，

式中，v是车辆速度，g是重力常数，μ_d是检测到的道路摩擦，且μ_p是预测的道路摩擦，结合基于μ_d和μ_p的确定的函数(f)。所述安全速度是使车辆能在所确定的安全距离内停止的最大速度。所述警告距离使用以下等式来确定：

D_w＝v²/(2*a*f(μ_p))，

式中，v是车辆速度，a是车辆的最大加速度/减速度，且μ_p是预测的道路摩擦，结合了基于μ_p的确定的函数(f)。所述警告速度是在给定裕度内接近安全速度的选定速度。所述车辆控制系统配置为基于所述安全距离、所述安全速度、所述警告距离和所述警告速度中的一个或多个来改变车辆的自适应巡航控制系统、自动驾驶系统、避撞系统、和自主驾驶系统中的一个或多个的自动操作。所述道路状况模块还配置为接收并用公式表示从另一车辆和云网络中的一个或多个获得的道路摩擦数据。

在另一示例性实施例中，本公开提供了一种用于基于检测到的和预测的摩擦信息来确定和利用车辆安全距离和速度信息的方法，所述方法包括：接收并用公式表示来自一个或多个车载车辆传感器的与车辆附近的检测到的道路摩擦有关的所检测到的道路摩擦数据以及来自一个或多个视觉/感知车辆传感器的与车辆前方的预测道路摩擦相关的预测的道路摩擦数据；考虑所述检测到的道路摩擦数据和所述预测的道路摩擦数据来确定车辆相对于另一车辆或物体的安全距离、安全速度、警告距离和警告速度中的一个或多个；以及以下中的一个或多个：(1)向车辆的驾驶员呈现所述安全距离、所述安全速度、所述警告距离和所述警告速度中的一个或多个，或者如果已经违反所述安全距离或所述警告距离或者已经超过所述安全速度或所述警告速度，则警示驾驶员，以及(2)基于所述安全距离、所述安全速度、所述警告距离、和所述警告速度中的一个或多个来改变车辆的自动操作。所述一个或多个车载车辆传感器包括配置为检测车轮/道路摩擦的传感器。所述一个或多个视觉/感知车辆传感器包括摄像机传感器、雷达传感器和lidar传感器中的一个或多个。所述安全距离使用以下等式来确定：

D_s＝v²/(2*g*f(μ_d,μ_p))，

式中，v是车辆速度，g是重力常数，μ_d是检测到的道路摩擦，且μ_p是预测的道路摩擦，结合了基于μ_d和μ_p的确定的函数(f)。所述安全速度是使车辆能在所确定的安全距离内停止的最大速度。所述警告距离使用以下等式来确定：

D_w＝v²/(2*a*f(μ_p))，

式中，v是车辆速度，a是车辆的最大加速度/减速度，和μ_p是预测的道路摩擦，结合了基于μ_p的确定的函数(f)。所述警告速度是在给定裕度内接近安全速度的选定速度。该方法还包括基于所述安全距离、所述安全速度、所述警告距离和所述警告速度中的一个或多个来改变车辆的自适应巡航控制系统、自动驾驶系统、避撞系统和自主驾驶系统中的一个或多个的自动操作。该方法还包括接收并用公式表示从另一车辆和云网络中的一个或多个获得的道路摩擦数据。

在另一示例性实施例中，本公开提供了一种非暂时性计算机可读介质，其包括存储在存储器中并由处理器执行的指令，所述指令用于基于检测到的和预测的摩擦信息来确定和利用车辆安全距离和速度信息，所述指令在被执行时执行的步骤包括：接收并用公式表示来自一个或多个车载车辆传感器的与车辆附近的检测到的道路摩擦有关的所检测到的道路摩擦数据，和接收并用公式表示来自一个或多个视觉/感知车辆传感器的与车辆前方的预测道路摩擦有关的预测的道路摩擦数据；考虑所述检测到的道路摩擦数据和所述预测的道路摩擦数据来确定车辆相对于另一车辆或物体的安全距离、安全速度、警告距离和警告速度中的一个或多个；以及以下中的一个或多个：(1)向车辆的驾驶员呈现安全距离、安全速度、警告距离、和警告速度中的一个或多个，或者如果已经违反安全距离或警告距离或者已经超过安全速度或警告速度，则警示驾驶员，以及(2)基于安全距离、安全速度、警告距离、和警告速度中的一个或多个来改变车辆的自动操作。所述步骤还包括：基于所述安全距离、所述安全速度、所述警告距离、和所述警告速度中的一个或多个来改变车辆的所述自适应巡航控制系统、所述自动驾驶系统、所述避撞系统和所述自主驾驶系统中的一个或多个的自动操作；以及接收并用公式表示从另一车辆和云网络中的一个或多个获得的道路摩擦数据。

附图说明

参考各个附图来说明和描述本公开，其中相同的附图标记用于表示相同的系统部件/方法步骤，视情况而定，并且其中：

图1是示出由本公开的系统和方法考虑的各种距离和道路摩擦的示意图；

图2是示出在闭环、ACC情形下实施本公开的系统和方法的一个示例性实施例的示意图；

图3是示出在开环、ACC和避撞情形下实施本公开的系统和方法的另一示例性实施例的示意图；

图4是示出本公开的系统和方法的另一示例性实施例的示意图；

图5是示出了常规的和提出的用于分别在不考虑路面状况和考虑路面状况的情况下警示驾驶员违反所确定的安全距离的系统和流程的示意图；和

图6是示出了所提出的用于在考虑路面状况的情况下警示驾驶员违反所确定的安全速度的系统和流程的示意图。

具体实施方式

再次，当前可用的各种驾驶员警告信息和ACC与PA功能例如通过在后一车辆处计算前一车辆的速度、后一车辆的速度、和后一车辆与前一车辆之间的距离，促使驾驶员或车辆维持后一车辆与前一车辆之间的安全距离和速度。此外，这样的计算是使用一个或多个车载传感器和/或摄像机以及车载和/或基于云的处理系统来执行的。本公开通过利用诸如在后一车辆处检测到的道路摩擦和由后一车辆预测的所预测道路摩擦的信息来补充这些计算。所述预测的道路摩擦可以以本地观测和/或从其他车辆获得的基于云的观测为基础。所述后一车辆轮胎与路面之间的检测到的道路摩擦可以使用多种方法来评估，并且用于计算后一车辆与前一车辆之间的临界安全距离以及后一车辆的临界安全速度。后一车辆前方的预测道路摩擦也可以使用各种方法(提供lidar、摄像机和基于云的示例)来评估，并且用于计算后一车辆与前一车辆之间的警告安全距离以及后一车辆的警告安全速度。这些功能当然也可以应用于车辆/静止物体警告和响应场景等。

因此，虽然大多数常规系统和方法依赖于用于在检测到的场景中启动车辆油门和制动控制的纵向速度控制机构，本公开利用ML模型检测车辆下方的道路摩擦或路面状况，并且预测车辆前方的道路摩擦或路面状况，从而改进与其他车辆、障碍物等相关的车辆警告和响应系统。结果是提高了确定的临界和警告安全距离和速度的准确性和置信度。

现在具体地参考图1，在一个示例性实施例中，由本公开的系统和方法考虑的各种距离和道路摩擦包括：

-μ_d(检测到的摩擦)--使用车载传感器基于ML建模的与自身车辆10相符合的检测到的摩擦；

-μ_p(预测的摩擦)--使用视觉/感知传感器(vision/perception sensors)基于ML建模预测在自身车辆10前方的预测摩擦；

-d(距离)--自身车辆10与前一车辆12或其它物体(移动的或静止的)之间的距离；

-D_s(临界安全距离)--根据所检测到的摩擦和预测的摩擦由避撞(collisionavoidance)或ACC模块计算的针对自身车辆10的临界所需停止距离，D_s＝v²/(2*g*f(μ_d,μ_p))，式中，g是重力常数；

-D_w(警告安全距离)--基于预测的摩擦由避撞或ACC模块计算的针对自身车辆10的警告所需停止距离，D_w＝v²/(2*a*f(μ_p))，式中，a是自身车辆的最大加速度/减速度；

-v(速度)--自身车辆10的速度；和

-V_ds(期望的速度)--维持自身车辆10与前一车辆12或其他物体(移动的或静止的)之间的临界安全距离的推荐速度。

现在具体地参考图2，在一个示例性实施例中，本公开的ACC系统20包括摩擦模块22，其配置为接收来自一个或多个车载传感器的所检测到的摩擦信息和来自一个或多个视觉或感知传感器的所预测的摩擦信息，并且计算在自身车辆10(图1)下方的检测到的摩擦和在自身车辆10前面的预测摩擦。检测到的摩擦和预测的摩擦输送到ACC模块24中，ACC模块24计算当前状况下的临界安全距离，以及维持该临界安全距离所必需的期望速度。该信息然后被转送到车辆控制系统26，车辆控制系统26可以经由ACC或PA功能维持期望的速度和临界安全距离。在此，例如，该实施是与避撞场景区分开的闭环模式。除了车辆控制外，还可以经由车辆中的用户界面(UI)28向驾驶员发出警告和速度建议，以确保维持当前状况下的期望速度和临界安全距离。

现在具体地参考图3，在另一示例性实施例中，本公开的开环方法30包括(32)：首先将来自自身车辆车载传感器和视觉/感知传感器的读出信息输入到摩擦模块22(图2)。接下来，(34)：计算自身车辆前方的预测摩擦，并且可选地，从云获得基于来自其他车辆的观测的预测的摩擦数据。(36)：根据检测到的和预测的摩擦值，计算D、D_s、D_w和V_ds。随后，(38)：如果D_w≤D，则激活CAM并利用CAM控制车辆。(40)：如果D_w≤D<D_s，则经由驾驶员信息模块(DIM)发出驾驶员警告并且向驾驶员提供推荐的速度。如果D_s≤D，则应用车辆控制以维持安全距离并更新期望的速度。

现在具体地参考图4，在另一示例性实施例中，选择性地操作车辆70的驾驶员52利用本公开的系统50。具体地，驾驶员52通过各种车辆控制与高级控制器54交互。高级控制器54可操作以维持车辆70的安全速度、车辆70(相对于相邻车辆和物体)的安全距离、控制车辆的转向角等。这里，高级控制器54联接到或包括摩擦系数估计器56，摩擦系数估计器56可操作以使用从其它车辆(V2V)和基础设施(I2V)58获得的道路摩擦信息、从云60获得的道路摩擦信息、和/或从车载和/或视觉/感知传感器62获得的道路摩擦信息来用公式表示所检测到的和预测的摩擦值。高级控制器54最终通过结合节气门控制66、制动控制68等的低水平控制器64考虑检测到的和预测的道路摩擦状况和计算的距离和速度来影响车辆70的操作。

本公开的安全系统帮助驾驶员保持距离前方车辆的安全间隙。如果该间隙变得小于期望，则在DIM和/或抬头显示器(HUD)中向驾驶员呈现警示。传统上，假设一致的非路滑状况情况下计算该安全距离。因此，在路滑状况下违反了安全距离。新的安全距离由当前路况预测模块估计，该模块部分地通知安全距离计算。

图5是示出了分别在不考虑和考虑路面状况的条件下警示驾驶员违反所确定的安全距离的常规系统和流程80a和所提出的系统和流程80b的示意图。在常规情况80a中，距离警示模块82比较自身车辆与另一车辆或物体之间的测量距离，如果D_s>D，则发出驾驶员警示84，驾驶员警示84可以是视觉的、听觉的和/或触觉的。在所提出的情况80b中，距离警示模块82比较所测量的自身车辆与另一车辆或物体之间的测量距离同时考虑检测到的道路摩擦和预测的道路摩擦，如果D_ds>D，则发出驾驶员警示84，驾驶员警示84同样可以是视觉的、听觉的和/或触觉的。这里，从道路状况检测/预测模块86获得所检测到的和预测的道路摩擦值。如本领域技术人员将了解的，路滑状况可大大增加车辆的停止距离，且因此大大增加所确定的安全距离。因此，虽然经常可从云获得路滑信息并且可以向驾驶员发出一般状况警报，但是这样的信息不被本地确定和/或被并入用于发出驾驶员警示和/或修改ADAS/AD系统的行为、增加安全裕度、选择性地禁用AD功能等的安全距离算法。

图6是示出所提出的系统和流程90的示意图，系统和流程90用于在考虑路面状况的情况下警示驾驶员违反所确定的安全速度。在所提出的情况90中，推荐速度模块92计算并比较自身车辆和另一车辆或物体的测量速度同时考虑所检测到的道路摩擦和预测的道路摩擦，如果V>V_ds，则发出驾驶员警示94，驾驶员警示94同样可以是视觉的、听觉的和/或触觉的。这里，从道路状况检测/预测模块86获得所检测到的和预测的道路摩擦值。优选地，在给定的一组道路状况下的推荐速度也以速度图标的形式显示给驾驶员。推荐的安全距离和速度二者都可用于调节车辆的ACC，在路滑状况下提供更保守的设定，以及AP和AD例程。

对于本领域普通技术人员将显而易见的是，可以使用多个系统和方法来估计存在于车辆下方的摩擦和路面状况(road surface condition，简称RSC)。例如，车载传感器可用于检测车轮滑动并观测路面本身。

US 15/969,973提供了用于生成和利用可结合本公开使用的道路摩擦估计(RFE)的示例性方法和系统，其基于前视摄像机图像和信号处理来指示路面与车辆轮胎之间的预期摩擦水平。对前视摄像机图像进行预处理，拼图分割(横向和纵向，如车轮轨迹等所限定的)，转换成鸟瞰视图(BEV)图像，以提供车辆前方的可行驶表面的易于处理的拼图，拼图(patch)被量化，并且最后对于RFE进行分类。所得到的RFE可用于提供驾驶员信息、自动地控制相关联的车辆运动、和/或通知基于云的警示服务以提高驾驶员安全，如本文所提供的。该RFE固有地包括在车辆和驾驶员遇到危险行驶状况之前提醒驾驶员和/或引起对危险驾驶状况的车辆响应的临时部件。这提供了预测的影响。该方法和系统可以与其他常规车载传感器和系统的操作集成，诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些常规车辆传感器和系统。与现有的基于图像的RSC分类模型相比，所述方法和系统具有提高的精度、增加的可用性(即使在不存在显著的轮胎力时)和增强的预测能力，同时以相对低的计算复杂度有效地操作。

在一个示例性实施例中，RFE生成方法包括以下步骤：预处理、拼图分割、BEV变换、拼图量化、和分类，每个步骤由诸如车载电子控制单元(ECU)等的处理器执行。这些步骤均对优选从对车辆前方的给定距离(例如50m)具有可见性的车载前视摄像机等获得的图像进行操作。

首先对图像进行预处理。在该预处理步骤中，图像被广义地分类为干/湿/雪/泥浆等。RSC分类可以使用本领域普通技术人员已知的任何新颖的或常规的方法来执行。例如，可以使用分析路面、天空与周围环境之间的颜色/纹理差异的ML/深度学习(DL)或神经网络(NN)方法将图像分类为给定RSC。这有助于从进一步的RFE处理中去除所选择的图像。例如，如果图像可以被立即分类为“干”的，则不需要进一步的拼图分割、量化和分类，因为所有拼图是同构的(homogeneous)并且表征高RFE。对于不能以预定置信度水平立即分类为“干”的图像，例如，前进到进一步的RFE处理。

接着，对预处理后的图像进行拼图分割。在该拼图分割步骤中，图像，特别是图像中描绘的路面，经由横向(即，水平)线和纵向(即，竖直)线划分成离散区域，在路面上形成m×n拼图矩阵。因为图像是从前视摄像机获得的，所以它是具有消失点(vanishing point)的透视图像。因此，横向线基本上平行，而纵向线通常随着距摄像机的距离而会聚。在该示例性实施例中，使用5×3拼图矩阵，但是对于本领域的普通技术人员而言将显而易见的是，可以等同地使用其他数量的拼图(列和行)。在该5×3拼图矩阵中，这些列配置为基本上对应于并且包含所描绘的车轮轨迹，而一列配置为基本上在车轮轨迹之间。虽然不是绝对必要的，但是使用足够的行来向所生成的RFE提供时间维度是重要的，其中图像描绘和充分地分析车辆尚未遇到的足够的路面。再者，优选是至少3×2拼图矩阵，每个拼图横向覆盖1-2m且纵向覆盖10-15m，例如提供足够的和可变的路面覆盖和上述时间维度。不同的摄像机视场、分辨率和校准可以规定/允许同样地利用其它尺寸。典型地，5×3拼图矩阵提供30-50m的RFE距离。应注意，所述图像可以是从多个摄像机获得的经拼接的图像，但基本上不改变本文中所描述的处理步骤。

接着，对预处理的拼图分割的图像进行透视变换。在该透视变换步骤中，经由横向(即，水平)线和纵向(即，竖直)线已经划分成离散区域(在路面上形成m×n拼图矩阵)的图像(尤其是图像中描绘的路面)转换为顶视(overhead)的BEV图像。因为图像最初是从前视摄像机获得的，所以它是具有消失点的透视图像。因此，横向线基本上平行，而纵向线通常随着距摄像机的距离而会聚。结果，图像中接近摄像机的像素贡献被增强，而图像中远离摄像机的像素贡献被减弱。在BEV变换的图像中，横向线和纵向线两者都大体上平行且彼此垂直。这提升了处理效率并均衡了像素贡献。再次，在该示例性实施例中使用了5×3拼图矩阵，但是对于本领域的普通技术人员而言将显而易见的是，可以等同地使用其他数量的拼图(列和行)。在现在这个“修正的”5×3拼图矩阵中，这些列仍然配置为基本上对应于并且包含车轮轨迹，而一列仍然配置为基本上在车轮轨迹之间。再次，虽然不是绝对必要的，但是重要的是使用足够的行来向所生成的RFE提供时间维度，其中BEV变换的图像描绘和充分地分析车辆尚未遇到的足够的路面。再次，优选是至少3×2拼图矩阵，每个拼图横向覆盖1-2m且纵向覆盖10-15m，例如提供足够的和可变的路面覆盖和上述时间维度。不同的摄像机视场、分辨率和校准可以规定/允许同样地利用其它尺寸。典型地，5×3拼图矩阵提供30-50m的RFE距离。应注意，BEV变换的图像可以是从多个摄像机获得的经拼接的图像，但基本上不改变本文中所描述的处理步骤。实践中，可在BEV变换之前或之后应用以上拼图分割，只要使用相同的图像标志(例如，车轮轨迹)。

对预处理的、拼图分割的、BEV变换的图像接着进行拼图量化(patch quantized)。在该拼图量化步骤中，为每个拼图确定概率得分，然后为每个概率得分分配预定数量的对应等级中的一个。通过从该拼图提取多个(例如，26)颜色和纹理特征对每个拼图确定概率得分。示例性颜色和纹理特征包括但不限于具有和不具有对比度增强的[R，G，B，H，S，V]平面中的像素强度的平均和标准偏差，以及使用例如[16×16]块大小提取的HOG特征的平均和标准偏差。这样的方法对于本领域的普通技术人员是熟知的。该概率得分确定结果输出对应于每个拼图构图的概率得分(p_i)。低概率得分指示“干的”拼图，而高概率得分指示“有雪的”拼图。可以使用许多方法来生成这些概率得分，诸如ML/DL方法、逻辑回归方法、神经网络(NN)方法等。接下来，基于可以根据经验或实验确定的阈值{0，th1，th2，th3，1}，将概率得分各自分配预定数量的对应等级(例如，4)中的一个。例如：

__________________________________

si＝

1；0≤pi≤th1；＝>干；

2；th1≤pi≤th2；＝>更干，更少雪；

3；th2≤pi≤th3；＝>有更多雪，更不干；

4；th3≤pi≤1；＝>雪；

__________________________________

因此，较低的概率得分表示该构造中雪更少且更干的拼图。“冰”拼图将被识别为si＝[2,3]。这些拼图量化阈值是根据经验确定的，以使拼图分类准确度最大。还可以对拼图组(诸如每列)计算平均值。加权平均值(weighted average)、算术平均值(mean)、中位数(median)等也可被用于提供能够被多个行使用的时间分布信息。对于本领域的普通技术人员而言将显而易见的是，可以等同地使用其他分类方案。

既然每个拼图具有分类的概率得分，例如使用如下分类步骤(诸如基于规则的分类步骤)，即，在分类步骤中，对于预处理的、拼图分割的、BEV变换的、拼图量化的图像中描绘的整个路面用公式表示均匀的摩擦值，RFE。当使用规则时，一个示例性规则是基于计算矩阵的所有列的加权。例如，如果列平均概率<＝th1的计数大于2，则均匀摩擦RFEi,＝2(即，高MUE)。如果列平均概率<＝th2且>th1的计数大于2，则RFEi,＝1(即，中MUE)。否则RFEi,＝0(即低MUE)。对于本领域的普通技术人员将显而易见的是，可以等同地使用任何分类方法，并且可以使用基于决策树的模型等从较大训练图像/图像组学习所有阈值。

应进一步注意，在给定车辆中前视摄像机的情况下，并非每个图像帧必须被处理以获得准确且有用的RFE。例如，对于每秒约30帧的记录帧速率，图像帧可以每3或4秒被处理。这提升了处理效率。此外，拼图可以自适应的调节以改变路面尺寸、定向和状况。重要的是，所生成的RFE应当适合用于车辆控制系统和一旦生成就上传到云。

在一个示范性实施例中，用于生成RFE的系统包括上文所描述的、本领域的技术人员众所周知的前视摄像机。前视摄像机图像从前视摄像机传输到车辆的ECU，在ECU中进行上面描述的前视摄像机图像的处理。该ECU包括适当的存储器和可操作用于执行本公开的软件应用程序的处理器。ECU与VC的操作通信并且协调VC的操作，VC控制车辆的驾驶员警示、云报告和系统致动功能。例如，低RFE状况通常可以通过人机界面(HMI)(诸如设置在车辆中的显示屏)触发警告驾驶员的“前方路滑”。低RFE状况也可导致在云中被标记“路滑状况”，使得该信息可供该区域中的其他驾驶员/车辆获取。最后，低RFE状况可以被传送到其他常规车载传感器和控制系统/致动器，诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些车载传感器和控制系统/致动器。然后，这可以提供ADAS或AD功能。例如，低RFE状况可以触发自动制动/减速，使得对于当前状况维持安全行驶速度，如本文所提供的。

US 16/541,264还提供利用lidar数据用于道路状况估计的示例性系统和方法，其可以与本公开结合使用，将车辆前方的路面分割成M×N拼图，并且可选地，BEV变换该构造。然后，对于每个片段，确定x、y、z和r，充分利用位置、累积高度和反射率信息来帮助针对AD以及ADAS模态的运动控制和路径规划。lidar点云与M×N拼图一起使用，这与基于绝对r指数对路面进行简单的聚类相反，因为对于相同路面观测r的相对变化，并且相关联的确定性值并不总是一致的。因此，如果在前方存在黑色路面的均匀间距，理想情况下，所有点将具有相同的r指数，但这不是实际情况，因为距lidar传感器的距离、光散射和扫描图案的变化都具有显著影响。r的范围是可学习的，但不总是值，所以基于r指数的聚类是不可靠的和不可归纳的(non-generalizable)。因此，路面上的M×N拼图被设计为发现应该是已经被聚类的路面上的图案，如果r是可靠且可重复的个体。

给定前向摄像机图像和对应的lidar点云16，可以发现突出显示的z和r指数、地平面或可行驶表面、以及具有较大z值的物体。BEV的lidar点云可显示地平面或可行驶表面，并将z值显示为强度，或可显示地平面或可行驶表面并将r值显示为强度。可以区别具有与周围路面不同的z和r的特征。BEV的lidar点云的3-D表面绘图可突出显示相同的特征。r度量相对于距lidar传感器的距离而变化。图案横跨清晰的边缘改变，但是r值在整个表面上是不一致的。z值在整个表面上更一致。因此，使用r的表面等级聚类对于短距离可能是可行的，但是不是可量测/可归纳的。因此，使用z和r两者的拼图方案是优选的。r乘以距lidar传感器的距离x的换算(scaling)改善了相对表面分类性能。

使用路面上的拼图生成伪聚簇(pseudo-clusters)以估计每个拼图的滑溜度(slipperiness)P、证明继续行进的安全性的指示、允许路径规划等。给定的地面拼图的相对位置(x，y)、地面高度(z)、和缩放的反射率(取决于lidar规格的r/x或r/x²)因此被用于依据滑溜度概率(p)进行拼图分类。这提供了在地平面或可行驶表面、物体、不同表面与道路状况之间的稳健区别。

在一个示例性实施例中，道路状况估计系统大部分在由驻留在车辆和/或云中的处理器执行的软件中实现。道路状况估计系统包括lidar传感器，lidar传感器联接到车辆并且可操作用于获得由道路状况估计系统使用的lidar点云。该lidar传感器可以布置在车辆上显著高于地面和路面的位置处，使得为lidar传感器提供在车辆前方的清晰视线。有利地，将显著地影响可比较的前向摄像机的许多可见度条件对lidar传感器的影响程度最小。lidar点云数据包括每个反射信号点的四个场(field)x、y、z和r，其中x、y、z对应于给定物体/表面相对于lidar传感器的3-D位置，z具体地对应于反射的物体/表面的高度，r是指相关联的反射率指数并且对于不同的表面和表面覆盖物是不同的。道路状况估计方法开始于检测lidar点云中地平面或可行驶表面的道路状况估计算法。这可以使用无监督迭代算法(unsupervised iterative algorithm)或监督的ML/DL算法来完成。随后，将M×N矩阵叠加在lidar点云中车辆前方的可行驶表面上。仅作为示例，M×N矩阵可以是5×3矩阵，其中多个列沿着每个预期的车轮路径设置，一个列设置在预期的车轮路径之间，并且多个列设置在预期车轮路径外部。可选地，M×N矩阵在地面或可行驶表面上车辆前方延伸至少70-100m，使得道路状况估计系统的预测能力最大化。随后，对M×N矩阵的每个拼图进行统计评价以确定相对位置(x，y)、特征高程(feature elevation)(z)和缩放反射率(r/x或r/x²，取决于lidar规格)。从每个拼图提取的统计特征可包括拼图内相对位置(x，y)、高度和缩放的反射率度量的平均值、标准偏差、分布。随后，每个道路拼图被分类以指示粗糙度或滑溜度的程度。因此，针对与冰/雪/泥浆/水等相关的每个道路拼图进行概率确定，并且估计可行驶表面的道路状况。

例如，基于预测的滑溜指数P，对于每个拼图和整个矩阵，通过车辆控制系统，通常可以引起警报，可以实施ADAS功能，和/或可以禁用主动AD模式。替代地或附加地，车辆前方的预测滑溜指数p可以被格式化并以视觉方式显示给车辆驾驶员，和/或输送到AD功能中以允许增强的车辆运动和轨迹规划。替代地或附加地，随着车辆移动并且获取更多的lidar帧，道路拼图的相对位置可以转换为全局坐标位置，并且针对每个全局坐标位置，滑溜概率可用每个新的lidar帧进行更新。路面上的同一拼图在多个lidar帧中可见，并且相对于全局坐标位置更新相关联的滑溜概率可以因此优化路径规划信息。当然，所有数据也可以被传输到云以便由其他车辆使用。

这里使用的lidar感知传感器提供了将可见光摄像机图像扩展到具有低位置太阳(low standing sun)、差的照明和夜间视觉状况的情况的能力。所提供的框架将地平面lidar点云分割成若干区段，并且在地平面或可行驶表面拼图内应用统计特征以描述车辆前方的完整道路状况。基于分割的地平面或可行驶表面点云，可以生成车轮下方和附近的滑溜度的概率图，其可用于警告驾驶员，关闭AD模式(以确保安全)，并且相应地规划车辆路径/迹线(trajectory)以使车辆滑移或打滑最小化。随着继续获取lidar帧，可以针对全局坐标更新滑溜概率，以允许最优的车辆控制和涉及AD功能的路径规划应用。

此外，本公开可以利用US 16/420,553，其提供了用于基于车队的轮胎到道路摩擦性能来估计车辆的轮胎性能的方法。该方法包括：确定在多个指定位置处多个车辆的轮胎到道路摩擦；确定所述多个指定位置中的每一个位置处所述车队的车辆的参考轮胎-道路摩擦；在车辆中，确定在作为所述多个指定位置中的一个位置的第一位置处的当前轮胎到道路摩擦作为在各指定位置处确定的摩擦值的加权平均值；确定对于所述第一位置，所述车队的所述当前轮胎到道路摩擦与所述参考轮胎到道路摩擦之间的差；以及基于所述差估计所述车辆的轮胎性能。

此外，本公开可以利用US 16/006,241，其提供了用于利用汇集的天气数据(aggregated weather data，简称AWD)来导出路面状况RSC估计的系统和方法。该系统和方法利用云中的AWD补充在车辆水平(vehicle level)处进行的RFE以形成RSC估计，RSC估计然后被发送到车辆，使得能局部地做出更准确的RFE等等。传统的RFE的基于物理的模型相应地用增强的RFE训练的ML模型替换。使用天气和位置约束为每个地理区域导出全局RSC估计。因此，基于可行驶状况的全面分析，可以实现改进的自主驾驶和驾驶员辅助功能，可以提供更好的驾驶员警告，并且可以提前计划更安全的道路行程。这提供了用于将AWD与来自各个车辆的RFE有效地组合的策略。ML算法指示路面类型是RFE确定的重要因素。因此，RSC在云中针对特定位置被计算，并且该信息被各个车辆探测，以利用最优通信策略来增加相关RFE确定的准确性和可用性。因此，本公开使用统计模型超越了针对特定位置的RSC估计，提供了用于组合RSC估计和RFE以用于可行驶状况的车载评估的新颖框架。此外，在云中利用全球定位系统(GPS)数据和统计数据来随时间预测RSC。今天，气象站仅仅估计和预测天空的状态。现有的装置都不能仅使用天气和位置约束来针对每个地理区域推导出全局RSC估计。但是，GPS坐标、天气和高度之间的相关性可用于估计RSC和道路摩擦，然后应用马尔可夫模型等来对路面随时间的变化进行建模。此外，道路作业车辆调度可用于进一步增强RSC估计精度。有效地，将相关的地面和天空考虑组合起来。该方法使得地理区域能够记录有针对RSC和道路滑溜的估计和预测。因此，驾驶员可以提前选择最佳路线，不仅基于距离和时间，而且还基于道路安全指数。

应认识到，依据示例，本文中所描述技术中的任一者的某些动作或事件可按不同次序执行，可一起添加、合并或省略(例如，并非所有所描述的动作或事件对于所述技术的实践是必要的)。此外，在某些示例中，可例如通过多线程处理、中断处理或多个处理器同时而非依次执行动作或事件。

在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任何组合来实施。如果以软件来实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送，并由基于硬件的处理单元来执行。计算机可读介质可包含计算机可读存储介质，其对应于例如数据存储介质等有形介质，或包含便于将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒介的通信媒介。以此方式，计算机可读介质通常可对应于(1)非暂时性的有形计算机可读存储介质，或(2)通信媒介，例如信号或载波。数据存储介质可以是可由一台或多台计算机或一个或多个处理器存取以检索用于实施本公开中所描述的技术的指令、代码及/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。

作为示例但非限制，这样的计算机可读存储介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储设备、闪存存储器，或可用于以指令或数据结构的形式存储所需程序代码且可由计算机存取的任何其它媒介。任何连接也被适当地称为计算机可读介质。例如，如果使用同轴电缆、光缆、双绞线、数字用户线路(DSL)或诸如红外(IR)、射频(RF)和微波之类的无线技术从网站、服务器或其他远程源传输指令，则同轴电缆、光缆、双绞线、DSL或诸如IR、RF和微波的无线技术，包括在介质的定义中。但是，应理解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它暂时性媒介，而是针对非暂时性的有形存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)和蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘用激光以光学方式复制数据。上述的组合也应被包括在计算机可读介质的范围内。

指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)或其他等效集成或分立逻辑电路。因此，如本文中所使用的术语“处理器”可以指前述结构或适合于实施本文中所描述技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于专用硬件和/或软件模块内。而且，所述技术可完全实施于一个或多个电路或逻辑元件中。

本发明的技术可实施于广泛的多种装置或设备中，包含集成电路(IC)或一组IC(例如，芯片组)。本公开中描述了各种部件、模块或单元以强调配置为执行所揭示技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述的，各种单元可以连同合适的软件和/或固件，组合在硬件单元中或由互操作硬件单元的集合提供，所述各种单元包括如上文所描述的一个或多个处理器。

因此，再次，当前可用的各种驾驶员警告信息和ACC与PA功能例如通过在后一车辆处计算前一车辆的速度、后一车辆的速度、以及后一车辆与前一车辆之间的距离，来促使驾驶员或车辆维持后一车辆与前一车辆之间的安全距离和速度。再次，这样的计算是使用一个或多个车载传感器和/或摄像机、以及车载和/或基于云的处理系统来执行的。本公开通过利用诸如在后一车辆处检测到的道路摩擦和后一车辆预测的预测道路摩擦的信息来补充这些计算。预测的道路摩擦可以基于本地观测和/或从其他车辆获得的基于云的观测。后一车辆轮胎与路面之间的检测到的道路摩擦可以使用多种方法来评估，并且用于计算后一车辆与前一车辆之间的临界安全距离以及后一车辆的临界安全速度。后一车辆前方的预测道路摩擦还可以使用各种方法(提供lidar、摄像机和基于云的示例)来评估，并且用于计算后一车辆与前一车辆之间的警告安全距离以及后一车辆的警告安全速度。这些功能当然也可以应用于车辆/静止物体警告和响应场景等。

因此，虽然大多数常规系统和方法依赖于用于在检测到的场景中启动车辆油门和制动控制的纵向速度控制机构，本公开利用ML模型来检测车辆下方的道路摩擦或路面状况，并且预测车辆前方的道路摩擦或路面状况，从而改善与其他车辆、障碍物等相关的车辆警告和响应系统。结果是提高了确定的临界和警告安全距离和速度的准确性和置信度。

虽然本文参照优选实施例和其具体示例示出和描述了本公开，但是对于本领域的普通技术人员而言将显而易见的是，其他实施例和示例可以执行类似的功能和/或实现相同的结果。所有这样的等同实施例和示例都在本发明的精神和范围内，因此被预期，并且旨在被后面的非限制性权利要求覆盖用于所有目的。

Claims

1.一种用于基于检测到的和预测的摩擦信息来确定和利用车辆安全距离和速度信息的系统，所述系统包括：

道路状况模块，其配置为接收并用公式表示来自一个或多个车载车辆传感器的与车辆附近的检测到的道路摩擦有关的检测到的道路摩擦数据以及来自一个或多个视觉/感知车辆传感器的与所述车辆前方的预测道路摩擦有关的预测的道路摩擦数据；

安全距离/速度模块，其配置为基于检测到的道路摩擦和预测的道路摩擦的确定的函数来确定是停止距离的安全距离、确定安全速度、基于预测的道路摩擦的确定的函数来确定是停止距离的警告距离、考虑检测到的道路摩擦数据和预测的道路摩擦数据来确定所述车辆相对于另一车辆或物体的警告速度，其中所述安全速度是使所述车辆能在所确定的安全距离内停止的最大速度，并且所述警告速度是使所述车辆能在所确定的安全距离内停止的含有安全裕度的预定速度；和

以下中的一个或多个：(1)驾驶员警示系统，其配置为向所述车辆的驾驶员呈现所述安全距离、所述安全速度、所述警告距离和所述警告速度，或者如果已经违反了所述安全距离或所述警告距离或者已经超过了所述安全速度或所述警告速度，则警示驾驶员，以及(2)车辆控制系统，其配置为基于所述安全距离、所述安全速度、所述警告距离和所述警告速度来改变所述车辆的自动操作。

2.根据权利要求1所述的系统，其中所述一个或多个车载车辆传感器包括配置为检测车轮/道路摩擦的传感器，并且所述一个或多个视觉/感知车辆传感器包括摄像机传感器、雷达传感器和lidar传感器中的一个或多个。

3.根据权利要求1所述的系统，其中所述安全距离使用以下等式来确定：

D_s＝v²/(2*g*f(μ_d,μ_p))，

其中v是车辆速度，g是重力常数，μ_d是检测到的道路摩擦，μ_p是预测的道路摩擦，f是检测到的道路摩擦与预测的道路摩擦的确定的函数。

4.根据权利要求1所述的系统，其中所述警告距离使用以下等式来确定：

D_w＝v²/(2*a*f(μ_p))，

式中，v是车辆速度，a是车辆的最大加速度/减速度，μ_p是预测的道路摩擦，f是预测的道路摩擦的确定的函数。

5.根据权利要求1所述的系统，其中所述车辆控制系统配置为基于所述安全距离、所述安全速度、所述警告距离和所述警告速度中的一个或多个来改变所述车辆的自适应巡航控制系统、自动驾驶系统、避撞系统和自主驾驶系统中的一个或多个的自动操作。

6.根据权利要求1所述的系统，其中所述道路状况模块还配置为接收并用公式表示从另一车辆和云网络中的一个或多个获得的道路摩擦数据。

7.一种用于基于检测到的和预测的摩擦信息来确定和利用车辆安全距离和速度信息的方法，所述方法包括：

接收并用公式表示来自一个或多个车载车辆传感器的与车辆附近检测到的道路摩擦有关的所检测到的道路摩擦数据以及来自一个或多个视觉/感知车辆传感器的与所述车辆前方的预测道路摩擦有关的预测的道路摩擦数据；

基于检测到的道路摩擦和预测的道路摩擦的确定的函数来确定是停止距离的安全距离、确定安全速度、基于预测的道路摩擦的确定的函数来确定是停止距离的警告距离、考虑所述检测到的道路摩擦数据和所述预测的道路摩擦数据来确定所述车辆相对于另一车辆或物体的警告速度，其中所述安全速度是使所述车辆能在所确定的安全距离内停止的最大速度，并且所述警告速度是使所述车辆能在所确定的安全距离内停止的含有安全裕度的预定速度；和

以下中的一个或多个：(1)向车辆驾驶员呈现所述安全距离、所述安全速度、所述警告距离和所述警告速度，或者如果已经违反了所述安全距离或所述警告距离或已经超过了所述安全速度或所述警告速度，则警示驾驶员，以及(2)基于所述安全距离、所述安全速度、所述警告距离和所述警告速度来改变所述车辆的自动操作。

8.根据权利要求7所述的方法，其中所述一个或多个车载车辆传感器包括配置为检测车轮/道路摩擦的传感器，并且所述一个或多个视觉/感知车辆传感器包括摄像机传感器、雷达传感器、和lidar传感器中的一个或多个。

9.根据权利要求7所述的方法，其中使用以下等式确定所述安全距离：

D_s＝v²/(2*g*f(μ_d,μ_p))，

式中，v是车辆速度，g是重力常数，μ_d是所述检测到的道路摩擦，μ_p是所述预测的道路摩擦，f是所述检测到的道路摩擦和所述预测的道路摩擦的确定的函数。

10.根据权利要求7所述的方法，其中使用以下等式来确定所述警告距离：

D_w＝v²/(2*a*f(μ_p))，

式中，v是车辆速度，a是车辆的最大加速度/减速度，μ_p是所述预测的道路摩擦，f是所述预测的道路摩擦的确定的函数。

11.根据权利要求7所述的方法，还包括基于所述安全距离、所述安全速度、所述警告距离和所述警告速度中的一个或多个来改变所述车辆的自适应巡航控制系统、自动驾驶系统、防撞系统和自主驾驶系统中的一个或多个的自动操作。