CN110458793A - 基于相机图像信号处理来生成和使用道路摩擦估计的方法和系统 - Google Patents

基于相机图像信号处理来生成和使用道路摩擦估计的方法和系统 Download PDF

Info

Publication number
CN110458793A
CN110458793A CN201910362473.9A CN201910362473A CN110458793A CN 110458793 A CN110458793 A CN 110458793A CN 201910362473 A CN201910362473 A CN 201910362473A CN 110458793 A CN110458793 A CN 110458793A
Authority
CN
China
Prior art keywords
block
image
rfe
probability
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910362473.9A
Other languages
English (en)
Other versions
CN110458793B (zh
Inventor
S·罗伊乔杜里
赵敏茗
M·约纳松
N·奥尔松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN110458793A publication Critical patent/CN110458793A/zh
Application granted granted Critical
Publication of CN110458793B publication Critical patent/CN110458793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于前视相机图像信号处理来生成和利用道路摩擦估计(RFE)的方法(10)和系统(100)，该RFE指示路面与车辆轮胎之间的预期摩擦水平。对前视相机图像(11)进行预处理(12)、区块分割(14)(横向和纵向地，由轮轨等定义)、使用视角变换转换为鸟瞰图(BEV)图像(16)、区块量化(18)以及最后分类(20)。产生的RFE可用于给驾驶员提供信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。

Description

基于相机图像信号处理来生成和使用道路摩擦估计的方法和 系统
技术领域
本公开总体涉及基于相机图像处理来生成和使用道路摩擦估计(RFE)的方法和系统。更具体地，本公开涉及基于前视相机图像处理来生成和使用RFE的方法和系统。对前视相机图像进行预处理、区块分割、使用视角变换转换成鸟瞰图(BEV)图像、区块量化、以及最后分类，以获得道路摩擦估计(也称为RFE)。产生的RFE可用于为驾驶员提供信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。该RFE固有地包括在车辆和驾驶员遇到这种情况之前警告驾驶员和/或引起对危险行驶状况产生车辆响应的时间组成(temporal component)。这提供了预测性手段。
背景技术
存在用于确定路面状况(RSC)的各种常规方法和系统。这些方法和系统中的大多数依赖于分析下视相机图像，提供关于车辆正下方的路面的信息。这些方法和系统中的一些依赖于将圆形光聚焦在车辆前方并分析相应的前视相机图像，测量基于强度的特征，诸如关注区域(ROI)内的平均像素强度、方差像素强度和最大像素强度，并实施概率二元分类器(probabilistic binary classifier)，以便划分干、湿、雪和冰RSC，可选地随后进行融合过程以生成用于制动、转向和加速度传感器的控制参数。这些方法和系统中的其它方法和系统利用前视相机图像，将前视相机图像转换成空间频谱，并分析对应于不同RSC的相关频率分布。这些方法和系统中的另一些方法和系统利用前视相机图像并应用极化滤波器(polarization filter)和小波变换来划分不同的RSC。然而，这些方法和系统都没有超出RSC来准确地生成和使用RFE。这是根本区别。
RFE估计了在道路与车辆轮胎之间、横过和沿着道路、尤其是沿着抵靠道路表面的轮轨的摩擦水平。存在用于估计和计算RFE的各种常规方法和系统。然而，这些方法和系统中的大多数依赖于使用一维(1-D)车载传感器、应用基于物理的模型。这些方法通常导致RFE的低可用性(通常约3-5％)，在大多数时间导致不可接受地低的可信度。在这种基于物理的模型中，仅在轮胎和道路之间发生非常显著的滑动时才出现高可信度。因此，实时RFE是零星的并且预测能力受到牵制，从而减少了得到的驾驶员信息的价值、延迟和/或限制了相关车辆的运动的自动控制、和/或达不到大多数基于云的警报服务的实际要求。这会危害驾驶员安全性。
因此，需要基于前视相机图像和信号处理来生成和利用RFE的先进方法和系统，以实现改善的准确性、高可用性、以及对可行驶环境条件的增强的预测能力，同时有效地运行。
发明内容
在各种示例性实施方式中，本公开提供了基于前视相机图像和信号处理来生成和利用RFE的方法和系统，该RFE指示道路表面和车辆轮胎之间的预期摩擦水平。对前视相机图像进行预处理、区块分割(横向地和纵向地，由轮轨等定义)、转换成BEV图像以提供车辆前方可行驶表面的易于处理的区块、区块量化、并且最后分类，以获得RFE。产生的RFE可用于给驾驶员提供信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。该RFE固有地包括在车辆和驾驶员遇到这种情况之前警告驾驶员和/或引起对危险驾驶状况产生车辆响应的时间组成。这提供了预测手段。本公开的方法和系统可以与其它常规车载传感器和系统的操作集成，诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些车载传感器和系统。与现有的基于图像的RSC分类模型相比，该方法和系统具有改善的准确性、增加的可用性(即使当不存在显著的轮胎力时)和增强的预测能力，同时以相对低的计算复杂度有效地运行。
在一个示例性实施方式中，本公开提供了一种基于车辆相机图像处理来生成和利用道路摩擦估计(RFE)的方法，其包括：从车辆相机获得路面的图像；将图像分割成多个区块；转换图像的路面视角；基于对多个区块中的每个区块的图像分析，量化多个区块中的每个区块以确定给定路面摩擦状况的概率；基于多个区块的确定的概率对多个区块的组进行分类，以形成路面的RFE；以及以下中的一个或多个：(1)警告驾驶员路面摩擦状况，(2)向车辆网络报告路面摩擦状况，以及(3)响应于生成的路面的RFE，限制和/或修改车辆运行参数。优选地，车辆相机是前视车辆相机，并且图像是前视图像。可以等同地使用侧视图像和合成图像。该方法还包括预处理图像以对图像进行最初分类，其中可能导致可变RFE的某些分类基于路面上的相对车轮位置经受更准确地确定RFE的进一步处理，不会导致可变RFE的某些分类不经受更准确地确定RFE的进一步处理。例如，与“干”路面状况相关联的图像意味着高摩擦或高RFE，因此这种图像不需要经受区块分割和量化。然而，与“有雪”路面状况相关联的图像需要被区块分割和量化以确定轮轨相对于可行驶表面上的雪和冰的相对位置，这进而指示车辆所经历的道路摩擦。将图像分割成多个区块包括将图像分割成车辆前方的多个行和列，其中使用至少2行和至少3列。优选地，存在于路面上的轮轨(wheel track)包含在多个列中的两个列内。转换图像的路面视角包括将图像的路面视角从前视视角转换为俯视鸟瞰图(BEV)视角。可选地，在转换图像的视角之前执行将图像分割成多个区块，使得多个区块的视角也被转换。量化多个区块中的每个区块以确定给定路面摩擦状况的概率包括，从每个区块提取多个颜色/纹理特征，并给每个区块分配对应于每个区块的各区块组成的概率分数。量化多个区块中的每个区块以确定给定路面摩擦状况的概率还包括，组合多个概率分数以确定一组区块的合成概率分数。最后，基于多个区块的确定的概率对多个区块的组进行分类包括，给每个确定的概率分配一个分类分数并组合多个分类分数以生成相对于车辆位置的路面的RFE。
在另一示例性实施方式中，本公开提供了一种基于车辆相机图像处理来生成和利用道路摩擦估计(RFE)的系统，其包括：被构造为提供路面图像的车辆相机；以及存储机器可读指令的存储器，当由处理器执行时，可读指令使系统：将图像分割成多个区块；转换图像的路面视角；基于对多个区块中的每个区块的图像分析，量化多个区块中的每个区块以确定给定路面摩擦状况的概率；基于多个区块的确定的概率对多个区块的组进行分类，以形成路面的RFE；以及以下中的一个或多个：(1)警告驾驶员路面摩擦状况，(2)向车辆网络报告路面摩擦状况，以及(3)响应于生成的路面的RFE，限制和/或修改车辆运行参数。优选地，车辆相机是前视车辆相机，并且图像是前视图像。可以等同地使用侧视图像和合成图像。处理器还使系统预处理图像以对图像进行最初分类，其中可能导致可变RFE的某些分类基于路面上的相对车轮位置经受更精确地确定RFE的进一步处理，不会导致可变RFE的分类不经受更准确地确定RFE的进一步处理。例如，与“干”路面状况相关联的图像意味着高摩擦或高RFE，因此这种图像不需要经受区块分割和量化。然而，与“有雪”路面状况相关联的图像需要被区块分割和量化以确定轮轨相对于可行驶表面上的雪和冰的相对位置，这进而指示车辆经历的道路摩擦。将图像分割成多个区块包括将图像分割成车辆前方的多个行和列，其中使用至少2行和至少3列。优选地，存在于路面上的轮轨包含在多个列中的两个列内。转换图像的路面视角包括将图像的路面视角从前视视角转换为俯视鸟瞰图(BEV)视角。可选地，在转换图像的视角之前将图像分割成多个区块，使得多个区块的视角也被转换。量化多个区块中的每个区块以确定给定路面摩擦状况的概率包括，从每个区块中提取多个颜色/纹理特征，并给每个区块分配对应于每个区块的各区块组成的概率分数。量化多个区块中的每个区块以确定给定路面摩擦状况的概率还包括，组合多个概率分数以确定一组区块的合成概率分数。最后，基于多个区块的确定的概率对多个区块的组进行分类包括，给每个确定的概率分配一个分类分数并组合多个分类分数以生成相对于车辆位置的路面的RFE。
附图说明
本文参考各种附图示出和描述了本公开，其中适当地，相同的附图标记用于指示相同的方法步骤/系统部件，并且其中：
图1是示出了本公开的用于生成RFE的方法的一个示例性实施方式的流程图，其包括预处理、区块分割、BEV转换、区块量化和分类步骤；
图2是分别示出了本公开的用于生成RFE的方法的区块分段和BEV转换步骤的示例性实施方式的一系列图像；
图3是示出了本公开的用于生成RFE的方法的区块量化步骤的一个示例性实施方式的一系列图像，其突出显示了好行驶(well ploughed)(高摩擦)路面、部分积雪覆盖/斑块(中摩擦)路面，以及大致积雪覆盖/斑块(低摩擦)路面；以及
图4是示出了车辆中实施的本公开的用于生成RFE的系统的一个示例性实施方式的示意图。
具体实施方式
现在具体参考图1，在一个示例性实施方式中，本公开的RFE生成方法10包括以下步骤：预处理12、区块分割14、BEV转换16、区块量化18和分类20，其中每个步骤由诸如车载电子控制单元(ECU)104(图4)等的处理器执行。这些步骤中的每个步骤在图像11上运行，图像11优选地从车载前视相机102(图4)或能够看到车辆(未示出)前方给定距离(例如50米)的类似装置获得。
首先对图像11进行预处理。在该预处理步骤12中，图像11被大致分类为干/湿/雪/泥/等。可以使用本领域普通技术人员已知的任何新颖或常规方法进行RSC分类。例如，可以使用分析路面、天空和周围环境之间的颜色/纹理差异的机器学习/深度学习或神经网络方法将图像11分类为给定RSC。这有助于从进一步的RFE处理中删除所选图像。例如，如果图像11可以立即被分类为“干”，则不需要进一步的区块分割、量化和分类，因为所有区块都是同质的并且呈现高RFE。例如，不能以预定可信度立即分类为“干”的图像11进入进一步的RFE处理。
接下来，对经过预处理的图像11进行区块分割，如图2所示。在该区块分割步骤14中，图像11，尤其是图像11中示出的路面，经由横向(即，水平)线30和纵向(即，竖直)线32划分成离散区域，从而在路面上形成m×n的区块矩阵34。由于图像11是从前视相机102(图4)获得的，所以它是具有消失点(vanishing point)的透视图像11。因此，横向线30基本是平行的，而纵向线32基本上随着与相机102的距离汇聚。在该示例性实施方式中，示出并使用5×3的区块矩阵34，尽管如此。对于本领域普通技术人员而言明显的是，可以等同地使用其它数量的区块36(列和行)。在该5×3的区块矩阵34中，列2和4被构造成基本上对应并包含示出的轮轨38，而列3被构造成基本上在示出的轮轨38之间。根据美国惯例，列1与迎面而来的车道相邻，第5列与路肩相邻。虽然不是绝对必需的，但是重要的是，使用足够的行来给生成的RFE提供时间维度，其中图像11示出并充分分析车辆尚未遇到的足够的路面。此外，至少3×2的区块矩阵34是优选的，例如每个区块36横向覆盖1-2m，纵向覆盖10-15m，从而提供足够且可变的路面覆盖和上述时间维度。不同的相机视野、分辨率和校准可以指示/允许等同地利用其它尺寸。通常，5×3的区块矩阵34提供30-50m的RFE距离。应当注意，图像11可以是从多个相机102获得的拼接图像，而基本上无需改变这里描述的处理步骤。
接下来，对经过预处理、区块分割的图像11进行视角转换，如图2中再次示出的。在该视角转换步骤16中，图像11，具体是已经经由横向(即，水平)线30和纵向(即，竖直)线32划分成离散区域、在路面上形成m×n的区块矩阵34、在图像11中示出的路面被转换为俯视BEV图像11。由于图像11最初是从前视相机102(图4)获得的，所以它是具有消失点的透视图像11。因此，横向线30基本是平行的，而纵向线32基本上随着与相机102的距离汇聚。因此，增强了图像11中靠近相机102的像素贡献，而削弱了图像11中远离相机102的像素贡献。在经过BEV转换的图像11中，横向线30和纵向线32都基本上平行并且彼此垂直。这提高了处理效率并均衡了像素贡献。此外，在该示例性实施方式中，示出并使用了5×3的区块矩阵34，但是对于本领域普通技术人员而言明显的是，可以等同地使用其它数量的区块36(列和行)。在这个现在“调整过的”5×3区块矩阵34中，列2和4仍被构造成基本上对应并包含示出的轮轨38，而列3仍被构造成基本上在示出的轮轨38之间。根据美国惯例，第1列仍然与迎面而来的车道相邻，第5列仍然与路肩相邻。此外，虽然不是绝对必需的，但重要的是，使用足够的行来给生成的RFE提供时间维度，其中经过BEV转换的图像11示出并充分分析车辆尚未遇到的足够的路面。此外，至少3×2的区块矩阵34是优选的，例如其中每个区块36横向覆盖1-2m，纵向覆盖10-15m，从而提供足够且可变的路面覆盖和上述时间维度。不同的相机视野、分辨率和校准可以指示/允许等同地利用其它尺寸。通常，5×3的区块矩阵34提供30-50m的RFE距离。应当注意，经过BEV转换的图像11可以是从多个相机102获得的拼接图像，而基本上无需改变这里描述的处理步骤。实际上，如果使用相同的图像标记(例如，轮轨38)，则可以在BEV转换16之前或之后应用上述区块分割14。
接下来，对经过预处理、区块分割、BEV转换的图像11进行区块量化，如图3所示。在该区块量化步骤18中，给每个区块36确定概率分数40，然后给每个概率分数40分配预定数量的相应级别42中的一个。通过从区块36提取多个(例如，26个)颜色和纹理特征，给每个区块36确定概率分数40。示例性颜色和纹理特征包括但不限于具有和不具有对比度增强的[R，G，B，H，S，V]平面中的像素强度的平均值和标准偏差，以及使用[16×16]块尺寸提取的HOG特征的平均值和标准偏差。这些方法是本领域普通技术人员所熟知的。该概率分数的确定输出了对应于各区块组成的概率分数(p_i)40。低概率分数40指示“干”区块36，而高概率分数40指示“有雪”区块36。许多方法可用于生成这些概率分数36，诸如机器学习方法、逻辑回归方法、SVM、神经网络方法等。接下来，基于可凭经验或实验确定的阈值{0，th1，th2，th3，1}给每个概率分数40分配预定数量的(例如，4个)相应级别42中的一个。例如：
si＝
1；0≤pi≤th1；＝>干；
2；th1≤pi≤th2；＝>多干，少雪；
3；th2≤pi≤th3；＝>多雪，少干；
4；th3≤pi≤1；＝>雪；
因此，较低的概率分数意味着该结构中的区块雪较少且较干。“冰”区块被识别为si＝[2，3]。这些区块量化阈值根据经验被确定为使区块分类准确度最大化。还可以计算区块36的组的平均值44，诸如每列(如图所示)的平均值。加权重平均值、平均值、中值等也可用于提供通过使用多个行来实现的时间分布信息。对于本领域普通技术人员来说明显的是，可以等同地使用其它分类方案。
现在每个区块36都具有经过分类的概率分数，使用了分类步骤20(图1)，诸如基于规则的分类步骤，其中针对经过预处理、区块分割、BEV转换、区块量化的图像11中示出的整个路面制定均一摩擦值RFE。当使用规则时，一个示例性规则是基于计算矩阵34的所有列(1-5)的权重。例如，如果平均概率<＝th1的列的计数大于2，则均一摩擦RFEi＝2(即，高MUE)。如果平均概率<＝th2且>th1的列的计数大于2，则RFEi＝1(即，中MUE)，否则，RFEi＝0(即，低MUE)。对于本领域普通技术人员来说明显的是，可以等同地利用任何分类方法，并且可以使用基于决策树的模型等从较大的训练图像/图像集中学习所有阈值。
还应当注意，在车辆中给定前视相机102(图4)的情况下，不必处理每个图像帧以获得准确且有用的RFE。例如，对于每秒约30帧的记录帧速率，可以每3或4秒处理一次图像帧。这提高了处理效率。此外，区块36(图2和3)可以针对改变的路面尺寸、方向和状况自适应地调整。重要的是，生成的RFE应该适用于车辆控制系统并且一旦生成就云上传。
现在具体参考图4，在一个示例性实施方式中，用于生成RFE的系统100包括上文所述本领域普通技术人员熟知的前视相机102。前视相机图像11从前视相机102传输到车辆的电子控制单元(ECU)104，在ECU 104中对前视相机图像11进行上述处理。该ECU 104对于本领域普通技术人员来说是熟知的，并且包括适当的存储器和可用于执行本公开的软件应用程序的处理器。ECU 104与车辆控制器(VC)106通信并协调其操作，VC 106控制车辆的驾驶员警报、云报告和系统致动功能。例如，低RFE状况可以触发通过人机界面(HMI)108(诸如设置在车辆中的显示屏)给驾驶员的“前方路滑”警告。低RFE状况还可以引起在云112中标记“路滑状况”，使得该信息可用于该区域中的其它驾驶员/车辆。最后，低RFE状况可以传送到其它常规车载传感器和控制系统/致动器110，诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些。然后，这可以提供驾驶员辅助或自动驾驶功能。例如，低RFE状况可以触发自动制动/减速，使得针对当前状况保持安全的行驶速度。
优选地，本公开的软件应用程序实现为存储在存储器中并由处理器执行的编码指令。处理器是用于执行这种编码指令的硬件设备。处理器可以是任何定制或市售的处理器、中央处理单元(CPU)、辅助处理器以及与存储器相关联的若干处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)、或一般而言是用于执行编码指令的任何设备。处理器被构造为执行存储在存储器内的软件、将数据传送到存储器和从存储器传送数据、以及一般而言根据编码指令控制操作。在示例性实施方式中，处理器可以包括移动优化处理器，诸如针对功耗和移动应用进行优化的处理器。I/O接口可用于接收用户输入和/或用于提供系统输出。可以例如经由键盘、触摸屏、滚动球、滚动条、按钮等提供用户输入。可以经由显示设备，诸如液晶显示器(LCD)、触摸屏等提供系统输出。I/O接口还可以包括例如串行端口、并行端口、小型计算机系统接口(SCSI)、红外(IR)接口、射频(RF)接口、通用串行总线(USB)接口等。I/O接口可以包括使用户能够与存储器交互的GUI。另外，I/O接口还可以包括成像设备，即相机、摄像机等，如上所述。
存储器可以包括任何易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))、非易失性存储器元件(例如，ROM、硬盘驱动器等)及其组合。此外，存储器可以包含电子、磁、光和/或其它类型的存储介质。注意，存储器可以具有分布式架构，其中各种部件彼此远程地定位，但是可以由处理器访问。存储器中的软件可以包括一个或多个软件程序，其中每个软件程序包括用于实现逻辑功能的可执行指令的有序列表。存储器中的软件包括合适的操作系统(O/S)和程序。操作系统基本上控制其它计算机程序的执行，并提供调度、输入-输出控制、文件和数据管理、存储器管理以及通信控制和相关服务。程序可以包括被构造为提供终端用户功能的各种应用程序、插件等。程序可以包括提供各种功能的应用程序或“app”。
因此，本公开提供了基于前视相机图像信号处理来生成和使用RFE的方法和系统，该RFE指示道路表面和车辆轮胎之间的预期摩擦水平。如上所述，对前视相机图像进行预处理、区块分割(横向和纵向地，由轮轨等定义)、转换成BEV图像以提供易于处理的平行和垂直线、区块量化以及最后分类。估计均一摩擦水平，其给道路提供块状摩擦估计。产生的RFE可用于提供驾驶员信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。该RFE固有地包括在车辆和驾驶员遇到这种情况之前警告驾驶员和/或引起对危险驾驶状况的车辆响应的时间组成。这提供了预测手段。本公开的方法和系统可以与其它常规车载传感器和系统的操作集成，诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些车载传感器和系统。该方法和系统具有改善的准确性、高可用性(即使当不存在显著的轮胎力时)、以及增强的预测能力，同时有效且廉价地运行。
尽管在此参考优选实施方式及其具体示例说明和描述了本公开，但是对于本领域普通技术人员来说明显的是，其它实施方式和示例可以执行类似的功能和/或实现相同的结果。所有这些等同的实施方式和示例都在本发明的精神和范围内、由本发明设想到、并且旨在由以下非限制性权利要求覆盖以用于所有目的。

Claims (20)

1.一种基于车辆相机图像处理来生成和利用道路摩擦估计值(RFE)的方法(10)，所述方法包括：
从车辆相机获得路面的图像(11)；
将所述图像分割成多个区块(14)；
转换所述图像的视角(16)；
基于所述多个区块中的每个区块的图像分析，量化所述多个区块中的每个区块以确定给定路面摩擦状况的概率；
基于所述多个区块的确定的概率对所述多个区块的组进行分类，以生成所述路面的RFE(20)；以及
以下中的一个或多个：(1)警告驾驶员路面摩擦状况，(2)向车辆网络报告路面摩擦状况，以及(3)响应于生成的所述路面的RFE，限制和/或修改车辆运行参数。
2.根据权利要求1所述的方法(10)，其特征在于，所述车辆相机(102)是前视车辆相机和侧视车辆相机中的一种或多种，并且所述图像(11)是前视图像、侧视图像和合成图像中的一种。
3.根据权利要求1所述的方法(10)，其特征在于，所述方法还包括预处理所述图像以对所述图像进行最初分类(12)，某些分类经受更准确地确定RFE的进一步处理，并且某些分类不经受更准确地确定RFE的进一步处理。
4.根据权利要求1所述的方法(10)，其特征在于，将所述图像分割成所述多个区块(14)包括将所述图像分割成所述车辆前方的多个行和多个列，其中使用至少2行和至少3列。
5.根据权利要求4所述的方法(10)，其特征在于，存在于所述路面上的轮轨包含在所述多个列中的两个列内。
6.根据权利要求1所述的方法(10)，其特征在于，转换所述图像的视角(16)包括将所述图像的视角从前视视角和侧视视角中的一个转换成俯视鸟瞰图(BEV)视角。
7.根据权利要求1所述的方法(10)，其特征在于，在转换所述图像的视角(16)之前执行将所述图像分割成所述多个区块(14)，使得所述多个区块的视角也被转换。
8.根据权利要求1所述的方法(10)，其特征在于，量化所述多个区块中的每个区块以确定所述给定路面摩擦状况的概率(18)包括，从每个区块中提取多个颜色/纹理特征，并给每个区块分配对应于每个区块的各区块组成的概率分数。
9.根据权利要求1所述的方法(10)，其特征在于，量化所述多个区块中的每个区块以确定所述给定路面摩擦状况的概率(18)还包括，组合多个概率分数以确定一组区块的合成概率分数。
10.根据权利要求1所述的方法(10)，其特征在于，基于所述多个区块的确定的概率对所述多个区块的所述组进行分类(20)包括，给每个确定的概率分配一个分类分数，并组合多个分类分数以生成所述路面的RFE。
11.一种基于车辆相机图像处理来生成和利用道路摩擦估计(RFE)的系统(100)，所述系统包括：
被构造为提供路面的图像(11)的车辆相机(102)；以及
存储机器可读指令的存储器，当由处理器执行时，所述机器可读指令使所述系统：
将所述图像分割成多个区块(14)；
转换所述图像的视角(16)；
基于所述多个区块中的每个区块的图像分析，量化所述多个区块的每个区块以确定给定路面摩擦状况的概率；
基于所述多个区块的确定的概率对所述多个区块的组进行分类，以生成所述路面的RFE(20)；以及
以下中的一项或多项：(1)警告驾驶员路面摩擦状况，(2)向车辆网络报告路面摩擦状况，以及(3)响应于生成的所述路面的RFE，限制和/或修改车辆运行参数。
12.根据权利要求11所述的系统(100)，其特征在于，所述车辆相机(102)是前视车辆相机和侧视车辆相机中的一种或多种，并且所述图像(11)是前视图像、侧视图像和合成图像中的一种。
13.根据权利要求11所述的系统(100)，其特征在于，所述处理器还使所述系统预处理所述图像以对所述图像进行最初分类(12)，某些分类经受更准确地确定RFE的进一步处理，并且某些分类不经受更准确地确定RFE的进一步处理。
14.根据权利要求11所述的系统(100)，其特征在于，将所述图像分割成所述多个区块(14)包括将所述图像分割成所述车辆前方的多个行和多个列，其中使用至少2行和至少3列。
15.根据权利要求14所述的系统(100)，其特征在于，存在于所述路面上的轮轨包含在所述多个列中的两个列内。
16.根据权利要求11所述的系统(100)，其特征在于，转换所述图像的视角(16)包括将所述图像的视角从前视视角和侧视视角中的一个转换成俯视鸟瞰图(BEV)视角。
17.根据权利要求11所述的系统(100)，其特征在于，在转换所述图像的视角(16)之前执行将所述图像分割成所述多个区块(14)，使得所述多个区块的视角也被转换。
18.根据权利要求11所述的系统(100)，其特征在于，量化所述多个区块中的每个区块以确定所述给定路面摩擦状况的概率(18)包括，从每个区块中提取多个颜色/纹理特征，并给每个区块分配对应于每个区块的各区块组成的概率分数。
19.根据权利要求18所述的系统(100)，其特征在于，量化所述多个区块中的每个区块以确定所述给定路面摩擦状况的概率(18)还包括，组合多个概率分数以确定一组区块的合成概率分数。
20.根据权利要求11所述的系统(100)，其特征在于，基于所述多个区块的确定的概率对所述多个区块的所述组进行分类(20)包括，给每个确定的概率分配一个分类分数并组合多个分类分数以生成所述路面的RFE。
CN201910362473.9A 2018-05-03 2019-04-30 基于车辆相机图像处理来生成和利用道路摩擦估计值的方法和系统 Active CN110458793B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/969,973 US10706294B2 (en) 2018-05-03 2018-05-03 Methods and systems for generating and using a road friction estimate based on camera image signal processing
US15/969,973 2018-05-03

Publications (2)

Publication Number Publication Date
CN110458793A true CN110458793A (zh) 2019-11-15
CN110458793B CN110458793B (zh) 2023-08-29

Family

ID=66248585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910362473.9A Active CN110458793B (zh) 2018-05-03 2019-04-30 基于车辆相机图像处理来生成和利用道路摩擦估计值的方法和系统

Country Status (3)

Country Link
US (2) US10706294B2 (zh)
EP (1) EP3564849A1 (zh)
CN (1) CN110458793B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115235991A (zh) * 2022-08-30 2022-10-25 华创威新材料(广东)有限公司 基于纤维套管的耐磨性智能检测方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3084631B1 (fr) * 2018-07-31 2021-01-08 Valeo Schalter & Sensoren Gmbh Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile
EP3795435A1 (en) * 2019-09-19 2021-03-24 TuSimple, Inc. Road friction estimation techniques
US20210261158A1 (en) * 2020-02-21 2021-08-26 BlueSpace.ai, Inc. Method for object avoidance during autonomous navigation
EP3926523A1 (en) * 2020-06-19 2021-12-22 Toyota Jidosha Kabushiki Kaisha Surface recognition system
CN112308111B (zh) * 2020-09-23 2023-04-18 湖南工业大学 一种基于多特征融合的轨面状态辨识方法
CN112287769B (zh) * 2020-10-09 2024-03-12 江汉大学 一种人脸检测方法、装置、设备和存储介质
AU2022200508A1 (en) * 2021-02-17 2022-09-01 The Boeing Company Computing device and method for facilitating modification of the route of an autonomous surface vehicle
CN116238498B (zh) * 2023-02-28 2023-11-28 哈尔滨市川冠年机电科技有限公司 基于多模态感知的车队跟车距离优化计算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150224925A1 (en) * 2012-12-20 2015-08-13 Continental Teves Ag & Co. Ohg Method for Determining a State of a Pavement from Surroundings Sensor Data
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3817611B2 (ja) 2003-03-14 2006-09-06 国土交通省国土技術政策総合研究所長 可視画像式路面状況把握装置における路面状況判定方法
US20150178572A1 (en) 2012-05-23 2015-06-25 Raqib Omer Road surface condition classification method and system
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US9139204B1 (en) 2014-06-12 2015-09-22 GM Global Technology Operations LLC Road surface condition detection with recursive adaptive learning and validation
KR101618551B1 (ko) * 2014-07-02 2016-05-09 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US9598087B2 (en) 2014-12-12 2017-03-21 GM Global Technology Operations LLC Systems and methods for determining a condition of a road surface
JP6214601B2 (ja) * 2015-07-27 2017-10-18 本田技研工業株式会社 鞍乗り型車両の自動ブレーキ装置
WO2017053415A1 (en) 2015-09-24 2017-03-30 Quovard Management Llc Systems and methods for surface monitoring
WO2017068743A1 (ja) 2015-10-22 2017-04-27 京セラ株式会社 路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法
EP3299993A1 (en) 2016-09-22 2018-03-28 OmniKlima AB Method and arrangement for determining a condition of a road surface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150224925A1 (en) * 2012-12-20 2015-08-13 Continental Teves Ag & Co. Ohg Method for Determining a State of a Pavement from Surroundings Sensor Data
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115235991A (zh) * 2022-08-30 2022-10-25 华创威新材料(广东)有限公司 基于纤维套管的耐磨性智能检测方法及装置
CN115235991B (zh) * 2022-08-30 2023-03-07 华创威新材料(广东)有限公司 基于纤维套管的耐磨性智能检测方法及装置

Also Published As

Publication number Publication date
US11164013B2 (en) 2021-11-02
US20200285867A1 (en) 2020-09-10
US10706294B2 (en) 2020-07-07
CN110458793B (zh) 2023-08-29
EP3564849A1 (en) 2019-11-06
US20190340445A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
CN110458793A (zh) 基于相机图像信号处理来生成和使用道路摩擦估计的方法和系统
EP3218890B1 (en) Hyper-class augmented and regularized deep learning for fine-grained image classification
US9821813B2 (en) Continuous occlusion models for road scene understanding
US9904855B2 (en) Atomic scenes for scalable traffic scene recognition in monocular videos
US9665802B2 (en) Object-centric fine-grained image classification
DE102015109270B4 (de) Verfahren zum Ermitteln eines Straßenbelagszustands für ein Fahrzeug
US11628844B2 (en) System and method for providing vehicle safety distance and speed alerts under slippery road conditions
EP3032454B1 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US8812226B2 (en) Multiobject fusion module for collision preparation system
US20160132728A1 (en) Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD)
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
CN113119960B (zh) 路滑状况下提供车辆安全距离和速度警示的系统和方法
US10839263B2 (en) System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
DE102010005290A1 (de) Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem
CN111985403B (zh) 一种基于人脸姿态估计和视线偏离的分心驾驶检测方法
CN109919074A (zh) 一种基于视觉感知技术的车辆感知方法及装置
DE112021005607T5 (de) Systeme und Verfahren für kamera-LiDAR-fusionierte Objektdetektion
Zhao et al. Road friction estimation based on vision for safe autonomous driving
CN103177248A (zh) 一种基于视觉的快速行人检测方法
CN108932587B (zh) 二维世界坐标系的俯视行人风险量化系统
Yang et al. An Improved Object Detection and Trajectory Prediction Method for Traffic Conflicts Analysis
Udah et al. Development of an Intelligent Road Anomaly Detection System for Autonomous Vehicles
Fritz Classification of Off-road Terrains
CN115817468A (zh) 一种车辆在复杂路段行驶的报警方法及装置
JP2023539513A (ja) 対象物を分類する方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant