CN114332828A

CN114332828A - 基于双目立体相机的悬架阻尼器的工作模式调整方法和系统

Info

Publication number: CN114332828A
Application number: CN202210262007.5A
Authority: CN
Inventors: 杨超; 王欣亮; 苏文秀; 李林可; 裴姗姗; 姚纯纯; 肖志鹏
Original assignee: Beijing Smarter Eye Technology Co Ltd
Current assignee: Beijing Smarter Eye Technology Co Ltd
Priority date: 2022-03-17
Filing date: 2022-03-17
Publication date: 2022-04-12

Abstract

本发明公开了一种基于双目立体相机的悬架阻尼器的工作模式调整方法和系统，所述方法包括：采集目标区域内的原始图像，并根据所述原始图像生成深度图像；基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；基于所述路面状态信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。这样，该方法通过获取的图像信息生成路面状况信息，并基于路面状况信息自动生成用于调整悬架阻尼器的工作模式的指令，进而根据指令自动调整悬架的工作模式，以便在车辆行驶状态调整时融合相机传感器的感知信息，从而提高车辆的安全性和舒适性。

Description

基于双目立体相机的悬架阻尼器的工作模式调整方法和系统

技术领域

本发明涉及智能驾驶技术领域，具体涉及一种基于双目立体相机的悬架阻尼器的工作模式调整方法和系统。

背景技术

随着智能驾驶的需求越来越高，准确的获取驾驶场景中的多样信息，也显得越来越重要。双目传感器系统作为同时能获取场景空间和图像信息的多用途和低成本传感器，在智能驾驶系统的作用也显得越发重要。同时，传统车辆底盘也发展出智能底盘这一形态，方便对车身进行智能控制。

因此，提供一种基于双目立体相机的悬架阻尼器的工作模式调整方法和系统，以便在车辆行驶状态调整时融合相机传感器的感知信息，从而提高车辆的安全性和舒适性，就成为本领域技术人员亟待解决的问题。

发明内容

为此，本发明实施例提供一种基于双目立体相机的悬架阻尼器的工作模式调整方法和系统，以便在车辆行驶状态调整时融合相机传感器的感知信息，从而提高车辆的安全性和舒适性。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于双目立体相机的悬架阻尼器的工作模式调整方法，所述方法包括：

采集目标区域内的原始图像，并根据所述原始图像生成深度图像；

基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；

基于所述路面状况信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。

进一步地，基于所述路面状况信息生成状态调整指令，之前还包括：

利用预存的深度学习语义分割模型对目标区域进行分割，以得到不同类别的路面状态，并分别添加类别标签。

进一步地，利用预存的深度学习模型得到路面状况信息，基于所述路面状况信息生成状态调整指令，具体包括：

通过所述深度图像重建所述目标区域的三维信息；

根据所述三维信息检测车辆行驶轨迹内的地面障碍物和/或限高装置，以输出高度限制检测结果；

判定所述高度限制检测结果为无法通过，则生成调高悬架指令和预警指令。

进一步地，所述深度学习模型包括深度学习分类网络，输出高度限制检测结果之后还包括：

判定所述高度限制检测结果为可以通过，则利用预存的深度学习分类网络对路面材质进行分类；

根据材质分类信息通过查表得到路面附着系数，并以所述路面材质和所述路面附着系数作为所述路面状况信息；

基于所述路面状况信息判定所述目标区域的地面材质为硬质路面，则生成的行驶模式调整指令。

进一步地，基于所述路面状况信息判定所述目标区域的地面材质为非硬质路面，则检测所述目标区域的不平度，并生成不平度等级；

根据所述目标区域的不平度等级生成舒适模式调整指令、运动模式调整指令或行驶模式调整指令。

进一步地，检测所述目标区域的不平度，并生成不平度等级，具体包括：

通过所述深度图像，计算所述目标区域的道路表面轮廓的高度信息；

基于所述高度信息，利用以下公式得到所述不平度等级：

其中：n为空间频率

；

为参考空间频率；

为参考空间频率下的路面功率谱密度；

W为频率指数。

本发明还提供一种基于双目立体相机的悬架阻尼器的工作模式调整系统，其特征在于，所述系统包括：

图像获取单元，采集目标区域内的原始图像，并根据所述原始图像生成深度图像；

路面状况信息获取单元，用于基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；

指令生成单元，用于基于所述路面状况信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。

进一步地，所述系统还包括：

类别标签生成单元，用于利用预存的深度学习语义分割模型对目标区域进行分割，以得到不同类别的路面状态，并分别添加类别标签。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。

本发明所提供的基于双目立体相机的悬架阻尼器的工作模式调整方法，通过采集目标区域内的原始图像，并根据所述原始图像生成深度图像；基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；基于所述路面状况信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。这样，该方法通过获取的图像信息生成路面状况信息，并基于路面状况信息自动生成用于调整悬架阻尼器的工作模式的指令，进而根据指令自动调整悬架的工作模式，以便在车辆行驶状态调整时融合相机传感器的感知信息，从而提高车辆的安全性和舒适性。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的基于双目立体相机的悬架阻尼器的工作模式调整方法一种具体实施方式的流程图；

图2为一个实施例中的原始图像；

图3为图2所示实施例中的深度图像；

图4为本发明所提供方法的搭载设备；

图5为本发明所提供的基于双目立体相机的悬架阻尼器的工作模式调整方法另一种具体实施方式的流程图；

图6为本发明所提供方法的一个具体使用场景下的流程图；

图7为本发明所提供的基于深度学习的立体匹配系统一种具体实施方式的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决自动驾驶、辅助驾驶车辆行驶体验较差的问题，本发明提供一种基于双目立体相机的悬架阻尼器的工作模式调整方法，其融合相机传感器感知信息，通过智能底盘调控系统，以提高驾驶行驶体验。

在一种具体实施方式中，如图1所示，本发明所提供的基于双目立体相机的悬架阻尼器的工作模式调整方法包括以下步骤：

S101：采集目标区域内的原始图像，并根据所述原始图像生成深度图像；双目立体相机能够输出如图2所示的二维彩色图像（即原始图像）和如图3所示的深度图像，即深度视差图，不需要额外处理可以直接输出给下个步骤。

S102：基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；

S103：基于所述路面状况信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。

本发明所提供的方法用于带有双目立体相机1、终端控制器2和智能底盘3的智能驾驶汽车上，硬件的基本组成如图4所示，各硬件之间的结构关系和电气连接关系均与现有技术相同，在此不做赘述。其中，智能驾驶汽车相机传感器数量通常不止一个，单纯前向视觉感知方案中就存在单目相机，双目立体相机和多目相机不同方案，该本实施例是基于双目立体相机。常见的终端硬件有控制器盒、工控机、域控制器、专用芯片等等。即计算单元，用于将相机采集的图像数据处理成环境感知信息。底盘上控制车辆悬架的硬件，有空气弹簧和连续可调阻尼减振器（CDC）两种形式。

进一步地，为了便于根据不同的路面状态生成调整指令，可先对路面状态进行分类。则在基于所述路面状况信息生成状态调整指令，之前还包括：

利用预存的深度学习语义分割模型对目标区域进行分割，以得到不同类别的路面状态，并分别添加类别标签。也就是说，感知前方道路路面语义信息时，通过深度学习语义分割模型对路面区域风割不同类别。例如通过语义分割网络DeepLabV3+网络将图像路面区域分割成不同标签类别，标签类别例如路面，路面标识，井盖，减速带，路面积水，接缝等。

因此，在一些实施例中，如图5所示，该方法包括以下步骤：

S501：采集目标区域内的原始图像，并根据所述原始图像生成深度图像；

S502：基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；

S503：利用预存的深度学习语义分割模型对目标区域进行分割，以得到不同类别的路面状态，并分别添加类别标签；

S504：基于所述路面状况信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。

在车辆行驶过程中，可能会出现限高或者路面出现凸起障碍物的情况，这样，在步骤S103中，利用预存的深度学习模型得到路面状况信息，基于所述路面状况信息生成状态调整指令，具体包括以下步骤：

通过所述深度图像重建所述目标区域的三维信息；

根据所述三维信息检测车辆行驶轨迹内的地面障碍物，以输出高度限制检测结果；感知行车轨迹前方通行高度：通过深度图像重建的前方地面三维信息，检测车辆行驶轨迹上可能影响车辆通过性的地面障碍物，或者限高装置，输出高度限制的检测结果。

若判定所述高度限制检测结果为无法通过，则生成调高悬架指令和预警指令。

若判定所述高度限制检测结果为可以通过，则利用预存的深度学习分类网络对路面材质进行分类；应当理解的是，此时，所述深度学习模型包括深度学习分类网络；

也就是说，当可以通过后，感知前方道路路面材质信息，通过深度学习分类网络对路面材质进行分类，至少包含冰雪路面、硬质路面、泥地、涉水，再由材质信息查表得到路面附着系数信息。

根据所述目标区域的不平度等级生成舒适模式调整指令、运动模式调整指令或行驶模式调整指令。具体地，悬架减振器的阻尼力可以在4个等级之间切换，即“硬”（FIRM），“正常”（NORMAL），“舒适”（COMFORT）和“软”（SOFT），分别对应的阻尼力为“坚硬”，“中等硬度”，“软”和“柔软”。行驶模式下，控制单元依据车速不同会将悬架的阻尼力切换到“正常”或“硬”等级，以提高急转弯等工况下车辆的稳定性。舒适模式下，控制单元依据车速不同，将悬架的阻尼力切换到“舒适”或“软”等级，该模式着眼于乘坐的舒适性，适宜汽车在高等级路面行驶。运动模式下，控制单元会将悬架的阻尼力切换到“软”等级，同时悬架高度抬高，该模式能最大程度减少路面对车身的冲击激励，提高驾驶体验。

可见，悬架的各个模式有相应的悬架高度和阻尼大小，具体数值和每辆车出厂设置有关，从一个模式切换为另外一个模式时，会将悬架的高度和阻尼切换到对应模式，与当前悬架状态无关。

其中，检测所述目标区域的不平度，并生成不平度等级，具体包括：

感知前方路面不平度系数：通过深度图像信息，能够计算出前方道路表面轮廓高度信息，将高度信息带入路面不平度的功率谱密度函数，即，基于所述高度信息，利用以下公式得到所述不平度等级：

其中：n为空间频率

，表示每米长度包括几个波长；

为参考空间频率，

；

为参考空间频率下的路面功率谱密度，也称为不平度系数；

W为频率指数。

为了提高悬架调整效果，本发明还感知前方路面冲击目标位置，融合语义分割结果和深度图像信息，对可能对车辆平顺性产生冲击的凸起或凹陷目标位置并跟踪，根据车辆运动状态预测行驶轨迹，计算可能发生接触的距离和时间。

在根据状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式时，依据感知算法提供感知信息（场景信息，路面颠簸程度，冲击目标位置），调节智能底盘的空气弹簧和可调阻尼减振器（CDC）让车辆行驶稳定舒适。

具体地，如图6所示，底盘控制器根据接收到的检测结果，分别做出以下决策控制动作：

首先判断前方是否存在不可通行障碍物，如果存在，则将悬架高调整至可以通行高度，如果依然不可通行，则发出报警信号甚至停车。

其次判断地面材质是否属于硬质路面，如果不是，则切换至相应车辆驾驶模式。

如果车辆处于硬质路面，则判断前方道路的不平度。如果不平度等级大于B级别，则设置车辆行驶模式为舒适模式，增加悬架CDC阻尼力避免车轮跳动；如车辆处于较平整路面(不平度等级A、B和C级别)，则将车辆行驶模式设为运动模式行驶模式。其中，不平度等级可根据现有技术的划分标准划分为A-H八个级别。

根据得到的前方冲击冲击目标位置情况，以及可能发生接触的距离和时间，临时将车辆行驶模式调整至舒适模式。根据车辆加速度传感器信号，在车辆通过冲击路面后，重新将行驶模式调整回运动模式行驶模式。

在上述具体实施方式中，本发明所提供的基于双目立体相机的悬架阻尼器的工作模式调整方法，通过采集目标区域内的原始图像，并根据所述原始图像生成深度图像；基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；基于所述路面状况信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。这样，该方法通过获取的图像信息生成路面状况信息，并基于路面状况信息自动生成用于调整悬架阻尼器的工作模式的指令，进而根据指令自动调整悬架的工作模式，以便在车辆行驶状态调整时融合相机传感器的感知信息，从而提高车辆的安全性和舒适性。

除了上述方法，本发明还提供一种基于双目立体相机的悬架阻尼器的工作模式调整系统，如图7所示，所述系统包括：

图像获取单元100，采集目标区域内的原始图像，并根据所述原始图像生成深度图像；

路面状况信息获取单元200，用于基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；

指令生成单元300，用于基于所述路面状况信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。

进一步地，所述系统还包括：

类别标签生成单元400，用于利用预存的深度学习语义分割模型对目标区域进行分割，以得到不同类别的路面状态，并分别添加类别标签。

在上述具体实施方式中，本发明所提供的基于双目立体相机的悬架阻尼器的工作模式调整系统，通过采集目标区域内的原始图像，并根据所述原始图像生成深度图像；基于所述原始图像和所述深度图像，利用预存的深度学习模型得到路面状况信息；基于所述路面状况信息生成状态调整指令，以便底盘控制系统根据所述状态调整指令调整悬架阻尼器的工作模式。这样，该方法通过获取的图像信息生成路面状况信息，并基于路面状况信息自动生成用于调整悬架阻尼器的工作模式的指令，进而根据指令自动调整悬架的工作模式，以便在车辆行驶状态调整时融合相机传感器的感知信息，从而提高车辆的安全性和舒适性。

与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。

易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。