CN113771573A - 一种基于识别路面信息的车辆悬架控制方法及装置 - Google Patents

一种基于识别路面信息的车辆悬架控制方法及装置 Download PDF

Info

Publication number
CN113771573A
CN113771573A CN202111109079.8A CN202111109079A CN113771573A CN 113771573 A CN113771573 A CN 113771573A CN 202111109079 A CN202111109079 A CN 202111109079A CN 113771573 A CN113771573 A CN 113771573A
Authority
CN
China
Prior art keywords
information
road
road surface
vehicle
sensor signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111109079.8A
Other languages
English (en)
Other versions
CN113771573B (zh
Inventor
仇彬
殷国栋
蒙越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing CHJ Automobile Technology Co Ltd
Original Assignee
Beijing CHJ Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing CHJ Automobile Technology Co Ltd filed Critical Beijing CHJ Automobile Technology Co Ltd
Priority to CN202111109079.8A priority Critical patent/CN113771573B/zh
Publication of CN113771573A publication Critical patent/CN113771573A/zh
Application granted granted Critical
Publication of CN113771573B publication Critical patent/CN113771573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B60G17/0165—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input to an external condition, e.g. rough road surface, side wind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/019—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the type of sensor or the arrangement thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B60G2400/82—Ground surface
    • B60G2400/821—Uneven, rough road sensing affecting vehicle body vibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B60G2400/82—Ground surface
    • B60G2400/823—Obstacle sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Vehicle Body Suspensions (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于识别路面信息的车辆悬架控制方法及装置，涉及车辆智能控制技术领域，能够控制行驶车辆的悬架，以达到行驶安全性和平稳性。本发明的主要技术方案为：获取车辆行驶路面对应的第一传感器信号数据，所述第一传感器信号数据是所述车辆行驶路面对应的震荡信息；获取车辆行驶路面对应的第二传感器信号数据，所述第二传感器信号数据是所述车辆行驶路面对应的图片数据；分别对所述第一传感器和第二传感器的信号数据进行处理，得到第一路面信息和第二路面信息；根据所述第一路面信息和所述第二路面信息，控制悬架。本发明应用于综合识别到的两个路面信息对车辆控制悬架。

Description

一种基于识别路面信息的车辆悬架控制方法及装置
技术领域
本发明涉及车辆智能控制技术领域，尤其涉及一种基于识别路面信息的车辆悬架控制方法及装置。
背景技术
随着科技的不断创新发展，利用科技应用去辅助进行驾驶途中路面提前检测被广泛的需求，比如对复杂路面存在的泥土、碎石、坑洼、人工路障(如减速带)等障碍物信息的识别，根据提前检测到路面信息所包含的这些障碍物信息可以指导悬架参数的调整，以期望尽可能去实现行车的安全、稳定。
目前，可以直接利用安装在轮毂周围的实时监测传感器，对正在行进的路面进行毫秒级的扫描，通过这个毫秒级传感器信号来识别路面颠簸情况，得到传感器信号为一种震荡信息，以用于去指导悬架参数的调整。
但是，对于以上毫秒级传感器方案而言，实时监测传感器所扫描的距离范围不够远、是有限的，在车辆不断行进途中，无法识别到更远的路面信息，继而无法提前识别前方更远路面信息是否存在障碍物点，如果前方路面存在障碍物点，那么就难以及时指导悬架参数的有效调整了。
发明内容
有鉴于此，本发明提供一种基于识别路面信息的车辆悬架控制方法及装置，主要目的在于分别对利用传感器识别车辆行驶路面对应的震荡信息和图像数据进行处理，得到行驶车辆前方更远的、更加全面且准确的路面信息，从而适应于前方不断变化的复杂路面情况，能够控制行驶车辆的悬架，以达到行驶安全性和平稳性。
为了达到上述目的，本发明主要提供如下技术方案：
本申请第一方面提供了一种基于识别路面信息的车辆悬架控制方法，该方法包括：
获取车辆行驶路面对应的第一传感器信号数据，所述第一传感器信号数据是所述车辆行驶路面对应的震荡信息；
获取车辆行驶路面对应的第二传感器信号数据，所述第二传感器信号数据是所述车辆行驶路面对应的图片数据；
分别对所述第一传感器和第二传感器的信号数据进行处理，得到第一路面信息和第二路面信息；
根据所述第一路面信息和所述第二路面信息，控制悬架。
在本申请第一方面的一些变更实施方式中，所述根据所述第一路面信息和所述第二路面信息，控制悬架，包括：
将所述第一路面信息和所述第二路面信息向云端服务器发送，以使所述云端服务器至少根据所述第一路面信息和所述第二路面信息确定车辆的悬架控制策略；
接收所述云端服务器下发的悬架调整指令，所述悬架调整指令中携带有调整悬架参数的策略信息；
根据所述调整悬架参数的策略信息，控制悬架。
在本申请第一方面的一些变更实施方式中，在将所述第一路面信息和所述第二路面信息向云端服务器发送之前，所述方法还包括：
根据车辆的历史障碍物点的信息，确定所述第一路面信息包含的第一障碍物点信息和所述第二路面信息包含的第二障碍物点信息是可靠障碍物点。
在本申请第一方面的一些变更实施方式中，所述车辆的历史障碍物点的信息是所述车辆历史通过所述第一障碍物点和/或第二障碍物点的识别结果；或，所述云端服务器中所述第一障碍物点和/或第二障碍物点的历史识别结果；
所述确定所述第一路面信息包含的第一障碍物点信息和所述第二路面信息包含的第二障碍物点信息是可靠障碍物点，包括：
判断所述障碍点对应的历史识别率是否大于预设识别率；
如果是，则将所述障碍物点确定为可靠障碍物点；
如果不是，则将所述障碍物点确定为不可靠障碍物点。
在本申请第一方面的一些变更实施方式中，对所述第二传感器信号数据进行处理，得到第二路面信息，包括：
按照预设百分比对所述行驶路面对应的图片数据进行抽样处理；
对经抽样处理后的图片数据进行图像增强处理，得到目标图片数据；
对所述目标图片数据进行道路语义分割处理以及对分割出的不规则道路图像进行重组；
利用视觉识别模型对重组后的图像进行处理，输出识别到的路面信息，作为第二路面信息，所述第二路面信息包含第二障碍物点信息。
在本申请第一方面的一些变更实施方式中，所述视觉识别模型通过如下方式获得：
获取行驶路面对应的历史图片数据，多个连续的所述历史图片数据组成视频流，每个所述历史图片数据携带有对应的历史时间戳；
获取历史第一路面信息包含的历史第一障碍物点信息对应的障碍物点时间戳；
按照时刻相同的规则，通过比较每个所述历史时间戳和每个所述障碍物点时间戳，将所述历史第一障碍物点信息和所述历史图片数据进行对应匹配；
选取与所述历史第一障碍物点信息匹配的历史图片数据之前连续N帧图片数据，作为正标签，所述N大于1且为正整数；
选取与所述历史第一障碍物点信息匹配的历史图片数据之后连续N帧图片，作为负标签；
利用所述正标签和所述负标签作为样本数据，训练视觉识别模型。
在本申请第一方面的一些变更实施方式中，对所述第一传感器信号数据进行处理，得到第一路面信息，包括：
利用预先训练的深度学习模型或预设识别规则处理所述第一传感器信号数据，得到第一路面信息，所述第一路面信息包含障碍物点信息；或，
利用预设识别规则处理所述传感器信号数据，得到第一路面信息。
在本申请第一方面的一些变更实施方式中，所述利用预先训练的深度学习模型处理所述第一传感器信号数据，得到第一路面信息，包括：
利用预设滑动窗口对所述第一传感器信号数据进行滑动提取震荡特征，得到多个滑动窗口对应窗口数据，所述多个滑动窗口至少存在包含了震荡特征的滑动窗口，所述震荡特征为所述第一传感器信号数据中包含的震荡数据；
将多个所述滑动窗口对应的数据组成时间序列格式；
利用预设深度学习模型处理所述时间序列格式的数据，识别包含震荡点的震荡窗口；
若判断所述震荡窗口和所述包含震荡特征的滑动窗口是匹配的，根据所述震荡窗口对应的数据，进行障碍物信号特征的识别，得到所述第一路面信息。
在本申请第一方面的一些变更实施方式中，所述传感器信号数据中至少包含四个轮毂的x轴、y轴和z轴的三向加速度和纵向位移数据；
所述利用预设识别规则处理所述传感器信号数据，得到第一路面信息，包括：
利用不同尺寸的滑动窗口对所述传感器信号数据进行处理，得到多个不同的滑动窗口数据；
通过约束滑动窗口中三向加速度和与纵向位移数据的最大值以及方差的阈值来识别震荡信号；
根据识别到的震荡信号，确定震荡窗口；
从所述震荡窗口中选取纵向位移最大点对应的定位点信息，作为障碍物点信息，所述障碍物点信息为所述第一路面信息中存在障碍物点的位置信息。
本申请第二方面提供了一种基于识别路面信息的车辆悬架控制装置，该装置包括：
获取单元，用于获取车辆行驶路面对应的第一传感器信号数据，所述第一传感器信号数据是所述车辆行驶路面对应的震荡信息；
所述获取单元，还用于获取车辆行驶路面对应的第二传感器信号数据，所述第二传感器信号数据是所述车辆行驶路面对应的图片数据；
第一处理单元，用于对所述第一传感器信号数据进行处理，得到第一路面信息；
第二处理单元，用于对所述第二传感器信号数据进行处理，得到第二路面信息；
控制单元，用于根据所述第一路面信息和所述第二路面信息，控制悬架。
在本申请第二方面的一些变更实施方式中，所述控制单元包括：
发送模块，用于将所述第一路面信息和所述第二路面信息向云端服务器发送，以使所述云端服务器至少根据所述第一路面信息和所述第二路面信息确定车辆的悬架控制策略；
接收模块，用于接收所述云端服务器下发的悬架调整指令，所述悬架调整指令中携带有调整悬架参数的策略信息；
控制模块，用于根据所述调整悬架参数的策略信息，控制悬架。
在本申请第二方面的一些变更实施方式中，所述装置还包括：
校核单元，用于在将所述第一路面信息和所述第二路面信息向云端服务器发送之前，根据车辆的历史障碍物点的信息，确定所述第一路面信息包含的第一障碍物点信息和所述第二路面信息包含的第二障碍物点信息是可靠障碍物点。
在本申请第二方面的一些变更实施方式中，所述车辆的历史障碍物点的信息是所述车辆历史通过所述第一障碍物点和/或第二障碍物点的识别结果；或，所述云端服务器中所述第一障碍物点和/或第二障碍物点的历史识别结果；
校核确定单元包括：
判断模块，用于判断所述障碍点对应的历史识别率是否大于预设识别率；
确定模块，用于如果判断所述障碍点对应的历史识别率是大于预设识别率，则将所述障碍物点确定为可靠障碍物点；
所述确定模块，还用于判断所述障碍点对应的历史识别率不大于预设识别率，则将所述障碍物点确定为不可靠障碍物点。
在本申请第二方面的一些变更实施方式中，所述第二处理单元包括：
抽样处理模块，用于按照预设百分比对所述行驶路面对应的图片数据进行抽样处理；
增强处理模块，用于对经抽样处理后的图片数据进行图像增强处理，得到目标图片数据；
分割处理模块，用于对所述目标图片数据进行道路语义分割处理以及对分割出的不规则道路图像进行重组；
模型处理模块，用于利用视觉识别模型对重组后的图像进行处理，输出识别到的路面信息，作为第二路面信息，所述第二路面信息包含第二障碍物点信息。
在本申请第二方面的一些变更实施方式中，所述视觉识别模型通过如下方式获得：
所述获取单元，还用于获取行驶路面对应的历史图片数据，多个连续的所述历史图片数据组成视频流，每个所述历史图片数据携带有对应的历史时间戳；
所述获取单元，还用于获取历史第一路面信息包含的历史第一障碍物点信息对应的障碍物点时间戳；
匹配单元，用于按照时刻相同的规则，通过比较每个所述历史时间戳和每个所述障碍物点时间戳，将所述历史第一障碍物点信息和所述历史图片数据进行对应匹配；
确定单元，用于选取与所述历史第一障碍物点信息匹配的历史图片数据之前连续N帧图片数据，作为正标签，所述N大于1且为正整数；
所述确定单元，还用于选取与所述历史第一障碍物点信息匹配的历史图片数据之后连续N帧图片，作为负标签；
训练单元，用于利用所述正标签和所述负标签作为样本数据，训练视觉识别模型。
在本申请第二方面的一些变更实施方式中，第一处理单元包括：
第一处理模块，用于利用预先训练的深度学习模型或预设识别规则处理所述第一传感器信号数据，得到第一路面信息，所述第一路面信息包含障碍物点信息；或，
第二处理模块，用于利用预设识别规则处理所述传感器信号数据，得到第一路面信息。
在本申请第二方面的一些变更实施方式中，所述第一处理模块包括：
提取子模块，用于利用预设滑动窗口对所述第一传感器信号数据进行滑动提取震荡特征，得到多个滑动窗口对应窗口数据，所述多个滑动窗口至少存在包含了震荡特征的滑动窗口，所述震荡特征为所述第一传感器信号数据中包含的震荡数据；
组成子模块，用于将多个所述滑动窗口对应的数据组成时间序列格式；
识别子模块，用于利用预设深度学习模型处理所述时间序列格式的数据，识别包含震荡点的震荡窗口；
确定子模块，用于若判断所述震荡窗口和所述包含震荡特征的滑动窗口是匹配的，根据所述震荡窗口对应的数据，进行障碍物信号特征的识别，得到所述第一路面信息。
在本申请第二方面的一些变更实施方式中，所述传感器信号数据中至少包含四个轮毂的x轴、y轴和z轴的三向加速度和纵向位移数据；
所述第二处理模块，包括：
处理子模块，用于利用不同尺寸的滑动窗口对所述传感器信号数据进行处理，得到多个不同的滑动窗口数据；
识别子模块，用于通过约束滑动窗口中三向加速度和与纵向位移数据的最大值以及方差的阈值来识别震荡信号；
确定子模块，用于根据识别到的震荡信号，确定震荡窗口；
选取子模块，用于从所述震荡窗口中选取纵向位移最大点对应的定位点信息，作为障碍物点信息，所述障碍物点信息为所述第一路面信息中存在障碍物点的位置信息
本申请第三方面提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如上述的基于识别路面信息的车辆悬架控制方法。
本申请第四方面提供了一种电子设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行如上述的基于识别路面信息的车辆悬架控制方法。
借由上述技术方案，本发明提供的技术方案至少具有下列优点：
本发明提供了一种基于识别路面信息的车辆悬架控制方法及装置，在车辆行驶过程中利用传感器获取行驶路面对应的震荡信息作为第一传感器信号数据，以及获取行驶路面对应的图片数据作为第二传感器信号数据，那么通过对这两个传感器信号数据处理而得到两个路面信息，继而综合这两个路面信息能够得到行驶车辆前方更远、更全面准确的路况信息。相较于现有技术，解决了因仅依赖毫秒级传感器得到行驶路面对应的震荡信息而指导控制悬架导致调整不够、难以适应复杂路况的技术问题。本发明是综合两个路面信息实施控制悬架，由于综合这两个路面信息能够得到行驶车辆前方更远、更全面准确的路况信息，从而适应于前方不断变化的复杂路面情况，能够控制行驶车辆的悬架，以达到行驶安全性和平稳性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种基于识别路面信息的车辆悬架控制方法流程图；
图2为本发明实施例提供的另一种基于识别路面信息的车辆悬架控制方法流程图；
图3为本发明实施例提供的一种基于识别路面信息的车辆悬架控制装置的组成框图；
图4为本发明实施例提供的另一种基于识别路面信息的车辆悬架控制装置的组成框图；
图5为本发明实施例提供的基于识别路面信息的车辆悬架控制的电子设备。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于识别路面信息的车辆悬架控制方法，如图1所示，该方法是结合传感器信号识别和基于视觉识别模型识别这两个方面去识别路面信息，用于及时指导控制调整悬架参数，对此本发明实施例提供以下具体步骤：
101、获取车辆行驶路面对应的第一传感器信号数据，第一传感器信号数据是车辆行驶路面对应的震荡信息。
对于本发明实施例，在车辆行驶过程中可以利用预先安装在轮毂对应位置的监测传感器，采集传感器信号数据至少包含车身四个轮毂的垂直向加速度值和位移值，数据采集频率可以为100-200赫兹。如果未能采集到这些传感器信号数据，还可以采用以下替代方案：比如，对于含有智能屏幕、自动驾驶功能的车一般都包含单独的陀螺仪传感器，那么也可以利用陀螺仪传感器采集相关的传感器信号数据。
在采集传感器信号数据的过程中，对于采集到的每条传感器信号数据，它是一种震荡信息，还携带采集了对应的GPS信号数据，该GPS信号数据的作用为：在后续利用传感器信号数据而识别得到路面信息之后，基于该GPS信号数据还能够进一步在路面信息中标注不同复杂路面不同路况所在位置，如标注路面信息中障碍物点信息对应的GPS定位。
102、获取车辆行驶路面对应的第二传感器信号数据，第二传感器信号数据是车辆行驶路面对应的图片数据。
对于本发明实施例，可以利用车载摄像头拍摄行驶路面得到连续拍摄到的不同图片，那么基于这些图片数据就能够获知路况信息了。拍摄图片的帧率可以是在30-60帧/秒，如果利用拍摄质量越高的摄像头，那么能够拍摄到行驶前进方向的图片就更远、更清晰。
103、分别对第一传感器和第二传感器的信号数据进行处理，得到第一路面信息和第二路面信息。
在本发明实施例中，通过分别对第一传感器和第二传感器的信号数据进行处理，将第一传感器信号数据转换为第一路面信息，以及将第二传感器信号数据转换为第二路面信息，两个路面信息相当于从两种不同途径识别行驶路面而得到的路况信息，对于路况信息而言，那么就会包含较好路况信息(比如：平坦路面)和较差路况信息(比如：坑洼等障碍物点路面)。
需要说明的是，词语“第一”和“第二”仅是作为标识，方便用于区分不同途径得到的不同路面信息，不存在词语先后顺序的含义。
104、根据第一路面信息和第二路面信息，控制悬架。
对于两种不同途径得到的第一路面信息和第二路面信息，对于一辆行驶车辆而言，两个路面信息是存在重叠之处的，那么可以互相之间进行校核。以及第二路面信息是基于对行驶路面图片数据进行处理得到的，那么随着拍摄行进前方距离越远、拍摄清晰度越高，得到图片数据所覆盖行驶前方路况信息也是越多、越全面的，所以得到第二路面信息的信息量是大于第一路面信息的信息量。因此通过综合两个路面信息，本发明实施例得到行驶车辆前方更远的、更加全面且准确的路面信息，从而适应于前方不断变化的复杂路面情况，能够及时控制行驶车辆的悬架。
示例性的，路面信息可以包含：前方平坦路况信息，又或者，对复杂路面存在的泥土、碎石、坑洼、人工路障(如减速带)等障碍物信息。那么综合两个路况信息得到前方路况信息所覆盖行进前方范围越广，信息量越多、越全面、越准确，那么在行驶车辆遇见可能存在的障碍物信息之前安全距离内，就能够及时控制调整悬架了。
本发明实施例提供了一种基于识别路面信息的车辆悬架控制方法，在车辆行驶过程中利用传感器获取行驶路面对应的震荡信息作为第一传感器信号数据，以及获取行驶路面对应的图片数据作为第二传感器信号数据，那么通过对这两个传感器信号数据处理而得到两个路面信息，继而综合这两个路面信息能够得到行驶车辆前方更远、更全面准确的路况信息。相较于现有技术，解决了因仅依赖毫秒级传感器得到行驶路面对应的震荡信息而指导控制悬架导致调整不够及时、难以适应复杂路况的技术问题。本发明实施例是综合两个路面信息实施控制悬架，由于综合这两个路面信息能够得到行驶车辆前方更远、更全面准确的路况信息，从而适应于前方不断变化的复杂路面情况，能够及时控制行驶车辆的悬架，以达到行驶安全性和平稳性。
为了对上述实施例做出更加详细的说明，本发明实施例还提供了另一种基于识别路面信息的车辆悬架控制方法，如图2所示，该方法是对上述实施例的进一步细化陈述和补充陈述，对此本发明实施例提供以下具体步骤：
201、获取车辆行驶路面对应的第一传感器信号数据，第一传感器信号数据是车辆行驶路面对应的震荡信息。
202、获取车辆行驶路面对应的第二传感器信号数据，第二传感器信号数据是车辆行驶路面对应的图片数据。
在本发明实施例中，对本步骤201-202的陈述，参见步骤101-102，此处不再赘述。
203、对第一传感器信号数据进行处理，得到第一路面信息。
在本发明实施例中，采用了两种并列的具体实施方法来得到第一路面信息，具体包括如下：
采用的一种具体实施方法是：利用预先训练的深度学习模型处理传感器信号数据，得到第一路面信息，使得第一路面信息包含标注的障碍物点信息。
采用的另一种具体实施方法是：利用预设识别规则处理传感器信号数据，得到第一路面信息，第一路面信息包含标注的障碍物点信息。该种具体实施方法，不需要借助模型处理，而是直接通过约束统计值来进行识别，可以约束的统计值有最大值、最小值、标准差等。
需要说明的是，对于以上两种具体实施方法，尤其强调识别到第一路面信息中包含的障碍物点信息，那么因为：就行驶车辆而言，遇见平坦路况，仅是适应当前路面交通标识正常行驶，适应微调车辆悬架而已；但是就坑洼、砂石等这样障碍物点的路况，是需要及时调整车辆悬架改变以适应不断变化复杂路况，才能确保车辆行驶安稳，因此就识别到的路面信息而言，处于及时调整车辆悬架的目的，识别到障碍物点信息是更加有价值的。
下面，在本发明实施例中，就以上两种并列具体实施方法，进行详细地解释说明，具体陈述如下：
第一，在本发明实施例中解释说明：针对上述采用的一种具体实施方法，利用预先训练的深度学习模型处理传感器信号数据，得到第一路面信息。
首先，利用预设滑动窗口对第一传感器信号数据进行滑动提取震荡特征，得到包含震荡特征的滑动窗口和不包含震荡特征的滑动窗口，该震荡特征为第一传感器信号数据中包含的震荡数据。该第一传感器信息号数据为步骤201获取到的传感器信号数据。
具体的，可以采用人工标注的方式将毫秒级传感器信号数据进行标注，从而预先将传感器信号数据中包含的震荡特征标记出来。
以及在本发明实施例中，还预先创建一个滑动窗口，继而利用滑动窗口协议处理传感器信号数据，具体的，包括：在滑动滑动窗口过程中，若在滑动窗口内覆盖的震荡特征占比值达到预设阈值，则确认滑动窗口为震荡窗口并标记为正标签，若在滑动窗口内覆盖的震荡特征占比值未达到预设阈值，则标记滑动窗口为负标签。据此，为方便陈述，相应的，包含震荡特征的滑动窗口标记为正标签，不包含震荡特征的滑动窗口标记为负标签。
示例性的，通过公式1(window_length＝采样赫兹/5)计算窗口长度，通过公式2(step＝window_length/5)来计算滑动步长。然后用滑动窗口对所有数据进行滑动提取，当滑动窗口中覆盖了80％以上之前标注的震荡特征，则认为该窗口是震荡窗口为正标签，其他窗口为负标签。
其次，将所有滑动窗口对应的数据组成时间序列格式。
示例性的，将传感器信号数据组织成【batch_size(批次数)，window_length(窗口长度)，dim_length(维度数)】的格式。
再者是，利用预设深度学习模型处理时间序列格式的数据，进行障碍物信号特征的识别，得到识别结果。
在本发明实施例中，预设深度学习模型可以是预设LSTM神经网络模型，该模型的处理过程为：利用预设LSTM神经网络模型处理传感器信号数据，模型最后一层设置有无震荡点的二分类输出，模型识别输出包含震荡点的窗口作为震荡窗口。
示例性的，将上述时间序列格式的窗口数据，送入到LSTM神经网络模型中，模型最后一层设置一个有无震荡点的二分类输出，进行障碍物信号特征的识别。在数据收集完整的情况下，维度应该包含：(x轴加速度，y轴加速度，z轴加速度，纵向位移)*4轮，16维数据。
本发明实施例采用LSTM算法，是因为信号数据本身属于时间序列数据的一种，LSTM等循环神经网络模型有着天生提取时间序列特征的网络结构优势，能够同时兼顾时间轴上从过去到现在的特征信息。
最后是，若识别结果匹配为识别到包含震荡特征的滑动窗口，则从识别结果中筛选障碍物点信息，障碍物点信息为第一路面信息中存在障碍物点的位置信息。
对于本发明实施例，模型识别结果为震荡窗口和非震荡窗口，那么利用该识别结果与之前经滑动窗口处理得到的已知的正标签和负标签进行比对，如果模型识别到确认为震荡窗口的滑动窗口，与经滑动窗口处理得到的正标签是匹配的，那么这相当于是一种双重验证，即最终确认这样匹配的滑动窗口内是包含障碍物信号特征的。
那么就从这样的震荡窗口内传感器信号数据中选取纵向位移之和最大的数据所对应的GPS信号数据，作为障碍物信号特征的定位，从而识别到第一路面信息中包含的障碍物点信息，也就是处于行驶路况的哪个位置存在障碍物点。
第二，对于本发明实施例，解释说明：针对另一种具体实施方法，利用预设识别规则处理传感器信号数据，得到第一路面信息。
首先，利用不同尺寸的滑动窗口对传感器信号数据进行处理，得到多个不同的滑动窗口数据。
此处需要说明的是，采用不同尺寸的滑动窗口对毫秒级传感器信号数据处理，可以不断生成窗口数据，这样操作的目的是：因为针对的不同障碍物点、不同的行驶车辆通过速度，其信号震荡范围也不一样，例如，障碍物越小，通过速度越快，其震荡信号范围越窄，反之越宽，那么使用不同尺寸的滑动窗口进行传感器信号数据的处理，就是为了适应这样震荡信号，使得在一个小的滑动窗口内震荡特征也能够被清楚的展现，而不会由于滑动窗口尺寸过大，避免出现如果滑动窗口内数据很多导致震荡特征不明显的情况出现。
其次，通过约束滑动窗口中三向加速度和与纵向位移数据的最大值以及方差的阈值来识别震荡信号，根据识别到的震荡信号，确定包含震荡特征的震荡窗口，从震荡窗口中选取纵向位移最大点对应的定位点，作为障碍物信号特征，继而得到第二路面信息中包含的障碍物点信息，也就是障碍物点在路况中的位置。
在本发明实施例中，采集到的传感器信号数据中至少包含四个轮毂的x轴、y轴和z轴的三向加速度和纵向位移数据。
示例性的，在对一个窗口数据的处理过程中，应把四个轮毂的x、y、z轴的加速度相加组成一个新的维度，即三向加速度和，同理把四个轮毂的纵向位移数据相加组成一个新的维度，即纵向位移和。如此操作的目的是：因为车辆通过障碍物时三向加速度值的变化都十分明显，并非只有单一加速度值变化明显。这里相加是为了更加突出震荡信号的波形特征，同时简化数据处理维度，为后续方便处理。因为基于规则的识别方式不像神经网络模型算法特征提取能力那么强大，所以尽量融合特征维度，简化规则计算量。
通过约束窗口中三向加速度和与纵向位移数据的最大值以及方差的阈值来识别震荡信号。其中选取各个包含震荡特征的滑动窗口中三向加速度之和的1/4位点值为加速度阈值，选取各个包含震荡特征的滑动窗口中纵向位移之和的1/4位点值为纵向位移阈值。当两者条件同时满足时，则认为该滑动窗口是震荡窗口，对于震荡点GPS值，选取该滑动窗口中纵向位移最大的震荡点对应的GPS值，作为标注的障碍信号特征的定位数据，得到第一路面信息包含的障碍物点信息，也就是路况中存在的障碍物点的定位。
204、对第二传感器信号数据进行处理，得到第二路面信息。
在本发明实施例中，本步骤是需要预先训练一个视觉识别模型，该模型是一个二分类模型，从而利用该模型处理第二传感器信号数据处理，由于第二传感器信号数据为图片数据，从而利用该模型是对图片数据进行二分类处理，得到包含障碍物特征的图片数据，也就是得到包含障碍物点信息的第二路面信息。
需要说明的是，模型训练是需要依赖样本数据的，这些样本数据为：对于拍摄到的已知图片，需要预先标注哪些图片是包含障碍物点特征的，而标注哪些图片是不包含障碍物点特征的，即预先对图片数据进行分类标注。本发明实施例获取样本数据的具体实施方法，不是依赖人工添加分类标签实现的分类标注，而是获取处理历史第一传感器信号数据得到的历史第一路面信息，从而借助第一路面信息自动执行标注历史图片数据而得到分类后历史图片数据，如此操作为自动化实现对样本数据标注分类的过程，避免人工标签分类操作的大量成本、不够准确的问题。
据此，本发明实施例所实现的训练一个视觉识别模型的具体实施方法，可以包括如下：
首先，获取行驶路面对应的历史图片数据，多个连续的历史图片数据组成视频流，每个历史图片数据携带有对应的历史时间戳。以及，获取历史第一路面信息包含的历史第一障碍物点信息对应的障碍物点时间戳。
需要说明的是，在本发明实施例中步骤201和步骤202，获取第一传感器信号数据和第二传感器信号数据是两个相互独立的工程流程，那么两个独立工作流程在同一时间段内都会获取传感器信号数据并处理输出路面信息的特点。对于历史时间段内，如果已经获知了基于历史第一传感器信号数据而得到的历史第一路面信息，那么就可以以这个历史第一路面信息包含识别到的障碍物点信息为参照，对应查找这些被识别到的障碍物点信息可以存在与哪个历史图片数据中。
其次，对应查找这些被识别到的障碍物点信息可以存在与哪个历史图片数据中，主要是依据相同时刻的时间戳来实现具体匹配操作的。按照时刻相同的规则，将每个历史图片数据的历史时间戳，与历史第一路面信息中每个障碍物点时间戳进行比较，基于相同时刻，查找两者之间存在的匹配关系，继而得到了这些障碍物点是存在于哪个历史图片数据的。
再者，对于这些与障碍物点对应匹配的历史图片数据，还可以进一步筛选下，例如选取与历史第一障碍物点信息匹配的历史图片数据之前连续N帧图片数据，作为正标签，N大于1且为正整数；以及选取与历史第一障碍物点信息匹配的历史图片数据之后连续N帧图片，作为负标签。
示例性的，本发明实施例就以任意一个障碍物点对应匹配的历史图片数据为基准，查找该障碍物点时间戳临近周围拍摄到的图片是哪些，并将该时间戳之前N秒的图片，标记为有障碍物点的正标签，以及将该时间戳之后N秒的图片，标记为无障碍物点的负标签。
对于本发明实施例，还可以进一步筛选操作，如考虑到在被选定的时间戳的时刻周围的时间数据，可能会出现正负标签标注错误的情况，可以人为纠正，也可以自动设置直接删除这些可能会存在标注错误的数据，比如，以删除该时间戳周围对应的历史图片数据的方式，保证修正后的正标签和负标签的正确性。
示例性的，操作为：获取在时间戳前后邻近M秒的图片，M小于N且为正整数。在正标签中删除与时间戳前邻近M秒的图片，作为修正后的正标签。在负标签中删除与时间戳后邻近M秒的图片，作为修正后的负标签。
最后是，利用正标签和负标签作为样本数据去训练视觉识别模型，由于本发明实施例采用自动标注样本数据去替代人工标注样本数据，大大缩减了数据分类标注的时间和处理成本，另外也避免人为标注数据错误，最终都是有助于提高了模型训练质量的。
下面，结合本发明实施例预先训练的视觉识别模型，给出“对第二传感器信号数据进行处理，得到第二路面信息”的具体实施方法，可以包括如下：
首先，按照预设百分比对行驶路面对应的图片数据进行抽样处理。以及对经抽样处理后的图片数据进行图像增强处理，得到目标图片数据。
在本发明实施例中，由于连续拍摄到图片是大致相似，处理大量相似的图片会耗费太多模型处理成本，以及如果图片效果不佳也会影响模型处理质量。因此，本发明实施例给出的应对措施为：对获取到的图片数据(即第二传感器信号数据)进行了5％比例的抽样；以及为了适应不同天气条件的应用，为确保拍摄到图片的效果，还可以考虑使用opencv对图片进行了特殊天气(下雨、下雪)下的数据增强。
以上需要说明的是，对于抽样和图片增强的方法，也可以应用到获取样本数据的过程中，从而在训练视觉识别分类模型时不必使用太多相似、质量不高的样本数据，提高模型训练效率和质量。
其次，对目标图片数据进行道路语义分割处理以及对分割出的不规则道路图像进行重组，利用视觉识别模型对重组后的图像进行处理，输出识别到的路面信息，作为第二路面信息，该第二路面信息包含了第二障碍物点信息。
本发明实施例的视觉识别模型实际上处理的是一个二分类问题，即处理输出图像中有/无障碍物点的问题。因此，可以通过剔除图片数据中和道路不相关的部分而执行一个预处理操作，例如采用U-net算法对待输入模型的图片数据像进行了道路语义分割和图像重组操作，利用该预处理操作删除掉那些与模型处理无关的数据，从而提高模型处理效率。
示例性的，对分割出来的不规则道路图像进行重新调整尺寸，调整尺寸为(Max(宽)，Max(长))，非图像部分填充0。进一步的，对调整尺寸后的图像数据进行CNN提取，这里CNN网络模型使用的是ResNet网络架构，同时对ResNet最后的全连接层使用卷积层替换，形成全卷积网络，因为这样可以适应U-net算法分割后调整尺寸的图像大小不一的问题。对ResNet全连接网络之前的FeatureMap，通过全局AvgPool方式将featureMap的size变成(1，1)的尺寸，再使用(1，1)的卷积核将通道数限定为2，再接入softmax进行2分类预测。
需要说明的是，对于本发明实施例，在模型处理行驶路面对应的图片数据的过程中，部署模型算法，不必对每一帧图片都进行预测，而是以定步长采样的预测方式，对输入模型的大量图片数据进行处理，从而解决了车辆终端控制器算力不够的问题。
205、将第一路面信息和第二路面信息向云端服务器发送，以使云端服务器至少根据第一路面信息和第二路面信息确定车辆的悬架控制策略。
在本发明实施例中，对于第一路面信息和第二路面信息，获取两个路面信息是两个独立作业的工作过程，会出现在某个时间段内是分别利用两种不同具体实施方法识别相同行驶路面的情况，也就是第一路面信息和第二路面信息会存在重合的数据，因此，本发明实施例可以基于这两个路面信息，进一步校核识别到路面信息中包含的障碍物点信息是否是可靠的，具体陈述，包括如下：
首先，根据车辆的历史障碍物点的信息，确定第一路面信息包含的第一障碍物点信息和第二路面信息包含的第二障碍物点信息是否为可靠障碍物点。
示例性的，可以利用置信度评价方法，判断第一路面信息包含的第一障碍物点信息和第二路面信息包含的第二障碍物点信息是否可靠。若判断为可靠，则将第一障碍物点信息和第二障碍物点信息存储到一个数据列表中。
需要说明的是，由于识别第一路面信息的具体实施方法有两种，所以在此也是基于这两种不同具体实施方法，进行分别说明：
对于利用预先训练的深度学习模型处理传感器信号数据，得到第一路面信息，模型二分类输出本来就是置信度，无需处理。
对于利用预设识别规则处理传感器信号数据，得到第一路面信息，其本身不输出置信度，需要利用预设置信度计算公式(1)来获取，如下：
z＝S1/(Avg(S2)*0.5)；
其中，S1是当前预测为正标签的滑动窗口方差值，S2是所有正标签滑动窗口方差的平均值。
在本发明实施例中，对于利用视觉识别模型处理并输出第二路面信息的具体实施方法，最后经过全卷积网络softmax的分类，也将得到0-1之间的置信度，可以直接使用。
以上，对于本发明实施例得到第一路面信息包含障碍物点信息和第二路面信息包含障碍物点信息，进行置信度的融合，可以采用了加权相加的方式获得，总置信度Z的计算公式(2)如下：
Z＝0.6*Z1+0.4*Z2
其中，Z1是对于识别第一路面信息，给出的置信度；Z2是对于识别第二路面信息，给出的置信度。如此操作，目的是：考虑给前者更大的权重，原因在于前者震荡检测更加可靠，能够提高整体障碍物点的预测找回率，即使错误率偏高，后面仍有筛选策略加以纠正。
其次，在利用置信度方法校验障碍物点是否为可靠障碍物点之后，还可以进行进一步校验障碍物点是否有效的操作，校验第一障碍物点信息和第二障碍物点信息分别对应的障碍物点是否为有效障碍物点，若是，则将有效障碍物点对应的障碍物点信息保留在数据列表中；若否，则将校验为无效障碍物点对应的障碍物点信息从数据列表中删除。
具体的，校验操作为：判断障碍点对应的历史识别率是否大于预设识别率；如果是，则将障碍物点确定为可靠障碍物点；如果不是，则将障碍物点确定为不可靠障碍物点。
示例性的，对于已经在数据列表中的障碍物点，同样会检测以后的识别率，如果一个点最近10次的通过检测中都没有识别到障碍物信息，则认为该障碍物点已经不存在，从数据列表删除掉。例如：之前的一个减速带，现在被人为拆除了。
示例性的，由于GPS精度问题，每次对同一个障碍物识别得到的GPS点都有细微差别。可以通过聚类的方式剔除位置相差太大的GPS点信息，剩下的GPS点通过取均值的方式确定位置，以纠正障碍物点的GPS点信息。
需要说明的是，对第一路面信息和第二路面信息进行的校核操作，可以操作的每个车辆侧，也可以是在云端服务器侧进行，下面是以校核操作在车辆侧为例，对于校核后的第一路面信息和第二路面信息，作为第三路面信息，向云端服务器发送，以使云端服务器根据接收到的第三路面信息，确定车辆的悬架控制策略，具体陈述，包括如下：
在本发明实施例中，在将第三路面信息向云端服务器之后，云端服务器根据得到的第三路面信息绘制包含路面障碍物点信息的电子地图。以及作为行驶车辆和云端服务器的通信，云端服务器会周期性地获取不同车辆的定位信息。
在本发明实施例中，在车辆侧，每个行驶车辆都会经数据处理得到第三路面信息，但就一个车辆而言，如果仅能使用自身识别到的路面信息去指导悬架参数调整，难免也会出现不准确的现象。
因此，本发明实施例给出更加优化方案为：可以建立车辆侧和云端服务器侧的数据通信，每个车辆可以将自身第三路面信息上传到云端服务器，以便云端服务器生成一个包含障碍物点信息的公共电子地图；由于每个车辆行驶路面不同，那么基于越多车辆上传的数据，将生成的电子地图更加全面。
206、接收云端服务器下发的悬架调整指令，悬架调整指令中携带有调整悬架参数的策略信息。
207、根据调整悬架参数的策略信息，控制悬架。
在本发明实施例中，结合步骤206-207给出了借助云端服务器分析运算所实现的控制车辆悬架调整过程。示例性的解释说明如下：
在车辆行驶过程中需要车辆实时向云端服务器上传GPS点位信息，根据该GPS点位信息，云端服务器可以预测规划车辆行驶路径，再结合共享地图，云端服务器可以分析到该车辆行驶路径即将遇见的障碍物点，随着车辆行驶前进以及不断向云端服务器上传GPS点位信息，若检测到车辆行驶距离前方障碍物点小于预设阈值距离时，云端服务器下发悬架控制指令到车辆，将悬架参数设置为软模式，使车辆通过障碍物点时，产生更小的颠簸。同时若检测判断车辆已经离开障碍物点后，云端再下发指令让悬架参数恢复之前的设置，这样就完成了一个完整的悬架预调整的控制流程。
以及进一步的，在车辆侧除了接收到云端服务器下发的悬架调整指令之外，还可以进一步结合本车辆自身得到识别到路面信息，也就是融合云端服务器下发的悬架控制策略和本车辆自身识别到的路面信息，及时进行控制车辆悬架。
进一步的，作为对上述图1、图2所示方法的实现，本发明实施例提供了一种基于识别路面信息的车辆悬架控制装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于基于识别到的路面信息指导控制悬架，具体如图3所示，该装置包括：
获取单元31，用于获取车辆行驶路面对应的第一传感器信号数据，所述第一传感器信号数据是所述车辆行驶路面对应的震荡信息；
所述获取单元31，还用于获取车辆行驶路面对应的第二传感器信号数据，所述第二传感器信号数据是所述车辆行驶路面对应的图片数据；
第一处理单元32，用于对所述第一传感器信号数据进行处理，得到第一路面信息；
第二处理单元33，用于对所述第二传感器信号数据进行处理，得到第二路面信息；
控制单元34，用于根据所述第一路面信息和所述第二路面信息，控制悬架。
进一步的，如图4所示，所述控制单元34包括：
发送模块341，用于将所述第一路面信息和所述第二路面信息向云端服务器发送，以使所述云端服务器至少根据所述第一路面信息和所述第二路面信息确定车辆的悬架控制策略；
接收模块342，用于接收所述云端服务器下发的悬架调整指令，所述悬架调整指令中携带有调整悬架参数的策略信息；
控制模块343，用于根据所述调整悬架参数的策略信息，控制悬架。
进一步的，如图4所示，所述装置还包括：
校核单元35，用于在将所述第一路面信息和所述第二路面信息向云端服务器发送之前，根据车辆的历史障碍物点的信息，确定所述第一路面信息包含的第一障碍物点信息和所述第二路面信息包含的第二障碍物点信息是可靠障碍物点。
进一步的，如图4所示，所述车辆的历史障碍物点的信息是所述车辆历史通过所述第一障碍物点和/或第二障碍物点的识别结果；或，所述云端服务器中所述第一障碍物点和/或第二障碍物点的历史识别结果；
校核单元35包括：
判断模块351，用于判断所述障碍点对应的历史识别率是否大于预设识别率；
确定模块352，用于如果判断所述障碍点对应的历史识别率是大于预设识别率，则将所述障碍物点确定为可靠障碍物点；
所述确定模块352，还用于判断所述障碍点对应的历史识别率不大于预设识别率，则将所述障碍物点确定为不可靠障碍物点。
进一步的，如图4所示，所述第二处理单元33包括：
抽样处理模块331，用于按照预设百分比对所述行驶路面对应的图片数据进行抽样处理；
增强处理模块332，用于对经抽样处理后的图片数据进行图像增强处理，得到目标图片数据；
分割处理模块333，用于对所述目标图片数据进行道路语义分割处理以及对分割出的不规则道路图像进行重组；
模型处理模块334，用于利用视觉识别模型对重组后的图像进行处理，输出识别到的路面信息，作为第二路面信息，所述第二路面信息包含第二障碍物点信息。
进一步的，如图4所示，所述视觉识别模型通过如下方式获得：
所述获取单元31，还用于获取行驶路面对应的历史图片数据，多个连续的所述历史图片数据组成视频流，每个所述历史图片数据携带有对应的历史时间戳；
所述获取单元31，还用于获取历史第一路面信息包含的历史第一障碍物点信息对应的障碍物点时间戳；
匹配单元36，用于按照时刻相同的规则，通过比较每个所述历史时间戳和每个所述障碍物点时间戳，将所述历史第一障碍物点信息和所述历史图片数据进行对应匹配；
确定单元37，用于选取与所述历史第一障碍物点信息匹配的历史图片数据之前连续N帧图片数据，作为正标签，所述N大于1且为正整数；
所述确定单元37，还用于选取与所述历史第一障碍物点信息匹配的历史图片数据之后连续N帧图片，作为负标签；
训练单元38，用于利用所述正标签和所述负标签作为样本数据，训练视觉识别模型。
进一步的，如图4所示，第一处理单元32包括：
第一处理模块321，用于利用预先训练的深度学习模型或预设识别规则处理所述第一传感器信号数据，得到第一路面信息，所述第一路面信息包含障碍物点信息；或，
第二处理模块322，用于利用预设识别规则处理所述传感器信号数据，得到第一路面信息。
进一步的，如图4所示，所述第一处理模块321包括：
提取子模块3211，用于利用预设滑动窗口对所述第一传感器信号数据进行滑动提取震荡特征，得到多个滑动窗口对应窗口数据，所述多个滑动窗口至少存在包含了震荡特征的滑动窗口，所述震荡特征为所述第一传感器信号数据中包含的震荡数据；
组成子模块3212，用于将多个所述滑动窗口对应的数据组成时间序列格式；
识别子模块3213，用于利用预设深度学习模型处理所述时间序列格式的数据，识别包含震荡点的震荡窗口；
确定子模块3214，用于若判断所述震荡窗口和所述包含震荡特征的滑动窗口是匹配的，根据所述震荡窗口对应的数据，进行障碍物信号特征的识别，得到所述第一路面信息。
进一步的，如图4所示，所述传感器信号数据中至少包含四个轮毂的x轴、y轴和z轴的三向加速度和纵向位移数据；
所述第二处理模块322，包括：
处理子模块3221，用于利用不同尺寸的滑动窗口对所述传感器信号数据进行处理，得到多个不同的滑动窗口数据；
识别子模块3222，用于通过约束滑动窗口中三向加速度和与纵向位移数据的最大值以及方差的阈值来识别震荡信号；
确定子模块3223，用于根据识别到的震荡信号，确定震荡窗口；
选取子模块3224，用于从所述震荡窗口中选取纵向位移最大点对应的定位点信息，作为障碍物点信息，所述障碍物点信息为所述第一路面信息中存在障碍物点的位置信息。
综上所述，本发明实施例提供了一种基于识别路面信息的车辆悬架控制方法及装置，在车辆行驶过程中利用传感器获取行驶路面对应的震荡信息作为第一传感器信号数据，以及获取行驶路面对应的图片数据作为第二传感器信号数据，那么通过对这两个传感器信号数据处理而得到两个路面信息，继而综合这两个路面信息能够得到行驶车辆前方更远、更全面准确的路况信息。相较于现有技术，解决了因仅依赖毫秒级传感器得到行驶路面对应的震荡信息而指导控制悬架导致调整不够及时、难以适应复杂路况的技术问题。本发明实施例是综合两个路面信息实施控制悬架，由于综合这两个路面信息能够得到行驶车辆前方更远、更全面准确的路况信息，从而适应于前方不断变化的复杂路面情况，能够及时控制行驶车辆的悬架，以达到行驶安全性和平稳性。
所述基于识别路面信息的车辆悬架控制装置包括处理器和存储器，上述获取单元、第一处理单元、第二处理单元和控制单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来分别对利用传感器识别车辆行驶路面对应的震荡信息和图像数据进行处理，得到行驶车辆前方更远的、更加全面且准确的路面信息，从而适应于前方不断变化的复杂路面情况，能够及时控制行驶车辆的悬架，以达到行驶安全性和平稳性。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述基于识别路面信息的车辆悬架控制方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述基于识别路面信息的车辆悬架控制方法。
本发明实施例提供了一种电子设备40，如图5所示，设备包括至少一个处理器401、以及与处理器401连接的至少一个存储器402、总线403；其中，处理器401、存储器402通过总线403完成相互间的通信；处理器401用于调用存储器402中的程序指令，以执行上述的基于识别路面信息的车辆悬架控制方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于识别路面信息的车辆悬架控制方法，其特征在于，所述方法包括：
获取车辆行驶路面对应的第一传感器信号数据，所述第一传感器信号数据是所述车辆行驶路面对应的震荡信息；
获取车辆行驶路面对应的第二传感器信号数据，所述第二传感器信号数据是所述车辆行驶路面对应的图片数据；
分别对所述第一传感器和第二传感器的信号数据进行处理，得到第一路面信息和第二路面信息；
根据所述第一路面信息和所述第二路面信息，控制悬架。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一路面信息和所述第二路面信息，控制悬架，包括：
将所述第一路面信息和所述第二路面信息向云端服务器发送，以使所述云端服务器至少根据所述第一路面信息和所述第二路面信息确定车辆的悬架控制策略；
接收所述云端服务器下发的悬架调整指令，所述悬架调整指令中携带有调整悬架参数的策略信息；
根据所述调整悬架参数的策略信息，控制悬架。
3.根据权利要求2所述的方法，其特征在于，在将所述第一路面信息和所述第二路面信息向云端服务器发送之前，所述方法还包括：
根据车辆的历史障碍物点的信息，确定所述第一路面信息包含的第一障碍物点信息和所述第二路面信息包含的第二障碍物点信息是可靠障碍物点。
4.根据权利要求3所述的方法，其特征在于，所述车辆的历史障碍物点的信息是所述车辆历史通过所述第一障碍物点和/或第二障碍物点的识别结果；或，所述云端服务器中所述第一障碍物点和/或第二障碍物点的历史识别结果；
所述确定所述第一路面信息包含的第一障碍物点信息和所述第二路面信息包含的第二障碍物点信息是可靠障碍物点，包括：
判断所述障碍点对应的历史识别率是否大于预设识别率；
如果是，则将所述障碍物点确定为可靠障碍物点；
如果不是，则将所述障碍物点确定为不可靠障碍物点。
5.根据权利要求1所述的方法，其特征在于，对所述第二传感器信号数据进行处理，得到第二路面信息，包括：
按照预设百分比对所述行驶路面对应的图片数据进行抽样处理；
对经抽样处理后的图片数据进行图像增强处理，得到目标图片数据；
对所述目标图片数据进行道路语义分割处理以及对分割出的不规则道路图像进行重组；
利用视觉识别模型对重组后的图像进行处理，输出识别到的路面信息，作为第二路面信息，所述第二路面信息包含第二障碍物点信息。
6.根据权利要求5所述的方法，其特征在于，所述视觉识别模型通过如下方式获得：
获取行驶路面对应的历史图片数据，多个连续的所述历史图片数据组成视频流，每个所述历史图片数据携带有对应的历史时间戳；
获取历史第一路面信息包含的历史第一障碍物点信息对应的障碍物点时间戳；
按照时刻相同的规则，通过比较每个所述历史时间戳和每个所述障碍物点时间戳，将所述历史第一障碍物点信息和所述历史图片数据进行对应匹配；
选取与所述历史第一障碍物点信息匹配的历史图片数据之前连续N帧图片数据，作为正标签，所述N大于1且为正整数；
选取与所述历史第一障碍物点信息匹配的历史图片数据之后连续N帧图片，作为负标签；
利用所述正标签和所述负标签作为样本数据，训练视觉识别模型。
7.根据权利要求1所述的方法，其特征在于，对所述第一传感器信号数据进行处理，得到第一路面信息，包括：
利用预先训练的深度学习模型或预设识别规则处理所述第一传感器信号数据，得到第一路面信息，所述第一路面信息包含障碍物点信息；或，
利用预设识别规则处理所述传感器信号数据，得到第一路面信息。
8.根据权利要求7所述的方法，其特征在于，所述利用预先训练的深度学习模型处理所述第一传感器信号数据，得到第一路面信息，包括：
利用预设滑动窗口对所述第一传感器信号数据进行滑动提取震荡特征，得到多个滑动窗口对应窗口数据，所述多个滑动窗口至少存在包含了震荡特征的滑动窗口，所述震荡特征为所述第一传感器信号数据中包含的震荡数据；
将多个所述滑动窗口对应的数据组成时间序列格式；
利用预设深度学习模型处理所述时间序列格式的数据，识别包含震荡点的震荡窗口；
若判断所述震荡窗口和所述包含震荡特征的滑动窗口是匹配的，根据所述震荡窗口对应的数据，进行障碍物信号特征的识别，得到所述第一路面信息。
9.根据权利要求7所述的方法，其特征在于，所述传感器信号数据中至少包含四个轮毂的x轴、y轴和z轴的三向加速度和纵向位移数据；
所述利用预设识别规则处理所述传感器信号数据，得到第一路面信息，包括：
利用不同尺寸的滑动窗口对所述传感器信号数据进行处理，得到多个不同的滑动窗口数据；
通过约束滑动窗口中三向加速度和与纵向位移数据的最大值以及方差的阈值来识别震荡信号；
根据识别到的震荡信号，确定震荡窗口；
从所述震荡窗口中选取纵向位移最大点对应的定位点信息，作为障碍物点信息，所述障碍物点信息为所述第一路面信息中存在障碍物点的位置信息。
10.一种基于识别路面信息的车辆悬架控制装置，其特征在于，所述装置包括：
获取单元，用于获取车辆行驶路面对应的第一传感器信号数据，所述第一传感器信号数据是所述车辆行驶路面对应的震荡信息；
所述获取单元，还用于获取车辆行驶路面对应的第二传感器信号数据，所述第二传感器信号数据是所述车辆行驶路面对应的图片数据；
第一处理单元，用于对所述第一传感器信号数据进行处理，得到第一路面信息；
第二处理单元，用于对所述第二传感器信号数据进行处理，得到第二路面信息；
控制单元，用于根据所述第一路面信息和所述第二路面信息，控制悬架。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-9中任一项所述的基于识别路面信息的车辆悬架控制方法。
12.一种电子设备，其特征在于，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-9中任一项所述的基于识别路面信息的车辆悬架控制方法。
CN202111109079.8A 2021-09-22 2021-09-22 一种基于识别路面信息的车辆悬架控制方法及装置 Active CN113771573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111109079.8A CN113771573B (zh) 2021-09-22 2021-09-22 一种基于识别路面信息的车辆悬架控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111109079.8A CN113771573B (zh) 2021-09-22 2021-09-22 一种基于识别路面信息的车辆悬架控制方法及装置

Publications (2)

Publication Number Publication Date
CN113771573A true CN113771573A (zh) 2021-12-10
CN113771573B CN113771573B (zh) 2023-06-13

Family

ID=78852611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111109079.8A Active CN113771573B (zh) 2021-09-22 2021-09-22 一种基于识别路面信息的车辆悬架控制方法及装置

Country Status (1)

Country Link
CN (1) CN113771573B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114211926A (zh) * 2021-12-31 2022-03-22 重庆工业职业技术学院 一种颠簸路面的汽车悬架控制系统
CN114779790A (zh) * 2022-06-16 2022-07-22 小米汽车科技有限公司 识别障碍物方法、装置、车辆、服务器、存储介质及芯片
CN118168606A (zh) * 2024-05-11 2024-06-11 四川瞪羚腾光科技有限公司 一种车载移动测量的视觉引导方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106891684A (zh) * 2015-12-17 2017-06-27 北京奇虎科技有限公司 基于车辆的减震处理方法、装置和汽车
CN108941995A (zh) * 2018-08-18 2018-12-07 安徽星宇生产力促进中心有限公司 一种效率高的便捷式自动焊接机器人及其使用方法
CN110211337A (zh) * 2019-05-23 2019-09-06 余毛炫堤 一种地面震荡感知预警系统
CN110654195A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆、车辆悬架系统及其调节方法、装置
CN111708372A (zh) * 2020-08-24 2020-09-25 广州赛特智能科技有限公司 一种无人驾驶清扫车颠簸路面自适应安全行驶方法及系统
CN112016366A (zh) * 2019-05-31 2020-12-01 北京车和家信息技术有限公司 一种障碍物定位方法及装置
US20210178845A1 (en) * 2019-12-13 2021-06-17 Hyundai Motor Company Method and apparatus for controlling electronic control suspension

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106891684A (zh) * 2015-12-17 2017-06-27 北京奇虎科技有限公司 基于车辆的减震处理方法、装置和汽车
CN110654195A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆、车辆悬架系统及其调节方法、装置
CN108941995A (zh) * 2018-08-18 2018-12-07 安徽星宇生产力促进中心有限公司 一种效率高的便捷式自动焊接机器人及其使用方法
CN110211337A (zh) * 2019-05-23 2019-09-06 余毛炫堤 一种地面震荡感知预警系统
CN112016366A (zh) * 2019-05-31 2020-12-01 北京车和家信息技术有限公司 一种障碍物定位方法及装置
US20210178845A1 (en) * 2019-12-13 2021-06-17 Hyundai Motor Company Method and apparatus for controlling electronic control suspension
CN111708372A (zh) * 2020-08-24 2020-09-25 广州赛特智能科技有限公司 一种无人驾驶清扫车颠簸路面自适应安全行驶方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114211926A (zh) * 2021-12-31 2022-03-22 重庆工业职业技术学院 一种颠簸路面的汽车悬架控制系统
CN114779790A (zh) * 2022-06-16 2022-07-22 小米汽车科技有限公司 识别障碍物方法、装置、车辆、服务器、存储介质及芯片
CN118168606A (zh) * 2024-05-11 2024-06-11 四川瞪羚腾光科技有限公司 一种车载移动测量的视觉引导方法及系统

Also Published As

Publication number Publication date
CN113771573B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN108345822B (zh) 一种点云数据处理方法及装置
CN113771573A (zh) 一种基于识别路面信息的车辆悬架控制方法及装置
CN110753892A (zh) 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
CN110738857A (zh) 一种车辆违章取证方法、装置及设备
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN112348848A (zh) 一种交通参与者的信息生成方法及系统
KR20210052031A (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN112990293B (zh) 一种点云标注方法、装置和电子设备
US20230419683A1 (en) Method and system for automatic driving data collection and closed-loop management
CN112926575A (zh) 交通事故识别方法、装置、电子设备和介质
CN111127520A (zh) 一种基于视频分析的车辆跟踪方法和系统
CN113643431A (zh) 一种用于视觉算法迭代优化的系统及方法
Thiruppathiraj et al. Automatic pothole classification and segmentation using android smartphone sensors and camera images with machine learning techniques
CN114694078A (zh) 一种基于多目标跟踪的交通行为判定方法
CN111009136A (zh) 一种高速公路行驶速度异常车辆检测方法、装置及系统
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN116052469A (zh) 一种基于车路协同轨迹预测的车辆碰撞预警方法
CN114684197A (zh) 避障场景的检测方法、装置、设备及存储介质
CN112698315B (zh) 移动设备定位系统、方法及设备
CN114241373A (zh) 一种端到端的车辆行为检测方法、系统、设备及存储介质
CN114037750A (zh) 一种轨道虚拟应答器的实现方法
CN113850112A (zh) 基于孪生神经网络的路况识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant