CN116729042A - 一种改进的yolox-nano模型、以及基于此模型的汽车电控悬架控制方法 - Google Patents

一种改进的yolox-nano模型、以及基于此模型的汽车电控悬架控制方法 Download PDF

Info

Publication number
CN116729042A
CN116729042A CN202310385447.4A CN202310385447A CN116729042A CN 116729042 A CN116729042 A CN 116729042A CN 202310385447 A CN202310385447 A CN 202310385447A CN 116729042 A CN116729042 A CN 116729042A
Authority
CN
China
Prior art keywords
automobile
model
yolox
nano
improved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310385447.4A
Other languages
English (en)
Inventor
王海
秦启瑞
蔡英凤
张洲宇
陈龙
李祎承
刘擎超
刘泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202310385447.4A priority Critical patent/CN116729042A/zh
Publication of CN116729042A publication Critical patent/CN116729042A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B60G17/0165—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input to an external condition, e.g. rough road surface, side wind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/018—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/018—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method
    • B60G17/0182—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method involving parameter estimation, e.g. observer, Kalman filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Vehicle Body Suspensions (AREA)

Abstract

本发明公开了一种改进的YOLOX‑NANO模型、以及基于此模型的汽车电控悬架控制方法，S1构建障碍物数据集，对样本进行标注，划分训练集与验证集，S2采用迁移学习方式选出最优模型，将最优模型部署到嵌入式平台，用TensorRT对模型进行加速优化；S3外接摄像头对汽车前方路面实时检测，由模型检测出障碍物，将结果输入SORT跟踪器，对障碍物在时间序列内进行跟踪；S4将每一个独立的跟踪目标在图像中的坐标转换成汽车车轮到障碍物的实际距离，结合实时车速、障碍物几何尺寸，计算汽车车轮与障碍物即将发生接触的起始时间和接触的末尾时间，在起始时间，调节悬架的阻尼；在末尾时间，调节悬架的阻尼到正常状态，实现悬架控制的精确优化，提升汽车行驶的舒适性。

Description

一种改进的YOLOX-NANO模型、以及基于此模型的汽车电控悬 架控制方法
技术领域
本发明属于汽车电控悬架控制领域，具体涉及一种改进的YOLOX-NANO模型以及基于此模型的汽车电控悬架控制方法。
背景技术
汽车在普通道路上行驶时，井盖与减速带为较常见的道路障碍，但因为其功能的特殊性而往往无法被清除，导致行驶汽车舒适性的降低。为了提升汽车行驶舒适性，行驶汽车需要对路面进行实时感知并根据感知信号调控悬架系统，而在现有的路面识别技术中，可以采取直接测量法和基于车辆信号的逆向路面识别法，但这两种方法都依赖于高精度的传感器，高精度的传感器一般制造成本高昂，增加了实际部署的成本，而且为了维持传感器高精度的测量，往往需要对高精度传感器进行定期的适配维护；同时，上述两种路面识别方法不能针对指定的道路障碍进行识别，在一定程度上限制了其适用范围，无法适用于实际复杂的道路情况，并且在使用时具有一定的延迟性，无法满足汽车在较高车速下感知路面所要求的精确性与实时性。
近年来随着深度学习与卷积神经网络的高速发展，人们逐渐用人工智能来实现汽车对路面的感知，但其对算力有着较高要求，实现低成本而又高效的部署方案对降低制造成本和提高使用性能起着重要作用；同时，现有的汽车感知系统与汽车悬架控制系统之间的交互逻辑仍需要完善。
因此，本发明提出一种改进的YOLOX-NANO模型、以及基于此模型的低成本的实时汽车电控悬架控制方法，对提升汽车行驶的舒适性具有重要意义。
发明内容
针对现有技术存在的不足之处，本发明提供了一种改进的YOLOX-NANO模型、以及基于此模型的汽车电控悬架控制方法，可以提升道路行驶汽车的舒适性。相比于传统的基于路面识别的汽车电控悬架控制方法，本发明可以降低成本，并增强实时性与精确性，为提升道路行驶汽车的舒适性提供了一种新方法。
为实现上述技术目的，本发明采用如下技术方案：
本发明设计了一种改进的YOLOX-NANO模型，具体结构详细如下：
改进的YOLOX-NANO网络由主干特征提取网络，特征增强融合网络以及检测头网络三部分构成；
其中主干特征提取网络对送入网络的图片进行初步的特征提取，并生成三种不同尺度的特征图；
特征增强融合网络将主干特征提取网络生成的三种不同尺度的特征图进行多尺度的特征融合，生成三种不同尺度的融合特征图；
检测头网络将特征增强融合网络生成的三种不同尺度的融合特征图经过尺寸改变后沿特征通道维度拼接生成一个特征图，该特征图经过卷积模块与线性层后分别输出目标的种类以及目标预测框；
作为一种优选的实施方案，所述主干特征提取网络由十一个基础特征提取块构成，每一个基础特征提取块按顺序分别包含：3×3的卷积层、批归一化层、ReLU激活函数层、5×5的深度可分离卷积层、批归一化层、ReLU激活函数层，同时每一个基础特征提取块通过残差结构将未进入基础特征提取块处理的特征图直接与经过基础特征提取块处理后得到的特征图相加，将十一个基础特征提取块叠加构成了改进YOLOX-NANO网络的主干特征提取网络。
作为一种优选的实施方案，所述主干特征提取网络生成的三种不同尺度特征图分别为原图尺寸的1/4、1/8以及1/16，分别命名为S3、S4、S5。
作为一种优选的实施方案，所述特征增强融合网络结构如图4所示，输入分别为主干特征提取网络输出的S3、S4、S5，其中，S5先进行两倍的上采样操作将特征图尺寸增大，并与输入的S4相加用来更新S4的数值，更新数值后的S4有三条分支流向：首先，S4经过并行的3×3的卷积层、ReLU激活函数层和1×1的卷积层、ReLU激活函数层，得到的两个数值相加后再经过两倍上采样与S3沿特征通道维度拼接后记为F3；其次，S4本身直接将数值传递给F4；最后，S4经过并行的3×3的卷积层、ReLU激活函数层和1×1的卷积层、ReLU激活函数层，得到的两个数值相加后再经过两倍下采样与S5沿特征通道维度拼接后记为F5。
作为一种优选的实施方案，所述检测头网络将特征增强融合网络输出的特征图F3两倍下采样为F4的尺寸，将特征图F5两倍上采样为F4的尺寸，再将F3、F4、F5沿特征通道维度拼接，拼接后的特征图依次经过1×1的卷积层、ReLU激活函数层得到特征图P，特征图P经过两个并行的线性层后分别输出目标的种类以及目标预测框。
一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，包括如下步骤：
(1)用相机对道路上的井盖与减速带两种不同障碍进行拍照取样来构建数据集，数据集总量为1262张，用标注软件对数据集中的道路井盖与减速带分别进行标注，并在此基础上划分出训练集与验证集，用训练集训练模型，而用验证集对训练出的模型进行验证；
(2)采用迁移学习的方式，用训练集对改进YOLOX-NANO模型进行多轮训练，并用验证集对训练好的模型进行检验，挑选出验证效果最优的模型，将筛选出的改进YOLOX-NANO模型部署到英伟达的嵌入式平台Jetson Nano上，用TensorRT对模型进行加速优化；
(3)通过Jetson Nano上的外接摄像头对汽车行驶的前方路面进行实时检测，改进YOLOX-NANO模型分别检测出井盖与减速带两种障碍，并将检测结果输入SORT跟踪器，对道路井盖与减速带在时间序列内进行跟踪；
(4)将嵌入式平台Jetson Nano部署在汽车上，汽车行驶时，嵌入式平台从汽车电子控制单元获取汽车轮胎转角、汽车当前速度，并根据摄像头在车身坐标系中的相对位置与当前视频帧中跟踪目标的相对位置来计算获取实际汽车车轮到跟踪到的井盖或者减速带之间的实时距离，同时结合汽车的实时速度、井盖或减速带的几何尺寸，分别计算得到汽车车轮与井盖或者减速带即将发生接触的起始时间和汽车车轮与井盖或者减速带结束接触的末尾时间，嵌入式平台在发生接触的起始时间节点上，向电控悬架控制器发送信号，调节悬架的阻尼；嵌入式平台在结束接触的末尾时间节点上，再次向电控悬架控制器发送信号，调节悬架的阻尼到正常状态，实现悬架控制的精确优化，提升汽车行驶的舒适性。
作为一种优选的实施方案，所述步骤(1)中，构建的数据集包含道路上常见的井盖与减速带两种障碍，数据集中所有图片均为JPG格式，为了增强训练出的模型的泛性，要求将从不同角度、不同距离、不同光照条件以及多种道路场景下拍摄的道路井盖与减速带的照片作为数据集样本。
作为一种优选的实施方案，所述步骤(1)中，用LabelImg标注软件对数据集中道路井盖与减速带两个类别分别进行标注，标签名称分别为Manhole cover和Decelerationzone，标注完成后生成相应的XML格式的标注文件，每一个XML标注文件分别记录了对应的图片样本中井盖或者减速带的类别信息以及位置信息，最后将数据集按照9:1的比例随机划分为训练集与验证集。
作为一种优选的实施方案，所述步骤(2)中，在用数据集对模型训练前，需要对数据集进行预处理，包括改变图像原始的长和宽以及对图片进行边缘填充，以减少模型推理的运算量。
作为一种优选的实施方案，所述步骤(2)中，在COCO数据集上训练改进YOLOX-NANO模型所得的权重文件作为初始训练权重，以此来实现迁移学习。
作为一种优选的实施方案，所述步骤(2)中，改进YOLOX-NANO模型首先通过主干网络来初步提取特征，然后再将提取到的多尺度特征进行特征融合，以改善网络对不同尺寸大小物体的检测效果，将融合后的不同尺度的特征送入检测头中，检测头采用了解耦的形式，解耦后的分支分别实现了分类和回归任务。
作为一种优选的实施方案，所述步骤(2)中，改进YOLOX-NANO模型训练过程中，由于模型深度较小，并且数据集的数据量有限，为了获得检测性能最优的模型，需要避免模型过拟合而导致的误检，为此采用了不同的训练策略以及设置不同的训练轮数对改进YOLOX-NANO模型进行训练，具体训练步骤如下：分别选取70轮，100轮，120轮，130轮的训练轮数，而对于每一个采用不同训练轮数的训练过程中，分别又进行了采用Mixup数据增强和不采用Mixup数据增强的对照实验，并在所有实验所得结果中选取利用验证集验证所得精度最高的模型作为最终的检测模型。
作为一种优选的实施方案，所述步骤(2)中，Jetson Nano为算力较低的嵌入式平台，为了实现实时的检测，需要将部署到Jetson Nano上的改进YOLOX-NANO模型用TensorRT进行前向推理的加速优化，首先需要将改进YOLOX-NANO模型转为ONXX格式，再由ONXX格式转化为TensorRT格式。
作为一种优选的实施方案，所述步骤(3)中，外接摄像头的工作原理为：
摄像头通过CSI接口连接到Jetson Nano上；
摄像头通过OpenCV实时读取输入的道路场景视频流，并送入改进YOLOX-NANO模型进行推理。
作为一种优选的实施方案，所述步骤(3)中，SORT跟踪器根据不同时刻视频帧中物体间的IOU数值来判断是否为同一物体并实现目标跟踪。
作为一种优选的实施方案，所述步骤(4)中，为了使嵌入式平台Jetson Nano获取相对精确的车身坐标系与地面坐标系之间的位置关系，需要将嵌入式平台部署在汽车底盘前端位置，并将摄像头拍摄视角与车身水平截面保持固定的角度。
作为一种优选的实施方案，所述步骤(4)中，嵌入式平台从汽车电子控制单元获取汽车轮胎转角、汽车当前速度，并根据摄像头在车身坐标系中的相对位置与当前视频帧中跟踪目标的相对位置来计算获取实际汽车车轮到跟踪到的井盖或者减速带之间的实时距离，在此基础上预测出汽车车轮即将与井盖或者减速带接触的起始时间。
作为一种优选的实施方案，所述步骤(4)中，井盖与减速带的实际尺寸根据经验设定，嵌入式平台从汽车电子控制单元获取汽车轮胎转角及汽车当前速度，并将井盖或者减速带的经验尺寸带入计算以获取汽车车轮通过井盖或者减速带的时间，用车轮即将与井盖或者减速带接触的起始时间加上汽车车轮通过井盖或者减速带的时间，即获得汽车车轮与井盖或者减速带结束接触的末尾时间。
作为一种优选的实施方案，所述步骤(4)中，嵌入式平台在计算车轮即将与井盖或者减速带接触的起始时间点时，根据电控悬架阻尼的调节速度预留一定时间，电控悬架在车轮与井盖或者减速带接触的起始时间点前完成阻尼的调节；而在汽车车轮与井盖或者减速带结束接触的末尾时间点上，电控悬架将阻尼调节到正常状态。
本发明的有益效果：
本发明采用了一种改进YOLOX-NANO模型、以及基于此模型的汽车电控悬架控制方法，通过低成本的视觉摄像头和Jetson Nano平台克服了传统的基于路面识别的电控悬架控制方法对高精度传感器的依赖，降低了部署成本，并且克服了实时性较差的缺陷，为汽车实际行驶过程中实现道路井盖和减速带的跟踪，跟踪过程实时精准调节悬架的阻尼，为提升汽车行驶舒适性提供了一种新方法。
附图说明
图1为道路图像输入嵌入式系统到汽车电控悬架控制器进行优化控制的工作流程示意图。
图2为改进YOLOX-NANO模型训练、验证以及模型选取的过程示意图。
图3为在嵌入式平台上利用改进YOLOX-NANO模型检测的结果样例。
图4为改进YOLOX-NANO模型的特征增强融合网络示意图。
具体实施方式
下面结合附图和实施例来进一步说明本发明的技术解决方案。
实施例1道路井盖与减速带数据集的准备及标注和改进YOLOX-NANO网络的训练如图2为数据集的准备与网络训练的整体流程，包括以下步骤：
(1)收集数据集：用相机对道路上的井盖与减速带两种不同障碍进行拍照取样来构建数据集，数据集总量为1262张，且所有图片均为JPG格式，为了增强训练出的模型的泛性，要求数据集包括以不同角度、不同距离、不同光照条件以及多种道路场景下拍摄的道路井盖与减速带照片样本。
(2)标注数据集：用LabelImg标注软件对数据集中道路井盖与减速带两个类别分别进行标注，标签名称分别为Manhole cover和Deceleration zone，标注完成后生成相应的XML格式的标注文件，每一个XML标注文件分别记录了对应的图片样本中井盖或者减速带的类别信息以及位置信息。
(3)数据集的划分：将数据集按照9:1的比例随机划分为训练集与验证集。
(4)训练改进YOLOX-NANO模型：在用数据集对模型训练前，需要对数据集进行预处理，包括改变图像原始的长和宽以及对图片进行边缘填充，以减少模型推理的运算量；在COCO数据集上训练改进YOLOX-NANO模型所得的权重文件作为初始训练权重，以此来实现迁移学习；改进YOLOX-NANO模型训练过程中，由于模型深度较小，并且数据集的数据量有限，为了获得检测性能最优的模型，需要避免模型过拟合而导致的误检，为此采用了不同的训练策略以及设置不同的训练轮数对改进YOLOX-NANO模型进行训练，具体训练步骤如下：分别选取70轮，100轮，120轮，130轮的训练轮数，而对于每一个采用不同训练轮数的训练过程中，分别又进行了采用Mixup数据增强和不采用Mixup数据增强的对照实验。(5)模型的验证与选取：在所有训练得出的模型中，分别对每一个模型用验证集单独进行模型精度的验证，在所有模型验证完成后，选取验证精度最高的模型作为最终的预测模型。
实施例2改进YOLOX-NANO模型的部署与优化加速以及嵌入式平台Jetson Nano在汽车上的部署
将选出的改进YOLOX-NANO模型部署到英伟达的Jetson Nano嵌入式平台上，针对Jetson Nano平台算力较低导致模型推理速度较慢这一问题，首先需要将改进YOLOX-NANO模型转为ONXX格式，再由ONXX格式转化为TensorRT格式，实现对改进YOLOX-NANO模型进行推理加速优化，以保证实时检测的需求；使用部署好的模型对道路井盖与减速带进行预测测试，预测结果如图3(a)和(b)所示：井盖一类用蓝色的预测框框出，而减速带一类则用黄色预测框框出。
为了使嵌入式平台Jetson Nano获取相对精确的车身坐标系与地面坐标系之间的位置关系，需要将嵌入式平台部署在汽车底盘前端位置，并将摄像头拍摄视角与车身水平截面保持固定的角度。
实施例3利用嵌入式平台进行实时检测与跟踪，嵌入式平台依据跟踪结果及汽车车轮与井盖或减速带之间接触的不同时间节点向电控悬架控制器发送不同的控制信号
图1为道路图像输入嵌入式系统到汽车电控悬架控制器进行优化控制的工作流程示意图：
(1)嵌入式平台Jetson Nano上接入了CSI接口的视觉摄像头，视觉摄像头通过OpenCV来实时读取汽车行驶的前方道路的实时画面并送入改进YOLOX-NANO模型进行推理运算。
(2)用TensorRT加速过的改进YOLOX-NANO模型对输入的实时视频流进行前向推理计算，并产生预测结果。
(3)将检测结果输入SORT跟踪器，对道路井盖与减速带在时间序列内进行跟踪。
(4)若嵌入式平台没有持续跟踪到井盖或者减速带时，则返回步骤(1)，嵌入式平台继续进行摄像头的实时读取与模型的实时推理运算。
(5)若嵌入式平台持续跟踪到井盖或者减速带时，嵌入式平台从汽车电子控制单元获取汽车轮胎转角、汽车当前速度，并根据摄像头在车身坐标系中的相对位置与当前视频帧中跟踪目标的相对位置来计算获取实际汽车车轮到跟踪到的井盖或者减速带之间的实时距离，在此基础上预测出汽车车轮即将与井盖或者减速带接触的起始时间；井盖与减速带的实际尺寸根据经验设定，嵌入式平台再次从汽车电子控制单元获取汽车轮胎转角及汽车当前速度，并将井盖或者减速带的经验尺寸带入计算以获取汽车车轮通过井盖或者减速带的时间，用车轮即将与井盖或者减速带接触的起始时间加上汽车车轮通过井盖或者减速带的时间，即获得汽车车轮与井盖或者减速带结束接触的末尾时间。
(6)当嵌入式平台在汽车车轮即将与井盖或者减速带发生接触的起始时间节点上时，嵌入式平台根据电控悬架阻尼的调节完成速度，提前向电控悬架控制器发送信号，电控悬架控制器将悬架的阻尼从ζ1调节到ζ2，其中ζ1＜ζ2，电控悬架阻尼值增大，在车轮经过井盖或者减速带时，增强汽车行驶稳定性的同时使滤振能力增强；而当嵌入式平台在汽车车轮与井盖或者减速带结束接触的末尾时间节点上时，再次向电控悬架控制器发送信号，电控悬架控制器将悬架的阻尼从ζ2调节到ζ1，电控悬架阻尼值减小，以满足汽车在正常道路上行驶对舒适性的要求，实现悬架控制的精确优化，提升汽车行驶的舒适性，最后返回步骤(1)，嵌入式平台继续进行摄像头的实时读取与模型的实时推理运算。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种改进的YOLOX-NANO模型，其特征在于，该模型具体结构如下：
包括主干特征提取网络，特征增强融合网络以及检测头网络三部分构成；
其中主干特征提取网络对送入网络的图片进行初步的特征提取，并生成三种尺寸分别为原图1/4、1/8、1/16的不同尺度的特征图，分别命名为S3、S4、S5，主干特征提取网络由十一个基础特征提取块构成，每一个基础特征提取块按顺序分别包含：3×3的卷积层、批归一化层、ReLU激活函数层、5×5的深度可分离卷积层、批归一化层、ReLU激活函数层，同时每一个基础特征提取块通过残差结构将未进入基础特征提取块处理的特征图直接与经过基础特征提取块处理后得到的特征图相加，将十一个基础特征提取块叠加构成了改进YOLOX-NANO网络的主干特征提取网络；
特征增强融合网络将主干特征提取网络生成的三种不同尺度的特征图进行多尺度的特征融合，生成三种不同尺度的融合特征图，其输入分别为主干特征提取网络输出的S3、S4、S5，其中，S5先进行两倍的上采样操作将特征图尺寸增大，并与输入的S4相加用来更新S4的数值，更新数值后的S4有三条分支流向：首先，S4经过并行的3×3的卷积层、ReLU激活函数层和1×1的卷积层、ReLU激活函数层，得到的两个数值相加后再经过两倍上采样与S3沿特征通道维度拼接后记为F3。其次，S4本身直接将数值传递给F4；最后，S4经过并行的3×3的卷积层、ReLU激活函数层和1×1的卷积层、ReLU激活函数层，得到的两个数值相加后再经过两倍下采样与S5沿特征通道维度拼接后记为F5；
检测头网络将特征增强融合网络生成的三种不同尺度的融合特征图经过尺寸改变后沿特征通道维度拼接生成一个特征图，该特征图经过卷积模块与两个并行的线性层后分别输出目标的种类以及目标的预测框，检测头网络将特征增强融合网络输出的特征图F3两倍下采样为F4的尺寸，将特征图F5两倍上采样为F4的尺寸，再将F3、F4、F5沿特征通道维度拼接，拼接后的特征图依次经过1×1的卷积层、ReLU激活函数层得到特征图P，特征图P经过两个并行的线性层后分别输出目标的种类以及目标预测框。
2.一种基于权利要求1所述的改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，包括如下步骤：
S1对道路上的井盖与减速带两种不同障碍进行取样并构建数据集，用标注软件对数据集中的道路井盖与减速带分别进行标注，并在此基础上划分出训练集与验证集，用训练集训练模型，而用验证集对训练出的模型进行验证；
S2采用迁移学习的方式，用训练集对改进YOLOX-NANO模型进行多轮训练，并用验证集对训练好的模型进行检验，挑选出验证效果最优的模型，将筛选出的改进YOLOX-NANO模型部署到英伟达的嵌入式平台Jetson Nano上，用TensorRT对模型进行加速优化；
S3通过Jetson Nano上的外接摄像头对汽车行驶的前方路面进行实时检测，改进YOLOX-NANO模型分别检测出井盖与减速带两种障碍，并将检测结果输入SORT跟踪器，对道路井盖与减速带在时间序列内进行跟踪；
S4将嵌入式平台Jetson Nano部署在汽车上，汽车行驶时，嵌入式平台从汽车电子控制单元获取汽车轮胎转角、汽车当前速度，并根据摄像头在车身坐标系中的相对位置与当前视频帧中跟踪目标的相对位置来计算获取实际汽车车轮到跟踪到的井盖或者减速带之间的实时距离，同时结合汽车的实时速度、井盖或减速带的几何尺寸，分别计算得到汽车车轮与井盖或者减速带即将发生接触的起始时间和汽车车轮与井盖或者减速带结束接触的末尾时间，嵌入式平台在发生接触的起始时间节点上，向电控悬架控制器发送信号，调节悬架的阻尼；嵌入式平台在结束接触的末尾时间节点上，再次向电控悬架控制器发送信号，调节悬架的阻尼到正常状态，实现悬架控制的精确优化，提升汽车行驶的舒适性。
3.根据权利要求2所述的一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，所述S1中，构建的数据集包含道路上的井盖与减速带两种障碍，数据集中所有图片均为JPG格式，为了增强训练出的模型的泛性，从不同角度、不同距离、不同光照条件以及多种道路场景下拍摄的道路井盖与减速带的照片作为数据集样本。
4.根据权利要求2所述的一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，所述S1中，LabelImg标注软件对数据集中道路井盖与减速带两个类别分别进行标注，标签名称分别为Manhole cover和Deceleration zone，标注完成后生成相应的XML格式的标注文件，每一个XML标注文件分别记录了对应的图片样本中井盖或者减速带的类别信息以及位置信息，最后将数据集按照9:1的比例随机划分为训练集与验证集。
5.根据权利要求2所述的一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，所述S2中，在用数据集对模型训练前，需要对数据集进行预处理，包括改变图像原始的长和宽以及对图片进行边缘填充，以减少模型推理的运算量。
6.根据权利要求2所述的一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，所述S2中，在COCO数据集上训练改进YOLOX-NANO模型所得的权重文件作为初始训练权重，以此来实现迁移学习。
7.根据权利要求2所述的一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，所述S2中，改进YOLOX-NANO模型首先通过主干网络来初步提取特征，然后再将提取到的多尺度特征进行特征融合，以改善网络对不同尺寸大小物体的检测效果，将融合后的不同尺度的特征送入检测头中，检测头采用解耦的形式，解耦后的分支分别实现了分类和回归任务。
8.根据权利要求2所述的一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，所述S2中，改进YOLOX-NANO模型训练过程中，针对模型深度小，并且数据集的数据量有限，为了获得检测性能最优的模型，需要避免模型过拟合而导致的误检，采用不同的训练策略以及设置不同的训练轮数对改进YOLOX-NANO模型进行训练，具体训练步骤如下：分别选取70轮，100轮，120轮，130轮的训练轮数，而对于每一个采用不同训练轮数的训练过程中，分别又进行了采用Mixup数据增强和不采用Mixup数据增强的对照实验，并在所有实验所得结果中选取利用验证集验证所得精度最高的模型作为最终的检测模型。
9.根据权利要求2所述的一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，所述S3中，摄像头通过CSI接口连接到Jetson Nano上；摄像头通过OpenCV实时读取输入的道路场景视频流，并送入改进YOLOX-NANO模型进行推理，SORT跟踪器根据不同时刻视频帧中物体间的IOU数值来判断是否为同一物体并实现目标跟踪。
10.根据权利要求2所述的一种基于改进YOLOX-NANO模型的汽车电控悬架控制方法，其特征在于，所述S4中，为使嵌入式平台Jetson Nano获取精确的车身坐标系与地面坐标系之间的位置关系，将嵌入式平台部署在汽车底盘前端位置，并将摄像头拍摄视角与车身水平截面保持固定的角度；
嵌入式平台从汽车电子控制单元获取汽车轮胎转角、汽车当前速度，并根据摄像头在车身坐标系中的相对位置与当前视频帧中跟踪目标的相对位置来计算获取实际汽车车轮到跟踪到的井盖或者减速带之间的实时距离，在此基础上预测出汽车车轮即将与井盖或者减速带接触的起始时间；
井盖与减速带的实际尺寸根据经验设定，嵌入式平台从汽车电子控制单元获取汽车轮胎转角及汽车当前速度，并将井盖或者减速带的经验尺寸带入计算以获取汽车车轮通过井盖或者减速带的时间，用车轮即将与井盖或者减速带接触的起始时间加上汽车车轮通过井盖或者减速带的时间，即获得汽车车轮与井盖或者减速带结束接触的末尾时间；
嵌入式平台在计算车轮即将与井盖或者减速带接触的起始时间点时，根据电控悬架阻尼的调节速度预留一定时间，提前向电控悬架控制器发送信号，电控悬架控制器将悬架的阻尼从ζ1调节到ζ2，其中ζ1<ζ2，电控悬架阻尼值增大，在车轮经过井盖或者减速带时，增强汽车行驶稳定性的同时使滤振能力增强；而当嵌入式平台在汽车车轮与井盖或者减速带结束接触的末尾时间节点上时，再次向电控悬架控制器发送信号，电控悬架控制器将悬架的阻尼从ζ2调节到ζ1，电控悬架阻尼值减小，以满足汽车在正常道路上行驶对舒适性的要求。
CN202310385447.4A 2023-04-10 2023-04-10 一种改进的yolox-nano模型、以及基于此模型的汽车电控悬架控制方法 Pending CN116729042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310385447.4A CN116729042A (zh) 2023-04-10 2023-04-10 一种改进的yolox-nano模型、以及基于此模型的汽车电控悬架控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310385447.4A CN116729042A (zh) 2023-04-10 2023-04-10 一种改进的yolox-nano模型、以及基于此模型的汽车电控悬架控制方法

Publications (1)

Publication Number Publication Date
CN116729042A true CN116729042A (zh) 2023-09-12

Family

ID=87906758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310385447.4A Pending CN116729042A (zh) 2023-04-10 2023-04-10 一种改进的yolox-nano模型、以及基于此模型的汽车电控悬架控制方法

Country Status (1)

Country Link
CN (1) CN116729042A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117863801A (zh) * 2024-03-11 2024-04-12 比亚迪股份有限公司 车辆控制方法、装置、车辆及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117863801A (zh) * 2024-03-11 2024-04-12 比亚迪股份有限公司 车辆控制方法、装置、车辆及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
Cheng et al. Noise-aware unsupervised deep lidar-stereo fusion
CN106926800B (zh) 多摄像头适配的车载视觉感知系统
US11734918B2 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
IL285152B1 (en) 3D feature prediction for automated driving
IL285153B2 (en) Extracting certain truth for machine learning from time series elements
CN110930323B (zh) 图像去反光的方法、装置
US20140204205A1 (en) Method for measuring the height profile of a vehicle passing on a road
US20220396281A1 (en) Platform for perception system development for automated driving system
CN109934108A (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
CN116729042A (zh) 一种改进的yolox-nano模型、以及基于此模型的汽车电控悬架控制方法
CN113643431A (zh) 一种用于视觉算法迭代优化的系统及方法
WO2022115987A1 (zh) 一种自动驾驶数据采集和闭环管理的方法及系统
DE102021132199A1 (de) Bestimmen von Objektmobilitätsparametern unter Verwendung einer Objektsequenz
CN117152513A (zh) 一种面向夜间场景的车辆边界定位方法
CN113771573A (zh) 一种基于识别路面信息的车辆悬架控制方法及装置
CN111814667A (zh) 一种智能路况识别方法
CN110472508A (zh) 基于深度学习和双目视觉的车道线测距方法
CN117392629A (zh) 基于相机与雷达融合的多模态描述符地点识别方法及系统
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN112395956A (zh) 一种面向复杂环境的可通行区域检测方法及系统
CN111210411A (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
Memon et al. Self-driving car using lidar sensing and image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination