CN114677662A - 一种车辆前方障碍状态预测方法、装置、设备及存储介质 - Google Patents

一种车辆前方障碍状态预测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114677662A
CN114677662A CN202210319205.0A CN202210319205A CN114677662A CN 114677662 A CN114677662 A CN 114677662A CN 202210319205 A CN202210319205 A CN 202210319205A CN 114677662 A CN114677662 A CN 114677662A
Authority
CN
China
Prior art keywords
recognition model
vehicle
obstacle
driving environment
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210319205.0A
Other languages
English (en)
Inventor
黄丰云
谢志豪
徐劲力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202210319205.0A priority Critical patent/CN114677662A/zh
Publication of CN114677662A publication Critical patent/CN114677662A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models

Abstract

本发明涉及一种车辆前方障碍状态预测方法、装置、设备及存储介质，该方法包括：获取已标记的目标样本集，建立初始识别模型，将已标记的目标样本集输入至初始识别模型进行训练，得到训练完备的目标识别模型；采集前方行驶环境信息，前方行驶环境信息包括前方行驶环境图片信息以及前方行驶环境距离信息；根据前方行驶环境图片信息以及训练完备的目标识别模型，确定车辆前方障碍类型；基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果。本发明提供的一种车辆前方障碍状态预测方法、装置、设备及存储介质，通过识别模型和隐马可尔夫模型，对车辆前方不同障碍的行驶状态进行预测。

Description

一种车辆前方障碍状态预测方法、装置、设备及存储介质
技术领域
本发明涉及无人驾驶技术领域，尤其涉及一种车辆前方障碍状态预测方法、装置、设备及存储介质。
背景技术
在汽车行驶的过程中，人类驾驶员可以通过学习到的驾驶技巧和以往的驾驶经验在道路环境中对周围车辆的行驶意图做出一个判断及预测，以减少事故发生的可能性。在智能驾驶的时代，无人驾驶车需要更加高效并准确的预测到本车周围的车辆行驶意图，从而对本车进行行为决策以达到避障的最终目的。但是在实际道路环境中，智能车无法直接识别周围车辆的行驶意图以及周围环境等信息，这时就需要通过能够实时观测到的变量来对周围其他车辆的行为进行一个概率推测，通过有效的预测概率对本车下达决策命令规避障碍，减少事故发生概率，提高车辆行驶效率。因此，研究无人驾驶车辆对前方障碍车辆的行为预测对于提高智能车的安全性能方面具有重大意义。
现有的关于轨迹预测的研究可以大致分为两类。分别是基于规则和基于学习的轨迹预测算法。基于规则的预测算法通过应用交通规则来模拟交通流模型，而基于学习的预测算法则采用机器学习模型来基于运动对象的历史轨迹进行预测。
现有技术需要对大量数据进行分析，对预测模型的训练效率低，对车辆行驶状态的预测时间长，没有结合道路信息对车辆的行驶状态进行预测，在实际过程中的预测精度低。
发明内容
有鉴于此，有必要提供一种车辆前方障碍状态预测方法、装置、设备及存储介质，用以解决现有技术中对车辆的行驶状态预测精度低，预测速度慢的问题。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种车辆前方障碍状态预测方法，包括：
获取已标记的目标样本集，建立初始识别模型，将已标记的目标样本集输入至初始识别模型进行训练，得到训练完备的目标识别模型；
采集前方行驶环境信息，前方行驶环境信息包括前方行驶环境图片信息以及前方行驶环境距离信息；
根据前方行驶环境图片信息以及训练完备的目标识别模型，确定车辆前方障碍类型；
基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果。
优选的，获取已标记的目标样本集，建立初始识别模型，将已标记的目标样本集输入至初始识别模型进行训练，得到训练完备的目标识别模型，包括：
将已标记的目标样本集分为数据训练集、数据验证集以及数据测试集；
将数据训练集输入至初始识别模型进行训练，得到过渡识别模型；
将数据验证集输入至过渡识别模型进行验证，得到目标识别模型；
将数据测试集输入至目标识别模型进行测试，得到训练完备的目标识别模型。
优选的，将数据训练集输入至初始识别模型进行训练，得到过渡识别模型，包括：
更新模型训练参数，直至初始识别模型的损失函数趋于收敛；
选择损失函数满足收敛条件的识别模型，得到过渡识别模型。
优选的，将数据验证集输入至过渡识别模型进行验证，得到目标识别模型，包括：
根据过渡识别模型计算所有障碍的平均检测精度；
选择平均检测精度满足预设要求的过渡识别模型，得到目标识别模型。
优选的，获取已标记的目标样本集，包括：设置历史目标样本集中的障碍标签类型，对历史目标样本集进行标记，得到已标记的目标样本集。
优选的，基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果，包括：
根据前方行驶环境距离信息，得到观测序列；
根据车辆前方障碍类型以及前方行驶环境距离信息，确定初始状态转移矩阵、初始状态观测矩阵以及初始状态转移向量；
根据隐马可尔夫模型、观测序列、初始状态转移矩阵、初始状态观测矩阵以及初始状态转移向量，得到车辆前方障碍的行驶状态预测结果。
优选的，基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果，还包括：设置仿真参数，根据识别模型以及隐马可尔夫模型，对前方行驶障碍的行驶状态进行仿真预测。
第二方面，本发明还提供了一种车辆前方障碍状态预测装置，其特征在于，包括：
建模模块，用于获取已标记的目标样本集，建立初始识别模型，将已标记的目标样本集输入至初始识别模型进行训练，得到训练完备的目标识别模型；
采集模块，用于采集前方行驶环境信息，前方行驶环境信息包括前方行驶环境图片信息以及前方行驶环境距离信息；
识别模块，用于根据前方行驶环境图片信息以及训练完备的目标识别模型，确定车辆前方障碍类型；
预测模块，用于基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果。
第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的车辆前方障碍状态预测方法中的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的车辆前方障碍状态预测方法中的步骤。
采用上述实施例的有益效果是：本发明提供的一种车辆前方障碍状态预测方法、装置、设备及存储介质，采集车辆的前方行驶环境信息，根据车辆的前方行驶环境信息，能够了解车辆行驶时的前方环境状态，通过训练完备的目标识别模型，对车辆前方的障碍类别进行识别，再结合隐马可尔夫模型，根据前方行驶环境距离信息，对车辆前方障碍的行驶状态进行预测，识别模型对车辆前方障碍的快速、准确识别，并结合道路的各种距离信息，提高了对车辆前方障碍的可能行驶状态预测的速度以及精度。
附图说明
图1为本发明提供的车辆前方障碍状态预测方法的一实施例的流程示意图；
图2为本发明提供的初始识别模型训练、验证以及测试的一实施例的流程示意图；
图3(a)、(b)为本发明提供的初始识别模型训练的一实施例的部分训练过程示意图；
图4为本发明提供的隐马可尔夫模链转移的一实施例的过程示意图；
图5(a)为本发明提供的序列a的仿真工况的一实施例的结果预测图；
图5(b)为本发明提供的序列b的仿真工况的一实施例的结果预测图；
图6为本发明提供的前车行驶状态预测装置的一实施例的结构示意图；
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种车辆前方障碍状态预测方法、装置、设备及存储介质，以下分别进行说明。
请参阅图1，图1为本发明提供的车辆前方障碍状态预测方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种车辆前方障碍状态预测方法，包括：
S101、获取已标记的目标样本集，建立初始识别模型，将已标记的目标样本集输入至初始识别模型进行训练，得到训练完备的目标识别模型；
S102、采集前方行驶环境信息，前方行驶环境信息包括前方行驶环境图片信息以及前方行驶环境距离信息；
S103、根据前方行驶环境图片信息以及训练完备的目标识别模型，确定车辆前方障碍类型；
S104、基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果。
在本发明具体的实施例中，步骤S101为了对车辆行驶时的前方行驶障碍的行驶状态进行快速、准确的预测，建立识别模型。识别模型为神经网络模型，以识别障碍为目标，将目标识别算法的生成目标边界框、提取检测目标特征、检测预测信任度的三个阶段用一个单一神经网络加以整合，一步直接完成障碍识别任务。需要说明的是，本发明对神经网络模型具体的选择不做进一步限制，只要其能够满足识别要求即可。
在本发明具体的实施例中，步骤S102采用的是双目立体视觉系统进行采集前方行驶环境信息，为了提高系统的鲁棒性，采取实车行车记录仪中的视频，拆分成图像供给系统训练。可以理解的是，前方像是行驶环境信息具有多张前方行驶环境图片，并识别出了道路各种环境的距离。
在本发明具体的实施例中，步骤S103通过训练完备的目标识别模型，根据前方行驶环境图片信息，识别其中存在的障碍类型，训练完备的目标识别模型其识别的速度快，识别准确性高，只有清楚的知道了车辆前方障碍的类型，才能更准确的对其可能的行驶状态进行预测。
在本发明具体的实施例中，步骤S104前方行驶环境距离信息反应了当前行驶车辆与道路上各种障碍物体(如前方车辆、行人、栏杆等)以及路面标线的实际距离情况，再结合隐马可尔夫模型，对前方道路上各种障碍物体的可能的行驶状态进行了预测，预测结果可靠。
与现有技术相比，本实施例提供的一种车辆前方障碍状态预测方法，采集车辆的前方行驶环境信息，根据车辆的前方行驶环境信息，能够了解车辆行驶时的前方环境状态，通过训练完备的目标识别模型，对车辆前方的障碍类别进行识别，再结合隐马可尔夫模型，根据前方行驶环境距离信息，对车辆前方障碍的行驶状态进行预测，识别模型对车辆前方障碍的快速、准确识别，并结合道路的各种距离信息，提高了对车辆前方障碍的可能行驶状态预测的速度以及精度。
本发明建立的初始识别模型通过检测算法实现，包含了生成目标边界框、提取检测目标特征、检测预测信任度三个阶段，检测算法规定了预测输出的维度，这个维度包括了图像中所有它能识别的目标物体的相关信息，其中包含了目标边界框的坐标参数和其中目标预测类别的概率，将目标检测问题转化为了目标边界框的坐标参数的回归问题和预测概率的分类问题。采用的检测算法的大小应当只有十几兆，切每秒钟能够处理几百张图片，完全满足车载系统上的目标检测实时性的要求。
而初始识别模型只具有基本的神经网络结构，其识别的准确度无法满足本发明的识别要求，因此，在建立初始识别模型之后，还根据目标样本集，对初始识别模型进行训练、验证以及测试，直至得到满足本发明识别要求的训练完备的目标识别模型。神经网络模型识别速度快，对初始识别模型进行训练、验证以及测试，不仅提高了对车辆前方障碍识别的精度，还提高了后续对车辆前方障碍行驶状态预测的精度。
请参阅图2，图2为本发明提供的初始识别模型训练、验证以及测试的一实施例的流程示意图，在本发明的一些实施例中，获取已标记的目标样本集，建立初始识别模型，将已标记的目标样本集输入至初始识别模型进行训练，得到训练完备的目标识别模型，包括：
S201、将已标记的目标样本集分为数据训练集、数据验证集以及数据测试集；
S202、将数据训练集输入至初始识别模型进行训练，得到过渡识别模型；
S203、将数据验证集输入至过渡识别模型进行验证，得到目标识别模型；
S204、将数据测试集输入至目标识别模型进行测试，得到训练完备的目标识别模型。
在本发明具体的实施例中，步骤S201将已标记的目标样本集按照一定的比例划分成数据训练集、数据验证集以及数据测试集，数据训练集、数据验证集以及数据测试集对神经网络的优化过程有着不同的作用，将目标样本集划分为数据训练集、数据验证集以及数据测试集，能提升模型优化的效率与速度。
在本发明具体的实施例中，步骤S202对初始识别模型进行训练，得到的过渡识别模型的识别精度仍然难以满足本发明的识别要求，通过数据训练集使初始模型能够根据历史前方行驶环境图片信息简单的识别其中的障碍。
在本发明具体的实施例中，步骤S203对过渡识别模型进行验证，对过渡识别模型的识别性能进行评估，并从中筛选出能够满足评估要求的模型，即得到了目标识别模型。
在本发明具体的实施例中，步骤S204得到目标识别模型后，还需要对其进行测试，采用实际道路行驶图片数据对目标识别模型的识别准确性进行测试，满足测试要求的目标识别模型即为训练完备的目标识别模型。
在此对检测算法目标识别过程进行说明：
检测算法网络将图片分成S×S个网格，每一个网格只负责预测中心在这个网格中的物体，输出包括目标边界框的坐标参数和其中目标预测类别的概率。
在目标边界框的坐标参数上，每一个网络会输出B个边界框的参数，包括：x、y、w、h和信任度C五个参数。其中(x，y)坐标是边界框中心相对系统网格的位置，(w，h)坐标是边界框相对于整幅图片的宽和高，信任度confidence描述了边界框内是否存在目标以及预测的准确度，其计算公式为：
CPr(Object)×I(2-1)
公式(2-1)中，Pr(Object)表示网格预测的边界框中是否含有目标物体，I表示预测边界框于实际边界框面积的交集与并集之比，计算公式如(2-2)。若网格中没有目标，则Pr(Object)＝0，信任度C为0，若网格中存在目标，Pr(Object)＝1，则信任度C为I。
Figure BDA0003570899230000091
在预测目标类别上，每一个单元网格会对网格内存在的物体进行预测，输出的是N个类别中的每一个类别的概率Pr(Classi|Object)，表示该单元网格中存在第i类物体中心的概率。N为网络能预测目标的种类，与B无关。每一个预测边界框得到的出现在网格中的某个类别目标物体i的信任度C(i)为类别预测得到的值与预测边界框边框的信任度的乘积，计算公式如下：
C(i)＝Pr(Classi|Object)×Pr(Object)×I (2-3)
检测算法将目标检测问题转化为了目标边界框的坐标参数的回归问题和预测概率的分类问题，所以理论上只需要求解网络的损失函数，就能获取预测结果。
由于网络的输出是预测边界框的坐标和预测目标类别，所以网络的损失是由边界框的误差以及目标类别误差组成的，但是，由于边界框的坐标误差的维度和目标类别误差的维度有较大区别，故将两者放在同一地位是不合理的。此外，在计算边界框误差中的I时，很多不包含物体的网格与包含物体的网格相比，在训练时对梯度更新的影响会大很多，容易导致神经网络的训练不稳定甚至发散。
因此，需要合理分配边界框的坐标误差，I误差以及目标类别误差的系数，以平衡三类误差对网络的影响。例如，增大定位误差的权重，减小网格中没有物体时信任度误差的权重，采用
Figure BDA0003570899230000101
代替边界框相对于图片的w和h，以增加边界框尺寸误差的影响。最后，规定每一个边界框只能预测一个目标，计算预测边界框和所有参考标准的I值，比较得出预测目标I值最大的即为该边界框的预测结果。下列公式是检测算法的损失函数：
Figure BDA0003570899230000102
公式(2-4)中，损失函数是由五项构成的，第一项和第二项是预测框的坐标误差，第三项是包含对象的预测框的信任度误差，第四项是不包含对象的预测框的信任度误差，第五项是类别预测误差。不同版本的检测算法的损失函数大致是一样的，后续都是一些优化，例如检测算法采用了GIOU来计算边界框误差，优化了当预测边界框和真实边界框两个框无重合而无法优化的现象，以及拥有一样的I却不能识别位置的问题。
请参阅图3(a)，图3(b)，图3(a)和图3(b)为本发明提供的初始识别模型训练的一实施例的部分训练过程示意图。
在本发明的一些实施例中，根据数据训练集对初始识别模型进行训练，得到过渡识别模型，包括：
更新模型训练参数，直至初始识别模型的损失函数趋于收敛；
选择损失函数满足收敛条件的识别模型，得到过渡识别模型。
在上述实施例中，收敛条件根据实际情况确定，本发明在此不做进一步限制。在对神经网络模型进行训练时，更新网络模型参数使用小批量的梯度下降法减小损失函数直至函数趋于收敛，在训练过程中结合冲量加快收敛速度得到更好的收敛性。
模型会自动根据反向传播算法在训练过程中持续更新网络参数，减小损失函数直至函数值趋于收敛，参数更新计算公式如公式(2-5)、(2-6)：
Figure BDA0003570899230000111
Figure BDA0003570899230000112
上式中，
Figure BDA0003570899230000113
表示在第t次迭代时第一层的参数w(l)的冲量，μ表示冲量率，α表示学习率，λ表示权重衰减量。公式使用上一次的迭代的冲量当作当前的冲量，可以有效的避免网络陷入最小值，并加快损失函数收敛速度。
由于检测算法是基于pytorch架构的，可以借助pytorch框架下的训练可视化工具tensorboard来查看训练过程中，损失函数值的变化以及不同训练程度对测试集的敏感程度。
在本发明的一些实施例中，根据数据验证集对过渡识别模型进行验证，得到目标识别模型，包括：
根据过渡识别模型计算所有障碍的平均检测精度；
选择平均检测精度满足预设要求的过渡识别模型，得到目标识别模型。
在上述实施例中，预设要求根据实际情况进行设置，本发明在此不做进一步限制。评价一个神经网络的目标识别性能，需要查看对目标给出的定位和对目标识别类别的概率。检验本文的双目立体视觉系统，输入一幅图像，需要检测其中的目标，标出目标的位置以及识别目标的类别。
在目标的定位评估方面，需要计算预测边界框和真实边界框的I值，给定阈值0.5，当I≥0.5时，认定为真实检测，否则认定为错误的检测。这样就能计算每一幅图像中每一个类别目标的正确预测次数(True Positives)，而每一幅图像中该类别的实际目标数量(Total Objects)可以由标定时得到，因此每一幅图片上的特定类别的查准率可以由该类别的正确预测次数除以该类别的实际目标数量：
Figure BDA0003570899230000121
对整个验证集而言，该特定类别N的平均检测精度等于测试集中所有PC之和除以测试集中包含该类别的图片数量：
Figure BDA0003570899230000122
将模型能预测的系统需要的类别，比如汽车，自行车和行人等，每一个按照公式(2-8)来计算平均精度，除以所有需要的类别总和，最后取所有需要的类别的平均精度值(MAP)来衡量整个模型的性能：
Figure BDA0003570899230000131
在本发明的一些实施例中，获取已标记的目标样本集，包括：设置历史目标样本集中的障碍标签类型，对历史目标样本集进行标记，得到已标记的目标样本集。
在上述实施例中，获取的已标记的目标样本集总共截取了行车记录仪的3000张分辨率为2k的历史图片，标记出了汽车，自行车，行人等道路场景的常见目标，利用labelimg工具标记，并保存标记图片的标签。
在本发明的一些实施例中，基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果，包括：
根据前方行驶环境距离信息，得到观测序列；
根据车辆前方障碍类型以及前方行驶环境距离信息，确定初始状态转移矩阵、初始状态观测矩阵以及初始状态转移向量；
根据隐马可尔夫模型、观测序列、初始状态转移矩阵、初始状态观测矩阵以及初始状态转移向量，得到车辆前方障碍的行驶状态预测结果。
在上述实施例中，本发明采用隐马可尔夫模型对车辆前方障碍的形式状态进行预测，请参阅图4，图4为本发明提供的隐马可尔夫模链转移的一实施例的过程示意图。在一般的马尔可夫模型中，观察者可以看到状态的转移。故状态的转移概率便表述了这个模型，其也是这个模型的全部参数。但是在隐马尔可夫模型中，观察者不能看到状态的转移，不过受状态影响的某些变量则是可见的，例如一段新的其他状态序列。每一个状态在可能影响输出的不同可见其他状态上都有一个确定概率分布。所以我们能从输出可见状态的序列得到一些隐藏状态序列的一些信息。
本发明主要针对有车道线的多单向车道的前车横向状态分析，根据我国大部分城市机动车道的分布可知，选择了三个车道，这样基本上可以涵盖所有的横向状况。车辆在横向状态上只有左行，直行和右行三种状态，利用第二章的隐马可尔夫模型状态划分原则有：
Q＝{qi|1≤i≤3}＝{左行，直行，右行}，
在具体的代码编写及仿真中，为了方便，把左行、直行和右行分别用L、M和R代替。
本发明对前车的横向行驶状态进行预测，需要输入一个初始的状态观测矩阵b，一个初始的状态转移矩阵a，一个初始状态转移向量π和一个具有一定的长度观测序列，运用Baum-Welch算法，先计算随观测序列更新的状态转移矩阵a，再依据状态转移矩阵本身的特性和前车所处的前一状态，综合道路实际状况分析决定前车最可能出现的下一状态。下面将对这些数据的来源一一解释：
对于初始状态转移矩阵a，这一个矩阵是由前车当前的状态和实际道路情况决定的，由于本发明规定前车所有的横向状态只有左行、直行和右行三种状态，所以状态转移矩阵是一个3x3的矩阵。
Figure BDA0003570899230000141
其中，aij代表的时从状态i转移到状态j的概率，a的第一行、第二行和第三行分别代表左行、直行和右行，第一列、第二列和第三列也分别代表左行、直行和右行。
对于初始状态观测矩阵b，与初始状态转移矩阵对应的是初始状态观测矩阵，由于本发明把车道分成了3个部分，左、中和右，所以这个矩阵也是一个3x3的矩阵，本发明默认当前车在某一个状态时，呈现对应所处车道位置的可能性最大，呈现离其最远的车道位置的可能性最小，由此，本发明合理的给出初始状态观测转移矩阵：
Figure BDA0003570899230000151
对于初始状态转移向量π，本发明默认前车在上一时刻位于直行状态，由初始状态转移向量，有：
Figure BDA0003570899230000152
对于具有一定长度的状态观测序列，由于本发明是一个simulink与carsim的联合仿真的模型，故这个状态观测是由carsim输出的前车的一些信息，simulink里的自定义函数处理后得到的。simulink与carsim的联合仿真的模型，根据前方行驶环境距离信息，得到具有一定长度的状态观测序列。
在本发明的一些实施例中，基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果，还包括：设置仿真参数，根据识别模型以及隐马可尔夫模型，对前方行驶障碍的行驶状态进行仿真预测。
在上述实施例中，将上述训练完备的目标识别模型以及隐马可尔夫模型生成simulink封装与carsim进行联合仿真，需要对carsim的整车模型的车型、行驶路径和输出参数等进行设置，本发明选择的carsim数据输出是前车的横向偏差，根据上述输入状态划分，可以得到不同的观测序列，进而得出不同的状态转移矩阵和预测结果。
请参阅图5(a)，图5(b)，图5(a)为本发明提供的序列a的仿真工况的一实施例的结果预测图，图5(b)为本发明提供的序列b的仿真工况的一实施例的结果预测图，本发明共仿真了两种路况，分别是直行转左行和直行转右行，课题的最后输出是前车的的横向状态，观测序列如下：
V＝[M，R，M，L，M，L，M，R，M，L，L，L，L，L，L]；序列a；
V＝[M，R，M，L，M，L，M，R，M，R，R，R，R，R，R]；序列b。
为了更好实施本发明实施例中的前车行驶状态预测方法，在前车行驶状态预测方法基础之上，对应的，请参阅图6，图6为本发明提供的前车行驶状态预测装置的一实施例的结构示意图，本发明实施例提供了一种前车行驶状态预测装置600，包括：
建模模块601，用于获取已标记的目标样本集，建立初始识别模型，将已标记的目标样本集输入至初始识别模型进行训练，得到训练完备的目标识别模型；
采集模块602，用于采集前方行驶环境信息，前方行驶环境信息包括前方行驶环境图片信息以及前方行驶环境距离信息；
识别模块603，用于根据前方行驶环境图片信息以及训练完备的目标识别模型，确定车辆前方障碍类型；
预测模块604，用于基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果。
这里需要说明的是：上述实施例提供的装置600可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
请参阅图7，图7为本发明实施例提供的电子设备的结构示意图。基于上述前车行驶状态预测方法，本发明还相应提供了一种前车行驶状态预测设备，前车行驶状态预测设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该前车行驶状态预测设备包括处理器710、存储器720及显示器730。图7仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器720在一些实施例中可以是前车行驶状态预测设备的内部存储单元，例如前车行驶状态预测设备的硬盘或内存。存储器720在另一些实施例中也可以是前车行驶状态预测设备的外部存储设备，例如前车行驶状态预测设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器720还可以既包括前车行驶状态预测设备的内部存储单元也包括外部存储设备。存储器720用于存储安装于前车行驶状态预测设备的应用软件及各类数据，例如安装前车行驶状态预测设备的程序代码等。存储器720还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器720上存储有前车行驶状态预测程序740，该前车行驶状态预测程序740可被处理器710所执行，从而实现本申请各实施例的前车行驶状态预测方法。
处理器710在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器720中存储的程序代码或处理数据，例如执行前车行驶状态预测方法等。
显示器730在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器730用于显示在前车行驶状态预测设备的信息以及用于显示可视化的用户界面。前车行驶状态预测设备的部件710-730通过系统总线相互通信。
在一实施例中，当处理器710执行存储器720中前车行驶状态预测程序740时实现如上的前车行驶状态预测方法中的步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有前车行驶状态预测程序，该前车行驶状态预测程序被处理器执行时实现以下步骤：
获取已标记的目标样本集，建立初始识别模型，将已标记的目标样本集输入至初始识别模型进行训练，得到训练完备的目标识别模型；
采集前方行驶环境信息，前方行驶环境信息包括前方行驶环境图片信息以及前方行驶环境距离信息；
根据前方行驶环境图片信息以及训练完备的目标识别模型，确定车辆前方障碍类型；
基于隐马可尔夫模型，根据前方行驶环境距离信息以及车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果。
综上，本实施例提供的一种车辆前方障碍状态预测方法、装置、设备及存储介质，采集车辆的前方行驶环境信息，根据车辆的前方行驶环境信息，能够了解车辆行驶时的前方环境状态，通过训练完备的目标识别模型，对车辆前方的障碍类别进行识别，再结合隐马可尔夫模型，根据前方行驶环境距离信息，对车辆前方障碍的行驶状态进行预测，识别模型对车辆前方障碍的快速、准确识别，并结合道路的各种距离信息，提高了对车辆前方障碍的可能行驶状态预测的速度以及精度。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种车辆前方障碍状态预测方法，其特征在于，包括：
获取已标记的目标样本集，建立初始识别模型，将所述已标记的目标样本集输入至所述初始识别模型进行训练，得到训练完备的目标识别模型；
采集前方行驶环境信息，所述前方行驶环境信息包括前方行驶环境图片信息以及前方行驶环境距离信息；
根据所述前方行驶环境图片信息以及所述训练完备的目标识别模型，确定车辆前方障碍类型；
基于隐马可尔夫模型，根据所述前方行驶环境距离信息以及所述车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果。
2.根据权利要求1所述的车辆前方障碍状态预测方法，其特征在于，所述获取已标记的目标样本集，建立初始识别模型，将所述已标记的目标样本集输入至所述初始识别模型进行训练，得到训练完备的目标识别模型，包括：
将所述已标记的目标样本集分为数据训练集、数据验证集以及数据测试集；
将所述数据训练集输入至所述初始识别模型进行训练，得到过渡识别模型；
将所述数据验证集输入至所述过渡识别模型进行验证，得到目标识别模型；
将所述数据测试集输入至所述目标识别模型进行测试，得到训练完备的目标识别模型。
3.根据权利要求2所述的车辆前方障碍状态预测方法，其特征在于，所述将所述数据训练集输入至所述初始识别模型进行训练，得到过渡识别模型，包括：
更新模型训练参数，直至所述初始识别模型的损失函数趋于收敛；
选择所述损失函数满足收敛条件的识别模型，得到所述过渡识别模型。
4.根据权利要求2所述的车辆前方障碍状态预测方法，其特征在于，所述将所述数据验证集输入至所述过渡识别模型进行验证，得到目标识别模型，包括：
根据所述过渡识别模型计算所有障碍的平均检测精度；
选择所述平均检测精度满足预设要求的过渡识别模型，得到目标识别模型。
5.根据权利要求1所述的车辆前方障碍状态预测方法，其特征在于，所述获取已标记的目标样本集，包括：设置历史目标样本集中的障碍标签类型，对所述历史目标样本集进行标记，得到所述已标记的目标样本集。
6.根据权利要求1所述的车辆前方障碍状态预测方法，其特征在于，所述基于隐马可尔夫模型，根据所述前方行驶环境距离信息以及所述车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果，包括：
根据所述前方行驶环境距离信息，得到观测序列；
根据所述车辆前方障碍类型以及所述前方行驶环境距离信息，确定初始状态转移矩阵、初始状态观测矩阵以及初始状态转移向量；
根据所述隐马可尔夫模型、所述观测序列、所述初始状态转移矩阵、所述初始状态观测矩阵以及所述初始状态转移向量，得到车辆前方障碍的行驶状态预测结果。
7.根据权利要求1所述的车辆前方障碍状态预测方法，其特征在于，所述基于隐马可尔夫模型，根据所述前方行驶环境距离信息以及所述车辆前方障碍类型，得到车辆前方障碍的行驶状态预测结果，还包括：
设置仿真参数，根据所述识别模型以及所述隐马可尔夫模型，对前方行驶障碍的行驶状态进行仿真预测。
8.一种车辆前方障碍状态预测装置，其特征在于，包括：
建模模块，用于获取已标记的目标样本集，建立初始识别模型，将所述已标记的目标样本集输入至所述初始识别模型进行训练，得到训练完备的目标识别模型；
采集模块，用于采集前方行驶环境信息，所述前方行驶环境信息包括前方行驶环境图片信息以及前方行驶环境距离信息；
识别模块，用于根据所述前方行驶环境图片信息以及所述训练完备的目标识别模型，确定车辆前方障碍类型；
预测模块，用于基于隐马可尔夫模型，根据所述前方行驶环境距离信息以及所述车辆前方障碍类型隐马可尔夫模型，得到车辆前方障碍的行驶状态预测结果。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述车辆前方障碍状态预测方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述车辆前方障碍状态预测方法中的步骤。
CN202210319205.0A 2022-03-29 2022-03-29 一种车辆前方障碍状态预测方法、装置、设备及存储介质 Pending CN114677662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210319205.0A CN114677662A (zh) 2022-03-29 2022-03-29 一种车辆前方障碍状态预测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210319205.0A CN114677662A (zh) 2022-03-29 2022-03-29 一种车辆前方障碍状态预测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114677662A true CN114677662A (zh) 2022-06-28

Family

ID=82076997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210319205.0A Pending CN114677662A (zh) 2022-03-29 2022-03-29 一种车辆前方障碍状态预测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114677662A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116203964A (zh) * 2023-03-13 2023-06-02 阿波罗智联(北京)科技有限公司 一种控制车辆行驶的方法、设备和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116203964A (zh) * 2023-03-13 2023-06-02 阿波罗智联(北京)科技有限公司 一种控制车辆行驶的方法、设备和装置
CN116203964B (zh) * 2023-03-13 2024-02-09 阿波罗智联(北京)科技有限公司 一种控制车辆行驶的方法、设备和装置

Similar Documents

Publication Publication Date Title
CN109598066B (zh) 预测模块的效果评估方法、装置、设备和存储介质
US11783568B2 (en) Object classification using extra-regional context
Haq et al. Comparing offline and online testing of deep neural networks: An autonomous car case study
US10832478B2 (en) Method and system for virtual sensor data generation with depth ground truth annotation
US11755917B2 (en) Generating depth from camera images and known depth data using neural networks
KR20200102378A (ko) 정보 처리 방법, 장치 및 저장 매체
CN112200131A (zh) 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质
CN114945959B (zh) 行驶轨迹确定方法、装置、计算机设备和存储介质
CN110986945B (zh) 基于语义高度地图的局部导航方法和系统
CN111062405A (zh) 训练图像识别模型的方法和装置以及图像识别方法和装置
US20230230484A1 (en) Methods for spatio-temporal scene-graph embedding for autonomous vehicle applications
CN113859264A (zh) 车辆控制方法、装置、电子设备及存储介质
CN116703966A (zh) 多对象跟踪
CN116135640A (zh) 一种车辆防碰撞预警方法、系统及车辆
CN114677662A (zh) 一种车辆前方障碍状态预测方法、装置、设备及存储介质
CN114639233B (zh) 一种拥堵状态预测方法、装置、电子设备及存储介质
CN116523970A (zh) 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN110555425A (zh) 一种视频流实时行人检测方法
US11767030B1 (en) Scenario simulation execution within a truncated parameter space
CN108960160A (zh) 基于非结构化预测模型来预测结构化状态量的方法和装置
US20230037142A1 (en) Method and system for developing autonomous vehicle training simulations
CN114684197A (zh) 避障场景的检测方法、装置、设备及存储介质
CN108944945B (zh) 用于辅助驾驶的状态预测方法、装置、电子设备和车辆
Sharma Evaluation and Analysis of Perception Systems for Autonomous Driving
Dangi et al. Free space and lane boundary fault recognition and prediction for independent vehicles using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination