CN117173676A - 一种驾驶员的变道意图识别方法、装置、设备及介质 - Google Patents
一种驾驶员的变道意图识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117173676A CN117173676A CN202311142356.4A CN202311142356A CN117173676A CN 117173676 A CN117173676 A CN 117173676A CN 202311142356 A CN202311142356 A CN 202311142356A CN 117173676 A CN117173676 A CN 117173676A
- Authority
- CN
- China
- Prior art keywords
- driver
- driving
- lane change
- image
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006399 behavior Effects 0.000 claims description 80
- 238000000605 extraction Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 33
- 238000003062 neural network model Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种驾驶员的变道意图识别方法、装置、设备及介质，公开了获取驾驶员在当前时间段内的驾驶图像集合，其中，驾驶图像集合包括多帧连续的驾驶图像；检测每帧驾驶图像中驾驶员对应的第一驾驶行为特征，并基于第一驾驶行为特征，识别出驾驶图像对应的第一变道意图；分析驾驶员在每帧驾驶图像的第一变道意图，确定驾驶员在当前时间段内的第二变道意图。本申请通过识别连续多帧驾驶图像的变道意图，并对多帧驾驶图像的变道意图进行综合分析，得到最终的变道意图，以此通过采用连续多帧的驾驶图像进行分析，能够避免采用单帧图像识别意图的偶然性，实现了变道意图的精准识别。能够在未开启转向灯的情况下准确的识别出驾驶员变道意图。
Description
技术领域
本发明涉及智能驾驶技术领域，具体涉及一种驾驶员的变道意图识别方法、装置、设备及介质。
背景技术
目前在高级驾驶辅助系统(Advanced Driving Assistance System，缩写：ADAS)中，车道辅助和侧向辅助功能总是存在不必要报警以及与驾驶员“抢方向盘”的情况，其根本原因是目前的系统在未开启转向灯的情况下无法准确的识别出驾驶员变道意图，导致不能真正实现在车辆仅发生无意识偏离的危险情境下才触发功能，同时不能做到在未开启转向灯的危险情况下正确报警。
发明内容
有鉴于此，本发明实施例提供了一种驾驶员的变道意图识别方法、装置、设备及介质，以解决驾驶辅助系统无法做到在未开启转向灯的情况下准确识别出驾驶员变道意图的问题。
第一方面，本发明实施例提供了一种驾驶员的变道意图识别方法，所述方法包括：
获取驾驶员在当前时间段内的驾驶图像集合，其中，所述驾驶图像集合包括多帧连续的驾驶图像，所述驾驶图像为所述驾驶员在目标车辆内执行驾驶操作的图像；
检测每帧驾驶图像中所述驾驶员对应的第一驾驶行为特征，并基于所述第一驾驶行为特征，识别出所述驾驶图像对应的第一变道意图；
分析所述驾驶员在每帧驾驶图像的第一变道意图，确定所述驾驶员在当前时间段内的第二变道意图。
本申请实施例提供的方法通过识别连续多帧驾驶图像的变道意图，并对多帧驾驶图像的变道意图进行综合分析，得到最终的变道意图，以此通过采用连续多帧的驾驶图像进行分析，能够避免采用单帧图像识别意图的偶然性，实现了变道意图的精准识别。能够在未开启转向灯的情况下准确的识别出驾驶员变道意图，且能够实现在车辆发生无意识偏离的危险情境下才触发相应的功能，同时还可以在未开启转向灯的情况下报警。
进一步的，所述检测每帧驾驶图像中所述驾驶员对应的第一驾驶行为特征，并基于所述第一驾驶行为特征，识别出所述驾驶图像对应的第一变道意图，包括：
将所述驾驶图像输入至预先训练好的识别模型，其中，所述识别模型包括第一处理网络以及第一特征提取网络；
通过所述第一处理网络将所述驾驶图像划分为多个网格，从多个网格中确定第一网格，并将所述第一网格传输至所述特征提取网络，其中，所述第一网格用于预测驾驶员在驾驶图像中第一位置；
通过所述第一特征提取网络基于所述第一网格预测所述驾驶员在驾驶图像中第一位置，基于所述第一位置提取第一驾驶行为特征，并确定所述第一驾驶行为特征属于不同变道类别的概率值；
基于所述变道类别以及所述变道类别对应的概率值生成所述驾驶图像对应的第一变道意图。
本申请实施例提供的方法
进一步的，所述通过所述第一处理网络将所述驾驶图像划分为多个网格，从多个网格中确定第一网格，并将所述第一网格传输至所述特征提取网络，包括：
通过所述第一处理网络对所述驾驶图像进行划得到多个网格；
从多个网格中检测与所述驾驶员的中心相匹配的目标网格；
将所述目标网格确定为用于预测驾驶员在驾驶图像中第一位置的第一网格，并将所述第一网格传输至所述特征提取网络。
本申请实施例提供的方法通过将驾驶图像划分为多个网格，并利用驾驶员的中心点确定用于预测驾驶员在驾驶图像中第一位置的第一网格，后续便于通过网格快速预测出驾驶员的位置，有利于后续根据该位置提取驾驶员的驾驶行为特征。同时通过将预测驾驶员位置的任务限制在该网格上，模型可以更加集中地学习驾驶员的中心位置，提高定位的准确性。
进一步的，所述通过所述第一特征提取网络基于所述第一网格预测所述驾驶员在驾驶图像中第一位置，基于所述第一位置提取第一驾驶行为特征，并确定所述第一驾驶行为特征属于不同变道类别的概率值，包括：
通过所述第一特征提取网络利用所述第一网格预测所述驾驶员对应的多个边界框，并确定所述边界框对应的第一条件概率，其中，所述边界框用于表征驾驶员在驾驶图像中第一位置；
提取所述边界框内的第一驾驶行为特征，并预测所述第一驾驶行为特征属于不同变道类别的第二条件概率；
基于所述第一条件概率以及所述第二条件概率进行联合计算，得到所述第一驾驶行为特征属于不同变道类别的概率值。
本申请实施例提供的方法通过利用边界框的第一条件概率以及第一驾驶行为的第二条案件概率进行联合计算，能够精准的确定每一帧驾驶图像中驾驶行为特征对应的变道类别的概率值。为后续结合多张图像分析驾驶员的变道意图提供了可靠的依据。
进一步的，所述识别模型的训练方法包括：
获取样本图像，其中，所述样本图像包括所述驾驶员执行变道操作所触发的第二驾驶行为特征；
获取所述样本图像对应的标签信息，其中，所述标签信息用于标注所述驾驶员在所述样本图像中的实际位置以及所述第二驾驶行为特征对应的实际变道类别；
利用所述样本图像以及所述标签信息训练预设神经网络模型，得到所述识别模型。
进一步的，所述利用所述样本图像以及所述标签信息训练预设神经网络模型，得到所述识别模型，包括：
将所述样本图像以及所述标签信息输入至所述预设神经网络模型，其中，预设神经网络模型包括第二处理网络以及第二特征提取网络；
通过所述第二处理网络将所述样本图像划分为多个网格，从多个网格中确定第二网格，并将所述第二网格传输至所述第二特征提取网络，其中，所述第二网格用于预测驾驶员在样本图像中第二位置；
通过所述第二特征提取网络基于所述第二网格预测所述驾驶员在驾驶图像中第二位置，基于所述第二位置提取第二驾驶行为特征，并确定所述第二驾驶行为特征属于不同变道类别的初始概率值；
基于所述变道类别的初始概率值与所述实际变道类别计算分类误差；
基于所述第二位置以及所述实际位置计算预测误差以及交并比误差；
根据所述分类误差、所述预测误差以及所述交并比误差计算目标损失；
利用所述目标损失对所述预设神经网络模型进行优化，将优化后的神经网络模型作为所述识别模型。
本申请实施例提供的方法采用驾驶员的历史驾驶图像进行训练，能够精准地捕捉该驾驶员在变道操作时驾驶行为特征，例如：变道时的特定规律和运动范围，从而有利于模型能够深入学习驾驶员的驾驶习惯，从而能够精确地识别出驾驶员的变道意图。
进一步的，所述分析所述驾驶员在每帧驾驶图像的第一变道意图，确定所述驾驶员在当前时间段内的第二变道意图，包括：
将所述第一变道意图中概率值最大的变道类别作为候选变道类别，并确定所述候选变道类别对应的数量；
将所述数量最大的候选变道类别确定为所述第二变道意图。
第二方面，本发明实施例提供了一种驾驶员的变道意图识别装置，所述装置包括：
获取模块，用于获取驾驶员在当前时间段内的驾驶图像集合，其中，所述驾驶图像集合包括多帧连续的驾驶图像，所述驾驶图像为所述驾驶员在目标车辆内执行驾驶操作的图像；
检测模块，用于检测每帧驾驶图像中所述驾驶员对应的第一驾驶行为特征，并基于所述第一驾驶行为特征，识别出所述驾驶图像对应的第一变道意图；
分析模块，用于分析所述驾驶员在每帧驾驶图像的第一变道意图，确定所述驾驶员在当前时间段内的第二变道意图。
第三方面，本发明实施例提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的方法。
本申请实施例具有如下有益效果：
(1)本申请实施例提供的方法通过识别连续多帧驾驶图像的变道意图，并对多帧驾驶图像的变道意图进行综合分析，得到最终的变道意图，以此通过采用连续多帧的驾驶图像进行分析，能够避免采用单帧图像识别意图的偶然性，实现了变道意图的精准识别。能够在未开启转向灯的情况下准确的识别出驾驶员变道意图，且能够实现在车辆发生无意识偏离的危险情境下才触发相应的功能，同时还可以在未开启转向灯的情况下报警。
(2)本申请实施例提供的方法通过将驾驶图像划分为多个网格，并利用驾驶员的中心点确定用于预测驾驶员在驾驶图像中第一位置的第一网格，后续便于通过网格快速预测出驾驶员的位置，有利于后续根据该位置提取驾驶员的驾驶行为特征。同时通过将预测驾驶员位置的任务限制在该网格上，模型可以更加集中地学习驾驶员的中心位置，提高定位的准确性。
(3)本申请实施例提供的方法通过利用边界框的第一条件概率以及第一驾驶行为的第二条案件概率进行联合计算，能够精准的确定每一帧驾驶图像中驾驶行为特征对应的变道类别的概率值。为后续结合多张图像分析驾驶员的变道意图提供了可靠的依据。
(4)本申请实施例提供的方法采用驾驶员的历史驾驶图像进行训练，能够精准地捕捉该驾驶员在变道操作时驾驶行为特征，例如：变道时的特定规律和运动范围，从而有利于模型能够深入学习驾驶员的驾驶习惯，从而能够精确地识别出驾驶员的变道意图。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一些实施例的驾驶员的变道意图方法的流程示意图；
图2是根据本发明一些实施例的识别模型的示意图；
图3是根据本发明一些实施例的驾驶图像划分后的示意图；
图4是根据本发明一些实施例的驾驶图像的处理过程示意图；
图5是根据本发明一些实施例的识别模型的训练方法的流程示意图；
图6是根据本发明实施例的驾驶员的变道意图装置的结构框图；
图7是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明实施例，提供了一种驾驶员的变道意图识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种驾驶员的变道意图识别方法、装置、设备及介质。图1是根据本发明实施例的驾驶员的变道意图识别方法的流程图，如图1所示，该流程包括如下步骤：
步骤S11，获取驾驶员在当前时间段内的驾驶图像集合，其中，驾驶图像集合包括多帧连续的驾驶图像，驾驶图像为驾驶员在目标车辆内执行驾驶操作的图像。
本申请实施例提供的方法应用于目标车辆的控制终端，控制终端可以实时向部署在目标车辆内的摄像装置发送采集指令，也可以在目标车辆未开启转向灯的情况下发送采集指令，从而便于后续目标车辆在未开启转向灯的情况下，通过采集的驾驶图像准确识别驾驶员的变道意图。摄像装置根据采集指令在当前时间段内对目标车辆内的驾驶员进行图像采集，得到驾驶图像集合，驾驶图像集合包括多帧连续的驾驶图像。摄像装置将采集到的驾驶图像集合传输至控制终端，便于后续控制终端对驾驶员的变道意图进行识别。
步骤S12，检测每帧驾驶图像中驾驶员对应的第一驾驶行为特征，并基于第一驾驶行为特征，识别出驾驶图像对应的第一变道意图。
在本申请实施例中，检测每帧驾驶图像中驾驶员对应的第一驾驶行为特征，并基于第一驾驶行为特征，识别出驾驶图像对应的第一变道意图，包括以下步骤A1-A4：
步骤A1，将驾驶图像输入至预先训练好的识别模型，其中，识别模型包括第一处理网络以及第一特征提取网络。
在本申请实施例中，将驾驶图像输入至预先训练好的识别模型，识别模型包括第一处理网络以及第一特征提取网络。本申请的识别模型可以是YOLO神经网络模型，模型结构如图2所示。其中，第一特征提取网络采用MobileNet，利用更加高效的卷积计算方式在提升网络的复杂度的基础上加快了图像检测的速度。使用3x3的卷积核，补零宽度设和步长均设置为1，从而保证单个卷积层的输出特征图尺寸与输入图像一样，使用2x2的最大池化层进行降采样，将底层的图像信息逐层汇总到高层的结构信息，并在每层间使用渗漏纠正线性单元(leakyReLU)函数作为激活函数，相比纠正线性单元(ReLU)函数增加了激活函数的平滑性，保护了负数输出的梯度不会消失。
步骤A2，通过第一处理网络将驾驶图像划分为多个网格，从多个网格中确定第一网格，并将第一网格传输至特征提取网络，其中，第一网格用于预测驾驶员在驾驶图像中第一位置。
在本申请实施例中，通过第一处理网络将驾驶图像划分为多个网格，从多个网格中确定第一网格，并将第一网格传输至特征提取网络，包括以下步骤A201-A203：
步骤A201，通过第一处理网络对驾驶图像进行划得到多个网格。
在本申请实施例中，第一处理网络对驾驶图像进行划分，得到7×7个网格，划分后的驾驶图像如图3所示。
步骤A202，从多个网格中检测与驾驶员的中心相匹配的目标网格。
在本申请实施例中，首先检测驾驶图像中驾驶员的中心点坐标，将中心点坐标与各个网格对应的坐标范围进行匹配，将匹配成功的网格确定为目标网格。
步骤A203，将目标网格确定为用于预测驾驶员在驾驶图像中第一位置的第一网格，并将第一网格传输至特征提取网络。
在本申请实施例中，在得到目标网格后，将目标网格确定为用于预测驾驶员在驾驶图像中第一位置的网格，第一位置可以理解为是驾驶员对应边界框的位置。然后将第一网格传输至特征提取网络。
需要说明的是，由于驾驶员的中心位置往往是最重要和最显著的部分，通过将预测驾驶员位置的任务限制在该网格上，模型可以更加集中地学习驾驶员的中心位置，提高定位的准确性。
步骤A3，通过第一特征提取网络基于第一网格预测驾驶员在驾驶图像中第一位置，基于第一位置提取第一驾驶行为特征，并确定第一驾驶行为特征属于不同变道类别的概率值。
本申请实施例提供的方法通过将驾驶图像划分为多个网格，并利用驾驶员的中心点确定用于预测驾驶员在驾驶图像中第一位置的第一网格，后续便于通过网格快速预测出驾驶员的位置，有利于后续根据该位置提取驾驶员的驾驶行为特征。
在本申请实施例中，通过第一特征提取网络基于第一网格预测驾驶员在驾驶图像中第一位置，基于第一位置提取第一驾驶行为特征，并确定第一驾驶行为特征属于不同变道类别的概率值，包括以下步骤A301-A303：
步骤A301，通过第一特征提取网络利用第一网格预测驾驶员对应的多个边界框，并确定边界框对应的第一条件概率，其中，边界框用于表征驾驶员在驾驶图像中第一位置。
在本申请实施例中，第一特征提取网络对基于第一网格预测出驾驶员对应的边界框，每个边界框包含5个元素(x，y，w，h，confidence)，其中，x，y用于表示边界框的坐标，w，h分别表示边界框的宽和高，confidence表示置信度，本申请实施例将置信度作为边界框的第一条件概率，第一条件概率用于反映边界框中是否有驾驶员以及驾驶员位置的准确度。
步骤A302，提取边界框内的第一驾驶行为特征，并预测第一驾驶行为特征属于不同变道类别的第二条件概率。
在本申请实施例中，确定边界框对应的第一条件概率可以是：第一特征提取网络从边界框内提取第一驾驶行为特征，并对第一驾驶行为特征进行分类，得到第一驾驶行为对应各个变道类别的类别分数，最终通过softmax函数将类别分数转换为第二条件概率。
需要说明的是，驾驶行为特征包括：面部特征、头部特征以及手部特征等。
变道类别包括：不变道、向左变道以及向右变道。不同的特征组合对应的变道类别不同。
步骤A303，基于第一条件概率以及第二条件概率进行联合计算，得到第一驾驶行为特征属于不同变道类别的概率值。
本申请实施例提供的方法通过利用边界框的第一条件概率以及第一驾驶行为的第二条案件概率进行联合计算，能够精准的确定每一帧驾驶图像中驾驶行为特征对应的变道类别的概率值。为后续结合多张图像分析驾驶员的变道意图提供了可靠的依据。
步骤A4，基于变道类别以及变道类别对应的概率值生成驾驶图像对应的第一变道意图。
在本申请实施例中，将驾驶图像集合中的每帧驾驶图像输入至识别模型，得到每帧驾驶图像对应的变道类别以及变道类别对应的概率值，最终将变道类别以及变道类别对应的概率值作为驾驶图像的第一变道意图。
本申请实施例提供的方法利用识别模型从多个网格中确定预测驾驶员在驾驶图像中第一位置的第一网格，以此便于后续通过第一网格预测驾驶员的位置，模型可以更好地学习视觉特征和上下文信息。这样可以增强模型的识别能力，更准确地区分目标特征和背景，从而提高检测准确率。
步骤S13，分析驾驶员在每帧驾驶图像的第一变道意图，确定驾驶员在当前时间段内的第二变道意图。
在本申请实施例中，分析驾驶员在每帧驾驶图像的第一变道意图，确定驾驶员在当前时间段内的第二变道意图，包括：将第一变道意图中概率值最大的变道类别作为候选变道类别，并确定候选变道类别对应的数量；将数量最大的候选变道类别确定为第二变道意图。
在本申请实施例中，如图4所示，驾驶图像集合中包括多帧驾驶图像，分别为驾驶图像p1，驾驶图像p2，驾驶图像p3，驾驶图像p4。将上述驾驶图像依次输入至识别模型，识别模型依次输出驾驶图像p1对应的变道意图q1，驾驶图像p2对应的变道意图q2，驾驶图像p3对应的变道意图q3，驾驶图像p4对应的变道意图q4。例如：变道意图q1中概率值最大的变道类别为不变道，变道意图q2中概率值最大的变道类别为向左变道，变道意图q3中概率值最大的变道类别为向左变道，变道意图q4中概率值最大的变道类别为向左变道。最终向左变道这个变道类别对应的数量为3，因此将向左变道确定为第二变道意图。
本申请实施例提供的方法通过识别连续多帧驾驶图像的变道意图，并对多帧驾驶图像的变道意图进行综合分析，得到最终的变道意图，以此通过采用连续多帧的驾驶图像进行分析，能够避免采用单帧图像识别意图的偶然性，实现了变道意图的精准识别。能够在未开启转向灯的情况下准确的识别出驾驶员变道意图，且能够实现在车辆发生无意识偏离的危险情境下才触发相应的功能，同时还可以在未开启转向灯的情况下报警。
在本申请实施例中，如图5所示，识别模型的训练方法包括以下步骤：
步骤S21，获取样本图像，其中，样本图像包括驾驶员执行变道操作所触发的第二驾驶行为特征。
在本申请实施例中，可以获取驾驶员对应的历史驾驶记录，并从历史驾驶记录中提取历史驾驶图像，对历史驾驶图像进行筛选，筛选出与变道操作相关的目标驾驶图像，首先将目标驾驶图像进行尺度缩放至224x224像素大小，另外考虑到人的动作和神态的多样性，为了使训练数据更加合理，本申请实施例提高网络泛化能力，对数据集图片使用翻转矩阵分别将图片进行左右、上下翻转、不同尺度的仿射变换以及高斯模糊处理，得到样本图像。
步骤S22，获取样本图像对应的标签信息，其中，标签信息用于标注驾驶员在样本图像中的实际位置以及第二驾驶行为特征对应的实际变道类别。
在本申请实施例中，标签信息可以是预先通过图像标注软件进行标注的，标签信息用于标注驾驶员在样本图像的实际位置，同时标签信息还用于标注样本图像中第二驾驶行为特征对应的实际变道类别。标签信息还用于标注样本图像中的第二驾驶行为特征以及第二驾驶行为特征对应的实际变道类别。例如：对第二驾驶行为特征进行标注可以是采用锚框进行标注，同时添加锚框对应的实际变道类别。实际变道类别包括：不变道、向左变道以及向右变道。
步骤S23，利用样本图像以及标签信息训练预设神经网络模型，得到识别模型。
在本申请实施例中，利用样本图像以及标签信息训练预设神经网络模型，得到识别模型，包括以下过程：
(1)将样本图像以及标签信息输入至预设神经网络模型，其中，预设神经网络模型包括第二处理网络以及第二特征提取网络。
(2)通过第二处理网络将样本图像划分为多个网格，从多个网格中确定第二网格，并将第二网格传输至第二特征提取网络，其中，第二网格用于预测驾驶员在样本图像中第二位置。
(3)通过第二特征提取网络基于第二网格预测驾驶员在驾驶图像中第二位置，基于第二位置提取第二驾驶行为特征，并确定第二驾驶行为特征属于不同变道类别的初始概率值。
(4)基于变道类别的初始概率值与实际变道类别计算分类误差。
在本申请实施例中，分类误差的计算过程如下：
其中，classError分类误差，λnoobj为分类损失函数的权重，s为标准差，B为边界框的数量，p代表第二条件概率，C为置信度，即第一条件概率，i和j在表示网格的水平索引和垂直索引。
(5)基于第二位置以及实际位置计算预测误差以及交并比误差。
在本申请实施例中，预测误差的计算过程如下：
其中，coordError为预测误差，λcoord为损失函数的权重，s为标准差，B为边界框的数量，p代表第二条件概率，C为置信度，即第一条件概率，x，y为边界框的坐标。
在本申请实施例中，交并比误差的计算过程如下：
其中，iouError为交并比误差，λcoord为损失函数的权重，s为标准差，B为边界框的数量，p代表第二条件概率，C为置信度，即第一条件概率，w为边界框的宽，h为边界框的高。
(6)根据分类误差、预测误差以及交并比误差计算目标损失。
在本申请实施例中，
(7)利用目标损失对预设神经网络模型进行优化，将优化后的神经网络模型作为识别模型。
在本申请实施例中，利用目标损失对预设神经网络模型中的处理网络以及特征处理网络的网络参数进行优化调整，直至调整后的预设神经网络模型的目标损失小于预设阈值，则确定训练完成，并将训练好的预设神经网络模型作为识别模型。
本申请实施例提供的方法采用驾驶员的历史驾驶图像进行训练，能够精准地捕捉该驾驶员在变道操作时驾驶行为特征，例如：变道时的特定规律和运动范围，从而有利于模型能够深入学习驾驶员的驾驶习惯，从而能够精确地识别出驾驶员的变道意图。
在本实施例中还提供了一种驾驶员的变道意图识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种驾驶员的变道意图识别装置，如图6所示，包括：
获取模块61，用于获取驾驶员在当前时间段内的驾驶图像集合，其中，驾驶图像集合包括多帧连续的驾驶图像，驾驶图像为驾驶员在目标车辆内执行驾驶操作的图像；
检测模块62，用于检测每帧驾驶图像中驾驶员对应的第一驾驶行为特征，并基于第一驾驶行为特征，识别出驾驶图像对应的第一变道意图；
分析模块63，用于分析驾驶员在每帧驾驶图像的第一变道意图，确定驾驶员在当前时间段内的第二变道意图。
在本申请实施例中，检测模块62，包括：
输入单元，用于将驾驶图像输入至预先训练好的识别模型，其中，识别模型包括第一处理网络以及第一特征提取网络；
第一处理单元，用于通过第一处理网络将驾驶图像划分为多个网格，从多个网格中确定第一网格，并将第一网格传输至特征提取网络，其中，第一网格用于预测驾驶员在驾驶图像中第一位置；
第二处理单元，用于通过第一特征提取网络基于第一网格预测驾驶员在驾驶图像中第一位置，基于第一位置提取第一驾驶行为特征，并确定第一驾驶行为特征属于不同变道类别的概率值；
生成单元，用于基于变道类别以及变道类别对应的概率值生成驾驶图像对应的第一变道意图。
在本申请实施例中，第一处理单元，用于通过第一处理网络对驾驶图像进行划得到多个网格；从多个网格中检测与驾驶员的中心相匹配的目标网格；将目标网格确定为用于预测驾驶员在驾驶图像中第一位置的第一网格，并将第一网格传输至特征提取网络。
在本申请实施例中，第二处理单元，用于通过第一特征提取网络利用第一网格预测驾驶员对应的多个边界框，并确定边界框对应的第一条件概率，其中，边界框用于表征驾驶员在驾驶图像中第一位置；提取边界框内的第一驾驶行为特征，并预测第一驾驶行为特征属于不同变道类别的第二条件概率；基于第一条件概率以及第二条件概率进行联合计算，得到第一驾驶行为特征属于不同变道类别的概率值。
在本申请实施例中，装置还包括：训练模块，用于获取样本图像，其中，样本图像包括驾驶员执行变道操作所触发的第二驾驶行为特征；获取样本图像对应的标签信息，其中，标签信息用于标注驾驶员在样本图像中的实际位置以及第二驾驶行为特征对应的实际变道类别；利用样本图像以及标签信息训练预设神经网络模型，得到识别模型。
在本申请实施例中，训练模块，用于将样本图像以及标签信息输入至预设神经网络模型，其中，预设神经网络模型包括第二处理网络以及第二特征提取网络；通过第二处理网络将样本图像划分为多个网格，从多个网格中确定第二网格，并将第二网格传输至第二特征提取网络，其中，第二网格用于预测驾驶员在样本图像中第二位置；通过第二特征提取网络基于第二网格预测驾驶员在驾驶图像中第二位置，基于第二位置提取第二驾驶行为特征，并确定第二驾驶行为特征属于不同变道类别的初始概率值；基于变道类别的初始概率值与实际变道类别计算分类误差；基于第二位置以及实际位置计算预测误差以及交并比误差；根据分类误差、预测误差以及交并比误差计算目标损失；利用目标损失对预设神经网络模型进行优化，将优化后的神经网络模型作为识别模型。
在本申请实施例中，分析模块63，用于将第一变道意图中概率值最大的变道类别作为候选变道类别，并确定候选变道类别对应的数量；将数量最大的候选变道类别确定为第二变道意图。
请参阅图7，图7是本发明可选实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种小程序落地页的展现的计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种驾驶员的变道意图识别方法，其特征在于，所述方法包括：
获取驾驶员在当前时间段内的驾驶图像集合，其中，所述驾驶图像集合包括多帧连续的驾驶图像，所述驾驶图像为所述驾驶员在目标车辆内执行驾驶操作的图像；
检测每帧驾驶图像中所述驾驶员对应的第一驾驶行为特征，并基于所述第一驾驶行为特征，识别出所述驾驶图像对应的第一变道意图；
分析所述驾驶员在每帧驾驶图像的第一变道意图，确定所述驾驶员在当前时间段内的第二变道意图。
2.根据权利要求1所述的方法，其特征在于，所述检测每帧驾驶图像中所述驾驶员对应的第一驾驶行为特征，并基于所述第一驾驶行为特征，识别出所述驾驶图像对应的第一变道意图，包括：
将所述驾驶图像输入至预先训练好的识别模型，其中，所述识别模型包括第一处理网络以及第一特征提取网络；
通过所述第一处理网络将所述驾驶图像划分为多个网格，从多个网格中确定第一网格，并将所述第一网格传输至所述特征提取网络，其中，所述第一网格用于预测驾驶员在驾驶图像中第一位置；
通过所述第一特征提取网络基于所述第一网格预测所述驾驶员在驾驶图像中第一位置，基于所述第一位置提取第一驾驶行为特征，并确定所述第一驾驶行为特征属于不同变道类别的概率值；
基于所述变道类别以及所述变道类别对应的概率值生成所述驾驶图像对应的第一变道意图。
3.根据权利要求2所述的方法，其特征在于，所述通过所述第一处理网络将所述驾驶图像划分为多个网格，从多个网格中确定第一网格，并将所述第一网格传输至所述特征提取网络，包括：
通过所述第一处理网络对所述驾驶图像进行划得到多个网格；
从多个网格中检测与所述驾驶员的中心相匹配的目标网格；
将所述目标网格确定为用于预测驾驶员在驾驶图像中第一位置的第一网格，并将所述第一网格传输至所述特征提取网络。
4.根据权利要求3所述的方法，其特征在于，所述通过所述第一特征提取网络基于所述第一网格预测所述驾驶员在驾驶图像中第一位置，基于所述第一位置提取第一驾驶行为特征，并确定所述第一驾驶行为特征属于不同变道类别的概率值，包括：
通过所述第一特征提取网络利用所述第一网格预测所述驾驶员对应的多个边界框，并确定所述边界框对应的第一条件概率，其中，所述边界框用于表征驾驶员在驾驶图像中第一位置；
提取所述边界框内的第一驾驶行为特征，并预测所述第一驾驶行为特征属于不同变道类别的第二条件概率；
基于所述第一条件概率以及所述第二条件概率进行联合计算，得到所述第一驾驶行为特征属于不同变道类别的概率值。
5.根据权利要求2所述的方法，其特征在于，所述识别模型的训练方法包括：
获取样本图像，其中，所述样本图像包括所述驾驶员执行变道操作所触发的第二驾驶行为特征；
获取所述样本图像对应的标签信息，其中，所述标签信息用于标注所述驾驶员在所述样本图像中的实际位置以及所述第二驾驶行为特征对应的实际变道类别；
利用所述样本图像以及所述标签信息训练预设神经网络模型，得到所述识别模型。
6.根据权利要求5所述的方法，其特征在于，所述利用所述样本图像以及所述标签信息训练预设神经网络模型，得到所述识别模型，包括：
将所述样本图像以及所述标签信息输入至所述预设神经网络模型，其中，预设神经网络模型包括第二处理网络以及第二特征提取网络；
通过所述第二处理网络将所述样本图像划分为多个网格，从多个网格中确定第二网格，并将所述第二网格传输至所述第二特征提取网络，其中，所述第二网格用于预测驾驶员在样本图像中第二位置；
通过所述第二特征提取网络基于所述第二网格预测所述驾驶员在驾驶图像中第二位置，基于所述第二位置提取第二驾驶行为特征，并确定所述第二驾驶行为特征属于不同变道类别的初始概率值；
基于所述变道类别的初始概率值与所述实际变道类别计算分类误差；
基于所述第二位置以及所述实际位置计算预测误差以及交并比误差；
根据所述分类误差、所述预测误差以及所述交并比误差计算目标损失；
利用所述目标损失对所述预设神经网络模型进行优化，将优化后的神经网络模型作为所述识别模型。
7.根据权利要求2所述的方法，其特征在于，所述分析所述驾驶员在每帧驾驶图像的第一变道意图，确定所述驾驶员在当前时间段内的第二变道意图，包括：
将所述第一变道意图中概率值最大的变道类别作为候选变道类别，并确定所述候选变道类别对应的数量；
将所述数量最大的候选变道类别确定为所述第二变道意图。
8.一种驾驶员的变道意图识别装置，其特征在于，所述装置包括：
获取模块，用于获取驾驶员在当前时间段内的驾驶图像集合，其中，所述驾驶图像集合包括多帧连续的驾驶图像，所述驾驶图像为所述驾驶员在目标车辆内执行驾驶操作的图像；
检测模块，用于检测每帧驾驶图像中所述驾驶员对应的第一驾驶行为特征，并基于所述第一驾驶行为特征，识别出所述驾驶图像对应的第一变道意图；
分析模块，用于分析所述驾驶员在每帧驾驶图像的第一变道意图，确定所述驾驶员在当前时间段内的第二变道意图。
9.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311142356.4A CN117173676A (zh) | 2023-09-05 | 2023-09-05 | 一种驾驶员的变道意图识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311142356.4A CN117173676A (zh) | 2023-09-05 | 2023-09-05 | 一种驾驶员的变道意图识别方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117173676A true CN117173676A (zh) | 2023-12-05 |
Family
ID=88946504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311142356.4A Pending CN117173676A (zh) | 2023-09-05 | 2023-09-05 | 一种驾驶员的变道意图识别方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173676A (zh) |
-
2023
- 2023-09-05 CN CN202311142356.4A patent/CN117173676A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059558B (zh) | 一种基于改进ssd网络的果园障碍物实时检测方法 | |
| EP3488387B1 (en) | Method for detecting object in image and objection detection system | |
| CN110929774B (zh) | 图像中目标物的分类方法、模型训练方法和装置 | |
| EP3624001B1 (en) | Methods and systems for parking line marker detection and pairing and parking spot detection and classification | |
| WO2021129105A1 (zh) | 一种基于mask rcnn网络模型的目标识别方法、装置 | |
| US20230076266A1 (en) | Data processing system, object detection method, and apparatus thereof | |
| US20210019572A1 (en) | Training a generative model and a discriminative model | |
| US20230137337A1 (en) | Enhanced machine learning model for joint detection and multi person pose estimation | |
| US11574500B2 (en) | Real-time facial landmark detection | |
| Geng et al. | An improved helmet detection method for YOLOv3 on an unbalanced dataset | |
| CN112487861A (zh) | 车道线识别方法、装置、计算设备及计算机存储介质 | |
| CN113095351A (zh) | 借助于初始标记的改善生成经标记的数据的方法 | |
| CN112541394A (zh) | 黑眼圈及鼻炎识别方法、系统及计算机介质 | |
| CN115908786A (zh) | 一种基于深度学习的电气柜接地线缆异常识别方法及系统 | |
| CN115019181A (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
| CN111104539A (zh) | 细粒度车辆图像检索方法、装置及设备 | |
| CN112784494B (zh) | 假阳性识别模型的训练方法、目标识别方法及装置 | |
| CN116872961B (zh) | 用于智能驾驶车辆的控制系统 | |
| CN111382638A (zh) | 一种图像检测方法、装置、设备和存储介质 | |
| CN116994049A (zh) | 全自动针织横机及其方法 | |
| CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
| CN113569600A (zh) | 物体重识别的方法、装置、电子设备及存储介质 | |
| KR102026280B1 (ko) | 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템 | |
| CN117173676A (zh) | 一种驾驶员的变道意图识别方法、装置、设备及介质 | |
| CN114529912A (zh) | 图形验证码识别方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |