CN115578717A - 驾驶员脱手检测的方法、处理器以及计算机可读介质 - Google Patents

驾驶员脱手检测的方法、处理器以及计算机可读介质 Download PDF

Info

Publication number
CN115578717A
CN115578717A CN202211164728.9A CN202211164728A CN115578717A CN 115578717 A CN115578717 A CN 115578717A CN 202211164728 A CN202211164728 A CN 202211164728A CN 115578717 A CN115578717 A CN 115578717A
Authority
CN
China
Prior art keywords
driver
hands
data set
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211164728.9A
Other languages
English (en)
Inventor
白勍
李军华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evergrande Hengchi New Energy Automobile Research Institute Shanghai Co Ltd
Original Assignee
Evergrande Hengchi New Energy Automobile Research Institute Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evergrande Hengchi New Energy Automobile Research Institute Shanghai Co Ltd filed Critical Evergrande Hengchi New Energy Automobile Research Institute Shanghai Co Ltd
Priority to CN202211164728.9A priority Critical patent/CN115578717A/zh
Publication of CN115578717A publication Critical patent/CN115578717A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明实施例提供一种驾驶员脱手检测的方法、处理器以及计算机可读介质，属于自动驾驶领域。该方法包括：分别获取驾驶车辆各关联件的状态数据集以及方向盘上的手力矩；将所述状态数据集输入预先构建的设有延时逻辑机制多层感知回归神经网络模型，获得所述驾驶员接手方向盘的延时时间值，若所述手力矩表征所述驾驶员处于脱手状态，在达到所述延时时间值时，所述驾驶员仍处于脱手状态，则发出脱手报警，将方向盘上驾驶员的手力矩和采用含有延时逻辑机制的多层感知回归神经网络模型实时预测的延时时间值相结合来判断驾驶员的脱手状态，可以避免误报警情况的出现，而且检测结果更为准确。

Description

驾驶员脱手检测的方法、处理器以及计算机可读介质
技术领域
本发明涉及自动驾驶技术领域，具体地涉及一种驾驶员脱手检测的方法、处理器以及计算机可读介质。
背景技术
目前市面上常用的脱手检测方法有两种，一种是在方向盘上加载电容传感器，这种方法成本高；另一种方法是根据检测方向盘上的扭矩频率判断是否脱手，这种方法虽然不需要额外增加硬件，成本低，但是却存在一个问题驾驶员轻握方向盘时，容易被识别为驾驶员脱手，检测准确度较低，从而导致驾驶员未期望的脱手报警，以及长时间脱手退出智能功能甚至触发脱手惩罚机制，影响驾驶体验。
发明内容
自动驾驶领域，目前市面上常用的脱手检测方法有两种，一种是在方向盘上加载电容传感器，这种方法成本高；另一种方法是根据检测方向盘上的扭矩频率判断是否脱手，参阅图1所示，为现有技术根据检测方向盘上的扭矩频率判断是否脱手的流程图，首先通过电动转向系统(EPS)获取方向盘手力矩，脱手状态检测模块对其进行傅里叶转换获得幅值和频率，根据该幅值和频率进行阈值判断，确定脱手状态，并进行脱手报警，虽然这种方法不需要额外增加硬件，成本低，但发明人发现第二种方法存在一个问题：驾驶员轻握方向盘时，容易被识别为驾驶员脱手，检测结果出现偏差，从而导致驾驶员未期望的脱手报警，以及长时间脱手退出智能功能甚至触发脱手惩罚机制，影响驾驶体验。
本发明实施例的目的是提供一种驾驶员脱手检测的方法及装置，用以解决上述现有技术种出现的技术问题。
为了实现上述目的，本发明实施例提供一种驾驶员脱手检测的方法，包括：分别获取驾驶车辆各关联件的状态数据集、方向盘上的手力矩；将所述状态数据集输入预先构建的多层感知回归神经网络模型，获得所述驾驶员接手方向盘的延时时间值，其中，所述多层感知回归神经网络模型中设有延时逻辑机制；若所述手力矩表征所述驾驶员处于脱手状态，在达到所述延时时间值时，所述驾驶员仍处于脱手状态，则发出脱手报警。可选的，所述车辆各关联件的状态数据集包括与相邻车辆之间的距离、所述相邻车辆的速度、所述驾驶车辆的位置信息以及所述驾驶车辆的状态信息中的至少一种。
可选的，所述驾驶车辆的状态信息包括自车速度、发动机转速、油门踏板开度、制动踏板开度以及方向盘转向角度中的至少一种；
所述相邻车辆之间的距离为纵向探测距离、所述相邻车辆的速度为纵向探测速度。可选的，在所述将所述状态数据集输入预先构建的多层感知回归神经网络模型，获得所述驾驶员接手方向盘的延时时间值之前，还包括：获取所述驾驶车辆各关联件的状态样本数据集和驾驶员接手方向盘的延时时间经验值，作为样本数据集；采用所述样本数据集对所述多层感知回归神经网络模型进行训练，获得训练好的多层感知回归神经网络模型。
可选的，所述采用所述样本数据集对所述多层感知回归神经网络模型进行训练，获得训练好的多层感知回归神经网络模型，包括：采用K折交叉验证法，将所述样本数据集划分为训练样本数据集和验证样本数据集；分别采用所述训练样本数据集和所述验证样本数据集对所述多层感知回归神经网络模型进行训练和验证，直到所述多层感知回归神经网络模型输出的验证值的准确率达到设定的目标值或达到预设训练迭代次数时，获得所述训练好的多层感知回归神经网络模型。
可选的，在所述获得训练好的多层感知回归神经网络模型之后，还包括：采用损失函数和评价函数对所述训练好的多层感知回归神经网络模型的模型参数进行优化，获得最优多层感知回归神经网络模型，其中，所述损失函数为均方误差函数，所述评价函数为平均绝对误差函数。
可选的，所述方法还包括：
获取所述驾驶员状态信息；
根据所述手力矩、所述驾驶员状态信息以及所述延时时间值，判断所述驾驶员是否为脱手驾驶，若是，则发出脱手报警。可选的，所述根据所述手力矩、所述驾驶员状态信息以及所述延时时间值，判断所述驾驶员是否为脱手驾驶，若是，则发出脱手预警，包括：若所述手力矩表征所述驾驶员处于脱手状态以及所述驾驶员状态信息表征所述驾驶员处于疲劳或分神状态，在达到所述延时时间值时，所述驾驶员仍处于所述脱手状态和所述疲劳或分神状态，则发出脱手报警。
另一方面，本发明实施例还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述所述的方法。
另一方面，本发明实施例还提供一种计算机可读介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行上述所述的方法。
通过上述技术方案，将方向盘上驾驶员的手力矩和采用含有延时逻辑机制的多层感知回归神经网络模型实时预测的延时时间值相结合来判断驾驶员的脱手状态，可以避免误报警情况的出现，而且检测结果更为准确。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是现有技术根据检测方向盘上的扭矩频率判断是否脱手的流程图；
图2是本申请实施例提供的一种驾驶员脱手检测的方法流程图；
图3是本申请实施例提供的一种多层感知回归神经网络结构图；
图4是本申请实施例提供的一种交叉验证示意图；
图5是本申请实施例提供的一种驾驶员脱手检测的方法的详细实施流程图；
图6是本申请实施例提供的另一种驾驶员脱手检测的方法的详细实施流程图；
图7是本申请实施例提供的一种驾驶员脱手检测的系统示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
参阅图2所示，为本申请实施例提供的一种驾驶员脱手检测的方法流程图，具体执行步骤如下：
步骤200：分别获取驾驶车辆各关联件的状态数据集以及方向盘上的手力矩。
具体的，所述车辆各关联件的状态数据集包括与相邻车辆之间的距离、所述相邻车辆的速度、所述驾驶车辆的位置信息以及所述驾驶车辆的状态信息中的至少一种。
可选的，驾驶车辆的状态信息可以为车速、发动机转速、方向盘转向角度、方向盘手力矩以及油门/制动踏板开度信息中的一种或多种；驾驶车辆的位置信息可以为该驾驶车辆所处的地理位置坐标和/或海拔高度；驾驶员状态信息可以为驾驶员面部、眼部、嘴部特征信息，肢体信息；所述相邻车辆之间的距离为纵向探测距离、所述相邻车辆的速度为纵向探测速度。在一些实施方式中，通过驾驶车辆的雷达传感器获取相邻车辆之间的距离和相邻车辆的速度，通过融合定位系统获取驾驶车辆的地理位置坐标和海拔高度，通过电子制动控制单元获取驾驶车辆的自车速度，通过整车控制系统获取车辆发动机转速和油门/制动踏板开度信息，通过电子助力转向系统获取方向盘转向角度和方向盘手力矩，通过座舱内监控摄像头获取驾驶员行为监控图像。
步骤201：将状态数据集输入预先构建的多层感知回归神经网络模型，获得驾驶员接手方向盘的延时时间值。
其中，所述多层感知回归神经网络模型中设有延时逻辑机制。
具体的，在执行步骤201之前，还执行以下步骤：
S2010：获取驾驶车辆各关联件的状态样本数据集和驾驶员接手方向盘的延时时间经验值，作为样本数据集。
具体的，通过雷达传感器、融合定位系统、电子制动控制单元、整车控制系统以及电子助力转向系统等关联系统，采集驾驶车辆异构多通道关联件的测量数据，并对其进行预处理，生成训练样本。
需要说明的是，每个训练样本包含十维特征向量，每一维度的特征都有不同的取值范围，比如自车速度的取值范围是0-180km/h，发动机转速范围是0-3500转，方向盘的转向角度范围是0-540度，其中，十维特征向量包括：
Figure BDA0003860852610000051
Figure BDA0003860852610000061
在一些实施方式中，延时时间经验值的计算需要考虑的因素如下：
纵向目标物探测距离：对于影响自车行驶的纵向目标物，探测的相对距离越小，延时时间值就越短，以保证行车安全性，否则容易发生碰撞；如果探测的相对距离较大，延时时间值就可以较长，以提升用户驾驶体验。
纵向目标物探测速度：对应影响自车行驶的纵向目标物，探测的速度越小，延时时间值就越短，以保证行车安全性，否则容易发生碰撞；如果探测的速度较大，延时时间值就可以较长，以提升用户驾驶体验。
地理位置坐标：不同的地理位置坐标，延时计算结果不同，比如在一些重要地点开车，一旦发生交通事故影响很不好，所以采用保守策略，让延时时间值尽可能小一些，以保证行车人工接管的安全性，而在郊区等人烟稀少的地方开车，可以适当让延时时间值长一点。
海拔高度：在海拔较高、陡峭的地区行车，延时时间值就小一些，以保证行车人工接管的安全性，而在海拔较低、平原的地区行车，延时时间值就可以较长，以提升用户驾驶体验。
自车速度、发动机转速、油门踏板开度：当自车速度较快、发动机转速较快、油门踏板开度较大时，延时时间值就尽可能小一些，以保证行车人工接管的安全性，而当自车速度较慢、发动机转速较慢、油门踏板开度较小时，延时时间值就可以较长，以提升用户驾驶体验。
制动踏板开度：当制动踏板开度较小时，延时时间值就小一些，以保证行车人工接管的安全性；当制动踏板开度较大时，延时时间值就可以较长，以提升用户驾驶体验。
方向盘转向角度：当方向盘转向角度较大时，延时时间值就尽可能小一些，以保证行车人工接管的安全性；当方向盘转向角度较小时，延时时间值就可以较长，以提升用户驾驶体验。
S2011：采用样本数据集对多层感知回归神经网络模型进行训练，获得训练好的多层感知回归神经网络模型。
在一些实施方式中，多层感知回归神经网络，隐藏层#1和隐藏层#2都包含64个神经元，并使用relu作为激活函数，输出层只有1个神经元，是一个没有激活函数的线性层，这是标量回归的典型设置，因为如果添加激活函数就会限制输出范围，而最后一层是纯线性的，网络模型就可以预测任意范围内的值，参阅图3所示，为本申请实施例提供的一种多层感知回归神经网络结构图，将纵向目标物探测距离、纵向目标物探测速度、地理位置坐标、海拔高度、自车速度、发动机转速、油门踏板开度、制动踏板开度以及方向盘转向角度输入包含64个神经元的隐藏层#1，将输出值进一步输入包含64个神经元的隐藏层#2，最终在只有1个神经元的输出层输出结果，延时时间值。
在一些实施方式中，构建MLP网络模型时，考虑采用RMSProp(Root Mean SquarePropagation)均方根传播优化器，RMSProp算法对梯度计算了微分平方加权平均数，这种做法有利于消除损失函数在更新中存在摆动幅度过大的问题，其限制了垂直方向上的振荡，可以修正摆动幅度，使得各个维度的摆动幅度都较小，使算法可以在水平方向上采取更大的步，进行更快地收敛。
具体的，可以采用以下方式对多层感知回归神经网络模型进行训练：
采用K折交叉验证法，将所述样本数据集划分为训练样本数据集和验证样本数据集；
分别采用所述训练样本数据集和所述验证样本数据集对所述多层感知回归神经网络模型进行训练和验证，直到所述多层感知回归神经网络模型输出的验证值的准确率达到设定的目标值或达到预设训练迭代次数时，获得所述训练好的多层感知回归神经网络模型。
在一些实施方式中，参阅图4所示，为本申请实施例提供的一种交叉验证示意图，样本数据集和标注可先由人工完成1.5万个样本数据集(12000个训练样本和3000个验证样本，训练样本和验证样本按照4:1切分)，则训练集的形状为train_data.shape(12000,10)，验证集的形状为validation_data.shape(3000,10)。由于验证数据集的数量比较少，因此验证集的划分方式可能会造成验证误差比较大，无法对模型进行可靠的评估。所以可考虑利用下图K折交叉验证的方法，把原始数据集分割成K(K可以考虑取值4或5)个不重合的子数据集(训练数据集、验证数据集)，然后做K次模型训练和验证，每次使用一个子数据集验证模型，并使用其他K-1个子数据集来训练模型，在这K次训练和验证中，每次用来验证模型的子数据集都不同，最后，对这K次训练误差和验证误差分别求平均值。
进一步的，在获得训练好的多层感知回归神经网络模型之后，采用损失函数和评价函数对所述训练好的多层感知回归神经网络模型的模型参数进行优化，获得最优多层感知回归神经网络模型。
其中，所述损失函数为均方误差函数，所述评价函数为平均绝对误差函数。
在一些实施方式中，考虑使用MSE(Mean Squared Error)均方误差作为回归问题的损失函数，用来衡量模型预测与实际数据的差距程度，再使用MAE(Mean Average Error)平均绝对误差作为评价函数，来评估当前训练模型的性能，当模型编译后，评价函数MAE作为metrics的参数来输入，它是预测值和目标值之差的绝对值。
在一些实施方式中，可以通过使用tensorflow keras环境来构建、训练和验证延时逻辑深度回归神经网络：
Figure BDA0003860852610000091
输入数据层用于读取训练数据集、验证数据集和测试数据集的样本数据，对多层感知回归神经网络模型进行训练和验证，以获得深度回归神经网络模型的特征提取层、线性输出层的权重参数；
对数据训练集、数据验证集进行标准化处理：
Figure BDA0003860852610000092
构建多层感知回归神经网络，并设置超参数epochs＝500(所有的训练样本完成一次Forward运算以及一次Back Propagation运算)，batch_size＝16(计算效率和内存容量之间的平衡参数，1次迭代等于使用batch_size个样本训练1次)，verbose＝0(在控制台无需任何输出)，并使用训练数据集进行网络模型的训练，然后用验证数据集对网络模型进行精确度的验证评估：
model＝build_mlp_network()
history＝model.fit(train_data,train_targets,epochs＝500,batch_size＝16,verbose＝0)
validation_mse_score,validation_mae_score
＝model.evaluate(validation_data,validation_targets)
采用训练数据集对多层感知回归神经网络模型进行训练，采用验证数据集对多层感知回归神经网络模型进行交叉验证，直到验证数据集的准确率达到设定的目标值或训练迭代次数时，模型训练结束，同时保存模型训练时验证数据集准确率最高的模型各层权重参数值：
Figure BDA0003860852610000101
Figure BDA0003860852610000111
Figure BDA0003860852610000121
将训练和验证好的延时逻辑深度回归网络模型部署到车端，进行泛化推理测试，得到最终的延时计算结果时间值；
model＝keras.models.load_model(filepath)
preds_delay_time_value＝model.predict(test_data)
步骤202：若所述手力矩表征所述驾驶员处于脱手状态，在达到所述延时时间值时，所述驾驶员仍处于脱手状态，则发出脱手报警。
在一些实施方式中，参阅图5所示，为本申请实施例提供的一种驾驶员脱手检测的方法的详细实施流程图，具体包括以下步骤：
步骤500：分别获取驾驶车辆各关联件的状态数据集以及方向盘上的手力矩。
步骤501：获取驾驶车辆各关联件的状态样本数据集和驾驶员接手方向盘的延时时间经验值，作为样本数据集。
步骤502：采用K折交叉验证法，将样本数据集划分为训练样本数据集和验证样本数据集。
步骤503：分别采用训练样本数据集和验证样本数据集对多层感知回归神经网络模型进行训练和验证，直到多层感知回归神经网络模型输出的验证值的准确率达到设定的目标值或达到预设训练迭代次数时，获得训练好的多层感知回归神经网络模型。
步骤504：采用损失函数和评价函数对训练好的多层感知回归神经网络模型的模型参数进行优化，获得最优多层感知回归神经网络模型。
步骤505：将状态数据集输入预先构建的多层感知回归神经网络模型，获得驾驶员接手方向盘的延时时间值。
步骤506：若手力矩表征驾驶员处于脱手状态，在达到延时时间值时，驾驶员仍处于脱手状态，则发出脱手报警。
在一些实施方式中，驾驶员的脱手检测还可以通过以下方法确定：
获取所述驾驶员状态信息、方向盘上的手力矩以及延时时间值；并根据所述手力矩、所述驾驶员状态信息以及所述延时时间值，判断所述驾驶员是否为脱手驾驶，若是，则发出脱手报警。
具体的，若所述手力矩表征所述驾驶员处于脱手状态以及所述驾驶员状态信息表征所述驾驶员处于疲劳或分神状态，在达到所述延时时间值时，所述驾驶员仍处于所述脱手状态和所述疲劳或分神状态，则发出脱手报警。在一些实施方式中，参阅图6所示，为本申请实施例提供的另一种驾驶员脱手检测的方法的详细实施流程图，具体包括以下步骤：
步骤600：根据方向盘上的手力矩判断驾驶员是否脱手，若是执行步骤601，否则继续执行步骤600。
步骤601：判断驾驶员状态信息是否表征驾驶员疲劳/分神，若是，则执行步骤602，否则执行步骤600。
步骤602：触发延时逻辑，并执行步骤603。
步骤603：判断驾驶员是否仍处于疲劳/分神状态，若否，执行步骤604，若是，则复位延时逻辑，并执行步骤600。
步骤604：判断驾驶员是否仍处于脱手状态，若是，则执行步骤605，否则执行步骤603。
步骤605：判断延时是否结束，若是，则执行步骤606，否则继续执行603。
步骤606：进行脱手报警。
在一些实施方式中，可以通过参阅图7所示的本申请实施例提供的一种驾驶员脱手检测的系统来融合检测驾驶员的脱手状态，驾驶员脱手检测的系统包括：由自动驾驶域控制器为核心的延时逻辑计算模块、脱手状态检测模块、驾驶员监测系统以及融合脱手决策判断模块，其中，延时逻辑计算模块，采用基于深度学习技术的回归神经网络进行逻辑推理预测，其输入数据包括：雷达传感器输出的纵向目标物探测距离、纵向目标物探测速度；融合定位系统输出的地理位置坐标、海拔高度；电子制动控制单元输出的自车速度；整车控制系统输出的发动机转速、油门踏板开度、制动踏板开度；电子助力转向系统输出的方向盘转向角度；输出结果是驾驶员可接手方向盘的延时时间值；脱手状态检测模块，根据电子助力转向系统输出的方向盘手力矩，输出脱手状态(即将电子助力转向系统输出的方向盘手力矩进行傅里叶变换得到幅值和频率，将驾驶员手力矩对应频率的幅值与预设的阈值进行比较，当低于设定阈值则认为脱手)；驾驶员监测系统根据座舱内监测摄像头实时采集输出的驾驶员行为监控图像，输出驾驶员分神、疲劳等状态；融合脱手决策判断模块根据驾驶员可接手方向盘的延时时间值、脱手状态以及驾驶员分神、疲劳等状态融合脱手状态通过智能座舱的脱手报警模块负责报警，报警方式包括但不限于语音报警、HMI车机界面提示报警以及驾驶员座位震动报警。
这样，将驾驶员脱手状态与来自驾驶员监测系统的驾驶员状态结合，可以在驾驶员脱手或轻握方向盘，且疲劳或分神时及时提醒驾驶员，一方面做到了及时提醒保证了安全，另一方面不会在驾驶员轻握方向盘但处于专注驾驶状态时非预期提醒驾驶员，因此能做到提醒得恰到好处，让提醒功能更符合驾驶员的预期。
另一方面，本申请实施例还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述所述的驾驶员脱手检测方法。
另一方面，本申请实施例还提供一种计算机可读介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行上述所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种驾驶员脱手检测的方法，其特征在于，包括：
分别获取驾驶车辆各关联件的状态数据集以及方向盘上的手力矩；
将所述状态数据集输入预先构建的多层感知回归神经网络模型，获得所述驾驶员接手方向盘的延时时间值，其中，所述多层感知回归神经网络模型中设有延时逻辑机制；
若所述手力矩表征所述驾驶员处于脱手状态，在达到所述延时时间值时，所述驾驶员仍处于脱手状态，则发出脱手报警。
2.根据权利要求1所述的方法，其特征在于，所述车辆各关联件的状态数据集包括与相邻车辆之间的距离、所述相邻车辆的速度、所述驾驶车辆的位置信息以及所述驾驶车辆的状态信息中的至少一种。
3.根据权利要求2所述的方法，其特征在于，所述驾驶车辆的状态信息包括自车速度、发动机转速、油门踏板开度、制动踏板开度以及方向盘转向角度中的至少一种；
所述相邻车辆之间的距离为纵向探测距离、所述相邻车辆的速度为纵向探测速度。
4.根据权利要求1所述的方法，其特征在于，在所述将所述状态数据集输入预先构建的多层感知回归神经网络模型，获得所述驾驶员接手方向盘的延时时间值之前，还包括：
获取所述驾驶车辆各关联件的状态样本数据集和驾驶员接手方向盘的延时时间经验值，作为样本数据集；
采用所述样本数据集对所述多层感知回归神经网络模型进行训练，获得训练好的多层感知回归神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述采用所述样本数据集对所述多层感知回归神经网络模型进行训练，获得训练好的多层感知回归神经网络模型，包括：
采用K折交叉验证法，将所述样本数据集划分为训练样本数据集和验证样本数据集；
分别采用所述训练样本数据集和所述验证样本数据集对所述多层感知回归神经网络模型进行训练和验证，直到所述多层感知回归神经网络模型输出的验证值的准确率达到设定的目标值或达到预设训练迭代次数时，获得所述训练好的多层感知回归神经网络模型。
6.根据权利要求4所述的方法，其特征在于，在所述获得训练好的多层感知回归神经网络模型之后，还包括：
采用损失函数和评价函数对所述训练好的多层感知回归神经网络模型的模型参数进行优化，获得最优多层感知回归神经网络模型，其中，所述损失函数为均方误差函数，所述评价函数为平均绝对误差函数。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述驾驶员状态信息；
根据所述手力矩、所述驾驶员状态信息以及所述延时时间值，判断所述驾驶员是否为脱手驾驶，若是，则发出脱手报警。
8.根据权利要求7所述的方法，其特征在于，所述根据所述手力矩、所述驾驶员状态信息以及所述延时时间值，判断所述驾驶员是否为脱手驾驶，若是，则发出脱手预警，包括：
若所述手力矩表征所述驾驶员处于脱手状态以及所述驾驶员状态信息表征所述驾驶员处于疲劳或分神状态，在达到所述延时时间值时，所述驾驶员仍处于所述脱手状态和所述疲劳或分神状态，则发出脱手报警。
9.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行如权利要求1-8任一项所述的方法。
10.一种计算机可读介质，其特征在于，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如权利要求1-8任一项所述的方法。
CN202211164728.9A 2022-09-23 2022-09-23 驾驶员脱手检测的方法、处理器以及计算机可读介质 Pending CN115578717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211164728.9A CN115578717A (zh) 2022-09-23 2022-09-23 驾驶员脱手检测的方法、处理器以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211164728.9A CN115578717A (zh) 2022-09-23 2022-09-23 驾驶员脱手检测的方法、处理器以及计算机可读介质

Publications (1)

Publication Number Publication Date
CN115578717A true CN115578717A (zh) 2023-01-06

Family

ID=84580932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211164728.9A Pending CN115578717A (zh) 2022-09-23 2022-09-23 驾驶员脱手检测的方法、处理器以及计算机可读介质

Country Status (1)

Country Link
CN (1) CN115578717A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117799839A (zh) * 2023-11-23 2024-04-02 中国民用航空上海航空器适航审定中心 一种飞机侧杆脱手监测和提醒的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117799839A (zh) * 2023-11-23 2024-04-02 中国民用航空上海航空器适航审定中心 一种飞机侧杆脱手监测和提醒的方法及系统

Similar Documents

Publication Publication Date Title
CN107121979B (zh) 自主置信控制
CN107117179B (zh) 基于乘员注意的自主控制
CN107792079B (zh) 利用路径预测的自主车辆
US11940790B2 (en) Safe hand-off between human driver and autonomous driving system
CN106043299B (zh) 车辆控制装置
US20170248953A1 (en) Autonomous peril control
US12005922B2 (en) Toward simulation of driver behavior in driving automation
US20170247040A1 (en) Autonomous vehicle control transitioning
CN107117165A (zh) 自主概率控制
US11587461B2 (en) Context-sensitive adjustment of off-road glance time
KR102088428B1 (ko) 운전 상태 추정을 위한 이동체, 서버, 운전 상태 추정 방법 및 시스템
Lee et al. Integration of longitudinal and lateral human driver models for evaluation of the vehicle active safety systems
US20210331663A1 (en) Electric vehicle control system
CN113044037A (zh) 智能汽车的控制方法、装置和控制系统
JP2020042786A (ja) 自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体
CN109624992A (zh) 基于车辆驾驶的处理方法、装置、设备以及存储介质
CN115578717A (zh) 驾驶员脱手检测的方法、处理器以及计算机可读介质
EP3640857B1 (en) Method, vehicle, system, and storage medium for indicating anomalous vehicle scenario using encoder network and discriminator network intermediate layer activation
JP6597516B2 (ja) 自動運転システム診断装置
JP2022189809A (ja) 車両内において使用される機械学習モデルを再構成するための超音波システム及び方法
JP2022189811A (ja) 機械学習アルゴリズム内において使用される機械学習分類器をチューニングするための超音波システム及び方法
EP3654246B1 (en) Method, vehicle, system, and storage medium for indicating anomalous vehicle scenario using encoder network and replay buffer
Yu et al. A neural network-based detection and mitigation system for unintended acceleration
Meier et al. Artificial intelligence for developing an accident severity prediction function
CN117148716A (zh) 模型训练及基于神经网络模型的车辆控制的方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination