CN114360321A - 机动车驾驶员手部动作感知系统、培训系统和培训方法 - Google Patents

Abstract

本发明公开了一种机动车驾驶员手部动作感知系统、培训系统和培训方法，数据获取模块在机动车驾驶员发生手部动作并触摸机件时进行标注，形成初始机件识别数据集；数据预处理模块对初始机件识别数据集进行预处理，形成增强机件识别数据集；机件识别模型构建模块根据增强机件识别数据集，构建反映手部动作对机件进行操作的机件识别模型。能够形成准确反映机动车驾驶员手部动作结合其对于机件进行操作的机件识别模型，从而可以用作机动车驾驶员培训，避免机动车驾驶员产生不良的驾驶行为，即使是正式拿证的机动车驾驶员，在实习期间或新手期内可用上机动车驾驶员手部动作感知系统，形成良好的驾驶行为习惯并巩固，避免错误驾驶造成恶性事故的产生。

Description

机动车驾驶员手部动作感知系统、培训系统和培训方法

技术领域

本发明涉及驾驶培训领域，尤其涉及的是，一种机动车驾驶员手部动 作感知系统、机动车驾驶员手部动作感知培训系统、机动车驾驶员手部动 作视觉感知培训系统和机动车驾驶员视觉感知培训方法。

背景技术

据统计，90％以上的道路交通安全事故与道路交通拥堵均由驾驶员不 良的驾驶行为因素引起。因此，针对驾驶员驾驶行为的研究备受国内外学 者的广泛关注。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明提供一种机动车驾驶员手部动作感知系统、机动车驾驶员手部 动作感知培训系统、机动车驾驶员手部动作视觉感知培训系统和机动车驾 驶员视觉感知培训方法，所要解决的技术问题包括：如何应对机动车驾驶 员的手部动作操作机件进行标注和识别，形成可以用作培训的机件识别模 型等。

本发明的技术方案如下：

一种机动车驾驶员手部动作感知系统，其包括数据获取模块、数据预 处理模块和机件识别模型构建模块；

所述数据获取模块用于在机动车驾驶员发生手部动作并触摸机件时进 行标注，形成初始机件识别数据集；

所述数据预处理模块与所述数据获取模块连接，所述数据预处理模块 用于对所述初始机件识别数据集进行预处理，形成增强机件识别数据集；

所述机件识别模型构建模块与所述数据预处理模块连接，所述机件识 别模型构建模块用于根据所述增强机件识别数据集，构建反映所述手部动 作对所述机件进行操作的机件识别模型。

优选的，所述机动车驾驶员手部动作感知系统还包括感知模块，所述 感知模块与所述数据获取模块连接，所述感知模块用于获取机动车驾驶员 的手部动作；

所述数据获取模块用于根据机动车驾驶员的手部动作和预设的机件位 置，在机动车驾驶员发生手部动作并触摸机件时进行标注，形成初始机件 识别数据集。

优选的，所述感知模块包括视觉感知模块和手套感知模块；

所述视觉感知模块用于通过视觉感知方式获取机动车驾驶员的手部动 作；所述数据获取模块用于根据所述手部动作和预设的机件位置，以位置 拟合方式判定所述手部动作是否导致机动车驾驶员的手部触摸机件，在机 动车驾驶员的手部触摸机件时进行标注，形成初始机件识别数据集；

所述手套感知模块用于通过手套接触方式获取机动车驾驶员的手部动 作；所述数据获取模块用于根据所述手部动作和根据预设的机件位置，以 压力感应方式判定所述手部动作是否导致机动车驾驶员的手部触摸机件， 在机动车驾驶员的手部触摸机件时进行标注，形成初始机件识别数据集。

优选的，所述数据获取模块包括数据采集模块和数据标注模块；

所述数据采集模块用于采集机动车驾驶员的手部动作，形成机动车驾 驶员在触摸机件时的手部姿态图像数据；

所述数据标注模块用于对所述手部姿态图像数据进行标注，形成初始 机件识别数据集。

优选的，所述机动车驾驶员手部动作感知系统还包括感知模块，所述 感知模块与所述数据获取模块连接，所述感知模块用于通过视觉感知方式 获取机动车驾驶员的手部动作的视觉图像数据；

所述数据采集模块用于通过图像采集方式从所述视觉图像数据中采集 机动车驾驶员的手部动作，形成机动车驾驶员在触摸机件时的手部姿态图 像数据。

优选的，所述机动车驾驶员手部动作感知系统还包括模型评价模块， 所述模型评价模块与所述机件识别模型构建模块连接，所述模型评价模块 用于评价所述机件识别模型，得到评价结果；或者，所述模型评价模块还 用于在所述评价结果出现异常或者不合标准时进行修正反馈；或者，所述 机件包括档位控制器、驻车制动控制器、方向盘、点火开关、雨刷控制器、 喇叭控制器、仪表盘、转向灯控制器、左后视镜和车内后视镜。

优选的，所述机动车驾驶员手部动作感知系统还包括调整模块，所述 调整模块分别与所述模型评价模块和所述机件识别模型构建模块连接，所 述调整模块用于根据所述评价结果调整所述机件识别模型；

和/或，所述机动车驾驶员手部动作感知系统还包括模型输出模块，所 述模型输出模块分别与所述模型评价模块和所述机件识别模型构建模块连 接，所述模型输出模块用于根据所述评价结果确定是否输出所述机件识别 模型。

优选的，一种机动车驾驶员手部动作感知培训系统，其包括教学讲解 模块和任一项中所述机动车驾驶员手部动作感知系统；

所述教学讲解模块与所述机件识别模型构建模块连接，所述教学讲解 模块用于在教学状态下，当机动车驾驶员发生手部动作并触摸机件时，根 据所述机件识别模型提供实时教学讲解。

优选的，一种机动车驾驶员手部动作视觉感知培训系统，其包括教学 讲解模块和任一项中所述机动车驾驶员手部动作感知系统；

所述数据获取模块用于在机动车驾驶员发生手部动作并触摸机件时通 过图像采集方式从所述视觉图像数据中采集机动车驾驶员的手部动作，并 进行标注，形成初始机件识别数据集；

所述教学讲解模块与所述机件识别模型构建模块连接，所述教学讲解 模块用于在教学状态下，当机动车驾驶员发生手部动作并触摸机件时，根 据所述机件识别模型提供实时教学讲解。

优选的，一种机动车驾驶员视觉感知培训方法，其包括以下步骤：

通过视觉感知方式获取机动车驾驶员的手部动作；

通过图像采集方式从所述视觉图像数据中采集机动车驾驶员的手部动 作，形成机动车驾驶员在触摸机件时的手部姿态图像数据；

根对所述手部姿态图像数据进行标注，形成初始机件识别数据集；

对所述初始机件识别数据集进行预处理，形成增强机件识别数据集；

根据所述增强机件识别数据集，构建反映所述手部动作对所述机件进 行操作的机件识别模型；

评价所述机件识别模型，得到评价结果；

当评价结果符合预设要求时，在教学状态下，当机动车驾驶员发生手 部动作并触摸机件时，根据所述机件识别模型提供实时教学讲解。

采用上述方案，本发明的机动车驾驶员手部动作感知系统通过形成初 始机件识别数据集，再预处理形成增强机件识别数据集，能够形成准确反 映机动车驾驶员手部动作结合其对于机件进行操作的机件识别模型，从而 可以用作机动车驾驶员培训，避免机动车驾驶员产生不良的驾驶行为，即 使是正式拿证的机动车驾驶员，在实习期间甚至是新手期内，都可以用上 机动车驾驶员手部动作感知系统或者机动车驾驶员手部动作感知培训系统、 机动车驾驶员手部动作视觉感知培训系统，形成良好的驾驶行为习惯并巩 固，避免错误驾驶造成恶性事故的产生。

其他的技术方案，还给出了视觉检测和手套压力等实现方式，以及进 行模型评价来判断机件识别模型是否准确等，可想而知，当数据量越来越 大，这个机件识别模型就会越来越准，值得推广应用。

总的来说，本发明的各个技术方案的整体目标就是要做到建立准确的 机动车驾驶员手部动作感知系统或者机动车驾驶员手部动作感知培训系统、 机动车驾驶员手部动作视觉感知培训系统，培养形成良好的驾驶行为习惯。

附图说明

图1为本发明的第一个实施例的机动车驾驶员手部动作感知系统的示 意图；

图2为本发明的第二个实施例的机动车驾驶员手部动作感知系统的示 意图；

图3为本发明的第三个实施例的机动车驾驶员手部动作感知系统的示 意图；

图4为本发明的第四个实施例的机动车驾驶员视觉感知培训方法的示 意图；

图5为本发明的第五个实施例的机动车驾驶员视觉感知培训方法的示 意图；

图6为本发明的第六个实施例的机动车驾驶员手部动作感知系统的实 现原理示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更 详细的说明。但是，本发明可以采用许多不同的形式来实现，并不限于本 说明书所描述的实施例。需要说明的是，当元件被称为“固定于”另一个 元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元 件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可 能同时存在居中元件。除非另有定义，本说明书所使用的所有的技术和科 学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明 书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发 明。

本发明的一个实施例是，一种机动车驾驶员手部动作感知系统，其包 括数据获取模块、数据预处理模块和机件识别模型构建模块；所述数据获 取模块用于在机动车驾驶员发生手部动作并触摸机件时进行标注，形成初 始机件识别数据集；所述数据预处理模块与所述数据获取模块连接，所述 数据预处理模块用于对所述初始机件识别数据集进行预处理，形成增强机 件识别数据集；所述机件识别模型构建模块与所述数据预处理模块连接，所述机件识别模型构建模块用于根据所述增强机件识别数据集，构建反映 所述手部动作对所述机件进行操作的机件识别模型。采用上述方案，本发 明的机动车驾驶员手部动作感知系统通过形成初始机件识别数据集，再预 处理形成增强机件识别数据集，能够形成准确反映机动车驾驶员手部动作 结合其对于机件进行操作的机件识别模型，从而可以用作机动车驾驶员培 训，避免机动车驾驶员产生不良的驾驶行为，即使是正式拿证的机动车驾驶员，在实习期间甚至是新手期内，都可以用上机动车驾驶员手部动作感 知系统，形成良好的驾驶行为习惯并巩固，避免错误驾驶造成恶性事故的 产生。

所述数据获取模块用于在机动车驾驶员发生手部动作并触摸机件时进 行标注，形成初始机件识别数据集；优选的，所述机件包括档位控制器、 驻车制动控制器、方向盘、点火开关、雨刷控制器、喇叭控制器、仪表盘、 转向灯控制器、左后视镜和车内后视镜。较好的是，所述标注按当前机件 的功能进行分解标示，形成动作前的功能标示、动作中的操作标示和动作 后的效果标示，以对手部动作触摸机件的前、中、后都提供机器可读取的 关联指示；并且对于具有至少一种选择操作模式的所述机件，则所述标注 按当前机件的各种选择操作模式进行分选标示。由此可以把手部动作和触 摸机件进行关联，使得所述数据预处理模块和所述机件识别模型构建模块 能够根据手部动作和触摸机件的关联，知道机动车驾驶员的手部动作所需 要做出的控制，因此构建准确地反映所述手部动作对所述机件进行操作的 机件识别模型。由此实现的所述机动车驾驶员手部动作感知系统主要在两 个方面应用，一个是机件识别模型构建阶段，用于构建反映所述手部动作 对所述机件进行操作的机件识别模型；另一个是机动车驾驶员培训方面， 包括上路培训，例如新手期或者实习期的上路培训指导，可以根据所述机 件识别模型规范被培训的机动车驾驶员的手部操作，也就是手部动作对机 动车的一些机件进行操作。

所述初始机件识别数据集往往是不够准确的，如果直接使用的话很大 可能影响所述机件识别模型的准确性，所述数据预处理模块与所述数据获 取模块连接，所述数据预处理模块用于对所述初始机件识别数据集进行预 处理，形成增强机件识别数据集；经过预处理后形成的增强机件识别数据 集，去掉了很多噪音和无效数据，使得增强机件识别数据集不仅准确反映 手部动作对某一个机件进行操作，而且易于被机器识别。例如，数据预处理模块采用有标注的机件识别数据集，通过翻转、旋转、缩放比例、裁剪、 移位、高斯噪声、色彩抖动等进行数据增强，防止所述机件识别模型构建 模块或所述模型评价模块在训练所述机件识别模型时的过拟合，提升数据 的深度和广度。

所述机件识别模型构建模块与所述数据预处理模块连接，所述机件识 别模型构建模块用于根据所述增强机件识别数据集，构建反映所述手部动 作对所述机件进行操作的机件识别模型。例如，机件识别模型构建模块采 用卷积神经网络结构(ConvolutionalNeural Networks，CNN)方法进行图 像分类，其中，第一个隐藏层包含256个神经元，第二个隐藏层包含128 个神经元，第三个隐藏层包含50个神经元，并添加Dropout正则化方法防止过拟合，采用Relu作为非线性激活函数，softmax激活与交叉熵Cross entropy相结合作为损失函数，并采用Adam和SGD相结合作为最优化算法。 不同于基于图像滤波和纹理特征等进行特征识别的传统机器视觉方法，这 就提供了基于增强型卷积神经网络CNN的精准识别机动车驾驶员手部触 摸机件类型的视觉感知方法，利用视觉感知设备在狭小空间环境下采集驾 驶员在操作机件过程中的视觉图像数据，利用增强型神经网络结构进行目 标动作分类，从而实现驾驶员在手部触摸档位、驻车制动器、方向盘、点 火开关、雨刷器、喇叭、仪表盘、转向灯、左右后视镜和车内后视镜等机 件时的实时检测和教学讲解，减轻新手学员上车时的认知负荷，帮助其快 速认识车内机件，学车效率会达到事半功倍的效果。

卷积神经网络结构具体实现方法可参考现有技术，在此从略。本发明 进行了微调，例如，Dropout正则化方法的使用规则为：设置三个隐藏层的 丢弃率分别为20％，20％和30％，如果比例太低得不到预期效果，比例太 高则会导致模型处于欠拟合状态；并且扩大学习速率50倍，冲量值调高至 0.95。采用Softmax激活函数和交叉熵损失(CrossEntrophy Loss)相结合 的方法，通过交叉熵描述两个概率分布的差异，然而考虑到卷积神经网络 输出的是向量，并不是概率分布的形式，所以需要softmax激活函数将一个 向量进行“归一化”成概率分布的形式，再采用交叉熵损失函数计算loss。

其中，采用如下计算公式：

结合采用权重参数weight，则有：

其中，weight[class]为每个类别的loss设置权值，主要用于解决类别不 均衡的问题。

采用Adam和SGD相结合作为最优化算法，首先使用Adam优化算法 进行训练，Adam利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的 学习率，经过偏置矫正后，每一次迭代学习率有确定范围，参数比较平稳， 大大节省训练时间；在训练获得较好的参数后，切换到SGD+动量优化， 以达到最佳性能。经验证也发现，迭代次数超过150后，用SGD效果明显 优于Adam算法。

这就实现了基于视觉的机动车机件触摸感知识别方法结合基于卷积神 经网络结构的机件识别图像分类方法。例如，使用增强型的卷积神经网络 结构进行图像分类，输入层采用3通道96*96彩色图像作为输入，经过三 次的卷积Conv、池化Pooling和非线性激活Relu，最后采用softmax函数 输出最佳分类，以满足实际应用场景需求。由此可用于机动车驾驶员培训 中，帮助新手学员快速认识车内机件，减轻新手学员对车内机件的认知负 荷，从而显著提升培训效率和培训质量。

优选的，所述机动车驾驶员手部动作感知系统还包括模型评价模块， 所述模型评价模块与所述机件识别模型构建模块连接，所述模型评价模块 用于评价所述机件识别模型，得到评价结果；例如，一种机动车驾驶员手 部动作感知系统，其包括数据获取模块、数据预处理模块、机件识别模型 构建模块和模型评价模块；所述数据获取模块用于在机动车驾驶员发生手 部动作并触摸机件时进行标注，形成初始机件识别数据集；所述数据预处理模块与所述数据获取模块连接，所述数据预处理模块用于对所述初始机 件识别数据集进行预处理，形成增强机件识别数据集；所述机件识别模型 构建模块与所述数据预处理模块连接，所述机件识别模型构建模块用于根 据所述增强机件识别数据集，构建反映所述手部动作对所述机件进行操作 的机件识别模型，所述模型评价模块与所述机件识别模型构建模块连接， 所述模型评价模块用于评价所述机件识别模型，得到评价结果。以此类推。优选的，所述模型评价模块还用于在所述评价结果出现异常或者不合标准 时进行修正反馈；例如所述机件识别模型出错或者有问题时，或者不符合 预定的评价标准时，给出修正反馈，提醒开发人员或者管理人员进行处理， 例如删除一些异常数据或者调整所述机件识别模型，以免教错新人。较好 的是，所述模型评价模块用于根据所述评价结果调整所述机件识别模型， 即所述模型评价模块与所述调整模块结合设置。较好的是，所述模型评价 模块用于为所述机件识别模型构成训练集、验证集和测试集，采用训练集 训练出评价模型，采用验证集对所述评价模型进行超参数调优，采用测试 集评估测试误差。由此可以实现对于所述机件识别模型的有效评价，判定 其是否可以用于机动车驾驶员的培训。例如，所述模型评价模块采用 Holdout留一法，用N-1个样本观测作为训练集训练模型，用剩余一个样本 观测作为测试集计算模型的测试误差，在训练集上训练出模型后，用验证 集用来调优超参数，用测试集评估测试误差，作为泛化误差的估计。

对于机件识别模型的调整，可以采用所述模型评价模块实现，也可以 单独设置调整模块，优选的，所述机动车驾驶员手部动作感知系统还包括 调整模块，所述调整模块分别与所述模型评价模块和所述机件识别模型构 建模块连接，所述调整模块用于根据所述评价结果调整所述机件识别模型； 例如删除其中的错误数据，或者修改标注，或者适应不同机动车驾驶员的 体型、手部大小等，以使所述机件识别模型准确度高、适应性广。

为了便于确认机动车驾驶员发生手部动作并触摸机件，优选的，所述 机动车驾驶员手部动作感知系统还包括感知模块，所述感知模块与所述数 据获取模块连接，所述感知模块用于获取机动车驾驶员的手部动作；所述 数据获取模块用于根据机动车驾驶员的手部动作和预设的机件位置，在机 动车驾驶员发生手部动作并触摸机件时进行标注，形成初始机件识别数据 集。优选的，一种机动车驾驶员手部动作感知系统如图1所示，其包括顺序相连的感知模块、数据获取模块、数据预处理模块和机件识别模型构建 模块。优选的，所述感知模块包括视觉感知模块和手套感知模块；例如， 所述感知模块为视觉感知模块，所述视觉感知模块用于通过视觉感知方式 获取机动车驾驶员的手部动作；所述数据获取模块用于根据所述手部动作 和预设的机件位置，以位置拟合方式判定所述手部动作是否导致机动车驾 驶员的手部触摸机件，在机动车驾驶员的手部触摸机件时进行标注，形成 初始机件识别数据集；例如，所述视觉感知模块通过视觉感知设备采集机 动车驾驶员的手部在触摸机件时的视觉图像数据。例如，所述视觉感知模 块通过在驾驶舱顶部安装视觉感知设备，实时获取驾驶舱视觉图像数据。

优选的，所述感知模块为手套感知模块，所述手套感知模块用于通过 手套接触方式获取机动车驾驶员的手部动作；所述数据获取模块用于根据 所述手部动作和根据预设的机件位置，以压力感应方式判定所述手部动作 是否导致机动车驾驶员的手部触摸机件，在机动车驾驶员的手部触摸机件 时进行标注，形成初始机件识别数据集。较好的是，所述感知模块同时存 在所述视觉感知模块和所述手套感知模块。由此给出了视觉检测和手套压 力等实现方式还可以结合进行模型评价来判断机件识别模型是否准确。本 领域技术人员能够理解，视觉感知模块和手套感知模块所对应的数据获取 模块的处理模式是不同的，但是可操作方式都是很好的，视觉感知模块主 要是利用机器视觉识别方式，获取机动车驾驶员的手部动作；手套感知模 块主要是利用压力传感方式结合机件的位置，获取机动车驾驶员的手部动 作。由此可以方便地确认机动车驾驶员发生手部动作并触摸机件的操作，便于所述数据获取模块形成初始机件识别数据集。

例如，所述数据获取模块通过图像采集工具采集不同驾驶员在触摸机 件时的手部姿态图像数据，并进行人工标注，以获取有标注的机件识别数 据集，包含挡位、驻车制动器、仪表盘、喇叭、点火开关、车内后视镜、 左后视镜、右后视镜、后视镜调节按钮、方向盘、转向灯和雨刷器等12种 机件类型；为降低新手学员在未触摸机件时被误识别的概率，在实际标注 时，新增“其他”分类用于存储未触摸机件的手部姿态图像。优选的，所 述数据获取模块包括数据采集模块和数据标注模块；所述数据采集模块用 于采集机动车驾驶员的手部动作，形成机动车驾驶员在触摸机件时的手部 姿态图像数据；所述数据标注模块用于对所述手部姿态图像数据进行标注， 形成初始机件识别数据集。优选的，所述机动车驾驶员手部动作感知系统 还包括感知模块，所述感知模块与所述数据获取模块连接，所述感知模块 用于通过视觉感知方式获取机动车驾驶员的手部动作的视觉图像数据；所 述数据采集模块用于通过图像采集方式从所述视觉图像数据中采集机动车 驾驶员的手部动作，形成机动车驾驶员在触摸机件时的手部姿态图像数据。 优选的，一种机动车驾驶员手部动作感知系统如图2所示，其包括顺序相 连的视觉感知模块、数据采集模块、数据标注模块、数据预处理模块、机 件识别模型构建模块和模型评价模块。

优选的，所述机动车驾驶员手部动作感知系统还包括模型输出模块， 所述模型输出模块分别与所述模型评价模块和所述机件识别模型构建模块 连接，所述模型输出模块用于根据所述评价结果确定是否输出所述机件识 别模型。也就是说，只有输出所述机件识别模型，所述机件识别模型才能 够被使用。例如，所述机动车驾驶员手部动作感知系统还包括调整模块， 所述调整模块分别与所述模型评价模块和所述机件识别模型构建模块连接， 所述调整模块用于根据所述评价结果调整所述机件识别模型；所述机动车 驾驶员手部动作感知系统还包括模型输出模块，所述模型输出模块分别与 所述模型评价模块和所述机件识别模型构建模块连接，所述模型输出模块 用于根据所述评价结果确定是否输出所述机件识别模型。以此类推。优选 的，一种机动车驾驶员手部动作感知系统如图3所示，其包括顺序相连的 视觉感知模块、数据采集模块、数据标注模块、数据预处理模块、机件识别模型构建模块、模型评价模块和模型输出模块。以此类推。

优选的，一种机动车驾驶员手部动作感知培训系统，其包括教学讲解 模块和任一实施例中所述机动车驾驶员手部动作感知系统；所述教学讲解 模块与所述机件识别模型构建模块连接，所述教学讲解模块用于在教学状 态下，当机动车驾驶员发生手部动作并触摸机件时，根据所述机件识别模 型提供实时教学讲解。通过形成初始机件识别数据集，再预处理形成增强 机件识别数据集，能够形成准确反映机动车驾驶员手部动作结合其对于机 件进行操作的机件识别模型，从而可以用作机动车驾驶员培训，避免机动 车驾驶员产生不良的驾驶行为，即使是正式拿证的机动车驾驶员，在实习 期间甚至是新手期内，都可以用上机动车驾驶员手部动作感知系统或者机 动车驾驶员手部动作感知培训系统、机动车驾驶员手部动作视觉感知培训 系统，形成良好的驾驶行为习惯并巩固，避免错误驾驶造成恶性事故的产 生。

对于视觉感知，可以通过在机动车上加装视觉感知设备实现在狭小空 间环境下驾驶员手部触摸机件类型的精准识别，包含档位、驻车制动器、 方向盘、点火开关、雨刷器、喇叭、仪表盘、转向灯、左右后视镜和车内 后视镜等重点机件，优选的，一种机动车驾驶员手部动作视觉感知培训系 统，其包括教学讲解模块和任一实施例中所述机动车驾驶员手部动作感知 系统；所述数据获取模块用于在机动车驾驶员发生手部动作并触摸机件时 通过图像采集方式从所述视觉图像数据中采集机动车驾驶员的手部动作， 并进行标注，形成初始机件识别数据集；所述教学讲解模块与所述机件识 别模型构建模块连接，所述教学讲解模块用于在教学状态下，当机动车驾 驶员发生手部动作并触摸机件时，根据所述机件识别模型提供实时教学讲 解。由此实现了机动车驾驶员在手部触摸档位、驻车制动器、方向盘、点 火开关、雨刷器、喇叭、仪表盘、转向灯、左右后视镜和车内后视镜等机 件时，所述机动车驾驶员手部动作视觉感知培训系统能够提供实时检测和 教学讲解，减轻新手学员上车时的认知负荷，帮助其快速认识车内机件， 学车效率会达到事半功倍的效果。可想而知，当数据量越来越大，这个机 件识别模型就会越来越准，值得推广应用。

优选的，一种机动车驾驶员视觉感知培训方法如图4所示，其包括以 下步骤：在机动车驾驶员发生手部动作并触摸机件时进行标注，形成初始 机件识别数据集；对所述初始机件识别数据集进行预处理，形成增强机件 识别数据集；根据所述增强机件识别数据集，构建反映所述手部动作对所 述机件进行操作的机件识别模型；在教学状态下，当机动车驾驶员发生手 部动作并触摸机件时，根据所述机件识别模型提供实时教学讲解。

优选的，一种机动车驾驶员视觉感知培训方法如图5所示，其包括以 下步骤：通过视觉感知方式获取机动车驾驶员的手部动作；通过图像采集 方式从所述视觉图像数据中采集机动车驾驶员的手部动作，形成机动车驾 驶员在触摸机件时的手部姿态图像数据；根对所述手部姿态图像数据进行 标注，形成初始机件识别数据集；对所述初始机件识别数据集进行预处理， 形成增强机件识别数据集；根据所述增强机件识别数据集，构建反映所述手部动作对所述机件进行操作的机件识别模型；评价所述机件识别模型， 得到评价结果；当评价结果符合预设要求时，在教学状态下，当机动车驾 驶员发生手部动作并触摸机件时，根据所述机件识别模型提供实时教学讲 解。以此类推。优选的，所述机动车驾驶员视觉感知培训方法应用了各实 施例中所述的机动车驾驶员手部动作感知系统或者机动车驾驶员手部动作 感知培训系统、机动车驾驶员手部动作视觉感知培训系统。总的来说，本 发明的各个技术方案的整体目标就是要做到建立准确的机动车驾驶员手部 动作感知系统或者机动车驾驶员手部动作感知培训系统、机动车驾驶员手 部动作视觉感知培训系统，培养形成良好的驾驶行为习惯。

结合上面各个实施例，优选的，一种机动车驾驶员手部动作感知系统 的实现原理或其实现流程如图6所示，首先明确目标，需要识别多种机件 类型，要解决多分类问题。然后采集数据，包括通过图像采集工具形成机 件数据集。然后进行数据预处理，包括进行数据增强和调整，调整包括翻 转、旋转、缩放、裁剪、移位、色彩抖动和其他等。然后构建模型，包括 训练数据后进行模型训练、测试数据后进行测试模型等，得到模型也就是 所述机件识别模型。最后采用评价方法，对所述机件识别模型进行评估及 优化，如果正常则部署所述机件识别模型，如果异常则返回继续进行模型 训练。

进一步地，本发明的实施例还包括，上述各实施例的各技术特征，相 互组合形成的机动车驾驶员手部动作感知系统、培训系统和培训方法。

需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的 各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术 人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都 应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种机动车驾驶员手部动作感知系统，其特征在于，包括数据获取模块、数据预处理模块和机件识别模型构建模块；

所述数据获取模块用于在机动车驾驶员发生手部动作并触摸机件时进行标注，形成初始机件识别数据集；

所述数据预处理模块与所述数据获取模块连接，所述数据预处理模块用于对所述初始机件识别数据集进行预处理，形成增强机件识别数据集；

所述机件识别模型构建模块与所述数据预处理模块连接，所述机件识别模型构建模块用于根据所述增强机件识别数据集，构建反映所述手部动作对所述机件进行操作的机件识别模型。

2.根据权利要求1所述机动车驾驶员手部动作感知系统，其特征在于，还包括感知模块，所述感知模块与所述数据获取模块连接，所述感知模块用于获取机动车驾驶员的手部动作；

所述数据获取模块用于根据机动车驾驶员的手部动作和预设的机件位置，在机动车驾驶员发生手部动作并触摸机件时进行标注，形成初始机件识别数据集。

3.根据权利要求2所述机动车驾驶员手部动作感知系统，其特征在于，所述感知模块包括视觉感知模块和手套感知模块；

所述视觉感知模块用于通过视觉感知方式获取机动车驾驶员的手部动作；所述数据获取模块用于根据所述手部动作和预设的机件位置，以位置拟合方式判定所述手部动作是否导致机动车驾驶员的手部触摸机件，在机动车驾驶员的手部触摸机件时进行标注，形成初始机件识别数据集；

所述手套感知模块用于通过手套接触方式获取机动车驾驶员的手部动作；所述数据获取模块用于根据所述手部动作和根据预设的机件位置，以压力感应方式判定所述手部动作是否导致机动车驾驶员的手部触摸机件，在机动车驾驶员的手部触摸机件时进行标注，形成初始机件识别数据集。

4.根据权利要求1所述机动车驾驶员手部动作感知系统，其特征在于，所述数据获取模块包括数据采集模块和数据标注模块；

所述数据采集模块用于采集机动车驾驶员的手部动作，形成机动车驾驶员在触摸机件时的手部姿态图像数据；

所述数据标注模块用于对所述手部姿态图像数据进行标注，形成初始机件识别数据集。

5.根据权利要求4所述机动车驾驶员手部动作感知系统，其特征在于，还包括感知模块，所述感知模块与所述数据获取模块连接，所述感知模块用于通过视觉感知方式获取机动车驾驶员的手部动作的视觉图像数据；

所述数据采集模块用于通过图像采集方式从所述视觉图像数据中采集机动车驾驶员的手部动作，形成机动车驾驶员在触摸机件时的手部姿态图像数据。

6.根据权利要求1到5任一项中所述机动车驾驶员手部动作感知系统，其特征在于，还包括模型评价模块，所述模型评价模块与所述机件识别模型构建模块连接，所述模型评价模块用于评价所述机件识别模型，得到评价结果；或者，所述模型评价模块还用于在所述评价结果出现异常或者不合标准时进行修正反馈；或者，所述机件包括档位控制器、驻车制动控制器、方向盘、点火开关、雨刷控制器、喇叭控制器、仪表盘、转向灯控制器、左后视镜和车内后视镜。

7.根据权利要求6所述机动车驾驶员手部动作感知系统，其特征在于，还包括调整模块，所述调整模块分别与所述模型评价模块和所述机件识别模型构建模块连接，所述调整模块用于根据所述评价结果调整所述机件识别模型；

和/或，还包括模型输出模块，所述模型输出模块分别与所述模型评价模块和所述机件识别模型构建模块连接，所述模型输出模块用于根据所述评价结果确定是否输出所述机件识别模型。

8.一种机动车驾驶员手部动作感知培训系统，其特征在于，包括教学讲解模块和权利要求1到7任一项中所述机动车驾驶员手部动作感知系统；

所述教学讲解模块与所述机件识别模型构建模块连接，所述教学讲解模块用于在教学状态下，当机动车驾驶员发生手部动作并触摸机件时，根据所述机件识别模型提供实时教学讲解。

9.一种机动车驾驶员手部动作视觉感知培训系统，其特征在于，包括教学讲解模块和权利要求1到7任一项中所述机动车驾驶员手部动作感知系统；

所述数据获取模块用于在机动车驾驶员发生手部动作并触摸机件时通过图像采集方式从所述视觉图像数据中采集机动车驾驶员的手部动作，并进行标注，形成初始机件识别数据集；

所述教学讲解模块与所述机件识别模型构建模块连接，所述教学讲解模块用于在教学状态下，当机动车驾驶员发生手部动作并触摸机件时，根据所述机件识别模型提供实时教学讲解。

10.一种机动车驾驶员视觉感知培训方法，其特征在于，包括以下步骤：

通过视觉感知方式获取机动车驾驶员的手部动作；

通过图像采集方式从所述视觉图像数据中采集机动车驾驶员的手部动作，形成机动车驾驶员在触摸机件时的手部姿态图像数据；

根对所述手部姿态图像数据进行标注，形成初始机件识别数据集；

对所述初始机件识别数据集进行预处理，形成增强机件识别数据集；

根据所述增强机件识别数据集，构建反映所述手部动作对所述机件进行操作的机件识别模型；

评价所述机件识别模型，得到评价结果；

当评价结果符合预设要求时，在教学状态下，当机动车驾驶员发生手部动作并触摸机件时，根据所述机件识别模型提供实时教学讲解。

Images