CN112905001B - 一种基于脑电信号的驾驶声音模式切换方法及系统 - Google Patents

Abstract

本发明属于数字信号处理与汽车技术领域，公开了一种基于脑电信号的驾驶声音模式切换方法及系统。方法包括构建驾驶声音样本库，搭建虚拟驾驶环境，采集在不同驾驶声音模式下的原始脑电信号，预处理、特征提取后构建驾驶声音模式识别分类模型；将预处理算法、特征提取算法、驾驶声音模式识别分类模型和驾驶声音样本库存储至驾驶声音模式切换系统中；通过驾驶声音模式切换系统实时采集获取驾驶过程中的脑电数据，得到驾驶声音模式识别结果；播放对应的声音样本。系统包括脑电信号采集传输模块、脑电信号处理模块、驾驶声音模式识别模块、主动发声模块。本发明解决现有技术中手动切换驾驶声音模式存在安全性较差、趣味性较低的问题。

Description

一种基于脑电信号的驾驶声音模式切换方法及系统

技术领域

本发明属于数字信号处理与汽车技术领域，更具体地，涉及一种基于脑电信号的驾驶声音模式切换方法及系统。

背景技术

随着主动发声技术的发展，车辆搭载多种驾驶声音模式逐渐成为热门发展方向，尤其使电动汽车驾驶乐趣得到显著提高。然而，现在通常是驾驶员通过手动切换驾驶声音模式，手动切换容易使驾驶员在驾驶过程中分心，导致驾驶存在安全隐患，且驾驶的趣味性较低。

发明内容

本发明通过提供一种基于脑电信号的驾驶声音模式切换方法及系统，解决现有技术中手动切换驾驶声音模式存在安全性较差、趣味性较低的问题。

本发明提供一种基于脑电信号的驾驶声音模式切换方法，包括以下步骤：

步骤1、构建驾驶声音样本库，所述驾驶声音样本库由多个分别匹配目标车型对应的不同驾驶声音模式的声音样本组成；

步骤2、搭建虚拟驾驶环境，分别采集驾驶员在目标车型对应的不同驾驶声音模式下的原始脑电信号；采用预处理算法对所述原始脑电信号进行预处理，采用特征提取算法对预处理后的脑电信号进行特征提取，基于得到的特征信号构建驾驶声音模式识别分类模型；

步骤3、将所述预处理算法、所述特征提取算法、所述驾驶声音模式识别分类模型和所述驾驶声音样本库存储至驾驶声音模式切换系统中；

步骤4、通过所述驾驶声音模式切换系统实时采集获取驾驶员在驾驶过程中的脑电数据，基于所述脑电数据对驾驶声音模式进行识别，得到驾驶声音模式识别结果；通过所述驾驶声音模式切换系统播放与所述驾驶声音模式识别结果对应的声音样本。

优选的，所述步骤2中，通过Unity 3D软件搭建虚拟驾驶环境，驾驶员通过模拟驾驶台架进行模拟驾驶，在驾驶员模拟驾驶的过程中同步采集原始脑电信号。

优选的，所述步骤2中，对所述原始脑电信号进行定位通道、删除眼电、重参考、滤波、环段删除、ICA去伪迹处理，得到第一脑电信号；将所述第一脑电信号作为预处理后的脑电信号。

优选的，所述步骤2中，采用特征提取算法对预处理后的脑电信号进行特征提取，基于得到的特征信号构建驾驶声音模式识别分类模型的具体实现方式为：

分别采用时域特征提取算法、频域特征提取算法、熵特征提取算法对预处理后的脑电信号进行特征提取，对应得到第一备选特征矩阵、第二备选特征矩阵、第三备选特征矩阵；

分别以所述第一备选特征矩阵、所述第二备选特征矩阵、所述第三备选特征矩阵搭建训练多种机器学习模型，通过对比得到输出精度最高的模型，并记为第一机器学习模型，将所述第一机器学习模型对应的备选特征矩阵选为第二脑电信号；

以所述第二脑电信号作为输入，以不同驾驶声音模式对应的类别标签为输出，调整所述第一机器学习模型的参数，分别训练多种参数下的所述第一机器学习模型；对比不同参数下的各模型的精度，得到精度最高的模型对应的参数，并记为第一参数；选取采用所述第一参数的所述第一机器学习模型作为所述驾驶声音模式识别分类模型。

优选的，所述机器学习模型采用KNN最邻近模型、SVM支持向量机模型、决策树模型、CNN卷积神经网络模型或RNN循环神经网络模型。

优选的，所述步骤3中，所述特征提取算法为被选为所述第二脑电信号的备选特征矩阵对应的一种具体的特征提取算法。

优选的，所述步骤3中的所述预处理算法、所述特征提取算法存储至所述驾驶声音模式切换系统的脑电信号处理模块中，所述驾驶声音模式识别分类模型存储至所述驾驶声音模式切换系统的驾驶声音模式识别模块中，所述驾驶声音样本库存储至所述驾驶声音模式切换系统的主动发声模块中；

所述步骤4中，通过所述脑电信号采集传输模块实时采集驾驶员在驾驶过程中的原始脑电数据，并传输至所述脑电信号处理模块；通过所述脑电信号处理模块对原始脑电数据进行预处理和特征提取，通过驾驶声音模式识别模块对处理后的脑电数据进行识别分类，得到当前驾驶声音模式；所述主动发声模块根据当前驾驶声音模式调用所述驾驶声音样本库中匹配的声音样本，并进行实时播放，实现驾驶声音模式的自动切换。

本发明提供一种基于脑电信号的驾驶声音模式切换系统，包括：脑电信号采集传输模块、脑电信号处理模块、驾驶声音模式识别模块、主动发声模块；

所述脑电信号采集传输模块用于实时采集驾驶员在驾驶过程中的原始脑电数据；

所述脑电信号处理模块用于对原始脑电数据进行预处理和特征提取；

所述驾驶声音模式识别模块用于对处理后的脑电数据进行识别分类，得到当前驾驶声音模式；

所述主动发声模块用于根据当前驾驶声音模式调用所述驾驶声音样本库中匹配的声音样本，并进行实时播放；

所述基于脑电信号的驾驶声音模式切换系统用于实现如权利要求1-7中任一项所述的基于脑电信号的驾驶声音模式切换方法中的步骤。

优选的，所述脑电信号采集传输模块包括采集装置、无线传输装置、信号放大器；所述采集装置用于实时监测和采集原始脑电数据，所述无线传输装置用于将原始脑电数据传输至所述信号放大器，所述信号放大器用于对原始脑电数据进行放大；

所述脑电信号处理模块包括第一存储单元；所述第一存储单元中存储有预处理算法、特征提取算法；

所述驾驶声音模式识别模块包括第二存储单元；所述第二存储单元存储有驾驶声音模式识别分类模型；

所述主动发声模块包括第三存储单元、扬声器；所述第三存储单元存储有驾驶声音样本库存，所述扬声器用于进行匹配声音样本的实时播放。

本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在发明中，首先构建由多个分别匹配目标车型对应的不同驾驶声音模式的声音样本组成的驾驶声音样本库；然后搭建虚拟驾驶环境，分别采集驾驶员在目标车型对应的不同驾驶声音模式下的原始脑电信号；采用预处理算法对原始脑电信号进行预处理，采用特征提取算法对预处理后的脑电信号进行特征提取，基于得到的特征信号构建驾驶声音模式识别分类模型；之后将预处理算法、特征提取算法、驾驶声音模式识别分类模型和驾驶声音样本库存储至驾驶声音模式切换系统中；最后通过驾驶声音模式切换系统实时采集获取驾驶员在驾驶过程中的脑电数据，基于脑电数据对驾驶声音模式进行识别，得到驾驶声音模式识别结果；通过驾驶声音模式切换系统播放与驾驶声音模式识别结果对应的声音样本。本发明利用各种驾驶场景下驾驶员在驾驶过程中的实时脑电信号，实现车载硬件系统的实时控制，实现动态的信号识别分类，实现不同驾驶声音模式的自动切换，在提高驾驶乐趣的同时，避免了驾驶员手动切换模式造成的分心驾驶，提高了驾驶安全性。

附图说明

图1为本发明实施例提供的一种基于脑电信号的驾驶声音模式切换方法的流程图；

图2为本发明实施例提供的一种基于脑电信号的驾驶声音模式切换方法中建立驾驶声音样本库与主观评价试验的流程图；

图3为本发明实施例提供的一种基于脑电信号的驾驶声音模式切换方法中进行模拟驾驶脑电采集的示意图；

图4为本发明实施例提供的一种基于脑电信号的驾驶声音模式切换方法中采用的虚拟驾驶环境搭建软件的示意图；

图5为本发明实施例提供的一种基于脑电信号的驾驶声音模式切换方法中进行脑电信号处理与模型构建的流程图；

图6为本发明实施例提供的一种基于脑电信号的驾驶声音模式切换系统的示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本实施例提供一种基于脑电信号的驾驶声音模式切换方法，参见图1，主要包括以下步骤：

步骤1、构建驾驶声音样本库，所述驾驶声音样本库由多个分别匹配目标车型对应的不同驾驶声音模式的声音样本组成。

一种实施方式为，针对目标车型展开市场调研，定位目标车型需要实现的驾驶声音模式。挑选满足目标车型偏好性的声音样本，组织声品质主观评价试验，构建驾驶声音样本库以匹配需要实现的驾驶声音模式。

具体的，目标车型市场调研方式包括但不局限于用户问卷调查、官方访问，通过多方式市场调研了解到目标车型适合的驾驶声音模式，本发明中以某车型运动感和舒适感驾驶声音模式为实施例。针对两种驾驶声音模式挑选声音样本建立驾驶声音样本库，声音样本来源包括但不局限于：试验采集、网络下载、算法合成。主观评价试验流程与驾驶声音样本库建立流程参见图2，具体由两大步骤完成：

首先组织目标车型受众25人进行声品质主观评价试验，采用等级评分法对待选驾驶声音样本库的声音样本进行动力感和舒适感的主观打分，25位评价者男女比例、年龄、职业保证合理分布，评价环境温度湿度适宜，无明显背景噪声。

然后对所有评价者数据进行统计分析，剔除离散型较大的评价者数据，计算待选驾驶声音样本库中所有样本动力感和舒适感平均得分，选取得分最高的声音样本建立最终的驾驶声音样本库。

步骤2、搭建虚拟驾驶环境，分别采集驾驶员在目标车型对应的不同驾驶声音模式下的原始脑电信号；采用预处理算法对所述原始脑电信号进行预处理，采用特征提取算法对预处理后的脑电信号进行特征提取，基于得到的特征信号构建驾驶声音模式识别分类模型。

针对不同驾驶声音模式在Unity 3D软件中搭建模拟驾驶环境，驾驶员通过模拟驾驶台架进行模拟驾驶试验并同时采集其脑电信号，驾驶员模拟驾驶时脑电采集示意图如图3所示。

具体的，首先针对不同的驾驶声音模式设置不同的驾驶环境，驾驶环境的模拟通过Unity 3D软件平台搭建，图4为该软件环境搭建界面，本实施例根据需求模拟不同驾驶环境。例如，针对舒适感驾驶声音模式，设置场景为城市道路，车辆密集程度适中，针对动力感驾驶声音模式，设置场景为车辆较少视野开阔路线，两种场景在虚拟驾驶环境中交错呈现，整个路线呈“8”字型排布。针对两种驾驶场景对应匹配步骤1得到的舒适感和动力感音频，驾驶台架采用罗技G29模拟。驾驶员模拟驾驶时同步采集脑电信号，为了避免疲劳驾驶带来的影响，整个驾驶过程保持在30min以内。

然后对采集到的原始信号进行预处理，针对预处理的信号构建特征矩阵，以特征矩阵为输入，不同驾驶声音模式对应的类别标签为输出，构建驾驶声音模式识别分类模型。具体流程如图5。

参见图5，对所述原始脑电信号进行定位通道、删除眼电、重参考、滤波、环段删除、ICA去伪迹处理，得到第一脑电信号；将所述第一脑电信号作为预处理后的脑电信号。

特征提取的方法包括但不局限于时域特征提取、频域特征提取、熵特征提取。

采用特征提取算法对预处理后的脑电信号进行特征提取，基于得到的特征信号构建驾驶声音模式识别分类模型的一种具体实现方式为：分别采用时域特征提取算法、频域特征提取算法、熵特征提取算法对预处理后的脑电信号进行特征提取，对应得到第一备选特征矩阵、第二备选特征矩阵、第三备选特征矩阵；分别以所述第一备选特征矩阵、所述第二备选特征矩阵、所述第三备选特征矩阵搭建训练多种机器学习模型，通过对比得到输出精度最高的模型，并记为第一机器学习模型，将所述第一机器学习模型对应的备选特征矩阵选为第二脑电信号；以所述第二脑电信号作为输入，以不同驾驶声音模式对应的类别标签为输出，调整所述第一机器学习模型的参数，分别训练多种参数下的所述第一机器学习模型；对比不同参数下的各模型的精度，得到精度最高的模型对应的参数，并记为第一参数；选取采用所述第一参数的所述第一机器学习模型作为所述驾驶声音模式识别分类模型。

所述机器学习模型包括但不限于：KNN最邻近模型、SVM支持向量机模型、决策树模型、CNN卷积神经网络模型、RNN循环神经网络模型。

步骤3、将所述预处理算法、所述特征提取算法、所述驾驶声音模式识别分类模型以及所述驾驶声音样本库存储至驾驶声音模式切换系统中。

其中，所述特征提取算法为被选为所述第二脑电信号的备选特征矩阵对应的一种具体的特征提取算法。

具体的，所述预处理算法、所述特征提取算法存储至所述驾驶声音模式切换系统的脑电信号处理模块中，所述驾驶声音模式识别分类模型存储至所述驾驶声音模式切换系统的驾驶声音模式识别模块中，所述驾驶声音样本库存储至所述驾驶声音模式切换系统的主动发声模块中。

步骤4、通过所述驾驶声音模式切换系统实时采集获取驾驶员在驾驶过程中的脑电数据，基于所述脑电数据对驾驶声音模式进行识别，得到驾驶声音模式识别结果；通过所述驾驶声音模式切换系统播放与所述驾驶声音模式识别结果对应的声音样本。

具体的，通过所述脑电信号采集传输模块实时采集驾驶员在驾驶过程中的原始脑电数据，并传输至所述脑电信号处理模块；通过所述脑电信号处理模块对原始脑电数据进行预处理和特征提取，通过驾驶声音模式识别模块对处理后的脑电数据进行识别分类，得到当前驾驶声音模式；所述主动发声模块根据当前驾驶声音模式调用所述驾驶声音样本库中匹配的声音样本，并进行实时播放，实现驾驶声音模式的自动切换。

综上，脑机接口作为一种实现脑与外部设备信息通信的技术，可用于实现根据驾驶员驾驶状态进行驾驶声音模式自动切换的功能。通过这种交互方式，驾驶员的驾驶状态随着驾驶场景发生变化时，脑电信号的改变激发驾驶声音模式切换系统的响应，从而实现驾驶声音模式的自动切换，在取消手动切换驾驶声音模式的同时，避免了驾驶员的分心驾驶，提高了驾驶安全性与趣味性。与上述的基于脑电信号的驾驶声音模式切换方法对应，本发明还提供一种基于脑电信号的驾驶声音模式切换系统，参见图6，包括：脑电信号采集传输模块、脑电信号处理模块、驾驶声音模式识别模块、主动发声模块。

所述脑电采集传输模块用于实时采集驾驶员在驾驶过程中的原始脑电数据。具体的，所述脑电信号采集传输模块包括采集装置、无线传输装置、信号放大器；所述采集装置用于实时监测和采集原始脑电数据，所述无线传输装置用于将原始脑电数据传输至所述信号放大器，所述信号放大器用于对原始脑电数据进行放大。即所述脑电采集传输模块完成驾驶员脑电信号的实时监测和采集，并实现信号的传输与放大。

所述脑电信号处理模块用于对原始脑电数据进行预处理和特征提取。具体的，所述脑电信号处理模块包括第一存储单元；所述第一存储单元中存储有预处理算法、特征提取算法。即所述脑电信号处理模块获取放大器输入的原始脑电信号，对数据进行预处理，并通过内部储存算法完成特征矩阵的构建。

所述驾驶声音模式识别模块用于对处理后的脑电数据进行识别分类，得到当前驾驶声音模式。具体的，所述驾驶声音模式识别模块包括第二存储单元；所述第二存储单元存储有驾驶声音模式识别分类模型。即所述驾驶声音模式识别模块获取输入脑电信号特征矩阵，通过内部分类模型算法实现脑电信号的分类，识别当前驾驶声音模式。

所述主动发声模块用于根据当前驾驶声音模式调用所述驾驶声音样本库中匹配的声音样本，并进行实时播放，完成驾驶声音模式的切换。具体的，所述主动发声模块包括第三存储单元、扬声器；所述第三存储单元存储有驾驶声音样本库存，所述扬声器用于进行匹配声音样本的实时播放。

本发明实施例提供的一种基于脑电信号的驾驶声音模式切换方法及系统至少包括如下技术效果：

(1)本发明引入脑电信号作为汽车驾驶声音模式的控制方法，避免了驾驶员在驾驶过程中的频繁手动切换声音模式，保证驾驶乐趣的同时提高结实安全性。

(2)本发明通过模拟驾驶台架构建模拟驾驶环境可实现多种驾驶声音模式的脑电信号采集与建模，具有很好的扩展性。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于脑电信号的驾驶声音模式切换方法，其特征在于，包括以下步骤：

步骤1、构建驾驶声音样本库，所述驾驶声音样本库由多个分别匹配目标车型对应的不同驾驶声音模式的声音样本组成；

步骤2、搭建虚拟驾驶环境，分别采集驾驶员在目标车型对应的不同驾驶声音模式下的原始脑电信号；采用预处理算法对所述原始脑电信号进行预处理，采用特征提取算法对预处理后的脑电信号进行特征提取，基于得到的特征信号构建驾驶声音模式识别分类模型；

其中，采用特征提取算法对预处理后的脑电信号进行特征提取，基于得到的特征信号构建驾驶声音模式识别分类模型的具体实现方式为：分别采用时域特征提取算法、频域特征提取算法、熵特征提取算法对预处理后的脑电信号进行特征提取，对应得到第一备选特征矩阵、第二备选特征矩阵、第三备选特征矩阵；分别以所述第一备选特征矩阵、所述第二备选特征矩阵、所述第三备选特征矩阵搭建训练多种机器学习模型，通过对比得到输出精度最高的模型，并记为第一机器学习模型，将所述第一机器学习模型对应的备选特征矩阵选为第二脑电信号；以所述第二脑电信号作为输入，以不同驾驶声音模式对应的类别标签为输出，调整所述第一机器学习模型的参数，分别训练多种参数下的所述第一机器学习模型；对比不同参数下的各模型的精度，得到精度最高的模型对应的参数，并记为第一参数；选取采用所述第一参数的所述第一机器学习模型作为所述驾驶声音模式识别分类模型；

步骤3、将所述预处理算法、所述特征提取算法、所述驾驶声音模式识别分类模型和所述驾驶声音样本库存储至驾驶声音模式切换系统中；

步骤4、通过所述驾驶声音模式切换系统实时采集获取驾驶员在驾驶过程中的脑电数据，基于所述脑电数据对驾驶声音模式进行识别，得到驾驶声音模式识别结果；通过所述驾驶声音模式切换系统播放与所述驾驶声音模式识别结果对应的声音样本。

2.根据权利要求1所述的基于脑电信号的驾驶声音模式切换方法，其特征在于，所述步骤2中，通过Unity 3D软件搭建虚拟驾驶环境，驾驶员通过模拟驾驶台架进行模拟驾驶，在驾驶员模拟驾驶的过程中同步采集原始脑电信号。

3.根据权利要求1所述的基于脑电信号的驾驶声音模式切换方法，其特征在于，所述步骤2中，对所述原始脑电信号进行定位通道、删除眼电、重参考、滤波、环段删除、ICA去伪迹处理，得到第一脑电信号；将所述第一脑电信号作为预处理后的脑电信号。

4.根据权利要求1所述的基于脑电信号的驾驶声音模式切换方法，其特征在于，所述机器学习模型采用KNN最邻近模型、SVM支持向量机模型、决策树模型、CNN卷积神经网络模型或RNN循环神经网络模型。

5.根据权利要求1所述的基于脑电信号的驾驶声音模式切换方法，其特征在于，所述步骤3中，所述特征提取算法为被选为所述第二脑电信号的备选特征矩阵对应的一种具体的特征提取算法。

6.根据权利要求1所述的基于脑电信号的驾驶声音模式切换方法，其特征在于，所述步骤3中的所述预处理算法、所述特征提取算法存储至所述驾驶声音模式切换系统的脑电信号处理模块中，所述驾驶声音模式识别分类模型存储至所述驾驶声音模式切换系统的驾驶声音模式识别模块中，所述驾驶声音样本库存储至所述驾驶声音模式切换系统的主动发声模块中；

所述步骤4中，通过所述脑电信号采集传输模块实时采集驾驶员在驾驶过程中的原始脑电数据，并传输至所述脑电信号处理模块；通过所述脑电信号处理模块对原始脑电数据进行预处理和特征提取，通过驾驶声音模式识别模块对处理后的脑电数据进行识别分类，得到当前驾驶声音模式；所述主动发声模块根据当前驾驶声音模式调用所述驾驶声音样本库中匹配的声音样本，并进行实时播放，实现驾驶声音模式的自动切换。

7.一种基于脑电信号的驾驶声音模式切换系统，其特征在于，包括：脑电信号采集传输模块、脑电信号处理模块、驾驶声音模式识别模块、主动发声模块；

所述脑电信号采集传输模块用于实时采集驾驶员在驾驶过程中的原始脑电数据；

所述脑电信号处理模块用于对原始脑电数据进行预处理和特征提取；

所述驾驶声音模式识别模块用于对处理后的脑电数据进行识别分类，得到当前驾驶声音模式；

所述主动发声模块用于根据当前驾驶声音模式调用所述驾驶声音样本库中匹配的声音样本，并进行实时播放；

所述基于脑电信号的驾驶声音模式切换系统用于实现如权利要求1-6中任一项所述的基于脑电信号的驾驶声音模式切换方法中的步骤。

8.根据权利要求7所述的基于脑电信号的驾驶声音模式切换系统，其特征在于，所述脑电信号采集传输模块包括采集装置、无线传输装置、信号放大器；所述采集装置用于实时监测和采集原始脑电数据，所述无线传输装置用于将原始脑电数据传输至所述信号放大器，所述信号放大器用于对原始脑电数据进行放大；

所述脑电信号处理模块包括第一存储单元；所述第一存储单元中存储有预处理算法、特征提取算法；

所述驾驶声音模式识别模块包括第二存储单元；所述第二存储单元存储有驾驶声音模式识别分类模型；

所述主动发声模块包括第三存储单元、扬声器；所述第三存储单元存储有驾驶声音样本库存，所述扬声器用于进行匹配声音样本的实时播放。

Images