CN113693601A - 一种融合脑电波和生理信号的多感知智能人机交互方法 - Google Patents

Abstract

本发明公开的属于人工智能与物联网技术领域，具体为一种融合脑电波和生理信号的多感知智能人机交互方法，包括以下步骤：步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；本发明针对识别司机行为精度低和实时性差等问题，使用了多模态感知的方法以提高准确性和速度，通过利用物联网智能硬件平台加装Wifi通信模块使此系统部署极为简便。

Description

一种融合脑电波和生理信号的多感知智能人机交互方法

技术领域

本发明涉及人工智能与物联网技术领域，具体为一种融合脑电波和生理信号的多感知智能人机交互方法。

背景技术

基于车辆行驶数据的智能监控和安全保障，最常使用的技术有：传感器来测量车辆的内部状态，如方向盘角度、加速度、角速度，使用移动智能手机内置传感器来监测驾驶行为。由于以上技术需要较高的成本并且部署困难，很难成为市场上驾驶的主流；基于视频图像的智能监控和安全保障的经典方法是计算PERCLOSE(眼睑闭合的百分比)作为检测疲劳的标准。然而该方法的检测对关照敏感，需要在弱光条件下进行，具有较低的精度和鲁棒性；基于可穿戴设备的智能监控和安全保障，对于驾驶员的复杂状态，如驾驶时的注意力不集中，利用生理信号检测是研究最多的监测方法。该方法通常分为接触法和非接触法，前者包括呼吸、脑电图、心电图等生物特征的提取。在数字信号处理的方法中，有使用运筹学理论来评估驾驶员的状态，还有通过手腕运动检测疲劳的疲劳报警手镯，但是可穿戴设备的智能监控和安全保障方法有着实际应用难、数据粒度粗、没有觅踪功能且警示用户的体验不佳等问题。

一种新的高级驾驶辅助和监测系统(ADMAS)结构，检测异常情绪、警示和保护司机行车安全。该系统可以提前预测并纠正司机不良情绪；基于深度学习的异常情绪检测，可以预测驾驶员在执行某些动作前几秒的行为；基于脑电波的情绪检测，可以采用“湿电极”和“干电极”两种方式。

采用“湿电极”检测精度高但佩戴装置复杂，采用“干电极”检测收集装置简便但精度不高并且会受到外界噪声的干扰。目前基于司机异常驾驶行为检测研究主要包括：基于车辆驾驶数据、基于穿戴设备和基于视频图像的检测。基于车辆驾驶数据，成本过高、实时性差；基于穿戴设备，便捷度低，体验效果差，没有觅踪和警示功能；基于视频图像的智能监控，鲁棒性差，识别精度低。综上所述，目前基于司机异常情绪、行为和生理信号的检测，国内外的研究都缺少一种有效、高效和识别精度高的监测，并及时预警、监管司机异常情绪、行为和生理信号的安全驾驶监测系统。

发明内容

本发明的目的在于提供一种融合脑电波和生理信号的多感知智能人机交互方法，以解决上述背景技术中提出的成本过高、实时性差；基于穿戴设备，便捷度低，体验效果差，没有觅踪和警示功能；基于视频图像的智能监控，鲁棒性差，识别精度低的问题。

为实现上述目的，本发明提供如下技术方案：一种融合脑电波和生理信号的多感知智能人机交互方法，包括以下步骤：

步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；

步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；

其中，所述传感器包括用于采集脑电波信息的脑电波仪器、PPG传感模块，所述PPG传感模块包括心率传感器与血氧浓度传感器，且PPG传感模块放置与方向盘套中，所述物联网终端包括5G通信模块、加速传感器、酒精传感器、语音模块与WIFI通信模块，所述5G通信模块用于与云服务器交互，所述语音模块用于与驾驶者实时语音交互，所述应用移动端用于云服务器进行数据交互获取驾驶者数据。

优选的，所述摄像机基于图像检测能够检测驾驶者的异常状态，包括疲劳驾驶、抽烟、玩手机、未系安全带、未握住方向盘、未目视前方，所述脑电波仪器基于脑波能够检测驾驶者的专注程度、驾驶者情绪。

优选的，所述PPG传感模块能够检测驾驶者的心率与血氧浓度，所述WIFI通信模块用于将摄像机、传感器采集到的驾驶者数据上传至云服务器。

优选的，所述摄像机的图像检测利用OpenCV和Dlib函数库进行人脸识别，检测疲劳状态，首先使用OpenCV自带函数对图像进行降噪等预处理，使用Dlib导入预训练的人脸68点位模型，经过与训练模型后，获得人脸矩形框坐标和68点位坐标，此时可以利用人脸矩形框是否存在判定司机是否目视前方或者偏头，在坐标中找到人眼关键点位，根计算眼睑闭合率，设定阈值，计算上述所述眨眼频率PERLCOSE，当眨眼频率过低时，触发疲劳状态，播报音频。

优选的，所述脑波仪器利用集成学习对司机情绪进行分类，并使用语音反馈，能够改善司机驾驶时的心理状态，降低事故发生率，其中包括三个子模块,分别为脑电信号预处理模块、情绪分类模块和反馈模块，其中预处理和分类方法采用和中相似的方法，分类模型也为此原作者提供的预训练的模型。

优选的，所述脑电信号预处理模块用于预处理数据、提取脑电信号时序特征，获得的输出为数字信号：8个3字节无符号整数的序列，也就是8中频段的脑波信号，这些脑波信号分别为：低频阿尔法波，高频阿尔法波，低频贝塔波，高频贝塔波，低频伽马波，高频伽马波，德尔塔波，希塔波，8次采集为一小组，40次为一个批次，形成一个矩阵X∈R^8×8×5，当清洗无用数据后，需要提取数值特征，使用均值、方差、峰度值、求和、标准差、中位数、偏度值、极小值、极大值多个特征，需要使用Tsfresh模块提取，当原数据提取特征之后变为一个特征矩阵F∈R^10×5，输入之后的分类模型。

优选的，所述情绪分类模块对预处理的脑波信号分类，在得到5秒钟的脑波信号后，将它输入预训练模型，采用了多个机器学习模型，使用了集成学习的Voting方法，投票方式为hard voting，集成的模型有决策树、K近邻、AdaBoosting、梯度提升、连续型朴素贝叶斯模型，之后根据阈值预测值分为3类，分别对应：Positive，Neutral，Negative，所述反馈模块将情绪可听化反馈司机情绪，这个模块可以根据不同的情绪自适应播放音乐，反馈司机，从而调节情绪，首先播报语音告知司机其当前情绪，之后播放音乐，对过于兴奋或者负面的异常情绪进行干预。

优选的，所述应用移动端用于数据展示，可视化司机行为，从数据库获取司机今日驾驶数据和单次驾驶数据后，动态更新界面，其中日驾驶数据主要记录司机抽烟、安全带、是否目视前方、是否握紧方向盘、玩手机、疲劳等状态，并且根据脑波仪的数据计算专注率；单驾驶数据包括抽烟、安全带、是否目视前方、是否握紧方向盘、玩手机、疲劳等状态，实时心率、血氧浓度、眨眼频率，且根据脑波仪的数据计算专注率、情绪。

优选的，所述云服务器为阿里云弹性服务器，2GB内存，40GB硬盘，宽带1Mbps，服务器系统选择CentOS，数据库选择MySQL，首先使用本地客户端通过SSH协议登录，使用FTP协议传输文件，创建数据库名称“driver”，有三张表，分别用来存储司机登录数据、每日状态数据、单次驾驶状态数据，数据库需要包含三张表，分别包括用户登录信息、日数据和单次数据，其中在用户表中ID号为主键，在日数据表中日期、ID为共同主键，单次数据表中日期、开始时间、ID为共同主键。

与现有技术相比，本发明的有益效果是：

1)本发明针对识别司机行为精度低和实时性差等问题，使用了多模态感知的方法以提高准确性和速度，通过利用物联网智能硬件平台加装Wifi通信模块使此系统部署极为简便，其中的语音交互模块更是解决了实时反馈和用户体验性的问题，最后结合云端服务器和App管理端的应用通过数据可视化提升此对司机行为的管理效率。

2)本发明通过利用车载硬件平台融合多模态检测的视觉、生理状态、脑电波采集模块等，结合云端服务器和移动端应用，以提供对司机安全的保障并提高管理效率。采用计算机视觉、脑电波检测等多模态感知和物联网通信技术，实时识别司机行为，将多感知技术相融合以保证识别系统的可靠性、准确性和高效性。同时，通过数据分析和可视化高效率管理司机行驶状态，保障司机的安全，具有十分重要的应用价值。

附图说明

图1为本发明系统功能层示意图；

图2为本发明系统整体结构示意图；

图3为本发明图像检测流程示意图；

图4为本发明脑波仪器流程示意图；

图5为本发明脑波算法块流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例：

请参阅图1-5，本发明提供一种技术方案：一种融合脑电波和生理信号的多感知智能人机交互方法，包括以下步骤：

步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；

步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；

其中，所述传感器包括用于采集脑电波信息的脑电波仪器、PPG传感模块，所述PPG传感模块包括心率传感器与血氧浓度传感器，且PPG传感模块放置与方向盘套中，所述物联网终端包括5G通信模块、加速传感器、酒精传感器、语音模块与WIFI通信模块，所述5G通信模块用于与云服务器交互，所述语音模块用于与驾驶者实时语音交互，所述应用移动端用于云服务器进行数据交互获取驾驶者数据。

所述摄像机基于图像检测能够检测驾驶者的异常状态，包括疲劳驾驶、抽烟、玩手机、未系安全带、未握住方向盘、未目视前方，所述脑电波仪器基于脑波能够检测驾驶者的专注程度、驾驶者情绪。

所述PPG传感模块能够检测驾驶者的心率与血氧浓度，所述WIFI通信模块用于将摄像机、传感器采集到的驾驶者数据上传至云服务器。

所述摄像机的图像检测利用OpenCV和Dlib函数库进行人脸识别，检测疲劳状态，首先使用OpenCV自带函数对图像进行降噪等预处理，使用Dlib导入预训练的人脸68点位模型，经过与训练模型后，获得人脸矩形框坐标和68点位坐标，此时可以利用人脸矩形框是否存在判定司机是否目视前方或者偏头，在坐标中找到人眼关键点位，根计算眼睑闭合率，设定阈值，计算上述所述眨眼频率PERLCOSE，当眨眼频率过低时，触发疲劳状态，播报音频。

所述脑波仪器利用集成学习对司机情绪进行分类，并使用语音反馈，能够改善司机驾驶时的心理状态，降低事故发生率，其中包括三个子模块,分别为脑电信号预处理模块、情绪分类模块和反馈模块，其中预处理和分类方法采用和中相似的方法，分类模型也为此原作者提供的预训练的模型。

所述脑电信号预处理模块用于预处理数据、提取脑电信号时序特征，获得的输出为数字信号：8个3字节无符号整数的序列，也就是8中频段的脑波信号，这些脑波信号分别为：低频阿尔法波(7.5-9.25Hz)，高频阿尔法波(10-11.75Hz)，低频贝塔波(13-16.75Hz)，高频贝塔波(18-29.75Hz)，低频伽马波(31-39.75Hz)，高频伽马波(41-49.75Hz)，德尔塔波(0.5-2.75Hz)，希塔波(3.5-6.75Hz)，8次采集为一小组，40次为一个批次，形成一个矩阵X∈R^8×8×5，当清洗无用数据后，需要提取数值特征，使用均值、方差、峰度值、求和、标准差、中位数、偏度值、极小值、极大值多个特征，需要使用Tsfresh模块提取，当原数据提取特征之后变为一个特征矩阵F∈R^10×5，输入之后的分类模型。

所述情绪分类模块对预处理的脑波信号分类，在得到5秒钟的脑波信号后，将它输入预训练模型，采用了多个机器学习模型，使用了集成学习的Voting方法，投票方式为hardvoting，集成的模型有决策树、K近邻、AdaBoosting、梯度提升(GradientBoosting)、连续型朴素贝叶斯(GaussianNB)等8种模型，之后根据阈值预测值分为3类，分别对应：Positive，Neutral，Negative，本发明使用了Scikit-learn库中的集成学习模块加载预训练的8种机器学习模型，之后载入特征矩阵F∈R^10×5。每个F经过每个分类器生成一个情绪指数e_i，其中i＝0,1...,7，经过投票后输出最终值E_t。共5批次，取算数平均值为最终情绪值。之后就根据预设的阈值来分类，所述反馈模块将情绪可听化反馈司机情绪，这个模块可以根据不同的情绪自适应播放音乐，反馈司机，从而调节情绪，首先播报语音告知司机其当前情绪，之后播放音乐，对过于兴奋或者负面的异常情绪进行干预。

所述应用移动端用于数据展示，可视化司机行为，从数据库获取司机今日驾驶数据和单次驾驶数据后，动态更新界面，其中日驾驶数据主要记录司机抽烟、安全带、是否目视前方、是否握紧方向盘、玩手机、疲劳等状态，并且根据脑波仪的数据计算专注率；单驾驶数据包括抽烟、安全带、是否目视前方、是否握紧方向盘、玩手机、疲劳等状态，实时心率、血氧浓度、眨眼频率，且根据脑波仪的数据计算专注率、情绪。

所述云服务器为阿里云弹性服务器，2GB内存，40GB硬盘，宽带1Mbps，服务器系统选择CentOS，数据库选择MySQL，首先使用本地客户端通过SSH协议登录，使用FTP协议传输文件，创建数据库名称“driver”，有三张表，分别用来存储司机登录数据、每日状态数据、单次驾驶状态数据，数据库需要包含三张表，分别包括用户登录信息、日数据和单次数据，其中在用户表中ID号为主键，在日数据表中日期、ID为共同主键，单次数据表中日期、开始时间、ID为共同主键。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：包括以下步骤：

步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；

步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；

其中，所述传感器包括用于采集脑电波信息的脑电波仪器、PPG传感模块，所述PPG传感模块包括心率传感器与血氧浓度传感器，且PPG传感模块放置与方向盘套中，所述物联网终端包括5G通信模块、加速传感器、酒精传感器、语音模块与WIFI通信模块，所述5G通信模块用于与云服务器交互，所述语音模块用于与驾驶者实时语音交互，所述应用移动端用于云服务器进行数据交互获取驾驶者数据。

2.根据权利要求1所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述摄像机基于图像检测能够检测驾驶者的异常状态，异常状态包括疲劳驾驶、抽烟、玩手机、未系安全带、未握住方向盘、未目视前方，所述脑电波仪器基于脑波能够检测驾驶者的专注程度、驾驶者情绪。

3.根据权利要求1所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述PPG传感模块能够检测驾驶者的心率与血氧浓度，所述WIFI通信模块用于将摄像机、传感器采集到的驾驶者数据上传至云服务器。

4.根据权利要求2所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述摄像机的图像检测利用OpenCV和Dlib函数库进行人脸识别，检测疲劳状态，首先使用OpenCV自带函数对图像进行降噪等预处理，使用Dlib导入预训练的人脸68点位模型，经过与训练模型后，获得人脸矩形框坐标和68点位坐标，此时可以利用人脸矩形框是否存在判定司机是否目视前方或者偏头，在坐标中找到人眼关键点位，根计算眼睑闭合率，设定阈值，计算上述所述眨眼频率PERLCOSE，当眨眼频率过低时，触发疲劳状态，播报音频。

5.根据权利要求2所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述脑波仪器利用集成学习对司机情绪进行分类，并使用语音反馈，能够改善司机驾驶时的心理状态，降低事故发生率，其中包括三个子模块,分别为脑电信号预处理模块、情绪分类模块和反馈模块，其中预处理和分类方法采用和中相似的方法，分类模型也为此原作者提供的预训练的模型。

6.根据权利要求5所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述脑电信号预处理模块用于预处理数据、提取脑电信号时序特征，获得的输出为数字信号：8个3字节无符号整数的序列，也就是8中频段的脑波信号，这些脑波信号分别为：低频阿尔法波，高频阿尔法波，低频贝塔波，高频贝塔波，低频伽马波，高频伽马波，德尔塔波，希塔波，8次采集为一小组，40次为一个批次，形成一个矩阵X∈R^8×8×5，当清洗无用数据后，需要提取数值特征，使用均值、方差、峰度值、求和、标准差、中位数、偏度值、极小值、极大值多个特征，需要使用Tsfresh模块提取，当原数据提取特征之后变为一个特征矩阵F∈R^10×5，输入之后的分类模型。

7.根据权利要求5所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述情绪分类模块对预处理的脑波信号分类，在得到5秒钟的脑波信号后，将它输入预训练模型，采用了多个机器学习模型，使用了集成学习的Voting方法，投票方式为hard voting，集成的模型有决策树、K近邻、AdaBoosting、梯度提升、连续型朴素贝叶斯模型，之后根据阈值预测值分为3类，分别对应：Positive，Neutral，Negative，所述反馈模块将情绪可听化反馈司机情绪，这个模块可以根据不同的情绪自适应播放音乐，反馈司机，从而调节情绪，首先播报语音告知司机其当前情绪，之后播放音乐，对过于兴奋或者负面的异常情绪进行干预。

8.根据权利要求1所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述应用移动端用于数据展示，可视化司机行为，从数据库获取司机今日驾驶数据和单次驾驶数据后，动态更新界面，其中日驾驶数据主要记录司机抽烟、安全带、是否目视前方、是否握紧方向盘、玩手机、疲劳等状态，并且根据脑波仪的数据计算专注率；单驾驶数据包括抽烟、安全带、是否目视前方、是否握紧方向盘、玩手机、疲劳等状态，实时心率、血氧浓度、眨眼频率，且根据脑波仪的数据计算专注率、情绪。

9.根据权利要求1所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述云服务器为阿里云弹性服务器，2GB内存，40GB硬盘，宽带1Mbps，服务器系统选择CentOS，数据库选择MySQL，首先使用本地客户端通过SSH协议登录，使用FTP协议传输文件，创建数据库名称“driver”，有三张表，分别用来存储司机登录数据、每日状态数据、单次驾驶状态数据，数据库需要包含三张表，分别包括用户登录信息、日数据和单次数据，其中在用户表中ID号为主键，在日数据表中日期、ID为共同主键，单次数据表中日期、开始时间、ID为共同主键。

Images