CN111547063A - 一种疲劳检测的智能车载情感交互装置 - Google Patents

Abstract

本发明公开了一种疲劳检测的智能车载情感交互装置，该装置包括装置主体，所述装置主体用于放置于驾驶室内；所述装置主体包括主控制器、摄像采集模块、语音录制模块、语音播放模块以及无线通信模块。本申请的车载情感交互装置以公仔玩偶的形象呈现，活泼可爱的形象更易被驾驶员接受。通过摄像头采集的图像，分析驾驶员眼睑和头部的状态，判断驾驶员是否处于疲劳驾驶状态。通过采集的驾驶员面部表情和语音数据，分析驾驶员的情绪状态，对于处于愤怒或低落情绪的驾驶员，装置主体可以播放欢快的音乐，并以人的口吻讲安抚性的话语，与驾驶员对话聊天，给驾驶员较为真实的互动感觉，对驾驶员进行情感安抚。

Description

一种疲劳检测的智能车载情感交互装置

技术领域

本发明涉及车载辅助设备技术领域，特别是涉及一种疲劳检测的智能车载情感交互装置。

背景技术

随着全球汽车数量的增长，汽车早已成为人们最主要的出行交通工具。然而，由于驾驶员疲劳驾驶或情绪问题导致的交通事故目前并没有得到有效控制。如何对驾驶员的疲劳程度和情绪进行实时的感知和识别，并做出相应的紧急处理或情绪安抚手段，是一个亟待解决的问题。

随着机器人技术的发展，越来越多的车载机器人设备出现。但现有的车载机器人功能单一，交互能力差，操作繁琐，且大部分仅限于车内娱乐、资讯、导航和基于位置解决方案的电子地图等方面。比如专利申请号为CN201310250311的发明专利中的车载机器人具有拍照功能，根据所拍视频判断车辆是否偏离轨道从而给出预警；专利申请号为CN201710570069的发明专利中的车载机器人主要利用已有的导航软件为驾驶员规划出行线路以及对出行线路上的红绿灯状态给予提醒；专利申请号为CN201420453085的发明专利虽然提出了一种情感交互型车载机器人，但该车载机器人并未对驾驶员的情绪进行识别，只是通过手机App的图片、声音或者机械臂的简单动作单方面体现机器人的“情绪”，并未实现真正的驾驶员与机器人的智能交互，且易分散驾驶员注意力，出现安全事故。现存的这些车载机器人仅为用户提供基本的服务，远不能满足在复杂驾驶环境下的用户需求，尤其在行车安全以及驾驶员的健康情绪抚慰方面，由于驾驶员疲劳驾驶或情绪波动等原因所引起的交通事故仍然难以避免。

发明内容

本发明提供了一种疲劳检测的智能车载情感交互装置。

本发明提供了如下方案：

一种疲劳检测的智能车载情感交互装置，包括：

装置主体，所述装置主体用于放置于驾驶室内；所述装置主体包括主控制器、摄像采集模块、语音录制模块、语音播放模块以及无线通信模块；所述摄像采集模块、所述语音录制模块、所述语音播放模块以及所述无线通信模块均与所述主控制器可通信相连；

所述摄像采集模块用于获取驾驶员的面部图像信息并发送给所述主控制器，所述语音录制模块用于获取驾驶员的语音信息发送给所述主控制器，所述主控制器用于执行以下操作：

将接收到的所述面部图像信息以及所述语音信息通过所述无线通信模块发送至云端服务器，以便所述云端服务器根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息；

接收所述云端服务器返回的所述判断结果信息，根据所述判断结果信息控制所述语音播放模块播放相应的安抚语音。

优选地：所述以便所述云端服务器根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息；包括：

以便所述云端服务根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息，并根据所述判断结果信息生成安抚语音信息；

接收所述云端服务器返回的所述判断结果信息以及所述安抚语音信息，控制所述语音播放模块播放所述语音信息包含的安抚语音。

优选地：所述以便所述云端服务器根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息；所述判断结果信息的判断方法包括：

采用VGG-NET学习模型对所述面部图像信息进行处理获得面部处理结果，采用AlexNet+SVM的组合模型对所述语音信息进行处理获得语音处理结果；

根据所述面部处理结果和/或所述语音处理结果对驾驶员的疲劳状态做出判断并获得判断结果。

优选地：所述采用VGG-NET学习模型对所述面部图像信息进行处理获得面部处理结果，包括：

对面部图像信息进行预处理，提取五官的几何特征，所述几何特征至少包括五官的位置、大小、形状、相互之间的距离及比例；以便所述VGG-NET学习模型对几何特征进行处理获得面部处理结果。

优选地：所述装置主体还包括紧急处理模块，所述紧急处理模块分别与所述主控制器以及汽车中控系统可通信相连；所述主控制器还用于执行以下操作：

接收所述云端服务器返回的所述判断结果信息，根据所述判断结果信息控制所述紧急处理模块向所述汽车中控系统发出紧急处理指令。

优选地：所述紧急控制指令包括制动、报警、限速。

优选地：所述装置主体还包括供电模块。

优选地：所述装置主体包括仿卡通形象的外壳。

优选地：所述摄像采集模块位于所述外壳的头部，所述语音录制模块位于所述外壳的耳朵处，所述语音播放模块位于所述外壳的嘴部，所述无线通信模块位于所述外壳的腹部。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

通过本发明，可以实现一种疲劳检测的智能车载情感交互装置，在一种实现方式下，该装置可以包括装置主体，所述装置主体用于放置于驾驶室内；所述装置主体包括主控制器、摄像采集模块、语音录制模块、语音播放模块以及无线通信模块；所述摄像采集模块、所述语音录制模块、所述语音播放模块以及所述无线通信模块均与所述主控制器可通信相连；所述摄像采集模块用于获取驾驶员的面部图像信息并发送给所述主控制器，所述语音录制模块用于获取驾驶员的语音信息发送给所述主控制器，所述主控制器用于执行以下操作：将接收到的所述面部图像信息以及所述语音信息通过所述无线通信模块发送至云端服务器，以便所述云端服务器根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息；接收所述云端服务器返回的所述判断结果信息，根据所述判断结果信息控制所述语音播放模块播放相应的安抚语音。一种具有驾驶员疲劳检测和情绪交互功能的智能车载装置。本申请的车载情感交互装置以公仔玩偶的形象呈现，活泼可爱的形象更易被驾驶员接受。通过摄像头采集的图像，分析驾驶员眼睑和头部的状态，判断驾驶员是否处于疲劳驾驶状态。对于疲劳驾驶的汽车，通知汽车中控系统进行紧急处理，如制动、报警或限速。通过采集的驾驶员面部表情和语音数据，分析驾驶员的情绪状态，对于处于愤怒或低落情绪的驾驶员，装置主体可以播放欢快的音乐，并以人的口吻讲安抚性的话语，与驾驶员对话聊天，给驾驶员较为真实的互动感觉，对驾驶员进行情感安抚。本申请在保障安全性的同时提高了驾驶员的体验舒适度。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种疲劳检测的智能车载情感交互装置的结构示意图;

图2是本发明实施例提供的云端疲劳检测和情绪交互的流程图。

图中：装置主体1、主控制器2、摄像采集模块3、语音录制模块4、语音播放模块5、无线通信模块6、紧急处理模块7、供电模块8、云端服务器9。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参见图1、图2，为本发明实施例提供的一种疲劳检测的智能车载情感交互装置，如图1、图2所示，该装置包括装置主体1，所述装置主体1用于放置于驾驶室内；所述装置主体1包括主控制器2、摄像采集模块3、语音录制模块4、语音播放模块5以及无线通信模块6；所述摄像采集模块3、所述语音录制模块4、所述语音播放模块5以及所述无线通信模块6均与所述主控制器2可通信相连；

所述摄像采集模块3用于获取驾驶员的面部图像信息并发送给所述主控制器2，所述语音录制模块4用于获取驾驶员的语音信息发送给所述主控制器2，所述主控制器2用于执行以下操作：

将接收到的所述面部图像信息以及所述语音信息通过所述无线通信模块6发送至云端服务器，以便所述云端服务器9根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息；具体的，以便所述云端服务9根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息，并根据所述判断结果信息生成安抚语音信息；

接收所述云端服务器9返回的所述判断结果信息以及所述安抚语音信息，控制所述语音播放模块5播放所述语音信息包含的安抚语音。

具体的，采用VGG-NET学习模型对所述面部图像信息进行处理获得面部处理结果，采用AlexNet+SVM的组合模型对所述语音信息进行处理获得语音处理结果；

根据所述面部处理结果和/或所述语音处理结果对驾驶员的疲劳状态做出判断并获得判断结果。对面部图像信息进行预处理，提取五官的几何特征，所述几何特征至少包括五官的位置、大小、形状、相互之间的距离及比例；以便所述VGG-NET学习模型对几何特征进行处理获得面部处理结果。

所述云端对面部图像进行预处理，提取五官的主要几何特征，如眼睛、鼻子、眉毛和嘴巴等的位置，并对其变化进行定位和测量，确定其大小、形状、相互之间的距离及比例等特征，根据眼睛的位置可以判断头部的相对位移，从而判断驾驶员是否有微睡眠诱发的点头行为，根据眼睑的闭合状态，可以得知驾驶员的眨眼频率，由此估算驾驶员的睡意程度；所述云端采用VGG-NET深度学习模型对面部表情数据进行处理，采用AlexNet+SVM的组合模型对语音数据进行处理，识别出用户的情绪状态，并给出相应的安抚措施。

接收所述云端服务器返回的所述判断结果信息，根据所述判断结果信息控制所述语音播放模块播放相应的安抚语音。

进一步的，所述装置主体1还包括紧急处理模块7，所述紧急处理模块7分别与所述主控制器2以及汽车中控系统可通信相连；所述主控制器2还用于执行以下操作：

接收所述云端服务器9返回的所述判断结果信息，根据所述判断结果信息控制所述紧急处理模块7向所述汽车中控系统发出紧急处理指令。所述紧急控制指令包括制动、报警、限速。

进一步的，所述装置主体1还包括供电模块8。所述装置主体1包括仿卡通形象的外壳。所述摄像采集模块3位于所述外壳的头部，所述语音录制模块4位于所述外壳的耳朵处，所述语音播放模块5位于所述外壳的嘴部，所述无线通信模块6位于所述外壳的腹部。

所述主控制器与摄像采集模块、语音录制模块、语音播放模块、紧急处理模块、通信模块相连，用于对所述各功能模块的管理控制，控制通信模块将摄像采集模块和语音录制模块采集的图像和语音数据传输至云端，并根据云端返回的疲劳检测和情绪识别结果以及相应的语音安抚数据控制触发各模块相应的操作；

所述电源用于为主控制器和其他各模块供电；

所述卡通形象外壳生动形象，为公仔玩偶的形象，易被驾驶员接受，且体积较小，可以放在仪表盘上方的台板上，不会对驾驶员的驾驶行为产生干扰；

所述云端利用深度学习机器学习的方法，对图像数据和语音数据进行处理，对驾驶员的面部图像数据进行疲劳检测，得出驾驶员的睡意程度结果，根据面部表情和语音数据进行双模态的情感识别，对情绪异常的行为产生相应的安抚语音发送给车载机器人。

所述摄像采集模块安装在装置主体的头部，用来采集驾驶员的面部图像数据，通过主控制器的处理转换成数字信号，交由无线通信模块传输给云端。

所述语音录制模块安装在装置主体的耳朵处，用于采集驾驶员的语音数据，通过检测音频分贝的大小，设计算法判断驾驶员是否讲话，并且把讲话部分的音频保存为文件经主控制器处理成数字信号交由通信模块传输给云端。

所述语音播放模块安装在装置主体的嘴部，主控制器将接收的语音信号传给语音播放模块，使其发出相应的声音；当驾驶员处于低落或暴躁愤怒等异常情绪时，模仿人的口吻，像亲人朋友一样安慰驾驶员，使其逐渐平复情绪。返回相应的安抚性语音数据与驾驶员持续对话、交流，直到云端发送驾驶员情绪已恢复，停止语音播放的命令信号。

紧急处理模块安装在装置主体的胸部，与汽车的中控系统对接；当云端检测结果为疲劳驾驶等异常驾驶行为时，紧急处理模块通知汽车中控系统进行紧急处理，如制动、报警或限速。

无线通信模块安装在装置主体的腹部，连接主控制器与云端进行通信，将处理后的图像数据和语音数据上传至云端进行检测和识别；并将云端识别结果和相应的语音数据传输给主控制器，主控制器处理后再进一步传输给各模块进行相应的操作。无线通信模块可以是Wi-Fi信号、蓝牙、移动蜂窝网络中的任意一种。

本申请提供的疲劳检测的智能车载情感交互装置可以实时采集驾驶员面部图像，只要驾驶员处于疲劳驾驶状态，比如睡眠不足，持续开车时间4小时以上，便会触发汽车中控系统做出反应，保证行车安全；智能车载情感交互装置还会不断收集语音数据，与面部图像数据一起进行分析识别出驾驶员的情绪状态，当交通堵塞等原因导致驾驶员心情变差，路怒症爆发时，智能车载情感交互装置像驾驶员的亲人、朋友一样与驾驶员交谈，安慰驾驶员，可以和驾驶员进行问答互动，逐渐平复驾驶员情绪，直到云端检测到驾驶员情绪已恢复正常停止。可以想到的是，该安抚语言可以为驾驶员亲友自行进行录制，上传至云端服务器的安抚语言。

本申请提供了一种具有驾驶员疲劳检测和情绪交互功能的智能车载装置。本申请的车载情感交互装置以公仔玩偶的形象呈现，活泼可爱的形象更易被驾驶员接受。通过摄像头采集的图像，分析驾驶员眼睑和头部的状态，判断驾驶员是否处于疲劳驾驶状态。对于疲劳驾驶的汽车，通知汽车中控系统进行紧急处理，如制动、报警或限速。通过采集的驾驶员面部表情和语音数据，分析驾驶员的情绪状态，对于处于愤怒或低落情绪的驾驶员，装置主体可以播放欢快的音乐，并以人的口吻讲安抚性的话语，与驾驶员对话聊天，给驾驶员较为真实的互动感觉，对驾驶员进行情感安抚。本申请在保障安全性的同时提高了驾驶员的体验舒适度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种疲劳检测的智能车载情感交互装置，其特征在于，包括：

装置主体，所述装置主体用于放置于驾驶室内；所述装置主体包括主控制器、摄像采集模块、语音录制模块、语音播放模块以及无线通信模块；所述摄像采集模块、所述语音录制模块、所述语音播放模块以及所述无线通信模块均与所述主控制器可通信相连；

所述摄像采集模块用于获取驾驶员的面部图像信息并发送给所述主控制器，所述语音录制模块用于获取驾驶员的语音信息发送给所述主控制器，所述主控制器用于执行以下操作：

将接收到的所述面部图像信息以及所述语音信息通过所述无线通信模块发送至云端服务器，以便所述云端服务器根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息；

接收所述云端服务器返回的所述判断结果信息，根据所述判断结果信息控制所述语音播放模块播放相应的安抚语音。

2.根据权利要求1所述的疲劳检测的智能车载情感交互装置，其特征在于，所述以便所述云端服务器根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息；包括：

以便所述云端服务根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息，并根据所述判断结果信息生成安抚语音信息；

接收所述云端服务器返回的所述判断结果信息以及所述安抚语音信息，控制所述语音播放模块播放所述语音信息包含的安抚语音。

3.根据权利要求1所述的疲劳检测的智能车载情感交互装置，其特征在于，所述以便所述云端服务器根据所述面部图像信息以及所述语音信息对驾驶员的疲劳状态做出判断获得判断结果信息；所述判断结果信息的判断方法包括：

采用VGG-NET学习模型对所述面部图像信息进行处理获得面部处理结果，采用AlexNet+SVM的组合模型对所述语音信息进行处理获得语音处理结果；

根据所述面部处理结果和/或所述语音处理结果对驾驶员的疲劳状态做出判断并获得判断结果。

4.根据权利要求3所述的疲劳检测的智能车载情感交互装置，其特征在于，所述采用VGG-NET学习模型对所述面部图像信息进行处理获得面部处理结果，包括：

对面部图像信息进行预处理，提取五官的几何特征，所述几何特征至少包括五官的位置、大小、形状、相互之间的距离及比例；以便所述VGG-NET学习模型对几何特征进行处理获得面部处理结果。

5.根据权利要求1所述的疲劳检测的智能车载情感交互装置，其特征在于，所述装置主体还包括紧急处理模块，所述紧急处理模块分别与所述主控制器以及汽车中控系统可通信相连；所述主控制器还用于执行以下操作：

接收所述云端服务器返回的所述判断结果信息，根据所述判断结果信息控制所述紧急处理模块向所述汽车中控系统发出紧急处理指令。

6.根据权利要求5所述的疲劳检测的智能车载情感交互装置，其特征在于，所述紧急控制指令包括制动、报警、限速。

7.根据权利要求1所述的疲劳检测的智能车载情感交互装置，其特征在于， 所述装置主体还包括供电模块。

8.根据权利要求1所述的疲劳检测的智能车载情感交互装置，其特征在于，所述装置主体包括仿卡通形象的外壳。

9.根据权利要求8所述的疲劳检测的智能车载情感交互装置，其特征在于，所述摄像采集模块位于所述外壳的头部，所述语音录制模块位于所述外壳的耳朵处，所述语音播放模块位于所述外壳的嘴部，所述无线通信模块位于所述外壳的腹部。

Images