CN114445888A - 基于情绪感知和语音交互的车载交互系统 - Google Patents

Abstract

本发明提供基于情绪感知和语音交互的车载交互系统。所述系统应用于车载终端，包括信息采集模块、情绪分析模块以及执行模块。由摄像头收集乘客信息传输至分析模块，通过面部情绪分析方法获得乘客情绪状态，执行模块启动相匹配的预设操作。预设操作包括智能语音交互，开启自动驾驶系统，RGB氛围灯调节，音乐调节，车内香氛调节等方式。本发明可实时的捕捉和分析乘客的情绪和意图，通过语音的方式进行交互，满足用户对智能语音和情绪化感知的期待，对于乘客而言，情绪的改变可以影响车内环境的改变，这种改变是自然和舒适的，能够提升乘客在车内的体验，实现人与车的自然交互。

Description

基于情绪感知和语音交互的车载交互系统

技术领域

本发明涉及车内智能交互领域，特别是涉及基于情绪感知和语音交互的车载交互系统。

背景技术

随着家用车数量的不断增加，汽车已经成为了中国家庭出行的常用工具。同时汽车已不再是简单的交通工具，人们对汽车功能性、安全性以及智能化的需求越来越强烈。

随着科技的发展，车辆内的功能配置越来越多。RGB氛围灯、高质量车载音箱、车联网、交互大屏、语音交互以及自动驾驶等功能已逐渐被添加至车辆内，这些功能既能提升娱乐性也能提高用户驾驶的安全性。然而车辆功能越来越丰富，也会带来一些问题，现阶段车内诸多功能都是被动式的交互方式，任何操作都需要用户自行启动关闭，无法主动的感知迎合用户的需求，缺乏智能化的人车交互，也无法实现人与车的自然交互。

发明内容

鉴于以上所述现有交互系统的缺点，本发明的目的在于提供基于情绪感知和语音交互的车载交互系统，以实现主动式交互。

本发明的技术方案如下：

基于情绪感知和语音交互的车载交互系统包括信息采集模块、情绪分析模块以及执行模块，各模块通过汽车CAN总线相连，应用于车载终端。

车载终端采用汽车专用SOC，搭载智能车机系统，基于汽车CAN总线集中控制车辆各项功能，同时依托移动数据服务可实现车与外界的信息通讯，目前车载终端配合车辆功能部件能实现丰富的娱乐驾驶功能，具体可包括360度全景导航、实时路况、自动驾驶系统、车身控制、在线音乐视频播放等功能。

所述汽车专用SOC：本交互系统需要搭配L3级别以上的自动驾驶功能，对汽车专用SOC提出了较高要求。算力强大的SOC提供处理多个传感器数据所必需的冗余和兼容性，以满足安全标准和法规要求。本系统可采用任意满足L3及以上级别的自动驾驶功能的SOC方案，例如Nvida Drive Xaiver芯片、PX2平台以及知行科技的iMo DCU3.0平台等；

信息采集模块具体功能如下：

车辆启动后，利用摄像头对驾驶位乘客进行视频采集，并将采集到的信息发送到情绪分析模块以判断乘客当前情绪状况。

一般安装于中控仪表盘对主驾驶位进行信息采集，也可根据用户需求决定是否在副驾驶位及后排座位安装摄像头，以采集除驾驶员外的车内其他乘客的信息；

可采用任意型号的车载摄像头，考虑到夜间行车需求以及汽车车内空间有限，为获得质量较好的乘客影像信息，可采用红外摄像头。

情绪分析模块具体功能如下：

采用一种结合面部表情特征及生理特征的方法判断乘客面部类型。对采集到的原视频预处理后，分别提取面部外观特征和生理特征送入分类器，得到上述两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类。

具体原理步骤如下：

S1.视频预处理

裁切原视频去除干扰信息保留人脸部分并进行分帧，对提取的人脸图像做数据增强操作，便于提取面部外观特征。对数据增强后的人脸视频采用欧拉颜色放大算法进行颜色放大处理，增强因面部血液流动及其他生理因素所带来的微弱的颜色变化，便于提取面部生理特征。

S2.特征提取

本方法中特征提取步骤采用三维卷积网络，其与二维卷积网络相比添加了一个额外的时间维度，可以在时空上进行卷积和池化。三维卷积将多张图像叠加成一个立方体作为一个通道输入，输出多张图像的特征可以保留输入信号的时间信息，从而提取序列的时间特征。

本方法中采用两个已经训练好的三维卷积网络，分别用于提取面部表情特征以及面部生理特征；

S3.决策级融合

特征提取后，送入softmax分类器。得到上述两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类。决策级融合是一种高层次融合，具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强，因此采用决策级融合方法得到最终的识别结果；

使用如下公式融合表情特征识别结果与生理特征识别结果：

p＝argmax(a＊prea+b＊preb)

其中，p表示预测结果。a(优选0.485)与b(优选0.515)分别为表情特征识别结果与生理特征识别结果的权重。prea表示表情特征预测结果的类别概率，preb表示生理特征预测结果的类别概率。。

执行模块通过汽车CAN总线控制RGB氛围灯、车载音响、智能语音、香氛系统以及车辆自动驾驶系统，具体功能如下：

根据情绪分类结果，执行模块选择与当前情绪相匹配的预设情况，按照对应RGB氛围灯配置调节灯光，播放符合当前情绪的音乐，控制车内香氛系统的开关，启动相对应的语音交互内容，并在乘客出现严重影响驾驶安全状态的情绪时按预设情况启动自动驾驶系统。

本系统中已预设不同情况下音乐、香氛、语音交互内容以及RGB氛围灯配置，同时所有配置均支持用户根据自身需求重新设置。

RGB氛围灯预设配置如下：

RGB氛围灯的配置包括显示色彩、亮度、色温及律动效果等。

具体的，在乘客出现烦躁、焦虑情绪时，调节RGB氛围灯为淡蓝色、低亮度、色温3300k、色彩律动效果缓慢以帮助用户平静思绪。

在乘客出现紧张情绪时，调节RGB氛围灯为绿色、低亮度、色温3300k、色彩律动效果缓慢以帮助用户缓解焦虑。

在乘客出现瞌睡情绪时，调节RGB氛围灯为红色、高亮度、色温5300k、色彩律动效果快速以帮助乘客尽快清醒。

在乘客出现沮丧情绪时，调节RGB氛围灯位橘色、低亮度、色温3300k、色彩律动效果缓慢以缓解乘客情绪。

智能语音交互功能如下：

在情绪分析模块识别出驾驶员处于瞌睡、过度焦虑、烦躁等严重影响驾驶安全状态时，启动语音交互向驾驶员发出语音提示警告。

同时语音交互包含智能聊天功能，在沮丧等情绪低落的情况下智能车载语音可以直接和乘客沟通，例如询问是否打电话给亲密的人，是否想去某个地方独处等。

智能车载语音还可提供更加人性化的体验。根据实时情况智能化的为乘客提供目的地推荐及导航，例如乘客在高速公路上处于瞌睡状态，智能推荐最近的休息点，乘客处于兴致高昂的状态时为乘客推荐附件的娱乐场所乘客因饥饿露出痛苦的情绪时根据乘客喜好先后顺序推荐附件餐厅。

特别地，由于乘客某些情绪会严重影响车辆行驶安全，此时智能语音会结合自动驾驶系统保证乘客安全。

搭载本交互系统的车辆具备L3及以上级别的自动驾驶功能，相较于L2及以下级别驾驶辅助功能，采用的仍是人工控制方式，驾驶操作的主体还是人，而L3系统控制的主体是汽车，此时人无需进行加减速和转向控制，L3级别的自动驾驶系统需要在车辆的运行条件内持续地执行“全部驾驶任务”，系统的感知与决策能力与人类相当。

因此在情绪分析模块识别出驾驶员处于瞌睡、过度焦虑、烦躁等严重影响驾驶安全状态时，启动语音交互向驾驶员发出语音提示，如果在一定阈值时间内驾驶员情绪未得到缓解，提出警告，并启用自动驾驶系统及时的接管汽车行驶，保证行车安全。

本发明提供的一种基于情绪感知和语音交互的车载交互系统，具体原理步骤如下：

S21、采集乘客面部视频信息；

采用安装于中控仪表盘上方的车载摄像头实时采集驾驶位乘客信息，并发送至情绪分析模块。

S22、分析面部信息，以判断出乘客的情绪状态；

采用一种结合面部表情特征及生理特征的情绪分析方法。对采集到的原视频进行预处理操作，然后分别提取面部外观特征和生理特征，再送入分类器进行分类，得到不同模态各类别的分类概率，并结合两种模态的分类结果进行最终情绪分类。

S23、将分析结果与预设情况加以匹配；

选择与当前情绪相匹配的预设情况，按照对应RGB氛围灯配置调节灯光，播放符合当前情绪的音乐，控制车内香氛系统的开关，启动相对应的语音交互内容，并在乘客出现严重影响驾驶安全状态的情绪时按预设情况启动自动驾驶系统。

本发明可实时的捕捉和分析乘客的情绪和意图，通过语音的方式交互，满足用户对智能语音和情绪化感知的期待，对于乘客而言，情绪的改变可以影响车内环境的改变，这种改变是自然和舒适的，更加能够提升乘客在车内的体验，实现人与车的自然交互。

附图说明

图1为交互系统模块图；

图2为情绪分析方法流程图；

图3为执行模块图；

图4为交互系统原理步骤图；

具体实施方式

下面通过结合流程图与模块图说明本发明的实施方式，鉴于汽车功能愈加繁多，现有交互系统仅能被动式交互，本发明提供了一种基于情绪感知和语音交互的车载交互系统，以实现主动式交互。

如图1所示，本实施例的基于情绪感知和语音交互的车载交互系统由信息采集模块、情绪分析模块以及执行模块组成，各模块通过汽车CAN总线相连，应用于车载终端。

信息采集模块采用车载摄像头实时采集信息，该摄像头安装于中控仪表盘上方位置对驾驶位进行信息采集，并发送至情绪分析模块。

较佳的，在一实施例中，摄像头采用红外摄像头。红外摄像头具有亮度高、体积小、使用寿命长等特点，同时可以较好的捕捉夜间影像。考虑到夜间行车需求以及汽车车内空间有限，采用红外摄像头能够获得质量较好的驾驶位乘客影像信息，从而有助于后续对该面部图像进行情绪识别。

当然，本领域技术人员也可根据用户需求决定是否在副驾驶位及后排座位安装摄像头，以采集除驾驶员外的车内其他乘客的信息。

如图2所示，采用一种结合面部表情特征及生理特征的方法判断乘客面部类型。对采集到的原视频预处理后，分别提取面部外观特征和生理特征送入分类器，得到上述两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类。

以下详细介绍本实施例的情绪分析方法：

S1.视频预处理

裁切原视频去除干扰信息保留人脸部分并进行分帧，对提取的人脸图像做数据增强操作，便于提取面部外观特征。对裁切后的人脸视频采用欧拉颜色放大算法进行颜色放大处理，增强因面部血液流动及其他生理因素所带来的微弱的颜色变化，便于提取面部生理特征。

S2.特征提取

本方法中特征提取步骤采用三维卷积网络，其与二维卷积网络相比添加了一个额外的时间维度，可以在时空上进行卷积和池化。三维卷积将多张图像叠加成一个立方体作为一个通道输入，输出多张图像的特征可以保留输入信号的时间信息，从而提取序列的时间特征。

本方法中采用两个已经训练好的三维卷积网络，分别用于提取面部表情特征以及面部生理特征；

S3.决策级融合

特征提取后，送入softmax分类器。得到上述两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类。决策级融合是一种高层次融合，具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强，因此采用决策级融合方法得到最终的识别结果。

如图3所示，以下详细介绍本实施例执行模块：

执行模块，通过汽车CAN总线控制RGB氛围灯、车载音响、智能语音、香氛系统以及车辆自动驾驶系统。根据情绪分类结果，执行模块选择与当前情绪相匹配的预设情况，按照对应RGB氛围灯配置调节灯光，播放符合当前情绪的音乐，控制车内香氛系统的开关，启动相对应的语音交互内容，并在乘客出现严重影响驾驶安全状态的情绪时按预设情况启动自动驾驶系统。

在本实施例系统中已预设不同情况下的音乐、香氛、语音交互内容、RGB氛围灯配置以及是否开启自动驾驶功能，同时所有配置均支持用户根据自身需求重新设置。

本实施例中具体的RGB氛围灯配置预设情况包括如下场景：

RGB氛围灯的显示色彩、亮度、色温及律动效果等。具体的，在乘客出现烦躁、焦虑情绪时，调节RGB氛围灯为淡蓝色、低亮度、色温3300k、色彩律动效果缓慢以帮助用户平静思绪。在乘客出现紧张情绪时，调节RGB氛围灯为绿色、低亮度、色温3300k、色彩律动效果缓慢以帮助用户缓解焦虑。在乘客出现瞌睡情绪时，调节RGB氛围灯为红色、高亮度、色温5300k、色彩律动效果快速以帮助乘客尽快清醒。在乘客出现沮丧情绪时，调节RGB氛围灯位橘色、低亮度、色温3300k、色彩律动效果缓慢以缓解乘客情绪。

本实施例中具体的语音交互预设情况包括如下场景：

在情绪分析模块识别出驾驶员处于瞌睡、过度焦虑、烦躁等严重影响驾驶安全状态时，启动语音交互向驾驶员发出语音提示警告。

同时语音交互包含智能聊天功能，在沮丧等情绪低落的情况下智能车载语音可以直接和乘客沟通，例如询问是否打电话给亲密的人，是否想去某个地方独处等。

智能车载语音还可提供更加人性化的体验。根据实时情况智能化的为乘客提供目的地推荐及导航，例如乘客在高速公路上处于瞌睡状态，智能推荐最近的休息点，乘客因饥饿露出痛苦的情绪时根据驾驶员喜好先后顺序推荐附件餐厅。

特别地，由于乘客某些情绪会严重影响车辆行驶安全，此时智能语音会结合自动驾驶系统保证乘客安全。

搭载本实施例交互系统的车辆具备L3及以上级别的自动驾驶功能，相较于L2及以下级别驾驶辅助功能，采用的仍是人工控制方式，驾驶操作的主体还是人，而L3系统控制的主体是汽车，此时人无需进行加减速和转向控制，L3级别的自动驾驶系统需要在车辆的运行条件内持续地执行“全部驾驶任务”，系统的感知与决策能力与人类相当。

在情绪分析模块识别出驾驶员处于瞌睡、过度焦虑、烦躁等严重影响驾驶安全状态时，启动智能语音交互向驾驶员发出语音提示，如果在一定阈值时间内驾驶员情绪未得到缓解，智能语音提出警告，并启用自动驾驶系统及时的接管汽车行驶，保证行车安全。

如图4所示，以下详细介绍本实施例交互系统步骤流程：

S21、采集乘客面部视频信息；

采用安装于中控仪表盘上方的车载摄像头实时采集驾驶位乘客信息，并发送至情绪分析模块。

S22、分析面部信息，以判断出乘客的情绪状态；

采用一种结合面部表情特征及生理特征的情绪分析方法。对采集到的原视频进行预处理操作，然后分别提取面部外观特征和生理特征，再送入分类器进行分类，得到不同模态各类别的分类概率，并结合两种模态的分类结果进行最终情绪分类。

S23、将分析结果与预设情况加以匹配，执行对应方案；

选择与当前情绪相匹配的预设情况，按照对应RGB氛围灯配置调节灯光，播放符合当前情绪的音乐，控制车内香氛系统的开关，启动相对应的语音交互内容，并在乘客出现严重影响驾驶安全状态的情绪时按预设情况启动自动驾驶系统。

综上所述，本发明的基于情绪感知和语音交互的车载交互系统，可实时的捕捉和分析乘客的情绪和意图，通过语音的方式进行交互，满足用户对智能语音和情绪化感知的期待，对于乘客而言，情绪的改变可以影响车内环境的改变，这种改变是自然和舒适的，能够提升乘客在车内的体验，实现人与车的自然交互。本发明以情绪感知的方式改变了被动的交互方式，以实现车辆对乘客的主动式交互。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.基于情绪感知和语音交互的车载交互系统，其特征在于，所述的车载交互系统包括：

信息采集模块、情绪分析模块以及执行模块，各模块通过汽车CAN总线相连，应用于车载终端；

所述信息采集模块：车辆启动后，利用摄像头对驾驶位乘客进行视频采集，并将采集到的信息发送到情绪分析模块以判断乘客当前情绪状况；

所述情绪分析模块：采用结合面部表情特征及生理特征的方法判断乘客面部类型，对采集到的原视频预处理后，分别提取面部外观特征和生理特征送入分类器，得到面部外观特征和生理特征两个分类器的结果后，结合分类结果进行最终的情绪分类；

所述执行模块：根据情绪分类结果，通过汽车CAN总线控制车内配置选择与当前情绪相匹配的预设情况并执行。

2.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述车载终端：

采用汽车专用SOC，搭载智能车机系统；

基于汽车CAN总线集中控制车辆各项功能，同时依托移动数据服务实现车与外界的信息通讯；

车载终端配合车辆功能部件能实现娱乐驾驶功能，具体包括360度全景导航、实时路况、自动驾驶系统、车身控制、在线音乐视频播放功能。

3.根据权利要求2所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述汽车专用SOC：

车载交互系统采用任意满足L3及以上级别的自动驾驶功能的SOC方案。

4.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述摄像头：

安装于中控仪表盘对主驾驶位进行信息采集，也根据用户需求决定是否在副驾驶位及后排座位安装摄像头，以采集除驾驶员外的车内其他乘客的信息；

采用普通车载摄像头或采用红外摄像头。

5.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于：

所述情绪分析模块的结合面部表情特征及生理特征的情绪分析方法，具体步骤如下：

S1.视频预处理；

裁切原视频去除干扰信息保留人脸部分并进行分帧，对提取的人脸图像做数据增强操作，便于提取面部外观特征，对数据增强后的人脸视频采用欧拉颜色放大算法进行颜色放大处理，增强因面部血液流动及其他生理因素所带来的微弱的颜色变化，便于提取面部生理特征；

S2.特征提取；

特征提取采用三维卷积网络，其与二维卷积网络相比添加了一个时间维度，能够在时空上进行卷积和池化；三维卷积将多张图像叠加成一个立方体作为一个通道输入，输出多张图像的特征可以保留输入信号的时间信息，从而提取序列的时间特征；

采用两个已经训练好的三维卷积网络，分别用于提取面部表情特征以及面部生理特征；

S3.决策级融合；

特征提取后，送入softmax分类器；得到两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类；采用决策级融合方法得到最终的识别结果；使用如下公式融合表情特征识别结果与生理特征识别结果：

p＝argmax(a＊prea+b＊preb)

其中，p表示预测结果；a与b分别为表情特征识别结果与生理特征识别结果的权重；prea表示表情特征预测结果的类别概率，preb表示生理特征预测结果的类别概率。

6.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述的执行模块：

通过汽车CAN总线控制RGB氛围灯、车载音响、智能语音、香氛系统以及车辆自动驾驶系统；

根据情绪分类结果，执行模块选择与当前情绪相匹配的预设情况，按照对应RGB氛围灯配置调节灯光，播放符合当前情绪的音乐，控制车内香氛系统的开关，启动相对应的语音交互内容，并在乘客出现严重影响驾驶安全状态的情绪时按预设情况启动自动驾驶系统；

车载交互系统需要事先预设不同情况下音乐、香氛、语音交互内容以及RGB氛围灯配置，同时所有配置均支持用户根据自身需求重新设置。

7.根据权利要求6所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述的RGB氛围灯配置包括：

RGB氛围灯的显示色彩、亮度、色温及律动效果；

具体的，在乘客出现烦躁、焦虑情绪时，调节RGB氛围灯为淡蓝色、低亮度、色温3300k、色彩律动效果缓慢以帮助用户平静思绪；

在乘客出现紧张情绪时，调节RGB氛围灯为绿色、低亮度、色温3300k、色彩律动效果缓慢以帮助用户缓解焦虑；

在乘客出现瞌睡情绪时，调节RGB氛围灯为红色、高亮度、色温5300k、色彩律动效果快速以帮助乘客尽快清醒；

在乘客出现沮丧情绪时，调节RGB氛围灯位橘色、低亮度、色温3300k、色彩律动效果缓慢以缓解乘客情绪。

8.根据权利要求6所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述语音交互包括：

在情绪分析模块识别出驾驶员处于瞌睡、过度焦虑、烦躁这些严重影响驾驶安全状态时，启动语音交互向驾驶员发出语音提示警告；

同时语音交互包含智能聊天功能，在沮丧等情绪低落的情况下智能车载语音可以直接和乘客沟通；

智能车载语音还可提供人性化的体验，根据实时情况智能化的为乘客提供目的地推荐及导航。

9.根据权利要求6所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述自动驾驶系统：

乘客某些情绪会严重影响车辆行驶安全，此时智能语音会结合自动驾驶系统保证乘客安全；

搭载车载交互系统的车辆具备L3及以上级别的自动驾驶功能，L3系统控制的主体是汽车，此时人无需进行加减速和转向控制，L3级别的自动驾驶系统需要在车辆的运行条件内持续地执行“全部驾驶任务”，系统的感知与决策能力与人类相当；

在情绪分析模块识别出驾驶员处于瞌睡、过度焦虑、烦躁这些严重影响驾驶安全状态时，启动语音交互向驾驶员发出语音提示，如果在一定阈值时间内驾驶员情绪未得到缓解，提出警告，并启用自动驾驶系统及时的接管汽车行驶，保证行车安全。

Images