CN118004071A - 一种汽车智能座舱人机交互系统 - Google Patents

Abstract

本发明公开了一种汽车智能座舱人机交互系统，通过设置红外识别模块以完成手部运动轨迹识别，并通过控制模块完成车辆硬件系统的控制，以解决现有的按钮式控制方式会分散驾驶人员注意力带来安全隐患的问题。同时还设置有语言识别模式和视觉控制模式以及模式切换功能，以提供更丰富的控制方式供用户灵活选择，解决了现有技术控制手段单一，智能化水平低，使用体验差，不适用于所有驾驶人员或驾驶场景等问题。

Description

一种汽车智能座舱人机交互系统

技术领域

本发明属于汽车控制领域，特别是涉及一种汽车智能座舱人机交互系统。

背景技术

现有汽车天窗、遮阳帘与阅读灯多布置在车顶正前方，多采用手动开合或按钮开关控制方式。例如猎豹CS10车顶配备天窗、阅读灯和遮阳帘，可通过开关控制天窗开合和阅读灯亮灭，但是需手动关闭开合遮阳帘。奥迪A6L2023款豪华雅致型配备电动天窗、电动遮阳帘和开关控制阅读灯，整体的开关仪表总成布置在车顶中部靠前，需要驾驶员/副驾驶在车辆行驶过程中，触摸对应按钮，易分散驾驶员注意力，影响驾驶员正常驾驶，具有一定安全隐患。在高速行驶过程中，这一影响尤为严重。并且现有技术仅有单一按键控制模式，对于不同驾驶人员不同喜好无法做到差异化模式选择，使得整体智能化水平不高。

因此，研发更为安全科学、物美价廉的智能座舱人机交互模块软硬件系统具有重要应用价值。

发明内容

为克服现有技术缺陷，本发明提供一种汽车智能座舱人机交互系统，以解决现有车辆天窗和车内灯光需要手动按钮控制导致分散驾驶员注意力，影响安全驾驶以及控制模式单一，智能化水平不高，座舱体验较差，不适用于所有驾驶员等问题。

为实现上述目的及其他相关目的，本发明提供一种汽车智能座舱人机交互系统，包括：

红外识别模块，包括至少4个红外传感器，分别布置于汽车中控台上下左右四个方位，所述红外传感器用于采集用户手部运动，当对应的所述红外传感器被用户手部遮挡时，输出状态改变信号；

控制模块，与所述红外传感器通讯连接；

所述控制模块被配置为

获取每个所述红外传感器的状态改变信号；

根据每个所述红外传感器的状态改变信号及对应的布置位置生成状态变化时间序列；

根据状态变化时间序列生成相对应的第一控制指令；

根据所述第一控制指令进行车辆硬件系统的控制。

在一可选实施例中，所述车辆硬件系统包括：天窗电控系统和车辆灯控系统。

在一可选实施例中，根据每个所述红外传感器的状态改变信号及对应的布置位置生成状态变化时间序列，包括：

根据手从左往右、从右往左、从上往下、从下往上、顺时针旋转、逆时针旋转运动时每个红外传感器的状态改变信号分别获得对应的手势状态变化序列。

在一可选实施例中，所述一种汽车智能座舱人机交互系统，还包括：

语音识别模块，与所述控制模块通讯连接，所述语音识别芯片用于结合内部存储的关键词列表对用户语音进行分析识别，以获取对应的识别结果；

所述控制模块还用于根据所述识别结果生成模式切换指令，以根据所述模式切换指令进行车辆控制模式的切换；和/或

用于根据所述识别结果生成模式切换指令生成第二控制指令，以根据所述第二控制指令进行车辆硬件系统的控制。

在一可选实施例中，所述控制模式包括：红外控制模式，语言控制模式，视觉控制模式中任意一种或多种。

在一可选实施例中，所述控制模块还用于接收移动终端的模式切换指令，以根据所述模式切换指令进行车辆控制模式的切换；和/或

用于接收移动终端的第三控制指令，以根据所述第三控制指令进行车辆硬件系统的控制。

在一可选实施例中，所述一种汽车智能座舱人机交互系统，还包括：

图像采集模块：用于获取手指图像信息，并将所述手指图像信息发送至所述控制模块；

所述控制模块还用于根据所述手指图像信息生成第四控制指令，并根据所述第四控制指令进行车辆硬件系统的控制。

在一可选实施例中，根据所述手指图像信息生成第四控制指令，并根据所述第四控制指令进行车辆硬件系统的控制，包括：

使用基于Mediapipe框架和轻量化tensorflow中Hands模块获取所述手指图像信息中的手指关键点信息；

根据所述手指关键点信息，计算每个指关节的关节弯曲角度θ；

根据所述关节弯曲角度θ和判定规则，判断手指弯曲状态；

根据所述手指弯曲状态，识别出对应的手势，并生成与所述手势对应的第四控制指令。

在一可选实施例中，所述一种汽车智能座舱人机交互系统，还包括：图像采集模块，用于获取手指图像信息，根据所述手指图像信息生成所述第四控制指令，并将所述第四控制指令发送至所述控制模块；

所述控制模块还用于根据所述第四控制指令进行车辆硬件系统的控制。

在一可选实施例中，所述获取手指图像信息，根据所述手指图像信息生成第四控制指令，包括：

获取手指图像信息；

使用基于Mediapipe框架和轻量化tensorflow中Hands模块获取所述手指图像信息中的手指关键点信息；

根据所述手指关键点信息，计算每个指关节的关节弯曲角度θ；

根据所述关节弯曲角度θ和判定规则，判断手指弯曲状态；

根据所述手指弯曲状态，识别出对应的手势，并生成与所述手势对应的第三控制指令。

为实现上述目的及其它相关目的，本申请还公开了一种车辆，所述车辆采用上述任意一种汽车智能座舱人机交互系统。

本申请通过设计多种交互模式依据不同交互模式特点，合理设计对应交互逻辑，解决现有单一按键控制方式带来的不安全问题，通过设计控制模式切换方法，用户可依据不同使用场景和个人喜好自主切换控制模式，解决了现有技术智能化水平不高的问题，提高整体座舱使用体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一示例性实施例的模块示意图。

图2为本申请一示例性实施例的具体实施方式。

图3为本申请一示例性实施例中红外传感器的位置示意图。

图4为本申请一示例性实施例中语言识别模块的原理示意图。

图5为本申请一示例性实施例中模式切换功能流程示意图。

图6为本申请一示例性实施例中手指弯曲角度计算原理示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

为了解决现有车辆天窗和车内灯光需要手动按钮控制导致分散驾驶员注意力，影响安全驾驶以及控制模式单一，智能化水平不高，座舱体验较差，不适用于所有驾驶员等问题。本发明提出了一种汽车智能座舱人机交互系统。

请参阅图1，在一示例性实施例中，本申请提出的一种汽车智能座舱人机交互系统，包括：红外识别模块101，语言识别模块102，图像采集模块103，控制模块201，天窗电控系统301，车辆灯控系统302。

请参阅图2，图2示出了本申请一示例性实施例的具体实施方式，其中，红外模块即红外识别模块，语言模块即语言识别模块，控制板即控制模块，手机即移动终端。图2还示出了所述天窗电控系统的具体工作原理，其中，天窗总成包含汽车天窗控制电机和电控板，采用限位器使得天窗行进过程中碰撞极限位置后可停止运动。

请参阅图1-3，在一示例性实施例中，所述红外识别模块101，包括至少4个红外传感器，所述红外传感器围绕汽车中控台等间距布置于上下左右四个方位，与所述控制模块通讯连接，所述红外传感器将输出信号发送给所述控制模块201，当所述红外传感器未被物体遮挡时，输出常态信号(例如低电平信号0)，当所述红外传感器被物体遮挡时，其输出信号发生翻转，输出状态改变信号(例如高电平信号1)，所述控制模块201根据所述红外传感器输出的状态改变信号的时间先后顺序以及所述红外传感器布置的位置获得对应的手势状态变化序列。

需要说明的是，在本申请的示例性实施例中，所述控制模块包括一嵌入式系统，所述嵌入式系统与天窗电控系统301及车辆灯控系统302通讯连接，通过将控制指令发送给对应的车辆硬件系统完成相应的车辆硬件系统的控制。

具体的，将所述红外传感器按上，右，下，左依次命名为A，B，C，D。当手在所述红外识别模块101按顺时针方向运动时，控制模块可根据所述红外传感器输出的状态改变信号获得对应的手势状态变化序列ABCD，同理，当手逆时针方向运动时可获得对应的手势状态变化序列DCBA。通过对每个手势状态变化序列设置对应的第一控制指令(例如，手势状态变化序列为ABCD时对应打开天窗指令)，即可使得每个手势运动对应一个第一控制指令，控制模块201可依照预先设置的手势状态变化序列对应的第一控制指令及所述红外识别模块101的识别结果生成对应的第一控制指令，并根据所述第一控制指令进行车辆硬件系统的控制。此外，在所述红外识别模块101中，红外传感器也可以是更多个，环绕车辆中控台等间距设置，基于上述原理，可以完成更精确的识别或完成更多手势的识别。

在本申请的一具体实施例中，手从左往右、从右往左、从上往下、从下往上、顺时针旋转、逆时针旋转分别对应一个手势状态变化序列。所述第一控制指令包括：天窗打开、天窗关闭、阅读灯打开、阅读灯关闭、遮阳帘打开、遮阳帘关闭等。每个手势状态变化序列分别对应设置一个第一控制指令，例如当手从左往右运动时，其对应的手势状态变化序列对应天窗打开，同理，手从右往左运动对应天窗关闭，从上往下运动对应阅读灯打开，从下往上运动对应阅读灯关闭，顺时针旋转对应遮阳帘打开，逆时针旋转对应遮阳帘关闭，用户可根据个人操作习惯进行个性化设置与手势对应的第一控制指令。在此基础上，还可以设置其他手势和对应的手势状态变化序列以及对应的第一控制指令，以完成控制功能的扩展。

需要说明的是，所述车辆硬件系统在本申请的示例性实施例中具体包括：天窗电控系统301和车辆灯控系统302，本领域技术人员可基于本申请技术原理根据具体使用需求增加其他车辆硬件系统完成其他控制交互，例如车窗控制，空调控制，播放器控制等。

在一示例性实施例中，所述语言识别模块102，与所述控制模块201通讯连接，包括一个语言识别芯片，所述语言识别芯片可对麦克风采集的音频信息进行频谱分析，特征提取，并根据关键词列表完成语言识别，所述控制模块201可对所述语言识别芯片内部存储的关键词列表进行编辑及对语言识别结果进行进一步分析生成第二控制指令。所述语言识别芯片的关键词列表内除了与车辆硬件系统控制相关的关键词外，还存储有与模式切换相关的关键词，所述语言识别模块102还用于识别麦克风采集的音频信息中的模式切换指令，所述控制模块201根据接收到的识别结果生成与所述识别结果对应的模式切换信号，所述模式切换指令在被控制模块201执行后可完成控制模式的切换，以适应不同的使用场景的使用需求及适应不同驾驶人员的使用习惯。

请参阅图4，图4示出了本申请一示例性实施例中语言识别模块的工作原理，所述语言识别芯片采用LD3320，LD3320具有连续识别模式和语音唤醒识别模式，本申请采用连续识别模式。尽管连续识别模式对噪声干扰影响较大，但是通过设置特定易识别不常见词汇，例如打开天窗、关闭天窗、打开遮阳帘、关闭遮阳帘、开车内灯、关车内灯等，可大大提高识别准确率，降低误识别率。通过写入特定词中文拼音，LD3320可依据关键词列表，对比麦克风传入的非特定人语音数据，分析得到对应语音指令。需要理解的是，在图4示出的示例性实施例中采用了STC8 MCU对所述语言识别芯片的识别结果进行了进一步处理，在具体实施过程中，也可由所述控制模块直接对所述语言识别芯片的识别结果进行处理和分析。除此之外，也可采用其他具有同等功能或功能更强大的语言识别芯片来搭建本申请的语言识别模块，此外，还可使用搭载有语言识别芯片的嵌入式系统代替本申请示例性实施例中的语言识别芯片来完成语言识别工作。

具体地，所述语言识别芯片对麦克风采集的音频信息进行频谱分析，并进行特征提取，将特征提取获得的语言信息内容与关键词列表对比(所述关键词列表可通过所述控制模块201进行配置)，并将与关键词列表对应的识别结果发送给所述控制模块201，所述控制模块201根据接收到的识别结果生成与所述识别结果对应的第二控制指令，并根据所述第二控制指令进行车辆硬件系统的控制；和/或所述控制模块201根据接收到的识别结果生成与所述识别结果对应的模式切换指令，以根据所述模式切换指令进行车辆控制模式的切换。

在本申请中一示例性实施例中，还可通过用户的移动终端(例如，手机等)进行交互，所述移动终端与所述控制模块201通讯连接，通过所述移动终端将第三控制指令发送给所述控制模块201，所述控制模块201根据接收到的第三控制指令完成车辆硬件系统的控制。此外，用户还可使用所述移动终端发送模式切换指令给所述控制模块201，所述控制模块根据接收到的模式切换指令完成对应的控制模式切换。所述控制模式包括：红外控制模式，语言控制模式，视觉控制模式中任意一种或它们的组合。例如，当车辆内只有驾驶人员时，显然的，驾驶人员不便于使用视觉控制模式，因此，可选择红外识别模式和/或语言控制模式来进行车辆硬件系统的控制；当车内还有其他乘客时，其他乘客可使用视觉控制模式和/或语言控制模式来进行车辆硬件系统的控制，同时，驾驶员也可使用红外识别模式和/或语言控制模式来进行车辆硬件系统的控制。此外，当车内人员在进行持续长时间聊天时，为了防止语言识别芯片可能的误识别，还可临时关闭语言识别模式。

请参阅图5，结合上述说明，本申请的模式切换同时由语言识别模块和用户的移动终端控制，任意一端发送模式切换指令给所述控制模块201皆可完成对应的模式切换。需要理解的是，上述示例性实施例中利用红外识别模块进行控制的模式即为本申请的红外识别模式，利用语言识别模块进行控制的模式即为语言识别模式，利用图像识别模块进行的控制即为视觉控制模式。

在一示例性实施例中，所述图像采集模块103，与所述控制模块201通讯连接，包括一个带有摄像头的移动终端，例如手机等。首先，所述移动终端通过摄像头进行用户手部图像信息采集，接着利用基于Mediapipe框架(开源的计算机视觉处理框架)和轻量化tensorflow(一个端到端开源机器学习平台)中的Hands模块从采集的图像信息中获取人体手指的21个关键点信息，然后根据所述关键点信息计算每个手指的弯曲角度，并根据所述弯曲角度判断每个手指是否弯曲，根据判断结果分析用户的手势，根据所述手势生成对应的第四控制指令，并将所述第四控制指令发送给所述控制模块201，所述控制模块根据所述第四控制指令进行车辆硬件系统的控制。

需要说明的是，在本申请的一示例性实施例中“利用基于Mediapipe框架和轻量化tensorflow中的Hands模块从采集的图像信息中获取人体手指的21个关键点信息，根据所述关键点信息计算每个手指的弯曲角度，并根据所述弯曲角度判断每个手指是否弯曲，根据判断结果分析用户的手势，根据所述手势生成对应的第四控制指令，并将所述第四控制指令发送给所述控制模块201”这一系列操作是在所述移动终端中进行的，但如果车辆的控制模块的计算和存储能力足够时，这一系列操作也可以由车辆的控制模块完成。在本申请的示例性实施例中，优先选择由所述移动终端完成这一系列操作，可以有效减少车辆的控制模块的计算压力。因此，本申请在具体实施过程中，可根据车辆的控制模块的算力进行适应性调整。

具体地，请参阅图6，在每个手指对应的关键点信息中，选取3个关键点A，B，C，根据计算可得点B对应的关节弯曲角度θ。其中，对于大拇指，A对应TIP点、B对应MCP点，C对应CMC点。对于其余四指，A、B和C分别指代对应手指的TIP点、PIP点和MCP点(TIP点是指尖，MCP点是掌指关节点，CMC点是腕掌关节点，而PIP点是手指的中间关节点)。对于大拇指当所述关节弯曲角度/>时，则认为大拇指弯曲，对于其余四指当所述关节弯曲角度/>时，则认为该手指弯曲，由此判断每个手指是否弯曲，并根据判断结果分析用户的手势信息，例如，当所有手指均不弯曲时，用户的手势为数字“5”，当大拇指弯曲，其余四指不弯曲时，用户的手势为数字“4”，当所有手指弯曲时，用户的手势为数字“0”。基于此原理，分析得到用户的手势信息，根据所述手势信息生成对应的第四控制指令(用户预先设置与手势对应的第四控制指令)，将所述第四控制指令发送给所述控制模块201，所述控制模块根据所述第四控制指令进行车辆硬件系统的控制。在本申请一示例性实施例中，根据数字手势“0-5”这6个手势分别设置了第四控制指令，所述第四控制指令包括：天窗打开、天窗关闭、阅读灯打开、阅读灯关闭、遮阳帘打开、遮阳帘关闭。在实际运用中，还可以设置更多的手势和对应的控制指令以完成更多的控制功能。本申请所使用的手势为生活中最常见的数字手势，此外，本申请也可设置适用于上述算法的易于识别的其他非数字手势，而非仅仅局限于数字手势。

需要说明的是，本申请通过设置多种交互控制模式，和控制模式切换，解决了现有技术中控制方式单一，避免了传统按钮或按键控制带来的安全隐患，且可以灵活切换不同的控制模式，以适应不同的驾驶场景，以及适应不同驾驶人员的操作习惯，使得智能座舱的交互更加合理和便捷。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明，本领域技术人员应当理解，本申请中所涉及的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案，例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

除说明书所述的技术特征外，其余技术特征为本领域技术人员的已知技术，为突出本发明的创新特点，其余技术特征在此不再赘述。

Claims (10)

1.一种汽车智能座舱人机交互系统，其特征在于，包括：

红外识别模块，包括至少4个红外传感器，分别布置于汽车中控台上下左右四个方位，所述红外传感器用于采集用户手部运动，当对应的所述红外传感器被用户手部遮挡时，输出状态改变信号；

控制模块，与所述红外传感器通讯连接；

所述控制模块被配置为

获取每个所述红外传感器的状态改变信号；

根据每个所述红外传感器的状态改变信号及对应的布置位置生成状态变化时间序列；

根据状态变化时间序列生成相对应的第一控制指令；

根据所述第一控制指令进行车辆硬件系统的控制。

2.根据权利要求1所述一种汽车智能座舱人机交互系统，其特征在于，所述车辆硬件系统包括：天窗电控系统和车辆灯控系统。

3.根据权利要求1所述一种汽车智能座舱人机交互系统，其特征在于，根据每个所述红外传感器的状态改变信号及对应的布置位置生成状态变化时间序列，包括：

根据手从左往右、从右往左、从上往下、从下往上、顺时针旋转、逆时针旋转运动时每个红外传感器的状态改变信号分别获得对应的手势状态变化序列。

4.根据权利要求1所述一种汽车智能座舱人机交互系统，其特征在于，还包括：

语音识别模块，与所述控制模块通讯连接，所述语音识别模块用于结合内部存储的关键词列表对用户语音进行分析识别，以获取对应的识别结果；

所述控制模块还用于根据所述识别结果生成模式切换指令，以根据所述模式切换指令进行车辆控制模式的切换；和/或

用于根据所述识别结果生成第二控制指令，以根据所述第二控制指令进行车辆硬件系统的控制。

5.根据权利要求4所述一种汽车智能座舱人机交互系统，其特征在于，所述控制模式包括：红外控制模式，语言控制模式，视觉控制模式中任意一种或多种。

6.根据权利要求1所述一种汽车智能座舱人机交互系统，其特征在于，所述控制模块还用于接收移动终端的模式切换指令，以根据所述模式切换指令进行车辆控制模式的切换；和/或

用于接收移动终端的第三控制指令，以根据所述第三控制指令进行车辆硬件系统的控制。

7.根据权利要求1所述一种汽车智能座舱人机交互系统，其特征在于，还包括：

图像采集模块，用于获取手指图像信息，并将所述手指图像信息发送至所述控制模块；

所述控制模块还用于根据所述手指图像信息生成第四控制指令，并根据所述第四控制指令进行车辆硬件系统的控制。

8.根据权利要求7所述一种汽车智能座舱人机交互系统，其特征在于，根据所述手指图像信息生成第四控制指令，并根据所述第四控制指令进行车辆硬件系统的控制，包括：

使用基于Mediapipe框架和轻量化tensorflow中Hands模块获取所述手指图像信息中的手指关键点信息；

根据所述手指关键点信息，计算每个指关节的关节弯曲角度θ；

根据所述关节弯曲角度θ和判定规则，判断手指弯曲状态；

根据所述手指弯曲状态，识别出对应的手势，并生成与所述手势对应的第四控制指令。

9.根据权利要求1所述一种汽车智能座舱人机交互系统，其特征在于，还包括：

图像采集模块，用于获取手指图像信息，根据所述手指图像信息生成所述第四控制指令，并将所述第四控制指令发送至所述控制模块；

所述控制模块还用于根据所述第四控制指令进行车辆硬件系统的控制。

10.根据权利要求9所述一种汽车智能座舱人机交互系统，其特征在于，获取手指图像信息，根据所述手指图像信息生成第四控制指令，包括：

获取手指图像信息；

使用基于Mediapipe框架和轻量化tensorflow中Hands模块获取所述手指图像信息中的手指关键点信息；

根据所述手指关键点信息，计算每个指关节的关节弯曲角度θ；

根据所述关节弯曲角度θ和判定规则，判断手指弯曲状态；

根据所述手指弯曲状态，识别出对应的手势，并生成与所述手势对应的第四控制指令。