CN115079819A

CN115079819A - 一种基于手势的智能座舱控制方法及系统

Info

Publication number: CN115079819A
Application number: CN202210502107.0A
Authority: CN
Inventors: 赵志定; 周洪涛
Original assignee: Zhejiang Zero Run Technology Co Ltd
Current assignee: Zhejiang Zero Run Technology Co Ltd
Priority date: 2022-05-09
Filing date: 2022-05-09
Publication date: 2022-09-20

Abstract

本发明提出一种基于手势的智能座舱控制方法及系统，方法包括以下步骤：S1，在智能座舱应用上构建各类执行信号对应的手势识别库；S2，实时获取驾驶员的手势变化信号，通过手势识别库匹配与手势变化信号对应的执行信号；S3，智能座舱应用根据执行信号后，通过内部广播通信机制，触发相应的执行逻辑。本发明通过对驾驶员手势的识别获取用于智能座舱控制的执行指令，避免手碰触摸屏触发带来安全隐患，同时采用手势识别的方式，实时采集手势信息，避免语音唤醒和语音识别率低的问题。

Description

一种基于手势的智能座舱控制方法及系统

技术领域

本发明涉及智能座舱技术领域，尤其是一种基于手势的智能座舱控制方法及系统。

背景技术

近年来，汽车行业高速发展的主要驱动力已经由过去供给端的产品和技术驱动逐步转换为不断提高的客户需求，操作系统的进步也推动着电子座舱的发展。电子座舱与车载人机交互系统逐步整合，个性化场景体验的需求日益提高。目前三方应用市场和小程序平台的引入不仅可满足驾驶员和乘客行驶过程中的多样体验，如影音娱乐、金融服务、新闻资讯等，还和移动端的用户数据进行了打通。然而，即使简化交互流程，依旧需要用户进行一些基本手动使用操作，例如行车中触摸屏幕，存在安全性问题。若车内只有驾驶员一人，简单的启闭行为也会给行车增加一定的干扰，带来风险。目前也有通过智能语音控制座舱功能，参考中国专利公开号为CN112242141B的一种语音控制方法、智能座舱、服务器、车辆和介质，所述方法应用于服务器，服务器与智能座舱连接，智能座舱用于获取语音请求；所述方法包括：接收智能座舱发送的语音请求；对语音请求进行识别，得到识别结果；识别结果包括槽位信息和意图信息；在槽位信息匹配的目标程序处于上架状态时，生成与目标程序对应的报文信息；基于意图信息生成执行指令；将报文信息以及执行指令发送至智能座舱；智能座舱用于响应于执行指令，按照报文信息显示相应的展示页面，但是语音往往触发功能不够直接，比如一般需要先唤醒，再说控制指令，还存在语音识别率的问题。

发明内容

本发明解决了语音触发智能座舱执行指令不够便捷及手碰触摸屏触发带来安全隐患的问题，提出一种基于手势的智能座舱控制方法及系统，通过对驾驶员手势的识别获取用于智能座舱控制的执行指令，避免手碰触摸屏触发带来安全隐患，同时采用手势识别的方式，实时采集手势信息，避免语音唤醒和语音识别率低的问题。

为实现上述目的，提出以下技术方案：

一种基于手势的智能座舱控制方法，包括以下步骤：

S1，在智能座舱应用上构建各类执行信号对应的手势识别库；

S2，实时获取驾驶员的手势变化信号，通过手势识别库匹配与手势变化信号对应的执行信号；

S3，智能座舱应用根据执行信号后，通过内部广播通信机制，触发相应的执行逻辑。

本发明构建各类执行信号对应的手势识别库，驾驶员可以自定义智能座舱的一些控制功能，通过识别驾驶员的手势来实现驾驶员与智能座舱的人机交互，相对于语音识别来说减少语音识别率对交互控制的影响，同时也避免了语音交互需要提前唤醒的繁琐步骤。

作为优选，所述S1具体包括以下步骤：

S101，在智能座舱应用上预设各类执行信号，所述各类执行信号对应智能座舱应用上的各类功能；

S102，逐一对各类执行信号进行手势录入，当所有手势录入完成后，完成手势识别库的构建。

本发明通过自定义手势可以触发的功能项目：包括返回主页、打开音乐、接听蓝牙电话、挂断蓝牙电话、导航去公司和导航回家。

作为优选，所述S102中手势录入的过程如下：

S121，选择对应的执行信号，当智能座舱应用反馈开始录入信号后进入S122；

S122，获取一定时间间隔内的手势变化信号，根据手势变化信号提取手势垂直方向的角速度以及位移方向信息；

S123，手势采集器判断手势垂直方向的角速度是否大于预设阈值，若是，提示录入成功，并将手势垂直方向的角速度以及位移方向信息发送到智能座舱应用，智能座舱应用将手势垂直方向的角速度以及位移方向信息绑定到执行信号，若否，提示录入失败，并返回S121。

本发明为了避免驾驶过程中出现的颠簸导致误触发的情况发生，设置了预设阈值，用以区别用户自定义手势和颠簸手势，本发明的位移方向信息用于判定手势的方向，用户可以设置手势快速上摆、下摆对应上面某一个功能项目。

作为优选，所述S123还包括二次确认步骤：

Sa，手势采集器判断手势垂直方向的角速度大于预设阈值时，提示再次输入手势，判断在设定时间区间内是否收到手势变化信号，若是，根据手势变化信号提取手势垂直方向的角速度以及位移方向信息，进行Sb；若否，提示录入失败，并返回S121；

Sb，判断前后获取的角速度误差是否在设定范围内且位移方向信息相同，若是，提示录入成功，并将手势垂直方向的角速度以及位移方向信息发送到智能座舱应用，智能座舱应用将手势垂直方向的角速度以及位移方向信息绑定到执行信号，若否，提示录入失败，并返回S121。

本发明还设置有二次确认步骤，加深用户录入手势的印象，同时手势录入的误操作。

作为优选，所述S123还包括以下步骤：手势采集器记录大于预设阈值的手势垂直方向的角速度的次数及位移方向信息，判断大于预设阈值的手势垂直方向的角速度的次数是否大于等于1，若是，提示录入成功，并将大于预设阈值的手势垂直方向的角速度的次数以及位移方向信息发送到智能座舱应用，智能座舱应用将大于预设阈值的手势垂直方向的角速度的次数以及位移方向信息绑定到执行信号，若否，提示录入失败，并返回S121。

本发明还能够记录大于预设阈值的手势垂直方向的角速度的次数，可以扩展手势识别的多样性，能够延伸出更多功能的手势操作。

一种基于手势的智能座舱控制系统，采用上述的一种基于手势的智能座舱控制方法，包括：

手势采集器，用于获取驾驶员的手势变化信号；

智能座舱应用，用于接收手势采集器获取的手势变化信号，并输出各类执行信号；

蓝牙模块，用于手势采集器和智能座舱应用的通信连接。

作为优选，所述手势采集器为智能手表，所述智能手表设有陀螺仪和应用程序，所述陀螺仪用于采集驾驶员手势变化信号，所述应用程序提取手势变化信号中的手势垂直方向的角速度以及位移方向信息通过蓝牙模块发送到智能座舱应用。

本发明的有益效果是：本发明构建各类执行信号对应的手势识别库，驾驶员可以自定义智能座舱的一些控制功能，通过识别驾驶员的手势来实现驾驶员与智能座舱的人机交互，相对于语音识别来说减少语音识别率对交互控制的影响，同时也避免了语音交互需要提前唤醒的繁琐步骤。

附图说明

图1是实施例1的方法流程图；

图2是实施例1的系统工作流程图。

具体实施方式

实施例1：

本实施例提出一种基于手势的智能座舱控制方法，参考图1，包括以下步骤：

S1，在智能座舱应用上构建各类执行信号对应的手势识别库；S1具体包括以下步骤：

S101，在智能座舱应用上预设各类执行信号，各类执行信号对应智能座舱应用上的各类功能；

S102，逐一对各类执行信号进行手势录入，当所有手势录入完成后，完成手势识别库的构建。S102中手势录入的过程如下：

S123还包括二次确认步骤：

一种基于手势的智能座舱控制系统，采用上述的一种基于手势的智能座舱控制方法，包括：手势采集器，用于获取驾驶员的手势变化信号；手势采集器为智能手表，智能手表设有陀螺仪和应用程序，陀螺仪用于采集驾驶员手势变化信号，应用程序提取手势变化信号中的手势垂直方向的角速度以及位移方向信息通过蓝牙模块发送到智能座舱应用。智能座舱应用，用于接收手势采集器获取的手势变化信号，并输出各类执行信号；蓝牙模块，用于手势采集器和智能座舱应用的通信连接。

参考图2，系统的工作过程如下：智能手表和智能座舱通过蓝牙建立配对连接。智能座舱检测到手表蓝牙连接后，通过蓝牙主动唤醒技术拉起智能手表APP，使手表端APP处于运行状态。蓝牙模块在智能手表APP和智能座舱之间建立低功耗蓝牙信令链路，用于传输控制指令。智能手表检测当前手表手势行为具体如下：由于车辆驾驶中存在水平方向(X\Y)的加速、减速，对手表的陀螺仪产生干扰影响，因此智能手表手势检测主要为垂直方面的检测(Z轴)，包括手臂的快速上摆动、快速下摆动两个状态识别。智能手表通过对陀螺仪Z轴角速度判断阈值，在超过阈值情况下通过时间积分，判断上述两种手势。智能手表检测到手势后，通过蓝牙链接发送给智能座舱，智能座舱首先判断当前是否处于驻车状态，如果处于驻车状态，忽略手势信息，驻车状态下，驾驶员可能处于自由活动，会存在误触发手势，如果处于行车状态时，智能座舱通过用户自定义手势功能，触发执行逻辑。智能座舱端收到手势后，通过内部广播通信机制，触发具体的应用执行。

通过蓝牙主动唤醒技术拉起智能手表APP有两种形式，分别是Android手机系统蓝牙主动唤醒和iOS手机系统蓝牙主动唤醒，其中：

Android手机系统蓝牙主动唤醒的原理是车载蓝牙设备不断发送普通广播,同时应用层APP向系统注册蓝牙扫描(可以设置滤条件)，并调用此扫描方法，此API调用成功后无论应用层APP进程是否存活，系统会在后台一直执行蓝牙广播扫描，如果手机设备靠近指定蓝牙设备附近，系统就会启动应用层APP对应的srevice达到唤醒APP进程的目的。

iOS手机系统蓝牙主动唤醒的原理是BLE蓝牙设备按照特定的协议不断发送iBeacon广播，广播中携带特有的UUID作为标识，iOS App(仅支持iOS7.0以上系统)可以向系统注册监听特定UUID的iBeacon广播。当iOS系统在后台监听到特定UUID的iBeacon广播后，将唤醒对应的App，让它选择执行数据推送，设备通讯等行为。就算是App已经被杀死或者iPhone手机关机重启，App也能被系统唤醒。

实施例2：

本实施例在实施例1的基础上，在S123增加以下步骤：手势采集器记录大于预设阈值的手势垂直方向的角速度的次数及位移方向信息，判断大于预设阈值的手势垂直方向的角速度的次数是否大于等于1，若是，提示录入成功，并将大于预设阈值的手势垂直方向的角速度的次数以及位移方向信息发送到智能座舱应用，智能座舱应用将大于预设阈值的手势垂直方向的角速度的次数以及位移方向信息绑定到执行信号，若否，提示录入失败，并返回S121。

本实施例增加的步骤还能够记录大于预设阈值的手势垂直方向的角速度的次数，可以扩展手势识别的多样性，能够延伸出更多功能的手势操作。

Claims

1.一种基于手势的智能座舱控制方法，其特征是，包括以下步骤：

S2，手势采集器实时获取驾驶员的手势变化信号，通过手势识别库匹配与手势变化信号对应的执行信号；

2.根据权利要求1所述的一种基于手势的智能座舱控制方法，其特征是，所述S1具体包括以下步骤：

3.根据权利要求2所述的一种基于手势的智能座舱控制方法，其特征是，所述S102中手势录入的过程如下：

4.根据权利要求3所述的一种基于手势的智能座舱控制方法，其特征是，所述S123还包括二次确认步骤：

5.根据权利要求3或4所述的一种基于手势的智能座舱控制方法，其特征是，所述S123还包括以下步骤：手势采集器记录大于预设阈值的手势垂直方向的角速度的次数及位移方向信息，判断大于预设阈值的手势垂直方向的角速度的次数是否大于等于1，若是，提示录入成功，并将大于预设阈值的手势垂直方向的角速度的次数以及位移方向信息发送到智能座舱应用，智能座舱应用将大于预设阈值的手势垂直方向的角速度的次数以及位移方向信息绑定到执行信号，若否，提示录入失败，并返回S121。

6.一种基于手势的智能座舱控制系统，采用权利要求1所述的一种基于手势的智能座舱控制方法，其特征是，包括：

手势采集器，用于获取驾驶员的手势变化信号；

蓝牙模块，用于手势采集器和智能座舱应用的通信连接。

7.根据权利要求6所述的一种基于手势的智能座舱控制系统，其特征是，所述手势采集器为智能手表，所述智能手表设有陀螺仪和应用程序，所述陀螺仪用于采集驾驶员手势变化信号，所述应用程序提取手势变化信号中的手势垂直方向的角速度以及位移方向信息通过蓝牙模块发送到智能座舱应用。