CN108983975A - 一种基于手势识别的车载终端控制系统 - Google Patents

Abstract

本发明提供了一种基于手势识别的车载终端控制系统，该车载终端控制系统包括：信息收发模块，用于在预设定的范围内发射激光雷达信号进行扫描，并接收经手部反射后的回波脉冲信号；手势信息处理模块，用于对回波脉冲信号进行分析处理；手势识别模块，用于根据手势信息处理模块的处理结果对手势进行识别，得到手势指令识别结果；控制模块，用于根据手势指令识别结果对车载终端进行控制。本发明通过对手势动作进行识别进而实现对车载终端的控制，使得车内的人员无论是位于前排还是后排，都可以对HUD、车载娱乐系统、甚至汽车的收音机、音乐切换，空调温度控制等应用进行控制，方便了车内用户对车载终端的控制。

Description

一种基于手势识别的车载终端控制系统

技术领域

本发明涉及汽车技术领域，具体涉及一种基于手势识别的车载终端控制系统。

背景技术

在用户使用车载娱乐产品时，国内外普遍使用的方式基本上都是按键控制，触摸屏控制，辅以少量的语音控制。语音控制技术，在车内通讯中也已经得到广泛的应用，但是目前语音控制技术的操作方式需要用户声音信号来控制，对发音的清晰和准确度要求较高，操作不太方便，而且容易受到环境噪音干扰。其中按键控制是目前对车载终端使用的最为常见的控制手段。按键方式需要驾驶员用手长时间操作物理按键和触摸屏，目前有一些人提出通过手势对车载终端进行控制，而一般车载终端的设备都是固定在面板或者顶灯位置，后排用户无法使用，而且目前这类3D手势控制，通常用摄像头实现，存在成本高、功耗高、易误操作等问题。

发明内容

针对上述问题，本发明提供一种机器人智能教练辅助驾驶系统。

本发明的目的采用以下技术方案来实现：本发明提供了一种基于手势识别的车载终端控制系统，该车载终端控制系统包括：信息收发模块，用于在预设定的范围内发射激光雷达信号进行扫描，并接收经手部反射后的回波脉冲信号；手势信息处理模块，用于对回波脉冲信号进行分析处理；手势识别模块，用于根据手势信息处理模块的处理结果对手势进行识别，得到手势指令识别结果；控制模块，用于根据手势指令识别结果对车载终端进行控制。

有益效果：本发明通过对手势动作进行识别进而实现对车载终端的控制，使得车内的人员无论是位于前排还是后排，通过发射激光雷达信号进行扫描，并接收来自各个扫描点反射回来的回波脉冲信号，即可实现对手势动作的识别，实现对HUD、车载娱乐系统、甚至汽车的收音机、音乐切换，空调温度控制等应用控制，方便了车内用户对车载终端的控制。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明的原理图；

图2是本发明手势信息处理模块的框架结构图。

附图标记：信息收发模块1；手势信息处理模块2；手势识别模块3；控制模块4；手势特征点提取模块5；手势特征点聚类模块6；手势特征拟合模块7；种子点获取单元8；种子点修正单元9；种子点更新单元10。

具体实施方式

结合以下实施例对本发明作进一步描述。

图1示出了一种基于手势识别的车载终端控制系统，该车载终端控制系统包括：信息收发模块1，用于在预设定的范围内发射激光雷达信号进行扫描，并接收经手部反射后的回波脉冲信号；手势信息处理模块2，用于对回波脉冲信号进行分析处理；手势识别模块3，用于根据手势信息处理模块的处理结果对手势进行识别，得到手势指令识别结果；控制模块4，用于根据手势指令识别结果对车载终端进行控制。

有益效果：本发明通过对手势动作进行识别进而实现对车载终端的控制，使得车内的人员无论是位于前排还是后排，通过发射激光雷达信号进行扫描，并接收来自各个扫描点反射回来的回波脉冲信号，即可实现对手势动作的识别，实现对HUD、车载娱乐系统、甚至汽车的收音机、音乐切换，空调温度控制等应用控制，方便了车内用户对车载终端的控制。

优选地，手势识别模块3包括手势指令存储器，手势指令存储器中预存有对车载终端进行控制的标准手势动作。

优选地，手势信息处理模块2包括手势特征点提取模块5、手势特征点聚类模块6和手势特征拟合模块7。手势特征点提取模块5，用于根据回波脉冲信号，提取描述手势动作的特征点；手势特征点聚类模块6，用于对已提取的特征点进行聚类分析；手势特征拟合模块7，用于根据聚类结果，采用最小二乘法对手势动作进行拟合，获得拟合后的手势动作。

优选地，根据手势信息处理模块2的处理结果对手势进行识别，得到手势指令识别结果，具体是将拟合后的手势动作和手势指令存储器中预存的标准手势动作进行匹配，输出匹配程度最高的标准手势动作至控制模块4。

优选地，手势特征点提取模块5包括种子点获取单元8、种子点修正单元9和种子点更新单元10。种子点获取单元8，用于根据回波脉冲信号的脉冲宽度信息，提取用于描述手势动作特征的种子点；种子点修正单元9，用于对获取的种子点进行分析，剔除多余的干扰点；种子点更新单元10，用于根据修正后的种子点进行区域生长，获取完整的手势动作特征。

有益效果：手势特征点提取模块5采用先由大到小、再从小到大的特征提取方法，先从所有的激光雷达扫描点中选取可能成为描述手势动作特征的种子点，再从可能成为描述手势动作特征的种子点中，通过种子点修正单元9，剔除了大量的干扰点，得到最有可能成为描述手势动作特征的可靠种子点，之后再利用种子点更新单元10，再从可靠种子点周边区域搜索与可靠种子点相同或者属性相似的特征点进行区域生成，进而得到完整的手势动作特征，通过这种方法可以提高提取手势动作特征的准确性和提取特征的效率，有利于后续对手势动作特征进行聚类分析，实现对车载终端的控制。

优选地，根据回波脉冲信号的脉冲宽度信息，提取用于描述手势动作特征的种子点，具体是：

(1)对所述回波脉冲信号的脉冲宽度信息进行统计，并划分脉冲宽度级别，所述脉冲宽度级别Γ＝{1,2,…,q,q+1,…,Q}，其中，每个脉冲宽度级设定的宽度为M；

(2)根据所述脉冲宽度级别Γ，统计各个级别内扫描点的个数，根据统计后的结果生成回波脉冲宽度分布直方图；

(3)采用自定义的优化函数求解最优脉冲宽度级别数，并根据得到的最优脉冲宽度级别数对所述扫描点进行划分，提取回波脉冲宽度在(0，M×q)范围内的扫描点，该范围内的扫描点即为用于描述手势动作特征的种子点；

其中，采用的自定义的优化函数为：

式中，Argmin函数表示取满足目标函数取最小值时所对应的脉冲宽度级q，p_x为脉冲宽度出现在第x级的概率值，且n_x是第x级中扫描点的个数，N是统计得到的扫描点的总数，p_y为脉冲宽度出现在第y级的概率值；当G为最小值时，此时的q即为最优脉冲宽度级别数。

有益效果：利用激光雷达扫描物体会立即产生回波以及各个物体的反射率不同的特性，使得激光雷达扫描物体形成的回波脉冲宽度不同，进而通过求解G来获取最优脉冲宽度级q，该算法避免了使用固定分割阈值带来的分类误差，能够实现对手势动作特征和背景特征的有效分离，再则，激光雷达具有很强的抗干扰能力，能够免受外界环境的干扰，提高了检测精度和检测效率。

优选地，所述对获取的种子点进行分析，剔除多余的干扰点，具体是利用拉依达准则确定手势动作的回波脉冲宽度的动态阈值，选取回波脉冲宽度在(μ_T-3σ_T,μ_T+3σ_T)范围内的种子点作为手势动作特征的可靠种子点，其中，μ_T是回波脉冲宽度在(0，M×q)范围内的种子点的均值，σ_T是回波脉冲宽度在(0，M×q)范围内的种子点的标准方差。

有益效果：选用拉依达准则对获取的手势动作的特征种子点进一步分析，该方法能够消除粗大误差(可疑数据)的影响，去除手势动作的特征种子点中除去手势动作之外的其他数据信息。

优选地，所述根据修正后的种子点进行区域生长，获取完整的手势动作特征，包括：

(1)选取集合R＝{R₁,R₂,…R_i,…,R_n}中任一可靠种子点R_i为圆心进行作圆，整个圆形区域是以可靠种子点R_i为起点的搜索区域，统计该搜索区域内所有种子点，其中，将属于集合R的种子点表示为e＝{e₁,e₂,…,e_t}，不属于集合R的种子点表示为f＝{f₁,f₂,…,f_s}，集合e指的是所有可靠种子点构成的集合，n是可靠特征种子点的个数；

(2)利用下式计算任一种子点f_a(a＝1,2…,s)到所述搜索区域内任一可靠种子点e_b(b＝1,2,…,t)的偏离程度：

式中，Div_ab是种子点f_a到可靠种子点e_b的偏离程度值，σ_s是搜索区域内所有种子点(包括集合e中的可靠种子点和集合f中的种子点)到圆心R_i的偏离程度的均值，分别是种子点f_a的横坐标和纵坐标，分别是可靠种子点e_b的横坐标和纵坐标；χ_ab是在水平方向上种子点f_a和可靠种子点e_b之间的偏离程度加权系数；

(3)根据步骤(2)得到的种子点f_a到可靠种子点e_b的偏离程度值，计算种子点f_a相对于集合e中所有可靠种子点的相似度均值，其中，种子点f_a相对于集合e中所有种子点的相似程度值均值的计算式子为：

式中，Sim_a是种子点f_a相对于集合e中所有可靠种子点的相似程度值均值，Sim_a越大，代表种子点f_a是手势动作特征点的可能性越大，是可靠种子点e_b的权值，满足

当Sim_a≥Z_th，种子点f_a是手势动作特征点，并将该种子点纳入集合H中，遍历集合f中所有种子点，对集合H进行更新，遍历结束后，将可靠种子点R_i从集合R中删除并存入集合H中，其中，Z_th为预设定的阈值；

(4)重新从集合R中选取一可靠种子点作圆，重复执行步骤(1)-(3)，直至集合此时得到的集合H即是手势动作特征点的集合。

有益效果：利用上述算法实现对手势动作特征点的区域生长，该过程实现了将手势识别特征点区域由小变大，且在此过程中，是通过计算种子点相对于可靠种子点之间的相似度值来实现对手势动作特征点区域的生长，该方法能够对属于手势动作特征点进行准确识别，提高了整个手势动作识别的精确性、稳定性和鲁棒性，能够最大程度的找出完整的描述手势动作的特征点，有利于后续对手势动作的准确识别，实现对车载终端的准确控制。

作为优选，所述对已提取的特征点进行聚类分析，具体是：

(1)设置初始聚类数C、模糊系数ε、初始隶属度矩阵Φ⁰、迭代停止条件阈值λ、最大迭代次数DD_max，其中，Φ是大小为C×K的隶属度矩阵；

(2)根据待聚类的手势动作特征点的集合H＝{h₁,h₂,…,h_k,…,h_K}，其中，h_k的二维坐标表达式为：h_k＝(h_xk,h_yk)，K为集合H中手势动作特征点的个数，利用下式计算聚类中心点矩阵V^DD中每个聚类中心点的横坐标和纵坐标，其中聚类中心点v_u ^DD的横坐标和纵坐标的计算式子为：

式中，v_xu ^DD为聚类中心点v_u ^DD的横坐标，v_yu ^DD为聚类中心点v_u ^DD的纵坐标，表示当模糊系数为ε时，待聚类的手势动作特征点属于第u类的概率，其中u＝1,2,…,C；DD为迭代次数，当DD＝0时，g_dk为设定的初始值，h_xk为手势动作特征点h_k的横坐标，h_yk为手势动作特征点h_k的纵坐标；

(3)根据集合H、聚类中心点矩阵V^DD和隶属度矩阵Φ^DD，求解矩阵SF_u的最大特征值所对应的特征向量，该特征向量即为聚类中心方向矩阵S^DD；其中矩阵SF_u为：

(4)根据集合H、V^DD和S^DD，计算距离矩阵L^DD，其中距离矩阵L^DD中元素L_uk的计算式子为：

式中，L_uk的待聚类特征点h_k到聚类中心点v_u的距离；

(5)根据计算得到的距离矩阵L^DD求解新的隶属度矩阵Φ^DD+1，其中，新的隶属度矩阵Φ^DD+1中元素g_uk的计算式子为：

式中，ζ为修正因子,L_zk为待聚类点k到聚类中心点z的距离；

(6)若|Φ^DD+1-Φ^DD|≤λ，则停止迭代，跳转到步骤(7)。否则，令DD＝DD+1,跳转到步骤(2)，直至达到设定的迭代次数DD_max；

(7)根据得到的隶属度矩阵内的每个元素g_uk，判断h_k所属聚类数，遍历集合H中所有手势动作特征点，得到聚类后的各个手指的手势动作特征点的集合。

有益效果：通过上述迭代算法对手势动作特征点集合H进行识别，在进行迭代过程中，通过迭代求自定义的目标函数的最优值，该方法不但能够很好对手势动作特征点进行聚类，同时还能剔除一些杂乱的干扰点，得到精确度高的手势动作检测点，有利于提高后续手势动作识别的准确性，从而有利于后续对车载终端进行准确控制。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于手势识别的车载终端控制系统，其特征是，所述车载终端控制系统包括：

信息收发模块，用于在预设定的范围内发射激光雷达信号进行扫描，并接收经手部反射后的回波脉冲信号；

手势信息处理模块，用于对所述回波脉冲信号进行分析处理；

手势识别模块，用于根据所述手势信息处理模块的处理结果对手势进行识别，得到手势指令识别结果；

控制模块，用于根据手势指令识别结果对车载终端进行控制。

2.根据权利要求1所述的车载终端控制系统，其特征是，所述手势识别模块包括手势指令存储器，所述手势指令存储器中预存有对车载终端进行控制的标准手势动作。

3.根据权利要求2所述的车载终端控制系统，其特征是，所述手势信息处理模块包括手势特征点提取模块、手势特征点聚类模块和手势特征拟合模块；

所述手势特征点提取模块，用于根据所述回波脉冲信号，提取描述手势动作的特征点；

所述手势特征点聚类模块，用于对已提取的特征点进行聚类分析；

所述手势特征拟合模块，用于根据聚类结果，采用最小二乘法对手势动作进行拟合，获得拟合后的手势动作。

4.根据权利要求3所述的车载终端控制系统，其特征是，所述根据所述手势信息处理模块的处理结果对手势进行识别，得到手势指令识别结果，具体是将拟合后的手势动作和所述手势指令存储器中预存的标准手势动作进行匹配，输出匹配程度最高的标准手势动作至所述控制模块。

5.根据权利要求3所述的车载终端控制系统，其特征是，所述手势特征点提取模块包括种子点获取单元、种子点修正单元和种子点更新单元；

所述种子点获取单元，用于根据所述回波脉冲信号的脉冲宽度信息，提取用于描述手势动作特征的种子点；

所述种子点修正单元，用于对获取的种子点进行分析，剔除多余的干扰点；

所述种子点更新单元，用于根据修正后的种子点进行区域生长，获取完整的手势动作特征。

6.根据权利要求4所述的车载终端控制系统，其特征是，所述根据回波脉冲信号的脉冲宽度信息，提取用于描述手势动作特征的种子点，具体是：

(1)对所述回波脉冲信号的脉冲宽度信息进行统计，并划分脉冲宽度级别，所述脉冲宽度级别Γ＝{1,2,…,q,q+1,…,Q}，其中，每个脉冲宽度级设定的宽度为M；

(2)根据所述脉冲宽度级别Γ，统计各个级别内扫描点的个数，根据统计后的结果生成回波脉冲宽度分布直方图；

(3)采用自定义的优化函数求解最优脉冲宽度级别数，并根据得到的最优脉冲宽度级别数对所述扫描点进行划分，提取回波脉冲宽度在(0，M×q)范围内的扫描点，该范围内的扫描点即为用于描述手势动作特征的种子点；

其中，采用的自定义的优化函数为：

式中，Arg min函数表示取满足目标函数取最小值时所对应的脉冲宽度级q，p_x为脉冲宽度出现在第x级的概率值，且n_x是第x级中扫描点的个数，N是统计得到的扫描点的总数，p_y为脉冲宽度出现在第y级的概率值；当G为最小值时，此时的q即为最优脉冲宽度级别数。