CN111427454A - 一种手势控制系统及方法 - Google Patents

一种手势控制系统及方法 Download PDF

Info

Publication number
CN111427454A
CN111427454A CN202010273292.1A CN202010273292A CN111427454A CN 111427454 A CN111427454 A CN 111427454A CN 202010273292 A CN202010273292 A CN 202010273292A CN 111427454 A CN111427454 A CN 111427454A
Authority
CN
China
Prior art keywords
gesture
control
preset
database
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010273292.1A
Other languages
English (en)
Inventor
赵英龙
陈玉成
张梦瑶
冷宏祥
姚杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Motor Corp Ltd
Original Assignee
SAIC Motor Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd filed Critical SAIC Motor Corp Ltd
Priority to CN202010273292.1A priority Critical patent/CN111427454A/zh
Publication of CN111427454A publication Critical patent/CN111427454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种手势控制系统及方法,该系统在手势控制模式时,通过获取用户的控制手势信息,将控制手势信息与预设数据库中的预设手势进行匹配,并执行与控制手势信息匹配成功的预设手势对应的功能指令的方式,避免了指令识别准确率容易受到车内噪音影响和用户口音影响的问题,实现了无需手动触摸操作,且识别准确率较高的目的。其中手势种类分为动态手势和静态手势,扩大了手势控制信息的范围和种类,且包含自救手势,必要时帮助用户进行紧急呼救信号传递。另外,手势控制系统还具有手势修改模式,支持用户基于自身使用习惯,修改预设数据库中的预设手势与功能指令的对应关系的功能,丰富了手势控制系统的个性化程度,提升了用户的使用体验。

Description

一种手势控制系统及方法
技术领域
本申请涉及自动化控制技术领域,更具体地说,涉及一种手势控制系统及方法。
背景技术
随着汽车工业的快速发展,车内的人机交互控制技术成为个性化科技元素的重要组成部分,也是实现车辆更加智能化和人性化的重要手段。车内人机交互技术经历了物理按键控制技术到触摸控制技术,再到语音控制技术的发展,愈来愈方便用户对应车辆的各个功能模块的控制操作。
语音控制技术以其便捷,且不需要驾驶员手动控制的优点,成为越来越多的车企的选择。
但语音控制系统的对于用户语音指令的识别准确率根据使用环境的不同和用户口音的不同,有着较大的波动。例如,当车辆在高速行驶过程中,车内噪音较大,语音控制系统难以在幅值较大的背景噪音中准确提取出用户的语音指令,造成语音控制系统对于用户语音指令的识别准确率大大降低;另外,由于用户所在地域、年龄和发音习惯等的差异导致用户发送的语音指令存在发音不标准、口音重或部分读音无法区分的问题时,语音控制系统也很难准确的识别用户语音指令。
因此,提供一种无需用户手动触摸操作,而且对于用户的指令识别准确率较高的控制系统成为技术人员的努力方向之一。
发明内容
为解决上述技术问题,本申请提供了一种手势控制系统及方法,以实现提供一种无需用户手动触摸操作,且对于用户的指令识别准确率较高的手势控制系统的目的。
为实现上述技术目的,本申请实施例提供了如下技术方案:
一种手势控制系统,应用于机动车辆,所述手势控制系统包括:图像获取模块和控制模块;其中,
所述图像获取模块,包括手势控制模式和手势修改模式,用于在获取到控制指令时,进入手势控制模式,以获取用户的控制手势信息,和用于在获取到修改指令时,进入手势修改模式,并向所述控制模块发送手势修改指令;
所述控制模块,用于在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行;和用于在接收到所述手势修改指令后,提供手势修改界面,以根据用户输入的修改指令,修改所述预设数据库中预设手势与功能指令的对应关系;
所述预设数据库中存储有所述预设手势与功能指令的对应关系。
可选的,所述图像获取模块包括:模式选择单元、红外摄像头和红外补光灯;其中,
所述模式选择单元,用于在获取到控制指令时,进入手势控制模块,控制所述红外摄像头和红外补光灯工作,以使所述红外摄像头获取用户的控制手势信息并传送给所述控制模块;和用于在获取到修改指令时,进入手势修改模式,并向所述控制模块发送手势修改指令。
可选的,所述模式选择单元还包括:自定义手势模式;
所述模式选择单元,还用于在获取到自定义指令时,进入自定义手势模式,向所述控制模块发送自定义手势指令,并控制所述红外摄像头和红外补光灯工作,以使所述红外摄像头获取用户的自定义手势信息并传送给所述控制模块;
所述控制模块,还用于在接收到所述自定义手势指令时,提供自定义手势界面,以根据用户输入的自定义指令,将所述自定义手势信息作为所述预设数据库中新的预设手势,并定义新的预设手势与功能指令的对应关系。
可选的,所述自定义手势信息包括所述红外摄像头从多个角度获取的用户同一手势的图像序列。
可选的,所述预设数据库包括第一数据库和第二数据库,所述预设手势包括静态预设手势和动态预设手势,其中,所述第一数据库中存储有所述静态预设手势与功能指令的对应关系,所述第二数据库中存储有所述动态预设手势与功能指令的对应关系;
所述控制模块在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行具体用于,
在接收到所述控制手势信息时,采用深度学习的方法对所述控制手势信息进行分类和判断,以获取所述控制手势信息的分类结果,当所述控制手势信息的分类结果为静态手势时,利用所述控制手势信息查询第一数据库,并在当所述控制手势信息与所述第一数据库中的任一静态预设手势匹配时,调用与所述控制手势信息匹配的静态预设手势对应的功能指令并执行;
当所述控制手势信息的分类结果为动态手势时,利用所述控制手势信息查询第二数据库,并在当所述控制手势信息与所述第二数据库中的任一动态预设手势匹配时,调用与所述控制手势信息匹配的动态预设手势对应的功能指令并执行。
可选的,所述控制模块采用深度学习的方法对所述控制手势信息进行分类和判断具体用于,
将所述控制手势信息输入到预设神经网络中,以利用所述预设神经网络对所述控制手势信息进行分类和判断;
所述预设神经网络为MobileNet网络或Yolo网络。
可选的,所述预设数据库还包括第三数据库,所述第三数据库中包括急救预设手势与急救功能的对应关系;
所述控制模块还用于在接收到所述控制手势信息后,在利用所述控制手势信息查询第一数据库/第二数据库之前,利用所述控制手势信息查询第三数据库,并在当所述控制手势信息与所述第三数据库中的急救预设手势匹配时,调用急救功能并执行,以发出急救信号。
可选的,所述控制指令为实体按键或虚拟按键触发的电信号指令或用户输出的预设语音信号指令。
一种手势控制方法,应用于如上述任一项所述的手势控制系统,所述手势控制方法包括:
在获取到控制指令时,进入手势控制模式;
在处于手势控制模式时,获取用户的控制手势信息;
根据所述控制手势信息,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行;所述预设数据库中存储有所述预设手势与功能指令的对应关系;
在获取到修改指令时,进入手势修改模式;
在处于手势修改模式时,提供手势修改界面,并根据用户输入的修改指令,修改所述预设数据库中预设手势与功能指令的对应关系。
可选的,所述控制手势信息为红外图像序列形式的手势信息,。
可选的,还包括:
在获取到自定义指令时,获取用户的自定义手势信息,并提供自定义手势界面;
根据用户输入的自定义指令,将所述自定义手势信息作为所述预设数据库中新的预设手势,并定义新的预设手势与功能指令的对应关系。
可选的,所述自定义手势信息包括所述红外摄像头从多个角度获取的用户同一手势的图像序列。
可选的,所述预设数据库包括第一数据库和第二数据库,所述预设手势包括静态预设手势和动态预设手势,其中,所述第一数据库中存储有所述静态预设手势与功能指令的对应关系,所述第二数据库中存储有所述动态预设手势与功能指令的对应关系;
所述在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行包括:
在接收到所述控制手势信息时,采用深度学习的方法对所述控制手势信息进行分类和判断,以获取所述控制手势信息的分类结果,当所述控制手势信息的分类结果为静态手势时,利用所述控制手势信息查询第一数据库,并在当所述控制手势信息与所述第一数据库中的任一静态预设手势匹配时,调用与所述控制手势信息匹配的静态预设手势对应的功能指令并执行;
当所述控制手势信息的分类结果为动态手势时,利用所述控制手势信息查询第二数据库,并在当所述控制手势信息与所述第二数据库中的任一动态预设手势匹配时,调用与所述控制手势信息匹配的动态预设手势对应的功能指令并执行。
可选的,所述预设数据库还包括第三数据库,所述第三数据库中包括急救预设手势与急救功能的对应关系;
所述手势控制方法还包括:
利用所述控制手势信息查询第三数据库,并在当所述控制手势信息与所述第三数据库中的急救预设手势匹配时,调用急救功能并执行,以发出急救信号。
从上述技术方案可以看出,本申请实施例提供了一种手势控制系统及方法,其中,所述手势控制系统在手势控制模式时,通过获取用户的控制手势信息,将控制手势信息与预设数据库中的预设手势进行匹配,并执行与控制手势信息匹配成功的预设手势对应的功能指令的方式,避免了现有技术中语音控制系统的指令识别准确率容易受到车内噪音影响和用户口音影响的问题,实现了提供一种无需用户手动触摸操作,且对于用户的控制手势信息识别准确率较高的控制系统的目的。另外,所述手势控制系统还具有手势修改模式,支持用户基于自身使用习惯,修改所述预设数据库中的预设手势与功能指令的对应关系的功能,丰富了手势控制系统的个性化程度,提升了用户的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请的一个实施例提供的一种手势控制系统的结构示意图;
图2为本申请的另一个实施例提供的一种手势控制系统的结构示意图;
图3-图13为本申请的一个实施例提供的预设手势与功能指令的对应关系示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种手势控制系统,如图1所示,应用于机动车辆,所述手势控制系统包括:图像获取模块和控制模块;其中,
所述图像获取模块,包括手势控制模式和手势修改模式,用于在获取到控制指令时,进入手势控制模式,以获取用户的控制手势信息,和用于在获取到修改指令时,进入手势修改模式,并向所述控制模块发送手势修改指令;
所述控制模块,用于在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行;和用于在接收到所述手势修改指令后,提供手势修改界面,以根据用户输入的修改指令,修改所述预设数据库中预设手势与功能指令的对应关系;
所述预设数据库中存储有所述预设手势与功能指令的对应关系。
随着计算机视觉技术的不断发展,手势识别的准确率不断提升,使得应用于机动车辆的手势控制系统应运而生。手势控制相比较传统的物理按键/按钮或触控屏操作更加便捷,减少了驾驶员的注意力分散程度,并且相比较语音控制系统的准确率更高。
具体地,所述手势控制系统在手势控制模式时,通过获取用户的控制手势信息,将控制手势信息与预设数据库中的预设手势进行匹配,并执行与控制手势信息匹配成功的预设手势对应的功能指令的方式,避免了现有技术中语音控制系统的指令识别准确率容易受到车内噪音影响和用户口音影响的问题,实现了提供一种无需用户手动触摸操作,且对于用户的控制手势信息识别准确率较高的控制系统的目的。另外,所述手势控制系统还具有手势修改模式,支持用户基于自身使用习惯,修改所述预设数据库中的预设手势与功能指令的对应关系的功能,丰富了手势控制系统的个性化程度,提升了用户的使用体验。
另外,可选的,在本申请的一个实施例中,所述控制手势信息为红外图像形式的手势信息,即所述图像获取模块具有获取红外图像的功能,以使得所述手势控制系统的使用可以不受车内外环境的影响,在也晚或白天等不同光线下均能够正常工作,因此可覆盖各种场景的使用需求。
下面对本实施例提供的手势控制系统的工作流程进行大致的描述,当所述图像获取模块的手势控制模式被触发时,用户在图像获取模块的感应区域进行预设手势的展示或操作,以使图像获取模块获取用户的控制手势信息,并向所述控制模块传输,所述控制模块在接收到所述控制手势信息后,根据所述控制手势信息查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行,以完成与控制手势信息匹配的预设手势对应的功能指令的执行。
当所述图像获取模块的手势修改模式被触发时,用户在控制模块提供的手势修改界面中,输入包含需要修改的功能指令,以及修改后的功能指令与新的预设手势的对应关系的修改指令,以使控制模块根据所述修改指令,修改所述预设数据库中预设手势与功能指令的对应关系。
另外,需要说明的是,所述图像获取模块的手势控制模式或手势修改模式的触发过程可以是通过物理按键或虚拟按键实现,也可以是通过用户包含特定语音的语音指令实现。即所述控制指令为实体按键或虚拟按键触发的电信号指令或用户输出的预设语音信号指令。
在上述实施例的基础上,在本申请的一个实施例中,如图2所示,所述图像获取模块包括:模式选择单元、红外摄像头和红外补光灯;其中,
所述模式选择单元,用于在获取到控制指令时,进入手势控制模块,控制所述红外摄像头和红外补光灯工作,以使所述红外摄像头获取用户的控制手势信息并传送给所述控制模块;和用于在获取到修改指令时,进入手势修改模式,并向所述控制模块发送手势修改指令。
在本实施例中,提供了一种可行的图像获取模块的结构构成,所述红外摄像头用于获取包含用户手势的红外图像,所述红外补光灯用于提供红外线,以补充车内环境中用于成像的红外线,提高所述红外摄像头的成像清晰度,以进一步提高所述控制模块对控制手势信息的识别成功率。
在上述实施例的基础上,在本申请的另一个实施例中,所述模式选择单元还包括:自定义手势模式;
所述模式选择单元,还用于在获取到自定义指令时,进入自定义手势模式,向所述控制模块发送自定义手势指令,并控制所述红外摄像头和红外补光灯工作,以使所述红外摄像头获取用户的自定义手势信息并传送给所述控制模块;
所述控制模块,还用于在接收到所述自定义手势指令时,提供自定义手势界面,以根据用户输入的自定义指令,将所述自定义手势信息作为所述预设数据库中新的预设手势,并定义新的预设手势与功能指令的对应关系。
在本实施例中,所述模式选择单元还具有自定义手势模式,以使用户能够自定义所述预设数据库中原来不存在的手势作为新的预设手势,并设置于功能指令的对应关系,进一步提升所述手势控制系统的个性化程度。
在本申请的一个实施例中,提供了一些可选的预设手势或自定义手势与功能指令的对应关系,参考图3-13,图8-13中的箭头表示手指或手掌移动方向。但本申请对此并不做限定,具体视实际情况而定。
在图8-图13中的功能指令对应于具体的应用场景,例如在图8中,当机动车辆的中控屏上提示用户有来电时,用户可以通过如图8所示的手势(握拳向左滑)实现接听的功能;另外,当驾驶员希望通过手势控制车机系统中某一项的确认操作时,也可以通过实施图8所示的手势实现确认操作。
在上述实施例的基础上,在本申请的一个可选实施例中,所述自定义手势信息包括所述红外摄像头从多个角度获取的用户同一手势的图像序列。
从不同角度获取的用户同一手势的图像序列作为所述自定义手势信息进行存储,能够提升所述控制模块在控制手势信息识别时的成功率。
在上述实施例的基础上,在本申请的另一个可选实施例中,所述预设数据库包括第一数据库和第二数据库,所述预设手势包括静态预设手势和动态预设手势,其中,所述第一数据库中存储有所述静态预设手势与功能指令的对应关系,所述第二数据库中存储有所述动态预设手势与功能指令的对应关系;
所述控制模块在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行具体用于,
在接收到所述控制手势信息时,采用深度学习的方法对所述控制手势信息进行分类和判断,以获取所述控制手势信息的分类结果,当所述控制手势信息的分类结果为静态手势时,利用所述控制手势信息查询第一数据库,并在当所述控制手势信息与所述第一数据库中的任一静态预设手势匹配时,调用与所述控制手势信息匹配的静态预设手势对应的功能指令并执行;
当所述控制手势信息的分类结果为动态手势时,利用所述控制手势信息查询第二数据库,并在当所述控制手势信息与所述第二数据库中的任一动态预设手势匹配时,调用与所述控制手势信息匹配的动态预设手势对应的功能指令并执行。
在本实施例中,将所述控制手势信息分为静态手势和动态手势,并在与预设数据库进行比对之前,首先采用深度学习的方式对其进行分类和判断,以进一步提高后续与预设数据库进行比对时的准确性。
所述静态手势由单一静态的手势构成,例如可以是五指张开的状态,也可以是两指竖起的状态。所述动态手势由多个动作构成,例如可以是挥手,摆手等手势。
可选的,所述控制模块采用深度学习的方法对所述控制手势信息进行分类和判断具体用于,
将所述控制手势信息输入到预设神经网络中,以利用所述预设神经网络对所述控制手势信息进行分类和判断;
所述预设神经网络为MobileNet网络或Yolo网络。
在上述实施例的基础上,在本申请的又一个可选实施例中,所述预设数据库还包括第三数据库,所述第三数据库中包括急救预设手势与急救功能的对应关系;
所述控制模块还用于在接收到所述控制手势信息后,在利用所述控制手势信息查询第一数据库/第二数据库之前,利用所述控制手势信息查询第三数据库,并在当所述控制手势信息与所述第三数据库中的急救预设手势匹配时,调用急救功能并执行,以发出急救信号。
在本实施例中,所述控制模块在对所述控制手势信息与第一数据库或第二数据库进行比对/查询之前,首先利用所述控制手势信息查询第三数据库,并在当所述控制手势信息与所述第三数据库中的急救预设手势匹配时,调用急救功能并执行,以发出急救信号,实现当危机情况发生时率先报警的目的。
可选的,所述急救信号可以通过机动车辆的车联网系统发送。
可选的,所述急救预设手势为静态手势,此时所述控制模块在接收到所述控制手势信息后,可以首先采用深度学习的方法对所述控制手势信息进行分类和判断,以在当所述控制手势信息为静态手势时,进一步进行急救预设手势的比对,当然也可以不采用深度学习的方法对所述控制手势信息进行分类和判断,直接将所述控制手势信息与所述急救预设手势进行比对。
当然地,在本申请的其他实施例中,所述急救预设手势还可以为动态手势,本申请对此并不做限定,具体视实际情况而定。
下面对本申请实施例提供的手势控制方法进行描述,下文描述的手势控制方法可与上文描述的手势控制系统相互对应参照。
相应的,本申请实施例提供了一种手势控制方法,应用于如上述任一实施例所述的手势控制系统,所述手势控制方法包括:
在获取到控制指令时,进入手势控制模式;
在处于手势控制模式时,获取用户的控制手势信息;
根据所述控制手势信息,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行;所述预设数据库中存储有所述预设手势与功能指令的对应关系;
在获取到修改指令时,进入手势修改模式;
在处于手势修改模式时,提供手势修改界面,并根据用户输入的修改指令,修改所述预设数据库中预设手势与功能指令的对应关系。
可选的,所述控制手势信息为红外图像序列形式的手势信息。
可选的,还包括:
在获取到自定义指令时,获取用户的自定义手势信息,并提供自定义手势界面;
根据用户输入的自定义指令,将所述自定义手势信息作为所述预设数据库中新的预设手势,并定义新的预设手势与功能指令的对应关系。
可选的,所述自定义手势信息包括所述红外摄像头从多个角度获取的用户同一手势的图像序列。
可选的,所述控制指令为实体按键或虚拟按键触发的电信号指令或用户输出的预设语音信号指令。
可选的,所述预设数据库包括第一数据库和第二数据库,所述预设手势包括静态预设手势和动态预设手势,其中,所述第一数据库中存储有所述静态预设手势与功能指令的对应关系,所述第二数据库中存储有所述动态预设手势与功能指令的对应关系;
所述在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行包括:
在接收到所述控制手势信息时,采用深度学习的方法对所述控制手势信息进行分类和判断,以获取所述控制手势信息的分类结果,当所述控制手势信息的分类结果为静态手势时,利用所述控制手势信息查询第一数据库,并在当所述控制手势信息与所述第一数据库中的任一静态预设手势匹配时,调用与所述控制手势信息匹配的静态预设手势对应的功能指令并执行;
当所述控制手势信息的分类结果为动态手势时,利用所述控制手势信息查询第二数据库,并在当所述控制手势信息与所述第二数据库中的任一动态预设手势匹配时,调用与所述控制手势信息匹配的动态预设手势对应的功能指令并执行。
可选的,所述预设数据库还包括第三数据库,所述第三数据库中包括急救预设手势与急救功能的对应关系;
所述手势控制方法还包括:
利用所述控制手势信息查询第三数据库,并在当所述控制手势信息与所述第三数据库中的急救预设手势匹配时,调用急救功能并执行,以发出急救信号。
综上所述,本申请实施例提供了一种手势控制系统及方法,其中,所述手势控制系统在手势控制模式时,通过获取用户的控制手势信息,将控制手势信息与预设数据库中的预设手势进行匹配,并执行与控制手势信息匹配成功的预设手势对应的功能指令的方式,避免了现有技术中语音控制系统的指令识别准确率容易受到车内噪音影响和用户口音影响的问题,实现了提供一种无需用户手动触摸操作,且对于用户的控制手势信息识别准确率较高的控制系统的目的。另外,所述手势控制系统还具有手势修改模式,支持用户基于自身使用习惯,修改所述预设数据库中的预设手势与功能指令的对应关系的功能,丰富了手势控制系统的个性化程度,提升了用户的使用体验。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种手势控制系统,其特征在于,应用于机动车辆,所述手势控制系统包括:图像获取模块和控制模块;其中,
所述图像获取模块,包括手势控制模式和手势修改模式,用于在获取到控制指令时,进入手势控制模式,以获取用户的控制手势信息,和用于在获取到修改指令时,进入手势修改模式,并向所述控制模块发送手势修改指令;
所述控制模块,用于在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行;和用于在接收到所述手势修改指令后,提供手势修改界面,以根据用户输入的修改指令,修改所述预设数据库中预设手势与功能指令的对应关系;
所述预设数据库中存储有所述预设手势与功能指令的对应关系。
2.根据权利要求1所述的系统,其特征在于,所述图像获取模块包括:模式选择单元、红外摄像头和红外补光灯;其中,
所述模式选择单元,用于在获取到控制指令时,进入手势控制模块,控制所述红外摄像头和红外补光灯工作,以使所述红外摄像头获取用户的控制手势信息并传送给所述控制模块;和用于在获取到修改指令时,进入手势修改模式,并向所述控制模块发送手势修改指令。
3.根据权利要求2所述的系统,其特征在于,所述模式选择单元还包括:自定义手势模式;
所述模式选择单元,还用于在获取到自定义指令时,进入自定义手势模式,向所述控制模块发送自定义手势指令,并控制所述红外摄像头和红外补光灯工作,以使所述红外摄像头获取用户的自定义手势信息并传送给所述控制模块;
所述控制模块,还用于在接收到所述自定义手势指令时,提供自定义手势界面,以根据用户输入的自定义指令,将所述自定义手势信息作为所述预设数据库中新的预设手势,并定义新的预设手势与功能指令的对应关系。
4.根据权利要求3所述的系统,其特征在于,所述自定义手势信息包括所述红外摄像头从多个角度获取的用户同一手势的图像序列。
5.根据权利要求4所述的系统,其特征在于,所述预设数据库包括第一数据库和第二数据库,所述预设手势包括静态预设手势和动态预设手势,其中,所述第一数据库中存储有所述静态预设手势与功能指令的对应关系,所述第二数据库中存储有所述动态预设手势与功能指令的对应关系;
所述控制模块在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行具体用于,
在接收到所述控制手势信息时,采用深度学习的方法对所述控制手势信息进行分类和判断,以获取所述控制手势信息的分类结果,当所述控制手势信息的分类结果为静态手势时,利用所述控制手势信息查询第一数据库,并在当所述控制手势信息与所述第一数据库中的任一静态预设手势匹配时,调用与所述控制手势信息匹配的静态预设手势对应的功能指令并执行;
当所述控制手势信息的分类结果为动态手势时,利用所述控制手势信息查询第二数据库,并在当所述控制手势信息与所述第二数据库中的任一动态预设手势匹配时,调用与所述控制手势信息匹配的动态预设手势对应的功能指令并执行。
6.根据权利要求5所述的系统,其特征在于,所述控制模块采用深度学习的方法对所述控制手势信息进行分类和判断具体用于,
将所述控制手势信息输入到预设神经网络中,以利用所述预设神经网络对所述控制手势信息进行分类和判断;
所述预设神经网络为MobileNet网络或Yolo网络。
7.根据权利要求5所述的系统,其特征在于,所述预设数据库还包括第三数据库,所述第三数据库中包括急救预设手势与急救功能的对应关系;
所述控制模块还用于在接收到所述控制手势信息后,在利用所述控制手势信息查询第一数据库/第二数据库之前,利用所述控制手势信息查询第三数据库,并在当所述控制手势信息与所述第三数据库中的急救预设手势匹配时,调用急救功能并执行,以发出急救信号。
8.根据权利要求1所述的系统,其特征在于,所述控制指令为实体按键或虚拟按键触发的电信号指令或用户输出的预设语音信号指令。
9.一种手势控制方法,其特征在于,应用于如权利要求1-8任一项所述的手势控制系统,所述手势控制方法包括:
在获取到控制指令时,进入手势控制模式;
在处于手势控制模式时,获取用户的控制手势信息;
根据所述控制手势信息,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行;所述预设数据库中存储有所述预设手势与功能指令的对应关系;
在获取到修改指令时,进入手势修改模式;
在处于手势修改模式时,提供手势修改界面,并根据用户输入的修改指令,修改所述预设数据库中预设手势与功能指令的对应关系。
10.根据权利要求9所述的方法,其特征在于,所述控制手势信息为红外图像序列形式的手势信息,。
11.根据权利要求9所述的方法,其特征在于,还包括:
在获取到自定义指令时,获取用户的自定义手势信息,并提供自定义手势界面;
根据用户输入的自定义指令,将所述自定义手势信息作为所述预设数据库中新的预设手势,并定义新的预设手势与功能指令的对应关系。
12.根据权利要求11所述的方法,其特征在于,所述自定义手势信息包括所述红外摄像头从多个角度获取的用户同一手势的图像序列。
13.根据权利要求12所述的方法,其特征在于,所述预设数据库包括第一数据库和第二数据库,所述预设手势包括静态预设手势和动态预设手势,其中,所述第一数据库中存储有所述静态预设手势与功能指令的对应关系,所述第二数据库中存储有所述动态预设手势与功能指令的对应关系;
所述在接收到所述控制手势信息时,查询预设数据库,当所述控制手势信息与所述预设数据库中任一预设手势匹配时,调用与所述控制手势信息匹配的预设手势对应的功能指令并执行包括:
在接收到所述控制手势信息时,采用深度学习的方法对所述控制手势信息进行分类和判断,以获取所述控制手势信息的分类结果,当所述控制手势信息的分类结果为静态手势时,利用所述控制手势信息查询第一数据库,并在当所述控制手势信息与所述第一数据库中的任一静态预设手势匹配时,调用与所述控制手势信息匹配的静态预设手势对应的功能指令并执行;
当所述控制手势信息的分类结果为动态手势时,利用所述控制手势信息查询第二数据库,并在当所述控制手势信息与所述第二数据库中的任一动态预设手势匹配时,调用与所述控制手势信息匹配的动态预设手势对应的功能指令并执行。
14.根据权利要求13所述的方法,其特征在于,所述预设数据库还包括第三数据库,所述第三数据库中包括急救预设手势与急救功能的对应关系;
所述手势控制方法还包括:
利用所述控制手势信息查询第三数据库,并在当所述控制手势信息与所述第三数据库中的急救预设手势匹配时,调用急救功能并执行,以发出急救信号。
CN202010273292.1A 2020-04-09 2020-04-09 一种手势控制系统及方法 Pending CN111427454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010273292.1A CN111427454A (zh) 2020-04-09 2020-04-09 一种手势控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010273292.1A CN111427454A (zh) 2020-04-09 2020-04-09 一种手势控制系统及方法

Publications (1)

Publication Number Publication Date
CN111427454A true CN111427454A (zh) 2020-07-17

Family

ID=71556013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010273292.1A Pending CN111427454A (zh) 2020-04-09 2020-04-09 一种手势控制系统及方法

Country Status (1)

Country Link
CN (1) CN111427454A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356080A (zh) * 2021-12-17 2022-04-15 杭州老板电器股份有限公司 基于毫米波雷达手势识别的控制系统、方法及智能设备
CN114393571A (zh) * 2022-01-17 2022-04-26 成都工业学院 一种通过手势控制机械臂运转的手势控制系统
CN116560509A (zh) * 2023-05-17 2023-08-08 山东格物智能科技有限公司 一种基于视觉核心算法的人机交互系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102731A (zh) * 2017-03-31 2017-08-29 斑马信息科技有限公司 用于车辆的手势控制方法及其系统
CN110134232A (zh) * 2019-04-22 2019-08-16 东风汽车集团有限公司 一种基于手势识别的车载手机支架调节方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102731A (zh) * 2017-03-31 2017-08-29 斑马信息科技有限公司 用于车辆的手势控制方法及其系统
CN110134232A (zh) * 2019-04-22 2019-08-16 东风汽车集团有限公司 一种基于手势识别的车载手机支架调节方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356080A (zh) * 2021-12-17 2022-04-15 杭州老板电器股份有限公司 基于毫米波雷达手势识别的控制系统、方法及智能设备
CN114393571A (zh) * 2022-01-17 2022-04-26 成都工业学院 一种通过手势控制机械臂运转的手势控制系统
CN116560509A (zh) * 2023-05-17 2023-08-08 山东格物智能科技有限公司 一种基于视觉核心算法的人机交互系统及方法

Similar Documents

Publication Publication Date Title
US10462568B2 (en) Terminal and vehicle control method of mobile terminal using machine learning
US8250001B2 (en) Increasing user input accuracy on a multifunctional electronic device
US10209853B2 (en) System and method for dialog-enabled context-dependent and user-centric content presentation
US8370162B2 (en) Aggregating multimodal inputs based on overlapping temporal life cycles
US11934848B2 (en) Control display method and electronic device
US10108334B2 (en) Gesture device, operation method for same, and vehicle comprising same
CN109062479A (zh) 分屏应用切换方法、装置、存储介质和电子设备
WO2012065518A1 (zh) 一种用户操作界面的变换方法及终端
EP1082671A1 (en) Handwritten and voice control of vehicle components
CN113085550B (zh) 一种多手势交互带有振动反馈触控方向盘控制系统
CN111427454A (zh) 一种手势控制系统及方法
CN104216973B (zh) 一种数据搜索的方法及装置
CN113486760A (zh) 对象说话检测方法及装置、电子设备和存储介质
CN105739700B (zh) 一种打开通知的方法及装置
EP3726360B1 (en) Device and method for controlling vehicle component
CN109308160B (zh) 操作指令触发方法、装置、电子设备及存储介质
CN114564102A (zh) 一种汽车座舱交互方法、装置及车辆
CN115291724A (zh) 人机交互的方法、装置、存储介质和电子设备
CN110231865A (zh) 触觉反馈方法、电子设备以及存储介质
US11144178B2 (en) Method for providing contents for mobile terminal on the basis of user touch and hold time
CN113486759B (zh) 危险动作的识别方法及装置、电子设备和存储介质
EP4290338A1 (en) Method and apparatus for inputting information, and storage medium
CN108563487A (zh) 用户界面的更新方法及装置
CN116243826A (zh) 一种基于语音指令的ui界面设计及人机交互方法
CN104571875A (zh) 触控荧幕的滑动操作方法及触控轨迹装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination