CN113176825B - 一种大面积隔空手势识别系统及方法 - Google Patents

一种大面积隔空手势识别系统及方法 Download PDF

Info

Publication number
CN113176825B
CN113176825B CN202110467977.4A CN202110467977A CN113176825B CN 113176825 B CN113176825 B CN 113176825B CN 202110467977 A CN202110467977 A CN 202110467977A CN 113176825 B CN113176825 B CN 113176825B
Authority
CN
China
Prior art keywords
gesture
area
historical
recognition
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110467977.4A
Other languages
English (en)
Other versions
CN113176825A (zh
Inventor
蒋永刚
张德远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110467977.4A priority Critical patent/CN113176825B/zh
Publication of CN113176825A publication Critical patent/CN113176825A/zh
Application granted granted Critical
Publication of CN113176825B publication Critical patent/CN113176825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种大面积隔空手势识别系统及方法,系统包括:多个区域电极组、多个信号处理芯片、单片机以及上位机;区域电极组与信号处理芯片连接,信号处理芯片与单片机连接,单片机与上位机连接;信号处理芯片向区域电极组上的发射电极提供高频交流电压信号,多个区域电极组形成隔空手势识别传感阵列,信号处理芯片获取多个接收电极接收的电势信号,并对电势信号进行放大并处理,并将处理后的电势信号发送至单片机;单片机同时采集多个处理后的电势信号,发送至上位机并显示;上位机根据多个处理后的电势信号得到待识别手势的位置以及类型。本发明实现了在保证隔空手势识别分辨率的同时,扩大了手势识别的面积。

Description

一种大面积隔空手势识别系统及方法
技术领域
本发明涉及人机交互技术领域,特别是涉及一种大面积隔空手势识别系统及方法。
背景技术
人机交互变革是信息技术架构体系中感知层(或终端层)的重大技术变革,从早期的鼠标键盘发展到触摸感应、语音识别、图像识别、手势识别控制等新型人机交互设备,在用户体验方面得到明显改进。
手势交互是利用计算机图形学等技术识别人的肢体语言,并转化为命令来操作设备。远隔触觉感知是手势识别的核心,它是利用人体手势对光学、声学、电容或电磁场的影响,获得微弱感知信息。远隔触觉感知系统的手势识别可应用于智能家居、智能穿戴、汽车电子、医疗设备、儿童教育、虚拟现实等领域,产业化应用前景广阔。手势识别方法可以分为基于数据手套、基于加速度传感器、基于视觉的技术、基于触摸屏和基于射频和磁场等多种类型。但是,这些人机交互方式均存在较多不足:
(1)基于数据手套的手势识别系统输入数据量小,速度快,识别率高,能直接获取人手的三维运动信息,并且可以支持多种手势的识别。但是这种方法要求使用者穿戴复杂笨重的数据手套和位置跟踪器,给用户带来了极大的不便。
(2)基于加速度传感器的手势识别系统像基于数据手套的手势识别一样,用户需要拿着角速度传感器,非常不方便,并且这种输入很容易受干扰,实用性比较有限。
(3)基于光学的手势识别联合使用一个或者多个摄像机获取视频图像数据,分离出手势信息,采用数字图像处理分析和计算机视觉的方法分析识别手势信息。优点是解放了人手,不需要人拿着手势采集设备,使计算机与人的交互更加自然化,但是要求手部距离图像传感器较近,以便获取足够识别处理的图像画面,这种方法对于环境光照有比较高的要求。由于对光源和探测器阵列化的需求,难以实现柔性化。
(4)基于触摸屏的手势输入和识别非常直观,但是这种方法需要用户接触屏幕,而且大多数手势是基于手指的,人体其他部位手势形态很难识别。
(5)基于射频和磁场手势识别方法都需要在用户手上设置RFID或者磁性单元,应用便捷性受限。
电容式的远隔触觉传感与传统的光电式、超声式感应表面相比,能耗低,结构制造简单,能大幅度提高传感表面的使用寿命,美国微芯公司设计了一套三维手势识别系统,能获取手的位置和运动轨迹,通过增大传感器的面积可以增大传感器的手势识别面积,但是如果传感器的面积过大时,会严重影响传感器的分辨率,而传感器的面积过小时,会导致传感器的手势识别面积小,进而影响手势识别的准确性。
发明内容
本发明的目的是提供一种大面积隔空手势识别系统及方法,以解决现有技术中的手势识别传感器如果面积过大时,会严重影响传感器的分辨率,而面积过小时,会导致传感器的手势识别面积小的问题。
为实现上述目的,本发明提供了如下方案:
一种大面积隔空手势识别系统,包括:多个区域电极组、多个信号处理芯片、单片机以及上位机;所述区域电极组与所述信号处理芯片连接,所述信号处理芯片与所述单片机连接,所述单片机与所述上位机连接;
所述信号处理芯片向所述区域电极组上的发射电极提供高频交流电压信号,多个区域电极组形成隔空手势识别传感阵列,当所述区域电极组识别到手势变化时,所述区域电极组上的多个接收电极的电势会发生变化,所述信号处理芯片获取多个所述接收电极接收的电势信号,并对所述电势信号进行放大并处理,并将处理后的电势信号发送至所述单片机;所述单片机同时采集多个所述处理后的电势信号,发送至所述上位机并显示;所述上位机将多个所述处理后的电势信号输入至存储在所述上位机内的位置识别模型,输出待识别手势的位置,以及将所述待识别手势的位置输入至存储在所述上位机内的类型识别模型,输出待识别手势的类型。
可选地,当手的运动轨迹完全在一个所述区域电极组对应的识别区域时,由一个所述区域电极组对应的所述信号处理芯片单独完成手势识别;当手的运动轨迹经过多个所述区域电极组对应的识别区域时,多个所述区域电极组对应的所述信号处理芯片共同完成手势识别。
可选地,多个所述区域电极组的排列方式为同线排列或者矩阵排列。
可选地,所述区域电极组包括:多层电路基板、发射电极以及多个接收电极;所述多层电路基板包括上层电路基板、下层电路基板以及绝缘层,所述绝缘层位于所述上层电路基板以及所述下层电路基板之间;
所述多个接收电极铺设在所述上层电路基板上,所述发射电极铺设在所述下层电路基板上;
或者,所述区域电极组还包括地电极;所述多个接收电极和所述地电极铺设在所述上层电路基板上,且所述地电极呈“口”字状包围所述多个接收电极,所述发射电极铺设在所述下层电路基板上;
或者,所述区域电极组还包括地电极;所述多个接收电极和所述发射电极铺设在所述上层电路基板上,且所述多个接收电极呈“口”字状包围所述发射电极,所述地电极铺设在所述下层电路基板上。
可选地,所述多层电路基板、所述发射电极和所述多个接收电极均为柔性材料。
可选地,所述区域电极组包括4-5个所述接收电极;每个所述区域电极组所对应的识别区域的面积大于等于120cm2,所述隔空手势识别传感阵列的识别区域的面积大于等于480cm2
可选地,柔性材料的所述多层电路基板贴附曲率半径大于等于3cm的曲面进行手势识别。
一种大面积隔空手势识别方法,所述大面积隔空手势识别方法应用于上述所述的大面积隔空手势识别系统,所述大面积隔空手势识别方法包括:
利用信号处理芯片获取多个接收电极接收的待识别手势的电势信号,并对所述待识别手势的电势信号进行放大并处理,获得处理后的电势信号;
利用所述信号处理芯片将所述处理后的电势信号发送至单片机;
利用所述单片机同时采集多个所述处理后的电势信号,发送至所述上位机并显示;
将多个所述处理后的电势信号输入至存储在所述上位机内的位置识别模型,输出待识别手势的位置;所述位置识别模型是以手势的历史电势信号为输入,手势的历史位置为输出进行构建的;
将所述待识别手势的位置输入至存储在所述上位机内的类型识别模型,输出待识别手势的类型;所述类型识别模型是以手势的历史位置为输入,以手势的历史类型为输出进行构建的。
可选地,以手势的历史电势信号为输入,手势的历史位置为输出进行构建的具体过程为:
标准化所述历史电势信号;
将标准化后的所述历史电势信号与所述历史位置进行对应;
对对应后的历史电势信号进行数据挖掘与预处理;
使用多层感知机模型对预处理后的历史电势信号进行训练,得到位置训练模型;
使用位置测试集对所述位置训练模型进行优化,得到位置优化模型;所述位置测试集包括用于测试的历史电势信号和历史位置;
判断所述位置优化模型的识别率是否大于或等于位置识别率阈值,得到第一判断结果;
若所述第一判断结果表示所述位置优化模型的识别率大于或等于所述位置识别率阈值,则将所述位置优化模型作为位置识别模型;
若所述第一判断结果表示所述位置优化模型的识别率小于所述位置识别率阈值,则返回“对对应后的所述历史电势信号进行数据挖掘与预处理”。
可选地,以手势的历史位置为输入,以手势的历史类型为输出进行构建的具体过程为:
对所述历史位置进行预处理;
根据预处理后的历史位置获取手势的历史速度和历史加速度;
将所述历史速度和历史加速度与所述历史类型进行对应;
使用马尔可夫学习模型对对应后的所述历史速度以及历史加速度进行训练,得到类型训练模型;
使用类型测试集对所述类型训练模型进行优化,得到类型优化模型;所述类型测试集包括用于测试的历史位置和历史类型;
判断所述类型优化模型的识别率是否大于或等于类型识别率阈值,得到第二判断结果;
若所述第二判断结果表示所述类型优化模型的识别率大于或等于所述类型识别率阈值,则将所述类型优化模型作为类型识别模型;
若所述第二判断结果表示所述类型优化模型的识别率小于所述类型识别率阈值,则返回“对所述历史位置进行预处理”。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种大面积隔空手势识别系统及方法,通过设置多个能对手势进行识别的区域电极组,形成隔空手势识别传感阵列对手势进行识别,以实现保证区域电极组分辨率的前提下,增大手势的识别面积,再通过单片机同时采集多个接收电极的电势信号,并发送至上位机,上位机根据多个接收电极的电势信号确定手势信息。本发明实现了在保证隔空手势识别分辨率的同时,扩大了手势识别的面积,提高了手势识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的大面积隔空手势识别系统结构示意图;
图2为本发明所提供的大面积隔空手势识别方法流程图;
图3为本发明提供的含4个区域电极组的大面积隔空手势识别系统结构示意图;
图4为本发明所提供的接收电极和地电极铺设在上层电路基板的区域电极组示意图;
图5为本发明所提供的接收电极和发射电极铺设在上层电路基板的区域电极组示意图;
图6为本发明所提供的不含地电极的区域电极组示意图;
图7为本发明所提供的区域电极组的组合示意图;
图8为本发明所提供的上位机界面图;
图9为本发明所提供的手势移动演示图;
图10为本发明所提供的图9的上位机测量演示图;
图11为本发明所提供的构建位置识别模型的方法流程图;
图12为本发明所提供的构建类型识别模型的方案流程图。
符号说明:区域电极组1、信号处理芯片2、单片机3、上位机4。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种大面积隔空手势识别系统及方法,以解决现有技术中的手势识别传感器如果面积过大时,会严重影响传感器的分辨率,而面积过小时,会导致传感器的手势识别面积小的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明公开一种大面积隔空手势识别系统,包括:多个区域电极组1、多个信号处理芯片2、单片机3以及上位机4;所述区域电极组1与所述信号处理芯片2连接,所述信号处理芯片2与所述单片机3连接,所述单片机3与所述上位机4连接;所述信号处理芯片2向所述区域电极组1上的发射电极提供高频交流电压信号,多个区域电极组1形成隔空手势识别传感阵列,当所述区域电极组1识别到手势变化时,所述区域电极组1上的多个接收电极的电势会发生变化,所述信号处理芯片2获取多个所述接收电极接收的电势信号,并对所述电势信号进行放大并处理,并将处理后的电势信号发送至所述单片机3;所述单片机3同时采集多个所述处理后的电势信号,发送至所述上位机4并显示;所述上位机4将多个所述处理后的电势信号输入至存储在所述上位机4内的位置识别模型,输出待识别手势的位置,以及将所述待识别手势的位置输入至存储在所述上位机4内的类型识别模型,输出待识别手势的类型。本发明提供了一种含四个区域电极组的大面积隔空手势识别系统,如图3所示,系统包括:四个区域电极组1,四个信号处理芯片2、单片机3以及和上位机4。每个区域电极组1包括柔性电路基板、柔性发射电极、5个柔性接收电极以及地电极。柔性发射电极、柔性接收电极、地电极以及信号处理芯片2都集成在可弯折的多层柔性电路基板上。各信号处理芯片2向其探测区域的柔性发射电极提供15kHz~115kHz的高频交流电压信号,并放大和处理该区域的5路接收电极的电势,使用某种通信协议通过I2C总线进行通信。各信号处理芯片2及柔性电极组合形成大面积隔空手势识别传感阵列,这样设置实现了在不降低区域电极组1的分辨率的前提下,拓展了识别面积。主控单片机3同时采集多个信号处理芯片2管理的接收电极的电势信号,上位机4程序实现数据处理与显示。其中,单片机3的每路I2C总线连接2个信号处理芯片2,每个信号处理芯片2,采集5个接收电极的电势信号,系统可扩展的柔性接收电极的数量、以及可连接的信号处理芯片2的数量由单片机3上的I2C总线接口数决定,单片机3上I2C总线的个数决定了可拓展的最大面积,单片机3可以采用STM32F103C8T6,也可以采用其他厂家的各种型号单片机3,单片机3可以采用数据线连接,使用串口的方式与上位机4进行通信,也可以采用各种无线连接包括NFC连接,蓝牙连接,红外连接和WIFI连接的任意一种连接方式。
作为本实施例可选的一种实施方式,当手的运动轨迹完全在一个所述区域电极组1对应的识别区域时,由一个所述区域电极组1对应的所述信号处理芯片2单独完成手势识别;当手的运动轨迹经过多个所述区域电极组1对应的识别区域时,多个所述区域电极组1对应的所述信号处理芯片2共同完成手势识别。如图3所示,四个信号处理芯片2分别采集四个区域电极组1所对应区域的各接收电极的电位值,当手的全体位于某一区域上方时,由该区域的信号处理芯片2独立完成手势识别;当手的位置处于2个或多个区域的交接处时,通过跨区域的电极电位信息完成手势识别。上位机4可采集和显示电极电位信息,并计算出物体在感应区域的位置信息,通过识别算法可判断出基本的手势信息,上位机4可以通过采集跨区域的电极电位信息完成跨区域的手势识别。本发明给出了跨区域识别时临界问题的解决方案:上位机4为每一块独立的区域电极组1设计算法获取目标物体(手)几何中心的位置信息,当手跨过交界区域,会触发多个电场的识别,(相邻区域的交界宽度约为10mm,远小于识别区域宽度140mm),此时计算多个位置坐标的中心作为手几何中心的位置(如跨两个区域是两点连线的中点,三个区域是三角形的中心)。
作为本实施例可选的一种实施方式,多个所述区域电极组1的排列方式为同线排列或者矩阵排列。图7显示了区域电极组1的组合方式,以机械臂为例进行说明,区域电极组1可根据使用场景按矩形阵列机械臂表面,也可以按线性阵列在机械臂圆周,以扩展传感面积,根据应用场景的需求可灵活设置排列方式。近距离内即可感知到人或障碍物,提前采取避障等措施保障安全。
作为本实施例可选的一种实施方式,所述区域电极组1包括:多层电路基板、发射电极以及多个接收电极;所述多层电路基板包括上层电路基板、下层电路基板以及绝缘层,所述绝缘层位于所述上层电路基板以及所述下层电路基板之间。
所述多个接收电极铺设在所述上层电路基板上,所述发射电极铺设在所述下层电路基板上。
或者,所述区域电极组1还包括地电极;所述多个接收电极和所述地电极铺设在所述上层电路基板上,且所述地电极呈“口”字状包围所述多个接收电极,所述发射电极铺设在所述下层电路基板上。
或者,所述区域电极组1还包括地电极;所述多个接收电极和所述发射电极铺设在所述上层电路基板上,且所述多个接收电极呈“口”字状包围所述发射电极,所述地电极铺设在所述下层电路基板上。
本发明给出三种发射电极、接收电极以及地电极在多层电路基板上的具体的铺设方式,如图4-6所示,图中TX表示发射电极,RX表示接收电极,Isolation表示绝缘层。
第一种铺设方式:如图4所示,柔性电路基板上层铺设五个接收电极,以及呈“口”形包围接收电极的地电极,在下层铺设发射电极,上层和下层之间为绝缘层Isolation,在电路板铺设较大面积的发射电极TX,以便于构建较大的电场,地电极用于防止电场向其他区域扩散。在上层表面中心位置与上下左右各安放一个面积相对较小的接收电极,分别为RX.North、RX.East、RX.South、RX.West、RX.Center,在中心位置设置接收电极,可以增加中心触摸功能和接近检测功能。其中,RX.Center的面积稍大些,用以改善距离较近时的测量,TX与RX.Center面积的选择可以根据要求自行设定,其他接收电极的长度可基于柔性电路基板的长度与宽度决定,宽度可设为3mm~8mm。发射电极的厚度为35um,接收电极与地电极厚度为18um。发射电极与地电极距离在0.5-2.5mm之间,通过控制绝缘层Isolation层的厚度来控制距离。电路板对于电容有一定的要求,接收电极与发射电极间的电容应小于20pF,发射电极TX与地电极GND间的电容应小于20pF且小于接收电极与发射电极间的电容,这与层间距离与电极的面积有直接关系,可根据情况选择。
第二种铺设方式,如图5所示,电路板上层铺设发射电极和呈“口”形包围发射电极的四个接收电极,下层铺设地电极,上层和下层中之间为绝缘层Isolation,电路板铺设较大面积的发射电极TX。接收电极的宽度取决于传感器的尺寸,为4-7%接收电极的长度。这种情况不支持中心接收电极,RX和TX之间应保持3~5mm的距离。TX应至少覆盖70%的传感器区域。设计大面积的地电极GND,能增加系统稳定性、噪声鲁棒性和传感器背面的屏蔽灵敏度,且成本降低了10-20%。
第三种铺设方式,如图6所示,电路板上层铺设接收电极,下层铺设发射电极,上层和下层中之间为绝缘层Isolation,电路板针对金属表面,可以不设计地电极,直接用导线接系统地,但这会导致系统探测范围减少,因此需要扩展接收电极的面积。接收电极之间应保持3~5mm的间距。这种设置方式增加了发射电极Rx的面积,这将限制手势识别的范围,但更高的手电容在接地较弱的系统中带来了优势,因此这种方式适用于于电池供电系统,并且无GND层,更适用于贴附在金属表面。
作为本实施例可选的一种实施方式,所述多层电路基板、所述发射电极和所述多个接收电极均为柔性材料。柔性电路利用微电子打印机实现,电极为纳米银电极或纳米铜电极,电路版为聚酰亚胺(Polyimide,PI)、塑料(Polyethylene terephthalate,PET)或聚二甲基硅氧烷(Polydimethylsiloxane,PDMS)等。柔性电路基板也可以制作成更具经济效益的普通PCB。柔性电路基板的形状可以是正方形、长方形、圆形或椭圆形,但长宽比不能超过3:1,且最大尺寸≤140×140mm或者直径为140mm。
作为本实施例可选的一种实施方式,所述区域电极组1包括4-5个所述接收电极;每个所述区域电极组1所对应的识别区域的面积大于等于120cm2,所述隔空手势识别传感阵列的识别区域的面积大于等于480cm2
作为本实施例可选的一种实施方式,柔性材料的所述多层电路基板贴附曲率半径大于等于3cm的曲面进行手势识别。
图8显示了基于电场感知的上位机界面,上位机4有多部分功能区,左上部分功能区用来配置串口的参数,右上部分功能区可以实现数据显示,左下部分是传感识别系统的配置和调试区域,包括电极匹配、参数校准、记录电极数据和手势识别按钮。右下部分是手势信息显示区域和位置参数显示区域,位置参数精度为感应区域边长/65535。上位机4采用Python进行编程,也可采用Matlab,LabView等其他软件进行编程。如图9所示,手在传感区域内由下到上运动,上位机4的位置信息区域显示实时的坐标值,数据显示区域显示采集到的电位信息。在运动过程中,图10中记录了图9中B、C、D三点的坐标和对应的电位信息。本发明可识别“前移”、“后移”、“左移”、“右移”、“接触”,等多种手势信息,可根据需要进行更多分类的模型训练,也可通过减少分类数量来增加识别准确率。
本发明提供的大面积隔空手势识别系统,能耗低,响应速度快,在保证空间分辨率的同时,拓展了传感面积。本发明提供的柔性化的传感器可贴附于多种物体表面,为多种场景的应用提供了解决方案。本发明可以用于智能家居,医疗场所,机器人领域等多种场景,例如,覆盖运动机器臂的关键位置,可以提高物体和人类操作人员在其周围环境中的安全性;应用于智能家居中,可以为其提供低成本的解决方案。
如图2所示,本发明还提供一种大面积隔空手势识别方法,所述大面积隔空手势识别方法应用于上述所述的大面积隔空手势识别系统,所述大面积隔空手势识别方法包括:
步骤201:利用信号处理芯片获取多个接收电极接收的待识别手势的电势信号,并对所述待识别手势的电势信号进行放大并处理,获得处理后的电势信号。
步骤202:利用所述信号处理芯片将所述处理后的电势信号发送至单片机。
步骤203:利用所述单片机同时采集多个所述处理后的电势信号,发送至所述上位机并显示。
步骤204:将多个所述处理后的电势信号输入至存储在所述上位机内的位置识别模型,输出待识别手势的位置;所述位置识别模型是以手势的历史电势信号为输入,手势的历史位置为输出进行构建的。
步骤205:将所述待识别手势的位置输入至存储在所述上位机内的类型识别模型,输出待识别手势的类型;所述类型识别模型是以手势的历史位置为输入,以手势的历史类型为输出进行构建的。
作为本实施例可选的一种实施方式,如图11所示,以手势的历史电势信号为输入,手势的历史位置为输出进行构建的具体过程为:
步骤1101:标准化所述历史电势信号。
步骤1102:将标准化后的所述历史电势信号与所述历史位置进行对应。
步骤1103:对对应后的历史电势信号进行数据挖掘与预处理。
步骤1104:使用多层感知机模型对预处理后的历史电势信号进行训练,得到位置训练模型。
步骤1105:使用位置测试集对所述位置训练模型进行优化,得到位置优化模型;所述位置测试集包括用于测试的历史电势信号和历史位置。
步骤1106:判断所述位置优化模型的识别率是否大于或等于位置识别率阈值。若是,则将所述位置优化模型作为位置识别模型。若否,则返回“对对应后的所述历史电势信号进行数据挖掘与预处理”。
作为本实施例可选的一种实施方式,如图12所示,以手势的历史位置为输入,以手势的历史类型为输出进行构建的具体过程为:
步骤1201:对所述历史位置进行预处理。
步骤1202:根据预处理后的历史位置获取手势的历史速度和历史加速度。
步骤1203:将所述历史速度和历史加速度与所述历史类型进行对应。
步骤1204:使用马尔可夫学习模型对对应后的所述历史速度以及历史加速度进行训练,得到类型训练模型。
步骤1205:使用类型测试集对所述类型训练模型进行优化,得到类型优化模型;所述类型测试集包括用于测试的历史位置和历史类型。
步骤1206:判断所述类型优化模型的识别率是否大于或等于类型识别率阈值;若是,则将所述类型优化模型作为类型识别模型。若否,则返回“对所述历史位置进行预处理”。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种大面积隔空手势识别系统,其特征在于,包括:多个区域电极组、多个信号处理芯片、单片机以及上位机;所述区域电极组与所述信号处理芯片连接,所述信号处理芯片与所述单片机连接,所述单片机与所述上位机连接;
所述区域电极组包括:多层电路基板、发射电极以及多个接收电极;所述多层电路基板包括上层电路基板、下层电路基板以及绝缘层,所述绝缘层位于所述上层电路基板以及所述下层电路基板之间;
所述多个接收电极铺设在所述上层电路基板上,所述发射电极铺设在所述下层电路基板上;
或者,所述区域电极组还包括地电极;所述多个接收电极和所述地电极铺设在所述上层电路基板上,且所述地电极呈口字状包围所述多个接收电极,所述发射电极铺设在所述下层电路基板上;
或者,所述区域电极组还包括地电极;所述多个接收电极和所述发射电极铺设在所述上层电路基板上,且所述多个接收电极呈口字状包围所述发射电极,所述地电极铺设在所述下层电路基板上;
所述信号处理芯片向所述区域电极组上的发射电极提供高频交流电压信号,多个区域电极组形成隔空手势识别传感阵列,当所述区域电极组识别到手势变化时,所述区域电极组上的多个接收电极的电势会发生变化,所述信号处理芯片获取多个所述接收电极接收的电势信号,并对所述电势信号进行放大并处理,并将处理后的电势信号发送至所述单片机;所述单片机同时采集多个所述处理后的电势信号,发送至所述上位机并显示;所述上位机将多个所述处理后的电势信号输入至存储在所述上位机内的位置识别模型,输出待识别手势的位置,以及将所述待识别手势的位置输入至存储在所述上位机内的类型识别模型,输出待识别手势的类型。
2.根据权利要求1所述的大面积隔空手势识别系统,其特征在于,当手的运动轨迹完全在一个所述区域电极组对应的识别区域时,由一个所述区域电极组对应的所述信号处理芯片单独完成手势识别;当手的运动轨迹经过多个所述区域电极组对应的识别区域时,多个所述区域电极组对应的所述信号处理芯片共同完成手势识别。
3.根据权利要求1所述的大面积隔空手势识别系统,其特征在于,多个所述区域电极组的排列方式为同线排列或者矩阵排列。
4.根据权利要求1所述的大面积隔空手势识别系统,其特征在于,所述多层电路基板、所述发射电极和所述多个接收电极均为柔性材料。
5.根据权利要求4所述的大面积隔空手势识别系统,其特征在于,所述区域电极组包括4-5个所述接收电极;每个所述区域电极组所对应的识别区域的面积大于等于120cm 2,所述隔空手势识别传感阵列的识别区域的面积大于等于480cm 2
6.根据权利要求5所述的大面积隔空手势识别系统,其特征在于,柔性材料的所述多层电路基板贴附曲率半径大于等于3cm的曲面进行手势识别。
7.一种大面积隔空手势识别方法,所述大面积隔空手势识别方法应用于权利要求1-6任一项所述的大面积隔空手势识别系统,所述大面积隔空手势识别方法包括:
利用信号处理芯片获取多个接收电极接收的待识别手势的电势信号,并对所述待识别手势的电势信号进行放大并处理,获得处理后的电势信号;
利用所述信号处理芯片将所述处理后的电势信号发送至单片机;
利用所述单片机同时采集多个所述处理后的电势信号,发送至所述上位机并显示;
将多个所述处理后的电势信号输入至存储在所述上位机内的位置识别模型,输出待识别手势的位置;所述位置识别模型是以手势的历史电势信号为输入,手势的历史位置为输出进行构建的;
将所述待识别手势的位置输入至存储在所述上位机内的类型识别模型,输出待识别手势的类型;所述类型识别模型是以手势的历史位置为输入,以手势的历史类型为输出进行构建的。
8.根据权利要求7所述的大面积隔空手势识别方法,其特征在于,以手势的历史电势信号为输入,手势的历史位置为输出进行构建的具体过程为:
标准化所述历史电势信号;
将标准化后的所述历史电势信号与所述历史位置进行对应;
对对应后的历史电势信号进行数据挖掘与预处理;
使用多层感知机模型对预处理后的历史电势信号进行训练,得到位置训练模型;
使用位置测试集对所述位置训练模型进行优化,得到位置优化模型;所述位置测试集包括用于测试的历史电势信号和历史位置;
判断所述位置优化模型的识别率是否大于或等于位置识别率阈值,得到第一判断结果;
若所述第一判断结果表示所述位置优化模型的识别率大于或等于所述位置识别率阈值,则将所述位置优化模型作为位置识别模型;
若所述第一判断结果表示所述位置优化模型的识别率小于所述位置识别率阈值,则返回对对应后的所述历史电势信号进行数据挖掘与预处理。
9.根据权利要求8所述的大面积隔空手势识别方法,其特征在于,以手势的历史位置为输入,以手势的历史类型为输出进行构建的具体过程为:
对所述历史位置进行预处理;
根据预处理后的历史位置获取手势的历史速度和历史加速度;
将所述历史速度和历史加速度与所述历史类型进行对应;
使用马尔可夫学习模型对对应后的所述历史速度以及历史加速度进行训练,得到类型训练模型;
使用类型测试集对所述类型训练模型进行优化,得到类型优化模型;所述类型测试集包括用于测试的历史位置和历史类型;
判断所述类型优化模型的识别率是否大于或等于类型识别率阈值,得到第二判断结果;
若所述第二判断结果表示所述类型优化模型的识别率大于或等于所述类型识别率阈值,则将所述类型优化模型作为类型识别模型;
若所述第二判断结果表示所述类型优化模型的识别率小于所述类型识别率阈值,则返回对所述历史位置进行预处理。
CN202110467977.4A 2021-04-28 2021-04-28 一种大面积隔空手势识别系统及方法 Active CN113176825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110467977.4A CN113176825B (zh) 2021-04-28 2021-04-28 一种大面积隔空手势识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110467977.4A CN113176825B (zh) 2021-04-28 2021-04-28 一种大面积隔空手势识别系统及方法

Publications (2)

Publication Number Publication Date
CN113176825A CN113176825A (zh) 2021-07-27
CN113176825B true CN113176825B (zh) 2022-07-01

Family

ID=76926900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110467977.4A Active CN113176825B (zh) 2021-04-28 2021-04-28 一种大面积隔空手势识别系统及方法

Country Status (1)

Country Link
CN (1) CN113176825B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI835570B (zh) * 2023-02-23 2024-03-11 群光電子股份有限公司 人機介面裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807778A (zh) * 2017-11-07 2018-03-16 深圳创维-Rgb电子有限公司 一种显示系统及显示系统的控制方法
CN111367400A (zh) * 2018-12-26 2020-07-03 苏州大学 一种基于柔性传感器的手势识别装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649488B2 (en) * 2014-08-20 2020-05-12 Microchip Technology Germany Gmbh Electrode arrangement for gesture detection and tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807778A (zh) * 2017-11-07 2018-03-16 深圳创维-Rgb电子有限公司 一种显示系统及显示系统的控制方法
CN111367400A (zh) * 2018-12-26 2020-07-03 苏州大学 一种基于柔性传感器的手势识别装置

Also Published As

Publication number Publication date
CN113176825A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
US7205979B2 (en) Computer data entry and manipulation apparatus and method
US8830189B2 (en) Device and method for monitoring the object's behavior
CN102055836B (zh) 具有动作识别功能的移动终端及其动作识别方法
US20160103500A1 (en) System and method for a human machine interface utilizing near-field quasi-state electrical field sensing technology
US20130241832A1 (en) Method and device for controlling the behavior of virtual objects on a display
CN103389804B (zh) 坐标指示设备和用于测量其输入位置的坐标测量设备
KR20140114913A (ko) 사용자 기기의 센서 운용 방법 및 장치
CN107160403A (zh) 一种具有多功能人机接口模块的智能机器人系统
CN106092091A (zh) 电子机器设备
CN105677065B (zh) 用于显示屏的遥控触控装置及方法
CN113176825B (zh) 一种大面积隔空手势识别系统及方法
CN107045388A (zh) 采集用于装置的输入的方法和系统
CN105117005B (zh) 基于光线感应的手势识别系统和方法
CN104486507A (zh) 一种利用隔空手势控制手机的方法、系统及手机
CN116198435B (zh) 车辆的控制方法、装置、车辆以及存储介质
CN111731956B (zh) 一种实现按下非接触电梯的按钮的设备和方法
CN103019415B (zh) 一种检测物体相对于表面移动的方法及设备
CN107643753A (zh) 一种机器人智能定位寻址方法
CN105208746A (zh) 基于运动和肌电流信号控制的立方体led台灯及方法
CN212160598U (zh) 一种红外体感手势识别系统
EP2645204B1 (en) Accessory cover for an electronic device and system
Rupavatharam Omnidirectional and blindspot-free pre-touch sensing systems
WO2023206496A1 (zh) 触控系统及触控定位系统
Ramasamy et al. COMPACT AND ECONOMIC GESTURE BASED MOUSE CONTROL FOR HUMAN COMPUTER INTERFACE
CN116466820A (zh) 一种人手位置和动作的标识方法及其飞标手势操控微系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant