CN110673781A - 一种基于模块匹配的手势识别装置及识别方法 - Google Patents

一种基于模块匹配的手势识别装置及识别方法 Download PDF

Info

Publication number
CN110673781A
CN110673781A CN201910772272.6A CN201910772272A CN110673781A CN 110673781 A CN110673781 A CN 110673781A CN 201910772272 A CN201910772272 A CN 201910772272A CN 110673781 A CN110673781 A CN 110673781A
Authority
CN
China
Prior art keywords
data
module
touch screen
chip microcomputer
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910772272.6A
Other languages
English (en)
Inventor
张嘉楠
金豫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201910772272.6A priority Critical patent/CN110673781A/zh
Publication of CN110673781A publication Critical patent/CN110673781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明一种基于模块匹配的手势识别装置，包括用于采集手势信息的电极板模块；数据转换模块，其采用电容式传感的FDC2214芯片，该模块将前级传来的原始电容值数据进行处理，包括初步降噪和数据转换；单片机数据处理模块，该模块从数据转换模块读出电容值数据，对数据进行再次降噪处理，去除电路和环境造成的干扰；根据触摸屏返回的控制命令如存储数据、对比手势数据等进行下一步的操作，并将相关结果返回至触摸屏显示；触摸屏控制与显示模块，该模块能实时显示单片机数据处理模块处理数据的结果，并将使用者的操作指令传递给单片机数据处理模块。

Description

一种基于模块匹配的手势识别装置及识别方法
技术领域
本发明涉及内容信号处理以及模式识别领域。具体来讲，主要是使用FDC2214EVM数据转换模块将不同的不同手势产生的属于模拟量的电容数据转化为数字量的电容数据，数据流入STM32F407控制器后，运用特定算法匹配，从而准确、快速的识别出不同的手势，并将识别结果展示在显示模块上。
背景技术
手势识别是通过数学算法来识别人类手势的一种方式，手势识别使人们能与计算机进行交互。如今广泛使用的手势识别技术主要有基于机器视觉的手势识别和基于传感器的手势识别等。基于机器视觉的手势识别无需媒介、有较高的识别精度，但是其设备复杂昂贵、限制了使用者的活动范围、对环境的依赖度较高。
发明内容
本发明利用人的不同手势在电极板模块上与各电极形成的电容大小不同；通过FDC2214EVM数据转换模块将模拟电容信号转换为数字电容值；STM32F407单片机读取FDC2214EVM数据转换模块转换后的数字电容值；通过滑动平均滤波算法和匹配算法处理数据；触摸屏不仅将使用者的控制信息传递给单片机，而且接收单片机得到的信息，并将使用者的手势信息正确地显示在触摸屏上。
该装置一共由三层电路底板构成，层与层之间通过排针相互连接，各个模块与这三层电路底板都是以排针直插的方式连接的。这样的设计方便了各个模块的更换，也极大的减小了导线对电路的干扰，同时减小了装置占用的水平空间大小。第一层(最上面一层)是采集手势信息的电极板模块电路；第二层(中间层)是FDC2214EVM数据转换模块所在层，该层同时与第一层和第三层相连接；第三层(最下面一层)是底层控制电路层，放置了STM32F407单片机数据处理模块和触摸屏控制与显示模块，同时该层与第二层相连接。本发明的技术解决方案如下：
该手势识别装置由以下模块构成：
模块1：采集手势信息的电极板模块。在信号传递链路中，前端采集手势信息的模块得到的原始电容值数据越准确、数据波动越小，则越有利于后级对数据的处理后快速得到正确结果。
模块2：FDC2214EVM数据转换模块。该模块采用了电容式传感的FDC2214芯片。电容式传感是一种低功耗、低成本且高分辨率的非接触式感测技术，适用于从接近检测到手势识别的各项应用。电容式传感应用灵敏度的主要限制因素在于传感器的噪声敏感性。FDC2214采用创新型抗EMI架构，即使在高噪声环境中也能维持性能不变。同时，该芯片采用基于窄带的创新型架构，可对噪声和干扰进行高度抑制，同时在高速条件下提供高分辨率。该模块将前级传来的原始电容值数据进行处理，包括初步降噪(将环境造成的数据波动滤除)和数据转换(将原始模拟的电容值数据转化为数字电容值数据)。
模块3：STM32F407单片机数据处理模块。该模块从FDC2214EVM数据转换模块读出电容值数据，对数据进行再次降噪处理，去除电路和环境造成的干扰；根据触摸屏返回的控制命令如存储数据、对比手势数据等进行下一步的操作，并将相关结果返回至触摸屏显示。
模块4：触摸屏控制与显示模块。该模块能实时显示STM32F407单片机数据处理模块处理数据的结果，并将使用者的操作指令传递给STM32F407单片机数据处理模块。
本发明采用基于传感器的手势识别则价格低廉、避免了空间环境的限制。基于传感器的手势识别装置整体造价不高，而且我们采用特别优化过的算法，使装置的识别精度提高到了较高的水平，同时也使机器处理的时间大大缩减，使机器对环境的依赖度有很大的降低。
附图说明
图1.系统框图。
图2.采集手势信息的电极板模块(第一层)电路PCB板图。
图3.FDC2214EVM数据转换模块所在层(第二层)电路PCB板图。
图4.FDC2214EVM数据转换模块电路PCB板图。
图5.底层控制电路层(第三层)电路PCB板图。
图6.装置实物示例图.
具体实施方法
以下将结合附图对本发明的实施做详细说明。本发明构架介绍由前文“发明内容”和附图1给出、各模块的电路原理由附图及下文给出。
模块1：采集手势信息的电极板模块。该模块电极板的排布采取菱形与方形嵌套极板排布，如附图2所示，该极板具有比较好的对称性，在识别过程中对识别位置及角度容忍度好，同时，八个小正方形极板构成的菱形与方形的嵌套设计，既可以充分的采集各种手势与电极板模块上的小正方形电极组成电容时的电容数据，也没有过多占用空间，极大地提升了通道数据的有效性。
模块2：FDC2214EVM数据转换模块。将采集手势信息的电极板模块产生的属于模拟量的电容值转换为数字量的电容值供单片机读取。一个该模块能提供四个通道的数据，每个通道28位的电容数据，经过测试，数据精度完全达到我们的要求，详细数据在“测试结果展示”部分有介绍。由于我们在采集手势信息的电极板模块中使用了八个小电极板，所以，我们使用了两个FDC2214EVM数据转换模块，通过排针插在第二层的电路底板上，安装位置在附图3中两个小紫色框位置，FDC2214EVM数据转换模块电路PCB图如附图4所示。
模块3：STM32F407单片机数据处理模块。该模块直插于第三层电路底板右下角位置，如附图5右下角小紫色矩形框所示。该模块在开机时自检，检测当前环境对八通道读到的电容值的影响，将其作为一个基准值，之后读到的数值均减去该数，并做归一化处理，确保从通道读到的数值仅由手势变化决定。然后，对随后读取的数据使用滑动平均滤波算法,在不降低采样频率的基础上，降低外界的白噪声对数据的干扰。当需要进行手势识别时，使用MSE(均方误差算法)匹配算法，进行模块匹配，经过实践，有较高的准确度。该程序主要包含训练模式与判决模式，训练模式是让机器学习使用者的不同手势所代表的含义，如使用者若五指张开这个手势表示的是数字“5”。判决模式则是机器识别使用者给出的手势所代表的含义，并将其显示在触摸屏控制与显示模块上，如使用者张开五指，则机器会识别出使用者想要表达的意思是“5”。相关程序由代码附录给出。
模块4：触摸屏控制与显示模块。该模块直插于第三层底板右上角，如附图5右上角小紫色矩形框所示。该模块作为人机交互界面，既承担了显示手势结果的功能，也具有接收使用者发出的控制信息的功能。
测试结果展示
采用如附图6所示样板电路，测试该装置对五个典型手势“1”、“2”、“3”、“4”、“5”的识别准确度。STM32F407单片机数据处理模块采集到的FDC2214EVM数据转换模块的八个通道的数据如下，
表1 各手势测试结果
从上表结果可以看出，在不同的手势下，极板不同通道区分度高，可以准确识别使用者规定的手势。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (3)

1.一种基于模块匹配的手势识别装置，其特征在于，包括：
电极板模块，其用于采集手势信息，在信号传递链路中，前端采集手势信息的模块得到的原始电容值数据越准确、数据波动越小，则越有利于后级对数据的处理后快速得到正确结果；
数据转换模块，其采用电容式传感的FDC2214芯片，该模块将前级传来的原始电容值数据进行处理，包括初步降噪和数据转换；
单片机数据处理模块，该模块从数据转换模块读出电容值数据，对数据进行再次降噪处理，去除电路和环境造成的干扰；根据触摸屏返回的控制命令如存储数据、对比手势数据等进行下一步的操作，并将相关结果返回至触摸屏显示；
触摸屏控制与显示模块，该模块能实时显示单片机数据处理模块处理数据的结果，并将使用者的操作指令传递给单片机数据处理模块。
2.如权利要求1所述的基于模块匹配的手势识别装置，其特征在于，所述FDC2214芯片采用创新型抗EMI架构；该芯片采用基于窄带的创新型架构，可对噪声和干扰进行高度抑制，同时在高速条件下提供高分辨率。
3.一种基于模块匹配的手势识别方法，其特征在于，采用如权利要求1或2所述的基于模块匹配的手势识别装置，所述方法包括：利用人的不同手势在电极板模块上与各电极形成的电容大小不同；通过FDC2214EVM数据转换模块将模拟电容信号转换为数字电容值；STM32F407单片机读取FDC2214EVM数据转换模块转换后的数字电容值；通过滑动平均滤波算法和匹配算法处理数据；触摸屏不仅将使用者的控制信息传递给单片机，而且接收单片机得到的信息，并将使用者的手势信息正确地显示在触摸屏上。
CN201910772272.6A 2019-08-21 2019-08-21 一种基于模块匹配的手势识别装置及识别方法 Pending CN110673781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910772272.6A CN110673781A (zh) 2019-08-21 2019-08-21 一种基于模块匹配的手势识别装置及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910772272.6A CN110673781A (zh) 2019-08-21 2019-08-21 一种基于模块匹配的手势识别装置及识别方法

Publications (1)

Publication Number Publication Date
CN110673781A true CN110673781A (zh) 2020-01-10

Family

ID=69075434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910772272.6A Pending CN110673781A (zh) 2019-08-21 2019-08-21 一种基于模块匹配的手势识别装置及识别方法

Country Status (1)

Country Link
CN (1) CN110673781A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099624A (zh) * 2020-08-25 2020-12-18 李志斌 多模态菱形框架式电容感应手势识别系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983795A (zh) * 2018-05-07 2018-12-11 长江大学 一种三轴姿态校正方法及设备
CN109241876A (zh) * 2018-08-20 2019-01-18 苏州大学 一种基于k近邻算法的手势识别系统及方法
CN109343694A (zh) * 2018-08-13 2019-02-15 浙江大学 一种用于猜拳划拳游戏的手势识别系统和方法
CN109491507A (zh) * 2018-11-14 2019-03-19 南京邮电大学 基于fdc2214的手势识别装置
CN109710116A (zh) * 2018-08-23 2019-05-03 华东师范大学 一种非接触式手势状态识别系统及识别方法
CN109814725A (zh) * 2019-02-28 2019-05-28 防灾科技学院 一种手势交互方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983795A (zh) * 2018-05-07 2018-12-11 长江大学 一种三轴姿态校正方法及设备
CN109343694A (zh) * 2018-08-13 2019-02-15 浙江大学 一种用于猜拳划拳游戏的手势识别系统和方法
CN109241876A (zh) * 2018-08-20 2019-01-18 苏州大学 一种基于k近邻算法的手势识别系统及方法
CN109710116A (zh) * 2018-08-23 2019-05-03 华东师范大学 一种非接触式手势状态识别系统及识别方法
CN109491507A (zh) * 2018-11-14 2019-03-19 南京邮电大学 基于fdc2214的手势识别装置
CN109814725A (zh) * 2019-02-28 2019-05-28 防灾科技学院 一种手势交互方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099624A (zh) * 2020-08-25 2020-12-18 李志斌 多模态菱形框架式电容感应手势识别系统
CN112099624B (zh) * 2020-08-25 2022-11-22 李志斌 多模态菱形框架式电容感应手势识别系统

Similar Documents

Publication Publication Date Title
CN110119680B (zh) 一种基于图像识别的电气柜接线自动查错系统
CN103309535A (zh) 电容式触摸屏
US20130222047A1 (en) Driving method for charger noise rejection in touch panel
TWI731442B (zh) 電子裝置及其利用觸控資料的物件資訊辨識方法
CN112099624B (zh) 多模态菱形框架式电容感应手势识别系统
CN110673781A (zh) 一种基于模块匹配的手势识别装置及识别方法
CN114237427B (zh) 一种高灵敏度触控压力检测方法及系统
CN110275614B (zh) 一种非接触式手势识别装置及其方法
CN109343694B (zh) 一种用于猜拳划拳游戏的手势识别系统和方法
CN117742502A (zh) 一种基于电容、距离传感器的双模态手势识别系统及方法
TW202022668A (zh) 指紋識別方法、存儲介質、指紋識別系統及智能裝置
CN205163106U (zh) 一种便携式胃肠音检测装置
CN107368816A (zh) 生物特征识别方法、生物特征识别装置和检测系统
CN109710116B (zh) 一种非接触式手势状态识别系统及识别方法
Sonoda et al. A letter input system based on handwriting gestures
US20220113830A1 (en) Position detection circuit and position detection method
CN103413368A (zh) 对金融器具在出厂前或出厂后进行检测校正的装置
CN117011833A (zh) 一种仪表盘识别方法、识别装置、存储介质和计算机设备
CN203350930U (zh) 对金融器具在出厂前或出厂后进行检测校正的装置
US20240152180A1 (en) Method for detecting folding angle of foldable screen, touch chip, and touch panel
CN104571601B (zh) 一种双模图文鼠标扫描方法及其制品
CN110580097B (zh) 触控手势识别系统和方法
CN101833398A (zh) 位置侦测装置及其方法
CN103197811B (zh) 触控面板的混合式未共地补偿方法
CN104238842B (zh) 未共地物体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200110