CN111443816A - 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统 - Google Patents

基于柔性抗菌生物膜多通道数据采集模块的手势识别系统 Download PDF

Info

Publication number
CN111443816A
CN111443816A CN202010451899.4A CN202010451899A CN111443816A CN 111443816 A CN111443816 A CN 111443816A CN 202010451899 A CN202010451899 A CN 202010451899A CN 111443816 A CN111443816 A CN 111443816A
Authority
CN
China
Prior art keywords
gesture recognition
acquisition module
recognition system
data acquisition
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010451899.4A
Other languages
English (en)
Inventor
周云龙
钱秋萍
孙雪丽
袁林林
戚伟业
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Research Institute Of Chinese Academy Of Sciences Wenzhou Institute Of Biomaterials And Engineering
Original Assignee
Wenzhou Research Institute Of Chinese Academy Of Sciences Wenzhou Institute Of Biomaterials And Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Research Institute Of Chinese Academy Of Sciences Wenzhou Institute Of Biomaterials And Engineering filed Critical Wenzhou Research Institute Of Chinese Academy Of Sciences Wenzhou Institute Of Biomaterials And Engineering
Priority to CN202010451899.4A priority Critical patent/CN111443816A/zh
Publication of CN111443816A publication Critical patent/CN111443816A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于柔性抗菌生物膜多通道数据采集模块的手势识别系统。石墨烯柔性传感器衬底为多孔结构，其中含有磷酸铜具有良好的抗菌效果，可以有效抑制大肠杆菌和金黄色葡萄球菌生物膜的形成。该传感器附着在五个手指关节上，每个手势的传感器数据由多通道数据采集模块采集。数据通过串口传送到上位机进行分析处理。上位机的人工神经网络算法收集不同的手势并将其规划到正确的类别中。该系统解决了当前手势识别领域中存在的成本高、技术复杂的问题，可以在消费者中广泛应用。如果增加手势识别控制功能，可以大大优化人机之间的通信。因此，手势识别手套系统将有广泛的应用领域，包括智能家居、智能穿戴、VR等应用领域。

Description

基于柔性抗菌生物膜多通道数据采集模块的手势识别系统
技术领域
本发明涉及传感器领域，具体地涉及一种基于柔性抗菌生物膜多通道数据采集模块的手势识别系统。
背景技术
手语在表达上与口语和书面语相似，尤其是在人机交互中，手语具有很强的视觉效果，可以很直观地表达意图。手势识别可应用于教学、人机交互、医学研究等领域。同时，最重要的一点是帮助人们更好地理解和使用手语进行交流。因此，对手势的探索有助于电脑更好地理解人类语言。
手势识别主要包括视觉图像识别、肌电图(EMG)识别和数据手套。利用摄像机等设备捕捉手势通常被称为视觉图像识别，其发展速度快，识别率高。该系统利用嵌入式摄像机对指尖及其位置进行监控，实现了低延迟和高空间分辨率。但是，该技术也存在一些问题:在采集手势时，复杂手势采集的准确性会受到环境和场景的影响，并且由于设备昂贵，无法适用于大多数移动设备。表面肌电描记传感器为手势感知和表面肌电描记信号提供了潜在的技术，这些信号指示了手势执行过程中相关肌肉的活动。然而，这些现有的策略成本是昂贵的，如果采用可穿戴设备的形式会存在有传感器过重的问题。
基于数据手套的手势识别研究给模式识别领域带来了生机与活力，如光学标记数据手套和与手臂相连的数据手套。然而，由于佩戴的麻烦和手臂运动的特殊要求，它们仍然没有被广泛使用。发展数据手套的手势识别技术需要克服三个困难:首先，如何将现有材料制成适合数据手套采集的传感器一直是硬件研究的重点。现有的传感器也基本能满足数据采集的要求，但如何找到更合适的材料，使数据手套具有更准确的识别率构成是本项目的主要问题之一。另外，数据采集端口需要能够获取至少5个应变传感器的实时数据，而现有设备一般价格昂贵、体积庞大、携带不便，通常只提供2个测试通道。另外，实际手势识别算法的研究有时也比较困难。现有的手语识别技术包括模板匹配、人工神经网络和一些与其他技术相结合的算法。因此，如何选择合适的传感器、多通道数据采集装置和匹配算法是一个值得思考的问题。
发明内容
本发明的目的是提供一种基于柔性抗细菌生物膜多通道数据采集模块的手势识别系统，该装置能够同时采集五个手指关节的活动信息，使用传感器进行测试并实时分析以确定各手指对应的传感器，提取对应传感器的手指活动信号进行分析。
为实现上述目的，本实验采用以下技术方案：
一种基于柔性抗菌生物膜多通道数据采集模块的手势识别系统，其特征在于，包括主体部分、多通道传感器数据采集模块和PC端三部分组成，其中，所述主体部分由手套和设置于关节部位的可拉伸柔性传感器组成，所述的可拉伸柔性传感器至少包括有采用平面的PDMS薄膜封装的上层结构，利用网格石墨烯作为传感基元的中间层结构，和底部带有多孔泡沫结构上部为平面的PDMS膜的下层结构，并且所述的多孔泡沫结构中吸附有磷酸铜低聚物。
其中，所述的主体部分是由手套和固定于手套上五个手指关节部位的可拉伸柔性传感器组成，将5个可拉伸柔性传感器分别固定在手套中5个手指指节的对应位置，使得传感器能够贴合手指。
其中，所述的多通道数据采集模块主要有电压信号采集模块、模-数转换模块、信号传输模块三部分组成。
其中，所述的多通道数据采集模位于手套的下端。
其中，所述的电压信号采集模块采用运算放大器电路根据分压的原理测得电压后通过公式
Figure BDA0002506194610000031
计算转化为传感器的电阻值。
其中，所述的模-数转换模块由主控芯片的外围电路组成，利用该芯片的A/D转换将采集到的电阻信号由模拟转化为数字信号传输到PC端，以实现数据分析与识别功能。
其中，所述的信号传输模块为Ch340串行电路，通过该串行电路将转换的数字信号传输到PC端，以进行下一步分析处理。
其中，所述的PC端是利用已写好的人工神经网络算法对采集到的手势信号进行特征提取，将提取到的信号特征与数据库中已有的不同类型手势的特征进行对比，判断被测者做出的手势，并显示结果。
本发明的有益效果是：1)利用响应迅速、灵敏度高、能有效抗菌、使用寿命长的可穿戴式应变传感器来表达手语信号；2)手势语言捕获装置实现多路径感知测试；3)人工神经网络算法对手语信号进行识别，提高了手语识别的准确性；4)柔性传感器的衬底因含有磷酸铜而具有抗菌效果，可有效抑制大肠杆菌和金黄色葡萄球菌生物膜的形成，从而防止皮膜接触部位的细菌滋生。该系统解决了当前手势识别领域中存在的成本高、技术复杂的问题，可以在消费者中广泛应用。如果增加手势识别控制功能，可以大大优化人机之间的通信。因此，手势识别手套系统将有广泛的应用领域，包括智能家居、智能穿戴、VR等应用领域。
附图说明
图1中为该设计主体部分示意图。
图2中为多通道数据测量模块电压测量电路原理图。
图3中为手语识别系统整体框架。
图4中为系统运行流程图。
图5中为柔性石墨烯传感器的结构示意图。
图6中为传感器抗菌衬底的示意图。
图7中为传感器柔性衬底抗菌效果对比图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的组合。
如图1-7所示，本发明为基于石墨烯柔性传感器12和多通道数据采集模块的手势识别手套系统，其包括主体部分1和多通道传感器数据采集模块2和PC端3。
参考图1所示，该手语识别系统主要是通过主体部分1的手套11中位于五个手指关节部分的柔性可拉伸传感器12来获取每个手指的活动，图1中柔性可拉伸传感器12可以完全贴合皮肤，以准确测得的每个手指的微小弯曲活动。其中通道数据采集模块2位于数据手套的下端位置，该模块具有体积小、测量精度高的优势。
参考图2所示，其为通道数据采集模块2中的电压采集模块21的电路原理图，其中Rsensor是传感器的电阻，Vcc是系统电源的电压，Rf是参考电阻的值，Voutput是测量到的输出电压，根据分压的关系由以下公式
Figure BDA0002506194610000051
计算得出Rsensor。
参考图3所示为该手语识别系统结构框图，其内部包括主体部分1和多通道传感器数据采集模块2和PC端3三部分组成，多通道传感器数据采集模块2由电压信号采集模块21、模-数转换模块22、信号传输模块23三部分组成组成。其中电压信号采集模块21可以将可拉伸柔性传感器12每个单元的电阻值通过分压原理测量并计算出来，模-数转换模块22将电压信号采集模块21测量的电阻由模拟信号转化为数字信号，以便由信号传输模块23传输到PC端3做进一步处理。
如图中4系统整体流程框图所示，多通道传感器数据采集模块2采集到五个手指关节的活动数据传输到PC端3这个过程为S1，S2是PC端3利用人工神经网络算法提取采集到的手势信号的特征，S3过程将提取到的信号特征与数据库中的不同类型手势的特征进行对比，判断被测者做出的手势，并显示结果。
参考图5所示，该柔性可拉伸传感器为三层结构，上层采用平面的PDMS薄膜121封装，中间是利用化学气相沉积方法合成的网格石墨烯122作为传感基元，下层是底部带有多孔泡沫结构但上部为平面的PDMS膜123。
参考图6所示，传感器下层是底部带有多孔泡沫结构A1但上部为平面A2的PDMS膜123,其中多孔泡沫结构中吸附有磷酸铜。
参考图7所示，该柔性传感器的衬底因含有磷酸铜而具有抗菌效果，其中含有的磷酸铜低聚物可有效抑制大肠杆菌和金黄色葡萄球菌生物膜的形成，从而防止皮膜接触部位的细菌滋生。
以上是对本发明的较佳实施进行的具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于柔性抗菌生物膜多通道数据采集模块的手势识别系统，其特征在于，包括主体部分、多通道传感器数据采集模块和PC端三部分组成，其中，所述主体部分由手套和设置于关节部位的可拉伸柔性传感器组成，所述的可拉伸柔性传感器至少包括有采用平面的PDMS薄膜封装的上层结构，利用网格石墨烯作为传感基元的中间层结构，和底部带有多孔泡沫结构上部为平面的PDMS膜的下层结构，并且所述的多孔泡沫结构中吸附有磷酸铜低聚物。
2.根据权利要求1所述的手势识别系统，其特征在于：所述的主体部分是由手套和固定于手套上五个手指关节部位的可拉伸柔性传感器组成，将5个可拉伸柔性传感器分别固定在手套中5个手指指节的对应位置，使得传感器能够贴合手指。
3.根据权利要求1所述的手势识别系统，其特征在于：所述的多通道数据采集模块主要有电压信号采集模块、模-数转换模块、信号传输模块三部分组成。
4.根据权利要求1所述的手势识别系统，其特征在于：所述的多通道数据采集模块位于手套的下端。
5.根据权利要求3所述的手势识别系统，其特征在于：所述的电压信号采集模块采用运算放大器电路根据分压的原理测得电压后通过公式
Figure FDA0002506194600000011
计算转化为传感器的电阻值。
6.根据权利要求3中所述的手势识别系统，其特征在于：所述的模-数转换模块由主控芯片的外围电路组成，利用该芯片的A/D转换将采集到的电阻信号由模拟转化为数字信号传输到PC端，以实现数据分析与识别功能。
7.根据权利要求3中所述的手势识别系统，其特征在于：所述的信号传输模块为Ch340串行电路，通过该串行电路将转换的数字信号传输到PC端，以进行下一步分析处理。
8.根据权利要求1中所述的手势识别系统，其特征在于：所述的PC端是利用已写好的人工神经网络算法对采集到的手势信号进行特征提取，将提取到的信号特征与数据库中已有的不同类型手势的特征进行对比，判断被测者做出的手势，并显示结果。
CN202010451899.4A 2020-05-25 2020-05-25 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统 Pending CN111443816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010451899.4A CN111443816A (zh) 2020-05-25 2020-05-25 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010451899.4A CN111443816A (zh) 2020-05-25 2020-05-25 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统

Publications (1)

Publication Number Publication Date
CN111443816A true CN111443816A (zh) 2020-07-24

Family

ID=71652225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010451899.4A Pending CN111443816A (zh) 2020-05-25 2020-05-25 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统

Country Status (1)

Country Link
CN (1) CN111443816A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114515146A (zh) * 2020-11-17 2022-05-20 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
CN114543650A (zh) * 2022-01-25 2022-05-27 江苏新澄瑞材料科技有限公司 一种柔性应变可拉伸传感器以及智能手套
CN114997227A (zh) * 2022-05-30 2022-09-02 中国科学院长春应用化学研究所 一种基于肌肉应力的手势识别系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114515146A (zh) * 2020-11-17 2022-05-20 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
CN114543650A (zh) * 2022-01-25 2022-05-27 江苏新澄瑞材料科技有限公司 一种柔性应变可拉伸传感器以及智能手套
CN114543650B (zh) * 2022-01-25 2024-02-09 江苏新澄瑞材料科技有限公司 一种柔性应变可拉伸传感器以及智能手套
CN114997227A (zh) * 2022-05-30 2022-09-02 中国科学院长春应用化学研究所 一种基于肌肉应力的手势识别系统

Similar Documents

Publication Publication Date Title
CN111443816A (zh) 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统
Jiang et al. Feasibility of wrist-worn, real-time hand, and surface gesture recognition via sEMG and IMU sensing
JP2021072136A (ja) ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
Mekruksavanich et al. A multichannel cnn-lstm network for daily activity recognition using smartwatch sensor data
CN103006187A (zh) 一种非接触式生命体征数据监测系统和监测方法
CN202494540U (zh) 推拿数据测量系统
You et al. Finger motion decoding using EMG signals corresponding various arm postures
CN105232052A (zh) 组合传感器识别人体下肢运动姿态的装置
CN107803843A (zh) 一种基于树莓派的人体健康监测机器人
Wan et al. A new subtle hand gestures recognition algorithm based on EMG and FSR
CN110659677A (zh) 一种基于可移动传感器组合设备的人体跌倒检测方法
CN109765996A (zh) 基于fmg臂带的对穿戴位置偏移不敏感的手势检测系统和方法
Qiu et al. Nondestructive identification of softness via bioinspired multisensory electronic skins integrated on a robotic hand
Zhu et al. Wrist-worn hand gesture recognition based on barometric pressure sensing
CN111426392A (zh) 一种红外体表温度测量设备及检测方法
CN109141696B (zh) 一种基于压电薄膜的柔性触觉传感器及其信号处理系统
CN213582081U (zh) 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统
CN104856707A (zh) 基于机器视觉的压力传感数据手套及其抓握过程判断方法
Rodriguez-Labra et al. Development of a wireless robotic arm control system using piezoelectric sensors and neural networks
CN109613976A (zh) 一种智能柔性压力传感手语识别装置
Shahmohammadi et al. On lightmyography based muscle-machine interfaces for the efficient decoding of human gestures and forces
Qiu et al. A multisensory-feedback tactile glove with dense coverage of sensing arrays for object recognition
CN105708441B (zh) 可佩戴指套及心电图和脉象采集终端
CN113901881A (zh) 一种肌电数据自动标注方法
CN116909390A (zh) 基于手套的多模态数据采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination