CN111722723A - 一种双向弯曲柔性传感器、手语识别系统及方法 - Google Patents

一种双向弯曲柔性传感器、手语识别系统及方法 Download PDF

Info

Publication number
CN111722723A
CN111722723A CN202010608605.4A CN202010608605A CN111722723A CN 111722723 A CN111722723 A CN 111722723A CN 202010608605 A CN202010608605 A CN 202010608605A CN 111722723 A CN111722723 A CN 111722723A
Authority
CN
China
Prior art keywords
gesture
sign language
signals
micro
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010608605.4A
Other languages
English (en)
Other versions
CN111722723B (zh
Inventor
郭霄亮
杨鑫
俞度立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202010608605.4A priority Critical patent/CN111722723B/zh
Publication of CN111722723A publication Critical patent/CN111722723A/zh
Application granted granted Critical
Publication of CN111722723B publication Critical patent/CN111722723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/16—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring the deformation in a solid, e.g. by resistance strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/30—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种双向弯曲柔性传感器、手语识别系统及方法，该双向弯曲柔性传感器包括柔性基底、阵列式微柱和导电层，其中：柔性基底构成双向弯曲柔性传感器的底层；阵列式微柱设置在柔性基底上，为多个微柱按照预设高度阵列排列而成的，相邻微柱之间相隔预设间距，微柱为柔性复合导电材料；导电层为纳米片导电材料，填充在每个微柱之间，且导电层的厚度小于阵列式微柱的高度，导电层的两端分别设置有电极引线。本发明实施例在双向弯曲柔性传感器中设置阵列式微柱，使得传感器的内向弯曲和外向弯曲保持较高灵敏度，尤其提高了外向灵敏度，能缓冲来自外界施加的压力，从而起到保护导电层的作用，降低测量误差，更加精确计算弯曲的角度。

Description

一种双向弯曲柔性传感器、手语识别系统及方法
技术领域
本发明涉及柔性弯曲传感器技术领域，尤其涉及一种双向弯曲柔性传感器、手语识别系统及方法。
背景技术
随着传感器技术的不断发展，对传感器的集成化、微型化和智能化的要求不断增加，同时还希望传感器具有便于携带和可穿戴等特点，柔性可穿戴传感器应运而生。柔性可穿戴传感器在人体运动感知、人机交互界面、个性化健康监测、电子皮肤和柔性机器人等领域有着巨大的应用潜力。其中，可穿戴弯曲传感器具有足够的柔韧性和延展性，能够以适合的形状很好地贴合到弯曲表面上，感知物体是否发生形变，对形变产生良好的信号响应，可用来测量物体的弯曲角度。因此，弯曲传感器在机器人手指、智能手套、折叠屏幕和便携式医疗设备等方面广泛应用。
现有的弯曲传感器分为基于光学原理和基于力学原理两种，基于光学原理的弯曲传感器的核心器件是光导纤维，其原理是当光纤发生弯曲时，光纤的折射率会发生变化，通过测量光能的损耗来计算弯曲的角度；基于力学原理的弯曲传感器分为电阻式和电容式，其原理都是将受力的弯曲量转化成电信号的线性变化。
然而，基于光学原理的弯曲传感器，需要光谱分析装置等复杂的测试系统，不利于传感器的集成化便携化利用，且不能区分弯曲的方向；基于力学原理的弯曲传感器，虽然可以实现双向弯曲，但是，在进行双向弯曲时，由于传感器的工作原理限制，导致弯曲传感器在内外方向的弯曲灵敏度不一致，并且现有的将弯曲传感器应用于智能手套的研究中，弯曲传感器被包裹进手套中使用，当手指弯曲时，传感器会受到来自包裹层收紧时施加的压力，产生压力和弯曲力的耦合力，造成测量的误差，导致无法准确计算弯曲的角度。
因此，现在亟需一种双向弯曲柔性传感器、手语识别系统及方法来解决上述问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种双向弯曲柔性传感器、手语识别系统及方法。
第一方面，本发明实施例提供了一种双向弯曲柔性传感器，包括柔性基底、阵列式微柱和导电层，其中：
所述柔性基底构成双向弯曲柔性传感器的底层；
所述阵列式微柱设置在所述柔性基底上，为多个微柱按照预设高度阵列排列而成的，相邻微柱之间相隔预设间距，所述微柱为柔性复合导电材料；
所述导电层为纳米片导电材料，填充在每个微柱之间，且所述导电层的厚度小于所述阵列式微柱的高度，所述导电层的两端分别设置有电极引线。
进一步地，所述纳米片导电材料包括：石墨烯片和片状银粉。
进一步地，所述柔性复合导电材料是由导电微纳米颗粒和硅橡胶类有机材料混合制备得到的。
进一步地，所述柔性基底的基底材料包括聚偏氟乙烯、硅橡胶和聚酰亚胺中任意一种。
进一步地，所述柔性基底的上端设置有第一阵列式微柱和第一导电层；所述柔性基底的下端设置有第二阵列式微柱和第二导电层。
第二方面，本发明实施例提供了一种手语识别系统，包括：
肢体姿态传感器、手语识别模块和根据第一方面所述的双向弯曲柔性传感器制备的可穿戴手势识别设备；
所述肢体姿态传感器是由三轴加速度计和陀螺仪构成，佩戴在用户的手臂处，用于在用户进行手语时，对手臂在旋转和倾斜产生的肢体信号进行采集，并将采集到的肢体信号发送到所述手语识别模块；
所述可穿戴手势识别设备是基于人体手型制备而成的，穿戴在用户的手掌上，用于在用户进行手语时，对手指发生手势变化产生的手势信号进行采集，并将采集到的手势信号发送到所述手语识别模块；
所述手语识别模块，用于对所述肢体信号和所述手势信号进行融合识别，得到连续词手势信号，并对所述连续词手势信号进行提取，得到孤立词手势信号，以根据所述孤立词手势信号识别得到手语识别结果，并根据得到的手语识别结果，生成手语对应的文字信息或语音信息；其中，所述连续词手势信号是融合后的肢体信号和手势信号的手势序列，所述孤立词手势信号是根据所述手势序列提取得到的单个手势融合信号。
进一步地，所述可穿戴手势识别设备是由15个所述双向弯曲柔性传感器和1个数据采集器构成的，其中，所述双向弯曲柔性传感器分别设置在可穿戴手势识别设备的手指关节、指掌连接关节处和手腕处。
第三方面，本发明实施例提供了一种基于第二方面所述的手语识别系统的手语识别方法，包括：
获取目标手语的肢体信号和手势信号；
基于训练好的手语识别神经网络模型，对所述肢体信号和所述手势信号进行融合，得到连续词手势信号，并对所述连续词手势信号进行提取，得到孤立词手势信号，以根据所述孤立词手势信号识别得到所述目标手语的手语识别结果；其中，所述连续词手势信号是融合后的肢体信号和手势信号的手势序列，所述孤立词手势信号是根据所述手势序列提取得到的单个手势融合信号，所述训练好的手语识别神经网络模型是由样本肢体信号和样本手势信号训练得到的。
第四方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第三方面所提供的方法的步骤。
第五方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第三方面所提供的方法的步骤。
本发明实施例提供的一种双向弯曲柔性传感器、手语识别系统及方法，通过在双向弯曲柔性传感器中设置阵列式微柱，使得传感器能实现内向弯曲和外向弯曲都保持较高灵敏度，尤其提高了外向灵敏度，并能缓冲来自外界施加的压力，从而起到保护导电层的作用，降低测量误差，更加精确计算弯曲的角度。基于该双向弯曲柔性传感器的手语识别系统及方法，将手部数据和肢体数据进行融合识别，采用机器学习识别算法对手势数据进行识别，提高了识别的准确率，具有受环境因素干扰小、实时识别率高的特点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的双向弯曲柔性传感器的结构示意图；
图2为本发明实施例提供的双向柔性弯曲传感器的侧俯视示意图；
图3为本发明实施例提供的阵列式微柱对导电层实施保护的示意图；
图4为本发明实施例提供的双向弯曲柔性传感器向外弯曲的原理示意图；
图5为本发明实施例提供的双向弯曲柔性传感器向内弯曲的原理示意图；
图6为本发明另一实施例提供的双向弯曲柔性传感器的结构示意图；
图7为本发明实施例提供的手语识别系统的结构示意图；
图8为本发明实施例提供的基于双向弯曲柔性传感的可穿戴手语识别设备的示意图；
图9为本发明实施例提供的肢体姿态传感器的佩戴示意图；
图10为本发明实施例提供的手语识别方法的流程示意图；
图11为本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的双向弯曲柔性传感器的结构示意图，如图1所示，本发明实施例提供了一种双向弯曲柔性传感器，包括柔性基底101、阵列式微柱102和导电层103，其中：
所述柔性基底101构成双向弯曲柔性传感器的底层；
所述阵列式微柱102设置在所述柔性基底101上，为多个微柱按照预设高度阵列排列而成的，相邻微柱之间相隔预设间距，所述微柱为柔性复合导电材料；
所述导电层103为纳米片导电材料，填充在每个微柱之间，且所述导电层103的厚度小于所述阵列式微柱102的高度，所述导电层103的两端分别设置有电极引线。
在本发明实施例中，以单面具有阵列式微柱102和导电层103的双向弯曲柔性传感器结构进行说明，其中，向有传感器结构(即具有阵列式微柱102的一面)一侧的弯曲称为内向弯曲，向无传感器结构一侧的弯曲称为外向弯曲，如基于片状导电材料的弯曲传感器，现有的弯曲传感器由于工作原理的限制，外向弯曲和内向弯曲的灵敏度不一致，外向弯曲的灵敏度高，内向弯曲的灵敏度低。
本发明实施例的双向柔性弯曲传感器的柔性基底101的材料，包括聚偏氟乙烯、硅橡胶和聚酰亚胺(PI)中任意一种，然后在柔性基底101上加工刚度较大的阵列式微柱102，阵列式微柱102的微柱是由复合导电材料制备而成，该柔性复合导电材料是由导电微纳米颗粒(本发明实施例采用碳纳米材料)和硅橡胶类有机材料(本发明实施例采用聚二甲基硅氧烷)混合制备得到的，图2为本发明实施例提供的双向柔性弯曲传感器的侧俯视示意图，可参考图2所示，阵列式微柱102具有相同预设的高度，尺寸可以是从微米级到毫米级，排列密度可以自由调整；在柔性基底101上，阵列式微柱102的间隙之间填充一层导电层103，导电层103的材料是纳米片导电材料，例如石墨烯片或片状银粉，并且，在导电层103的两侧粘附铜胶带，作为双向柔性弯曲传感器的引线。
具体地，微柱的刚度可以保障双向柔性弯曲传感器在弯曲时，导电层103不会受到压力的影响，图3为本发明实施例提供的阵列式微柱对导电层实施保护的示意图，可参考图3所示，阵列式微柱102的微柱对导电层103可以起到支撑和保护作用，由于微柱具有预设高度，且导电层103的厚度小于阵列式微柱102的高度，从而保护双向柔性弯曲传感器在弯曲时不受到压力的干扰。具体地，双向柔性弯曲传感器在弯曲时，如果同时受到压力影响，压力会作用于阵列式微柱102上，由于阵列式微柱102的材料具有一定的硬度，当受到压力后会发生形变，但不会使压力直接作用于导电层103上，从而避免对导电层103的挤压。
本发明实施例提供的双向弯曲柔性传感器，通过在双向弯曲柔性传感器中设置阵列式微柱，使得传感器能实现内向弯曲和外向弯曲都保持较高灵敏度，尤其提高了外向灵敏度，并能缓冲来自外界施加的压力，从而起到保护导电层的作用，降低测量误差，更加精确计算弯曲的角度。
在本发明一实施例中，以单层石墨烯片为导电层，以PI薄膜为柔性基底材料，用碳纳米复合导电材料加工阵列式微柱，从而制备得到双向弯曲柔性传感器，对该双向弯曲柔性传感器的工作原理进行说明。当双向弯曲柔性传感器向外弯曲时，向外弯曲的灵敏度取决于石墨烯片之间的接触条件。图4为本发明实施例提供的双向弯曲柔性传感器向外弯曲的原理示意图，可参考图4所示，石墨烯是一种二维结构的纳米材料，单层碳原子以sp2杂化的方式排列成六边形蜂窝状晶体结构。由于晶体内部特殊的结构，使得石墨烯具有优异的导电性能和极强的稳定性，因此，石墨烯在力学和电学传感器领域具有重要应用。在自然状态下，单层石墨烯片紧密的重叠在一起，石墨烯片与石墨烯片之间有大量的接触面积，使得传感器有一个初始的阻值。可参考图4所示，通过向外弯曲，传感器表面的部分石墨烯片之间发生分离，产生一些缝隙，使得石墨烯片之间的接触面积减小，导致传感器的阻值增大。随着传感器弯曲的角度不断增大，石墨烯层产生的缝隙就会越多，传感器的阻值也会不断增高，灵敏度不断增高。在本发明实施例中，传感器的阻值变化与传感器弯曲角度呈线性对映关系，可根据弯曲时的阻值来计算弯曲角度。
进一步地，当双向弯曲柔性传感器向内弯曲时，灵敏度普遍较低。因此在传感器表面设置一种阵列式微柱结构，阵列式微柱结构的微柱是由碳纳米材料和聚二甲基硅氧烷(PDMS)混合制备的复合导电材料，通过三轴点胶机将复合导电材料加工到柔性基底上，并在微柱间隙中填充导电层，从而通过弯曲时微柱发生的接触提升传感器的灵敏度；在本发明实施例中，也可以将导电层先设置在柔性基底上，然后再通过三轴点胶机将复合导电材料加工到导电层上。图5为本发明实施例提供的双向弯曲柔性传感器向内弯曲的原理示意图，可参考图5所示，初始状态下，微柱之间互不接触。本发明实施例将传感器向有微柱结构一侧弯曲的过程分为两个阶段，第一阶段，弯曲角度还不足以使微柱发生接触，只是石墨烯片(导电层)受到挤压，发生更多的重叠面积，导致传感器的阻值减小；第二阶段，进一步增加弯曲角度会造成微柱发生接触，且随着弯曲角度不断增大，微柱间接触的面积不断增加，传感器的阻值迅速减小，灵敏度提高。
在本发明另一实施例中，对双向弯曲柔性传感器的制备步骤进行说明，具体地，在厚度为0.13mm的PI薄膜上加工石墨烯导电层。首先，清洗PI薄膜表面的杂质，将PI薄膜放置在异丙醇溶液中，使用超声清洗仪清洗15分钟；然后，用去离子水冲去异丙醇溶液，用氮气将PI薄膜吹干，放置在加热台上；接着，配置氧化石墨烯溶液，向烧杯中加入2ml的浓度为2mg/ml的氧化石墨烯分散液，再加入5ml的四氢呋喃做分散剂，将烧杯放置在超声清洗仪中超声30分钟，使氧化石墨烯片均匀分散在四氢呋喃中；进一步地，使用针管通过手工注射的方式，将石墨烯溶按照预先设计好的尺寸均匀液浇在PI薄膜上，四氢呋喃的沸点是65℃，将加热台温度设定到100℃，加热一小时至四氢呋喃完全蒸发；接下来还原氧化石墨烯，由于氧化石墨烯具有亲水性，在分散液中能均匀分散，但氧化石墨烯的导电性能很差，因此需要通过还原工艺，将氧化石墨烯层还原成导电的石墨烯层。还原氧化石墨烯的工艺有很多，如化学试剂还原、高温加热还原和激光还原等，本发明实施例采用激光还原方法，使用VigoEngraver软件连接激光雕刻机，将预先设计的图形输入到软件中，设置参数，将激光功率设定为200mW，采用线性雕刻进行还原。需要说明的是，上述实施例描述的是一次还原工艺的过程，在本发明实施例中，每层氧化石墨烯需要进行三次还原工艺，以确保石墨烯层完全导电。
在加工完导电石墨烯层之后，在石墨烯层上加工阵列式微柱。首先，配置加工微柱的材料，通过PDMS和碳纳米颗粒混合制备复合导电材料，将PDMS主液和固化剂按质量比10：1的比例加入容器中，手动搅拌15分钟，将碳纳米颗粒加入到PDMS溶液中，其中，碳颗粒质量占混合液总质量的5％。使用磁力搅拌机搅拌15分钟，放入抽真空容器中除气泡1小时。在复合导电材料制备完成以后，采用三轴点胶机，将复合导电材料按照预先设计的阵列打印到石墨烯层上。然后，将传感器放置在加热台上，将加热台的温度设定为80℃，加热2小时，使复合导电材料固化成微柱。
进一步地，在本发明实施例中，还需要对双向弯曲柔性传感器进行封装，在石墨烯层的左右两侧的空白PI薄膜区域贴上导电铜胶带，再用导电银胶将铜胶带和石墨烯连接起来，然后将PDMS溶液浇筑到铜胶带和石墨烯层的连接区域，形成一层保护膜，使连接更稳定，从而完成封装。
在上述实施例的基础上，图6为本发明另一实施例提供的双向弯曲柔性传感器的结构示意图，可参考图6所示，在本发明实施例中，所述柔性基底601的上端设置有第一阵列式微柱6021和第一导电层6031；所述柔性基底601的下端设置有第二阵列式微柱6022和第二导电层6032。
图7为本发明实施例提供的手语识别系统的结构示意图，如图7所示，本发明实施例提供了一种手语识别系统，包括：
肢体姿态传感器701、手语识别模块702和上述各实施例所述的双向弯曲柔性传感器制备的可穿戴手势识别设备703；
所述肢体姿态传感器701是由三轴加速度计和陀螺仪构成，佩戴在用户的手臂处，用于在用户进行手语时，对手臂在旋转和倾斜产生的肢体信号进行采集，并将采集到的肢体信号发送到所述手语识别模块702；
所述可穿戴手势识别设备703是基于人体手型制备而成的，穿戴在用户的手掌上，用于在用户进行手语时，对手指发生手势变化产生的手势信号进行采集，并将采集到的手势信号发送到所述手语识别模块702；
所述手语识别模块702，用于对所述肢体信号和所述手势信号进行融合，得到连续词手势信号，并对所述连续词手势信号进行提取，得到孤立词手势信号，以根据所述孤立词手势信号识别得到手语识别结果，并根据得到的手语识别结果，生成手语对应的文字信息或语音信息；其中，所述连续词手势信号是融合后的肢体信号和手势信号的手势序列，所述孤立词手势信号是根据所述手势序列提取得到的单个手势融合信号。
在本发明实施例中，用户需要将可穿戴手势识别设备703穿戴在手掌，该可穿戴手势识别设备703上每个手部关节处都有一个跟踪关节运动的双向弯曲柔性传感器，具体地，图8为本发明实施例提供的基于双向弯曲柔性传感的可穿戴手语识别设备的示意图，可参考图8所示，所述可穿戴手势识别设备是由15个所述双向弯曲柔性传感器和1个数据采集器构成的，其中，所述双向弯曲柔性传感器分别设置在可穿戴手势识别设备的手指关节、指掌连接关节处和手腕处，再加上一层织物手套保护双向弯曲柔性传感器，通过手腕处的数据采集器来采集信号。当某一个关节处发生弯曲时，对应位置的双向弯曲柔性传感器就会发生弯曲，产生电信号变化，弯曲的角度与电信号的变化是线性相关，且弯曲的程度越大，产生的电信号变化就越明显。
进一步地，在手语交流中，肢体动作也发挥着重要的作用，为了感知手肘、胳膊等肢体部位的姿态变化，将肢体姿态传感器701佩戴在手臂或手肘处，图9为本发明实施例提供的肢体姿态传感器的佩戴示意图，可参考图9所示，肢体姿态传感器701用来检测手臂的旋转和倾斜情况，并将采集到的信号通过该传感器中的蓝牙模块传输到手语识别模块702。肢体姿态传感器701利用三轴加速度计来测量手臂的倾斜角，利用三轴陀螺仪来计算手肘旋转角度，从而将三轴加速度计与三轴陀螺仪配合使用，以实现对动作复杂的手语的解读。如手语中的“我们”，表示方式就是一手食指先指向自己胸部，然后手掌向下，在胸前平行转一圈，像这样复杂的手语仅靠可穿戴手势识别设备703无法正确翻译，需要借助陀螺仪来感知手掌下翻，借助加速度计感知手臂在胸前平行的画圈动作。因此，通过肢体姿态传感器701和可穿戴手势识别设备703的组合，将手部数据和肢体数据融合在一起分析手语，然后通过机器学习算法来学习并识别手语，最后通过手机或平板等移动终端设备实时获取识别后的手语翻译，从而更加准确地识别手语动作。在本发明实施例中，可穿戴手势识别设备703的数据是15个应变传感器的电信号变化，通过观察电流的变化可以实时解读出手势含义；肢体姿态传感器701通过加速度机和陀螺仪来计算手臂弯曲程度和旋转角度，从而间接确定手臂在空间中的位置；同时分析肢体姿态传感器701和可穿戴手势识别设备703的数据，将两者表达的动作组合起来，才能准确识别手语。
本发明实施例提供的一种手语识别系统，将手部数据和肢体数据进行融合识别，采用机器学习识别算法对手势数据进行识别，提高了识别的准确率，具有受环境因素干扰小、实时识别率高的特点。
图10为本发明实施例提供的手语识别方法的流程示意图，如图10所示，本发明实施例提供了一种手语识别方法，包括：
步骤1001，获取目标手语的肢体信号和手势信号；
步骤1002，基于训练好的手语识别神经网络模型，对所述肢体信号和所述手势信号进行融合，得到连续词手势信号，并对所述连续词手势信号进行提取，得到孤立词手势信号，以根据所述孤立词手势信号识别得到所述目标手语的手语识别结果；其中，所述连续词手势信号是融合后的肢体信号和手势信号的手势序列，所述孤立词手势信号是根据所述手势序列提取得到的单个手势融合信号，所述训练好的手语识别神经网络模型是由样本肢体信号和样本手势信号训练得到的。
在本发明实施例中，基于神经网络模型构建手语识别神经网络模型，将样本肢体信号和样本手势信号组成样本训练集，对神经网络模型进行训练，从而得到训练好的手语识别神经网络模型。具体地，首先对孤立词手势进行识别，在采集不同手势的手套数据样本(样本手势信号)和样本肢体信号之后，对两项数据样本进行预处理，合并两项数据样本，提取其中有用的数据项，并对数据的格式和长度等进行标准化；进一步地，利用机器学习算法对数据进行特征提取和学习，不断调整算法参数，重复迭代后得到可以识别的单个手势的识别模型(即训练好的手语识别神经网络模型)，并用测试集数据对算法识别准确率进行测试。
进一步地，当上述训练好的手语识别神经网络模型获取到目标手语的肢体信号和手势信号之后，首先将肢体信号和手势信号进行融合，得到融合后的肢体信号和手势信号的手势序列。对于连续词手势识别工作，手势分割是一个关键问题，其难点在于如何智能化、自动对手势序列进行切分，减少人为辅助判断，以及如何在切分手势的同时直接输出每一个手势的识别结果。该模型的最终目标是，在连续的手势序列中切分提取出有效的孤立词手势进行识别并输出结果，并将识别结果与手语数据库进行匹配，如果匹配成功，就将对应的手语含义翻译为对应的语音或文字，并通过发送到用户终端。优选地，当手势不标准时，导致匹配失败，则通过用户终端提示用户按照标准的手语动作重新表达。
本发明实施例提供的一种手语识别方法，将手部数据和肢体数据进行融合识别，采用机器学习识别算法对手势数据进行识别，提高了识别的准确率，具有受环境因素干扰小、实时识别率高的特点。
图11为本发明实施例提供的电子设备结构示意图，参照图11，该电子设备可以包括：处理器(processor)1101、通信接口(Communications Interface)1102、存储器(memory)1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信。处理器1101可以调用存储器1103中的逻辑指令，以执行如下方法：获取目标手语的肢体信号和手势信号；基于训练好的手语识别神经网络模型，对所述肢体信号和所述手势信号进行融合得到连续词手势信号，并对所述连续词手势信号进行提取，得到孤立词手势信号，以根据所述孤立词手势信号识别得到所述目标手语的手语识别结果；其中，所述连续词手势信号是融合后的肢体信号和手势信号的手势序列，所述孤立词手势信号是根据所述手势序列提取得到的单个手势融合信号，所述训练好的手语识别神经网络模型是由样本肢体信号和样本手势信号训练得到的。
此外，上述的存储器1103中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的手语识别方法，例如包括：获取目标手语的肢体信号和手势信号；基于训练好的手语识别神经网络模型，对所述肢体信号和所述手势信号进行融合得到连续词手势信号，并对所述连续词手势信号进行提取，得到孤立词手势信号，以根据所述孤立词手势信号识别得到所述目标手语的手语识别结果；其中，所述连续词手势信号是融合后的肢体信号和手势信号的手势序列，所述孤立词手势信号是根据所述手势序列提取得到的单个手势融合信号，所述训练好的手语识别神经网络模型是由样本肢体信号和样本手势信号训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种双向弯曲柔性传感器，其特征在于，包括柔性基底、阵列式微柱和导电层，其中：
所述柔性基底构成双向弯曲柔性传感器的底层；
所述阵列式微柱设置在所述柔性基底上，为多个微柱按照预设高度阵列排列而成的，相邻微柱之间相隔预设间距，所述微柱为柔性复合导电材料；
所述导电层为纳米片导电材料，填充在每个微柱之间，且所述导电层的厚度小于所述阵列式微柱的高度，所述导电层的两端分别设置有电极引线。
2.根据权利要求1所述的双向弯曲柔性传感器，其特征在于，所述纳米片导电材料包括：石墨烯片和片状银粉。
3.根据权利要求1所述的双向弯曲柔性传感器，其特征在于，所述柔性复合导电材料是由导电微纳米颗粒和硅橡胶类有机材料混合制备得到的。
4.根据权利要求1所述的双向弯曲柔性传感器，其特征在于，所述柔性基底的基底材料包括聚偏氟乙烯、硅橡胶和聚酰亚胺中任意一种。
5.根据权利要求1所述的双向弯曲柔性传感器，其特征在于，所述柔性基底的上端设置有第一阵列式微柱和第一导电层；所述柔性基底的下端设置有第二阵列式微柱和第二导电层。
6.一种手语识别系统，其特征在于，包括：
肢体姿态传感器、手语识别模块和根据权利要求1至5任一项所述的双向弯曲柔性传感器制备的可穿戴手势识别设备；
所述肢体姿态传感器是由三轴加速度计和陀螺仪构成，佩戴在用户的手臂处，用于在用户进行手语时，对手臂在旋转和倾斜产生的肢体信号进行采集，并将采集到的肢体信号发送到所述手语识别模块；
所述可穿戴手势识别设备是基于人体手型制备而成的，穿戴在用户的手掌上，用于在用户进行手语时，对手指发生手势变化产生的手势信号进行采集，并将采集到的手势信号发送到所述手语识别模块；
所述手语识别模块，用于对所述肢体信号和所述手势信号进行融合，得到连续词手势信号，并对所述连续词手势信号进行提取，得到孤立词手势信号，以根据所述孤立词手势信号识别得到手语识别结果，并根据得到的手语识别结果，生成手语对应的文字信息或语音信息；其中，所述连续词手势信号是融合后的肢体信号和手势信号的手势序列，所述孤立词手势信号是根据所述手势序列提取得到的单个手势融合信号。
7.根据权利要求6所述的手语识别系统，其特征在于，所述可穿戴手势识别设备是由15个所述双向弯曲柔性传感器和1个数据采集器构成的，其中，所述双向弯曲柔性传感器分别设置在可穿戴手势识别设备的手指关节、指掌连接关节处和手腕处。
8.一种基于权利要求6或7所述的手语识别系统的手语识别方法，其特征在于，包括：
获取目标手语的肢体信号和手势信号；
基于训练好的手语识别神经网络模型，对所述肢体信号和所述手势信号进行融合，得到连续词手势信号，并对所述连续词手势信号进行提取，得到孤立词手势信号，以根据所述孤立词手势信号识别得到所述目标手语的手语识别结果；其中，所述连续词手势信号是融合后的肢体信号和手势信号的手势序列，所述孤立词手势信号是根据所述手势序列提取得到的单个手势融合信号，所述训练好的手语识别神经网络模型是由样本肢体信号和样本手势信号训练得到的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求8所述手语识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求8所述手语识别方法的步骤。
CN202010608605.4A 2020-06-29 2020-06-29 一种双向弯曲柔性传感器、手语识别系统及方法 Active CN111722723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608605.4A CN111722723B (zh) 2020-06-29 2020-06-29 一种双向弯曲柔性传感器、手语识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608605.4A CN111722723B (zh) 2020-06-29 2020-06-29 一种双向弯曲柔性传感器、手语识别系统及方法

Publications (2)

Publication Number Publication Date
CN111722723A true CN111722723A (zh) 2020-09-29
CN111722723B CN111722723B (zh) 2021-07-13

Family

ID=72571798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608605.4A Active CN111722723B (zh) 2020-06-29 2020-06-29 一种双向弯曲柔性传感器、手语识别系统及方法

Country Status (1)

Country Link
CN (1) CN111722723B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113456433A (zh) * 2021-08-13 2021-10-01 北京大学人民医院 电信号采集器及人机交互界面型外骨骼康复系统
CN114674466A (zh) * 2022-03-23 2022-06-28 中山大学 柔性导电微米柱的电容-压阻双模应力传感器及制备方法
DE102021112608A1 (de) 2021-05-14 2022-11-17 Technische Hochschule Köln, Körperschaft des öffentlichen Rechts Vorrichtung zur Strukturüberwachung einer Oberfläche

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457068A (zh) * 2002-05-08 2003-11-19 英华达股份有限公司 触控面板的结构
US20130075848A1 (en) * 2005-04-27 2013-03-28 Lawrence Livermore National Security, Llc Three-dimensional boron particle loaded thermal neutron detector
CN103134622A (zh) * 2013-01-31 2013-06-05 中国科学院合肥物质科学研究院 三维柔性触觉传感器阵列
CN106052544A (zh) * 2016-05-18 2016-10-26 郑州大学 一种柔性可穿戴应变传感器及其制备方法
CN106768520A (zh) * 2016-12-28 2017-05-31 中国科学院深圳先进技术研究院 压力传感器及其制备方法
CN106782093A (zh) * 2017-01-04 2017-05-31 昆山国显光电有限公司 一种柔性屏、柔性显示装置及弯曲方向识别方法
US20170170099A1 (en) * 2015-12-11 2017-06-15 I-Shou University Interposer structure and manufacturing method thereof
CN107678550A (zh) * 2017-10-17 2018-02-09 哈尔滨理工大学 一种基于数据手套的手语手势识别系统
US20180192911A1 (en) * 2017-01-10 2018-07-12 Korea Electronics Technologies Institute Sensors for measuring skin conductivity and methods for manufacturing the same
CN108332888A (zh) * 2017-01-20 2018-07-27 中国科学院物理研究所 一种全碳气凝胶压力传感器
CN108664129A (zh) * 2018-07-04 2018-10-16 北京工业大学 一种基于手势识别手套的可学习数据采集系统及实现方法
CN109612383A (zh) * 2018-12-25 2019-04-12 国家纳米科学中心 一种应变传感器及其制备方法
CN109901708A (zh) * 2018-12-28 2019-06-18 北京邮电大学 一种柔性智能手套
CN110526237A (zh) * 2019-09-03 2019-12-03 北京化工大学 一种制备贵金属/石墨烯复合纳米材料的装置及方法
CN110865709A (zh) * 2019-11-15 2020-03-06 苏州大学 基于柔性传感器的手势识别系统、方法及手套

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457068A (zh) * 2002-05-08 2003-11-19 英华达股份有限公司 触控面板的结构
US20130075848A1 (en) * 2005-04-27 2013-03-28 Lawrence Livermore National Security, Llc Three-dimensional boron particle loaded thermal neutron detector
CN103134622A (zh) * 2013-01-31 2013-06-05 中国科学院合肥物质科学研究院 三维柔性触觉传感器阵列
US20170170099A1 (en) * 2015-12-11 2017-06-15 I-Shou University Interposer structure and manufacturing method thereof
CN106052544A (zh) * 2016-05-18 2016-10-26 郑州大学 一种柔性可穿戴应变传感器及其制备方法
CN106768520A (zh) * 2016-12-28 2017-05-31 中国科学院深圳先进技术研究院 压力传感器及其制备方法
CN106782093A (zh) * 2017-01-04 2017-05-31 昆山国显光电有限公司 一种柔性屏、柔性显示装置及弯曲方向识别方法
US20180192911A1 (en) * 2017-01-10 2018-07-12 Korea Electronics Technologies Institute Sensors for measuring skin conductivity and methods for manufacturing the same
CN108332888A (zh) * 2017-01-20 2018-07-27 中国科学院物理研究所 一种全碳气凝胶压力传感器
CN107678550A (zh) * 2017-10-17 2018-02-09 哈尔滨理工大学 一种基于数据手套的手语手势识别系统
CN108664129A (zh) * 2018-07-04 2018-10-16 北京工业大学 一种基于手势识别手套的可学习数据采集系统及实现方法
CN109612383A (zh) * 2018-12-25 2019-04-12 国家纳米科学中心 一种应变传感器及其制备方法
CN109901708A (zh) * 2018-12-28 2019-06-18 北京邮电大学 一种柔性智能手套
CN110526237A (zh) * 2019-09-03 2019-12-03 北京化工大学 一种制备贵金属/石墨烯复合纳米材料的装置及方法
CN110865709A (zh) * 2019-11-15 2020-03-06 苏州大学 基于柔性传感器的手势识别系统、方法及手套

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊耀旭等: "微纳结构柔性压力传感器的制备及应用", 《化学进展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021112608A1 (de) 2021-05-14 2022-11-17 Technische Hochschule Köln, Körperschaft des öffentlichen Rechts Vorrichtung zur Strukturüberwachung einer Oberfläche
WO2022238531A1 (de) 2021-05-14 2022-11-17 Technische Hochschule Köln Vorrichtung zur strukturüberwachung einer oberfläche
CN113456433A (zh) * 2021-08-13 2021-10-01 北京大学人民医院 电信号采集器及人机交互界面型外骨骼康复系统
CN113456433B (zh) * 2021-08-13 2023-06-23 北京大学人民医院 电信号采集器及人机交互界面型外骨骼康复系统
CN114674466A (zh) * 2022-03-23 2022-06-28 中山大学 柔性导电微米柱的电容-压阻双模应力传感器及制备方法

Also Published As

Publication number Publication date
CN111722723B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN111722723B (zh) 一种双向弯曲柔性传感器、手语识别系统及方法
Zhu et al. Haptic-feedback smart glove as a creative human-machine interface (HMI) for virtual/augmented reality applications
Das et al. A laser ablated graphene-based flexible self-powered pressure sensor for human gestures and finger pulse monitoring
Xue et al. Multimodal human hand motion sensing and analysis—A review
Luo et al. Machine-learning-assisted recognition on bioinspired soft sensor arrays
Yang et al. In situ polymerized MXene/polypyrrole/hydroxyethyl cellulose-based flexible strain sensor enabled by machine learning for handwriting recognition
Lin et al. Study on a paper-based piezoresistive sensor applied to monitoring human physiological signals
Xu et al. Recent progress of tactile and force sensors for human–machine interaction
Yoon et al. MultiSoft: Soft sensor enabling real-time multimodal sensing with contact localization and deformation classification
Pan et al. State-of-the-art in data gloves: a review of hardware, algorithms, and applications
CN110411623A (zh) 高灵敏柔性压阻传感器、及其制备方法和应用
Shin et al. Hand gesture recognition using EGaIn-silicone soft sensors
Antillon et al. The challenges of hand gesture recognition using dielectric elastomer sensors
Rocha et al. Soft-matter sensor for proximity, tactile and pressure detection
Zheng et al. Stretchable self-adhesive and self-powered smart bandage for motion perception and motion intention recognition
Guo et al. Design and manufacture of data gloves for rehabilitation training and gesture recognition based on flexible sensors
Ye et al. Multimodal integrated flexible electronic skin for physiological perception and contactless kinematics pattern recognition
Alshawabkeh et al. Highly stretchable additively manufactured capacitive proximity and tactile sensors for soft robotic systems
He et al. A smart pen based on triboelectric effects for handwriting pattern tracking and biometric identification
CN107247523B (zh) 一种多阵列的指尖触觉交互装置
Fujiwara et al. Identification of hand gestures using the inertial measurement unit of a smartphone: a proof-of-concept study
Tang et al. Design of robot finger based on flexible tactile sensor
Liu et al. Machine-learning assisted handwriting recognition using graphene oxide-based hydrogel
Cui et al. Recent Developments in Impedance-based Tactile Sensors: A Review
CN116185195A (zh) 一种基于多模态柔性传感的可穿戴手势交互系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant