CN107765850A - 一种基于电子皮肤及多传感融合的手语识别系统 - Google Patents

一种基于电子皮肤及多传感融合的手语识别系统 Download PDF

Info

Publication number
CN107765850A
CN107765850A CN201710867451.9A CN201710867451A CN107765850A CN 107765850 A CN107765850 A CN 107765850A CN 201710867451 A CN201710867451 A CN 201710867451A CN 107765850 A CN107765850 A CN 107765850A
Authority
CN
China
Prior art keywords
sign language
information
sensor
module
electronic skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710867451.9A
Other languages
English (en)
Inventor
肖彼得
蒋烁
谷国迎
李灵
徐俊凯
朱雨卉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201710867451.9A priority Critical patent/CN107765850A/zh
Publication of CN107765850A publication Critical patent/CN107765850A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass

Abstract

本发明提供了一种基于电子皮肤及多传感融合的手语识别系统，前端传感器模块用于采集手指运动信息、腕部运动信息以及手臂运动信息构成手部运动信息；内部集成处理器模块对接收到的手部运动信息进行解码翻译；手语翻译结果展示模块用于展示。本发明为聋哑人与正常人之间交流搭起沟通的桥梁，因信号采集设备从外观上看只用了电子皮肤和手环，故对用户的干扰更小，适合长时间佩戴，具有柔性、成本低等特点；采用可穿戴式方案，不受外界环境光照以及背景复杂度影响；前端传感器模块捕捉信号更为直接，精度更加准确；在翻译结果展示方面，引入可显示文字的T恤,为讲话不方便的场景提供了便利；本发明也可用于虚拟现实等领域。

Description

一种基于电子皮肤及多传感融合的手语识别系统
技术领域
本发明涉及人机交互技术领域，具体地，涉及一种基于电子皮肤及多传感融合的手语识别系统。
背景技术
手语是通过手势变化来模拟形象或音节，为聋哑人提供交流的一种方式。因其正常人群体中掌握的比例较低，故聋哑人和正常人之间的沟通存在障碍。
通过手语识别系统，将手语动作翻译为正常人可以理解的文字或语音，可以方便聋哑人与正常人之间的沟通交流，具有显著的需求和社会意义。
经过现有技术的文献检索发现：
申请号是CN201010606052.5，专利公开号是CN102063825A，专利名称为一种基于数据手套的手语识别装置，该专利提出将5个电阻应变片及加速度传感器集成于手套中，来解码手语动作。其不足在于手套阻碍了用户的运动与温度触觉等信息的感知，不方便长时间佩戴。且数据手套并不能解码腕部运动信息，进一步影响了解码效果。
申请号是CN201610883613.3，公开号是CN106446861A，专利名称为一种手语识别系统、装置及方法，该专利提出利用图像信息来实现手语识别。其不足在于图像信息容易收到外界环境，以及光照的影响，应用场景受限，且图像信息容易涉及隐私等问题，在一定的场景下比较受限。
申请号是CN201610777204.5，专利公开号是CN106200988A，专利名称为一种可穿戴式手语识别装置及手语翻译方法，该专利提出包含手臂肌肉电信号的臂环和运动传感器的指环来解码手语。其不足在于肌肉电信号是时变非平稳信号，容易受到出汗等外界变化的影响，对于大量不同的手势动作解码能力有限。
手语识别因手势动作繁多，部分动作之间相似度高等特点，实现起来有一定难度，以传统单一电子皮肤为代表的手语识别装置，存在不能识别腕部信息等缺点，而该信息对于手语识别又具有至关重要的作用。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种基于电子皮肤及多传感融合的手语识别系统。该系统在国内外首次提出基于电子皮肤、腕部压力以及惯性测量单元多传感融合的方式，克服了现有技术中的缺陷，填补了现有技术中的空白。
本发明是通过以下技术方案实现的。
一种基于电子皮肤及多传感融合的手语识别系统，其特征在于，包括前端传感器模块、内部集成处理器模块以及手语翻译结果展示模块；其中：
所述前端传感器模块包括：软体电阻型传感器、压力传感测量阵列以及惯性测量单元；
所述软体电阻型传感器用于测量皮肤拉伸量，并通过皮肤拉伸量还原手指运动信息；
所述压力传感器阵列用于测量腕部肌腱与压力传感测量阵列之间的压力分布变化，通过压力分布变化还原腕部运动信息并为手指运动提供辅助信息；
所述惯性测量单元用于测量手臂运动信息及手部在空间的姿态信息；
所述手指运动信息、腕部运动信息以及手臂运动信息及手部在空间的姿态信息构成手部运动信息，并发送至内部集成处理器模块；所述内部集成处理器模块对接收到的手部运动信息进行解码翻译，并将翻译结果发送至手语翻译结果展示模块进行展示。
优选地，所述软体电阻型传感器包括电阻、导线以及传感器基底层；其中：所述电阻的两端与导线相连接；所述电阻、导线构成子部件；所述传感器基底层为多个；所述子部件设置在传感器基底层之间。
优选地，当手指运动时，软体电阻型传感器因贴于皮肤表面会随皮肤一起拉伸，基于软体电阻型传感器本身可拉伸特性，促使电阻发生变化，进而形成皮肤拉伸量测量。
优选地，所述惯性测量单元包括集成的加速度计、陀螺仪和地磁计。
优选地，所述内部集成处理器模块包括电池、通讯模块和信息处理器；其中：
所述电池用于向前端传感器模块和/或内部集成处理器模块供电；
所述通讯模块用于提供前端传感器模块、内部集成处理器模块和/或手语翻译结果展示模块之间的无线通讯；
所述信息处理器用于解码翻译手部运动信息。
优选地，所述电池采用3.7V锂电池。
优选地，所述通讯模块采用蓝牙设备。
优选地，所述信息处理器采用意法半导体STM32。
优选地，所述手语翻译结果展示模块包括如下任意一个或任意多个展示单元：
-听觉信息展示单元；
-视觉信息展示单元。
优选地，所述听觉信息展示单元采用扬声器。
优选地，所述视觉信息展示单元采用能够显示文字信息的T恤衫，其中，能够显示文字信息的T恤衫采用LED灯珠阵列结构显示文字信息。
优选地，所述听觉信息展示单元和/或视觉信息展示单元采用智能移动终端。
优选地，所述基于电子皮肤及多传感融合的手语识别系统，还包括手环，所述前端传感器模块的压力传感器测量阵列和惯性测量单元以及内部集成处理器模块分别设置于手环上；所述前端传感器模块的软体电阻型传感器通过柔性软排线与内部集成处理器模块相连接。
优选地，所述压力传感器测量阵列分布于手环的内表面上。
优选地，还包括振动反馈器，所述振动反馈器设置于手环上，并与内部集成处理器模块相连接，用于向用户提供信息反馈振动提示。
本发明提供的基于电子皮肤及多传感融合的手语识别系统，以柔性传感器为主的电子皮肤来检测手指的运动，用压力传感器来检测手腕的运动，用惯性测量单元来检测手部大范围的运动。将这三者结合，接近完整地还原出整个手部的运动，进而用于手语翻译。
本发明搭建起聋哑人和正常人沟通的桥梁，将聋哑人平时交流的手语通过传感器捕捉信号，解码翻译，再通过语音或者文字的方式显示出来，方便聋哑人与正常人之间的沟通。
与现有技术相比，本发明具有如下的有益效果：
1、本发明主要基于软体电阻型传感器作为柔性电子皮肤，适合日常生活中长时间佩戴，且对用户的干扰更小；
2、与摄像头解决方案相比，本发明采用可穿戴式，不受外界环境光照以及背景复杂度影响以及不涉及隐私问题；
3、与数据手套相比，本发明具有柔性、成本低等特点，且对用户的干扰更小；
4、与肌电方案相比，前端传感器模块捕捉信号更为直接，精度更加准确；
5、通过手语翻译结果展示模块展示翻译结果，为讲话不方便的场景提供了便利；
6、本发明也可用于虚拟现实等领域。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明结构及工作关系示意图。
图中，1为软体电阻型传感器，2为手环，3为柔性软排线，4为压力传感器测量阵列，5为惯性测量单元，6为蓝牙设备，7为振动反馈器，8为电池，9为信息处理器，10为扬声器，11为能够显示文字的T恤衫，12为LED灯珠阵列结构，13为移动终端。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
实施例
本实施例提供了一种基于电子皮肤及多传感融合的手语识别系统，包括前端传感器模块、内部集成处理器模块以及手语翻译结果展示模块；其中：
所述前端传感器模块包括：软体电阻型传感器、压力传感测量阵列以及惯性测量单元；
所述软体电阻型传感器用于测量皮肤拉伸量，并通过皮肤拉伸量还原手指运动信息；
所述压力传感器阵列用于测量腕部肌腱与压力传感测量阵列之间的压力分布变化，通过压力分布变化还原腕部运动信息并为手指运动提供辅助信息；
所述惯性测量单元用于测量手臂运动信息及手部在空间的姿态信息；
所述手指运动信息、腕部运动信息以及手臂运动信息及手部在空间的姿态信息构成手部运动信息，并发送至内部集成处理器模块；所述内部集成处理器模块对接收到的手部运动信息进行解码翻译，并将翻译结果发送至手语翻译结果展示模块进行展示。
进一步地，当手指运动时，软体电阻型传感器因贴附于皮肤表面会随皮肤一起拉伸，基于其本身可拉伸特性，促使电阻发生变化，进而形成皮肤拉伸量测量。
进一步地，所述软体电阻型传感器，其制备方法包括如下步骤：
保护层形成步骤：在基板上铺垫保护层；
牺牲层形成步骤：在保护层上形成牺牲层，并使牺牲层固化；
传感器基底层形成步骤：在牺牲层上形成传感器基底层，并使传感器基底层固化；
传感器基底层分离步骤：去除牺牲层，并将传感器基底层分离出来；
器件形成步骤：将电阻与导线设置在传感器基底层上，并用另一个传感器基底层进行密封。
进一步地，所述软体电阻型传感器，由如下具体细化步骤组成；
保护层形成步骤：在基板上铺垫保护层；
牺牲层形成步骤：在保护层上形成牺牲层，并使牺牲层固化；
传感器基底层形成步骤：在牺牲层上形成传感器基底层，并使传感器基底层固化；
传感器基底层分离步骤：去除牺牲层，并将传感器基底层分离出来；
器件形成步骤：将电阻与导线设置在传感器基底层上，并用另一个传感器基底层进行密封。
进一步地，所述保护层采用PET塑料薄膜；
所述传感器基底层采用硅胶材料；
所述电阻采用碳脂材料；
所述导线采用铜镍布。
进一步地，所述软体电阻型传感器是上述软体电阻型传感器的制备方法制造出的传感器。
进一步地，所述的软体电阻型传感器，包括电阻、导线；
所述电阻的两端与导线相连接；
所述电阻、导线构成子部件；
所述软体电阻型传感器，还包括传感器基底层；
所述传感器基底层为多个；
所述子部件设置在传感器基底层之间。
进一步地，所述软体电阻型传感器由电阻、导线以及传感器基底层组成；
所述电阻的两端与导线相连接；
所述电阻、导线构成子部件；
所述传感器基底层为多个；
所述子部件设置在传感器基底层之间。
本实施例中，使用的软体电阻型传感器，其制备方法中利用工业涂布机制作硅胶薄膜作为传感器的基底，在两层硅胶薄膜中间使用碳脂作为导电电阻，通过铜镍导电布制成的导线与外部电子元件相连接。相比于现有制备方法，本实施例提供的制备方法制作流程简便，得到的软体电阻型传感器可以使用于大变形条件，传感器性能更稳定，并且使传感器具有更薄的厚度及极高的透明度；另外，本实施例提供的软体电阻型传感器的制备方法得到的软体电阻型传感器，使用工业涂布机制作硅胶薄膜作为传感器的基底，其厚度可精确控制。通过这一制备方法制作出的传感器具有超薄的厚度，高透明度，优良的拉伸性，优秀的测量精度，该传感器在人体运动时仍能与皮肤保持紧密的接触，不会产生脱落或者失效。
进一步地，所述惯性测量单元包括集成的加速度计、陀螺仪和地磁计。
进一步地，所述内部集成处理器模块包括电池、通讯模块和信息处理器；其中：
所述电池用于向前端传感器模块和/或内部集成处理器模块供电；
所述通讯模块用于提供前端传感器模块、内部集成处理器模块和/或手语翻译结果展示模块之间的无线通讯；
所述信息处理器用于解码翻译手部运动信息。
进一步地，所述电池采用3.7V锂电池。
进一步地，所述通讯模块采用蓝牙设备。
进一步地，所述信息处理器采用意法半导体STM32。
进一步地，所述手语翻译结果展示模块包括如下任意一个或任意多个展示单元：
-听觉信息展示单元；
-视觉信息展示单元。
进一步地，所述听觉信息展示单元采用扬声器。
进一步地，所述视觉信息展示单元采用能够显示文字信息的T恤衫，其中，能够显示文字信息的T恤衫采用LED灯珠阵列结构显示文字信息。
进一步地，所述听觉信息展示单元和/或视觉信息展示单元采用智能移动终端。
进一步地，所述基于电子皮肤及多传感融合的手语识别系统，还包括手环，所述前端传感器模块的压力传感器测量阵列和惯性测量单元以及内部集成处理器模块分别设置于手环上；所述前端传感器模块的软体电阻型传感器通过柔性软排线与内部集成处理器模块相连接。
进一步地，所述压力传感器测量阵列分布于手环的内表面上。
进一步地，还包括振动反馈器，所述振动反馈器设置于手环上，并与内部集成处理器模块相连接，用于向用户提供信息反馈振动提示。
在信息反馈震动提示中，该振动反馈器的震动提示类似于手机中的振动，为用户提供反馈提示用，可类比于手机来电振动或短信振动等，比如内部集成处理器模块每翻译完一个句子或者有错误信息的时候，提供时间长短不同等振动信息，提示用户。
下面结合附图，对本实施例进一步描述。
本实施例提供的基于电子皮肤及多传感融合的手语识别系统，从功能上讲，本发明主要包含三部分：前端传感器模块A、内部集成处理器模块B、手语翻译结果展示模块C。
其中，前端传感器模块用于采集手部运动信息，该部分包括软体电阻型传感器1、压力传感器测量阵列4和惯性测量单元5。其中，软体电阻型传感器主要是用于测量皮肤拉伸量，通过皮肤拉伸量来还原出手指运动信息。压力传感器测量阵列主要测量腕部肌腱与手环(即压力传感器测量阵列)之间的压力分布变化，通过压力分布变化还原腕部运动信息(解码腕部运动信息)。惯性测量单元包括集成的加速度计，陀螺仪和地磁计，主要用于还原手部大范围运动信息(解码手部大范围运动信息)。
内部集成处理器模块主要为整个系统供电，提供无线传输以及处理手部运动信息并解码，该部分主要包括：通讯模块(蓝牙设备6)、电池8、信息处理器9。
手语翻译结果展示模块，主要用于展示翻译结果，可以是听觉信息，也可以是视觉信息，该部分主要包括：听觉信息展示单元C1(扬声器10)、视觉信息展示单元C2(能够显示文字的T恤衫11)。
其中，能够显示文字的T恤衫主要采用LED灯珠阵列结构12显示文字。
听觉信息展示单元和视觉信息展示单元也可以采用智能移动终端C3，例如手机、平板电脑等。
本实施例提供的手环，其内既包含信息处理器等，也包含传感器(例如压力传感器以及惯性传感器)。
本实施例提供的基于电子皮肤及多传感融合的手语识别系统，以软体电阻型传感器为主的电子皮肤来检测手指的运动，用压力传感器来检测手腕的运动，用惯性测量单元来检测手部大范围的运动。将这三者结合，接近完整地还原出整个手部的运动，进而用于手语翻译。
本实施例搭建起聋哑人和正常人沟通的桥梁，将聋哑人平时交流的手语通过传感器捕捉信号，解码翻译，再通过语音或者文字的方式显示出来，方便聋哑人与正常人之间的沟通。
本实施例提供的一种基于电子皮肤及多传感融合的手语识别系统，包括前端传感器模块、内部集成处理器模块以及手语翻译结果展示模块；前端传感器模块用于采集手指运动信息、腕部运动信息以及手臂运动信息构成手部运动信息，并发送至内部集成处理器模块；内部集成处理器模块对接收到的手部运动信息进行解码翻译，并将翻译结果发送至手语翻译结果展示模块进行展示。本实施例为聋哑人与正常人之间交流搭起沟通的桥梁，因信号采集设备从外观上看只用了电子皮肤和手环，故相比于数据手套等方案对用户的干扰更小，适合日常生活中长时间佩戴，具有柔性、成本低等特点；采用可穿戴式方案，相比于摄像头等视觉方案，不受外界环境光照以及背景复杂度影响；相比于肌肉电信号等方案，前端传感器模块捕捉信号更为直接，精度更加准确；在翻译结果展示方面，引入可显示文字的T恤，为讲话不方便的场景提供了便利；本实施例也可用于虚拟现实等领域。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于电子皮肤及多传感融合的手语识别系统，其特征在于，包括前端传感器模块、内部集成处理器模块以及手语翻译结果展示模块；其中：
所述前端传感器模块包括：软体电阻型传感器、压力传感测量阵列以及惯性测量单元；
所述软体电阻型传感器用于测量皮肤拉伸量，并通过皮肤拉伸量还原手指运动信息；
所述压力传感器阵列用于测量腕部肌腱与压力传感测量阵列之间的压力分布变化，通过压力分布变化还原腕部运动信息并为手指运动提供辅助信息；
所述惯性测量单元用于测量手臂运动信息及手部在空间的姿态信息；
所述手指运动信息、腕部运动信息以及手臂运动信息及手部在空间的姿态信息构成手部运动信息，并发送至内部集成处理器模块；所述内部集成处理器模块对接收到的手部运动信息进行解码翻译，并将翻译结果发送至手语翻译结果展示模块进行展示。
2.根据权利要求1所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，所述软体电阻型传感器包括电阻、导线以及传感器基底层；其中：所述电阻的两端与导线相连接；所述电阻、导线构成子部件；所述传感器基底层为多个；所述子部件设置在传感器基底层之间；和/或
当手指运动时，软体电阻型传感器贴附于皮肤表面并随皮肤一起拉伸，基于软体电阻型传感器本身能够拉伸的特性，促使电阻发生变化，进而形成皮肤拉伸量测量。
3.根据权利要求1所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，所述惯性测量单元包括集成的加速度计、陀螺仪和地磁计。
4.根据权利要求1所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，所述内部集成处理器模块包括电池、通讯模块和信息处理器；其中：
所述电池用于向前端传感器模块和/或内部集成处理器模块供电；
所述通讯模块用于提供前端传感器模块、内部集成处理器模块和/或手语翻译结果展示模块之间的无线通讯；
所述信息处理器用于解码翻译手部运动信息。
5.根据权利要求4所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，还包括如下任意一项或任意多项特征：
-所述电池采用3.7V锂电池；
-所述通讯模块采用蓝牙设备；
-所述信息处理器采用意法半导体STM32。
6.根据权利要求1所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，所述手语翻译结果展示模块包括如下任意一个或任意多个展示单元：
-听觉信息展示单元；
-视觉信息展示单元。
7.根据权利要求6所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，所述听觉信息展示单元采用扬声器；和/或
所述视觉信息展示单元采用能够显示文字信息的T恤衫，其中，能够显示文字信息的T恤衫采用LED灯珠阵列结构显示文字信息。
8.根据权利要求6所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，所述听觉信息展示单元和/或视觉信息展示单元采用智能移动终端。
9.根据权利要求1至8中任意一项所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，所述基于电子皮肤及多传感融合的手语识别系统，还包括手环，所述前端传感器模块的压力传感器测量阵列和惯性测量单元以及内部集成处理器模块分别设置于手环上；所述前端传感器模块的软体电阻型传感器通过柔性软排线与内部集成处理器模块相连接。
10.根据权利要求9所述的基于电子皮肤及多传感融合的手语识别系统，其特征在于，还包括如下任意一项或任意多项特征：
-所述压力传感器测量阵列分布于手环的内表面上；
-还包括振动反馈器，所述振动反馈器设置于手环上，并与内部集成处理器模块相连接，用于向用户提供信息反馈振动提示。
CN201710867451.9A 2017-09-22 2017-09-22 一种基于电子皮肤及多传感融合的手语识别系统 Pending CN107765850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710867451.9A CN107765850A (zh) 2017-09-22 2017-09-22 一种基于电子皮肤及多传感融合的手语识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710867451.9A CN107765850A (zh) 2017-09-22 2017-09-22 一种基于电子皮肤及多传感融合的手语识别系统

Publications (1)

Publication Number Publication Date
CN107765850A true CN107765850A (zh) 2018-03-06

Family

ID=61266794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710867451.9A Pending CN107765850A (zh) 2017-09-22 2017-09-22 一种基于电子皮肤及多传感融合的手语识别系统

Country Status (1)

Country Link
CN (1) CN107765850A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983976A (zh) * 2018-07-09 2018-12-11 清华大学 柔性交互装置以及信息交互方法及装置
CN109124641A (zh) * 2018-06-27 2019-01-04 邹可权 一种智能手语感知手套及其制造工艺
CN109240508A (zh) * 2018-09-30 2019-01-18 清华大学 手背皮肤形变还原手指运动方法
CN109473016A (zh) * 2019-01-15 2019-03-15 刘净植 一种新型的听障、聋哑人群辅助安全与信息交流装置及方法
CN109567819A (zh) * 2018-11-28 2019-04-05 合肥工业大学 一种基于pvdf传感器阵列的可穿戴式装置
CN111281375A (zh) * 2020-03-09 2020-06-16 上海幂方电子科技有限公司 感测系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030049256A (ko) * 2001-12-14 2003-06-25 주식회사 지아이텍 수화번역장치 및 이를 이용한 데이터통신시스템
CN103345861A (zh) * 2013-06-26 2013-10-09 上海市七宝中学 手语翻译手套
CN204791666U (zh) * 2015-05-13 2015-11-18 郑州大学 一种便携式智能手语翻译装置
CN105096696A (zh) * 2015-07-31 2015-11-25 努比亚技术有限公司 一种基于智能手环的手语翻译装置和方法
CN105118356A (zh) * 2015-09-28 2015-12-02 王超 一种手语语音转换方法及装置
CN204881657U (zh) * 2015-06-09 2015-12-16 中国科学院深圳先进技术研究院 电阻应变片及电阻应变式传感器
CN105489088A (zh) * 2016-01-13 2016-04-13 宋纪元 一种语音仿生手语双向翻译系统
CN105807925A (zh) * 2016-03-07 2016-07-27 浙江理工大学 一种基于柔性电子皮肤的唇语识别系统及方法
CN106648050A (zh) * 2016-09-20 2017-05-10 浙江理工大学 基于柔性电子皮肤的多媒体电脑手势控制系统及控制方法
CN106898197A (zh) * 2017-03-28 2017-06-27 西安电子科技大学 一种聋哑人与正常人双向交流的设备
CN107067892A (zh) * 2017-03-15 2017-08-18 南昌大学 多信息融合手语翻译系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030049256A (ko) * 2001-12-14 2003-06-25 주식회사 지아이텍 수화번역장치 및 이를 이용한 데이터통신시스템
CN103345861A (zh) * 2013-06-26 2013-10-09 上海市七宝中学 手语翻译手套
CN204791666U (zh) * 2015-05-13 2015-11-18 郑州大学 一种便携式智能手语翻译装置
CN204881657U (zh) * 2015-06-09 2015-12-16 中国科学院深圳先进技术研究院 电阻应变片及电阻应变式传感器
CN105096696A (zh) * 2015-07-31 2015-11-25 努比亚技术有限公司 一种基于智能手环的手语翻译装置和方法
CN105118356A (zh) * 2015-09-28 2015-12-02 王超 一种手语语音转换方法及装置
CN105489088A (zh) * 2016-01-13 2016-04-13 宋纪元 一种语音仿生手语双向翻译系统
CN105807925A (zh) * 2016-03-07 2016-07-27 浙江理工大学 一种基于柔性电子皮肤的唇语识别系统及方法
CN106648050A (zh) * 2016-09-20 2017-05-10 浙江理工大学 基于柔性电子皮肤的多媒体电脑手势控制系统及控制方法
CN107067892A (zh) * 2017-03-15 2017-08-18 南昌大学 多信息融合手语翻译系统
CN106898197A (zh) * 2017-03-28 2017-06-27 西安电子科技大学 一种聋哑人与正常人双向交流的设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
N. SOONTRANON等: ""Improved face and hand tracking for sign language recognition"", 《INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY: CODING AND COMPUTING (ITCC"05) 》 *
曹建国等: ""电子皮肤触觉传感器研究进展与发展趋势"", 《哈尔滨工业大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109124641A (zh) * 2018-06-27 2019-01-04 邹可权 一种智能手语感知手套及其制造工艺
CN108983976A (zh) * 2018-07-09 2018-12-11 清华大学 柔性交互装置以及信息交互方法及装置
CN109240508A (zh) * 2018-09-30 2019-01-18 清华大学 手背皮肤形变还原手指运动方法
CN109567819A (zh) * 2018-11-28 2019-04-05 合肥工业大学 一种基于pvdf传感器阵列的可穿戴式装置
CN109473016A (zh) * 2019-01-15 2019-03-15 刘净植 一种新型的听障、聋哑人群辅助安全与信息交流装置及方法
CN111281375A (zh) * 2020-03-09 2020-06-16 上海幂方电子科技有限公司 感测系统

Similar Documents

Publication Publication Date Title
CN107765850A (zh) 一种基于电子皮肤及多传感融合的手语识别系统
US10446059B2 (en) Hand motion interpretation and communication apparatus
CN104134060B (zh) 基于肌电信号和运动传感器的手语翻译和显示发声系统
JP2021072136A (ja) ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
CN103263094B (zh) 一种智能感应手套系统
CN104007844B (zh) 电子设备和用于电子设备的可穿戴式输入装置
WO2004114107A1 (en) Human-assistive wearable audio-visual inter-communication apparatus.
CN102063825A (zh) 一种基于数据手套的手语识别装置
CN201936248U (zh) 一种基于数据手套的手语识别装置
CN108700982A (zh) 信息处理设备、信息处理方法以及程序
US10319257B2 (en) System of converting hand and finger movements into text and audio
KR20190092782A (ko) 손가락의 움직임 및 공간상에서의 손의 움직임을 인식할 수 있는 글러브형 모션인식 장치 및 방법
CN111752393A (zh) 一种穿戴式智能手套
CN111722723B (zh) 一种双向弯曲柔性传感器、手语识别系统及方法
CN103257703B (zh) 一种增强现实装置及方法
Guo et al. Design and manufacture of data gloves for rehabilitation training and gesture recognition based on flexible sensors
CN206532244U (zh) 一种智能手套和显示终端
CN110865709A (zh) 基于柔性传感器的手势识别系统、方法及手套
Ji et al. Recognition of Japanese sign language by sensor-based data glove employing machine learning
CN102989156B (zh) 一种基于动作识别技术的射箭训练辅助系统
US20230376111A1 (en) Techniques for incorporating stretchable conductive textile traces and textile-based sensors into knit structures
Vishal et al. Sign language to speech conversion
CN109567819A (zh) 一种基于pvdf传感器阵列的可穿戴式装置
CN208283897U (zh) 一种监测腕部运动的可穿戴设备
CN109542220A (zh) 一种带有校准和学习功能的手语手套、系统及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306

RJ01 Rejection of invention patent application after publication