CN113261726A - 一种基于多传感器数据融合的手势翻译智能手套 - Google Patents

Abstract

本发明公开了一种基于多传感器数据融合的手势翻译智能手套，涉及智能哑语识别技术领域，具体方案为：包括智能手套，智能手套上设有微处理器，智能手套上还设有陀螺仪，智能手套关节位置处设有弯曲度传感器，智能手套指尖设有压力传感器和光电传感器；还包括数据库和语音播报器，微处理器分别与陀螺仪、弯曲度传感器、压力传感器、光电传感器、数据库和语音播报器信号连接。本发明提供的基于多传感器数据融合的手势翻译智能手套两种翻译方式交替使用，使用人群扩大，使用场景增加，可使用的人群从精通手语的人群扩大到不会手语的人群，手指书写感应可在一只手工作时进行交流。

Description

一种基于多传感器数据融合的手势翻译智能手套

技术领域

本发明涉及智能哑语识别技术领域，更具体地说，它涉及一种基 于多传感器数据融合的手势翻译智能手套。

背景技术

当今社会，交流是每个人的重要需求，而语言障碍者限于生理上 的缺陷难以和不熟悉手语的普通人顺畅沟通，因而迫切需要一种可以 实现手语和正常语言转换的工具，以满足这部分人和外界交换信息、 自由表达的情感需求。

聋哑人或语言障碍人士中的许多人都使用手语进行交流，而真正 能理解手语的普通人却很少。这种情况使得他们无法与普通人及时地 进行交流沟通，给聋哑人或语言障碍人士的生活带来了极大的困扰。

目前的哑语识别方法基本分为图像识别和基于传感器数据识别 两种。

其中，图像识别方法利用摄像头捕捉手部动作。一方面较难做到 对运动中的手部动作的精准捕捉及识别，另一方面，由于光线角度等 原因，不能保证获得完整清晰的手部图像。另外，成本较高，对使用 对象的经济水平有一定要求。

而基于传感器的哑语识别系统，通常采用传统固态传感器，且需 要外部供电电源，这样就大大降低了可穿戴设备的便携性及舒适度， 从而进一步对柔性的可自供电的轻便哑语识别设备提出了要求。

发明内容

为解决上述技术问题，本发明提供一种基于多传感器数据融合的 手势翻译智能手套，基于多传感器数据融合的手势翻译智能手套旨在 解决语言障碍者与普通人之间的交流问题，满足语言障碍者在日常生 活中的基本社交需求，唤起语言障碍者内心的归属感、安全感，并获 得良好的使用体验。同时，项目构筑无障碍交流环境的解决方案，为 语言障碍者与整个社会的融合创造可能，唤起对该类人群的关注度， 并为我国医疗资源紧缺、医疗服务方面贡献绵薄之力。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于多传感器数据融合的手势翻译智能手套，包括智能手套， 智能手套上设有微处理器，智能手套上还设有陀螺仪，智能手套关节 位置处设有弯曲度传感器，智能手套指尖设有压力传感器和光电传感 器；还包括数据库和语音播报器，微处理器分别与陀螺仪、弯曲度传 感器、压力传感器、光电传感器、数据库和语音播报器信号连接。

在上述方案中，通过弯曲度传感器和陀螺仪，能够感应穿戴者的 手势动作，并将手势动作通过微处理器处理，并将处理后的信息发送 至数据库对比，在对比后将手势进行翻译，最终通过语音播报器播报 手势表示的意思；同时还可通过指尖的光电传感器和压力传感器配合， 捕捉手指运动轨迹，最终输出对应文字信息，也可通过语音播报器进 行播报。

在上述方案中，两种翻译方式交替使用，使得使用人群扩大，使 用场景增加，可使用的人群从精通手语的人群扩大到不会手语的人群， 手指书写感应可在一只手工作时进行交流。

作为一种优选方案，智能手套手腕处设有显示屏，显示屏与微处 理器信号连接。

在上述优选方案中，通过显示屏，能够将手势信息和指尖信息经 过处理，并将文字信息显示在显示屏上。

作为一种优选方案，智能手套上还设有麦克，麦克与微处理器信 号连接。

在上述优选方案中，通过麦克和显示屏的使用，可收集正常人说 话的内容，并将内容转换为文字，供聋哑人识别信息。

作为一种优选方案，数据库和语音播报器均设于移动设备端，智 能手套通过无线传输模块与移动设备端信号连接。

在上述优选方案中，可通过使用日常手机等移动设备端，对信息 进行相关处理和显示；在不同的优选方案中，数据库和语音播报器可 设置在智能手套内。

作为一种优选方案，微处理器型号为STM32，陀螺仪采用 MPU6050六轴传感器。

作为一种优选方案，智能手套主体采用高分子材料，智能手套的 指关节处的机械辅助设备采用铝合金材料。

综上所述，本发明具有以下有益效果：

(1)本发明提供的基于多传感器数据融合的手势翻译智能手套 两种翻译方式交替使用，使用人群扩大，使用场景增加，可使用的人 群从精通手语的人群扩大到不会手语的人群，手指书写感应可在一只 手工作时进行交流。

(2)本发明提供的基于多传感器数据融合的手势翻译智能手套 摒弃了以往采用纸笔，或携带式辅助翻译设备翻译的方式，改用手套 式穿戴设备，通过本款手套对手语或书写轨迹直接进行扫描翻译，翻 译的时效性增强，准确率提升，沟通效率得以提高。

(3)本发明提供的基于多传感器数据融合的手势翻译智能手套 翻译主体发生变化：传统的手语交流方式大多是需要信息接收方来主 动转译信息，这款手套的手语翻译功能，将翻译主体，由信息接受方 转为信息发出方，转译成本降低，使得语言障碍者可以与所有人群实 现正常沟通，交际范围得以扩大。

附图说明

图1是本发明的实施例中的基于多传感器数据融合的手势翻译 智能手套的结构示意图；

图2是本发明的实施例中的基于多传感器数据融合的手势翻译 智能手套的正视图。

具体实施方式

本说明书及权利要求并不以名称的差异来作为区分组件的方式， 而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权 利要求当中所提及的“包括”为一开放式用语，故应解释成“包括但不 限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够 在一定误差范围内解决所述技术问题，基本达到所述技术效果。

本说明书及权利要求的上下左右等方向名词，是结合附图以便于 进一步说明，使得本申请更加方便理解，并不对本申请做出限定，在 不同的场景中，上下、左右、里外均是相对而言。

以下结合附图对本发明作进一步详细说明。

分析语言障碍者交流需求、尊重需求和自我实现需求，整体把握 目标用户群体的需求。选用手套(兼具便携性与低调性)为外观造型， 以手语翻译、手写翻译、语音播报作为主要功能来实现聋哑人或语言 障碍人士对沟通流畅性的需求。将STM32微处理器作为核心、采用 弯曲传感器、MPU6050六轴传感器、语音合成模块、无线传输模块、 OLED显示模块等多模块融合为功能实现提供技术支持。

1)造型：选用手套为外观造型，低调，便携。

2)功能：手势翻译、手写翻译、语音播报。

3)材料：手套主体采用高分子材料，有良好弹性、透气性、防 滑耐磨、环保无异味。指关节处的机械辅助设备均采用铝合金材质。 成本低、金属性能好、强度高、塑性好。

4)技术实现：

手势翻译：通过弯曲度传感器与MPU6050六轴传感器及其附属 陀螺仪分析手部运动轨迹，并经MPU6050自带DMP数据运动处理 器做出运动分析，转化为四元数据，计算仰角、横滚角、航向角以及 运动轨迹，并与预设数据对比，震动马达启动，语音识别模块播报对应文字。

手写翻译：通过指尖光电传感器与压力传感器配合，采用OV7725 模块路径捕捉手指运动轨迹，经MATLAB处理输出对应文字，反馈 到STM32微处理器，系统执行对应文字输出、语音播报功能。

采用STM32微处理器进行智能化控制，将弯曲传感器、陀螺仪 与32自由度传感器相结合，通过FLEX4.5弯曲传感器与MPU6050 六轴传感器采集使用者的手部信息，再由STM32单片机对数据进行 处理，与数据库动作进行比较，再由语音播报模块输出对应翻译。

(1)手部运动状态识别

使用MPU6050六轴传感器得到手部位置与手部运动的轨迹数据， PMPU6050六轴传感器集成了三轴陀螺仪与三轴加速计，利用其中的 三轴陀螺仪与三轴加速计来计算手部的位置与运动轨迹。

(2)计算手部姿态角

手部姿态数据，也就是手部的倾角数据，利用MPU6050六轴传 感器输出原始数据，进行姿态融合解算，其中涉及到卡尔曼滤波、四 元数与姿态角等运算。MPU6050六轴传感器自带数字运动处理器(即 DMP)，可以将原始数据结合DMP输出的六轴姿态解算数据，直接转化成四元数输出，可以方便地计算出欧拉角从而得到俯仰角、横滚 角、航向角。

(3)计算手部运动轨迹

运用加速度与陀螺仪得到物体在X轴、Y轴、Z轴三个坐标轴上 的加速度α，根据位移公式S＝1/(2×α×t²)得到手部在X轴、Y轴、 Z轴三个坐标轴上的运动距离进行合成，得到手部运动的空间坐标， 从而得到手部运动轨迹。

(4)手指运动姿态的识别

运用弯曲传感器对手指的弯曲程度进行判断，当弯曲传感器受到 应力发生弯曲变形时，表面的电阻值即发生变化。弯曲程度越大，电 阻值越大，从而得出手指的运动情况。

实施方案

通过弯曲度传感器与MPU6050六轴传感器及其附属陀螺仪分析 手部运动轨迹，并经MPU6050自带DMP数据运动处理器做出运动 分析，将运算出的数据与数据库数据进行对比分析，实现手势翻译功 能。

通过指尖光电传感器与压力传感器配合，采用OV7725模块路径 捕捉手指运动轨迹，经MATLAB处理输出对应文字，反馈到STM32 微处理器，系统执行对应文字输出、语音播报，实现手写翻译功能。

适用范围：手势加手写的方式沟通，适用范围更广，不仅局限于 具备手语理解能力的特殊人群的相互交流，使得障碍人群的可沟通范 围扩大，适用性更广。

可行性：针对手语与书写直接进行翻译，不需要其他媒介转译， 使用方式简单高效，易于接受。采用多传感器数据融合处理，语音模 块播报，功能实现性强。

基于多传感器数据融合的手势翻译智能手套可及时准确地处理 各种手语手势信息，翻译速度快，实时性好，系统识别率高，适应能 力强。聋哑人属于弱势群体，需要我们给予更多的关怀。我们的关怀 不仅仅局限于内心的同情，赠送物质和金钱，还可以用科技手段来帮 助他们走出困境。手套主体采用高分子材料，有良好弹性、透气性、 防滑耐磨、环保无异味，可与各种材料相结合。指关节处的机械辅助 设备均采用铝合金材质。成本低、金属性能好、强度高、塑性好。手 套整体适用性面积广、成本较低、功能比较全面。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制， 本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出 没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专 利法的保护。

Claims (7)

1.一种基于多传感器数据融合的手势翻译智能手套，其特征在于，包括智能手套，智能手套上设有微处理器，智能手套上还设有陀螺仪，智能手套关节位置处设有弯曲度传感器，智能手套指尖设有压力传感器和光电传感器；还包括数据库和语音播报器，微处理器分别与陀螺仪、弯曲度传感器、压力传感器、光电传感器、数据库和语音播报器信号连接。

2.根据权利要求1所述的基于多传感器数据融合的手势翻译智能手套，其特征在于，所述智能手套手腕处设有显示屏，显示屏与微处理器信号连接。

3.根据权利要求2所述的基于多传感器数据融合的手势翻译智能手套，其特征在于，所述智能手套上还设有麦克，麦克与微处理器信号连接。

4.根据权利要求1所述的基于多传感器数据融合的手势翻译智能手套，其特征在于，所述数据库和语音播报器均设于移动设备端，智能手套通过无线传输模块与移动设备端信号连接。

5.根据权利要求4所述的基于多传感器数据融合的手势翻译智能手套，其特征在于，所述移动设备端还设有麦克和显示屏。

6.根据权利要求2、3、4、5任一所述的基于多传感器数据融合的手势翻译智能手套，其特征在于，所述微处理器型号为STM32，陀螺仪采用MPU6050六轴传感器。

7.根据权利要求2、3、4、5任一所述的基于多传感器数据融合的手势翻译智能手套，其特征在于，所述智能手套主体采用高分子材料，智能手套的指关节处的机械辅助设备采用铝合金材料。

Images