CN206574091U - 一种基于手势识别的交流装置 - Google Patents

Abstract

本实用新型公开了一种基于手势识别的交流装置，包括主机和手势检测模块；主机与手势检测模块通过导线或无线方式通信连接；所述的无线方式为蓝牙方式；手势检测模块为手套型检测模块，包括手套(21)和设置在手套上的多个姿势检测传感器(20)；手套由手臂套、手掌套和5个手指套依次对接而成；手臂套、手掌套和手指套上均至少设置有一个所述的姿势检测传感器；主机的结构为：在壳体(1)的背面设有显示屏(2)和扬声器(4)；壳体内设有主板。该装置易于实施，结构独特，功能丰富，特别适合聋哑人使用。

Description

一种基于手势识别的交流装置

技术领域

本实用新型涉及一种基于手势识别的交流装置。

背景技术

根据联合国和世界卫生组织公布的数据，全世界残疾人数量已经超过6.5亿，其中约有3亿6千万听力障碍人群，在中国听力残疾和言语残疾超过2000万人。如何帮助聋哑人更好的生活，融入社会，成为世界关注残疾人的各界人士所思考的问题。目前手势识别技术、将语音转换为文字的技术已经逐渐走向成熟。手势识别技术主要分为基于视觉的和基于运动传感器的两种，如东北林业大学机电工程学院顾伟宏等在《新型数据手套及其手势识别研究》中公开了一种将手势转译成语音的方案，该系统以30个汉语手指语拼音字母作为识别目标,并将识别结果通过语音播放出来。系统总体设计方案是利用加速度传感器的动态加速度测量特性来采集手指运动的方向和运动的轨迹以及行程大小,并利用其静态加速度测量特性来识别手语动作静止时手势的方向性以及各个手指之间的角度关系。将这两个测量结果结合起来,由单片机分析出手势语所表达的含义,然后将识别的结果通过调用语音库和语音播放电路播放出来。而且，各种将语音转换为文字的技术(或软件)也已经成熟。但是这还处于解决单向问题的解决方案，尚未有较为完整的便于聋哑人与正常人适时交流的方法和装置。

另外，根据世界卫生组织提供的数据，中国是全世界盲人最多的国家，占全世界盲人口的18％。每年在中国约有45万人失明，2010年中国盲人(blind)824.8万，低视力(lowvision)6727.4万，视力残疾(visual impairment)是两者的总和7551.2万。按照这个势头，目前的盲人，估计可能超过1300万，也就是，每一百个人里面，就有一个盲人。对于很多人来说，阅读和交流是件很简单的事情，然而，对于盲人来说，他们的阅读却要通过“听”与“触摸”来实现。社会对盲文读物出版给予大力支持，但是“书荒仍存”，有一个重要原因就是制作成本高、印刷效率远低于普通出版物。目前，出现了一些帮助盲人上网的读屏软件， 一定程度上可以解决盲人上网的困难，但对于解决阅读纸质书籍、同时帮助盲人与正常人交流的技术或设备还是不够方便或低廉。

因此，有必要设计一种新的基于手势识别的交流装置。

实用新型内容

本实用新型所要解决的技术问题是提供一种基于手势识别的交流装置，该装置易于实施，结构独特，功能丰富，特别适合聋哑人使用。

实用新型的技术解决方案如下：

一种基于手势识别的交流装置，包括主机和手势检测模块；主机与手势检测模块通过导线或无线方式通信连接；所述的无线方式为蓝牙方式；

手势检测模块为手套型检测模块，包括手套(21)和设置在手套上的多个姿势检测传感器(20)；

手套由手臂套、手掌套和5个手指套依次对接而成；手臂套、手掌套和手指套上均至少设置有一个所述的姿势检测传感器；

主机的结构为：

在壳体(1)的背面设有显示屏(2)和扬声器(4)；

壳体内设有主板；主板用于基于姿势检测传感器的检测数据识别手势，并将手势表达的含义形成文字，以及将文本文档转化为语音在扬声器中播放，主板还用于获取照片，并针对照片进行文字识别形成文本文档，以及基于姿势检测传感器的检测数据识别手势，并将手势表达的含义形成文字，以及将文本文档转化为语音在扬声器中播放出来，以上实现均为现有成熟技术。

所述的姿势检测传感器为倾角传感器、加速度传感器和陀螺仪中的至少一种；所述的5个手指套的每一个与人手手指的关节对应部位各设有一个姿势检测传感器，即大拇指手指套上设有2个姿势检测传感器，其余4个手指套上均设有3个姿势检测传感器，手臂套上设有2个姿势检测传感器。

壳体上还设有与主板相连的调音模块和进程控制按键；进程控制按键包括下一首按键(7)、暂停/播放按键(9)和前一首按键(11)；

壳体的正面设有摄像头(16)和补光灯；

壳体上还设有与主板连接的位置感应模块；

所述的位置感应模块包括设置在壳体背面的导轨(8)以及设置在导轨上的滑块(10)(为稳定起见，导轨为平行的两条)；位置感应模块还包括设置在壳体内的2个同步轮(15)和张设在2个同步轮上的同步带(14)；所述的滑块固定在同步带上与同步带联动；其中一个同步轮上设有同轴的编码盘，编码盘输出编码到主板。编码盘能记录同步转动的角度，从而能间接检测出滑块的位移，滑块用于播放控制，滑块位于最左侧时，一篇文章从头开始播放，滑块位于导轨的正中时，文章跳至50％的位置播放，更进一步，同步轮还连接有驱动电机，文章播放时，驱动电机驱动同步轮旋转，使得滑块同步移动，如播放到80％时，滑块也移动到80％的位置。

壳体的顶部设有快门键(3)，快门键用于控制摄像头，也可以不使用快门键，直接在屏幕上操作，显示屏为触摸显示屏。

壳体上设有USB插口(12)和SD卡插槽(13)中的至少一种，用于插入U盘或SD卡等，将生成的文本文件存储到存储介质中，或将外部的文本文件通过存储介质转移到本装置中。

壳体上设有耳机插孔。

调压模块为调音按键或调音旋钮(6)。

摄像头的左右两侧各设有1个作为补光灯的主闪光灯(17)；壳体背面还设有由多个辅助闪光灯(19)和一片导光板(18)形成的环形闪光模块(导光板为回字形，由4条长方形的子板依次首尾回环连接而成，每条子板下方设有2个辅助LED灯。壳体为方形壳体)；

扬声器为2个，分布在壳体背面的左右两侧。形成立体声输出，音质好。

壳体内设有电池和用于为电池充电的充电电路，壳体上设有于所述充电电路相连的充电接口(充电接口用于接电源适配器，电源适配器接220V交流市电)。

壳体内集成有WiFi模块或移动通信模块(3G或4G模块)，用于通过网络获取文本资源。

本装置的使用方法：

步骤1：手势检测模块中的姿势检测传感器将采集的姿势数据通过有线或无线方式发送到主机中；姿势数据为加速度数据或倾角数据中的至少一种；

步骤2：主机对收到的姿势数据进行处理，识别出手势，并将手势转化为 文字信息；具体识别技术为现有技术。主板为现有成熟可外购的模块。

步骤3：主机将文字信息转化为音频在扬声器中播发。

将图片转化为语音的步骤如下：

步骤1：采用摄像头获取带有文字信息的图片；

步骤2：主板上的文字识别模块将图片上的文字内容转换为文本信息，并将多个图片上的文字信息整合到一个文本文件中；

步骤3：基于主板上的文本信息‐语音模块将文本文件转换为音频播放。

通过本装置还可以将可视的图片、以及包括文字的纸质(或电子屏幕显示)页面实时转换为语音输出。

所述第一步设有一个拍摄完整度提醒功能，根据取景的外边缘的灰度判断目标是否已经全部进入镜头，进而通过语音提示相机镜头移动的方向，包括上/下、左/右、远/近动作指令。

所述文字/语音合成器可根据设置选择语音的语种、男女声、语速。

所述控制键盘与微处理器单元的控制信号输入端相连，该微处理器单元通过数据/地址线与图片/文字译码器、文字/语音合成器、图片存储器、文本存储器的相应数据端口或地址端口相连，并完成相应的控制和数据调用、存储动作；

有益效果：

本实用新型提供了一种基于手势识别的交流装置，其核心在于采用具有姿势检测传感器的手套型检测模块，手套型检测模块中的姿势检测传感器设置在各关节处，能检测手指节、手掌和手臂的位置、姿势和动作，再由主板上的控制器(如DSP等)基于上述位置、姿势和动作进行手势识别；再将手势形成语音播出，便于聋哑人与非聋哑人交流。非聋哑人的语音可以转换为文字在显示屏上显示，听力障碍的人能通过显示屏获得信息，没有听力障碍的人能通过语音和显示屏获得信息。

该装置还特别针对盲人群体做了独特的设计，比如位置感应模块能便于使用者手动调节播放进度，这一特征为本实用新型的又一亮点。另外，设置有物理按键，如播放键等，便于操作。

本装置具有丰富的拍照功能，环形闪光模块有利于获取无阴影的高素质的图 片；

本装置具有丰富的接口和通信模块，USB接口等便于通过有线模式传输文本文件，WiFi模块和移动通信模块便于通过无线网络方式传输文本资源，从而极大地扩展了本产品的功能。

总之，采用本装置能对手势进行识别，并转成语音播放，而且，能方便地将纸质的树制作成电子书，便于携带，另外，具有语音播放文本信息的功能，减缓使用者的视觉疲劳，该装置特别适用于盲人和聋哑人群体。

附图说明

图1为主机的背面结构示意图；

图2为主机的正面结构示意图；

图3为位置感应模块的结构示意图；

图4为电原理框图；

图5为手势检测模块的结构示意图。

标号说明：1-壳体，2-显示屏，3-快门键，4-扬声器，5-充电接口，6-音量调节旋钮，7-下一首按键，8-导轨，9-暂停/播放按键，10-滑块，11-前一首按键，12-USB插口，13-SD卡插槽；14-同步带，15-同步轮，16-摄像头，17-主闪光灯，18-导光板，19-辅助闪光灯，20-姿势检测传感器，21-手套。

具体实施方式

以下将结合附图和具体实施例对本实用新型做进一步详细说明：

实施例1：如图1-5，一种基于手势识别的交流装置，包括主机和手势检测模块；主机与手势检测模块通过导线或无线方式通信连接；所述的无线方式为蓝牙方式；

手势检测模块为手套型检测模块，包括手套21和设置在手套上的多个姿势检测传感器20；

手套由手臂套、手掌套和5个手指套依次对接而成；手臂套、手掌套和手指套上均至少设置有一个所述的姿势检测传感器；

主机的结构为：

在壳体1的背面设有显示屏2和扬声器4；

壳体内设有主板；主板用于基于姿势检测传感器的检测数据识别手势，并将手势表达的含义形成文字，以及将文本文档转化为语音在扬声器中播放，主板还用于获取照片，并针对照片进行文字识别形成文本文档，以及基于姿势检测传感器的检测数据识别手势，并将手势表达的含义形成文字，以及将文本文档转化为语音在扬声器中播放出来，以上实现均为现有成熟技术。

所述的姿势检测传感器为倾角传感器、加速度传感器和陀螺仪中的至少一种；所述的5个手指套的每一个与人手手指的关节对应部位各设有一个姿势检测传感器，即大拇指手指套上设有2个姿势检测传感器，其余4个手指套上均设有3个姿势检测传感器，手臂套上设有2个姿势检测传感器。

壳体上还设有与主板相连的调音模块和进程控制按键；进程控制按键包括下一首按键7、暂停/播放按键9和前一首按键11；

壳体的正面设有摄像头16和补光灯；

壳体上还设有与主板连接的位置感应模块；

所述的位置感应模块包括设置在壳体背面的导轨8以及设置在导轨上的滑块10(为稳定起见，导轨为平行的两条)；位置感应模块还包括设置在壳体内的2个同步轮15和张设在2个同步轮上的同步带14；所述的滑块固定在同步带上与同步带联动；其中一个同步轮上设有同轴的编码盘，编码盘输出编码到主板。编码盘能记录同步转动的角度，从而能间接检测出滑块的位移，滑块用于播放控制，滑块位于最左侧时，一篇文章从头开始播放，滑块位于导轨的正中时，文章跳至50％的位置播放，更进一步，同步轮还连接有驱动电机，文章播放时，驱动电机驱动同步轮旋转，使得滑块同步移动，如播放到80％时，滑块也移动到80％的位置。

壳体的顶部设有快门键3，快门键用于控制摄像头(也可以不使用快门键，直接在屏幕上操作，显示屏为触摸显示屏)。

壳体上设有USB插口12和SD卡插槽13中的至少一种；用于插入U盘或SD卡等，将生成的文本文件存储到存储介质中，或将外部的文本文件通过存储介质转移到本装置中。

壳体上设有耳机插孔。

调压模块为调音按键或音量调节旋钮6。

摄像头的左右两侧各设有1个作为补光灯的主闪光灯17；壳体背面还设有由多个辅助闪光灯19和一片导光板18形成的环形闪光模块，导光板为回字形，由4条长方形的子板依次首尾回环连接而成，每条子板下方设有2个辅助LED灯。壳体为方形壳体；

扬声器为2个，分布在壳体背面的左右两侧。形成立体声输出，音质好。

壳体内设有电池和用于为电池充电的充电电路，壳体上设有于所述充电电路相连的充电接口(充电接口用于接电源适配器，电源适配器接220V交流市电)。

壳体内集成有WiFi模块或移动通信模块(3G或4G模块)，用于通过网络获取文本资源。

Claims (9)

1.一种基于手势识别的交流装置，其特征在于：包括主机和手势检测模块；主机与手势检测模块通过导线或无线方式通信连接；所述的无线方式为蓝牙方式；

手势检测模块为手套型检测模块，包括手套(21)和设置在手套上的多个姿势检测传感器(20)；

手套由手臂套、手掌套和5个手指套依次对接而成；手臂套、手掌套和手指套上均至少设置有一个所述的姿势检测传感器；

主机的结构为：

在壳体(1)的背面设有显示屏(2)和扬声器(4)；

壳体内设有主板。

2.根据权利要求1所述的基于手势识别的交流装置，其特征在于：所述的姿势检测传感器为倾角传感器、加速度传感器和陀螺仪中的至少一种；所述的5个手指套的每一个与人手手指的关节对应部位各设有一个姿势检测传感器，手臂套上设有2个姿势检测传感器。

3.根据权利要求1所述的基于手势识别的交流装置，其特征在于：壳体上还设有与主板相连的调音模块和进程控制按键；进程控制按键包括下一首按键(7)、暂停/播放按键(9)和前一首按键(11)；

壳体的正面设有摄像头(16)和补光灯；

壳体上还设有与主板连接的位置感应模块；

所述的位置感应模块包括设置在壳体背面的导轨(8)以及设置在导轨上的滑块(10)；位置感应模块还包括设置在壳体内的2个同步轮(15)和张设在2个同步轮上的同步带(14)；所述的滑块固定在同步带上与同步带联动；其中一个同步轮上设有同轴的编码盘，编码盘输出编码到主板；

壳体的顶部设有快门键(3)，快门键用于控制摄像头。

4.根据权利要求1所述的基于手势识别的交流装置，其特征在于：壳体上设有USB插口(12)和SD卡插槽(13)中的至少一种。

5.根据权利要求1所述的基于手势识别的交流装置，其特征在于：壳体上设有耳机插孔。

6.根据权利要求1所述的基于手势识别的交流装置，其特征在于：调压模块为调音按键或调音旋钮(6)。

7.根据权利要求1所述的基于手势识别的交流装置，其特征在于：摄像头的左右两侧各设有1个作为补光灯的主闪光灯(17)；壳体背面还设有由多个辅助闪光灯(19)和一片导光板(18)形成的环形闪光模块；

扬声器为2个，分布在壳体背面的左右两侧。

8.根据权利要求1所述的基于手势识别的交流装置，其特征在于：壳体内设有电池和用于为电池充电的充电电路，壳体上设有于所述充电电路相连的充电接口。

9.根据权利要求1‐8任一项所述的基于手势识别的交流装置，其特征在于：壳体内集成有WiFi模块或移动通信模块。