CN106205293A - 用于语音识别和手语识别的智能眼镜 - Google Patents

Abstract

本发明提供一种用于语音识别和手语识别的智能眼镜，包括镜框及设置在镜框上的智能装置，该智能装置包括雷达、扬声器、麦克风、显示器、处理器；雷达收集手语信息，麦克风收集语音信息；处理器用于将手语信息转化为待播放的语音信息实现手语识别或将收集的语音信息转化为文字信息实现语音识别，通过显示器和扬声器将文字信息显示和语音信息播放出来，听障人士佩戴该智能眼镜可以实现与正常人无障碍交流。

Description

用于语音识别和手语识别的智能眼镜

技术领域

本发明涉及智能穿戴设备领域，特别涉及一种用于语音识别和手语识别的智能眼镜。

背景技术

目前，全国范围内的听障人超过两千万人(数据来源，中国残疾人联合会)，由于该人群无法与正常人(即非听障人)直接进行语言交流，从而造成这样一个庞大的群体一直生活在社会的边缘，他们很难真正融入这个社会。

当前，听障人与正常人沟通主要通过以下两种途径：手语员翻译或佩戴助听器。

由于手语员人才十分稀缺；其次大多数交流场景都是随机出现的，很难保证手语员及时出现在听障人身边；再加上聘用专职手语员花费较大，一般听障人很难承担。

对于不同的听障人，助听器的效果不尽相同，佩戴助听器对于神经性耳聋患者效果甚微。长久佩戴助听器会导致耳朵很不舒服，还有可能引发中耳炎等不良后果。

随着科技的发展和人们生活水平的不断提高，各种智能眼镜为听障人提供了一种与正常人交流的工具，它通过将听障人士的手语信息转化为普通正常人可以识别的信息，同时将正常人的语音信息转化为听障人可以识别的信息来实现听障人士与正常人的交流。但由于目前智能眼镜主要使用摄像头来采集手语信息，存在着采集信息识别率不高，抗干扰能力差，对光线要求高，并且直接使用智能眼镜的镜片作为显示设备，不利于后续用户增加矫正视力的镜片，这些都使该类智能眼镜没有大规模推广应用。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种用于语音识别和手语识别的智能眼镜，其结构轻巧，操作方便，转化识别率高，抗干扰能力强，为听障人士提供一种使用方便的智能眼镜，方便听障人与正常人无障碍交流。

本发明的技术方案如下：

一种用于语音识别和手语识别的智能眼镜，包括镜框及设置在镜框上的智能装置，

该智能装置包括雷达、扬声器、麦克风、显示器、处理器；

其中，所述雷达固定设置在所述智能装置的下方，所述扬声器和麦克风固定设置在所述智能装置的前方；

所述雷达用于收集手语信息；

所述麦克风用于收集语音信息；

所述处理器用于将手语信息转化为待播放的语音信息实现手语识别或将收集的语音信息转化为文字信息实现语音识别；

所述扬声器用于播放语音信息；

所述显示器用于显示文字信息；

如上所述的用于语音识别和手语识别的智能眼镜，优选的是，所述镜框上设置有加装镜片的内槽和固定孔。

如上所述的用于语音识别和手语识别的智能眼镜，优选的是，所述雷达为谷歌的Soli微型雷达芯片。

如上所述的用于语音识别和手语识别的智能眼镜，优选的是，所述显示器为近眼显示的穿透式光学引擎。

如上所述的用于语音识别和手语识别的智能眼镜，优选的是，所述电子系统还包括：

通信模块，与所述处理器连接，用于与蓝牙耳机、移动终端和云端服务器建立无线通信；

触控板，用于操作该智能眼镜进行各种参数设置或待机状态下唤醒智能眼镜；

如上所述的用于语音识别和手语识别的智能眼镜，优选的是，所述语音识别和手语识别支持离线识别和在线识别。

如上所述的用于语音识别和手语识别的智能眼镜，优选的是，所述智能装置上安装有智能操作系统。

如上所述的用于语音识别和手语识别的智能眼镜，优选的是，所述显示器还用于用户操作该智能眼镜时的交互反馈界面；所述处理器还用于信息的接收与转发。

所述雷达、扬声器、麦克风、显示器和处理器均采用低功耗或超低功耗技术的芯片并且任一器件均可替换为不同配置参数的同类器件。

本发明与现有技术相比，其有益效果在于：本发明的技术方案是采用雷达来实现手语感知，相比传统的摄像头来实现手语感知具有如下优点：高流畅性，高精准度，抗干扰强，可在低光亮环境使用。该技术方案通过将听障人的手语信息转化为语音信息播放给正常人听，而将正常人的语音信息转化为文字信息展示给听障人看，这样就实现了听障人士与正常人的无障碍交流。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明提供的用于语音识别和手语识别的智能眼镜的结构示意图；

图2是本发明一实施例提供的用于语音识别和手语识别的智能眼镜的电气结构图；

图3是本发明另一实施例提供的用于语音识别和手语识别的智能眼镜的电气结构图及其外部连接设备；

主要元件符号说明：

10-智能装置、20-镜框、101-雷达、102-显示器、103-扬声器、104-麦克风、105-处理器、106-存储器、107-电池、108-通信模块、109-触控板。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出。其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明具体实施方式提供一种用于语音识别和手语识别的智能眼镜，

见图1至图3，一种用于语音识别和手语识别的智能眼镜，包括镜框20及设置在镜框上的智能装置10。该镜框20上设置有加装镜片的内槽和固定孔，可以根据用户需求加装不同类型的镜片，可以是近视镜片、远视镜片或太阳镜片，以起到矫正和保护视力的目的。

所述智能装置10不局限安装于图1所示的镜框的右边，也可以安装在镜框20的左边，安装在镜框20左边的智能装置10与安装在镜框右边的智能装置10为镜像对称结构，选择智能装置左置还是右置于镜框，这个是基于用户的用手用眼习惯来决定的，智能装置10在镜框20上的位置还需保证该智能装置10不会对用户的正常视野产生干扰。

该智能装置10包括雷达101、扬声器103、麦克风104、显示器102、处理器105。

其中，所述雷达101固定设置在所述智能装置的下方，以便使听障人士的手语动作处于雷达有效检测范围内；

所述扬声器103和麦克风104固定设置在所述智能装置的前方，以便麦克风能有效收集正常人的语音信息及正常人能够听清楚智能眼镜播放的语音信息。

所述处理器105设置在智能装置的侧面，该位置信息不局限于侧面，只要保证能实现相应的功能并满足其散热要求即可。

所述雷达101用于收集手语信息；

进一步地，雷达101主要利用无线电波的反射来进行成像。通过计算从天线发射无线电波，到天线收到反射波的延时，可以得出物体的位置。通过比较发射波与反射波的波长变化(多普勒频移)，可以计算出物体的速度。当物体靠近雷达101运动，其反射波的波长会变短；当物体远离雷达101运动，其反射波的波长则会变长。物体的速度越大，波长的变化也越大。这样，通过对比发射波和反射波，就得到了物体的位置和速度，也就可以精细地捕捉物体的运动。

进一步地，所述雷达101采用谷歌的Soli微型雷达芯片，该芯片由传感器和天线阵列组成，雷达101发射并接收反射回来的毫米波雷达信号。从原始的雷达信号到最终的手势控制需要经历下面几步：

1、捕捉原始反射信号

2、将接收的时序信号处理和转换到Range Doppler Map(距离多普勒映射)

3、特征提取，识别，定位与追踪

4、从提取的特征实现手语识别

根据谷歌提供给第三方开发者的SDK(软件开发工具包)实现手语识别算法。

所述麦克风104用于收集语音信息；

进一步地，所述麦克风104采用科大讯飞股份有限公司的麦克风阵列XFM10211，它是一款基于2麦克风阵列的语音解决方案。采用2麦克风咪头录音，再经过麦克风阵列XFM10211进行语音降噪、回声消除、语音增强、语音唤醒后，输出数字音频信号、模拟音频信号、唤醒触发信号等。其有效语音获取距离超过3米。

所述处理器105用于将手语信息转化为语音信息实现手语识别或将语音信息转化为文字信息实现语音识别；

进一步地，所述处理器105采用北京君正集成电路股份有限公司的M200芯片，该芯片基于MIPS架构，拥有移动设备级性能的XBurst CPU双核，其中一个1.2GHz的高性能CPU用以处理最繁重的工作，而要求不高的任务则可以使用功耗更低、频率为300MHz的第二个CPU来处理。该芯片还具有可穿戴式设备级的超低功耗(0.07mW/MHz)、可穿戴设备级的超小封装(7.7x 8.9x 0.76mm)、内置语音唤醒引擎。

进一步地，所述处理器105在智能装置10通过通信模块108与蓝牙耳机、移动终端和云端服务器建立无线通信时还实现信息的接收与转发。

所述扬声器103用于播放手语信息转化得到的语音信息；

进一步地，所述扬声器103采用适用于穿戴设备的微型扬声器。

所述显示器102用于显示语音信息转化得到的文字信息；

进一步地，所述显示器102采用浙江水晶光电科技股份有限公司的CVG29F02C模组(其显示芯片为台湾立景光电股份有限公司的HX7097)。CVG29F02C是一款针对近眼显示应用开发的LCOS型穿透式智能眼镜光学引擎，尺寸大小为41×13×14mm，重量12g，功耗0.1W，其分辨率800×480，全视场角为17°，相当于在人眼距离2.4m处成28”的虚像，亮度为300cd/m²。以其重量轻、体积小，可以适用于各种穿透式智能眼镜应用场景。

进一步地，所述显示器102还用于设置智能眼镜参数时的交互反馈显示。

优选地，所述智能装置10还包括存储器106：

所述存储器106，用于存储所述处理器105进行信息转化所需的手语模型和语音模型。

进一步地，所述存储器106采用三星电子株式会社的KMK7X000VM flash存储芯片，该芯片的存储空间为8G。

进一步地，所述存储器106还保存智能眼镜的操作系统和算法。

优选地，所述智能装置10还包括电池107：

所述电池107为整个智能装置提供电能。

进一步地，所述电池107采用SM5007电源管理芯片，该芯片具有功耗低、效率高且路数多等特点，非常适合应用在智能眼镜等穿戴设备上面。

进一步地，所述电池107为锂离子电池，电池在电力不足时，会有告警信息产生，提示用户充电。用户可以通过USB接口来进行充电操作。

优选地，所述智能装置10还包括通信模块108：

所述通信模块108采用博通的BCM43438芯片，该芯片支持WIFI IEEE 802.11b/g/n和蓝牙4.1(支持BLE)，同时具有体积小功耗低的特点。WIFI采用SDIO(Secure DigitalInput and Output Card)安全数字输入输出卡接口，蓝牙采用UART(UniversalAsynchronous Receiver and Transmitter)通用异步收发和PCM(Pulse-codemodulation)脉冲编码调制接口。

进一步地，用户可以使用蓝牙耳机与智能眼镜配对连接，正常人佩戴蓝牙耳机，通过蓝牙耳机与智能眼镜之间的蓝牙通信，来接收和发送语音信息，而不必局限于智能眼镜上的麦克风和扬声器。

进一步地，用户可以使用移动终端与智能眼镜建立无线wifi连接，通过移动终端上的APP软件来设置智能眼镜。

进一步地，用户还可以使用智能眼镜通过wifi热点连接到云端服务器，使用云端服务器来进行语音识别与手语识别，可以极大提高识别率。

优选地，所述智能装置10还包括触控板109：

进一步地，所述触控板109位于智能装置的侧面，用户通过操作触控板109的左滑、右滑、上滑、下滑、单击、长按几个动作来设置智能眼镜。例如：可以通过上下滑动来调节智能眼镜的音量信息，同时音量的参数值会实时显示在显示器上，显示器此时用作设置智能眼镜参数时的交互反馈显示。

进一步地，用户通过操作触控板109可以实现设置智能眼镜的参数以及在待机状态下唤醒智能眼镜。

如图2所示的是本发明一实施例提供的用于语音识别和手语识别的智能眼镜的电气结构图。

以下是使用过程中最常见的实施例：

智能眼镜没有连接到云端服务器，也没有使用蓝牙耳机连上智能眼镜，语音识别和手语识别使用离线识别方式，依靠智能眼镜的处理器105来完成语音信息转文字信息和手语信息转语音信息。

其具体的识别转化流程如下：

通过智能眼镜上的雷达101收集听障人士的手语信息，并将该手语信息传递给处理器105进行处理。处理器105结合存储器106上保存的手语模型和相关算法将手语信息转化语音信息，并将该语音信息传递给扬声器103播放出来。

通过智能眼镜上的麦克风104收集正常人的语音信息，并将该语音信息传递给处理器105，处理器105结合存储器106上保存的语音模型和相关算法将语音信息转化文字信息，并将该文字信息传递给显示器102显示。

使用离线识别，使用方便，响应快速。

语音识别和手语识别所使用的数据模型和算法都保存在智能眼镜的存储器106上。

该离线场景下手语识别与语音识别的成功率达到80％以上。

离线识别利用智能眼镜的处理器105来进行识别，由于该处理器105是低功耗的设计，其数据处理能力有限，可以采用在线识别的方式提高识别的效率与准确率。

如图3所示的本发明另一实施例提供的用于语音识别和手语识别的智能眼镜的智能装置的电气结构图及其外部连接设备。

以下是使用过程中最佳的实施例：

外部设备蓝牙耳机通过蓝牙通信协议与智能眼镜建立连接。智能眼镜通过WIFI热点或者移动数据连接到外部设备云端服务器。语音识别和手语识别使用云端服务器在线识别方式，依靠云端服务器强劲性能的处理器来完成语音信息转文字信息和手语信息转语音信息。云端服务器凭借其强大的数据分析处理能力，能够提供更加高效可靠的手语识别和语音识别服务。

蓝牙耳机收集正常人的语音信息，并将该语音信息通过智能眼镜的通信模块108传递给智能眼镜，智能眼镜检测到云端服务器可用时，就会优先选择在线识别模式，会将收到的语音信息通过通信模块108上送至云端服务器进行语音识别。云端服务器将识别后得到的文字信息通过通信模块108回传给智能眼镜，智能眼镜将该文字信息提供给显示器102显示。

通过智能眼镜上的雷达101收集听障人士的手语信息，智能眼镜检测到云端服务器可用时，就会优先选择在线识别模式，并将该手语信息通过通信模块108上传至云端服务器进行手语识别。云端服务器将识别后得到的语音信息通过通信模块108回传给智能眼镜，智能眼镜将该语音信息通过通信模块108中的蓝牙通信传递给蓝牙耳机并播放给正常人收听。

使用蓝牙耳机时，发声源与接收源间距小，可以减少声音传播过程中，外界噪音对语音信息的收集与获取产生的干扰，联网使用云端服务器有助于提高语音与手势的识别率，这些可以大大提高听障人士与正常人的沟通效率。

语音识别和手语识别所使用的数据模型和算法保存在云端服务器上。

该在线场景下手语识别与语音识别的成功率高达98％以上。

智能眼镜支持离线识别和在线识别，离线识别利用智能眼镜的处理器来进行识别，在线识别利用云端服务器的超强处理器来进行利用云端服务器的强大的数据处理分析能力，能够提供更加准确高效的语音和手语识别。离线识别和在线识别(网速不低于20kb/s)，识别结果延迟在毫秒级别，语音识别和手语识别具有延迟低，实时性高的特点。

在上述实施例的基础上，所述智能眼镜上安装有智能操作系统，该智能操作系统包括：安卓系统、Windows系统或嵌入式Linux系统。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于语音识别和手语识别的智能眼镜，其特征在于,包括镜框及设置在镜框上的智能装置，

该智能装置包括雷达、扬声器、麦克风、显示器、处理器；

其中，所述雷达固定设置在所述智能装置的下方，所述扬声器和麦克风固定设置在所述智能装置的前方；

所述雷达用于收集手语信息；

所述麦克风用于收集语音信息；

所述处理器用于将手语信息转化为待播放的语音信息实现手语识别或将采集的语音信息转化为文字信息实现语音识别；

所述扬声器用于播放语音信息；

所述显示器用于显示文字信息。

2.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述镜框上设置有加装镜片的内槽和固定孔。

3.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述雷达为谷歌的Soli微型雷达芯片。

4.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述显示器为近眼显示的穿透式光学引擎。

5.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述智能眼镜还包括通信模块，与所述处理器连接，用于与蓝牙耳机、移动终端和云端服务器建立无线通信。

6.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述智能装置还包括触控板，用于操作该智能眼镜进行各种参数设置或待机状态下唤醒智能眼镜。

7.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述语音识别和手语识别支持离线识别和在线识别。

8.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述智能装置上安装有智能操作系统。

9.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述显示器还用于用户操作该智能眼镜时的交互反馈界面；所述处理器还用于信息的接收与转发。

10.根据权利要求1所述的用于语音识别和手语识别的智能眼镜，其特征在于，所述雷达、扬声器、麦克风、显示器和处理器均采用低功耗或超低功耗技术的芯片且任一器件均可替换为不同配置参数的同类器件。