CN108877409A - 基于手势识别和vr显示的聋哑人辅助工具及其实现方法 - Google Patents
基于手势识别和vr显示的聋哑人辅助工具及其实现方法 Download PDFInfo
- Publication number
- CN108877409A CN108877409A CN201810816105.2A CN201810816105A CN108877409A CN 108877409 A CN108877409 A CN 108877409A CN 201810816105 A CN201810816105 A CN 201810816105A CN 108877409 A CN108877409 A CN 108877409A
- Authority
- CN
- China
- Prior art keywords
- leap motion
- tracing sensor
- terminal computer
- motion gesture
- characteristic value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010011878 Deafness Diseases 0.000 title claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims abstract description 68
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000001149 cognitive effect Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 3
- 241001269238 Data Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims 1
- 230000004888 barrier function Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010028403 Mutism Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了基于手势识别和VR显示的聋哑人辅助工具及其实现方法，包括穿戴式虚拟显示器、Leap Motion手势追踪传感器及终端计算机，所述穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接实现数据传输与数据解析，所述Leap Motion手势追踪传感器横向固定于穿戴式虚拟显示器前部使得Leap Motion手势追踪传感器中内置的红外灰阶相机面向前方设置，所述Leap Motion手势追踪传感器与终端计算机连接使得Leap Motion手势追踪传感器中的红外灰阶相机采集到的手势动作可显示于穿戴式虚拟显示器中，本发明通过Leap Motion手势追踪传感器与穿戴式虚拟显示器相结合，解决聋哑人听力问题的同时也解决了聋哑人语言表达能力障碍。
Description
技术领域
本发明涉及聋哑人辅助工具技术领域，具体是指基于手势识别和VR显示的聋哑人辅助工具及其实现方法。
背景技术
据最新资料统计说明，我国听力语言残疾居视力残疾、肢残、智残等五大残疾之首，为2057万人，占中国人口总数的1.67％，其中7岁以下儿童约为80万人。据统计，我国聋哑症的发病率约为2‰！按年均人口出生率计算，连同出生后2～3岁婴幼儿，每年总的群体达5700万，听损伤的发病人数约为17万。我国每年有2000万新生儿出生，约有3万听力损害的新生儿出现。聋哑人遇到的问题，一、生活问题：缺乏对外界的感知。不能开车、不能献血(因为人道主义)等。二、工作问题：因为生理原因会受到很多限制，很多类型的工作无法完成。三、心理问题：因为所有生理缺陷，难免受到别人歧视，因此在克服生活方面的不便时需要坚强的意志力。大部分人不懂手语，难以沟通，目前市面上对于聋哑人辅助设备的实现方式主要是通过佩戴助听器来解决，但并不是所有的聋人都能戴上助听器就可以听到声音，部分听力障碍十分严重的患者是无法通过佩戴助听器来获得听力的，而且现有的助听器无法实现聋哑人与正常人的日常交流。
发明内容
为解决上述问题，本发明提供的技术方案为：、基于手势识别和VR显示的聋哑人辅助工具，包括穿戴式虚拟显示器、Leap Motion手势追踪传感器及终端计算机，所述穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接实现数据传输与数据解析，所述LeapMotion手势追踪传感器横向固定于穿戴式虚拟显示器前部使得Leap Motion手势追踪传感器中内置的红外灰阶相机面向前方设置，所述Leap Motion手势追踪传感器与终端计算机连接使得Leap Motion手势追踪传感器中的红外灰阶相机采集到的手势动作可通过终端计算机显示于穿戴式虚拟显示器中。实现AR效果。
作为改进，还包括扬声器及麦克风，所述扬声器、麦克风均与终端计算机连接。
本发明还公开了基于手势识别和VR的聋哑人辅助工具的实现方法，包括以下步骤：
(1)连接系统：将穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接，并使Leap Motion手势追踪传感器横向固定于穿戴式虚拟显示器前部并与终端计算机连接。
(2)深度学习网络识别训练：
A、选取特征值：特征值的分类个数选择15个分类，其分别是阿拉伯数字1-10及5个特殊手势；
B、建立神经网络：神经网络(非传统图像识别的卷积神经网络，较传统CNN训练更加高效和准确)设计采用了5层全连接的神经网络，分别为一层输入层，三层隐含层和一层输出层，其中输入层采用16个神经元，输出层采用15个神经元，隐含层经过实验调参后确定隐含层为10个神经元。
(2)样本数据生成：针对步骤(2)特征值分类的1-15个类型，分别单独生成与其所对应的所有特征值数据。
A1、选择特征值分类中的一个特征值分类，使用手指在Leap Motion手势追踪传感器前做出与特征值对应的动作；
B1、不断改变手指在Leap Motion手势追踪传感器的坐标系统中的位置，以及进行相应的旋转，部分遮挡；
C1、每隔100毫秒记录下Leap Motion手势追踪传感器所捕捉到的16个特征值对应的数据，存入txt中并在第17列标注手语类别序号。
D1、重复步骤A1、B1、C1，使得特征值分类的1-15个类型分别生成与其对应的特征值数据。
(3)建立“无效”类别：通过在限制每个特征值数据大小的范围内产生一些随机杂乱的数据来表示“无效”类别。
(4)Unity的手势-语音转换架构实现：
A2、首先通过与终端计算机相连的Leap Motion手势追踪传感器捕获到原生数据并将数据传送至终端计算机，终端计算机的SDK进行第一次基础识别抽象出一些LeapMotion手势追踪传感器中最基本的数据模型；
B2、通过SDK中封装的Hand Class可以实时获得关于原生数据的一些基本信息(手掌手指向量，手掌内接球半径等)；
C2、将B2获取到的基本信息发送给Flask上的Python进程，经训练好的神经网络会将输出文本返回给Unity，Unity获取到识别结果后调用系统的Text To Speech接口，终端计算机连接的扬声器会将识别结果朗读出来。
(5)Unity的语音-文字转换架构实现：
A3、Unity将正常人的语音录制成wav文件并将其存储在临时文件夹中；
B3、待讲话人有所停顿时将wav临时文件所在路径信息发送给Flask上的另一个路由地址，此地址的action根据接收到的音频文件路径信息读取相关的音频文件，将其作为postData的方式发送给终端计算机中微软的认知服务API；
C3、微软认知服务API返回识别结果后再将结果以文本形式返回给Unity，最终Unity将结果以文本形式呈现在穿戴式AR虚拟显示器中。
本发明的优点是：本发明通过Leap Motion手势追踪传感器与穿戴式虚拟显示器相结合，并利用BP训练网络，解决聋哑人听力问题的同时也解决了聋哑人语言表达能力障碍；
聋哑人戴上安装有Leap Motion手势追踪传感器的穿戴式虚拟显示器，通过LeapMotion手势追踪传感器的红外灰阶相机可以从穿戴式虚拟显示器里面看到周围的世界，之后正常人说出的语音会翻译成文本形式显示在这个AR世界中，哑人可以很直观的看到这些文本并且理解其含义，另一方面，聋哑人想对一个正常人说话，他做出的手语是可以通过Leap Motion手势追踪传感器捕捉到深度数据然后识别其手语表达的含义，并转化为文本然后再将文本转化为语音通过扬声器朗读出来给正常人听，解决了现有的助听器无法实现聋哑人与正常人的日常交流的问题。
附图说明
图1是本发明基于手势识别和VR显示的聋哑人辅助工具及其实现方法的系统结构示意图。
图2是本发明基于手势识别和VR显示的聋哑人辅助工具及其实现方法中辅助工具的外部结构示意图。
图中：1、穿戴式虚拟显示器，2、Leap Motion手势追踪传感器，2.1、红外灰阶相机，3、终端计算机，4、扬声器，5、麦克风。
具体实施方式
结合附图1～2，基于手势识别和VR显示的聋哑人辅助工具，包括穿戴式虚拟显示器1、Leap Motion手势追踪传感器2及终端计算机3，所述穿戴式虚拟显示器1通过USB端口、HDMI端口与终端计算机3连接实现数据传输与数据解析，所述Leap Motion手势追踪传感器2横向固定于穿戴式虚拟显示器1前部使得Leap Motion手势追踪传感器2中内置的红外灰阶相机2.1面向前方设置，所述Leap Motion手势追踪传感器2及终端计算机3连接使得LeapMotion手势追踪传感器2中的红外灰阶相机2.1采集到的手势动作可通过终端计算机3显示于穿戴式虚拟显示器1中。
作为本实施例较佳实施方案的是，还包括扬声器4及麦克风5，所述扬声器4、麦克风5均与终端计算机连接。
Leap Motion手势追踪传感器2是面向PC以及Mac的体感控制器制造公司Leap发布的体感控制器,使用Leap Motion手势追踪传感器2可以使用户只需挥动一只手指即可浏览网页、阅读文章、翻看照片，还有播放音乐。即使不使用任何画笔或笔刷，用您的指尖即可以绘画，涂鸦和设计。
Leap Motion手势追踪传感器利用了物体对红外照射反射特性不同而形成的光场，进行基于光场并在其中检测特定特征的计算，算法可以比较准确的检测反射光场中的极点(如手指和物体尖端)和特定形状的大范围反射面(手掌)。Leap Motion手势追踪传感器官方提供了十余种编程语言和框架的SDK，其中Unity为最主流的开发工具，另外，LeapMotion手势追踪传感器推出的全新手势操控技术，其精度达到了1/100毫米，也就是说，只要手指微动，它都能灵敏地识别并作出反应。Leap Motion手势追踪传感器是通过内置LED光扫描系统，形成一个光线网，一旦光网内的手指移动就会引起红外线反射，Leap3D探知手指所在位置和移动方向的同时，利用双摄像头进行立体拍摄，这就可以对红外区域探知的移动进行重点分析和检测，这对于提高手势操控精度大有好处，还能大大降低设备对CPU的占用率。
本发明还公开了基于手势识别和VR的聋哑人辅助工具的实现方法，包括以下步骤：
(1)连接系统：将穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接，并使Leap Motion手势追踪传感器横向固定于穿戴式虚拟显示器前部并与终端计算机连接。
(2)深度学习BP网络识别训练：
A、选取特征值：特征值的分类个数选择15个分类，其分别是阿拉伯数字1-10及5个特殊手势；
B、建立神经网络：神经网络(非传统图像识别CNN网络，本结构更加高效)设计采用了5层全连接的神经网络，分别为一层输入层，三层隐含层和一层输出层，其中输入层采用16个神经元，输出层采用15个神经元，经过实验调参后确定隐含层为10个神经元。
C、通过TensorFlow进行训练此神经网络。
(2)样本数据生成：针对步骤(2)特征值分类的1-15个类型，分别单独生成与其所对应的所有特征值数据。
A1、选择特征值分类中的一个特征值分类，使用手指在Leap Motion手势追踪传感器前做出与特征值对应的动作；
B1、不断改变手指在Leap Motion手势追踪传感器的坐标系统中的位置，以及进行相应的旋转，部分遮挡；
C1、每隔100毫秒记录下Leap Motion手势追踪传感器所捕捉到的16个特征值对应的数据，存入txt中并在第17列标注手语类别序号。
D1、重复步骤A1、B1、C1，使得特征值分类的1-15个类型分别生成与其对应的特征值数据。
例如：针对第一个手势，伸出食指其他手指弯曲来代表阿拉伯数字1,我们可以在Leap Motion手势追踪传感器前做这个伸出食指的动作，然后不断改变手在Leap Motion手势追踪传感器的坐标系统中的位置，以及进行相应的旋转，部分遮挡等等，在这个过程中每隔100毫秒记录下传感器所捕捉到的16个特征值对应的数据，存入txt中并在第17列标注手语类别为1，类似的对于其他15个类别的手语做同样的操作则可获得每一个类别相对应的样本数据。
(3)建立“无效”类别：通过在限制每个特征值数据大小的范围内产生一些随机杂乱的数据来表示“无效”类别。
(4)Unity的手势-语音转换架构实现：
A2、首先通过与终端计算机相连的Leap Motion手势追踪传感器捕获到原生数据并将数据传送至终端计算机，终端计算机的SDK进行第一次基础识别抽象出一些LeapMotion手势追踪传感器中最基本的数据模型；
B2、通过SDK中封装的Hand Class可以实时获得关于原生数据的一些基本信息(手掌手指向量，手掌内接球半径等)；
C2、将B2中的基本信息发送给Flask上的Python进程，经训练好的神经网络会将输出文本返回给Unity，Unity获取到识别结果后调用系统的Text To Speech接口，终端计算机连接的扬声器会将识别结果朗读出来。
(5)Unity的语音-文字转换架构实现：
A3、Unity将正常人的语音录制成wav文件并将其存储在临时文件夹中；
B3、待讲话人有所停顿时将wav临时文件所在路径信息发送给Flask上的另一个路由地址，此地址的action根据接收到的音频文件路径信息读取相关的音频文件，将其作为postData的方式发送给终端计算机中微软的认知服务API；
C3、微软认知服务API返回识别结果后再将结果以文本形式返回给Unity，最终Unity将结果以文本形式呈现在穿戴式虚拟显示器中。
聋哑人戴上安装有Leap Motion手势追踪传感器2的穿戴式虚拟显示器1，通过Leap Motion手势追踪传感器2的红外灰阶相机2.1可以从穿戴式虚拟显示器1里面看到周围的AR世界，之后正常人说出的语音会通过语音-文字转换翻译成文本形式显示在这个AR世界中，哑人可以很直观的看到这些文本并且理解其含义，另一方面，聋哑人想对一个正常人说话，他做出的手语是可以通过Leap Motion手势追踪传感器2捕捉到深度数据然后识别其手语表达的含义，并转化为文本然后再将文本转化为语音通过扬声器朗读出来给正常人听。本发明使用了Leap Motion手势追踪传感器和VR穿戴式虚拟显示器进行解决聋哑人的听说能力问题，而且首次在解决聋哑人听力问题的同时也解决了聋哑人语言表达能力障碍。首次尝试将LeapMotion手势追踪传感器上的灰阶相机作为AR世界的Camera，即将LeapMotion手势追踪传感器和VR穿戴式虚拟显示器结合。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (3)
1.基于手势识别和VR显示的聋哑人辅助工具，其特征在于，包括穿戴式虚拟显示器、Leap Motion手势追踪传感器及终端计算机，所述穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接实现数据传输与数据解析，所述Leap Motion手势追踪传感器横向固定于穿戴式虚拟显示器前部使得Leap Motion手势追踪传感器中内置的红外灰阶相机面向前方设置，所述Leap Motion手势追踪传感器与终端计算机连接使得Leap Motion手势追踪传感器中的红外灰阶相机采集到的手势动作可通过终端计算机显示于穿戴式虚拟显示器中。
2.根据权利要求1所述的基于手势识别和VR显示的聋哑人辅助工具，其特征在于：还包括扬声器及麦克风，所述扬声器、麦克风均与终端计算机连接。
3.根据权利要求1所述的基于手势识别和VR显示的聋哑人辅助工具的实现方法，其特征在于，包括以下步骤：
(1)连接系统：将穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接，并使Leap Motion手势追踪传感器横向固定于穿戴式虚拟显示器前部并与终端计算机连接。
(2)BP网络识别训练：
A、选取特征值：特征值的分类个数暂时选择15个分类，其分别是阿拉伯数字1-10及5个特殊手势；
B、建立神经网络：与传统给予卷积神经网络的图像识别分类算法不同，本神经网络更像是一个特征工程，采用了5层全连接的神经网络，分别为一层输入层，三层隐含层和一层输出层，其中输入层采用16个神经元，输出层采用15个神经元，经过实验调参后确定隐含层为10个神经元。
C、通过TensorFlow进行训练此神经网络。
(2)样本数据生成：针对步骤(2)特征值分类的1-15个类型，分别单独生成与其所对应的所有特征值数据。
A1、选择特征值分类中的一个特征值分类，使用手指在Leap Motion手势追踪传感器前做出与特征值对应的动作；
B1、不断改变手指在Leap Motion手势追踪传感器的坐标系统中的位置，以及进行相应的旋转，部分遮挡；
C1、每隔100毫秒记录下Leap Motion手势追踪传感器所捕捉到的16个特征值对应的数据，存入txt中并在第17列标注手语类别序号。
D1、重复步骤A1、B1、C1，使得特征值分类的1-15个类型分别生成与其对应的特征值数据。
(3)建立“无效”类别：通过在限制每个特征值数据大小的范围内产生一些随机杂乱的数据来表示“无效”类别。
(4)Unity的手势-语音转换架构实现：
A2、首先通过与终端计算机相连的Leap Motion手势追踪传感器捕获到原生数据并将数据传送至终端计算机，终端计算机的SDK进行第一次基础识别抽象出一些Leap Motion手势追踪传感器中最基本的数据模型；
B2、通过SDK中封装的Hand Class可以实时获得关于原生数据的一些基本信息(手掌手指向量，手掌内接球半径等)；
C2、将B2中的基本信息数据发送给Flask上的Python进程，经训练好的神经网络会将输出文本返回给Unity，Unity获取到识别结果后调用系统的Text To Speech接口，终端计算机连接的扬声器会将识别结果朗读出来。
(5)Unity的语音-文字转换架构实现：
A3、Unity将正常人的语音录制成wav文件并将其存储在临时文件夹中；
B3、待讲话人有所停顿时将wav临时文件所在路径信息发送给Flask上的另一个路由地址，此地址的action根据接收到的音频文件路径信息读取相关的音频文件，将其作为postData的方式发送给终端计算机中微软的认知服务API；
C3、微软认知服务API返回识别结果后再将结果以文本形式返回给Unity，最终Unity将结果以文本形式呈现在穿戴式虚拟AR显示器中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810816105.2A CN108877409A (zh) | 2018-07-24 | 2018-07-24 | 基于手势识别和vr显示的聋哑人辅助工具及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810816105.2A CN108877409A (zh) | 2018-07-24 | 2018-07-24 | 基于手势识别和vr显示的聋哑人辅助工具及其实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108877409A true CN108877409A (zh) | 2018-11-23 |
Family
ID=64304631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810816105.2A Pending CN108877409A (zh) | 2018-07-24 | 2018-07-24 | 基于手势识别和vr显示的聋哑人辅助工具及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108877409A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070065A (zh) * | 2019-04-30 | 2019-07-30 | 李冠津 | 基于视觉以及语音智能的手语系统以及通讯方法 |
| CN110536003A (zh) * | 2019-07-10 | 2019-12-03 | 浙江工业大学 | 用于帮助聋哑人的sos系统 |
| CN110717344A (zh) * | 2019-10-12 | 2020-01-21 | 深圳市热丽泰和生命科技有限公司 | 基于智能可穿戴设备的辅助交流系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182772A (zh) * | 2014-08-19 | 2014-12-03 | 大连理工大学 | 一种基于深度学习的手势识别方法 |
| CN104573621A (zh) * | 2014-09-30 | 2015-04-29 | 李文生 | 基于Chebyshev神经网络的动态手势学习和识别方法 |
| CN104966433A (zh) * | 2015-07-17 | 2015-10-07 | 江西洪都航空工业集团有限责任公司 | 一种辅助聋哑人对话的智能眼镜 |
| CN105702130A (zh) * | 2016-04-25 | 2016-06-22 | 北京理工大学珠海学院 | 手语翻译器 |
| CN106205293A (zh) * | 2016-09-30 | 2016-12-07 | 广州音书科技有限公司 | 用于语音识别和手语识别的智能眼镜 |
| CN106683533A (zh) * | 2017-02-07 | 2017-05-17 | 德阳力久云智知识产权运营有限公司 | 一种聋哑人专用交流眼镜 |
-
2018
- 2018-07-24 CN CN201810816105.2A patent/CN108877409A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182772A (zh) * | 2014-08-19 | 2014-12-03 | 大连理工大学 | 一种基于深度学习的手势识别方法 |
| CN104573621A (zh) * | 2014-09-30 | 2015-04-29 | 李文生 | 基于Chebyshev神经网络的动态手势学习和识别方法 |
| CN104966433A (zh) * | 2015-07-17 | 2015-10-07 | 江西洪都航空工业集团有限责任公司 | 一种辅助聋哑人对话的智能眼镜 |
| CN105702130A (zh) * | 2016-04-25 | 2016-06-22 | 北京理工大学珠海学院 | 手语翻译器 |
| CN106205293A (zh) * | 2016-09-30 | 2016-12-07 | 广州音书科技有限公司 | 用于语音识别和手语识别的智能眼镜 |
| CN106683533A (zh) * | 2017-02-07 | 2017-05-17 | 德阳力久云智知识产权运营有限公司 | 一种聋哑人专用交流眼镜 |
Non-Patent Citations (2)
| Title |
|---|
| RAJESH B. MAPARI 等: ""American Static Signs Recognition Using Leap Motion Sensor"", 《PROCEEDINGS OF THE SECOND INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY FOR COMPETITIVE STRATEGIES》 * |
| RAJESH B. MAPARI 等: ""American Static Signs Recognition Using Leap Motion Sensor"", 《PROCEEDINGS OF THE SECOND INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY FOR COMPETITIVE STRATEGIES》, 4 March 2016 (2016-03-04), pages 1 - 5, XP058267424, DOI: 10.1145/2905055.2905125 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070065A (zh) * | 2019-04-30 | 2019-07-30 | 李冠津 | 基于视觉以及语音智能的手语系统以及通讯方法 |
| CN110536003A (zh) * | 2019-07-10 | 2019-12-03 | 浙江工业大学 | 用于帮助聋哑人的sos系统 |
| CN110536003B (zh) * | 2019-07-10 | 2021-04-06 | 浙江工业大学 | 用于帮助聋哑人的sos系统 |
| CN110717344A (zh) * | 2019-10-12 | 2020-01-21 | 深圳市热丽泰和生命科技有限公司 | 基于智能可穿戴设备的辅助交流系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10878818B2 (en) | Methods and apparatus for silent speech interface | |
| Mehdi et al. | Sign language recognition using sensor gloves | |
| CN110070065A (zh) | 基于视觉以及语音智能的手语系统以及通讯方法 | |
| US7676372B1 (en) | Prosthetic hearing device that transforms a detected speech into a speech of a speech form assistive in understanding the semantic meaning in the detected speech | |
| CN108877409A (zh) | 基于手势识别和vr显示的聋哑人辅助工具及其实现方法 | |
| JP2019531538A (ja) | ワードフロー注釈 | |
| EP0863474A2 (en) | Optical feature extraction for speech recognition | |
| CN103116576A (zh) | 一种语音手势交互翻译装置及其控制方法 | |
| JP7143847B2 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
| US20230045064A1 (en) | Voice recognition using accelerometers for sensing bone conduction | |
| CN107924392A (zh) | 基于姿势的注释 | |
| CN109394258A (zh) | 一种肺部呼吸音的分类方法、装置及终端设备 | |
| CN109271901A (zh) | 一种基于多源信息融合的手语识别方法 | |
| WO2020228208A1 (zh) | 用户智能设备及其情绪图符处理方法 | |
| CN205900093U (zh) | 降噪装置及虚拟现实设备 | |
| TW201228332A (en) | Mobile electronic device | |
| CN203149569U (zh) | 一种语音手势交互翻译装置 | |
| Dhanjal et al. | Tools and techniques of assistive technology for hearing impaired people | |
| CN109166409B (zh) | 一种手语转换方法及装置 | |
| Yang et al. | Proxitalk: Activate speech input by bringing smartphone to the mouth | |
| Caridakis et al. | A multimodal corpus for gesture expressivity analysis | |
| CN110286774A (zh) | 一种基于手腕运动传感器的手语识别方法 | |
| CN210166754U (zh) | 一种虚拟现实头戴交流装置及虚拟现实头戴交流系统 | |
| CN206210144U (zh) | 手语语音转化帽 | |
| CN104980599A (zh) | 一种手语语音通话方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |
|
| RJ01 | Rejection of invention patent application after publication |