CN109254418A - 一种用于失聪人群的眼镜 - Google Patents

一种用于失聪人群的眼镜 Download PDF

Info

Publication number
CN109254418A
CN109254418A CN201811218031.9A CN201811218031A CN109254418A CN 109254418 A CN109254418 A CN 109254418A CN 201811218031 A CN201811218031 A CN 201811218031A CN 109254418 A CN109254418 A CN 109254418A
Authority
CN
China
Prior art keywords
voice
crowd
display
text
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811218031.9A
Other languages
English (en)
Inventor
孟然
李荣华
张玉敏
晏云敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Jiaotong University
Original Assignee
Dalian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Jiaotong University filed Critical Dalian Jiaotong University
Priority to CN201811218031.9A priority Critical patent/CN109254418A/zh
Publication of CN109254418A publication Critical patent/CN109254418A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Otolaryngology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于失聪人群的眼镜，包括AR系统和语音转换系统，框架前部安装AR显示屏，AT显示屏下方安装光组合器，AR显示器，通过USB接口和USB插头连接语音转换系统的语音转换装置，语音转换装置连接语音接收器，语音接收器录入接收所需要的语音，通过语音转换装置将声音转换成文字，语音转换装置将转换好的文字电流传输给AR显示器，再通过AR显示器将转换好的文字射入人眼。本发明的用于失聪人群的眼镜，通过准确的语音识别技术，识别所需要的录入的语音，经过文本语音转换技术与AR技术的结合，更加便捷、舒适的帮助失聪人群进行无障碍交流，更好的维护失聪人群的自信心与自尊心。

Description

一种用于失聪人群的眼镜
技术领域
本发明涉及文本语音转换技术领域。
背景技术
文本语音转换技术是当下应用极为广泛的技术之一，当前技术背景下，AR增强现实技术已经得到了较好的利用和发展，AR增强现实技术已经广泛的应用于日常生活之中，在医学，娱乐和航天等方面有广泛的应用。
如何通过文本语音转换帮助失聪人群进行无障碍交流是本申请所解决的问题。
发明内容
为了通过文本语音转换帮助失聪人群进行无障碍交流，本发明提供了一种用于失聪人群的眼镜。
本发明为实现上述目的所采用的技术方案是：一种用于失聪人群的眼镜，包括AR系统和语音转换系统，框架前部安装AR显示屏，AT显示屏下方安装光组合器，AR显示器，通过USB接口和USB插头连接语音转换系统的语音转换装置，语音转换装置连接语音接收器，语音接收器录入接收所需要的语音，通过语音转换装置将声音转换成文字，语音转换装置将转换好的文字电流传输给AR显示器，再通过AR显示器将转换好的文字射入人眼。
所述框架上部安装头部跟踪器，头部跟踪器连接场景生成器，场景生成器连接AR显示屏，AR显示器通过头部跟踪器实时跟踪用户头部的位置和姿态。
所述AR显示屏采用自由曲面镜片。
本发明的用于失聪人群的眼镜，通过准确的语音识别技术，识别所需要的录入的语音，经过文本语音转换技术与AR技术的结合，更加便捷、舒适的帮助失聪人群进行无障碍交流，更好的维护失聪人群的自信心与自尊心。
附图说明
图1是本发明用于失聪人群的眼镜原理图。
图2是本发明用于失聪人群的眼镜主视结构图。
图3是本发明用于失聪人群的眼镜俯视结构图。
图4是本发明用于失聪人群的眼镜语音转换系统结构图。
图5是本发明用于失聪人群的眼镜整体原理结构图。
图中：1、AR显示屏，2、光组合器，3、开关，4、USB接口，5、声音接收器，6、语音转换装置，7、USB插头，8、头部跟踪器，9、场景生成器。
具体实施方式
本发明的于失聪人群的眼镜原理和结构如图1-4所示，主要包括两大部分；第一部分是 AR显示部分包括AR显示屏器1、处理的光组合器2、开关3、USB接口4，第二部分是语音转换部分包括声音接收器5、语音转换装置6、USB插头7。两部分是由USB插头7和 USB接口4连接。框架前部安装AR显示屏2，AT显示屏1下方安装光组合器2，AR显示器1，通过USB接口4和USB插头7连接语音转换系统的语音转换装置6，语音转换装置 6连接语音接收器5。框架上部安装头部跟踪器8，头部跟踪器8连接场景生成器9，场景生成器9连接AR显示屏1。
所有装置都由眼镜整体框架所连接。声音接收装置录入接收所需要的语音，通过降噪装置，减少周围噪音的干扰，提高反馈率。再通过声音转换处理装置将声音转换成文字。声音处理装置将转换好的文字电流传输给AR显示装置，再通过AR显示装置将转换好的文字射入人眼。USB接口装置，可以使文本语音的转换装置可拆卸下来，使该项方案可以在电视，电脑等其他移动端使用。
AR显示技术的最根本目的在于实现增强现实技术中的视觉体验，让我们看到一个被处理过的世界。“叠加”是AR显示技术的关键所在。利用AR显示技术的叠加原理，我们将语音转换装置所获取的语音转化为文字，通过降维处理叠加在镜片上，形成信息的叠加和视频的叠加。虚拟场景发生器负责虚拟场景的建模、管理、绘制和其他外设的管理。该装置上方头部位置的头部方位跟踪设备跟踪用户视线变化，实现用户观察坐标系与虚拟场景坐标系的匹配。交互设备现感官信号以及环境控制操作信号的输入和输出。头部位置上方的方位跟踪定位设备负责测量用户在真实环境中的六自由度位置和方位信息。
显示器具备普通的三维图像显示功能而且能够实时跟踪用户头部的位置和姿态，并及时将视线信息反馈给图像生成软件，实现视景图像与增强信息的同步刷新。这样可以使用户能够以在真实世界中观察周围事物的方式在增强环境中畅游从而增强用户在融合环境中的浸没感和交互。头部方位跟踪器获取头部方位信息。
显示设备上，本项目镜片采用自由曲面技术。自由曲面技术削减偏振分光棱镜技术的局限性带来的影响，其视场角目前可以做到的范围在20°到30°，厚度上要比棱镜要好，但是通常都在8mm以上。自由曲面技术把原本的立方体表面做成弯曲的表面，甚至膜层也做成弯曲的，最大程度地利用每一个位置的分光效果，就可以更大程度地利用分光膜层，既能扩大显示的范围，而不产生体积上夸张的扩大，同时也能增大视场角的范围。使用者可以直接透过AR显示器看到真实世界的影像，点像投影装置把虚拟影像投射在AR显示器上，该装置不会影响失聪人群观察环境。而且本装置的设计所采用的是从人体数据入手,建立数字头部模型,再通过人机工程学计算得出设计尺寸，这样提高了眼镜佩戴的舒适度。
声音接收器接收所需要的语音，在语音识别之前，需要对录入语音进行VAD操作。用一些信号处理技术，把首尾端的静音切除，对语音信号进行分析和处理，除去冗余信息，降低对后续步骤造成的干扰。语音转换装置对声音进行声学特征提取，将声音进行分帧，利用提取MFCC特征的变换方法，根据人耳的生理特征，把每一帧波形形变成一个多维向量，可以简单的理解这个向量包含了这帧语音的内容信息。提取影响语音识别的关键信息和表达语言含义的特征信息。紧扣特征信息，用最小单元识别字词。按照不同语言的各自语法，依照先后次序识别字词。把前后意思当作辅助识别条件，有利于分析和识别。按照语义分析，给关键信息划分段落，取出所识别出的字词并连接起来，同时根据语句意思调整句子构成。结合语义，仔细分析上下文的相互联系，对当前正在处理的语句进行适当修正。把帧识别成状态，把状态组合成音素，把音素组合成单词，对语音进行识别。识别出相应的语音，将语音电流转化为相应的文字电流，再将文字电流传输到投影装置处和USB 接口处。
本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (3)

1.一种用于失聪人群的眼镜，其特征在于：包括AR系统和语音转换系统，框架前部安装AR显示屏(2)，AT显示屏(1)下方安装光组合器(2)，AR显示器(1)，通过USB接口(4)和USB插头(7)连接语音转换系统的语音转换装置(6)，语音转换装置(6)连接语音接收器(5)，语音接收器(5)录入接收所需要的语音，通过语音转换装置(6)将声音转换成文字，语音转换装置(6)将转换好的文字电流传输给AR显示器(1)，再通过AR显示器(1)将转换好的文字射入人眼。
2.根据权利要求1所述的一种用于失聪人群的眼镜，其特征在于：所述框架上部安装头部跟踪器(8)，头部跟踪器(8)连接场景生成器(9)，场景生成器(9)连接AR显示屏(1)，AR显示器(1)通过头部跟踪器(8)实时跟踪用户头部的位置和姿态。
3.根据权利要求1所述的一种用于失聪人群的眼镜，其特征在于：所述AR显示屏(1)采用自由曲面镜片。
CN201811218031.9A 2018-10-18 2018-10-18 一种用于失聪人群的眼镜 Pending CN109254418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811218031.9A CN109254418A (zh) 2018-10-18 2018-10-18 一种用于失聪人群的眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811218031.9A CN109254418A (zh) 2018-10-18 2018-10-18 一种用于失聪人群的眼镜

Publications (1)

Publication Number Publication Date
CN109254418A true CN109254418A (zh) 2019-01-22

Family

ID=65045307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811218031.9A Pending CN109254418A (zh) 2018-10-18 2018-10-18 一种用于失聪人群的眼镜

Country Status (1)

Country Link
CN (1) CN109254418A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111751995A (zh) * 2020-06-11 2020-10-09 重庆工业职业技术学院 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法
IT202100026897A1 (it) 2021-10-19 2023-04-19 Searcode S R L Startup Costituita A Norma Dellart 4 Comma 10 B Bis Del Decreto 24 Gennaio 2015 N 3 Dispositivo di comunicazione indossabile per persone con deficit uditivo

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944598A (zh) * 2013-01-23 2014-07-23 深圳市亿思达显示科技有限公司 可视语音控制器、无线通讯系统及其通讯方法
CN104143084A (zh) * 2014-07-17 2014-11-12 武汉理工大学 一种针对视力障碍人群的辅助阅读眼镜
CN106547118A (zh) * 2015-09-22 2017-03-29 天津思博科科技发展有限公司 一种帮助失聪人群交流的眼镜

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944598A (zh) * 2013-01-23 2014-07-23 深圳市亿思达显示科技有限公司 可视语音控制器、无线通讯系统及其通讯方法
CN104143084A (zh) * 2014-07-17 2014-11-12 武汉理工大学 一种针对视力障碍人群的辅助阅读眼镜
CN106547118A (zh) * 2015-09-22 2017-03-29 天津思博科科技发展有限公司 一种帮助失聪人群交流的眼镜

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111751995A (zh) * 2020-06-11 2020-10-09 重庆工业职业技术学院 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法
IT202100026897A1 (it) 2021-10-19 2023-04-19 Searcode S R L Startup Costituita A Norma Dellart 4 Comma 10 B Bis Del Decreto 24 Gennaio 2015 N 3 Dispositivo di comunicazione indossabile per persone con deficit uditivo

Similar Documents

Publication Publication Date Title
US11563700B2 (en) Directional augmented reality system
US11423909B2 (en) Word flow annotation
EP3616050B1 (en) Apparatus and method for voice command context
US11068668B2 (en) Natural language translation in augmented reality(AR)
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
CN109784128A (zh) 具有文本及语音处理功能的混合现实智能眼镜
JP2000308198A (ja) 補聴器
JP2020149399A (ja) 仮想現実空間の提供方法
CN112764549B (zh) 翻译方法、装置、介质和近眼显示设备
CN109254418A (zh) 一种用于失聪人群的眼镜
US10916159B2 (en) Speech translation and recognition for the deaf
CN113093387A (zh) 翻译ar眼镜及其文本翻译方法
WO2019237428A1 (zh) 用于提供声源信息的方法和装置及增强现实眼镜
CN110007765A (zh) 一种人机交互方法、装置及设备
CN115620728A (zh) 音频处理方法、装置、存储介质及智能眼镜
CN115620727A (zh) 音频处理方法、装置、存储介质及智能眼镜
WO2018135057A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112751582A (zh) 用于交互的可穿戴装置、交互方法及设备、存储介质
CN111081120A (zh) 一种协助听说障碍人士交流的智能穿戴设备
Zmolikova et al. The CHiME-8 MMCSG Challenge: Multi-modal conversations in smart glasses
WO2019237429A1 (zh) 用于辅助交流的方法、装置和系统及增强现实眼镜
CN210072245U (zh) 一种翻译眼镜
CN113761947A (zh) 一种虚拟仿真多人交互系统
US11871198B1 (en) Social network based voice enhancement system
US20240340604A1 (en) Translation with audio spatialization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122

RJ01 Rejection of invention patent application after publication