CN111751995A - 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法 - Google Patents

一种声音视觉化的单目头戴式ar眼镜装置及其实现方法 Download PDF

Info

Publication number
CN111751995A
CN111751995A CN202010546665.8A CN202010546665A CN111751995A CN 111751995 A CN111751995 A CN 111751995A CN 202010546665 A CN202010546665 A CN 202010546665A CN 111751995 A CN111751995 A CN 111751995A
Authority
CN
China
Prior art keywords
voice
module
digital signal
controller
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010546665.8A
Other languages
English (en)
Inventor
黄进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Industry Polytechnic College
Original Assignee
Chongqing Industry Polytechnic College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Industry Polytechnic College filed Critical Chongqing Industry Polytechnic College
Priority to CN202010546665.8A priority Critical patent/CN111751995A/zh
Publication of CN111751995A publication Critical patent/CN111751995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Eyeglasses (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本发明公开了一种声音视觉化的单目头戴式AR眼镜装置，包括镜架、光学立方体，还包括语音采集模块：采集语音信息，并将语音信息进行A/D转换为语音数字信号；语音降噪模块：对语音数字信号进行噪声去除处理；语音转换模块：将语音数字信号转换为文字数字信号；OLED显示屏模块：对文字数字信号进行D/A转换为文字信息，并显示文字信息；存储模块：保存语音数字信号和文字数字信号；控制器：控制语音采集模块采集语音信息，控制语音数字信号传送到语音降噪模块、存储模块、语音转换模块，控制文字数字信号传送到存储模块、OLED显示屏模块；电源模块：用于对语音采集模块、语音降噪模块、语音转换模块、控制器、OLED显示屏模块、存储模块提供电源。

Description

一种声音视觉化的单目头戴式AR眼镜装置及其实现方法
技术领域
本发明涉及眼镜显示领域，更具体的，是一种声音视觉化的单目头戴式AR眼镜装置及其实现方法。
背景技术
随着人口老龄化，听力障碍不仅是一个公共卫生问题，也成为一个社会问题，全球65岁以上人口中，每三位就有一位患听力障碍。我国第二次残疾人抽样调查显示，全国60岁以上老年人患听力残疾的比例达11％，也就是说老年听力残疾人总数超过2000万。此外，由于遗传、妊娠期间的病毒感染、出生后的药物中毒等，每年都会有一些婴童的听力受到损害，重度的要根据情况装人工耳蜗，其他可用助听器解决。那完全失去听力功能的人应该怎么办呢？难道要一生都待在无声的世界吗？
为解决这一问题，本发明提供一种声音视觉化的单目头戴式AR眼镜装置及其实现方法。语音文字转换技术是当下应用最为广泛的技术之一，在当前技术背景下，AR增强现实技术已经得到了较好的发展和利用，AR增强现实技术已经广泛的应用于日常生活之中，在医学、娱乐和航天等方面有广泛的应用。如何通过语音文字转换，将文字信息呈现在失聪人群的眼前，帮助失聪人群进行无障碍交流是本发明所解决的问题。
发明内容
为帮助失聪人群正常交流，本发明提供一种声音视觉化的单目头戴式AR眼镜装置及其实现方法。
为实现上述目的，本发明采用如下技术方案：
根据本发明一实施例，一种声音视觉化的单目头戴式AR眼镜装置，包括镜架、光学立方体，还包括：
语音采集模块，用于采集语音信息，并将语音信息A/D转换为语音数字信号；
语音降噪模块，将语音数字信号进行噪声去除处理；
语音转换模块，将语音数字信号转换为文字数字信号；
OLED显示屏模块，将文字数字信号D/A转换为文字信息，并显示转换后的文字信息；
控制器，控制器控制语音采集模块采集语音信息，控制语音数字信号通过数据传输线传送到语音降噪模块，将降噪后的语音数字信号通过数据传输线传送到存储模块进行保存，控制器控制存储模块提取语音数字信号发送到语音转换模块，语音转换模块将语音数字信号转换为文字数字信号，并将文字数字信号传送到存储模块进行保存，控制器控制存储模块提取文字数字信号发送到OLED显示屏模块；
存储模块，存储模块用于保存降噪后的语音数字信号，保存转换后的文字数字信号；
电源模块，为控制器、语音采集模块、语音降噪模块、语音转换模块、OLED显示屏模块以及存储模块提供电源。
根据本发明又一实施例，镜架包括第一区段、第二区段以及第三区段；
其中，镜架进一步包括：
耳拖挂钩型结构，其设置在镜架的第二区段与第三区段之间；
凹槽，其设置在镜架的内侧；以及，
两个圆孔，其设置在镜架的第一区段的外侧壳体上；其中，
镜架的第一区段的内部设置有语音采集模块、语音降噪模块和OLED显示屏模块；
镜架的第二区段的内部设置有语音转换模块、存储模块和控制器；
镜架的第三区段的内部设置有电源模块；且其中，
镜架的第三区段的末端壳体上设置有轻触开关和Micro USB充电板；
轻触开关与电源模块连接，Micro USB充电板与电源模块连接。
为更好的实现本发明，可进一步为：光学立方体由三角形三棱镜和三角形透明光件组成，采用无缝贴合拼接成光学立方体；
在镜架的第一区段设置光学立方体。
可进一步为：控制器控制语音采集模块采集语音信息，并将语音信息A/D转换为语音数字信号，控制器控制语音数字信号通过数据传输线传送到语音降噪模块；
可进一步为：语音降噪模块将语音数字信号进行噪声去除处理，控制器控制降噪后的语音数字信号通过数据传输线传送到存储模块进行保存；
可进一步为：控制器控制存储模块提取语音数字信号发送到语音转换模块，语音转换模块将语音数字信号转换为文字数字信号，控制器控制文字数字信号通过数据传输线传送到存储模块进行保存；以及，
可进一步为：控制器控制存储模块提取文字数字信号发送到OLED显示屏模块，OLED显示屏模块将文字数字信号D/A转换为文字信息，并显示转换后的文字信息，光学立方体折射OLED显示屏模块，将文字信息呈现在眼前。
可进一步为：OLED显示屏模块贴合于三角形透明光件表面，三角形三棱镜将OLED显示屏模块按照1∶1的比例成90度折射显示。
可进一步为：语音采集模块的芯片型号为TLV320AIC23语音编解码芯片；
可进一步为：语音降噪模块的芯片型号为FM34-500语音处理器；
可进一步为：语音转换模块的芯片型号为SYN6658中文语音合成芯片；
可进一步为：控制器的芯片型号为STM32F407VET6微控制器芯片；
可进一步为：存储模块采用MX25L25645GM2I内存芯片；
可进一步为：OLED显示屏模块的驱动芯片型号为SSD1306芯片；
可进一步为：电源模块采用中顺芯3.7V，容量为3200mAh聚合物锂电池。
一种声音视觉化的单目头戴式AR眼镜实现方法，包括：
S1：系统初始化，打开轻触开关，OLED显示屏模块显示初始化完成，表明系统已初始化完成；
S2：语音信息采集与A/D转换，使用者佩戴好单目头戴式AR眼镜装置，控制器控制语音采集模块采集语音信息，同时将语音信息进行A/D转换为语音数字信号，控制器控制语音数字信号通过数据传输线传送到语音降噪模块；
S3：语音数字信号降噪与保存，语音降噪模块将语音数字信号进行噪声去除处理，控制器控制降噪后的语音数字信号通过数据传输线传送到存储模块，将语音数字信号进行保存；
S4：语音文字信息转换与保存，控制器控制存储模块提取语音数字信号，发送到语音转换模块，将语音数字信号转换为文字数字信号，控制器控制文字数字信号通过数据传输线传送到存储模块，将文字数字信号进行保存；
S5：文字数字信号D/A转换与显示，控制器控制存储模块提取文字数字信号，发送到OLED显示屏模块，OLED显示屏模块将文字数字信号D/A转换为文字信息，通过OLED显示屏模块显示文字信息。
可进一步为：语音采集模块与语音降噪模块采用双向数据传输线进行连接；控制器与语音降噪模块、语音转换模块以及存储模块采用双向数据传输线进行连接；控制器与OLED显示屏模块采用单向传输数据线进行连接；电源模块与控制器通过电源线进行连接。
本发明有益效果：
第一，模块化的结构设计，整体结构简单，本发明装置包括：镜架、光学立方体、语音采集模块、语音降噪模块、语音转换模块、存储模块、电源模块以及控制器；
第二，设置语音采集模块，可采集语音信息，设置语音降噪模块以及语音文字转换模块，提高语音到文字的转换精确度，减小转换误差；
第三，设置光学立方体，对OLED显示屏模块进行折射，可以在不遮挡视线的前提下，将文字信息呈现在使用者眼前；
第四，设置存储模块，可以对数据进行保存和发送；设置电源模块，并在电源模块上设置轻触开关和Micro USB充电板，可以在不使用时，关闭电源，在电源使用完毕后，可通过Micro USB充电板对电源进行充电，可重复使用，起到节能环保作用。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
图1为本发明的一个视角的立体结构图；
图2为本发明的另一个视角的立体结构图；
图3为本发明的又一个视角的立体结构图；
图4为本发明的光学立方体结构图；
图5为本发明的控制系统结构图；
图6为本发明的实现方法的流程图。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法、特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述了所公开的实施例的另外的特征，并且这些特征根据以下详细描述将是显而易见的。
实施例一：
如图1-4所示，一种声音视觉化的单目头戴式AR眼镜装置1，包括：镜架2、光学立方体3、语音采集模块4、语音降噪模块5、语音转换模块6、OLED显示屏模块7、控制器8、存储模块9以及电源模块10。
镜架2采用单目三段头戴式结构，分为三个区段：第一区段201、第二区段202以及第三区段203。在镜架2内侧设置凹槽205，可将使用者眼镜镜腿(未示出)嵌合于凹槽205内侧，用于固定单目头戴式AR眼镜装置1。耳拖挂钩204型结构设置在镜架2第二区段202与第三区段203之间，用于放置单目头戴式AR眼镜装置1在耳朵(未示出)上方，起到固定装置作用。两个圆孔208设置在镜架2的第一区段201的外侧壳体上，在其内部设置语音采集模块4，用于采集语音信息。在镜架2的第三区段203末端壳体上设置轻触开关206和Micro USB(微型USB)充电板207。
在本申请的一个实施例中，光学立方体3由三角形三棱镜301和三角形透明光件302采用无缝贴合拼接而成。在镜架2第一区段201设置光学立方体3，OLED显示屏模块7贴合于三角形透明光件302表面，三角形三棱镜301将OLED显示屏模7按照1∶1的比例成90度折射显示，将文字信息呈现在使用者眼前。
语音采集模块4设置于镜架2第一区段201内部。在本申请的一个实施例中，语音采集模块4的芯片采用TLV320AIC23语音编解码芯片。TLV320AIC23语音编解码芯片是一款高性能立体声音频编解码器，模/数转换器集成在芯片内部，可将语音信息转换为语音数字信号的芯片。然而，本领域技术人员可以理解：语音采集模块4可以采用其他芯片，只要能够实现语音采集、A/D转换的功能即可。在本申请的实施例中，语音采集模块4与语音降噪模块5采用双向数据传输线连接，并将语音采集模块4贴合于第一区段201壳体上的两个圆孔208内侧，便于更加清晰采集对话者语音信息。语音采集模块4将语音信息A/D转换为语音数字信号，并发送到语音降噪模块5。
语音降噪模块5设置于镜架2第一区段201内部，贴合于内侧壁限位框501。在本申请的一个实施例中，语音降噪模块5的芯片型号为FM34-500语音处理器。FM34-500是基于SAM-VE技术，面向双麦克风噪音抑制和回声消除芯片，为了语音采集和语音搜索应用的高音质需求，SAM-VE技术形成一个虚拟的球状区域，彻底隔离使用者的声音，过滤掉不必要的背景噪音，以产生全双工的清晰话质，可将采集到的语音信号进行噪声去除。然而，本领域技术人员可以理解：语音降噪模块5可以采用其他芯片，只要能够实现语音噪声去除的功能即可。在本申请的实施例中，语音降噪模块5与控制器8采用双向数据传输线进行连接，语音降噪模块5将语音数字信号进行噪声去除处理，控制器8控制降噪后的语音数字信号传送到存储模块9进行保存。
语音转换模块6设置于第二区段内部，贴合于内侧限位框601内。在本申请的一个实施例中，语音转换模块6的芯片型号为SYN6658中文语音合成芯片。SYN6658是一款效果更自然的高端语音合成芯片，具有小尺寸贴片封装、硬件接口简单、低功耗、音色清亮圆润、极高的性价比，除此之外，SYN6658在识别文本、数字、字符串更智能、更准确，语音合成自然度上升了一个大的台阶，实现语音文字的转换功能。然而，本领域技术人员可以理解：语音转换模块6可以采用其他芯片，只要能够实现语音文字转换功能即可。在本申请的实施例中，语音转换模块6与控制器8采用双向数据传输线进行连接，语音转换模块6将语音数字信号转换为文字数字信号。在语音文字转换系统中，构建语音文字数据库，将采集到的语音数字信号与语音文字数据库进行对比，识别并输出语音所对应的文字数字信号。控制器8控制文字数字信号发送到存储模块9进行保存。
OLED显示屏模块7设置于第一区段201内部，贴合于光学立方体3的三角形透明光件302表面。在本申请的一个实施例中，OLED显示屏模块7的驱动芯片型号为SSD1306芯片。SSD1306是OLED驱动芯片，可以驱动聚合发光二极管点阵图形显示系统，芯片专为共阴极OLED面板设计，SSD1306嵌入了对比度控制器、显示RAM和晶振，并减少外部器件和功耗，实现文字显示功能。然而，本领域技术人员可以理解：OLED显示屏模块7可以采用其他驱动芯片，只要能够实现驱动OLED显示文字即可。在本申请的实施例中，OLED显示屏模块7与控制器8采用单向数据传输线进行连接，OLED显示屏模块7将文字数字信号进行D/A转换为文字信息，并显示其转换后的文字信息。控制器8控制存储模块9提取文字数字信号发送到OLED显示屏模块7。
控制器8设置于第二区段202内部，贴合于内侧限位框801。在本申请的一个实施例中，控制器8的芯片型号为STM32F407VET6微控制器。STM32F407VET6微控制器是32位控制器，具有尺寸小、能效高、功能强、安全和性价比更高的特点。STM32F407VET6提供稳健的数据安全保护功能，引入基于硬件的安全特性，包括支持安全启动的存储器保护机制，具有模块控制及数据传输控制功能。然而，本领域技术人员可以理解：控制器8可以采用其他芯片，只要能够实现模块控制和数据传输控制功能即可。在本申请的实施例中，控制器8与语音降噪模块5、语音转换模块6、存储模块9通过双向数据传输线进行连接；控制器8与OLED显示屏模块7采用单向数据传输线进行连接；控制器8与电源模块10采用电源线进行连接。控制器8控制语音采集模块4采集语音信息，控制语音数字信号传送到语音降噪模块5，控制降噪后的语音数字信号传送到存储模块9进行保存；控制器8控制存储模块9提取语音数字信号发送到语音转换模块6，控制文字数字信号传送到存储模块9进行保存；控制器8控制存储模块9提取文字数字信号发送到OLED显示屏模块7。
存储模块9设置于第二区段202内部，贴合于内侧限位框901。在本申请的一个实施例中，存储模块9型号采用MX25L25645GM2I内存芯片。MX25L25645GM2I内存芯片是用来存储系统程序和各种数据信息的记忆部件，按存储单元的地址存放或读取各类信息，具有存储数据和程序的功能。然而，本领域技术人员可以理解：存储器9可以采用其他芯片，只要能够实现存储数据和程序的功能即可。在本申请的实施例中，存储模块9与控制器8采用双向数据传输线进行连接。存储模块9用于存储语音数字信号和文字数字信号。
电源模块10设置于第三区段203内部，贴合于内侧限位框1001。在本申请的一个实施例中，电源模块10采用中顺芯3.7V，容量为3200mAh聚合物锂电池。然而，本领域技术人员可以理解：电源模块10可以采用其他电源，只要额定电压为3.7V即可。电源模块10与轻触开关206相连接，轻触开关206控制电源模块10的开通与关闭。电源模块10与Micro USB(微型USB)充电板207相连接，可通过Micro USB(微型USB)充电板207对电源模块10进行充电。电源模块10与控制器8采用电源线进行连接。电源模块10向控制器8、语音采集模块4、语音降噪模块5、语音转换模块6、OLED显示屏模块7、存储模块9提供电源。
实施例二：
如图5所示，一种声音视觉化的单目头戴式AR眼镜装置1控制系统结构图。控制器8控制语音采集模块4采集语音信息，并对语音信息进行A/D转换为语音数字信号，并将语音数字信号传送到语音降噪模块5；语音降噪模块5对语音数字信号进行去噪处理，并将降噪后的语音数字信号传送到存储模块9进行保存；控制器8控制存储模块9提取语音数字信号发送到语音转换模块6，语音降噪模块6将语音数字信号转换为文字数字信号，并将文字数字信号传送到存储模块9进行保存；控制器8控制存储模块9提取文字数字信号发送到OLED显示屏模块7，OLED显示屏模块7对文字数字信号进行D/A转换为文字信息，并显示文字信息。
实施例三：
如图6所示，一种声音视觉化的单目头戴式AR眼镜实现方法，包括：
S1：系统初始化，打开轻触开关206，OLED显示屏模块7显示初始化完成，表明系统已完成初始化；
S2：语音信息采集与A/D转换，使用者佩戴好单目头戴式AR眼镜装置1，控制器8控制语音采集模块4采集语音信息，同时将语音信息进行A/D转换为语音数字信号。控制器8控制语音数字信号通过数据传输线传送到语音降噪模块5；
S3：语音数字信号降噪与保存，语音降噪模块5对语音数字信号进行噪声去除处理。控制器8控制降噪后的语音数字信号通过数据传输线传送到存储模块9，将语音数字信号进行保存；
S4：语音文字信息转换与存储，控制器8控制存储模块9提取语音数字信号，发送到语音转换模块6，将语音数字信号转换为文字数字信号。控制器8控制文字数字信号通过数据传输线传送到存储模块9，将文字数字信号进行保存；
S5：文字数字信号D/A转换与显示，控制器8控制存储模块9提取文字数字信号，发送到OLED显示屏模块7。OLED显示屏模块7将文字数字信号进行D/A转换为文字信息，通过OLED显示屏模块7显示文字信息。
本发明为失聪人士正常交流提供一种声音视觉化单目头戴式AR眼镜装置1及其实现方法，解决从声音到文字转换，并将文字信息呈现在失聪人士眼前，为失聪人士实时交流提供便利。装置采用单目式设计结构，佩戴方便；AR显示装置采用光学立方体3，可以在不遮挡视线的同时，显示文字信息；系统采用模块化的设计结构，结构简单，易于实现；系统信号从采集、降噪、转换、显示、存储的工作流程，可提高语音到文字的转换精确度，减小转换误差，提高系统可靠性。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (8)

1.一种声音视觉化的单目头戴式AR眼镜装置(1)，其特征在于，包括镜架(2)、光学立方体(3)，还包括：
语音采集模块(4)，用于采集语音信息，并将所述语音信息A/D转换为语音数字信号；
语音降噪模块(5)，将所述语音数字信号进行噪声去除处理；
语音转换模块(6)，将所述语音数字信号转换为文字数字信号；
OLED显示屏模块(7)，将所述文字数字信号D/A转换为文字信息，并显示转换后的所述文字信息；
控制器(8)，所述控制器(8)控制所述语音采集模块(4)采集所述语音信息，控制所述语音数字信号通过数据传输线传送到所述语音降噪模块(5)，将降噪后的所述语音数字信号通过所述数据传输线传送到存储模块(9)进行保存，所述控制器(8)控制所述存储模块(9)提取所述语音数字信号发送到所述语音转换模块(6)，所述语音转换模块(6)将所述语音数字信号转换为所述文字数字信号，并将所述文字数字信号发送到所述存储模块(9)进行保存，所述控制器(8)控制所述存储模块(9)提取所述文字数字信号发送到所述OLED显示屏模块(7)；
存储模块(9)，所述存储模块(9)用于保存降噪后的所述语音数字信号，保存转换后的所述文字数字信号；
电源模块(10)，为所述控制器(8)、所述语音采集模块(4)、所述语音降噪模块(5)、所述语音转换模块(6)、所述OLED显示屏模块(7)以及所述存储模块(9)提供电源。
2.根据权利要求1所述的声音视觉化的单目头戴式AR眼镜装置(1)，其特征在于，所述镜架(2)包括第一区段(201)、第二区段(202)以及第三区段(203)；
其中，所述镜架(2)进一步包括：
耳拖挂钩(204)型结构，其设置在所述镜架(2)的所述第二区段(202)与所述第三区段(203)之间；
凹槽(205)，其设置在所述镜架(2)的内侧；以及，
两个圆孔(208)，其设置在所述镜架(2)的所述第一区段(201)的外侧壳体上；其中，
所述镜架(2)的所述第一区段(201)的内部设置有所述语音采集模块(4)、所述语音降噪模块(5)和所述OLED显示屏模块(7)；
所述镜架(2)的所述第二区段(202)的内部设置有所述语音转换模块(6)、所述存储模块(9)和所述控制器(8)；
所述镜架(2)的所述第三区段(203)的内部设置有所述电源模块(10)；且其中，
所述镜架(2)的所述第三区段(203)的末端壳体上设置有轻触开关(206)和Micro USB充电板(207)；
所述轻触开关(206)与所述电源模块(10)连接，所述Micro USB充电板(207)与所述电源模块(10)连接。
3.根据权利要求1所述的声音视觉化的单目头戴式AR眼镜装置(1)，其特征在于：所述光学立方体(3)由三角形三棱镜(301)和三角形透明光件(302)组成，采用无缝贴合拼接成所述光学立方体(3)；
在所述镜架(2)的所述第一区段(201)设置所述光学立方体(3)。
4.根据权利要求1所述的声音视觉化的单目头戴式AR眼镜装置(1)，其特征在于：所述控制器(8)控制所述语音采集模块(4)采集所述语音信息，并将所述语音信息A/D转换为所述语音数字信号；
所述控制器(8)控制所述语音数字信号通过所述数据传输线传送到所述语音降噪模块(5)；
所述语音降噪模块(5)将所述语音数字信号进行噪声去除处理；
所述控制器(8)控制降噪后的所述语音数字信号通过所述数据传输线传送到所述存储模块(9)进行保存；以及，
所述控制器(8)控制所述存储模块(9)提取所述语音数字信号发送到所述语音转换模块(6)，所述语音转换模块(6)将所述语音数字信号转换为所述文字数字信号；
所述控制器(8)控制所述文字数字信号通过所述数据传输线传送到所述存储模块(9)进行保存；以及，
所述控制器(8)控制所述存储模块(5)提取所述文字数字信号发送到所述OLED显示屏模块(7)；
所述OLED显示屏模块(7)将所述文字数字信号D/A转换为文字信息，并显示转换后的所述文字信息；
所述光学立方体(3)折射所述OLED显示屏模块(7)，将所述文字信息呈现在眼前。
5.根据权利要求4所述的声音视觉化的单目头戴式AR眼镜装置(1)，其特征在于，所述OLED显示屏模块(7)贴合于所述三角形透明光件(302)表面，所述三角形三棱镜(301)将所述OLED显示屏模块(7)按照1∶1的比例成90度折射显示。
6.根据上述权利要求之一所述的声音视觉化的单目头戴式AR眼镜装置(1)，其特征在于，所述语音采集模块(4)的芯片型号为TLV320AIC23语音编解码芯片；
所述语音降噪模块(5)的芯片型号为FM34-500语音处理器；
所述语音转换模块(6)的芯片型号为SYN6658中文语音合成芯片；
所述控制器(8)的芯片型号为STM32F407VET6微控制器芯片；
所述存储模块(9)采用MX25L25645GM2I内存芯片；
所述OLED显示屏模块(7)的驱动芯片型号为SSD1306芯片；
所述电源模块(10)采用中顺芯3.7V，容量为3200mAh聚合物锂电池。
7.根据权利要求1所述的一种声音视觉化的单目头戴式AR眼镜的实现方法，其特征在于，包括：
S1：系统初始化，打开所述轻触开关(206)，所述OLED显示屏模块(7)显示初始化完成，表明系统已初始化完成；
S2：语音信息采集与A/D转换，使用者佩戴好所述单目头戴式AR眼镜装置(1)，所述控制器(8)控制所述语音采集模块(4)采集所述语音信息，同时将所述语音信息进行A/D转换为所述语音数字信号，所述控制器(8)控制所述语音数字信号通过所述数据传输线传送到所述语音降噪模块(5)；
S3：语音数字信号降噪与保存，所述语音降噪模块(5)将所述语音数字信号进行噪声去除处理，所述控制器(8)控制降噪后的所述语音数字信号通过所述数据传输线传送到所述存储模块(9)，将所述语音数字信号进行保存；
S4：语音文字信息转换与保存，所述控制器(8)控制所述存储模块(9)提取所述语音数字信号，发送到所述语音转换模块(6)，将所述语音数字信号转换为所述文字数字信号，所述控制器(8)控制所述文字数字信号通过所述数据传输线传送到所述存储模块(9)，将所述文字数字信号进行保存；
S5：文字数字信号D/A转换与显示，所述控制器(8)控制所述存储模块(9)提取所述文字数字信号，发送到所述OLED显示屏模块(7)，所述OLED显示屏模块(7)将所述文字数字信号D/A转换为所述文字信息，通过所述OLED显示屏模块(7)显示所述文字信息。
8.根据权利要求7所述的方法，其特征在于，所述语音采集模块(4)与所述语音降噪模块(5)采用双向数据传输线进行连接；所述控制器(8)与所述语音降噪模块(5)、所述语音转换模块(6)以及所述存储模块(9)采用双向数据传输线进行连接；所述控制器(8)与所述OLED显示屏模块(7)采用单向传输数据线进行连接；所述电源模块(10)与所述控制器(8)通过电源线进行连接。
CN202010546665.8A 2020-06-11 2020-06-11 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法 Pending CN111751995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010546665.8A CN111751995A (zh) 2020-06-11 2020-06-11 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010546665.8A CN111751995A (zh) 2020-06-11 2020-06-11 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法

Publications (1)

Publication Number Publication Date
CN111751995A true CN111751995A (zh) 2020-10-09

Family

ID=72675358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010546665.8A Pending CN111751995A (zh) 2020-06-11 2020-06-11 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法

Country Status (1)

Country Link
CN (1) CN111751995A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550430A (zh) * 2022-04-27 2022-05-27 北京亮亮视野科技有限公司 基于ar技术的文字提醒方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646587A (zh) * 2013-12-05 2014-03-19 北京京东方光电科技有限公司 一种智能眼镜及其控制方法
CN103869471A (zh) * 2014-01-09 2014-06-18 盈诺飞微电子(上海)有限公司 头戴式语音识别投影装置及系统
CN105007557A (zh) * 2014-04-16 2015-10-28 上海柏润工贸有限公司 一种具有语音识别和字幕显示功能的智能助听器
CN105975103A (zh) * 2016-05-22 2016-09-28 重庆市炙热科技发展有限公司 一种带激光教鞭的多功能指环式无线鼠标
CN205665468U (zh) * 2016-06-14 2016-10-26 陈国强 实时显示的增强现实智能眼镜
CN106444042A (zh) * 2016-11-29 2017-02-22 北京知境科技有限公司 一种增强现实与虚拟现实两用显示设备和可穿戴设备
CN109254418A (zh) * 2018-10-18 2019-01-22 大连交通大学 一种用于失聪人群的眼镜
CN109696748A (zh) * 2019-02-14 2019-04-30 郑州诚优成电子科技有限公司 一种用于同步翻译的增强现实字幕眼镜

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646587A (zh) * 2013-12-05 2014-03-19 北京京东方光电科技有限公司 一种智能眼镜及其控制方法
CN103869471A (zh) * 2014-01-09 2014-06-18 盈诺飞微电子(上海)有限公司 头戴式语音识别投影装置及系统
CN105007557A (zh) * 2014-04-16 2015-10-28 上海柏润工贸有限公司 一种具有语音识别和字幕显示功能的智能助听器
CN105975103A (zh) * 2016-05-22 2016-09-28 重庆市炙热科技发展有限公司 一种带激光教鞭的多功能指环式无线鼠标
CN205665468U (zh) * 2016-06-14 2016-10-26 陈国强 实时显示的增强现实智能眼镜
CN106444042A (zh) * 2016-11-29 2017-02-22 北京知境科技有限公司 一种增强现实与虚拟现实两用显示设备和可穿戴设备
CN109254418A (zh) * 2018-10-18 2019-01-22 大连交通大学 一种用于失聪人群的眼镜
CN109696748A (zh) * 2019-02-14 2019-04-30 郑州诚优成电子科技有限公司 一种用于同步翻译的增强现实字幕眼镜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550430A (zh) * 2022-04-27 2022-05-27 北京亮亮视野科技有限公司 基于ar技术的文字提醒方法和装置

Similar Documents

Publication Publication Date Title
CN106683533A (zh) 一种聋哑人专用交流眼镜
CN109696748A (zh) 一种用于同步翻译的增强现实字幕眼镜
CN205900093U (zh) 降噪装置及虚拟现实设备
CN111751995A (zh) 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法
CN201518084U (zh) 一种具有助听功能的眼镜
US20070033717A1 (en) Flash memory audio strap for eyeglasses and goggles
CN203233539U (zh) 一种助听器上的无线动态接收显示系统
CN204242466U (zh) 手语互译装置
CN210442589U (zh) 一种用于角色分离语音采集的眼镜框及眼镜
CN206177292U (zh) 一种护眼眼镜
CN106303829B (zh) 双接口耳机电路及其控制方法
CN108538153A (zh) 音频转换设备
CN210072245U (zh) 一种翻译眼镜
CN215730426U (zh) 一种智能交流辅助眼镜
CN210606226U (zh) 一种双模式聋哑人交流设备
CN203070756U (zh) 一种基于动作识别及语音技术的手语和唇语互译系统
CN215529127U (zh) 一种具备视障人辅助功能的智能穿戴设备
CN109254418A (zh) 一种用于失聪人群的眼镜
CN107664857A (zh) 一种智能翻译眼镜
CN201716984U (zh) 聋哑人生存导航装置
CN220855907U (zh) 一种基于肌电信号的手语和语音互翻的可视智能手环
CN111610648A (zh) 一种可翻译语音眼镜
CN110838250A (zh) 一种普通话矫正发音用训练装置及其训练方法
CN218446664U (zh) 一种便携式智能翻译一体机
CN218886714U (zh) 一种用于语音识别和手语识别的智能眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201009

WD01 Invention patent application deemed withdrawn after publication