CN111128180A - 一种听力障碍者的辅助对话系统 - Google Patents

一种听力障碍者的辅助对话系统 Download PDF

Info

Publication number
CN111128180A
CN111128180A CN201911159710.8A CN201911159710A CN111128180A CN 111128180 A CN111128180 A CN 111128180A CN 201911159710 A CN201911159710 A CN 201911159710A CN 111128180 A CN111128180 A CN 111128180A
Authority
CN
China
Prior art keywords
sound
text
unit
sound source
hearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911159710.8A
Other languages
English (en)
Inventor
翁冬冬
江海燕
胡翔
王聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang New Century Conference And Exhibition Center Co ltd
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Original Assignee
Nanchang New Century Conference And Exhibition Center Co ltd
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang New Century Conference And Exhibition Center Co ltd, Nanchang Virtual Reality Detection Technology Co ltd, Beijing Institute of Technology BIT filed Critical Nanchang New Century Conference And Exhibition Center Co ltd
Priority to CN201911159710.8A priority Critical patent/CN111128180A/zh
Publication of CN111128180A publication Critical patent/CN111128180A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种听力障碍者的辅助对话系统，属于辅助设备技术领域，该辅助对话系统能够捕获不在视野中的声音信息，用户可以准确知道声音源的空间位置以及对应文本内容，能够避免信息遗漏，提高听力障碍者的交流效率。该系统包括声音获取单元、声音定位单元、文本转化单元以及显示单元。声音获取单元，用于捕获空间中的声音源发出的声音，生成音频。声音定位单元与声音获取单元相连，用于根据声音获取单元捕获的声音源发出的声音，定位声音源的空间位置。文本转化单元与声音获取单元相连，用于将音频转化为文本；显示单元与文本转化单元和声音定位单元相连，用于获取声音源的空间位置和文本，关联声音源的空间位置和文本，进行显示。

Description

一种听力障碍者的辅助对话系统
技术领域
本发明涉及辅助设备技术领域，具体涉及一种听力障碍者的辅助对话系统。
背景技术
听力障碍是常见的感觉障碍疾病之一，听力障碍者与正常人进行对话交流时存在较大困难。听力障碍辅助是通过各种手段满足听力障碍者的信息交流需求。
专利CN 109300478 A提出了一种听力障碍者的辅助对话装置，该装置通过对对采集到的语音进行滤波降噪，然后转化成文本，通过显示器显示给听力障碍者用户。在该装置中，文本转化可以进行手动控制，用户可以在需要使用时进行开启，在不需要使用时进行关闭。
专利CN 106686223 A提出了聋哑人与正常人的辅助对话系统、方法及智能手机装置，该系统包括：场景感知模块，用于感知并确定聋哑人与正常人的对话场景；数据采集及预处理模块，用于采集正常人话音，生成声音数据，对该声音数据进行预处理，生成语音数据；语音识别模块，用于接收识别该语音数据，并加载对应该对话场景的语音识别模型，根据该语音识别模型将该语音数据识别并转换成文字信息；语音合成模块，用于将聋哑人输入对话的文本内容转换成语音信息，并发给正常人。
与听力障碍者进行交流的正常人处于听力障碍者的视野中时，听力障碍者可以通过唇语等识别正常人的语言。但是，对于不在听力障碍者视野中央的人，听力障碍者对此类声音都会忽视掉，会造成信息遗漏，特别在多人对话场景中，听力障碍者可能会遗漏很多信息，以上两种离职障碍辅助手段，虽然可以将声音转化为文本显示给此类用户，但是都不能显示声音位置来源以及对应声音文本信息。用户不能判断声音位置来源造成与说话者的交流启动困难。
发明内容
有鉴于此，本发明提供了一种听力障碍者的辅助对话系统，能够捕获不在视野中的声音信息，用户可以准确知道声音源的空间位置以及对应文本内容，能够避免信息遗漏，提高听力障碍者的交流效率。
为达到上述目的，本发明的技术方案为：包括声音获取单元、声音定位单元、文本转化单元以及显示单元。
声音获取单元，用于捕获空间中的声音源发出的声音，生成音频。
声音定位单元与声音获取单元相连，用于根据声音获取单元捕获的声音源发出的声音，定位声音源的空间位置。
文本转化单元与声音获取单元相连，用于将音频转化为文本；
显示单元与文本转化单元和声音定位单元相连，用于获取声音源的空间位置和文本，关联声音源的空间位置和文本，进行显示。
进一步地，空间中的声音源的数量为一个以上。
进一步地，声音获取单元的数量为一个以上。
进一步地，显示单元将空间位置相同的声音源的声音对应转化出的文本显示在同一区域。
进一步地，声音获取单元包括传声器以及滤波器；传声器用于获取空间中的声音源发出的声音；滤波器用于对声音源发出的声音进行背景声音降噪处理，生成音频。
进一步地，声音定位单元，根据声音获取单元捕获的声音源发出的声音，定位声音源的空间位置，具体为：
声音定位单元采用基于最大输出功率的可控波束形成方法、高分辨率谱估计方法或者基于声达时间差TDOA的定位方法定位声音源的空间位置。
进一步地，显示单元获取听力障碍者的位置，并按照声音源与听力障碍者的相对方位，将声音源的声音对应转化出的文本显示在听力障碍者的相对方位处。
进一步地，显示单元为手机或者增强现实头戴式显示器。
有益效果：
本发明通过使用声音获取单元以及声音定位单元获取空间中一定范围内的声音源发出的声音内容以及空间位置，声音内容转化成文本内容，通过显示器显示到用户视野中，解决听力障碍者信息遗漏问题，捕获不在视野中的声音信息，用户可以准确知道声音来源以及对应内容。对于感兴趣的声音，用户可以立即找到声音源即说话者，参与交流，提高交流效率。
附图说明
图1为本发明提供的听力障碍者的辅助对话系统组成框图；
图2为本发明实施例提供的听力障碍者的交流场景所处空间示意图；
图3为本发明实施例提供的听力障碍者所处空间角度示意图；
图4为本发明实施例提供的显示单元的一种显示方式示意图；
图5为本发明实施例提供的显示单元另一种可行的显示方式示意图；
图6为本发明实施例提供的显示单元第三种可行的形式方式示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种听力障碍者的辅助对话系统，如图1所示，包括声音获取单元、声音定位单元、文本转化单元以及显示单元。
声音获取单元，用于捕获空间中的声音源发出的声音，生成音频。
本发明实施例中，空间中的声音源的数量为两个以上，声音源可能来自空间的任意位置，如图2所示为听力障碍者的交流场景所处空间。听力障碍者左后方和右后方正在有人讲话，但是用户不能看到正在说话的人。
本发明实施例中，声音获取单元的数量为两个以上。例如声音获取单元可以是听力障碍者左右耳分别佩戴的麦克风即传声器，传声器用于获取空间中的声音源发出的声音；本发明实施例中，针对传声器获取的声音信号，为能够更加清晰地进行后续的文本转化，声音获取单元还可以包括滤波器，滤波器用于对声音源发出的声音进行背景声音降噪处理，生成音频。
声音定位单元与声音获取单元相连，用于根据声音获取单元捕获的声音源发出的声音，定位声音源的空间位置。
本发明实施例中声音定位单元采用基于最大输出功率的可控波束形成方法、高分辨率谱估计方法或者基于声达时间差TDOA的定位方法定位声音源的空间位置。
文本转化单元与声音获取单元相连，用于将音频转化为文本；
显示单元与文本转化单元和声音定位单元相连，用于获取声音源的空间位置和文本，关联声音源的空间位置和文本，进行显示。
本发明实施例中，显示单元将空间位置相同的声音源的声音对应转化出的文本显示在同一区域。
本发明实施例中，显示单元获取听力障碍者的位置，并按照声音源与听力障碍者的相对方位，将声音源的声音对应转化出的文本显示在听力障碍者的相对方位处。
本发明实施例中，显示单元在进行显示时，同时将声音源的空间位置和文本一同显示，例如如图3所示，说话的用户即为声音源，声音源与听力障碍者的相对方位可以通过文字描述，如“左前方”、“右后方”或者相对于用户的角度位置数字来区分，用户的正前方为0°，左手边为-90°，右手边为90°，正后方为180°，如图3所示。说话的顺序以及强度的区分方式可以为，增加图标，改变特定的文本字体风格，增加其他标志，但是不限于此。
本发明实施例中，显示单元可以为手机或者增强现实头戴式显示器，也可以是智能手表等可以进行文本显示的设备。
显示单元的一种方式显示方式是相对于显示器的固定的显示方式，即，新闻本显示内容一直固定在头戴显示器显示屏幕。第一种方式是说话内容全显示方式，可以将所有人说话的文本显示在一块区域，可以显示在显示器的一侧(左侧或者右侧)，这样，不会遮挡用户的中心视线，当用户需要重点关注声音文本内容时，也可以显示在用户视野中心，如图4所示。其中，用户可以在两种显示方式中间切换，可以使用手柄控制器按钮或者手势进行切换控制。在该方式中，不同用户的说话内容可以区分，说话方位可以通过文字或者角度来区分，说话的顺序以及强度可以通过改变文本的字体或者颜色或者增加图标来区分。第二种显示方式是分别在显示屏幕的两侧分开显示不同声音的文本。如图5所示，不同的声音来源的文本显示在不同的区域，头戴式显示器的两侧分别显示用户左侧和右侧的声音文本，上下两侧显示用户前后的声音文本，通过文本显示内容的位置可以区分声音来源的方位，也可使用文字或者数字提示方式。此外，说话的顺序以及强度可以通过改变文本的字体或者颜色或者增加图标来区分。
另外一种显示方式是显示用户环境的固定位置，例如，投影到用户即听力障碍者所在物理环境中，例如，一面实体墙上(图6)，显示方式可以参考相对于显示器的固定的显示方式。在该种显示方式中，听力障碍者在观看声音现实文本的时候可以转向显示位置进行观看，不需要观看时候，直接看向其他地方即可。
其中，显示单元中文本内容显示的字体、大小、显示的字量可以更具用户喜好进行更改设置。此外，该声音文本显示内容可以进行开关，在用户需要的时候打开进行显示，不需要可以关闭。也可以只显示用户一定范围内的声音来源的文本，超过该范围的声音不进行显示。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种听力障碍者的辅助对话系统，其特征在于，包括声音获取单元、声音定位单元、文本转化单元以及显示单元；
所述声音获取单元，用于捕获空间中的声音源发出的声音，生成音频；
所述声音定位单元与所述声音获取单元相连，用于根据所述声音获取单元捕获的声音源发出的声音，定位声音源的空间位置；
所述文本转化单元与所述声音获取单元相连，用于将所述音频转化为文本；
所述显示单元与所述文本转化单元和所述声音定位单元相连，用于获取所述声音源的空间位置和所述文本，关联声音源的空间位置和文本，进行显示。
2.如权利要求1所述的系统，其特征在于，空间中的声音源的数量为一个以上。
3.如权利要求1或2所述的系统，其特征在于，所述声音获取单元的数量为一个以上。
4.如权利要求1或2所述的系统，其特征在于，所述显示单元将空间位置相同的声音源的声音对应转化出的文本显示在同一区域。
5.如权利要求4所述的系统，其特征在于，所述声音获取单元包括传声器以及滤波器；
所述传声器用于获取空间中的声音源发出的声音；
所述滤波器用于对声音源发出的声音进行背景声音降噪处理，生成音频。
6.如权利要求1、2或5所述的系统，其特征在于，所述声音定位单元，根据所述声音获取单元捕获的声音源发出的声音，定位声音源的空间位置，具体为：
所述声音定位单元采用基于最大输出功率的可控波束形成方法、高分辨率谱估计方法或者基于声达时间差TDOA的定位方法定位声音源的空间位置。
7.如权利要求4所述的系统，其特征在于，所述显示单元获取所述听力障碍者的位置，并按照声音源与听力障碍者的相对方位，将声音源的声音对应转化出的文本显示在听力障碍者的相对方位处。
8.如权利要求1、2、5或7所述的系统，其特征在于，所述显示单元为手机或者增强现实头戴式显示器。
CN201911159710.8A 2019-11-22 2019-11-22 一种听力障碍者的辅助对话系统 Pending CN111128180A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911159710.8A CN111128180A (zh) 2019-11-22 2019-11-22 一种听力障碍者的辅助对话系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911159710.8A CN111128180A (zh) 2019-11-22 2019-11-22 一种听力障碍者的辅助对话系统

Publications (1)

Publication Number Publication Date
CN111128180A true CN111128180A (zh) 2020-05-08

Family

ID=70496436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911159710.8A Pending CN111128180A (zh) 2019-11-22 2019-11-22 一种听力障碍者的辅助对话系统

Country Status (1)

Country Link
CN (1) CN111128180A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112185354A (zh) * 2020-09-17 2021-01-05 浙江同花顺智能科技有限公司 一种语音文本的显示方法、装置、设备及存储介质
WO2021236274A1 (en) * 2020-05-20 2021-11-25 Microsoft Technology Licensing, Llc Localization and visualization of sound

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817661A (zh) * 2015-11-30 2017-06-09 深圳富泰宏精密工业有限公司 听力辅助系统及电子装置
WO2018107489A1 (zh) * 2016-12-16 2018-06-21 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN108962254A (zh) * 2018-06-11 2018-12-07 北京佳珥医学科技有限公司 用于辅助听障人士的方法、装置和系统及增强现实眼镜
CN109032545A (zh) * 2018-06-11 2018-12-18 北京佳珥医学科技有限公司 用于提供声源信息的方法和装置及增强现实眼镜
CN109300478A (zh) * 2018-09-04 2019-02-01 上海交通大学 一种听力障碍者的辅助对话装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817661A (zh) * 2015-11-30 2017-06-09 深圳富泰宏精密工业有限公司 听力辅助系统及电子装置
WO2018107489A1 (zh) * 2016-12-16 2018-06-21 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN108962254A (zh) * 2018-06-11 2018-12-07 北京佳珥医学科技有限公司 用于辅助听障人士的方法、装置和系统及增强现实眼镜
CN109032545A (zh) * 2018-06-11 2018-12-18 北京佳珥医学科技有限公司 用于提供声源信息的方法和装置及增强现实眼镜
CN109300478A (zh) * 2018-09-04 2019-02-01 上海交通大学 一种听力障碍者的辅助对话装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021236274A1 (en) * 2020-05-20 2021-11-25 Microsoft Technology Licensing, Llc Localization and visualization of sound
US11543242B2 (en) 2020-05-20 2023-01-03 Microsoft Technology Licensing, Llc Localization and visualization of sound
CN112185354A (zh) * 2020-09-17 2021-01-05 浙江同花顺智能科技有限公司 一种语音文本的显示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
JP4439740B2 (ja) 音声変換装置及び方法
US6975991B2 (en) Wearable display system with indicators of speakers
US6240392B1 (en) Communication device and method for deaf and mute persons
US20170303052A1 (en) Wearable auditory feedback device
CN108762494B (zh) 显示信息的方法、装置及存储介质
US20190028817A1 (en) System and method for a directional speaker selection
US10453459B2 (en) Interpreting assistant system
KR101421046B1 (ko) 안경 및 그 제어방법
CN105721983A (zh) 具有图像捕获能力的听力设备
JP3670180B2 (ja) 補聴器
CN112001189A (zh) 实时外语沟通系统
CN111128180A (zh) 一种听力障碍者的辅助对话系统
US20020158816A1 (en) Translating eyeglasses
US20200227067A1 (en) Communication aid system
CN111429928A (zh) 具收音场景切换功能的助听系统
CN112887654B (zh) 一种会议设备、会议系统及数据处理方法
EP3113505A1 (en) A head mounted audio acquisition module
CN112951236A (zh) 一种语音翻译设备及方法
JPH11234640A (ja) 通信制御システム
CN111081120A (zh) 一种协助听说障碍人士交流的智能穿戴设备
KR101455830B1 (ko) 안경 및 그 제어방법
WO2019237429A1 (zh) 用于辅助交流的方法、装置和系统及增强现实眼镜
CN106125922B (zh) 一种哑语与口语语音图像信息交流系统
JP2006139138A (ja) 情報端末及び基地局
JP2004023180A (ja) 音声伝送装置、音声伝送方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508

RJ01 Rejection of invention patent application after publication