CN111125055A - 一种可回溯的听力障碍者辅助对话系统 - Google Patents

Abstract

本发明公开了一种可回溯的听力障碍者辅助对话系统，属于辅助设备技术领域，能够对对话内容进行留存，并可通过历史信息调用的方式进行回溯，有助于提高听力障碍者的对话效率，避免信息遗漏。本系统包括：声音获取单元，实时获取空间中声音源发出的声音，生成音频。文本转化单元，实时接收音频并转化为文本，得到文本对话内容；文本转化单元将文本对话内容发送给信息保存单元进行存储；同时文本转化单元将文本对话内容发送给信息显示单元进行显示。历史信息调用单元，与信息保存单元连接，用于检索获得信息保存单元中存储的历史文本对话内容，作为回溯内容输入至显示单元进行显示。

Description

一种可回溯的听力障碍者辅助对话系统

技术领域

本发明涉及辅助设备技术领域，具体涉及一种可回溯的听力障碍者辅助对话系统。

背景技术

听力障碍是常见的感觉障碍疾病之一，听力障碍者与正常人进行对话交流时存在较大困难。听力障碍辅助是通过各种手段满足听力障碍者的信息交流需求。

专利CN 109300478 A提出了一种听力障碍者的辅助对话装置，该装置通过对对采集到的语音进行滤波降噪，然后转化成文本，通过显示器显示给听力障碍者用户。在该装置中，文本转化可以进行手动控制，用户可以在需要使用时进行开启，在不需要使用时进行关闭。

专利CN 106686223 A提出了聋哑人与正常人的辅助对话系统、方法及智能手机装置，该系统包括：场景感知模块，用于感知并确定聋哑人与正常人的对话场景；数据采集及预处理模块，用于采集正常人话音，生成声音数据，对该声音数据进行预处理，生成语音数据；语音识别模块，用于接收识别该语音数据，并加载对应该对话场景的语音识别模型，根据该语音识别模型将该语音数据识别并转换成文字信息；语音合成模块，用于将聋哑人输入对话的文本内容转换成语音信息，并发给正常人。

聋哑人以及重听患者听觉功能丧失，特别对于一些听力完全丧失者，他们不能听过助听器获取声音信息，虽然目前可以将语音转化成文本显示给该类用户，但是一般都只显示目前语音转化内容，对于历史内容，并不能进行留存。例如以上两种听力障碍辅助手段，均只能显示目前对话文本内容，不能留存历史消息。如果空间中声音信息量大，文本数量大，用户并不能及时看到所有消息，以及处理所有消息，容易造成信息遗漏。

因此目前亟需一种能够进行历史信息留存和回溯的听力辅助对话系统

发明内容

有鉴于此，本发明提供了一种可回溯的听力障碍者辅助对话系统，能够对对话内容进行留存，并可通过历史信息调用的方式进行回溯，有助于提高听力障碍者的对话效率，避免信息遗漏。

为达到上述目的，本发明的技术方案提供的辅助对话系统包括声音获取单元、文本转化单元、信息保存单元以及历史信息调用单元。

声音获取单元，实时获取空间中声音源发出的声音，生成音频。

文本转化单元，实时接收音频并转化为文本，得到文本对话内容；文本转化单元将文本对话内容发送给信息保存单元进行存储；同时文本转化单元将文本对话内容发送给信息显示单元进行显示。

历史信息调用单元，与信息保存单元连接，用于检索获得信息保存单元中存储的历史文本对话内容，作为回溯内容输入至显示单元进行显示。

进一步地，文本转化单元，实时接收音频并转化为文本，得到文本对话内容之后，还包括：设置文本对话内容的属性包括文本对话内容的关键词以及接收时间。

历史信息调用单元，与信息保存单元连接，历史信息调用单元接收外部输入的调用指令，调用指令包含待调用的文本对话内容的至少一种属性；历史信息调用单元从信息保存单元中获取调用指令中的属性相关联的文本对话内容。

进一步地，声音源数量为至少一个；文本转化单元中，设置文本对话内容的属性还包括所属声音源；显示单元根据文本对话内容或者回溯内容的所属声音源进行分区域显示。

进一步地，信息显示单元，接收外部输入的关注声音源指示，设置关注声音源。

信息显示单元，接收文本对话内容，判断文本对话内容的所属声音源是否为关注声音源，若是，则直接显示文本对话内容；否则将文本对话内容显示为固定图标。

进一步地，信息保存单元中，内容关键词为文本对话内容中的出现频率高于设定阈值的词汇，设定阈值为经验设定。

进一步地，显示单元包括实时信息显示模块和历史信息显示模块；实时信息显示模块，与文本转发单元连接，实时接收文本对话内容并进行显示；历史信息显示模块，与历史信息调用单元连接，接收历史信息并进行显示。

进一步地，显示单元为计算机显示屏、手机、手表或者头戴式显示器。

进一步地，实时信息显示模块为计算机显示屏、手机、手表或者头戴式显示器中的任一种。

历史信息显示模块为计算机显示屏、手机、手表或者头戴式显示器中的任一种。

进一步地，调用指令为采用外设键盘或鼠标或触摸板输入的文本形式的属性，或者头戴式显示器的用户手势或手柄控制器输入的属性。

有益效果：

本发明实施例提供的一种可回溯的听力障碍者辅助对话系统，能够对对话内容进行留存，并可通过历史信息调用的方式进行回溯，通过保留一定时段内的历史文本信息并，帮助听力障碍者提高信息获取能力，通过对历史信息进行回顾，可以获取遗漏信息，提高其交流能力。

附图说明

图1为本发明实施例提供的一种可回溯的听力障碍者辅助对话系统组成框图；

图2为本发明实施例中当采用透射式头戴式显示器作为显示单元时的实时对话文本显示实例示意图；

图3为本发明实施例中当采用透射式头戴式显示器作为显示单元时的回溯内容显示实例示意图；

图4为本发明实施例中当透射式头戴式显示器作为实时信息显示模块，采用智能手机作为历史信息显示模块显示实例示意图；

图5为本发明实施例中透射式头戴式显示器作为显示单元时，头戴式显示器的用户手势或手柄控制器输入的属性的实例示意图；

图6为本发明实施例中当智能手机作为实时信息显示模块，采用智能手表作为历史信息显示模块显示实例示意图；

图7为本发明实施例中当设置关注声音源之后，对非关注声音源的历史内容进行回溯时的一种显示实例示意图；

图8为本发明实施例中当设置关注声音源之后，对非关注声音源的历史内容进行回溯时的另一种显示实例示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种可回溯的听力障碍者辅助对话系统，其结构组成如图1所示，包括声音获取单元、文本转化单元、信息保存单元以及历史信息调用单元，各单元功能如下：

声音获取单元，实时获取空间中声音源发出的声音，生成音频。本发明实施例中，声音获取单元可使用麦克风获取空间中的声音。本发明实施例中声音源至少一个。获取的声音使用滤波器进行降噪处理，可以通过硬件或者软件实现。

文本转化单元，与声音获取单元连接，实时获取音频并转化为文本，作为文本对话内容发送给信息保存单元进行存储；文本转化单元将实时获得的文本对话内容发送给信息显示单元进行显示。转化可以使用本地语音识别或者云端服务器识别。

信息保存单元，与文本转化单元连接，实时接收文本对话内容进行存储。信息保存单元可以选择本地存储或者云存储等等。

历史信息调用单元，与信息保存单元连接，用于检索获得信息保存单元中存储的历史文本对话内容，作为回溯内容输入至显示单元进行显示。

本发明实施例中，为了便于历史信息调用单元对信息保存单元中存储的历史文本对话内容的调用，需要在文本转化单元中设置文本对话内容的属性，本发明实施例中属性可以包括文本对话内容的关键词以及接收时间，以便于后续历史信息调用单元通过属性调用历史文本对话内容。在设定了属性的情况下，可以设定历史信息调用单元采用如下方式进行历史文本对话内容的调用：

历史信息调用单元接收外部输入的调用指令，调用指令包含待调用的文本对话内容的一种或两种属性；历史信息调用单元从信息保存单元中获取调用指令中的属性相关联的文本对话内容，

本发明实施例中，内容关键词为文本对话内容中的出现频率高于设定阈值的词汇或者重要程度高于一定阈值的词汇，设定频率阈值和重要程度阈值为经验设定。其中关键词提取方式可以使用深度学习等方式；关键词的长度通过深度学习等方式进行定义。内容关键词也可以是用户自己设置的词汇，例如用户自己的名字。

本发明实施例中，声音源数量为至少一个；即在听力障碍者的对话环境中，有多个人同时发声，为了对每个声音源进行区分显示，本发明中在文本转化单元中，设置文本对话内容的属性还包括所属声音源；则显示单元根据文本对话内容或者回溯内容的所属声音源进行分区域显示。

用户可以使用手势、语音、点击等方式开启历史信息调用功能。其中，调用的历史文本可以是一定时间内储存的所有文本，该时间长短可以有用户自定义；或者是部分内容，该种方式将结合关键词，一个关键词对应一定的历史文本，使用关键词调用时，只显示该关键词的对应的历史文本对话内容。或者用户也可以输入所属声音源，调用该声音源的历史对话文本。

显示单元可以为智能手机、智能手表、透射式头戴式显示器等等。显示文本的文字风格，例如颜色，大小等可以改变。

显示单元包括实时信息显示模块和历史信息显示模块。实时信息显示模块，与文本转发单元连接，实时接收文本对话内容并进行显示；历史信息显示模块，与历史信息调用单元连接，接收历史信息并进行显示。实时信息显示模块和历史信息显示模块所用显示设备可以为同一设备，也可以为不同设备。即实时信息显示模块为计算机显示屏、手机、手表或者头戴式显示器中的任一种；历史信息显示模块为计算机显示屏、手机、手表或者头戴式显示器中的任一种。例如，使用透射式头戴式显示器显示实时文本，使用智能手机显示回溯的历史信息。

本发明实施例中调用指令为采用外设键盘或鼠标或触摸板输入的文本形式的属性，或者头戴式显示器的用户手势或手柄控制器输入的属性。

本发明实施例中，历史信息回溯方式可以为多种。例如，当用户使用透射式头戴显示器Hololens作为显示设备时，用户激活内容回溯功能，例如，可以在虚拟场景中增加用于回溯的虚拟按钮(如图2所示)，用户使用手势或者手柄控制器等选择该按钮，历史文本信息显示在头戴式显示器上的特定区域，如图3所示。该种方式适合于用户需要持续观察真实环境或者头戴显示器屏幕的场景，用户在该种场景不方便转移视线，切换视点。

图4显示了另一种可能的历史信息回溯方式，用户点击使用图2中的头戴式显示器显示实时文本，用智能手机显示历史文本内容，当用户点击回溯按钮以后，历史内容显示在用户的智能手机上，如图4所示。历史信息回溯启动还可以使用其他方式，例如语音、手势等方式，但是不限于此。内容显示方式不限。该种方式适合于用户可以方便转换是视线的场景，以及当用户不希望视野中出现大量文字遮挡视线的场景。

其中，可以增加关键字回溯方式。具体为：在显示器的一定区域内显示声音获取内容的关键词，如图5所示。用户通过点击关键词，或者使用语音等其他方式激活历史回溯功能，当历史功能被激活的时候，在用户显示器中显示关键词所在文本的完整内容。或者用户激活历史回溯功能后，在其他显示设备设备上显示历史回溯内容，如图6所示。关键词回溯方式有助于帮助用户快速定位想要查看的内容，提高信息筛选能力。

关键词显示在用户显示屏幕的一定位置，根据用户定义设置该区域。例如，在头戴显示器中关键词可以显示在显示屏的左侧或者右侧，这样不遮挡用户视线，但是用户可以随时查看，用户首先需要对显示的关键词数目进行定义，使用时，显示屏上显示时间最近的一定数目的关键词，用户每次可以选择一个或者关键词，从而进行历史内容的显示。或者将关键字显示在用户智能手机或者智能手表上。被用户激活的关键词的历史内容可以可关键词显示在同一设备，也可以显示在不同设备。显示在同一设备的时候，关键词和相应呗激活的历史回溯内容可以显示在同一显示屏上的不同区域，或者显示在不同的界面(不能在同一时间显示)，根据用户的操作，在两个界面之间进行切换，这样的方式有助显示更多的关键词以及回溯的历史内容。

实时信息显示功能和历史内容显示可以根据用户需要分别进行开启以及关闭。当用户需要更多的关注当前的声音的转化文本的时候，可以只开启实时信息显示功能，帮助用户专注于当前信息，获取更多的当前内容。当用户需要更多的关注历史内容，可以只开启历史内容的显示，提取更多的有用信息。也可以同时开启。此外，两种信息显示可以显示在同一设备或者不同设备，可以显示在同一设备的统一界面或者不同的界面，根据用户试试操作进行切换显示。

本发明实施例中，考虑到在听力障碍者的对话环境中，可能存在仅关注一个或几个重点声音源，其他可忽略的情况，例如，在课堂上，用户希望专注于黑板上的内容，此时其他同学产生的声音文本内容可能会干扰用户的注意力，但是用户仍然希望知道此时有用户正在讲话，可以在必要时进行声音文本的历史回溯。可以进行如下设置：

信息显示单元，接收外部输入的关注声音源指示，设置关注声音源；信息显示单元，接收文本对话内容，判断文本对话内容的所属声音源是否为关注声音源，若是，则直接显示文本对话内容；否则将文本对话内容显示为固定图标。

例如如图7所示，在显示器的一定区域内显示有声音产生的图标。用户通过声音图标，或者使用语音等其他方式激活历史回溯功能，当历史功能被激活的时候，在用户显示器中显示声音提示图标所在文本的完整内容。或者用户激活历史回溯功能后，在其他显示设备设备上显示历史回溯内容。声音图标回溯方式有助于用户在不希望获取声音内容时知道是否有声音产生，并且在需要时进行声音文本内容回溯。声音图标可以为多种方式，例如，闪烁的小点；此外，还可以提示声音的大小和方向等等，如图8所示。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种可回溯的听力障碍者辅助对话系统，其特征在于，包括声音获取单元、文本转化单元、信息保存单元以及历史信息调用单元：

声音获取单元，实时获取空间中声音源发出的声音，生成音频；

文本转化单元，实时接收所述音频并转化为文本，得到文本对话内容；文本转化单元将所述文本对话内容发送给信息保存单元进行存储；同时文本转化单元将所述文本对话内容发送给信息显示单元进行显示；

历史信息调用单元，与所述信息保存单元连接，用于检索获得信息保存单元中存储的历史文本对话内容，作为回溯内容输入至显示单元进行显示。

2.如权利要求1所述的系统，其特征在于，所述文本转化单元，实时接收所述音频并转化为文本，得到文本对话内容之后，还包括：设置所述文本对话内容的属性包括所述文本对话内容的关键词以及接收时间；

历史信息调用单元，与所述信息保存单元连接，历史信息调用单元接收外部输入的调用指令，所述调用指令包含待调用的文本对话内容的至少一种属性；历史信息调用单元从所述信息保存单元中获取所述调用指令中的属性相关联的文本对话内容。

3.如权利要求2所述的系统，其特征在于，所述声音源数量为至少一个；

所述文本转化单元中，设置所述文本对话内容的属性还包括所属声音源；

所述显示单元根据所述文本对话内容或者回溯内容的所属声音源进行分区域显示。

4.如权利要求1～3任一所述的系统，其特征在于，所述信息显示单元，接收外部输入的关注声音源指示，设置关注声音源；

所述信息显示单元，接收文本对话内容，判断文本对话内容的所属声音源是否为关注声音源，若是，则直接显示文本对话内容；否则将文本对话内容显示为固定图标。

5.如权利要求4所述的系统，其特征在于，所述信息保存单元中，所述内容关键词为所述文本对话内容中的出现频率高于设定阈值的词汇，所述设定阈值为经验设定。

6.如权利要求1、2、3或5所述的系统，其特征在于，所述显示单元包括实时信息显示模块和历史信息显示模块，

所述实时信息显示模块，与所述文本转发单元连接，实时接收所述文本对话内容并进行显示；

所述历史信息显示模块，与所述历史信息调用单元连接，接收所述历史信息并进行显示。

7.如权利要求6所述的系统，其特征在于，所述显示单元为计算机显示屏、手机、手表或者头戴式显示器。

8.如权利要求7所述的系统，其特征在于，所述实时信息显示模块为计算机显示屏、手机、手表或者头戴式显示器中的任一种；

所述历史信息显示模块为计算机显示屏、手机、手表或者头戴式显示器中的任一种。

9.如权利要求1、2、3、5、7或8任一所述的系统，其特征在于，所述调用指令为采用外设键盘或鼠标或触摸板输入的文本形式的属性，或者所述头戴式显示器的用户手势或手柄控制器输入的属性。

Images