CN108803871A - 头戴显示设备中数据内容的输出方法、装置及头戴显示设备 - Google Patents

Abstract

本发明实施例提供一种头戴显示设备中数据内容的输出方法、装置及头戴显示设备，该方法包括：输出设备确定出满足用户需求的目标工作模式。然后，根据与此目标工作模式对应的信息表达方式对当前输出设备正在展示的数据内容的信息表达方式进行转换，并最终输出转换后的数据内容。输出设备提供有多种工作模式，并且每种工作模式具有相应的信息表达方式，可以根据目标工作模式的不同，对当前展示的数据内容的信息表达方式进行转换，这样能够使输出的转换后的数据内容可以适用于不同类型的用户，尤其是残障用户。

Description

头戴显示设备中数据内容的输出方法、装置及头戴显示设备

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种头戴显示设备中数据内容的输出方法、装置及头戴显示设备。

背景技术

近几年，虚拟现实技术已经在如医学、军事、航空航天、建筑等众多领域得到了广泛的应用。用户在使用头戴式虚拟现实设备观看影像时，可以产生身临其境的感觉。

随着头戴式虚拟现实设备的不断普及，越来越多的人可以体验到头戴式虚拟现实设备带来的沉浸感和视听享受。但是现在市面上的头戴式虚拟现实设备都是针对正常人设计的，适用群体单一，并没有考虑到残障用户，尤其是存在视觉障碍或者具有听觉障碍的用户的使用需求。

发明内容

有鉴于此，本发明实施例提供一种头戴显示设备中数据内容的输出方法、装置及头戴显示设备，用以满足残障用户的使用需求。

本发明实施例提供一种头戴显示设备中数据内容的输出方法，包括：

确定满足用户需求的目标工作模式；

根据对应于所述目标工作模式的信息表达方式转换当前展示的数据内容的表达方式；

输出转换后的数据内容。

可选地，所述确定满足用户需求的目标工作模式，包括：

响应于所述用户触发的设备佩戴操作，产生包括视觉检测指令和听觉检测指令的检测指令；

通过分析所述用户执行所述检测指令后产生的姿态变化与所述检测指令的匹配性确定所述目标工作模式以及与所述目标工作模式对应的信息表达方式。

可选地，所述通过分析所述用户执行所述检测指令后产生的姿态变化与所述检测指令的匹配性确定所述目标工作模式以及与所述目标工作模式对应的信息表达方式，包括：

若所述姿态变化与所述视觉检测指令匹配，则确定所述目标工作模式为适用于存在听觉障碍的用户的手语模式，与所述手语模式对应的信息表达方式为手语图像；

若所述姿态变化与所述听觉检测指令匹配，则确定所述目标工作模式为适用于存在视觉障碍的用户的语音模式，与所述语音模式对应的信息表达方式为语音；

若所述姿态变化与所述视觉检测指令以及所述听觉检测指令均匹配，则确定所述目标工作模式为普通模式。

可选地，所述目标工作模式为手语模式，与所述手语模式对应的信息表达方式为手语图像；

所述根据所述信息表达方式转换当前展示的数据内容的表达方式，包括：

获取所述当前展示的数据内容中包含的语音数据内容；

对所述语音数据内容进行分词处理，以得到至少一个词语；

在手语图像集合中确定分别与所述至少一个词语匹配的手语图像。

可选地，在所述对所述语音数据内容进行分词处理，以得到至少一个词语之前，还包括：

从所述语音数据内容中提取非背景类语音数据内容；

所述对所述语音数据内容进行分词处理，以得到至少一个词语，包括：

对所述非背景类语音数据内容行分词处理，以得到至少一个词语。

可选地，所述在手语图像集合中确定分别与所述至少一个词语匹配的手语图像，包括：

从所述手语图像集合中各手语图像的预设含义标识中确定与所述至少一个词语具有相同含义的预设含义标识；

将所述与所述至少一个词语具有相同含义的预设含义标识对应的手语图像确定为与所述至少一个词语匹配的手语图像。

可选地，所述目标工作模式为手语模式，与所述手语模式对应的信息表达方式为手语图像；

所述根据所述信息表达方式转换当前展示的数据内容的表达方式，包括：

获取所述当前展示的数据内容的标识；

根据所述标识确定与所述当前展示的数据内容匹配的手语图像。

可选地，所述目标工作模式为语音模式，与所述语音模式对应的信息表达方式为语音；

所述根据所述信息表达方式转换当前展示的数据内容的表达方式，包括：

根据所述当前展示的数据内容的标识获取对应于所述当前展示的数据内容中包含的非语音数据内容的补充语音数据内容以及所述补充语音数据内容的时间戳；

所述输出转换后的数据内容，包括：

按照所述补充语音数据内容的时间戳播放所述补充语音数据内容。

本发明实施例提供一种数据内容输出装置，包括：

确定模块，用于确定满足用户需求的目标工作模式；

转换模块，用于根据与所述目标工作模式对应的信息表达方式转换当前展示的数据内容的表达方式；

输出模块，用于输出转换后的数据内容。

本发明实施例提供一种头戴显示设备，包括：存储器，以及与所述存储器连接的处理器；

所述存储器，用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行；

所述处理器，用于执行所述一条或多条计算机指令以上述头戴显示设备中数据内容的输出方法中的任意一种方法。

本发明实施例提供的头戴显示设备中数据内容的输出方法、装置及头戴显示设备，使用输出设备的用户可以是多种类型，每种类型的用户都有可以满足其需求的目标工作模式。基于此。提供多种工作模式的输出设备首先确定满足用户需求的目标工作模式，其中，每种工作模式都具有对应的信息表达方式。然后，输出设备根据与此目标工作模式对应的信息表达方式对当前输出设备正在展示的数据内容的信息表达方式进行转换，并最终输出转换后的数据内容。也就是说，输出设备可以根据目标工作模式的不同，对当前展示的数据内容的信息表达方式进行转换，这样使输出设备输出的转换后数据内容可以适用于不同类型的用户，尤其是残障用户。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的头戴显示设备中数据内容的输出方法实施例一的流程图；

图2a为图1所示实施例中步骤S102的一种可选实现方式的流程图；

图2b为图1所示实施例中步骤S102的另一种可选实现方式的流程图；

图3为本发明实施例提供的头戴显示设备中数据内容的输出方法实施例二的流程图；

图4为本发明实施例提供的数据内容输出装置实施例一的结构示意图；

图5a为本发明实施例提供的数据内容输出装置实施例二的结构示意图；

图5b为本发明实施例提供的数据内容输出装置实施例三的结构示意图；

图6为本发明实施例提供的数据内容输出装置实施例四的结构示意图；

图7为本发明实施例提供的头戴显示设备实施例一的结构示意图；

图8为本发明实施例提供的头戴显示设备的内部配置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

图1为本发明实施例提供的头戴显示设备中数据内容的输出方法实施例一的流程图，本实施例提供的该头戴显示设备中数据内容的输出方法的执行主体可以为输出设备，如图1所示，该方法包括如下步骤：

S101，确定满足用户需求的目标工作模式。

在用户佩戴输出设备后，一种可选地方式，用户可以自主地将输出设备的工作模式切换为目标工作模式。在实际应用中，可选地，输出设备可以是虚拟现实(VirtualReality，简称VR)设备。此时，用户可以通过扳动VR设备具有的摇杆来触发模式切换操作。输出设备响应于用户触发的模式切换操作，并通过识别摇杆扳动的方向来确定输出设备的目标工作模式。另外，对于这种用户自主切换工作模式的方式，可选地，用户触发模式切换的时机还可以是输出设备在展示数据内容过程中的任一时刻。

其中，输出设备提供多种工作模式，并且每种工作模式都有对应的信息表达方式。可选地，多种工作模式具体可以包括普通模式、语音模式以及手语模式等等。普通模式适用于正常用户，语音模式与手语模式分别适用于存在视觉障碍的用户以及存在听觉障碍的用户。与普通模式对应的信息表达方式可以为画面图像结合语音。与手语模式对应的信息表达方式可以为手语图像，此时，输出设备可以将当前展示的数据内容以手语图像的方式展示给存在听觉障碍的用户。与语音模式对应的信息表达方式可以为语音，输出设备可以将当前展示的数据内容以语音的方式播报给存在视觉障碍的用户。

用户可以通过佩戴输出设备以触发设备佩戴操作，另一种可选地方式，输出设备还可以响应于此佩戴操作，产生检测指令，此检测指令中包含用于检测用户听觉的听觉检测指令以及用于检测用户视觉的视觉检测指令。

具体来说，视觉检测指令可以为在输出设备的屏幕中显示的一条命令，比如“请用户连续眨眼三次然后点头”。输出设备可以利用自身配置的前置摄像头拍摄用户执行此视觉检测指令后产生的姿态变化即拍摄用户是否发生了连续眨眼三次然后点头的动作。若用户可以正确做出视觉检测指令中包含的内容，则表明用户产生的姿态变化与此视觉检测指令匹配。

听觉检测指令可以为播报一条语音指令，比如“请您摇头然后说一下词语‘你好’”。输出设备可以通过自身配置的姿态传感器以及语音识别模块检测用户执行听觉检测指令后产生的姿态变化。具体来说，可以使用姿态传感器识别用户的头部动作，可以使用语音识别模块识别用户说的词语是否是“你好”。若用户可以正确做出听觉检测指令中包含的内容，则表明用户产生的姿态变化与此听觉检测指令匹配。其中，视觉检测指令以及听觉检测指令的具体内容可以预先设置。

在实际应用中，用户产生的姿态变化与检测指令的匹配情况可以包括以下几种。输出设备可以通过分析匹配情况来确定用户类型、适用于此用户的目标工作模式以及与此目标工作模式对应的信息表达方式。

一种情况，若用户产生的姿态变化与视觉检测指令匹配，则输出设备可以确定用户为存在听觉障碍的用户，此用户的目标工作模式为手语模式，与此手语模式对应的信息表达方式为手语图像。

另一种情况，若用户产生的姿态变化与听觉检测指令匹配，则输出设备可以确定用户为存在视觉障碍的用户，此用户的目标工作模式为语音模式，与此手语模式对应的信息表达方式为语音。

另一种情况，若用户产生的姿态变化与视觉检测指令匹配，同时与听觉检测指令也匹配，则输出设备可以确定用户为正常用户，此用户的目标工作模式为普票模式。

在确定出满足用户需求的目标工作模式后，可选地，输出设备还可以向用户输出切换提示信息。此切换信息的输出方式与目标工作模式所对应的信息表达方式相同。用户可以通过获取输出的切换提示信息知晓输出设备当前的工作模式为目标工作模式。

S102，根据与目标工作模式对应的信息表达方式转换当前展示的数据内容的表达方式。

S103，输出转换后的数据内容。

接着，输出设备根据目标工作模式对输出设备当前展示的数据内容的信息表达方式进行转换，使转换后的数据内容的信息表达形式与目标工作模式所对应的信息表达方式相同。最终，输出设备再将转换后的数据内容输出出来，使适用于目标工作模式的用户可以清楚的了解当前展示的数据内容。

具体来说，若目标工作模式为手语模式，输出设备可以将当前展示的数据内容转换为具有相同含义的手语图像，存在听觉障碍的用户可以通过观看手语图像了解当前展示的数据内容。若目标工作模式为语音模式，输出设备可以直接继续播放当前展示的数据内容，存在视觉障碍的用户通过收听当前展示的数据内容中播放的语音即可了解当前展示的数据内容。

另外，由于语音模式适用于存在视觉障碍的用户，因此，在这种工作模式下，可选地，输出设备还可以控制自身配置的显示屏和/或指示灯关闭，从而降低输出设备的功耗。若切换后的工作模式为普通模式，则输出设备可以停止在手语模式或者语音模式下对当前展示的数据内容进行的处理，只需直接播放当前展示的数据内容即可。另外，可选地，输出设备上的各个按键上均刻有盲文，可以更加方便存在视觉障碍用户的使用。

本实施例中，提供多种工作模式的输出设备首先确定满足用户需求的目标工作模式，其中，每种工作模式都具有对应的信息表达方式。然后，输出设备再根据与此目标工作模式对应的信息表达方式对当前输出设备正在展示的数据内容的信息表达方式进行转换，并最终输出转换后的数据内容。也就是说，输出设备可以根据目标工作模式的不同，对当前展示的数据内容的信息表达方式进行转换，这样使输出设备输出的转换后数据内容可以适用于不同类型的用户，尤其是残障用户。

正如实施例一中提及的，信息表达方式可以包括手语图像以及语音。当信息表达方式为手语图像即输出设备的目标工作模式为手语模式时，一种可选地方式，可以参考如图2a所示的方式来实现S102“根据与目标工作模式对应的信息表达方式转换当前展示的数据内容的表达方式”。

S201，获取当前展示的数据内容中包含的语音数据内容。

首先，一种可选地方式，输出设备可以先利用自身配置的传声器拾取到当前展示的数据内容发出的模拟语音信号，再利用自身配置的音频编码芯片将此模拟语音信号转换为数字语音信号，此数字语音信号即为输出设备获取到的语音数据内容。可选地，承接上述实施例一中提及的，输出设备为VR设备时，则当前展示的数据内容可以是一段VR视频。

需要说明的是，输出设备中当前展示的数据内容通常可以同时包括语音数据内容以及非语音数据内容，非语音数据内容具体来说可以是图像数据内容。在工作模式为手语模式时，输出设备无需对数据内容中包括的非语音数据内容进行处理。

S202，对语音数据内容进行分词处理，以得到至少一个词语。

接着，输出设备可以进一步根据预设的分词算法对获取到的语音数据内容进行分词处理，得到至少一个词语。其中，可选地，输出设备中预设的分词算法既可以是基于词典分词的算法，也可以是基于统计的计算机学习算法，本发明并不对分词算法进行限定。

S203，在手语图像集合中确定分别与至少一个词语匹配的手语图像。

最后，输出设备可以在存储于本地或者远端服务器的手语图像集合中确定分别与至少一个词语匹配的至少一张手语图像，也即是确定出分别与至少一个词语具有相同含义的至少一张手语图像。

可选地，输出设备可以采用以下方式确定与至少一个词语匹配的手语图像：

第一，从手语图像集合中各手语图像的预设含义标识中确定与至少一个词语具有相同含义的预设含义标识。

第二，将与至少一个词语具有相同含义的预设含义标识对应的手语图像确定为与至少一个词语匹配的手语图像。

具体来说，手语集合中包含的各手语图像都有一个预设含义标识，顾名思义，此预设含义标识用来表示手语图像的含义。输出设备可以根据各手势图像的预设含义标识确定分别与至少一个词语具有相同含义的预设含义标识，再进一步将确定出的预设含义标识对应的至少一张手语图像确定为与至少一个词语匹配的手语图像。

在实际应用中，由于不同手语图像集合中包含的手语图像的数目不同。因此，还有可能存在以下情况：手语图像集合中不存在与某词语A具有相同含义的预设含义标识。此时，可选地，输出设备可以先借助预先设置的近义词词库确定出词语A的一个近义词A’，再根据手语图像集合确定出一个与近义词A’具有相同近含义的预设含义标识，并将此与近义词A’具有相同预设含义标识的手语图像确定为与词语A匹配的手语图像。其中，近义词词库以及手语图像集合可以制作并存储于相同或不同设备中。

除了上述方式外，可选地，在信息表达方式为手语时，还可以参考如图2b所示的方式来实现S102“根据与目标工作模式对应的信息表达方式转换当前展示的数据内容的表达方式”。

S204，获取当前展示的数据内容的标识。

S205，根据标识确定与当前展示的数据内容匹配的手语图像。

用户触发数据内容的展示操作后，响应于用户触发的展示操作，输出设备在展示数据内容的同时还获取此当前展示的数据内容的标识。可选地，此标识可以为当前展示的数据内容的名称或者编号等等。

输出设备可以根据获取到的标识从手语图像库中直接获取到与此当前展示内容匹配的至少一张手语图像。需要说明的是，此处的手语图像库与上述提及的手语图像集合通常可以是两个不同的数据库。以当前展示的数据内容为VR视频为例进行说明，手语图像库是以手语图像包为单位对手语图像进行存储的，且每个手语图像包对应于一个VR视频。手语图像集合是以单张手语图像为单位进行存储的，手语图像与VR视频不存在特定的对应关系。

综上所述，上述描述的是两种获取与语音数据内容匹配的手语图像的方式。相比于S201-S203提供的方式，S204-S205提供的方式能够实现更快速的确定出与当前展示的数据内容匹配的手语图像。

此外，在实际应用中，输出设备可以展示的数据内容多种多样，比如音乐VR视频或者游戏VR视频等等。

若当前展示的数据内容中包含单一类型的语音数据内容，例如只包含背景类语音数据内容或者非背景类语音数据内容时，输出设备可以选择前述两种方式中的任一种来确定出与当前展示的数据内容中包括的语音数据内容匹配的手语图像。其中，背景类语音数据内容可以为背景音乐或者自然声，非背景类语音数据内容可以为人物对话。

若当前展示的数据内容中同时包含多种类型的语音数据内容时，例如同时包含背景类语音数据内容以及非背景类语音数据内容。此时，输出设备需要分别将不同类型的语音数据内转换为手语图像，获取手语图像的方式仍然可以是前述两种方式中的任一种。对于不同类型的语音数据内容，输出设备通常可以采取相同的方式得到对应的手语图像。

另外，在输出设备内存储的众多数据内容中，通常会存在多个数据内容具有相同的背景类语音数据内容的情况，也就表明与背景类语音数据内容匹配的手语图像通常具有较高的使用率。在这种情况下，输出设备往往也可以对不同类型的语音数据内容采用不同的手语图像获取方式来得到与其对应的手语图像。这样不仅可以减小输出设备数据处理的压力，也可以提高手语图像获得的速度。具体来说，可选地，对于非背景类语音数据内容，可以采用S201-S203提供的方式，对于背景类语音数据内容，可以采用S204-S205提供的方式。

基于此，可选地，在S202之前，输出设备还可以执行以下步骤：从语音数据内容中提取非背景类语音数据内容。在S205之前，输出设备还可以执行以下步骤：从语音数据内容中提取背景类语音数据内容。

一种可选地提取方式，正如实施例一中提及的，输出设备可以利用传声器拾取到当前展示的数据内容发出的模拟语音信号，此时拾取到的模拟语音信号是一个混合语音信号即同时包含背景类语音数据内容对应的第一模拟语音信号以及非背景类语音数据内容对应的第二模拟语音信号，并且两路模拟语音信号具有不同的频率。输出设备可以根据频率的不同从混合模拟语音信号中提取出第一模拟语音信号以及第二模拟语音信号。然后，再利用音频编码芯片将第一模拟语音信号转换为数字语音信号即背景类语音数据内容，同时将第二模拟语音信号转换为数字语音信号即非背景类语音数据内容。

接着，输出设备可以对获取到的非背景类语音数据内容行分词处理，以得与非背景类语音数据内容匹配的到至少一张手语图像。具体描述可以参见S202-S203的相关描述，在此不再赘述。输出设备还可以根据当前展示的数据内容的标识获取与背景类语音数据内容匹配的手语图像。具体描述可以参见S205的相关描述，在此不再赘述。

在确定出与当前展示的数据内容匹配的手语图像后，输出设备则会输出确定出的手语图像。可选地，可以将与不同类型的语音数据内容匹配的手语图像显示在不同的位置上。

为了使存在听觉障碍的用户可以更清楚的了解当前展示的数据内容，在输出设备使用上述任一种方式或者两种方式相结合确定出手语图像后，输出设备都还可以根据当前展示的数据内容的标识获取对应于不同类型语音数据内容的类型提示信息，并且此类型提示信息是与手语图像关联显示的，其中，类型提示信息用于标注手语图像对应于语音类数据内容还是非语音类数据内容，可选地，类型提示信息可以具体表现为文字标注。

本实施例中，一种方式，输出设备可以根据此当前展示的数据内容的标识确定与其对应的手语图像，另一种方式，输出设备可以对当前展示的数据内容包含的语音数据内容进行分词处理，从而确定出与其对应的手语图像。基于上述两种方式，若当前展示的数据内容包含单一类型的语音数据内容，输出设备可以采用两种方式中的任一方式确定手语图像。若当前展示的数据内容包含多种类型的语音数据内容，输出设备可以对不同类型的语音数据内容分别采用不同的手语图像确定方式，以减小输出设备的数据处理压力，同时提高手语图像确定的速度。另外，输出设备还会将不同类型语音数据内容以及分别对应于此不同类型语音数据内容的类型提示信息进行关联显示，使存在听觉障碍的用户可以更好的了解当前展示的数据内容。

在信息表达方式为语音即输出设备的目标工作模式为语音模式时，图3为本发明实施例提供的头戴显示设备中数据内容的输出方法实施例二的流程图，如图3所示，该方法包括如下步骤：

S301，确定满足用户需求的目标工作模式。

上述S301执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。

S302，根据当前展示的数据内容的标识获取对应于当前展示的数据内容中包含的非语音数据内容的补充语音数据内容以及补充语音数据内容的时间戳。

S303，按照补充语音数据内容的时间戳播放补充语音数据内容。

一种可选地方式，数据设备可以按照上述S204中的相关描述获取当前展示的数据内容的标识。然后，再根据此标识获取对应于当前展示的数据内容中包含的非语音数据内容的补充语音数据内容以及此补充语音数据内容的时间戳。其中，补充语音数据内容的时间戳用以表示此补充语音数据内容的播放时间。可选地，此补充语音数据内容以及自身的时间戳可以预先设置并存储于输出设备或者远端服务器中。举例来说，若当前展示的数据内容为VR视频时，非语音数据内容可以是在此段VR视频中出现的一段没有声音的风景景象，而补充语音数据内容则是将此风景景象所展示的内容以语音的形式解释出来。

然后，输出设备可以按照时间戳依次播放补充语音数据内容。同时，输出设备也会继续正常播放当前展示的数据内容中包含的原始语音数据内容，这样可以使存在视觉障碍的用户可以更好的了解当前展示的数据内容。

需要说明的是，可选地，S303中播放的补充语音数据内容可以是模拟语音信号，S302中获取到的与非语音数据内容可以是数字语音信号，此时，输出设备往往还需要使用自身配置的音频解码芯片将S302中获取到的数字语音信号形式的非语音数据内容转换为模拟语音信号形式的非语音数据内容。

可选地，数据内容输出方法还可以包括以下步骤，以为存在视觉障碍的用户提供更好的使用体验。

S304，获取当前展示的数据内容中预先标注的场景变化时刻。

S305，在场景变化时刻调整向用户输出的体感操作指令。

一种可选地方式，输出设备同样可以按照上述S204中的相关描述获取当前展示的数据内容的标识，再根据此标识确定在当前展示的数据内容中出现场景变化的时刻，此场景变化时刻是已经被预先标标记的。然后，在发生场景变化时，输出设备会调整向用户输出的体感操作指令。举例来说，当输出设备为VR设备时，具体的体感操作指令可以为降低用户与VR设备接触部位，例如眼部，的温度或者其他改变用户躯体感觉的方式，以使存在视觉障碍的用户可以切身感受当前展示的数据内容。

本实施例中，当输出设备的工作模式为语音模式时，输出设备在播放当前展示的数据内容中包含的原始语音数据内容的同时，还会根据时间戳播放补充语音数据内容，存在视觉障碍的用户可以通过收听原始语音数据内容以及补充语音数据内容来更好地了解当前展示的数据内容。另外，输出设备还会根据当前展示的数据内容的场景调整向用户输出的体感操作指令，使存在视觉障碍的用户的躯体感受可以与当前展示的数据内容相匹配，大大提高用户的使用体验。

图4为本发明实施例提供的数据内容输出装置实施例一的结构示意图，如图3所示，该数据内容输出装置包括：确定模块11、转换模块12以及输出模块13。

确定模块11，用于确定满足用户需求的目标工作模式。

转换模块12，用于根据对应于目标工作模式的信息表达方式转换当前展示的数据内容的表达方式。

输出模块13，用于输出转换后的数据内容。

可选地，该数据内容输出装置中的确定模块11包括：产生单元111以及模式确定单元112。

产生单元111，用于响应于用户触发的设备佩戴操作，产生包括视觉检测指令和听觉检测指令的检测指令。

模式确定单元112，用于通过分析用户执行检测指令后产生的姿态变化与检测指令的匹配性确定目标工作模式以及与目标工作模式对应的信息表达方式。

可选地，该数据内容输出装置中的模式确定单元112具体用于：

若姿态变化与视觉检测指令匹配，则确定目标工作模式为适用于存在听觉障碍的用户的手语模式，与手语模式对应的信息表达方式为手语图像；若姿态变化与听觉检测指令匹配，则确定目标工作模式为适用于存在视觉障碍的用户的语音模式，与语音模式对应的信息表达方式为语音；若姿态变化与视觉检测指令以及听觉检测指令均匹配，则确定目标工作模式为普通模式。

图4所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。

图5a为本发明实施例提供的数据内容输出装置实施例二的结构示意图，如图5a所示，在图4所示实施例基础上，目标工作模式为手语模式，与手语模式对应的信息表达方式为手语图像，该数据内容输出装置中的转换模块12具体包括：内容获取单元121、分词处理单元122以及第一手语确定单元123。

内容获取单元121，用于获取当前展示的数据内容中包含的语音数据内容。

分词处理单元122，用于对语音数据内容进行分词处理，以得到至少一个词语。

第一手语确定单元123，用于在手语图像集合中确定分别与至少一个词语匹配的手语图像。

可选地，该数据内容输出装置还包括：提取模块21。

提取模块21，用于从语音数据内容中提取非背景类语音数据内容。

分词处理单元122，用于对非背景类语音数据内容行分词处理，以得到至少一个词语。

可选地，该数据内容输出装置中的第一手语确定单元123具体用于：

从手语图像集合中各手语图像的预设含义标识中确定与至少一个词语具有相同含义的预设含义标识；以及将与至少一个词语具有相同含义的预设含义标识对应的手语图像确定为与至少一个词语匹配的手语图像。

可选地，该数据内容输出装置中还包括：信息获取模块22。

信息获取模块22，用于根据当前展示的数据内容的标识获取对应于不同类型语音数据内容的类型提示信息。

输出模块13，还用于关联显示手语图像以及类型提示信息。

图5a所示装置可以执行图2a所示实施例的方法，本实施例未详细描述的部分，可参考对图2a所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2a所示实施例中的描述，在此不再赘述。

图5b为本发明实施例提供的数据内容输出装置实施例三的结构示意图，如图5b所示，在图4所示实施例基础上，目标工作模式为手语模式，与手语模式对应的信息表达方式为手语图像，该数据内容输出装置中的转换模块12具体包括：标识获取单元124以及第二手语确定单元125。

标识获取单元124，用于获取当前展示的数据内容的标识。

第二手语确定单元125，用于根据标识确定与当前展示的数据内容匹配的手语图像。

可选地，该数据内容输出装置中还包括：提取模块31。

提取模块31，用于从语音数据内容中提取背景类语音数据内容。

第二手语确定单元125，用于根据标识确定与背景类语音数据内容匹配的手语图像。

图5b所示装置可以执行图2b所示实施例的方法，本实施例未详细描述的部分，可参考对图2b所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2b所示实施例中的描述，在此不再赘述。

图6为本发明实施例提供的数据内容输出装置实施例四的结构示意图，如图6所示，在图4所示实施例基础上，目标工作模式为语音模式，与语音模式对应的信息表达方式为语音，该数据内容输出装置中的转换模块12具体用于：

用于根据当前展示的数据内容的标识获取对应于当前展示的数据内容中包含的非语音数据内容的补充语音数据内容以及补充语音数据内容的时间戳。

该数据内容输出装置中的输出模块13具体用于：

按照补充语音数据内容的时间戳播放补充语音数据内容。

可选地，该数据内容输出装置还包括：时刻获取模块41以及调整模块42。

时刻获取模块41，用于获取当前展示的数据内容中预先标注的场景变化时刻。

调整模块42，用于在场景变化时刻调整向用户输出的体感操作指令。

图6所示装置可以执行图3所示实施例的方法，本实施例未详细描述的部分，可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述，在此不再赘述。

以上描述了数据内容输出装置的内部功能和结构，在一个可能的设计中，数据内容输出装置的结构可实现为一头戴显示设备。图7为本发明实施例提供的头戴显示设备实施例一的结构示意图，如图7所示，该头戴显示设备包括：存储器51，以及与存储器连接的处理器52，存储器51用于存储电子设备执行上述任一实施例中提供的头戴显示设备中数据内容的输出方法的程序，处理器52被配置为用于执行存储器51中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器52执行时能够实现如下步骤：

确定满足用户需求的目标工作模式；

根据与目标工作模式对应的信息表达方式转换当前展示的数据内容的表达方式；

输出转换后的数据内容。

可选地，处理器52还用于执行前述各方法步骤中的全部或部分步骤。

其中，电子设备的结构中还可以包括通信接口53，用于电子设备与其他设备或通信网络通信。

本发明一些实施例提供的电子设备可以为外接式头戴显示设备或者一体式头戴显示设备，其中外接式头戴显示设备需要与外部处理系统(例如计算机处理系统)配合使用。

图8示出了一些实施例中头戴显示设备600的内部配置结构示意图。

显示单元601可以包括显示面板，显示面板设置在头戴显示设备600上面向用户面部的侧表面，可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

虚拟图像光学单元602以放大方式拍摄显示单元601所显示的图像，并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元601上的显示图像，可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机610拍摄的现实场景的图像。一些实施例中，虚拟图像光学单元602可以包括透镜单元，例如球面透镜、非球面透镜、菲涅尔透镜等。

输入操作单元603包括至少一个用来执行输入操作的操作部件，例如按键、按钮、开关或者其他具有类似功能的部件，通过操作部件接收用户指令，并且向控制单元607输出指令。

状态信息获取单元604用于获取穿戴头戴显示设备600的用户的状态信息。状态信息获取单元604可以包括各种类型的传感器，用于自身检测状态信息，并可以通过通信单元605从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元604可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元604可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外，状态信息获取单元604获取穿戴头戴显示设备600的用户的状态信息，例如获取例如用户的操作状态(用户是否穿戴头戴显示设备600)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态，手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的)，甚至生理状态。

通信单元605执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外，控制单元607可以从通信单元605向外部装置发送传输数据。通信方式可以是有线或者无线形式，例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信，以及IEEE802.66s标准的网状网络等。另外，通信单元605可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。

一些实施例中，头戴显示设备600还可以包括存储单元，存储单元606是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中，存储单元606可以存储应用程序或各种类型的数据。例如，用户使用头戴显示设备600观看的内容可以存储在存储单元606中。

一些实施例中，头戴显示设备600还可以包括控制单元，控制单元607可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中，控制单元607可以用于执行存储单元606存储的应用程序，或者控制单元607还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。

图像处理单元608用于执行信号处理，比如与从控制单元607输出的图像信号相关的图像质量校正，以及将其分辨率转换为根据显示单元606的屏幕的分辨率。然后，显示驱动单元609依次选择显示单元601的每行像素，并逐行依次扫描显示单元606的每行像素，因而提供基于经信号处理的图像信号的像素信号。

一些实施例中，头戴显示设备600还可以包括外部相机。外部相机610可以设置在头戴显示设备600主体前表面，外部相机610可以为一个或者多个。外部相机610可以获取三维信息，并且也可以用作距离传感器。另外，探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机610一起使用。外部相机660和距离传感器可以用于检测穿戴头戴显示设备600的用户的身体位置、姿态和形状。另外，一定条件下用户可以通过外部相机660直接观看或者预览现实场景。

一些实施例中，头戴显示设备600还可以包括声音处理单元，声音处理单元611可以执行从控制单元607输出的声音信号的声音质量校正或声音放大，以及输入声音信号的信号处理等。然后，声音输入/输出单元612在声音处理后向外部输出声音以及输入来自麦克风的声音。

需要说明的是，图8中加粗框示出的结构或部件可以独立于头戴显示设备600之外，例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备600配合使用；或者，虚线框示出的结构或部件可以设置在头戴显示设备600内部或者表面上。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来，该计算机产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种头戴显示设备中数据内容的输出方法，其特征在于，包括：

确定满足用户需求的目标工作模式；

根据对应于所述目标工作模式的信息表达方式转换当前展示的数据内容的表达方式；

输出转换后的数据内容。

2.根据权利要求1所述的方法，其特征在于，所述确定满足用户需求的目标工作模式，包括：

响应于所述用户触发的设备佩戴操作，产生包括视觉检测指令和听觉检测指令的检测指令；

通过分析所述用户执行所述检测指令后产生的姿态变化与所述检测指令的匹配性确定所述目标工作模式以及与所述目标工作模式对应的信息表达方式。

3.根据权利要求2所述的方法，其特征在于，所述通过分析所述用户执行所述检测指令后产生的姿态变化与所述检测指令的匹配性确定所述目标工作模式以及与所述目标工作模式对应的信息表达方式，包括：

若所述姿态变化与所述视觉检测指令匹配，则确定所述目标工作模式为适用于存在听觉障碍的用户的手语模式，与所述手语模式对应的信息表达方式为手语图像；

若所述姿态变化与所述听觉检测指令匹配，则确定所述目标工作模式为适用于存在视觉障碍的用户的语音模式，与所述语音模式对应的信息表达方式为语音；

若所述姿态变化与所述视觉检测指令以及所述听觉检测指令均匹配，则确定所述目标工作模式为普通模式。

4.根据权利要求3所述的方法，其特征在于，所述目标工作模式为手语模式，与所述手语模式对应的信息表达方式为手语图像；

所述根据所述信息表达方式转换当前展示的数据内容的表达方式，包括：

获取所述当前展示的数据内容中包含的语音数据内容；

对所述语音数据内容进行分词处理，以得到至少一个词语；

在手语图像集合中确定分别与所述至少一个词语匹配的手语图像。

5.根据权利要求4所述的方法，其特征在于，在所述对所述语音数据内容进行分词处理，以得到至少一个词语之前，还包括：

从所述语音数据内容中提取非背景类语音数据内容；

所述对所述语音数据内容进行分词处理，以得到至少一个词语，包括：

对所述非背景类语音数据内容行分词处理，以得到至少一个词语。

6.根据权利要求4或5所述的方法，其特征在于，所述在手语图像集合中确定分别与所述至少一个词语匹配的手语图像，包括：

从所述手语图像集合中各手语图像的预设含义标识中确定与所述至少一个词语具有相同含义的预设含义标识；

将所述与所述至少一个词语具有相同含义的预设含义标识对应的手语图像确定为与所述至少一个词语匹配的手语图像。

7.根据权利要求3所述的方法，其特征在于，所述目标工作模式为手语模式，与所述手语模式对应的信息表达方式为手语图像；

所述根据所述信息表达方式转换当前展示的数据内容的表达方式，包括：

获取所述当前展示的数据内容的标识；

根据所述标识确定与所述当前展示的数据内容匹配的手语图像。

8.根据权利要求3所述的方法，其特征在于，所述目标工作模式为语音模式，与所述语音模式对应的信息表达方式为语音；

所述根据所述信息表达方式转换当前展示的数据内容的表达方式，包括：

根据所述当前展示的数据内容的标识获取对应于所述当前展示的数据内容中包含的非语音数据内容的补充语音数据内容以及所述补充语音数据内容的时间戳；

所述输出转换后的数据内容，包括：

按照所述补充语音数据内容的时间戳播放所述补充语音数据内容。

9.一种数据内容输出装置，其特征在于，包括：

确定模块，用于确定满足用户需求的目标工作模式；

转换模块，用于根据与所述目标工作模式对应的信息表达方式转换当前展示的数据内容的表达方式；

输出模块，用于输出转换后的数据内容。

10.一种头戴显示设备，其特征在于，包括：存储器，以及与所述存储器连接的处理器；

所述存储器，用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行；

所述处理器，用于执行所述一条或多条计算机指令以实现权利要求1至8中任一项所述的方法。