CN108762494B - 显示信息的方法、装置及存储介质 - Google Patents

Abstract

本公开是关于一种显示信息的方法、装置及存储介质，属于AR技术领域。所述方法包括：采集音频信息；获取所述音频信息的属性信息，所述属性信息包括：指示所述音频信息内容的内容信息，以及来源方向信息；在显示界面中显示所述属性信息，从而使得无法听见周围声音的聋哑人可以通过佩戴AR设备来获取该音频信息的来源方向信息和指示所述音频信息内容的内容信息，为聋哑人的日常生活提供了极大的便利。

Description

显示信息的方法、装置及存储介质

技术领域

本公开涉及AR(Augmented Reality，增强现实)技术领域，尤其涉及一种显示信息的方法、装置及存储介质。

背景技术

AR技术是把原本在现实世界的实体信息通过技术进行集成，使得真实的环境和虚拟的物体实时地叠加在同一个画面或空间，被人类感官所感知，从而达到超越现实的感官体验。随着AR技术应用的领域越来越广泛，通过AR设备来为残疾人提供便利已逐渐引起社会的关注，尤其是针对聋哑人进行信息显示。因此，亟需一种通过AR设备为聋哑人进行信息显示的方法。

发明内容

为克服相关技术中存在的问题，本公开提供一种显示信息的方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种显示信息的方法，应用于AR设备，所述方法包括：

采集音频信息；

获取所述音频信息的属性信息，所述属性信息包括：指示所述音频信息内容的内容信息，以及来源方向信息；

在显示界面中显示所述属性信息。

可选地，所述AR设备上配置有至少三个麦克风；

所述获取所述音频信息的属性信息，包括：

通过对所述音频信息进行内容识别，得到所述内容信息；

基于所述至少三个麦克风中每个麦克风采集到的所述音频信息，确定所述来源方向信息。

可选地，所述内容信息包括以下至少一项：文本信息、哑语视频信息以及警示标记信息。

可选地，所述通过对所述音频信息进行内容识别，得到所述内容信息，包括：

获取所述音频信息的目标频率；

当所述目标频率高于预设频率时，确定所述音频信息为危险报警声音对应的音频信息，并确定所述音频信息的音调和音调变化周期；

基于所述音频信息的频率、音调和音调变化周期确定所述内容信息。

可选地，所述基于所述音频信息的频率、音调和音调变化周期确定所述内容信息，包括以下至少一项：

确定所述音频信息的频率、音调和音调变化周期所对应的文本信息，将所述文本信息作为所述内容信息；

确定所述音频信息的频率、音调和音调变化周期所对应的文本信息，将所述文本信息转换为哑语视频信息，将所述哑语视频信息作为所述内容信息；

从预先设置的频率、音调、音调变化周期以及警示标记信息四者之间的对应关系中确定所述音频信息的频率、音调和音调变化周期对应的警示标记信息，并将确定的警示标记信息作为所述内容信息。

可选地，所述在显示界面中显示所述属性信息，包括：

在所述显示界面的第一预设区域显示所述内容信息；

在所述显示界面的第二预设区域显示方向标志，所述方向标志用于指示所述来源方向信息。

可选地，所述获取所述音频信息的属性信息，包括：

向服务器发送所述音频信息，所述服务器用于对所述音频信息进行内容识别，得到所述内容信息；

接收所述服务器发送的所述内容信息。

根据本公开实施例的第二方面，提供一种显示信息的装置，应用于AR设备，所述装置包括：

采集模块，用于采集音频信息；

获取模块，用于获取所述音频信息的属性信息，所述属性信息包括：指示所述音频信息内容的内容信息，以及来源方向信息；

显示模块，用于在显示界面中显示所述属性信息。

可选地，所述AR设备上配置有至少三个麦克风；

所述获取模块包括：

识别子模块，用于通过对所述音频信息进行内容识别，得到所述内容信息；

确定子模块，用于基于所述至少三个麦克风中每个麦克风采集到的所述音频信息，确定所述音频信息的来源方向信息。

可选地，所述内容信息包括以下至少一项：文本信息、哑语视频信息以及警示标记信息。

可选地，所述识别子模块包括：

获取单元，用于获取所述音频信息的目标频率；

第一确定单元，用于当所述目标频率高于预设频率时，确定所述音频信息为危险报警声音对应的音频信息，并确定所述音频信息的音调和音调变化周期；

第二确定单元，用于基于所述音频信息的频率、音调和音调变化周期确定所述内容信息。

可选地，所述第二确定单元包括以下至少一项：

确定所述音频信息的频率、音调和音调变化周期所对应的文本信息，将所述文本信息作为所述内容信息；

确定所述音频信息的频率、音调和音调变化周期所对应的文本信息，将所述文本信息转换为哑语视频信息，将所述哑语视频信息作为所述内容信息；

从预先设置的频率、音调、音调变化周期以及警示标记信息四者之间的对应关系中确定所述音频信息的频率、音调和音调变化周期对应的警示标记信息，并将确定的警示标记信息作为所述内容信息。

可选地，所述显示模块包括：

第一显示子模块，用于在所述显示界面的第一预设区域显示所述内容信息；

第二显示子模块，用于在所述显示界面的第二预设区域显示方向标志，所述方向标志用于指示所述来源方向信息。

可选地，所述获取模块包括：

发送子模块，用于向服务器发送所述音频信息，所述服务器用于对所述音频信息进行内容识别，得到所述内容信息；

接收子模块，用于接收所述服务器发送的内容信息。

根据本公开实施例的第三方面，提供一种显示信息的装置，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述第一方面所述的任一项方法的步骤。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。

根据本公开实施例的第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的任一项方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：通过采集音频信息，并获取该音频信息的属性信息，即指示该音频信息内容的内容信息，以及来源方向信息，之后将该音频信息的属性信息显示在该AR设备的显示界面中，以提示聋哑人该音频信息的来源方向信息和该内容信息，从而使得无法听见周围声音的聋哑人可以通过佩戴AR设备来获取该音频信息的来源方向信息和指示该音频信息内容的内容信息，为聋哑人的日常生活提供了极大的便利。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开实施例示出的一种显示信息的方法的流程图。

图2是根据本公开实施例示出的另一种显示信息的方法的流程图。

图3是根据本公开实施例示出的一种确定音频信息来源方向信息的示意图。

图4是根据本公开实施例示出的另一种确定音频信息来源方向信息的示意图。

图5是根据本公开实施例示出的一种显示信息的装置的结构示意图。

图6是根据本公开实施例示出的另一种显示信息的装置的结构示意图。

图7是根据本公开实施例示出的又一种显示信息的装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为了便于理解，在对本公开实施例进行详细地解释说明之前，先对本公开实施例的应用场景进行介绍。

随着AR技术的迅速发展，技术人员逐步考虑到针对不同的人群进行不同的设计，尤其希望为聋哑人提供更多的帮助，因此，本公开实施例提供了一种显示信息的方法，当聋哑人佩戴AR设备，并启动语音识别时，该AR设备可以采集音频信息，确定该音频信息的来源方向信息和该音频信息所表达的信息，并进行显示，以实现为聋哑人展示自身周围的音频信息的来源方向信息和这些音频信息所表达的信息，以达到聋哑人可以更方便的获取自身所处区域的声音信息，为聋哑人提供便利。

例如，当聋哑人佩戴该AR设备行走时，周围有人给他打招呼时，该AR设备可以采集到周围人的语音，并确定该语音的来源方向信息以及该语音所表达的信息，然后在该AR设备的显示屏上为聋哑人显示信息，提示聋哑人看向向他打招呼的人，并显示打招呼的内容。

例如，当聋哑人佩戴该AR设备独自走在马路上时，身后突然出现一辆高速行驶的汽车，且汽车司机持续鸣笛警示，此时，该AR设备可以采集到该鸣笛声，确定该鸣笛声的来源方向信息以及该鸣笛声所表达的信息，在该AR设备的显示屏上为聋哑人显示信息，提醒聋哑人注意安全。

当然，本公开实施例不仅可以应用于上述两种应用场景中，实际应用中，可能还可以应用于其他的应用场景中，在此本公开实施例对其他应用场景不再一一列举。

随着AR技术的发展，为了通过AR设备为更多的人群提供服务，特别是为聋哑人的日常生活提供便利，本公开提出了一种显示信息的方法。

图1是根据本公开实施例示出的一种显示信息的方法的流程图，应用于AR设备。如图1所示，该方法包括以下步骤。

在步骤101中，采集音频信息。

在步骤102中，获取该音频信息的属性信息，该属性信息包括：指示该音频信息内容的内容信息，以及来源方向信息。

在步骤103中，在显示界面中显示该属性信息。

综上所述，本公开实施例通过采集音频信息，并获取该音频信息的属性信息，即指示该音频信息内容的内容信息，以及来源方向信息，之后将该音频信息的属性信息显示在该AR设备的显示界面中，以提示聋哑人该音频信息的来源方向信息和该内容信息，从而使得无法听见周围声音的聋哑人可以通过佩戴AR设备来获取该音频信息的来源方向信息和指示该音频信息内容的内容信息，为聋哑人的日常生活提供了极大的便利。

可选地，该AR设备上配置有至少三个麦克风；

获取该音频信息的属性信息，包括：

通过对该音频信息进行内容识别，得到该内容信息；

基于该至少三个麦克风中每个麦克风采集到的该音频信息，确定该来源方向信息。

可选地，该内容信息包括以下至少一项：文本信息、哑语视频信息以及警示标记信息。

可选地，通过对该音频信息进行内容识别，得到该内容信息，包括：

获取该音频信息的目标频率；

当该目标频率高于预设频率时，确定该音频信息为危险报警声音对应的音频信息，并确定该音频信息的音调和音调变化周期；

基于该音频信息的频率、音调和音调变化周期确定该内容信息。

可选地，基于该音频信息的频率、音调和音调变化周期确定该内容信息，包括以下至少一项：

确定该音频信息的频率、音调和音调变化周期所对应的文本信息，将该文本信息作为该内容信息；

确定该音频信息的频率、音调和音调变化周期所对应的文本信息，将该文本信息转换为哑语视频信息，将该哑语视频信息作为该内容信息；

从预先设置的频率、音调、音调变化周期以及警示标记信息四者之间的对应关系中确定该音频信息的频率、音调和音调变化周期对应的警示标记信息，并将确定的警示标记信息作为该内容信息。

可选地，该在显示界面中显示该属性信息，包括：

在该显示界面的第一预设区域显示该内容信息；

在该显示界面的第二预设区域显示方向标志，该方向标志用于指示该来源方向信息。

可选地，获取该音频信息的属性信息，包括：

向服务器发送该音频信息，服务器用于对该音频信息进行内容识别，得到该内容信息；

接收服务器发送的该内容信息。

上述所有可选技术方案，均可按照任意结合形成本公开的可选实施例，本公开实施例对此不再一一赘述。

图2是根据本公开实施例示出的一种显示信息的方法的流程图，应用于AR设备。本公开实施例将对图1所示的实施例进行展开说明。如图2所示，该方法包括以下步骤。

在步骤201中，采集音频信息。

其中，该AR设备上配置有至少三个麦克风，当用户佩戴该AR设备并且通过操作进入语音识别模式之后，该至少三个麦克风可以实时采集用户所处区域位置周围的音频信息。当然，实际应用中也可以在其他方式下采集音频信息，例如，在用户佩戴该AR设备时，在该AR设备有电的情况下，可以随时采集音频信息。对此，本公开实施例不予限定。

需要说明的是，在采集到音频信息后，需要获取该音频信息的属性信息以便后续通过AR设备让聋哑人获知该音频信息，其中，该属性信息包括：指示该音频信息内容的内容信息，以及来源方向信息。实际应用中，可以通过如下步骤202-203来获取该音频信息的属性信息。

在步骤202中，通过对该音频信息进行内容识别，得到该内容信息。

由于聋哑人存在听觉障碍，无法听到外界的声音，只能通过眼睛来获取信息，因此，可以确定指示该音频信息内容的内容信息，以便后续为聋哑人显示信息。其中，该内容信息包括以下至少一项：文本信息、哑语视频信息以及警示标记信息。

需要说明的是，该文本信息可以为预设语种的文本信息，预设语种是指用户根据需求自己设定的语言类型，如汉语、英语、日语，当然也可以是其他的语言类型，如法语、韩语等，对此本公开实施例不予限定。例如，如果用户习惯使用汉语，可以将预设语种设置为汉语，该AR设备进行内容识别后，可以直接得到汉语的文本信息。该哑语视频信息是指聋哑人可以看懂的视频信息，如唇语视频信息、手语视频信息等。该警示标记信息是指用于警示聋哑人注意的信息，如可以为具有警示含义的警示图像。实际应用中该内容信息也可以为其他信息，对此本公开实施例不予限定。

其中，进行识别的音频信息可以为该至少三个麦克风中任一麦克风采集到的音频信息，对该音频信息进行识别时，可以通过AR设备直接对该音频信息进行识别，得到内容信息，或者可以向服务器发送该音频信息，由服务器对该音频信息进行内容识别，得到该内容信息，之后接收服务器发送的内容信息。也即是，对该音频信息进行识别的过程可以通过该AR设备来实现，也可以通过服务器对该音频信息进行识别，而且通过AR设备对该音频信息进行识别和通过服务器对该音频信息进行识别，这两种方式的识别过程是相同的，接下来本公开实施例以AR设备对该音频信息进行识别为例，对识别过程进行详细说明。

通常情况下，对音频信息进行识别包括建立声学模型、信号预处理、特征提取、模型匹配等四个部分。

建立声学模型

声学模型是通过对语音样本数据集进行训练而建立的模型。例如，可以获取语音样本数据集，该语音样本数据集包括大量语音信息，通过该大量语音信息对声学模型进行训练，得到能够识别语音信息的声学模型。

实际情况中，可以基于模式匹配的DTW(Dynamic Time Warping，动态时间规整)法和基于统计模型的HMM(Hidden Markov Model，隐马尔柯夫模型)法，来建立声学模型，并将建立的声学模型存放在语音识别数据库中，当然，也可以采用其他方法来建立声学模型，如ANN(Artificial Neural Network，人工神经网络)的方法来建立模型，对此，本公开实施例不予限定。

信号预处理

通常情况下采集到的音频信息是一个语音信号，而该语音信号中包含语音信息。且由于语音信号可能出现混叠失真和噪声干扰，且语音信号的功率可能受口鼻的影响出现衰减，即频率越高信号幅度会越小，而语音信号是不平稳信号，且采集的语音信号中可能存在背景噪声，而这些情况都会导致语音识别不准确，因此，为了避免这种情况的发生，可以对采集到的语音信号进行信号预处理。

实际应用中，采集到的语音信号是一个模拟信号，可以通过模拟低通滤波器对该模拟信号进行滤波，防止出现混叠失真并去除噪声干扰，然后对滤波后的该模拟信号进行采样，得到离散的语音信号，从而将该模拟信号转换数字信号，之后通过预加重滤波器来提升高频，以减轻采样得到的语音信号的衰减。由于语音信号具有短时平稳性，可以通过分帧处理将采样得到的语音信号分为多个短段的平稳信号，并通过加窗处理对采样得到的语音信号附近的波形进行强调而对波形的其余部分加以减弱，再通过端点检测从背景噪声中找出采样得到的语音信号的开始点和终止点，为后续的特征提取奠定基础。

特征提取

特征提取就是要去除或削减预处理后的语音信号中与识别无关的信息的影响，减少后续识别阶段需处理的数据量，得到可以表示预处理后的语音信号中携带的说话人信息的特征信息。根据语音特征的不同用途，提取不同的特征信息，从而保证识别的准确率。

其中，进行特征提取时，可以提取预处理后的语音信号的时域特征和频域特征。时域特征包括短时平均能量、短时平均过零率、共振峰以及基音周期等，频域特征包括LPC(Linear Prediction Coefficient，线性预测系数)、LPCC(Linear predictive CepstrumCoefficient，线性预测倒谱)系数、LSP(Linear Spectrum Pair，线谱对)参数、短时频谱、MFCC(Mel Frequency Cepstrum Coefficient，Mel频率倒谱)系数等。当然，实际应用中也可以结合时域和频域的特征，即时频谱，利用语音信号的时序信息，以及基于声学模型的特征参数从预处理后的语音信号中提取特征信息，如PLP(Perceptual Linear Prediction，感知线性预测)分析，对此本公开实施例不予限定。

模型匹配

模型匹配就是将该提取的语音信号的特征信息输入预先建立的声学模型中，将语音信号特征信息与声学模型中的模板特征信息进行比较，采用判决的方法得到与输入的语音信号的特征信息相匹配的模型，之后根据得到的声学模型，确定语音信号的内容信息。

进一步地，对该音频信息进行内容识别，得到内容信息时，可以获取该音频信息的目标频率；当该目标频率高于预设频率时，确定该音频信息为危险报警声音对应的音频信息，并确定该音频信息的音调和音调变化周期；基于音频信息的频率、音调和音调变化周期确定该内容信息。

实际应用中，基于音频信息的频率、音调和音调变化周期确定该内容信息时，可以通过如下三种可能实现的方式来确定该内容信息。

第一种可能实现的方式：确定该音频信息的频率、音调和音调变化周期所对应的文本信息，将该文本信息作为该内容信息。

例如，该频率、音调和音调变化周期所对应的文本信息可以预先进行设置，如下表1所示，假设对采集到的音频信息进行识别之后，确定得到的频率为“X”、音调为“音调1”、音调变化周期为“T”，且X1<X≤X2、T1<T≤T2，假设从表1所示的对应关系中确定该音频信息的频率、音调和音调变化周期所对应的文本信息为“文本信息1”。此时，可以将表1中频率“X1<X≤X2”、音调“音调1”、音调变化周期“T1<T≤T2”对应的文本信息“文本信息1”确定为与该音频信息的内容信息。

表1

频率范围Hz	音调	音调变化周期s	文本信息
				X1<X≤X2	音调1	T1<T≤T2	文本信息1
X3<X≤X4	音调2	T3<T≤T4	文本信息2
				X5<X≤X6	音调3	T5<T≤T6	文本信息3
……	……	……	……

需要说明的是，本公开实施例仅以上述表1所示的频率、音调和音调变化周期所对应的文本信息为例进行说明，上述表1并不对本公开实施例构成限定。

第二种可能实现的方式：确定该音频信息的频率、音调和音调变化周期所对应的文本信息，将该文本信息转换为哑语视频信息，将该哑语视频信息作为该内容信息。

其中，确定该音频信息的频率、音调和音调变化周期所对应的文本信息，可以按照上述第一种可能实现的方式来确定，在此不再一一赘述。

需要说明的是，在确定了该音频信息的频率、音调和音调变化周期所对应的文本信息之后，将该文本信息转换为哑语视频信息时，可以将该文本信息划分为多个词语，之后从哑语视频信息数据库中查询与该多个词语匹配的多个哑语视频，该多个哑语视频共同构成转换后得到的哑语视频信息。

另外，该哑语视频信息数据库为预先存储的包括大量的哑语视频信息的数据库。当需要将文本信息转换为哑语视频信息时，可以直接从该数据库中确定与文本信息中的多个词语匹配哑语视频，然后可以得到哑语视频信息，从而将文字信息转换为聋哑人可以看懂的哑语视频信息。

第三种可能实现的方式：从预先设置的频率、音调、音调变化周期以及警示标记信息四者之间的对应关系中确定该音频信息的频率、音调和音调变化周期对应的警示标记信息，并将确定的警示标记信息作为该内容信息。

例如，该预先设置的频率、音调、音调变化周期以及警示标记信息四者之间的对应关系如下表2所示，假设对采集到的音频信息进行识别之后，确定得到的频率为“X”、音调为“音调1”、音调变化周期为“T”，且X1<X≤X2、T1<T≤T2，假设从表1所示的对应关系中确定该音频信息的频率、音调和音调变化周期所对应的警示标记信息为“警示标记信息1”。此时，可以将表1中频率“X1<X≤X2”、音调“音调1”、音调变化周期“T1<T≤T2”对应的文本信息“警示标记信息1”确定为与该音频信息的内容信息。

表2

频率范围Hz	音调	音调变化周期s	警示标记信息
				X1<X≤X2	音调1	T1<T≤T2	警示标记信息1
X3<X≤X4	音调2	T3<T≤T4	警示标记信息2
				X5<X≤X6	音调3	T5<T≤T6	警示标记信息3
……	……	……	……

需要说明的是，本公开实施例仅以上述表2所示的频率、音调和音调变化周期与警示标记信息四者之间的对应关系为例进行说明，上述表2并不对本公开实施例构成限定。

实际情况中，由于聋哑人存在听觉障碍，无法获取外界的声音，只能通过眼睛来获取信息，因此，本公开实施例通过AR设备确定采集到的音频信息的来源方向信息，以便后续为聋哑人进行提示。

在步骤203中，基于该至少三个麦克风中每个麦克风采集到的该音频信息，确定该音频信息的来源方向信息。

其中，该音频信息的来源方向信息是指该音频信息的来源位置处于使用该AR设备的聋哑人的哪个方向，可以将音频信息的来源方向信息分为东、南、西、北、东南、东北、西南、西北这八个方向，当然也可以以其他方式划分音频信息的来源方向信息，如前、后、左、右、左前、左后、右前、右后等，对此本公开实施例不予限定。

其中，确定该音频信息的来源方向信息时，可以基于该至少三个麦克风中每个麦克风采集到的该音频信息，确定该音频信息的来源方向信息。

在通常情况中，由于该AR设备上配置的该至少三个麦克风的位置是固定的，且每个麦克风与该音频信息的来源位置之间的距离不同，那么每个麦克风采集到该音频信息的时间就会不同，每个麦克风采集到该音频信息的RSSI(Received Signal StrengthIndication，接收信号强度指示)值也会不同，因此，在本公开实施例中，可以通过如下两种方式来确定该音频信息的来源方向信息。

第一种方式：确定该至少三个麦克风中的每个麦克风采集到该音频信息的时间，根据确定的时间来确定该音频信息的来源方向信息。

实现过程可以为：确定该至少三个麦克风中的每个麦克风采集到该音频信息的采集时间，根据确定得到的至少三个采集时间的大小关系，以及该至少三个麦克风的相对位置关系，确定该音频信息的来源方向信息。

由于每个麦克风与该音频信息的来源位置之间的距离不同，每个麦克风采集到该音频信息的时间就会不同，即哪个麦克风采集到该音频信息的时间越早，哪个麦克风与该音频信息的来源位置之间的距离就越近，哪个麦克风采集到该音频信息的时间越晚，哪个麦克风与该音频信息的来源位置之间的距离就越远，因此，可以基于该至少三个麦克风的相对位置关系，确定采集时间最小的麦克风相对于其他麦克风的方向，并将确定的方向作为该音频信息的来源方向信息。

例如，如图3所示，假设该音频信息的来源位置为O，假设该AR设备上配置了三个麦克风A、B、C，且假设麦克风A、B、C采集到该音频信息的时间分别为t1、t2、t3，且t1<t2<t3，此时，可以基于麦克风A、B、C三者的相对位置关系，确定该麦克风A相对于其他两个麦克风的方向为西北方向，从而确定该音频信息的来源方向信息为西北方向。

第二种方式：确定该至少三个麦克风中的每个麦克风采集到该音频信息的RSSI值，并通过确定的RSSI值来确定该音频信息的来源方向信息。

实现过程可以为：确定该至少三个麦克风中的每个麦克风采集到该音频信息的RSSI值，根据确定得到的至少三个RSSI值的大小关系，以及该至少三个麦克风的相对位置关系，确定该音频信息的来源方向信息。

由于每个麦克风与该音频信息的来源位置之间的距离不同，每个麦克风采集到该音频信息的RSSI值就会不同，即哪个麦克风采集到该音频信息的RSSI值越小，哪个麦克风与该音频信息的来源位置之间的距离就越远，哪个麦克风采集到该音频信息的RSSI值越大，这个麦克风与该音频信息的来源位置之间的距离就越近，因此，可以基于该至少三个麦克风的相对位置关系，确定RSSI值最大的麦克风相对于其他麦克风的方向，并将确定的方向作为该音频信息的来源方向信息。

例如，如图4所示，假设该音频信息的来源位置为O，假设该AR设备上配置了三个麦克风D、E、F，且假设麦克风D、E、F采集到该音频信息的RSSI值分别为x1、x2、x3，且x1<x2<x3，此时，可以基于麦克风D、E、F三者的相对位置关系，确定该麦克风F相对于其他两个麦克风的方向为东北方向，从而确定该音频信息的来源方向信息为东北方向。

当然，上述两种确定该音频信息的来源方向信息的方式仅是本公开实施例示出的示例性、解释性的方式，并不能限制本公开。

实际应用中，确定该音频信息的来源方向信息时，也可以采用到达时间差(TimeDifference of Arrival，TDOA)算法，或者RSSI声源定位算法先确定该音频信息来源的位置，再根据该音频信息来源的位置确定该音频信息的来源处于该AR设备的方向。

当采用到达时间差算法的方式时，实现过程可以为：通过该AR设备上的至少三个麦克风记录并存储采集到该音频信息时的接收时间，根据该至少三个麦克风接收到该音频信息的接收时间，通过到达时间差算法，可以确定采集到的该音频信息所对应的声源位置，之后该AR设备可以确定自身的位置与该声源位置之间的连线，并根据该连线，确定该声源位置和与该声源位置相邻的两个方向之间的角度，确定这两个角度中较小的角度所对应的方向，并将确定的方向作为该音频信息的来源方向信息。

当采用RSSI声源定位算法时，实现过程可以为：通过该AR设备上的至少三个麦克风中每个麦克风记录并存储采集到的该音频信息的RSSI值，根据该至少三个麦克风采集到的该音频信息的RSSI值，通过RSSI声源定位算法，可以确定采集到的该音频信息所对应的声源位置，之后该AR设备可以确定自身的位置与该声源位置之间的连线，并根据该连线，确定该声源位置和与该声源位置相邻的两个方向之间的角度，确定这两个角度中较小的角度所对应的方向，并将确定的方向作为该音频信息的来源方向信息。

当然，上述几种方式仅仅是本公开实施例提供的示例性的确定音频信息的来源方向信息的方式，实际情况中，也可以通过其他方式来确定该音频信息的来源方向信息，如根据至少三个麦克风中每两个麦克风之间采集到的音频信息信号的相位差，来确定该音频信息的来源方向信息，对此本公开实施例不予限定。

值得说明的是，通过上述几种方式确定该音频信息的来源方向信息，可以通过后续步骤进行显示，来为聋哑人进行提示，以便聋哑人可以根据提示看向该音频信息的来源方向信息，进而了解该音频信息的来源方向信息处的具体情况，为聋哑人的日常生活提供了便利。

值得说明的是，本公开实施例对上述步骤202和上述步骤203的执行顺序不进行限制，可以根据实际应用需求来执行，如可以先执行步骤202以进行内容识别，得到该内容信息，再执行步骤203以确定该音频信息的来源方向信息；或者先执行步骤202以进行内容识别，得到该内容信息，再执行步骤203以确定该音频信息的来源方向信息；当然，也可以同时执行步骤202和203，以得到该内容信息和该音频信息的来源方向信息。

在步骤204中，在显示界面中显示该属性信息。

其中，在显示界面中显示该属性信息时，可以在显示界面的第一预设区域显示该内容信息；在显示界面的第二预设区域显示方向标志，该方向标志用于指示该来源方向信息。

需要说明的是，该第一预设区域和第二预设区域可以由技术人员预先设置，也可以由用户根据不同的需求进行设置。对此，本公开实施例不予限定。

另外，显示该内容信息时，可以显示文本信息，也可以播放哑语视频信息，也可以显示警示标记信息。显示该方向标志时可以以文本信息的方式显示，也可以通过图像标志来表示，例如可以通过显示一个朝向东南方向的箭头来表示该来源方向信息为东南方。当然，实际应用中也可以有其他方式进行显示，对此本公开实施例不予限定。

综上所述，本公开实施例通过AR设备上的至少三个麦克风采集音频信息，再确定该音频信息的来源方向信息，并对该音频信息进行识别得到内容信息。当该音频信息为语音信息时，可以将语音信息转换为文本信息，并将该音频信息的来源方向信息和该文本信息显示在该AR设备的显示界面中，也可以将该文本信息转换为哑语视频信息进行显示，从而提示聋哑人该音频信息的来源方向信息的同时，可以获取内容信息，便于聋哑人理解该音频信息。当该音频信息为危险报警声音时，可以确定该危险报警声音对应的文本信息或警示标记信息，以及该文本信息转换后的哑语视频信息，并将其显示在该AR设备的显示界面中，以便提示聋哑人该音频信息的来源方向信息的同时，还可以提醒聋哑人注意危险，这样可以实现让无法听见周围声音的聋哑人可以通过佩戴AR设备来获取该音频信息的来源方向信息和指示该语音信息内容的信息，为聋哑人的日常生活提供了极大的便利。

图5是根据本公开实施例示出的一种显示信息的装置结构示意图。应用于AR设备中，参照图5，该装置包括采集模块501，获取模块502和显示模块503。

采集模块501，用于采集音频信息；

获取模块502，用于获取该音频信息的属性信息，该属性信息包括：指示该音频信息内容的内容信息，以及来源方向信息；

显示模块503，用于在显示界面中显示该属性信息。

可选地，该AR设备上配置有至少三个麦克风；

获取模块502包括：

识别子模块，用于通过对该音频信息进行内容识别，得到该内容信息；

确定子模块，用于基于该至少三个麦克风中每个麦克风采集到的该音频信息，确定该音频信息的来源方向信息。

可选地，该内容信息包括以下至少一项：文本信息、哑语视频信息以及警示标记信息。

可选地，识别子模块包括：

获取单元，用于获取该音频信息的目标频率；

第一确定单元，用于当该目标频率高于预设频率时，确定该音频信息为危险报警声音对应的音频信息，并确定该音频信息的音调和音调变化周期；

第二确定单元，用于基于该音频信息的频率、音调和音调变化周期确定该内容信息。

可选地，第二确定单元包括以下至少一项：

确定该音频信息的频率、音调和音调变化周期所对应的文本信息，将该文本信息作为该内容信息；

确定该音频信息的频率、音调和音调变化周期所对应的文本信息，将该文本信息转换为哑语视频信息，将该哑语视频信息作为该内容信息；

从预先设置的频率、音调、音调变化周期以及警示标记信息四者之间的对应关系中确定该音频信息的频率、音调和音调变化周期对应的警示标记信息，并将确定的警示标记信息作为该内容信息。

可选地，显示模块503包括：

第一显示子模块，用于在该显示界面的第一预设区域显示该内容信息；

第二显示子模块，用于在该显示界面的第二预设区域显示方向标志，该方向标志用于指示该来源方向信息。

可选地，获取模块502包括：

发送子模块，用于向服务器发送该音频信息，该务器用于对该音频信息进行内容识别，得到该内容信息；

接收子模块，用于接收服务器发送的内容信息。

综上所述，本公开实施例通过采集音频信息，并获取该音频信息的属性信息，即指示该音频信息内容的内容信息，以及来源方向信息，之后将该音频信息的属性信息显示在该AR设备的显示界面中，以提示聋哑人该音频信息的来源方向信息和该内容信息，从而使得无法听见周围声音的聋哑人可以通过佩戴AR设备来获取该音频信息的来源方向信息和指示该音频信息内容的内容信息，为聋哑人的日常生活提供了极大的便利。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据本公开实施例示出的一种显示信息的装置的结构示意图。例如，该装置600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，该装置600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在该装置600的操作。这些数据的示例包括用于在该装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为该装置600的各种组件提供电源。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为该装置600生成、管理和分配电源相关联的组件。

多媒体组件608包括在该装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当该装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当该装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到装置600的打开/关闭状态，组件的相对定位，例如所述组件为该装置600的显示器和小键盘，传感器组件614还可以检测该装置600或该装置600一个组件的位置改变，用户与该装置600接触的存在或不存在，该装置600方位或加速/减速和该装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于该装置600和其他设备之间有线或无线方式的通信。该装置600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，该装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图1和图2所示实施例提供的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由该装置600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图7是根据本公开实施例示出的一种显示信息的装置的结构示意图。例如，该装置700可以被提供为一服务器。参照图7，该装置700包括处理器722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理器722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器722被配置为执行指令，以执行上述图1和图2所示实施例提供的方法。

该装置700还可以包括一个电源组件726被配置为执行该装置700的电源管理，一个有线或无线网络接口750被配置为将该装置700连接到网络，和一个输入输出(I/O)接口758。该装置700可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器732，上述指令可由该装置700的处理器722执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当该存储介质中的指令由AR设备的处理器执行时，使得AR设备能够执行上述图1和图2中显示信息的方法。

一种包含指令的计算机程序产品，当该计算机程序产品中的指令由AR设备的处理器执行时，使得AR设备能够执行上述图1和图2中显示信息的方法。

本领域技术人员在考虑说明书及实践这里公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种显示信息的方法，其特征在于，应用于增强现实AR设备，所述方法包括：

采集音频信息；

获取所述音频信息的属性信息，所述属性信息包括：指示所述音频信息内容的内容信息，以及来源方向信息，其中，所述内容信息包括哑语视频信息；

当所述音频信息为语音信息时，将所述语音信息转换为文本信息，将所述文本信息划分为多个词语，之后从哑语视频信息数据库中查询与所述多个词语匹配的多个哑语视频，所述多个哑语视频共同构成转换后得到的所述哑语视频信息；

在显示界面中显示所述属性信息；

其中，所述获取所述音频信息的属性信息，包括：

通过对所述音频信息进行内容识别，得到所述内容信息；

所述通过对所述音频信息进行内容识别，得到所述内容信息，包括：

获取所述音频信息的目标频率；

当所述目标频率高于预设频率时，确定所述音频信息为危险报警声音对应的音频信息，并确定所述音频信息的音调和音调变化周期；

基于所述音频信息的频率、音调和音调变化周期确定所述内容信息。

2.如权利要求1所述的方法，其特征在于，所述AR设备上配置有至少三个麦克风；

所述获取所述音频信息的属性信息，还包括：

基于所述至少三个麦克风中每个麦克风采集到的所述音频信息，确定所述来源方向信息。

3.如权利要求1所述的方法，其特征在于，所述内容信息还包括以下至少一项：文本信息、警示标记信息。

4.如权利要求1所述的方法，其特征在于，所述基于所述音频信息的频率、音调和音调变化周期确定所述内容信息，包括以下至少一项：

确定所述音频信息的频率、音调和音调变化周期所对应的文本信息，将所述文本信息作为所述内容信息；

确定所述音频信息的频率、音调和音调变化周期所对应的文本信息，将所述文本信息转换为哑语视频信息，将所述哑语视频信息作为所述内容信息；

从预先设置的频率、音调、音调变化周期以及警示标记信息四者之间的对应关系中确定所述音频信息的频率、音调和音调变化周期对应的警示标记信息，并将确定的警示标记信息作为所述内容信息。

5.如权利要求2所述的方法，其特征在于，所述在显示界面中显示所述属性信息，包括：

在所述显示界面的第一预设区域显示所述内容信息；

在所述显示界面的第二预设区域显示方向标志，所述方向标志用于指示所述来源方向信息。

6.如权利要求1所述的方法，其特征在于，所述获取所述音频信息的属性信息，包括：

向服务器发送所述音频信息，所述服务器用于对所述音频信息进行内容识别，得到所述内容信息；

接收所述服务器发送的所述内容信息。

7.一种显示信息的装置，其特征在于，应用于增强现实AR设备，所述装置包括：

采集模块，用于采集音频信息；

获取模块，用于获取所述音频信息的属性信息，所述属性信息包括：指示所述音频信息内容的内容信息，以及来源方向信息，其中，所述内容信息包括哑语视频信息；

转换模块，用于当所述音频信息为语音信息时，将所述语音信息转换为文本信息，将所述文本信息划分为多个词语，之后从哑语视频信息数据库中查询与所述多个词语匹配的多个哑语视频，所述多个哑语视频共同构成转换后得到的所述哑语视频信息；

显示模块，用于在显示界面中显示所述属性信息；

其中，所述获取模块包括识别子模块，所述识别子模块用于通过对所述音频信息进行内容识别，得到所述内容信息；

所述识别子模块包括：

获取单元，用于获取所述音频信息的目标频率；

第一确定单元，用于当所述目标频率高于预设频率时，确定所述音频信息为危险报警声音对应的音频信息，并确定所述音频信息的音调和音调变化周期；

第二确定单元，用于基于所述音频信息的频率、音调和音调变化周期确定所述内容信息。

8.如权利要求7所述的装置，其特征在于，所述AR设备上配置有至少三个麦克风；

所述获取模块还包括：

确定子模块，用于基于所述至少三个麦克风中每个麦克风采集到的所述音频信息，确定所述音频信息的来源方向信息。

9.如权利要求7所述的装置，其特征在于，所述内容信息还包括以下至少一项：文本信息、警示标记信息。

10.如权利要求7所述的装置，其特征在于，所述第二确定单元包括以下至少一项：

确定所述音频信息的频率、音调和音调变化周期所对应的文本信息，将所述文本信息作为所述内容信息；

确定所述音频信息的频率、音调和音调变化周期所对应的文本信息，将所述文本信息转换为哑语视频信息，将所述哑语视频信息作为所述内容信息；

从预先设置的频率、音调、音调变化周期以及警示标记信息四者之间的对应关系中确定所述音频信息的频率、音调和音调变化周期对应的警示标记信息，并将确定的警示标记信息作为所述内容信息。

11.如权利要求8所述的装置，其特征在于，所述显示模块包括：

第一显示子模块，用于在所述显示界面的第一预设区域显示所述内容信息；

第二显示子模块，用于在所述显示界面的第二预设区域显示方向标志，所述方向标志用于指示所述来源方向信息。

12.如权利要求7所述的装置，其特征在于，所述获取模块包括：

发送子模块，用于向服务器发送所述音频信息，所述服务器用于对所述音频信息进行内容识别，得到所述内容信息；

接收子模块，用于接收所述服务器发送的内容信息。

13.一种显示信息的装置，其特征在于，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-6所述的任一项方法的步骤。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-6所述的任一项方法的步骤。

Images