CN116302270A - 信息处理方法及相关装置 - Google Patents

Abstract

本公开提供一种信息处理方法及相关装置，通过终端提供图形用户界面，所述图形用户界面显示的内容包括扩展现实图像信息，该方法包括：获取真实环境音频信息；确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，并控制所述图形用户界面显示表征所述虚拟声源位置的标识。

Description

信息处理方法及相关装置

技术领域

本公开涉及计算机技术领域，尤其涉及一种信息处理方法及相关装置。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在扩展现实(Extended Reality，XR)技术领域，当用户佩戴头戴式显示设备时，可以将真实环境的图像经过处理，显示在头戴式显示设备上。

然而，对于来自真实环境的声音，较难建立其与头戴式显示设备显示的图像之间的联系。

发明内容

有鉴于此，本公开的目的在于提出一种信息处理方法及相关装置。

基于上述目的，本公开的第一个方面提供了一种信息处理方法，通过终端提供图形用户界面，所述图形用户界面显示的内容包括扩展现实图像信息，所述方法包括：

获取真实环境音频信息；

确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，并控制所述图形用户界面显示表征所述虚拟声源位置的标识。

基于同一发明构思，本公开的第二个方面提供了一种信息处理装置，通过终端提供图形用户界面，所述图形用户界面显示的内容包括扩展现实图像信息，所述装置包括：

音频信息获取模块，用于获取真实环境音频信息；

声源标识显示模块，用于确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，并控制所述图形用户界面显示表征所述虚拟声源位置的标识。

基于同一发明构思，本公开的第三个方面提供了一种可穿戴智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本公开的第一个方面所述的方法。

基于同一发明构思，本公开的第四个方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一个方面所述的方法。

基于同一发明构思，本公开的第五个方面提供了一种计算机程序产品，包括计算机程序指令，其特征在于，当所述计算机程序指令在计算机上运行时，使得计算机执行如第一个方面所述的方法。

从上面所述可以看出，本公开实施例提供的信息处理方法及相关装置，通过终端提供图形用户界面，所述图形用户界面显示的内容包括扩展现实图像信息，该方法包括：获取真实环境音频信息；确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，并控制所述图形用户界面显示表征所述虚拟声源位置的标识，从而可以在扩展现实图像信息中标记真实环境中的真实环境音频信息，便于用户在使用扩展现实设备时能够发现真实环境中的声音，并确定该声音的所在方向。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的信息处理方法的一种流程示意图；

图2为本公开实施例提供的信息处理装置的一种结构示意图；

图3为本公开实施例提供的可穿戴智能设备的一种结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。

本公开提供的信息处理方法，通过终端提供图形用户界面，所述图形用户界面显示的内容包括扩展现实图像信息。

其中，扩展现实图像信息是通过扩展现实技术(Extended Reality，XR)生成的图像信息。扩展现实技术，包含了虚拟现实技术(Virtual Reality，VR)、增强现实技术(Augmented Reality，AR)和混合现实(Mixed Reality，MR)，以及其它能够实现上述功能的技术。

VR是将虚拟空间感知为真实空间的技术；AR是用于通过向用户周围的真实环境添加信息、强调或削弱真实环境中的信息或者从真实环境中删除信息来扩展由用户观看的真实空间的技术；MR是用于例如通过显示代替真实空间对象的虚拟物质来将真实空间与虚拟空间混合的技术。

在一些实施例中，所述终端可以是XR眼镜、VR眼镜、AR眼镜、MR眼镜、XR头盔、VR头盔、AR头盔和MR头盔，以及其它能够实现上述功能的头戴式显示设备。

在一些实施例中，所述扩展现实图像信息通过VR、AR和MR中的至少一种生成。

在一些实施例中，扩展现实图像信息生成方法包括：

获取真实环境图像信息和虚拟环境图像信息；

融合所述真实环境图像信息和所述虚拟环境图像信息，得到所述扩展现实图像信息。

其中，通过上述头戴式显示设备，可以直接或者间接的查看到真实环境的图像。对于AR设备，可以直接的查看到真实环境的图像。对于VR设备和MR设备，利用see through技术，通过头戴式显示设备上设置的摄像头可以查看到头戴式显示设备外部的真实环境的图像。具体的，通过摄像头拍摄真实环境的图像，通过反畸变技术处理拍摄到的真实环境图像，并将处理后的真实环境的图像投射到头戴式显示设备。

然而，通过上述实施例，用户虽然能够从视觉上感知头戴式显示设备外部的真实环境，但是，对于真实环境中的声音，较难建立起声音与通过头戴式显示设备看到的图像之间的联系，具体的，包括声音的音源在图像中的方向、距离和位置等。基于此，本公开提供一种信息处理方案，在包括但不限于上述实施例提供的场景下，建立真实环境的声音与扩展现实的图像之间的联系。

参考图1，信息处理方法，包括以下步骤：

步骤S110、获取真实环境音频信息。

在一些实施例中，通过麦克风阵列获取所述真实环境音频信息，真实环境音频信息即物理环境中的声音，例如当用户佩戴设置有麦克风阵列的头戴式显示设备处于会议室中时，其可以听到会议室中其他人员的交谈声音、开关门声音等。

其中，所述麦克风阵列中包含若干子麦克风，若干子麦克风均可对真实环境音频信息进行采集。麦克风阵列具有收音效果较好，以及可以实现语音增强(降噪)和语音混响的优势。

步骤S120、确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，并控制所述图形用户界面显示表征所述虚拟声源位置的标识。

本实施例中，由于各个子麦克风与真实环境音频信息的声源位置具有一定差别，导致各个子麦克风所采集到的真实环境音频信息会具有相应的不同，因此可以基于不同子麦克风采集到的针对同一声源位置的不同的真实环境音频信息来确定出真实环境音频信息所对应的真实声源位置，该真实声源位置即为声源在物理环境中的位置。

其中，真实声源位置可以包括声源在物理环境中的方位、坐标、角度以及发声对象等，本实施例对此不作限制。

获得声源所在的真实声源位置之后，由于物理环境与扩展现实图像信息之间存在一定的对应关系，因此可以在扩展现实图像信息中确定出与真实环境音频信息对应的虚拟声源位置。

本实施例中，可在扩展现实图像信息中显示用于标记虚拟声源位置的标识，从而使得佩戴头戴式显示设备的用户在看到其图形用户界面中出现了相应的标识时，即可得知该真实环境音频信息所对应的物理环境中的方位、坐标、角度以及发声对象，即使得用户得知该声音在物理环境中的来源。

本实施例中，在获取真实环境音频信息之后，确定该真实环境音频信息在用户所佩戴的头戴式显示设备所显示的扩展现实图像信息中相应的虚拟声源位置，并在头戴式显示设备的图形用户界面中显示用于标记虚拟声源位置的标识；从而使得在用户佩戴头戴式显示设备时，当用户听到物理环境中的声音，即使用户不将所佩戴的头戴式显示设备摘下来，也能够知道该声音的位置，从而使得用户在使用头戴式显示设备的过程中也不会错过物理环境中的重要声音，便于用户的使用。

例如，当用户使用头戴式显示设备时，当用户所处的物理环境中有其他人员说话，则可以在该头戴式显示设备中标记该人员所在的方位，从而使得用户得知该方向有人说话。

例如，当用户使用头戴式显示设备时，头戴式显示设备的扩展现实图像信息中包括用户所处的物理环境的图像信息，当用户所处的物理环境中有其他人员或对象发出声音时，则在头戴式显示设备的扩展现实图像信息中与其他人员或对象对应的图像位置进行标记，从而使得用户得知是哪个人员或对象发出声音。

在一些实施例中，确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，具体包括：

根据不同的所述子麦克风采集所述真实环境音频信息的接收时间差和/或相位差，确定声源的所述虚拟声源位置。

本实施例中，由于各个子麦克风与声源之间的距离、角度等均具有一定差别，导致各个子麦克风所采集到的真实环境音频信息会具有相应的不同，例如接收时间不同、相位不同等。因此可以基于不同子麦克风采集到的针对同一声源的真实环境音频信息的接收时间差、相位差来确定出真实环境音频信息所对应的真实声源位置，进而确定声源的虚拟声源位置。

其中，在一定的传输介质里，声波是按照固定速度向前行进的(例如15度空气内340m/秒、20度空气内344m/s，25度空气346m/s)。

因此，对于不同的子麦克风，其在采集同一声源的真实环境音频信息时，由于声源距离不同的子麦克风的位置和角度均有不同，因此子麦克风的接收时间不同，因此在获得了各个子麦克风采集真实环境音频信息的接收时间差以后，结合各个子麦克风之间的位置、角度关系，则可以确定出声源的方位以及距离，从而确定真实环境音频信息所对应的真实声源位置。

对于指定频率的声音信号，由于声波的速度＝波长×频率。例如80Hz信号，其波长等于速度/频率＝340m/80Hz＝4.25m。也就是说，当两个80Hz信号的行进距离相差一个波长4.25m，此时相位相差360度，如果距离相差2.125米，那么相位相差180度，其它以此类推。由此也可得出相位与距离的换算公式为：距离差＝波长相位差/360＝(声波速度/频率)(相位差/360)，进而可以基于距离和各个子麦克风之间的位置、角度关系，则可以确定出声源的方位以及距离，从而确定真实环境音频信息所对应的真实声源位置。

在一些实施例中，所述根据不同的所述子麦克风采集所述真实环境音频信息的接收时间差和/或相位差，确定所述虚拟声源位置，包括：

步骤S210，根据所述接收时间差和/或所述相位差，得到所述真实环境音频信息的的真实声源位置和基准真实位置的位置关系。

步骤S220，根据所述位置关系和所述基准真实位置在所述扩展现实图像信息中对应的基准虚拟位置，得到所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置。

其中，预设至少一个基准真实位置，并确定基准真实位置在扩展现实图像信息中对应的基准虚拟位置。

本实施例中，可以预先确定至少一个基准真实位置及其对应的基准虚拟位置。例如，可以在头戴式显示设备开机时利用麦克风阵列中的不同子麦克风来采集位于物理环境的某一位置的某一对象的声音，利用不同子麦克风采集到的音频信号确定出该声音的位置，再在扩展现实图像信息标记该对象的位置，从而将该对象在物理环境的某一位置作为基准真实位置，将在扩展现实图像信息标记该对象的位置作为基准虚拟位置。

或者，也可以控制位于物理环境的基准真实位置的某一对象发出声音，让头戴式显示设备的摄像头朝向该对象，使得头戴式显示设备所显示的扩展现实图像信息中包括该对象的相应图像。在采集到该对象发出声音对应的音频信号后，在头戴式显示设备的扩展现实图像信息标记该对象的位置，并将所标记的位置作为基准虚拟位置。

其中，确定基准真实位置及其对应的基准虚拟位置可以在头戴式显示设备开机时设置，或者也可以在设备参数设置等时机设置，本实施例对此不作限制。

确定基准真实位置及其对应的基准虚拟位置后，即可基于定位技术确定真实环境音频信息所对应的虚拟声源位置。

例如，可以基于即时定位与地图构建(Simultaneous Localization andMapping，简称SLAM)技术构建物理环境的地图并作为扩展现实图像信息显示在头戴式显示设备的图形用户界面中。同时，头戴式显示设备可以为6DoF设备，头戴式显示设备可以安装六轴传感器(IMU)等设备，当佩戴头戴式显示设备的用户移动时，通过IMU采集头戴式显示设备的位移和角度变化，并在图形用户界面中进行相应的显示。

当用户听到某一声音时，头戴式显示设备基于该声音的真实环境音频信息计算相应的真实声源位置，再基于该真实声源位置相对于基准真实位置的的位移和角度变化，即可确定该真实环境音频信息的在扩展现实图像信息中中虚拟声源位置相对于基准虚拟位置在扩展现实图像信息中的位移和角度变化，进而确定该真实环境音频信息的在扩展现实图像信息中虚拟声源位置，这样以后则可以通过标识在扩展现实图像信息中标记该虚拟声源位置，从而使得在用户佩戴头戴式显示设备时，当用户听到物理环境中的声音，即使用户不将所佩戴的头戴式显示设备摘下来，也能够知道该声音的位置，从而使得用户在使用头戴式显示设备的过程中也不会错过物理环境中的重要声音，便于用户的使用。

在一些实施例中，所述标识包括静态标识和动态标识中的至少一种；所述控制所述图形用户界面显示表征所述虚拟声源位置的标识，具体包括：

步骤S310，响应于确定所述真实环境音频信息获取完毕，控制所述图形用户界面显示表征所述虚拟声源位置的静态标识；

步骤S320，响应于确定所述真实环境音频信息未获取完毕，控制所述图形用户界面显示表征所述虚拟声源位置的动态标识。

其中，动态标识可以用于提醒用户注意收听真实环境音频信息，以辅助用户与真实环境的交互。

本实施例中，当物理环境中的声源正在发出声音时，图形用户界面上所显示的用于表征虚拟声源位置的标识的动态标识，例如可以为动态喇叭的图像。当用户看到该动态喇叭的图像时，则可得知该声源仍然在发出声音，因而可以提醒用户注意收听该声源的真实环境音频信息。

当物理环境中的声源所发出声音已经结束，可以在声音结束后的预设时长内显示用于表征虚拟声源位置的标识的静态标识，例如可以为静态喇叭的图像，从而可以使得用户知道该声源发出过声音。

或者，也可以仅在声音发出时在图形用户界面显示表征所述虚拟声源位置的标识，本实施例对此不作限制。

在一些实施例中，所述扩展现实图像信息中包含至少一个对象；其中，所述对象基于真实环境图像信息生成；

所述控制所述图形用户界面显示表征所述虚拟声源位置的标识，包括：

响应于确定所述终端与发出声音的对象的位置之间的距离在预设距离阈值内，控制在所述发出声音的对象周围预设范围内显示第一标识；

其中，所述第一标识表征所述发出声音的对象与所述真实环境音频信息对应。

本实施例中，当扩展现实图像信息中存在基于真实环境图像信息生成的对象时，即头戴式显示设备外部的真实环境中存在这些对象的本体，通过本公开，可以确定真实环境音频信息是否来源于这些对象中的至少一个，如果确定真实环境音频信息来源于这些对象中的至少一个，将表征虚拟声源位置的标识显示在确定的对象的周围，即发出声音的对象的周围，例如将标识显示在该对象上，或者将标识显示在该对象的顶部位置，从而使得用户知道该声音是由该对象发出的。

其中，所述终端与所述对象的位置之间的距离，即为所述对象在物理环境中的位置与头戴式显示设备之间的距离。本实施例中，当该距离在预设距离阈值内，则显示第一标识；当该距离在预设距离阈值以外，则不显示第一标识。即当声源位置过于遥远时，该声源可能是用户不关注的噪声，因此则可以不在头戴式显示设备上显示相应的标识；只有声源位置较近时，才会显示相应的标识。

在一些实施例中，所述控制所述图形用户界面显示表征所述虚拟声源位置的标识，包括：响应于所述真实环境音频信息大于预设阈值，则显示所述标识。即本实施例中，当声音较小时，该声源可能是用户不关注的噪声，因此则可以不在头戴式显示设备上显示相应的标识；只有声音较大时，才会显示相应的标识。在一些实施例中，所述控制所述图形用户界面显示表征所述虚拟声源位置的标识，包括：

响应于确定所述虚拟声源位置不在所述图形用户界面当前显示的扩展现实图像信息中，控制所述图形用户界面显示第二标识；

其中，所述第二标识表征所述虚拟声源位置与所述图形用户界面当前显示的扩展现实图像信息的位置关系。

本实施例中，由于图形用户界面显示的是当前观察视角朝向的扩展现实图像信息，在一些情况下，虚拟声源位置不在当前观察视角朝向的区域，针对这种情况，标识可以表征虚拟声源位置相对于当前观察视角朝向所在的方向，以辅助用户根据该方向调整当前观察视角，以观测到虚拟声源位置。

例如，当头戴式显示设备采集到在用户的左侧的真实环境音频信息，而与该真实环境音频信息所对应的虚拟声源位置并不在头戴式显示设备当前显示的扩展现实图像信息中时，可显示第二标识。该第二标识例如可以是指向虚拟声源位置的图标或文字，例如可以是指向虚拟声源位置的箭头，从而提醒用户知道该真实环境音频信息的声源位置在箭头所指向的方向，进而可以提醒用户根据该方向调整当前观察视角，以观测到虚拟声源位置。

在一些实施例中，所述控制所述图形用户界面显示第二标识之后，还包括：

步骤S410，响应于针对观察视角的调整指令，调整所述观察视角以调整所述图形用户界面当前显示的扩展现实图像信息；

步骤S420，在调整所述观察视角的过程中，响应于确定所述虚拟声源位置在所述图形用户界面当前显示的扩展现实图像信息中，控制在所述虚拟声源位置处显示第三标识；

其中，所述第三标识与所述第二标识关联；所述第三标识表征所述真实环境音频信息的虚拟声源位置。

其中，当用户调整观察视角时，图形用户界面当前显示的扩展现实图像信息根据视角的转动而变化。当虚拟声源位置出现在当前观察视角内时，将表征虚拟声源位置方向的第二标识调整为直接表征虚拟声源位置的第三标识。

其中，第三标识可以与第一标识类似的标识，即第三标识也用于表征扩展现实图像信息中的对象与所述真实环境音频信息对应。而第二标识是指向第三标识的图标，例如箭头，该箭头可以指向第三标识。这样，当用于根据箭头的方向调整视角时，当虚拟声源位置出现在当前观察视角内时，将第三标识显示在虚拟声源位置，之后取消显示第二标识。

或者，第三标识是基于第二标识转换而来的，例如第二标识是指向第三标识的箭头，该箭头指向虚拟声源位置，当用于根据箭头的方向调整视角使得虚拟声源位置出现在当前观察视角内时，第二标识转换为第三标识并显示在虚拟声源位置。

在一些实施例中，所述方法还包括：

步骤S510，获取所述扩展现实图像信息对应的地图信息，根据所述地图信息和所述虚拟声源位置，生成到所述虚拟声源位置的导航路线；

步骤S520，控制所述图形用户界面显示所述导航路线。

本实施例中，在确定了虚拟声源位置后，可生成到达虚拟声源位置的导航路线，并将导航路线显示在图形用户界面中。同时，当用户基于该导航路线向虚拟声源位置所对应的真实声源位置移动时，可通过音频提醒、图像提醒的方式进行辅助导航，引导用户到达真实声源位置。

在一些实施例中，所述方法，还包括：

步骤S610，获取所述真实环境音频信息的声音特征，所述声音特征包括声音类型、强度、距离等特征；

步骤S620，基于所述真实环境音频信息的声音特征以及预设的声音特征与标识的对应关系，在所述图形用户界面显示与所述声音特征对应的所述标识。

本实施例中，可以获取真实环境音频信息的声音类型、声音强度等声音特征，从而根据真实环境音频信息的声音特征，显示不同的标识。

其中，可以基于真实环境音频信息的声源为不同类型的对象，例如为人(可进一步基于性别、年龄等区分)、动物、车(可进一步划分为公交车、私家车、自行车、火车等)、建筑(门、窗发出的声音等)、自然界声音(风声、雨声、雷声等)等不同声音类型，为不同的声音类型对应设置不同的标识。这样当识别出真实环境音频信息的声音类型后，可在图形用户界面中显示相应的标识，从而便于用户得知声源的类型。

其中，可以基于真实环境音频信息的声音强度设置不同类型的标识，例如声音强度满足不同阈值条件时，设置不同形态的标识，从而便于用户得知声源的强度。

其中，可以基于声源位置与头戴式显示设备之间的不同距离设置不同类型的标识，例如距离满足不同阈值条件时，设置不同形态的标识，从而便于用户得知声源的距离。

在一些实施例中，用户可编辑声音特征与标识的对应关系，头戴式显示设备响应于接收到用户针对声音特征与标识的对应关系的编辑操作，针对不同的所述声音特征设置不同表示内容的标识。

其中，用户可以进一步编辑声音特征的数值与标识的对应关系。例如，对于声音强度，用户可以编辑不同阈值的声音强度与标识的对应关系，本实施例对此不作限制。

其中，上述实施例中的位置以及位置之间的关系，均可以通过与扩展现实图像信息对应的地图信息确定。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种信息处理装置。

本公开提供的信息处理装置，通过终端提供图形用户界面，所述图形用户界面显示的内容包括扩展现实图像信息。

参考图2，所述信息处理装置，包括：

音频信息获取模块210，用于获取真实环境音频信息；

声源标识显示模块220，用于确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，并控制所述图形用户界面显示表征所述虚拟声源位置的标识。

在一些实施例中，信息处理装置，还用于：获取真实环境图像信息和虚拟环境图像信息；融合所述真实环境图像信息和所述虚拟环境图像信息，得到所述扩展现实图像信息；控制所述图形用户界面显示所述扩展现实图像信息。

在一些实施例中，音频信息获取模块210，具体用于：通过麦克风阵列获取所述真实环境音频信息；其中，所述麦克风阵列中包含若干子麦克风；

声源标识显示模块220，具体用于：根据不同的所述子麦克风采集所述真实环境音频信息的接收时间差和/或相位差，确定所述虚拟声源位置。

在一些实施例中，所述声源标识显示模块220，还用于：根据所述接收时间差和/或所述相位差，得到所述真实环境音频信息的真实声源位置和基准真实位置的位置关系；根据所述位置关系和所述基准真实位置在所述扩展现实图像信息中对应的基准虚拟位置，得到所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置。

在一些实施例中，所述扩展现实图像信息中包含至少一个对象；其中，所述对象基于真实环境图像信息生成；

声源标识显示模块220，具体用于：响应于确定所述终端与发出声音的对象的位置之间的距离在预设距离阈值内，控制在所述发出声音的对象周围预设范围内显示第一标识；其中，所述第一标识表征所述发出声音的对象与所述真实环境音频信息对应。

在一些实施例中，声源标识显示模块220，具体用于：响应于确定所述虚拟声源位置不在所述图形用户界面当前显示的扩展现实图像信息中，控制所述图形用户界面显示第二标识；其中，所述第二标识表征所述虚拟声源位置与所述图形用户界面当前显示的扩展现实图像信息的位置关系。

在一些实施例中，声源标识显示模块220，具体用于：响应于针对观察视角的调整指令，调整所述观察视角以调整所述图形用户界面当前显示的扩展现实图像信息；在调整所述观察视角的过程中，响应于确定所述虚拟声源位置在所述图形用户界面当前显示的扩展现实图像信息中，控制在所述虚拟声源位置处显示第三标识；其中，所述第三标识与所述第二标识关联；所述第三标识表征所述真实环境音频信息的虚拟声源位置。

在一些实施例中，声源标识显示模块220，还用于：获取所述扩展现实图像信息对应的地图信息，根据所述地图信息和所述虚拟声源位置，生成到所述虚拟声源位置的导航路线；控制所述图形用户界面显示所述导航路线。

在一些实施例中，声源标识显示模块220，还用于：获取所述真实环境音频信息的声音特征，所述声音特征包括声音类型、强度、距离；基于所述真实环境音频信息的声音特征以及预设的声音特征与标识的对应关系，在所述图形用户界面显示与所述声音特征对应的所述标识。

在一些实施例中，所述装置还用于：响应于接收到针对声音特征与标识的对应关系的编辑操作，针对不同的所述声音特征设置不同表示内容的标识。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的信息处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种可穿戴智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的信息处理方法。

图3示出了本实施例所提供的一种更为具体的可穿戴智能设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的可穿戴智能设备用于实现前述任一实施例中相应的信息处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的信息处理方法。

上述非暂态计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上示例性方法部分中任一实施例所述的信息处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

本领域技术技术人员知道，本公开的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本公开还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (13)

1.一种信息处理方法，其特征在于，通过终端提供图形用户界面，所述图形用户界面显示的内容包括扩展现实图像信息，所述方法包括：

获取真实环境音频信息；

确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，并控制所述图形用户界面显示表征所述虚拟声源位置的标识。

2.根据权利要求1所述的方法，其特征在于，所述获取真实环境音频信息，包括：

通过麦克风阵列获取所述真实环境音频信息；其中，所述麦克风阵列中包含若干子麦克风；

所述确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，包括：

根据不同的所述子麦克风采集所述真实环境音频信息的接收时间差和/或相位差，确定所述虚拟声源位置。

3.根据权利要求2所述的方法，其特征在于，所述根据不同的所述子麦克风采集所述真实环境音频信息的接收时间差和/或相位差，确定所述虚拟声源位置，包括：

根据所述接收时间差和/或所述相位差，得到所述真实环境音频信息的真实声源位置和基准真实位置的位置关系；

根据所述位置关系和所述基准真实位置在所述扩展现实图像信息中对应的基准虚拟位置，得到所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置。

4.根据权利要求1所述的方法，其特征在于，所述扩展现实图像信息中包含至少一个对象；其中，所述对象基于真实环境图像信息生成；

所述控制所述图形用户界面显示表征所述虚拟声源位置的标识，包括：

响应于确定所述终端与发出声音的对象的位置之间的距离在预设距离阈值内，控制在所述发出声音的对象周围预设范围内显示第一标识；

其中，所述第一标识表征所述发出声音的对象与所述真实环境音频信息对应。

5.根据权利要求1所述的方法，其特征在于，所述控制所述图形用户界面显示表征所述虚拟声源位置的标识，包括：

响应于确定所述虚拟声源位置不在所述图形用户界面当前显示的扩展现实图像信息中，控制所述图形用户界面显示第二标识；

其中，所述第二标识表征所述虚拟声源位置与所述图形用户界面当前显示的扩展现实图像信息的位置关系。

6.根据权利要求5所述的方法，其特征在于，还包括：

响应于针对观察视角的调整指令，调整所述观察视角以调整所述图形用户界面当前显示的扩展现实图像信息；

在调整所述观察视角的过程中，响应于确定所述虚拟声源位置在所述图形用户界面当前显示的扩展现实图像信息中，在所述虚拟声源位置处显示第三标识；

其中，所述第三标识与所述第二标识关联；所述第三标识表征所述真实环境音频信息的虚拟声源位置。

7.根据权利要求1所述的方法，其特征在于，还包括：

获取所述扩展现实图像信息对应的地图信息，根据所述地图信息和所述虚拟声源位置，生成到所述虚拟声源位置的导航路线；

控制所述图形用户界面显示所述导航路线。

8.根据权利要求1所述的方法，其特征在于，还包括：

获取所述真实环境音频信息的声音特征，所述声音特征包括声音类型、强度、距离；

基于所述真实环境音频信息的声音特征以及预设的声音特征与标识的对应关系，在所述图形用户界面显示与所述声音特征对应的所述标识。

9.根据权利要求8所述的方法，其特征在于，还包括：

响应于接收到针对声音特征与标识的对应关系的编辑操作，针对不同的所述声音特征设置不同表示内容的标识。

10.一种信息处理装置，其特征在于，通过终端提供图形用户界面，所述图形用户界面显示的内容包括扩展现实图像信息，所述装置包括：

音频信息获取模块，用于获取真实环境音频信息；

声源标识显示模块，用于确定所述真实环境音频信息在所述扩展现实图像信息中对应的虚拟声源位置，并控制所述图形用户界面显示表征所述虚拟声源位置的标识。

11.一种可穿戴智能设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至9任意一项所述的方法。

12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至9任意一项所述的方法。

13.一种计算机程序产品，其特征在于，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如权利要求1至9任意一项所述的方法。

Images