CN113672084A - Ar显示画面调节方法及系统 - Google Patents

Abstract

本发明提供一种AR显示画面控制方法及系统，其中的方法包括：通过AR设备获取AR设备所在的真实环境；获取三维虚拟场景，并通过显示系统对三维虚拟场景进行实时显示；基于真实环境对三维虚拟场景进行调节，并通过显示系统对调节后的三维虚拟场景进行实时显示。利用上述发明能够避免用户在对真实环境的观察需求较高时，降低三维虚拟场景的显示程度，方便用户对真实环境的观察，提高用户体验效果。

Description

AR显示画面调节方法及系统

技术领域

本发明涉及增强现实技术领域，更为具体地，涉及一种AR显示画面调节方法及系统。

背景技术

增强现实(Augmented Reality)技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，用户通过AR设备可以直接看到真实世界，同时AR设备将虚拟信息内容叠加在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。随着AR技术的成熟，AR越来越多地应用于各个行业，如教育、培训、医疗、设计、广告等。

目前，在AR显示图像时，虚拟图像与真实世界的图像会存在重合，在AR产品的图像显示过程中，不能进行显示区域的控制，用户体验效果不佳。

发明内容

鉴于上述问题，本发明的目的是提供一种AR显示画面调节方法及系统，以解决现有AR显示过程中存在的虚拟图像与真实图像相重合，不能灵活进行显示控制，导致用户体验效果不佳等问题。

本发明提供的AR显示画面控制方法，包括：通过AR设备获取AR设备所在的真实环境；获取三维虚拟场景，并通过显示系统对三维虚拟场景进行实时显示；基于真实环境对三维虚拟场景进行调节，并通过显示系统对调节后的三维虚拟场景进行实时显示。

此外，可选的技术方案是，基于真实环境对三维虚拟场景进行调节的过程，包括：基于麦克风定位系统实时采集真实环境中的语音信号；在采集到语音信号时，通过深度相机获取语音信号的音源对应的轮廓信息；基于轮廓信息对三维虚拟场景进行调节。

此外，可选的技术方案是，获取三维虚拟场景的过程包括：基于深度相机采集真实环境的图像数据；基于真实环境的图像数据获取与真实环境的图像数据对应的三维虚拟场景。

此外，可选的技术方案是，在采集到所述语音信号时，通过深度相机获取语音信号的音源对应的轮廓信息的过程包括：基于麦克风定位系统确定语音信号的音源的初步位置；基于深度相机采集初步位置处的真实环境的局部图片信息；基于局部图片信息确定音源对应的轮廓信息。

此外，可选的技术方案是，基于麦克风定位系统确定语音信号的音源的初步位置，包括：基于麦克风定位系统中的麦克风阵列接收到的语音信号的时间，确定声源的距离信息；基于麦克风阵列中各麦克风接收到的语音信号的时间差，确定声源的角度信息；基于距离信息以及角度信息，确定声源的初步位置。

此外，可选的技术方案是，基于轮廓信息对三维虚拟场景进行调节的过程包括：根据轮廓信息确定显示系统的显示画面的屏蔽区域；调节三维虚拟场景中与屏蔽区域对应部分的显示程度。

此外，可选的技术方案是，屏蔽区域的个数与音源的个数相一致。

此外，可选的技术方案是，调节三维虚拟场景中与所述屏蔽区域对应部分的显示程度的过程包括：确定三维场景中与评比区域对应部分的目标屏蔽点坐标信息；控制目标屏蔽点坐标信息处的像素不显示，或者降低像素的透明度，以调节三维虚拟场景中与屏蔽区域对应部分的显示程度。

根据本发明的另一方面，提供一种AR显示画面控制系统，包括：真实环境获取单元，用于通过AR设备获取AR设备所在的真实环境；三维虚拟场景获取单元，用于获取三维虚拟场景，并通过显示系统对三维虚拟场景进行实时显示；调节显示单元，用于基于真实环境对三维虚拟场景进行调节，并通过显示系统对调节后的三维虚拟场景进行实时显示。

利用上述AR显示画面调节方法及系统，能够通过AR设备获取AR设备所在的真实环境，然后获取三维虚拟场景，并通过显示系统对三维虚拟场景进行实时显示，最后可基于真实环境对三维虚拟场景进行调节，并通过显示系统对调节后的三维虚拟场景进行实时显示，能够灵活的对显示系统的显示区域进行调控，实现虚拟场景中用户之间的面对面交流体验。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的AR显示画面调节方法的流程图；

图2为根据本发明实施例的AR显示画面调节方法的详细流程图；

图3为根据本发明实施例的AR显示画面调节系统的方框示意图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

为详细描述本发明的AR显示画面调节方法及系统，以下将结合附图对本发明的具体实施例进行详细描述。

图1示出了根据本发明实施例的AR显示画面调节方法的流程图。

如图1所示，本发明实施例的AR显示画面调节方法，主要包括：

S110：通过AR设备获取AR设备所在的真实环境。

在该步骤中，用户可通过AR设备的镜片直接观察到所在真实环境的场景信息。

S120：获取所述三维虚拟场景，并通过显示系统对三维虚拟场景进行实时显示。

在该步骤中，获取三维虚拟场景的过程可进一步包括：

首先，基于深度相机采集所述真实环境的图像数据。

然后，基于真实环境的图像数据获取与真实环境的图像数据对应的三维虚拟场景。

具体地，首先通过深度相机采集真实环境的图像数据，AR设备基于真实环境的图像数据构建三维虚拟场景，或者基于真实环境的图像数据从云空间获取三维虚拟场景，并向AR设备推送该三维虚拟场景。其中，该三维虚拟场景可以是虚拟游戏，虚拟教学、虚拟演练等多种场景，对应的虚拟场景和真实场景共同形成用户眼睛获取的三维空间模型。

S130：基于真实环境对所述三维虚拟场景进行调节，并通过显示系统对调节后的三维虚拟场景进行实时显示。

具体地，基于真实环境对三维虚拟场景进行调节的过程可进一步包括：

S131：基于麦克风定位系统实时采集真实环境中的语音信号；

S132：在采集到语音信号时，通过深度相机获取语音信号的音源对应的轮廓信息；

S133：基于所述轮廓信息对所述三维虚拟场景进行调节。

在本发明的一个具体实施方式中，如果麦克风定位系统未采集到真实环境中的语音信号，则通过显示系统对三维虚拟场景进行正常显示即可，无需进行其他处理；否则，当麦克风定位系统采集到真实环境中的语音信号时，则进一步通过麦克风定位系统对语音信号的音源位置进行确定。

具体地，在采集到语音信号时，通过深度相机获取语音信号的音源对应的轮廓信息的过程可包括：

第一步：基于麦克风定位系统确定语音信号的音源的初步位置；

第二步：基于深度相机采集初步位置处的真实环境的局部图片信息；

第三步：基于局部图片信息确定音源对应的轮廓信息。

其中，音源对应的轮廓信息主要是指发出声音的人或者物体的轮廓信息，通过该AR设备音源发出的语音信号，能够对其进行初步定位，进而可通过深度相机对该区域的局部图片信息进行采集，进而可通过该局部图片信息，确定该音源的外部轮廓信息。

在本发明是一个具体实施方式中，基于麦克风定位系统确定语音信号的音源的初步位置，可包括：基于麦克风定位系统中的麦克风阵列接收到的语音信号的时间，确定声源的距离信息；基于麦克风阵列中各麦克风接收到的语音信号的时间差，确定声源的角度信息；然后，基于距离信息以及角度信息，确定声源的初步位置。

需要说明的是，麦克风定位系统的定位方式也可采用其他的算法，并不限于角度和距离的形式，或者也可采用其他多种类型的对声源的定位方式，本发明中并不做具体限制。

可知，当该轮廓信息确定后，即可据此对显示系统的显示画面进行调控，以使得用户在与其他用户进行语言沟通过程中，从AR设备直接可看到对话用户的真实图片，提高用户的视觉体验。

在本发明的另一具体实施方式中，步骤S133基于所述轮廓信息对所述三维虚拟场景进行调节的步骤可进一步包括：根据轮廓信息确定显示画面的屏蔽区域；调节三维虚拟场景中与屏蔽区域对应部分的显示程度。即对三维虚拟场景中与屏蔽区域相对应的虚拟图像的部分进行屏蔽，使得用户能直接看到与屏蔽区域相对应的真实环境的图像信息。具体地，当多个用户或者物体均发出语音信号时，对应的屏蔽区域也会存在多个，即屏蔽区域的个数及位置与对应的音源的个数及位置均是相一致的。

在本发明的另一具体实施方式中，调节三维虚拟场景中与屏蔽区域对应部分的显示程度的过程可包括：确定三维虚拟场景中与所述屏蔽区域对应部分的虚拟图像中的目标屏蔽点坐标信息；控制所述目标屏蔽点坐标信息处的像素不显示，或者降低所述像素的透明度，以降低三维场景中与屏蔽区域对应部分的虚拟图像的显示程度。

作为具体示例，图2示出了根据本发明实施例的AR显示画面控制方法的详细流程。

如图2所示，本发明实施例的AR显示画面控制方法，包括：

1、AR设备的系统启动，用户通过AR设备获取所在真实环境的场景信息。

2、通过深度相机采集真实环境的图像数据，然后根据真实环境的图像数据获取三维虚拟场景；

3、通过麦克风定位系统采集外部真实世界的语音信号，并判断是否有外部音源。

4、如果没有采集到外部音源，则通过显示系统对三维虚拟场景进行正常显示；否则，通过主控芯片获取外部音源的初始位置；

5、通过深度相机采集外部音源的轮廓信息；

6、主控芯片根据轮廓信息控制显示系统，降低轮廓信息对应的三维虚拟场景中与屏蔽区域对应部分的显示程度。

具体地，当人体佩戴AR设备之后，人体可直接通过AR设备直接看到真实环境的场景信息，主控芯片检测到人体佩戴，系统开始工作，通过深度camera用来采集真实世界的场景，主控芯片基于真实世界的场景实现空间建模获取三维虚拟场景或者直接通过云空间获取相应的三维虚拟场景，如果获取到语音信号，则外部有音源，MIC定位系统用来获取真实世界的音频并获取音源的位置，主控芯片通过深度camera来采集外部音源位置的轮廓信息，主控芯片根据外部音源的位置信息和轮廓信息来控制图像显示系统，降低轮廓信息对应的三维虚拟场景中的区域的显示程度，这样用户就能够清晰地获知外部音源的图像信息，避免用户在对真实环境的观察需求较高时，由于三维虚拟场景的遮挡影响用户对真实环境的观察；若外部没有音源则控制显示系统正常显示虚拟图像。

其中，深度camera用来采集外部音源的轮廓，MIC定位系统用来实现音源所在位置信息的定位，只有当外部有音源时才表示使用者需要跟外部的人进行沟通对话，此时如果使用者需要知道对话的对象是谁，就需要深度camera获取外部真实环境的场景信息，获取音源对应的轮廓信息，根据轮廓信息确定三维虚拟场景即显示画面的屏蔽区域，降低所述屏蔽区域的显示程度，更清晰地观察真实世界的图像，方便用户体验，使产品更加智能化。

与上述AR显示画面控制方法相对应的，本发明还提供一种AR显示画面控制系统。

具体地，图3示出了根据本发明实施例的AR显示画面控制系统的框图。

如图3所示，本发明实施例的AR显示画面控制系统200，包括：

真实环境获取单元210，用于通过AR设备获取所述AR设备所在的真实环境；

三维场景信息获取单元220，用于获取三维虚拟场景，并通过显示系统对所述三维虚拟场景进行实时显示；

调节显示单元230，用于基于所述真实环境对所述三维虚拟场景进行调节，并通过所述显示系统对调节后的三维虚拟场景进行实时显示。

需要说明的是，上述AR显示画面控制系统的实施例可参考AR显示画面控制方法实施例中的描述，此处不再一一赘述。

根据上述本发明提供的AR显示画面调节方法及系统，能够实时获取外部的语音信号，并根据外部的语音信号对AR设备的显示画面进行调控，方便用户在增强现实体验过程中，获取外部的真实环境的信息，实现对显示画面的灵活调控，提高用户的视觉体验。

如上参照附图以示例的方式描述根据本发明的AR显示画面调节方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的AR显示画面调节方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (9)

1.一种AR显示画面控制方法，其特征在于，包括：

通过AR设备获取所述AR设备所在的真实环境；

获取三维虚拟场景，并通过显示系统对所述三维虚拟场景进行实时显示；

基于所述真实环境对所述三维虚拟场景进行调节，并通过所述显示系统对调节后的所述三维虚拟场景进行实时显示。

2.如权利要求1所述的AR显示画面控制方法，其特征在于，所述基于所述真实环境对所述三维虚拟场景进行调节的过程，包括：

基于麦克风定位系统实时采集所述真实环境中的语音信号；

在采集到所述语音信号时，通过深度相机获取所述语音信号的音源对应的轮廓信息；

基于所述轮廓信息对所述三维虚拟场景进行调节。

3.如权利要求1所述的AR显示画面控制方法，其特征在于，所述获取三维虚拟场景的过程包括：

基于深度相机采集所述真实环境的图像数据；

基于所述真实环境的图像数据获取与所述真实环境的图像数据对应的三维虚拟场景。

4.如权利要求2所述的AR显示画面控制方法，其特征在于，所述在采集到所述语音信号时，通过深度相机获取所述语音信号的音源对应的轮廓信息的过程包括：

基于所述麦克风定位系统确定所述语音信号的音源的初步位置；

基于所述深度相机采集所述初步位置处的真实环境的局部图片信息；

基于所述局部图片信息确定所述音源对应的轮廓信息。

5.如权利要求4所述的AR显示画面控制方法，其特征在于，所述基于所述麦克风定位系统确定所述语音信号的音源的初步位置，包括：

基于所述麦克风定位系统中的麦克风阵列接收到的所述语音信号的时间，确定所述声源的距离信息；

基于所述麦克风阵列中各麦克风接收到的所述语音信号的时间差，确定所述声源的角度信息；

基于所述距离信息以及所述角度信息，确定所述声源的初步位置。

6.如权利要求2所述的AR显示画面控制方法，其特征在于，所述基于所述轮廓信息对所述三维虚拟场景进行调节的过程包括：

根据所述轮廓信息确定所述显示系统的显示画面的屏蔽区域；

调节所述三维虚拟场景中与所述屏蔽区域对应部分的显示程度。

7.如权利要求6所述的AR显示画面控制方法，其特征在于，

所述屏蔽区域的个数与所述音源的个数相一致。

8.如权利要求6所述的AR显示画面控制方法，其特征在于，所述调节所述三维虚拟场景中与所述屏蔽区域对应部分的显示程度的过程包括：

确定所述三维虚拟场景中与所述屏蔽区域对应部分的目标屏蔽点坐标信息；

控制所述目标屏蔽点坐标信息处的像素不显示，或者降低所述像素的透明度，以调节所述三维虚拟场景中与所述屏蔽区域对应部分的显示程度。

9.一种AR显示画面控制系统，其特征在于，包括：

真实环境获取单元，用于通过AR设备获取所述AR设备所在的真实环境；

三维虚拟场景获取单元，用于获取三维虚拟场景，并通过显示系统对所述三维虚拟场景进行实时显示；

调节显示单元，用于基于所述真实环境对所述三维虚拟场景进行调节，并通过所述显示系统对调节后的所述三维虚拟场景进行实时显示。

Images