CN117572958A - 视觉边界优化系统、方法及vr眼镜 - Google Patents

Abstract

本发明提供一种视觉边界优化系统、方法及VR眼镜，其中的视觉边界优化系统包括惯性测量单元、眼部追踪摄像头和主控单元；其中，所述惯性测量单元，用于测量VR眼镜的加速度和角速度；所述眼部追踪摄像头用于采集佩戴者的眼球信息；所述主控单元，用于根据所述VR眼镜的加速度和角速度、佩戴者的眼球信息确定视觉外物体的位置，并根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内。利用本发明能够自动判断出用户视觉范围外的朝向，并自动优化边界，提升用户的使用体验。

Description

视觉边界优化系统、方法及VR眼镜

技术领域

本发明涉及VR眼镜技术领域，更为具体地，涉及一种视觉边界优化系统、方法及VR眼镜。

背景技术

全景电影和游戏因其能够为用户提供宽广的水平视野享受而广受用户欢迎。由于全景画面不像普通的屏幕一样画面都是在正前方，所以有时候需要进行用户进行回头抬头等动作以便观看不同视角的影像，由于用户在不用VR眼镜时的观看习惯和使用VR眼镜时的观看动作具有一定的差异，往往会影响VR眼镜的使用体验。

比如，在当用户在用VR眼镜看全景电影和玩游戏的时候，往往会因为对VR眼镜的视觉(视野)边界判断失误，导致想看的地方看不到。比如射击游戏时，敌人在右后方，用户根据不用VR眼镜时经验只要扭头就能看到，但是应用VR眼镜进行观看时，由于用户看到的影像均由VR眼镜提供，因此用户无法看到在VR眼镜的视觉范围外(显示屏外)的影像。如果用户在应用VR眼睛时处于站姿，费点时间调整下姿势也可以观看到视觉范围外的影像；但是如果用户在应用VR眼睛时处于坐姿，由于坐姿状态下不易大幅度变换姿势，就会导致当前状态下无法看到需要的影像。

因此，如何有效优化VR眼镜的用户视觉边界，成为目前VR眼镜显示亟需解决的问题。

发明内容

鉴于上述问题，本发明的目的是提供一种视觉边界优化系统、视觉边界优化方法及相应的VR眼镜，以有效优化VR眼镜的用户视觉边界。

根据本发明的一个方面，提供一种视觉边界优化系统，应用于VR眼镜，包括惯性测量单元、眼部追踪摄像头和主控单元；其中，

所述惯性测量单元，用于测量VR眼镜的加速度和角速度；

所述眼部追踪摄像头用于采集佩戴者的眼球信息；

所述主控单元，用于根据所述VR眼镜的加速度和角速度、佩戴者的眼球信息确定视觉外物体的位置，并根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内。

此外，可选的技术方案是，所述主控单元根据所述VR眼镜的加速度和角速度确定所述佩戴者看向位置的方向和角度。

此外，可选的技术方案是，所述主控单元根据所述佩戴者的眼球信息确定所述佩戴者的眼球运动距离Z。

此外，可选的技术方案是，所述主控单元根据所述眼部追踪摄像头记录的佩戴者看向显示屏显示边界时佩戴者眼球的位置，确定所述VR眼镜的视觉范围；其中，在所述视觉范围内，以眼睛的横轴限定人眼的运动轨迹为X，以显示屏的横轴限定在显示屏上显示的运动轨迹为Y，则所述佩戴者的眼球运动距离Z后定位的视觉范围外的位置为所述佩戴者看向位置的方向和角度的Y÷X*Z距离的位置。

此外，可选的技术方案是，还包括扬声器单元，其中，所述扬声器单元至少包括分设在所述眼镜框架左右两侧的左扬声器和右扬声器；所述主控单元还包括声音处理模块，用于通过对所述扬声器单元所播放的声音的相位和音量的分析，确定所述视觉外物体是否存在。

此外，可选的技术方案是，在所述主控单元通过对所述扬声器单元所播放的声音的相位和音量的分析，确定所述视觉外物体是否存在的过程中，

如果存在所述视觉外物体，则根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内；

如果不存在所述视觉外物体，则再次分析所述扬声器单元所播放的声音的相位和音量，并根据所述再次分析的结果确定距离所述述视觉外物体的位置最近的声源作为第二视觉外物体，然后移动所述VR眼镜的视觉边界以将所述第二视觉外物体显示在所述佩戴者的视觉范围内。

另一方面，本发明实施例还提供一种视觉边界优化方法，利用如前所述的视觉边界优化系统进行VR眼镜的视觉边界优化处理，包括如下步骤：

通过惯性测量单元测量VR眼镜的加速度和角速度；以及，通过眼部追踪摄像头采集佩戴者的眼球信息；

根据所述VR眼镜的加速度和角速度、佩戴者的眼球信息确定视觉外物体的位置；

根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内；

其中，所述视觉范围根据所述眼部追踪摄像头记录的佩戴者看向显示屏显示边界时佩戴者眼球的位置确定。

再一方面，本发明实施例还提供一种VR眼镜，包括眼镜框架和如前所述的视觉边界优化系统，所述视觉边界优化系统设置在所述眼镜框架上。

上述视觉边界优化系统、方法及VR眼镜，通过增加在VR眼镜控制系统中IMU、眼部追踪摄像头和控制单元，通过配合相应的数据处理和控制指令判断出用户视觉范围外的朝向和位置，并自动优化视觉边界，提升了用户的使用体验，尤其适合用户反映不及时和坐姿不方便的情况。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的视觉边界优化系统的组成结构示意图

图2为根据本发明实施例的视觉范围及视觉外物体相对位置示意图；

图3为根据本发明实施例的视觉边界优化方法的流程图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了更好地说明本发明的技术方案，下面先对本发明中所涉及的部分技术术语进行简单说明。

惯性传感器(Inertial Measurement Unit，IMU)，用于测量传感器本体的角速度和加速度的传感器，通常是指使用加速度计和陀螺仪来测量物体单轴、双轴或三轴姿态角(或角速率)以及加速度的装置，也可以称之为为惯性测量单元。

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

为了解决现有技术中VR眼镜视觉边界受限的问题，本发明利用IMU、眼部追踪摄像头和扬声器，配合相应的数据处理和控制指令实现对视觉边界的自动优化。

为详细描述本发明的VR眼镜的视觉边界优化方法的内容，以下将结合附图对本发明的具体实施例进行详细描述。

图1示出了根据本发明实施例的视觉边界优化系统的组成结构。

如图1所示，本实施例提供的视觉边界优化系统应用于VR眼镜，主要包括惯性测量单元110、眼部追踪摄像头120和主控单元(图中未示出)四个部分。

其中，惯性测量单元110用于测量VR眼镜的加速度和角速度。具体的，作为示例，惯性测量单元110采用加速度计和陀螺仪实现VR眼镜的加速度和角速度的测量。

眼部追踪摄像头120用于采集佩戴者的眼球信息，比如眼球的位置、运动方向等。

主控单元，用于根据所述VR眼镜的加速度和角速度、佩戴者的眼球信息确定视觉外物体的位置，并根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内。

具体的，主控单元进一步包括头部运动处理模块、眼球运动处理模块和视觉范围调整模块。其中，头部运动处理模块用于根据惯性测量单元110所测量出的VR眼镜的加速度和角速度，确定佩戴者头部的运动方位，即所述佩戴者看向位置的方向和角度；眼球运动处理模块用于根据眼部追踪摄像头120采集的佩戴者眼球的运动轨迹，确定佩戴者的视觉范围以及所述佩戴者的眼球运动距离Z(即佩戴者想要看到的视觉外物体距离视觉边界的距离)；视觉范围调整模块用于根据所述运动方位和视觉外物体距离视觉边界的距离确定所述视觉外物体的位置，并移动所述VR眼镜的视觉边界，以将所述视觉外物体显示在佩戴者的视觉范围内。

其中，VR眼镜的视觉范围根据所述眼部追踪摄像头记录的佩戴者看向显示屏显示边界时佩戴者眼球的位置确定。

具体的，作为示例，图2为根据本发明实施例的视觉范围及视觉外物体相对位置示意图，其中也展示了通过VR眼镜采集的佩戴者眼镜运动轨迹示意图。如图2所示，人眼的运动轨迹是X(以眼睛的横轴为例)，人眼视觉范围在显示屏上的运动轨迹是Y(以显示屏的横轴为例)，分别以X和Y为横轴所确定的人眼和显示屏之间所限定的范围即为佩戴者佩戴该VR眼镜的视觉范围，在显示屏范围之外的视觉外物体位于人眼在运动轨迹(X)的范围之外的距离Z。那么，所述佩戴者的眼球运动距离Z后定位的视觉范围外的位置为所述佩戴者看向位置的方向和角度的Y÷X*Z距离的位置。

需要说明的是，不同的VR眼镜可能会提供不同的视觉显示范围，对于同一个VR眼镜而言，不同佩戴者的视觉范围也会有些许差别。因此，在本发明的一个实施例中当用户(即佩戴者)在使用VR眼镜时，首先让佩戴者看一段测试程序，测试程序的目的是采集佩戴者看向显示屏显示边界时佩戴者眼球的位置，并用眼球追踪摄像头进行记录。然后根据记录结果确定如图2所示的人眼的运动轨迹是X和人眼视觉范围在显示屏上的运动轨迹Y。

如果佩戴者有意观看视觉边界(视觉范围的边界)以外的物体，那么根据人的本能反应，眼球会在显示屏范围之外还会运动一段距离来看清视觉外物体。通过对眼球运动距离Z(视觉外眼球运动轨迹，以眼睛的横轴为例)的分析，可以根据X和Y比例大体得到佩戴者想要看的视觉外物体距离视觉边界的距离。

在本发明的一个具体实施方式中，头部运动处理模块确定佩戴者头部的运动方位的具体方法包括：通过对VR眼镜IMU数据(即VR眼镜的加速度和角速度)的分析，可以获得佩戴者想要看视觉外物体的方向和角度，比如通过IMU的加速度方向得到用佩戴者头部是在向右边移动，通过IMU的角速度得到佩戴者是向上仰头30°，那么就可以得出佩戴者是在看向右上方30°的位置。

再根据前述眼球运动处理模块所确定的所述佩戴者的眼球运动距离Z后定位的视觉范围外的位置，即所述佩戴者看向位置的方向和角度的Y÷X*Z距离的位置，就可以确定所述视觉外物体的位置为右上方30°、距离原始视觉边界Y÷X*Z的位置。然后，主控单元就可以根据这一位置移动VR眼镜的视觉边界，即向右上方30°移动Y÷X*Z距离，从而将所述视觉外物体显示在所述佩戴者的视觉范围内。

由于佩戴者个体判断能力的偏差，有可能出现佩戴者进行了眼球和头部移动也未看到视觉外物体的情况，因此，在本发明另一个具体实施例中视觉边界优化系统还可以包括扬声器单元130，该扬声器单元在主控单元的控制下播声音信号，并且，主控单元还进一步包括声音处理模块，用于通过对扬声器单元130所播放的声音的相位和音量的分析，确定声音方向和位置，从而判断视觉外物体是否存在。

具体的，作为示例，在所述主控单元通过对所述扬声器单元所播放的声音的相位和音量的分析，确定所述视觉外物体是否存在的过程中，

如果存在所述视觉外物体，则根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内。比如按照前述示例将VR眼镜的视觉边界向右上方30°移动Y÷X*Z距离。

如果不存在所述视觉外物体，则主控单元再次分析所述扬声器单元所播放的声音的相位和音量，并根据所述再次分析的结果确定距离所述视觉外物体的位置最近的声源作为第二视觉外物体，然后移动所述VR眼镜的视觉边界以将所述第二视觉外物体显示在所述佩戴者的视觉范围内。

在本发明一个具体实施例中，将上述视觉边界优化系统应用于VR眼镜的射击游戏场景，当佩戴者想要看到的敌人在视觉范围之外时，佩戴者首先会通过声音判断敌人的位置。其中具体的视觉边界优化的过程如下：当佩戴者通过扬声器单元听到右后方的上方有敌人的声音后，往后转头发现因为超出了VR眼镜的视觉边界而看不到敌人，此时眼部追踪摄像头发现佩戴者的眼球已经移出了如图2中所示的人眼的视觉范围，并且IMU也停止了移动(说明佩戴者的转头动作已经停止)，主控单元通过计算定位到视觉范围外Y÷X*Z的位置。同时，主控单元通过IMU的数据判断出佩戴者抬头的方向为右上方，角度为30°，则定位到敌人的大概位置是视觉范围外，右上方30°，Y÷X*Z距离的位置上，即A位置。

主控单元通过分析扬声器单元中的声音的相位和音量，判断出该位置是否敌人，如果有敌人，则自动将视觉边界移动到A位置上，让佩戴者可以看到该敌人，如果该位置没有敌人，说明佩戴者可能看的有些偏差，则再通过分析声音的相位和音量，判断出离A位置最近的敌人的声源(第二视觉外物体)，自动移动视觉范围，将该第二视觉外物体显示在佩戴者的视觉范围内。

通过以上实施例可以看出，本发明通过增加在VR眼镜控制系统中IMU、眼部追踪摄像头和控制单元，通过配合相应的数据处理和控制指令判断出用户视觉范围外的朝向和位置，并自动优化视觉边界，提升了用户的使用体验，尤其适合用户反映不及时和坐姿不方便的情况。

与上述视觉边界优化系统相对应，本发明还提供一种应用上述视觉边界优化系统进行VR眼镜的视觉边界优化处理的视觉边界优化方法。

图3示出了根据本发明实施例的视觉边界优化方法的流程。

如图3所示，本实施例提供的视觉边界优化方法主要包括如下步骤：

S310：通过惯性测量单元测量VR眼镜的加速度和角速度；以及，通过眼部追踪摄像头采集佩戴者的眼球信息。

S320：根据所述VR眼镜的加速度和角速度、佩戴者的眼球信息确定视觉外物体的位置；

S330：根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内。其中的视觉范围根据所述眼部追踪摄像头记录的佩戴者看向显示屏显示边界时佩戴者眼球的位置确定。

具体的，作为示例，步骤S320进一步包括：

S321：根据所述VR眼镜的加速度和角速度确定所述佩戴者看向位置的方向和角度；以及，根据所述佩戴者的眼球信息确定所述佩戴者的眼球运动距离Z；

S322：将所述视觉外物体的位置确定为所述佩戴者看向位置的方向和角度的Y÷X*Z距离的位置；其中，X为在所述视觉范围内以眼睛的横轴限定人眼的运动轨迹，Y为在所述视觉范围内以显示屏的横轴限定在显示屏上显示的运动轨迹。

另外，在根据所述视觉外物体的位置移动所述VR眼镜的视觉边界之前，还包括：通过对所述扬声器单元所播放的声音的相位和音量的分析，确定所述视觉外物体是否存在；其中，

如果存在所述视觉外物体，则根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内；

如果不存在所述视觉外物体，则再次分析所述扬声器单元所播放的声音的相位和音量，并根据所述再次分析的结果确定距离所述述视觉外物体的位置最近的声源作为第二视觉外物体，然后移动所述VR眼镜的视觉边界以将所述第二视觉外物体显示在所述佩戴者的视觉范围内。

上述视觉边界优化方法的其他实施例可以参照前述对于视觉边界优化系统的实施例描述，再此不再赘述。

另外，本发明还提供一种应用上述视觉边界优化方法的VR眼镜，包括眼镜框架和上述的视觉边界优化系统，所述视觉边界优化系统设置在所述眼镜框架上。通过在VR眼镜的中增加IMU、眼部追踪摄像头和扬声器，通配合相应的数据处理和控制指令判断出佩戴者VR眼镜视觉范围外的物体的位置，并根据该位置自动优化边界，使得用户能够看到目标视觉外物体，提升了用户的使用体验。

如上参照附图以示例的方式描述了根据本发明的视觉边界优化系统、方法及VR眼镜。但是，本领域技术人员应当理解，对于上述本发明所提出的视觉边界优化系统、方法及VR眼镜，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种视觉边界优化系统，应用于VR眼镜，其特征在于，包括惯性测量单元、眼部追踪摄像头和主控单元；其中，

所述惯性测量单元，用于测量VR眼镜的加速度和角速度；

所述眼部追踪摄像头用于采集佩戴者的眼球信息；

所述主控单元，用于根据所述VR眼镜的加速度和角速度、佩戴者的眼球信息确定视觉外物体的位置，并根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内。

2.根据权利要求1所述的视觉边界优化系统，其特征在于，所述主控单元根据所述VR眼镜的加速度和角速度确定所述佩戴者看向位置的方向和角度。

3.根据权利要求2所述的视觉边界优化系统，其特征在于，所述主控单元根据所述佩戴者的眼球信息确定所述佩戴者的眼球运动距离Z。

4.根据权利要求2所述的视觉边界优化系统，其特征在于，所述主控单元根据所述眼部追踪摄像头记录的佩戴者看向显示屏显示边界时佩戴者眼球的位置，确定所述VR眼镜的视觉范围；其中，

在所述视觉范围内，以眼睛的横轴限定人眼的运动轨迹为X，以显示屏的横轴限定在显示屏上显示的运动轨迹为Y，则所述佩戴者的眼球运动距离Z后定位的视觉范围外的位置为所述佩戴者看向位置的方向和角度的Y÷X*Z距离的位置。

5.根据权利要求1～4中任一项所述的视觉边界优化系统，其特征在于，还包括扬声器单元，其中，所述扬声器单元至少包括分设在所述眼镜框架左右两侧的左扬声器和右扬声器；

所述主控单元还包括声音处理模块，用于通过对所述扬声器单元所播放的声音的相位和音量的分析，确定所述视觉外物体是否存在。

6.根据权利要求5所述的视觉边界优化系统，其特征在于，在所述主控单元通过对所述扬声器单元所播放的声音的相位和音量的分析，确定所述视觉外物体是否存在的过程中，

如果存在所述视觉外物体，则根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内；

如果不存在所述视觉外物体，则再次分析所述扬声器单元所播放的声音的相位和音量，并根据所述再次分析的结果确定距离所述视觉外物体的位置最近的声源作为第二视觉外物体，然后移动所述VR眼镜的视觉边界以将所述第二视觉外物体显示在所述佩戴者的视觉范围内。

7.一种视觉边界优化方法，利用如权利要求1～6中任一项所述的视觉边界优化系统进行VR眼镜的视觉边界优化处理，包括如下步骤：

通过惯性测量单元测量VR眼镜的加速度和角速度；以及，通过眼部追踪摄像头采集佩戴者的眼球信息；

根据所述VR眼镜的加速度和角速度、佩戴者的眼球信息确定视觉外物体的位置；

根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内；

其中，所述视觉范围根据所述眼部追踪摄像头记录的佩戴者看向显示屏显示边界时佩戴者眼球的位置确定。

8.根据权利要求7所述的视觉边界优化方法，其特征在于，所述根据所述VR眼镜的加速度和角速度、佩戴者的眼球信息确定视觉外物体的位置包括：

根据所述VR眼镜的加速度和角速度确定所述佩戴者看向位置的方向和角度；以及，根据所述佩戴者的眼球信息确定所述佩戴者的眼球运动距离Z；

将所述视觉外物体的位置确定为所述佩戴者看向位置的方向和角度的Y÷X*Z距离的位置；其中，X为在所述视觉范围内以眼睛的横轴限定人眼的运动轨迹，Y为在所述视觉范围内以显示屏的横轴限定在显示屏上显示的运动轨迹。

9.根据权利要求8所述的视觉边界优化方法，其特征在于，在根据所述视觉外物体的位置移动所述VR眼镜的视觉边界之前，还包括：

通过对所述扬声器单元所播放的声音的相位和音量的分析，确定所述视觉外物体是否存在；其中，

如果存在所述视觉外物体，则根据所述视觉外物体的位置移动所述VR眼镜的视觉边界，将所述视觉外物体显示在所述佩戴者的视觉范围内；

如果不存在所述视觉外物体，则再次分析所述扬声器单元所播放的声音的相位和音量，并根据所述再次分析的结果确定距离所述述视觉外物体的位置最近的声源作为第二视觉外物体，然后移动所述VR眼镜的视觉边界以将所述第二视觉外物体显示在所述佩戴者的视觉范围内。

10.一种VR眼镜，包括眼镜框架和如权利要求1～6中任一项所述的视觉边界优化系统，所述视觉边界优化系统设置在所述眼镜框架上。