CN109727317B - 增强现实系统及控制方法 - Google Patents

Abstract

本发明涉及增强现实技术领域，提出一种增强现实系统，该系统包括：飞行器、增强现实模组、追踪模组、调整模块。增强现实模组固定于所述飞行器，用于生成并传输虚拟图像；追踪模组设置在所述飞行器上，用于检测用户眼球的位置信息；调整模块设置在所述飞行器上，用于根据所述用户眼球的位置信息调整飞行器的飞行姿态，以使所述用户的眼球能够获取所述虚拟图像。该增强现实系统能够通过追踪技术追踪用户眼球位置，同时利用调整模块对飞行器的姿态进行调整，从而实现实时连续地透射虚拟图像在人眼里，该虚拟图像和现实叠加后可以呈现增强现实效果；同时，该系统还通过飞行器承载增强现实模组的重量，减小了用户的负载。

Description

增强现实系统及控制方法

技术领域

本发明涉及增强现实技术领域，尤其涉及一种增强现实系统及控制方法。

背景技术

增强现实技术是一种将真实世界信息和虚拟世界信息相结合的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，例如视觉信息、声音、触觉等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，使真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

相关技术中，增强现实产品主要包括光学模块、传感模块、摄像头模块、耳机模块等功能模块以及结构穿戴模块，用户可以通过结构穿戴模块将这些功能模块佩戴在肢体上。

然而，这些功能模块和结构穿戴模块具有一定的重量和体积，这样给用户带来了极大的不便，降低了用户体验。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种增强现实系统及控制方法。该增强现实系统不仅能够实现增强现实效果；同时，该系统还可以通过飞行器承载增强现实模组的重量，减小了用户的负载。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一个方面，提供一种增强现实系统，该系统包括：飞行器、增强现实模组、追踪模组、调整模块。增强现实模组固定于所述飞行器，用于生成虚拟图像；追踪模组设置在所述飞行器上，用于检测用户眼球的位置信息；调整模块设置在所述飞行器上，用于根据所述用户眼球的位置信息调整飞行器的飞行姿态，以使所述用户的眼球能够获取所述虚拟图像。

本发明的一种示例性实施例中，所述追踪模组包括：摄像头和处理单元。摄像头用于追踪拍摄所述用户的脸部图像信息；处理单元用于根据所述脸部图像信息获取用户眼球的位置信息。

本发明的一种示例性实施例中，所述脸部图像信息包括眼球的虹膜图像信息，所述处理单元还用于根据所述虹膜图像信息判断所述用户的身份。

本发明的一种示例性实施例中，所述增强现实系统还包括距离传感器，距离传感器用于测定用户与所述飞行器的距离。

本发明的一种示例性实施例中，所述调整模块还被配置为根据所述用户与所述飞行器的距离调整飞行器的飞行姿态，以使所述用户的眼球位于所述增强现实模组的出瞳区域。

本发明的一种示例性实施例中，所述增强现实模组包括显示系统和显示模组，显示系统用于生成图像信息；显示模组用于根据所述图像信息生成所述虚拟图像。

本发明的一种示例性实施例中，所述用户获取所述虚拟图像时，所述显示模组位于偏离所述用户眼球正视方向的一侧，所述增强现实模组还包括偏光单元，偏光单元用于将所述虚拟图像传输到所述用户眼球。

本发明的一种示例性实施例中，所述偏光单元为衍射光栅、自由曲面棱镜、光波导中的一种或多种。

本发明的一种示例性实施例中，所述增强现实模组还包括显示系统，显示系统用于生成所述图像信息。

本发明的一种示例性实施例中，所述增强现实系统还包括定位模块，定位模块设置于所述飞行器上，用于获取所述飞行器的位置信息。

本发明的一种示例性实施例中，所述增强现实系统还包括供电系统，所述供电系统包括布置在所述飞行器上的太阳能电池板。

根据本发明的一个方面，提供一种增强现实系统控制方法，用于控制上述的增强现实系统，该方法包括：

利用增强现实模组生成虚拟图像；

利用追踪模组追踪用户眼球位置；

利用调整模块根据用户眼球位置调整飞行器的飞行姿态，以使用户能够获取所述虚拟图像。

本发明提供一种增强现实系统及控制方法，该增强现实系统包括：飞行器、增强现实模组、追踪模组、调整模块。该增强现实系统能够通过追踪技术追踪用户眼球位置，同时利用调整模块对飞行器的姿态进行调整，从而实现实时连续地透射虚拟图像在人眼里，该虚拟图像和现实叠加后可以呈现增强现实效果；同时，该系统还通过飞行器承载增强现实模组的重量，减小了用户的负载。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开增强现实系统一种示例性实施例的正视图；

图2为本公开增强现实系统一种示例性实施例的俯视图；

图3为本公开增强现实系统一种示例性实施例中与用户的相对位置关系图；

图4为本公开增强现实系统控制方法一种示例性实施例的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本发明将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。

虽然本说明书中使用相对性的用语，例如“上”“下”来描述图标的一个组件对于另一组件的相对关系，但是这些术语用于本说明书中仅出于方便，例如根据附图中所述的示例的方向。能理解的是，如果将图标的装置翻转使其上下颠倒，则所叙述在“上”的组件将会成为在“下”的组件。其他相对性的用语，例如“高”“低”“顶”“底”“左”“右”等也作具有类似含义。当某结构在其它结构“上”时，有可能是指某结构一体形成于其它结构上，或指某结构“直接”设置在其它结构上，或指某结构通过另一结构“间接”设置在其它结构上。

用语“一个”、“一”、“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。

本示例性实施例首先提供一种增强现实系统，如图1所示，为本公开增强现实系统一种示例性实施例的正视图，图2为本公开增强现实系统一种示例性实施例的俯视图。图3为本公开增强现实系统一种示例性实施例中与用户的相对位置关系图。该系统包括：飞行器1、增强现实模组、追踪模组、调整模块4。增强现实模组固定于所述飞行器，用于生成虚拟图像；追踪模组设置在所述飞行器上，用于检测用户眼球的位置信息；调整模块4设置在所述飞行器1上，用于根据所述用户眼球的位置信息调整飞行器的飞行姿态，以使所述用户的眼球能够获取所述虚拟图像。其中，调整飞行器的飞行姿态包括调整飞行器的高度、机身方位角等。通过调整飞行器的飞行姿态可以调整增强现实模组与用户眼球的相对位置。从而可以使所述用户的眼球能够获取所述虚拟图像。眼球的位置信息可以包括眼球的正视方向。

本示例性实施例提供一种增强现实系统，该增强现实系统包括：飞行器、增强现实模组、追踪模组、调整模块。该增强现实系统能够通过追踪技术追踪用户眼球位置，同时利用调整模块对飞行器的姿态进行调整，从而实现实时连续地透射虚拟图像在人眼里，该虚拟图像和现实叠加后可以呈现增强现实效果；同时，该系统还通过飞行器承载增强现实模组的重量，减小了用户的负载。

本示例性实施例中，调整模块4可以包括地磁传感器、陀螺仪、处理器。地磁传感器用于测定飞行器的空间位置信息；陀螺仪用于测定飞行器的飞行角度信息，处理器在获得飞行器自身的空间位置信息和飞行角度信息的同时可以根据用户眼球的位置信息生成驱动信息，该驱动信息可以直接驱动飞行器自身的驱动模块，以调整飞行器的飞行角度以及飞行高度从而使用户的眼球能够获取所述虚拟图像。

本示例性实施例中，飞行器1需要带动增强现实模组在空中静止或者调整飞行姿态，如图1、2、3所示，飞行器1可以选择为螺旋桨飞行器。应该理解的是，在其他示例性实施例中，飞行器还可以有更多的选择方式，例如喷气式飞行器等。

本示例性实施例中，如图1、2、3所示，所述增强现实模组可以包括显示系统21和显示模组22。显示系统21用于生成所述图像信息；所述显示模组22用于根据图像信息生成所述虚拟图像；其中，显示系统21可以包括总处理器，该总处理器可以进行视差处理，以生成能够3D显示的图像信息；显示模组22可以根据该图像信息实现3D显示的虚拟图像。其中，显示模组22需要位于用户眼球的正视方向上，以使用户在观看现实图像时可以同时观看到虚拟图像。本示例性实施例中，显示模组22可以为OLED显示器、LCD等显示器件。为了避免显示模组22对现实中图像的遮挡，显示模组22可以采用透明显示面板。

本示例性实施例中，即使显示模组22采用透明显示面板，显示模组22的其他结构还是会对现实中的图像造成一定程度的遮挡。为了避免显示模组22对现实中图像的遮挡，如图3所示，显示模组22可以位于偏离用户眼球正视方向(图3中箭头方向)的一侧，例如显示模组可以位于用户眼球正前方偏上的位置。此时，增强现实模组还可以包括偏光单元23，该偏光单元23可以将偏离用户眼球正视方向的显示模组22生成的虚拟图像传递到用户的眼球。本示例性实施例中，所述偏光单元可以为衍射光栅、自由曲面棱镜、光波导等光学器件，衍射光栅可以通过光的衍射原理将偏离眼球正视方向的虚拟图像传递到眼球上，自由曲面棱镜可以通过光的反射原理将偏离眼球正视方向的虚拟图像传递到眼球上。需要说明的是，增强现实模组上设置有偏光单元时，调整模块中处理器生成驱动信息的算法需要进行相应的调整，以使显示模组可以位于用户眼球正前方偏上的位置。

本示例性实施例中，如图1所示，所述追踪模组可以包括：摄像头31和处理单元(图中未画出)。摄像头31可以用于追踪拍摄所述用户的脸部图像信息；处理单元可以用于根据所述脸部图像信息获取用户眼球的位置信息。其中，摄像头31可以为两个，两个摄像头31可以分别从不同角度获取用户的脸部图像信息，从而实现对用户眼球的准确定位。处理单元可以共用显示系统21中的总处理器。

应该理解的是，本示例性实施例中，增强现实模组用于生成增强现实的虚拟图像，在其他示例性实施例中，增强现实模组还可以有更多的结构可供选择，例如，增强现实模组还可以包括手势模块，手势模块可以通过手势传感器实现手势对显示模组22的控制，例如，通过手势控制显示模组22的显示界面切换、虚拟图像选择等，其中，手势传感器可以共用追踪模组中的处理器和摄像头。再例如，增强现实模组可以包括同步定位与建图模块(SLAM)，同步定位与建图模块可以实现增强现实模组输出的虚拟图像与现实中的图像相契合，这些都属于本公开的保护范围。

本示例性实施例中，摄像头31可以实时拍摄用户的脸部图像信息，处理单元可以根据脸部图像信息分析用户眼球在脸部图像信息中的位置，从而获取用户眼球的位置信息。例如，处理单元可以在脸部图像信息中建立二维坐标系，处理单元中可以储存有用户眼球正视方向的脸部图像信息，在正视方向的脸部图像信息中，假设用户的左眼球坐标为(0,0)，右眼的坐标为(5，0)。摄像头31实时获取用户的脸部图像信息，如果处理单元解析得到用户左眼的坐标变为(3,0)，右眼坐标变为(7,0)，则可以说明用户的眼球向右偏转，处理单元同时可以通过坐标变化的大小确定用户眼球的向右偏转角度。如果处理单元解析得到用户左眼的坐标变为(3,1)，右眼坐标变为(7,1)，则可以说明用户的眼球向右上方偏转，处理单元同样可以通过坐标变化的大小确定用户眼球向右和向上的偏转角度。处理单元可以以用户眼球正视时的位置为基准点结合眼球的偏转方向和角度获取当下眼球的位置信息。应该理解的是，在其他示例性实施例中，摄像头还可以获取用户其他器官的图像信息，处理单元还可以根据用户其他器官的图像信息结合其他器官与眼球的相对位置判断眼球的位置，例如，摄像头可以获取用户的整个头部信息，处理单元可以根据头部的耳朵、鼻子等器官结合眼球与耳朵、鼻子等器官的相对位置关系判断用户眼球的位置，这些都属于本公开的保护范围。

追踪模组用于检测用户眼球的位置信息，应该理解的是，在其他示例性实施例中，追踪模组还可以有更多的实现方式，这些都属于本公开的保护范围。

用户在使用上述的增强现实系统时，周边还可能存在其他的人，追踪模组可能误将其他人认作用户，从而获取其他人眼球的位置信息，造成使用混乱。本示例性实施例中，所述脸部图像信息可以包括眼球的虹膜图像信息，所述处理单元还用于根据所述虹膜图像信息判断所述用户的身份。其中，处理单元可以存储有用户的眼球的虹膜图像信息，追踪模组在检测眼球的位置信息过程中，处理单元可以将摄像头采集的虹膜图像信息与用户的虹膜图像信息进行比较，如果摄像头采集的虹膜图像信息与用户的虹膜图像信息相同，则可以确定追踪模组追踪对象为用户本人，可以继续追踪；如果摄像头采集的虹膜图像信息与用户的虹膜图像信息不相同，则可以确定追踪模组追踪对象不是用户本人，追踪模组可以不再追踪该对象，此时，追踪模组可以追踪其他对象以寻找用户，或者追踪模组可以持续输出最后获取的用户眼球位置，从而实现飞行器原地待命。

本示例性实施例中，用户通过手势模块实现对显示模组进行控制，但是，手势模块能可会采集到非用户的手势从而造成误操作。本示例性实施例中，增强现实模组还可以包括无线传输模块和移动客户端，该无线传输模块可以与移动客户端进行信息传输，用户可以通过移动客户端实现对显示模组的控制。其中，无线传输模块可以为蓝牙无线传输模块、WIFI无线传输模块等无线传输模块，移动客户端可以为手机、Pad等客户端。

本示例性实施例中，如图1所示，所述增强现实系统还可以包括距离传感器5，距离传感器5用于测定用户与所述飞行器的距离。所述调整模块还可以被配置为根据所述用户与所述飞行器的距离调整飞行器的飞行姿态，以使所述用户的眼球位于所述增强现实模组的出瞳区域。用户的眼球位于增强现实模组的出瞳区域时，用户可以清晰地获取虚拟图。调整飞行器的飞行姿态包括调整飞行器与用户眼球之间的距离。

本示例性实施例中，如图2所示，所述增强现实系统还可以包括定位模块6，定位模块6可以设置于所述飞行器上1，用于获取所述飞行器的位置信息。每个增强现实系统中的飞行器之间可以共享器位置信息，调整模块还可以根据其他飞行器的位置信息调整飞行器的飞行姿态，以避免与其他飞行器发生碰撞。

本示例性实施例中，如图2所示，所述增强现实系统还可以包括供电系统7，所述供电系统可以包括布置在所述飞行器上的太阳能电池板。在其他示例性实施例中，供电系统还可以包括蓄电池，蓄电池可以储蓄太阳能电池板发出的电能，以便该增强现实系统在弱光照环境下使用。

本示例性实施例还提供一种增强现实系统控制方法，用于控制上述的增强现实系统，如图4所示，为本公开增强现实系统控制方法一种示例性实施例的流程图，该方法包括：

步骤S1：利用增强现实模组生成虚拟图像；

步骤S2：利用追踪模组追踪用户眼球位置；

步骤S3：利用调整模块根据用户眼球位置调整飞行器的飞行姿态，以使用户能够获取所述虚拟图像。

本示例性实施例提供的增强现实系统控制方法与上述增强现实系统具有相同的技术特征和工作原理，上述内容已经做出详细说明，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种增强现实系统，其特征在于，包括：

飞行器；

增强现实模组，固定于所述飞行器，用于生成虚拟图像，该虚拟图像和现实叠加后用于呈现增强现实效果；

追踪模组，设置在所述飞行器上，用于检测用户眼球的位置信息；

调整模块，设置在所述飞行器上，用于根据所述用户眼球的位置信息调整飞行器的飞行姿态，以使所述用户的眼球能够获取所述虚拟图像。

2.根据权利要求1所述的增强现实系统，其特征在于，所述追踪模组包括：

摄像头，用于追踪拍摄所述用户的脸部图像信息；

处理单元，用于根据所述脸部图像信息获取用户眼球的位置信息。

3.根据权利要求2所述的增强现实系统，其特征在于，所述脸部图像信息包括眼球的虹膜图像信息，所述处理单元还用于根据所述虹膜图像信息判断所述用户的身份。

4.根据权利要求1所述的增强现实系统，其特征在于，所述增强现实系统还包括：

距离传感器，用于测定用户与所述飞行器的距离；

所述调整模块还被配置为根据所述用户与所述飞行器的距离调整所述飞行器的飞行姿态，以使所述用户的眼球位于所述增强现实模组的出瞳区域。

5.根据权利要求1所述的增强现实系统，其特征在于，所述增强现实模组包括：

显示系统，用于生成图像信息；

显示模组，用于根据所述图像信息生成所述虚拟图像。

6.根据权利要求5所述的增强现实系统，其特征在于，所述用户获取所述虚拟图像时，所述显示模组位于偏离所述用户眼球正视方向的一侧，所述增强现实模组还包括：

偏光单元，用于将所述虚拟图像传输到所述用户眼球。

7.根据权利要求6所述的增强现实系统，其特征在于，所述偏光单元为衍射光栅、自由曲面棱镜、光波导中的一种或多种。

8.根据权利要求1所述的增强现实系统，其特征在于，所述增强现实系统还包括：

定位模块，设置于所述飞行器上，用于获取所述飞行器的位置信息。

9.根据权利要求1所述的增强现实系统，其特征在于，所述增强现实系统还包括：

供电系统，所述供电系统包括布置在所述飞行器上的太阳能电池板。

10.一种增强现实系统控制方法，用于控制权利要求1-9任一项所述的增强现实系统，其特征在于，包括：

利用增强现实模组生成虚拟图像；

利用追踪模组追踪用户眼球位置；

利用调整模块根据用户眼球位置调整飞行器的飞行姿态，以使用户能够获取所述虚拟图像。

Images