CN115509017A

CN115509017A - 增强现实眼镜和利用增强现实眼镜来实现显示增强的方法

Info

Publication number: CN115509017A
Application number: CN202211451808.2A
Authority: CN
Inventors: 马天才; 袁安贝; 李昭
Original assignee: Weilai Automobile Technology Anhui Co Ltd
Current assignee: Weilai Automobile Technology Anhui Co Ltd
Priority date: 2022-11-21
Filing date: 2022-11-21
Publication date: 2022-12-23
Anticipated expiration: 2042-11-21
Also published as: CN115509017B; WO2024109362A1

Abstract

本申请涉及显示技术，特别涉及增强现实眼镜、利用增强现实眼镜来实现显示增强的方法以及用于实施该方法的计算机可读存储介质。按照本申请一个方面的增强现实眼镜包括：架托；附着于所述架托的光学模组；附着于所述架托或光学模组的惯性测量单元；以及与所述光学模组和所述惯性测量单元耦合的图像处理单元，其中，所述图像处理单元配置为向所述光学模组输出虚拟影像，所述光学模组配置为同时呈现真实物理影像和所述虚拟影像，所述惯性测量单元配置为感测所述架托的运动状态，其中，所述图像处理单元还配置为基于由所述惯性测量单元感测的所述架托的运动状态来调整所述虚拟影像的显示属性，使得所述显示属性相对于观察者设定区域基本上保持不变。

Description

增强现实眼镜和利用增强现实眼镜来实现显示增强的方法

技术领域

本申请涉及显示技术，特别涉及增强现实眼镜、利用增强现实眼镜来实现显示增强的方法以及用于实施该方法的计算机可读存储介质。

背景技术

增强现实(AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，其运用多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

在将AR技术应用于汽车场景时将面临诸多挑战。例如，由于行驶途中车身的颠簸，AR眼镜呈现的虚拟画面将出现抖动，这容易导致观察者或用户发生头晕。当用户自身患有晕动症（motion sickness）时，上述抖动将进一步加剧眩晕反应。

发明内容

本申请的一个目的是提供一种增强现实眼镜和利用增强现实眼镜来实现显示增强的方法，其能够抑制或消除虚拟影像的抖动以解决佩戴AR眼镜时的眩晕感。

按照本申请的一个方面，提供一种增强现实眼镜，包括：

架托；

附着于所述架托的光学模组；

附着于所述架托或光学模组的惯性测量单元；以及

与所述光学模组和所述惯性测量单元耦合的图像处理单元，

其中，所述图像处理单元配置为向所述光学模组输出虚拟影像，所述光学模组配置为同时呈现真实物理影像和所述虚拟影像，所述惯性测量单元配置为感测所述架托的运动状态，

其中，所述图像处理单元还配置为基于由所述惯性测量单元感测的所述架托的运动状态来调整所述虚拟影像的显示属性，使得所述显示属性相对于观察者设定区域基本上保持不变。

可选地，在上述增强现实眼镜中，所述显示属性包括下列中的至少一个：所述虚拟影像的成像位置；所述虚拟影像相对于参考坐标系的坐标轴的取向。

可选地，在上述增强现实眼镜中，所述参考坐标系为地面坐标系。

可选地，在上述增强现实眼镜中，所述光学模组包括：

微型显示屏，其配置为显示所述图像处理单元输出的所述虚拟影像；

光学组合器，其配置将所述真实物理影像和所述微型显示屏显示的虚拟影像投射到成像位置。

可选地，在上述增强现实眼镜中，所述图像处理单元通过调整所述虚拟影像在所述微型显示屏上的位置和相对于所述微型显示屏的取向中的至少一个来调整所述虚拟影像相对于观察者的显示属性。

可选地，在上述增强现实眼镜中，所述观察者设定区域为观察者的眼睛。

除了上述一个或多个特征以外，在上述增强现实眼镜中，所述图像处理单元按照下列方式调整所述虚拟影像的显示属性：

确定当前时间窗口内所述架托的平衡位置；

如果基于所述运动状态确定所述架托在所述当前时间窗口内，在所述平衡位置附近往复运动的次数超过设定的阈值，则启动对所述虚拟影像的成像位置的调整。

可选地，在上述增强现实眼镜中，所述平衡位置为下列中的一种：i）前一时间窗口结束时所述架托相对于所述观察者设定区域的位置；ii）前一时间窗口内所述架托相对于所述观察者设定区域的平均位置；iii）前一时间窗口内所述架托相对于所述观察者设定区域出现次数最多的位置。

按照本申请的另一个方面，提供一种利用增强现实眼镜来实现显示增强的方法，所述增强现实眼镜包括架托、附着于所述架托的光学模组、附着于所述架托或光学模组的惯性测量单元以及与所述光学模组和所述惯性测量单元耦合的图像处理单元，所述方法包括下列步骤：

利用所述光学模组同时呈现真实物理影像和来自所述图像处理单元的虚拟影像；

利用所述惯性测量单元来感测所述架托的运动状态；以及

利用所述图像处理单元，基于由所述惯性测量单元感测的所述架托的运动状态来调整所述虚拟影像的显示属性，使得所述显示属性相对于观察者设定区域基本上保持不变。

可选地，在上述方法中，所述显示属性包括下列中的至少一个：所述虚拟影像的成像位置；所述虚拟影像相对于参考坐标系的坐标轴的取向。

可选地，在上述方法中，所述参考坐标系为地面坐标系。

可选地，在上述方法中，呈现真实物理影像和虚拟影像的步骤包括：

利用所述光学模组中的微型显示屏显示所述图像处理单元输出的所述虚拟影像；

利用所述光学模组中的光学组合器将所述真实物理影像和所述微型显示屏显示的虚拟影像投射到成像位置。

可选地，在上述方法中，通过调整所述虚拟影像在所述微型显示屏上的位置和相对于所述微型显示屏的取向中的至少一个来调整所述虚拟影像相对于观察者的显示属性。

可选地，在上述方法中，所述观察者设定区域为观察者的眼睛。

除了上述一个或多个特征以外，在上述方法中，调整所述虚拟影像的显示属性的步骤包括：

确定当前时间窗口内所述架托的平衡位置；

可选地，在上述方法中，所述平衡位置为下列中的一种：i）前一时间窗口结束时所述架托相对于所述观察者设定区域的位置；ii）前一时间窗口内所述架托相对于所述观察者设定区域的平均位置；iii）前一时间窗口内所述架托相对于所述观察者设定区域出现次数最多的位置。

按照本申请的还有一个方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，通过由处理器执行所述指令来实现如上所述的方法。

在本申请的一些实施例中，通过利用惯性测量单元实时跟踪AR眼镜的运动状态来确定是否需要调整虚拟影像相对于观察者设定区域（例如人眼）的显示属性，以使显示属性与观察者设定区域之间的相对关系基本上保持不变。上述调整方式具有处理逻辑简洁、易于实施等优点。由于惯性测量单元通常是AR眼镜的常规配置硬件，因此这种方式无需增加额外的硬件成本。

附图说明

本申请的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：

图1为一种典型的增强现实（AR）眼镜的示意图。

图2为一种典型的光学模组的示意图，其可应用于图1所示的AR眼镜。

图3为按照本申请一些实施例的调整虚拟影像显示属性的方法的流程图。

图4为示例性的架托位移随时间变化的示意图。

图5为按照本申请一些实施例的利用AR眼镜来实现显示增强的方法。

具体实施方式

下面参照其中图示了本申请示意性实施例的附图更为全面地说明本申请。但本申请可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的上述各实施例旨在使本文的披露全面完整，以将本申请的保护范围更为全面地传达给本领域技术人员。

在本说明书中，诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元和步骤以外，本申请的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。

除非特别说明，诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。

图1为一种典型的增强现实（AR）眼镜的示意图。

图1所示的AR眼镜10包括架托110、光学模组120、惯性测量单元（IMU）130和图像处理单元140。

参见图1，光学模组120附着于架托110，其配置为一方面向人眼提供观察外部真实物理影像的窗口，另一方面向人眼提供由图像处理单元140输出的虚拟影像。

图2所示的光学模组20包括微型显示屏210和光学组合器（镜片）220。微型显示屏210与图像处理单元140耦合以显示后者输出的虚拟影像。该虚拟影像传输至光学组合器220。在光学组合器220处，外部真实物理影像和虚拟影像被同时导向人眼。也就是说，光学组合器220将真实物理影像和微型显示屏210显示的虚拟影像成像到人眼所在的位置。

光学组合器230可以采用各种光学元件实现，包括但不限于棱镜、自由曲面、BirdBath、光波导等光学元件的组合。微型显示屏可以是自发光的有源器件（例如发光二极管面板）、需要外部光源照明的液晶显示屏（包括透射式LCD和反射式LCOS）、基于微机电系统（MEMS）技术的数字微镜阵列（DMD）和激光束扫描仪（LBS）。

惯性测量单元130附着于架托110，其配置为感测架托的运动状态。可选地，惯性测量单元130也可附着于光学模组120，由于光学模组通常固定于架托，因此此时同样也可感测到架托的运动状态。示例性地，惯性测量单元130包含三个单轴的加速度计和三个单轴的陀螺仪，其中，加速度计检测架托110在载体坐标系统独立三轴的加速度信号，而陀螺仪检测架托110相对于导航坐标系的角速度信号。在图1所示的示例中，惯性测量单元130与图像处理单元140耦合，因此后者可从前者的测量信号获取架托110的运动状态（例如架托的位移和空间姿态等）。

图像处理单元140配置为执行计算机视觉处理和向光学模组120输出处理结果（虚拟影像）。由于车辆的颠簸，佩戴在观察者头部的AR眼镜相对于头部将发生往复位移，这将导致虚拟影像的显示属性频繁地在某个属性值附近小幅度地变化。这里的显示属性例如包括但不限于虚拟影像的成像位置和其相对于参考坐标系（例如地面或观察者头部）的坐标轴的取向。当成像位置在一个位置附近频繁地改变，或者虚拟影像围绕坐标轴频繁转动时，观察者看到的画面是不稳定的，由此将产生眩晕感。为此，在本申请的一些实施例中，图像处理单元140还配置为基于由惯性测量单元130感测到的架托的运动状态来调整虚拟影像的显示属性，使得显示属性相对于观察者设定区域（例如人眼）来说基本上保持不变。以图2所示的光学模组为例，图像处理单元140可通过调整虚拟影像在微型显示屏210上的位置和取向中的至少一个来调整虚拟影像相对于人眼的显示属性。这里所述的位置指的是虚拟影像在微型显示屏上的显示区域的位置，所述的取向指的是虚拟影像相对于微型显示屏210的取向（在一些情况下，其相当于虚拟影像入射到光学组合器230的方向）。

虽然惯性测量单元130感测到的架托的运动状态是相对于地面参考系而言的，但是本申请的发明人经过研究发现，由于架托相对于头部将的瞬时位移和转动角度很小，因此将惯性测量单元130感测到的架托的运动状态视为相对于观察者头部坐标系的运动状态不会对成像位置的调整产生实质性的影响。

下面借助图3，以成像位置为例来描述虚拟影像的显示属性的调整方式。参照图3，在步骤310，图像处理单元140确定当前时间窗口内架托101的平衡位置。图4为架托位移随时间变化的示意图，示例性地，这里仅示出x方向上的位移，对于其它方向，其变化情况也是相似的。如图4所示，通过在时间轴上使初始时间窗口逐次向右移动设定的偏移量，得到一系列的时间窗口W₀、W₂……W_n。架托的位移或位置在每个时间窗口内的变化幅度较小，其基本上围绕某个位置上下波动，以下将该位置称为架托在每个时间窗口内的平衡位置。

在本申请的一些实施例中，当前时间窗口的架托的平衡位置可采用多种方式确定。在一个示例中，可以将平衡位置确定为前一时间窗口结束时架托相对于观察者设定区域（例如人眼）的位置，即：

(1a)

(1b)

(1c)

这里

和

为架托在第i个时间窗口内的平衡位置，

和

为架托在第i-1个时间窗口结束时的位置。

在另一个示例中，可以将平衡位置确定为前一时间窗口内架托相对于观察者设定区域（例如人眼）的平均位置，即：

(2a)

(2b)

/m (2c)

这里

和

为架托在第i个时间窗口内的平衡位置，

和

为架托在第i-1个时间窗口内第k次采样的位置值，m为采样的次数。

在还有一个示例中，可以将平衡位置确定为前一时间窗口内架托相对于观察者设定区域出现次数最多的位置，即：

(3a)

(3b)

(3c)

这里

和

为架托在第i个时间窗口内的平衡位置，

和

为架托在第i-1个时间窗口结束时的位置。

步骤310之后进入步骤320，图像处理单元140确定在当前时间窗口内，架托在平衡位置附近往复运动的次数是否超过设定的阈值，如果超过，则进入步骤330，否则则返回步骤310以对下一时间窗口执行类似的处理。

在步骤330，图像处理单元140启动对虚拟影像的成像位置的调整，例如可通过调整虚拟影像在微型显示屏210上的位置和取向中的至少一个来调整虚拟影像相对于人眼的成像位置，使得成像位置相对于观察者设定区域基本上保持不变。在执行步骤330之后，图3所示的流程返回步骤310以对下一时间窗口执行类似的处理。

对于其它显示属性（例如虚拟影像的取向），也可以采用与上面图3类似的方式。例如，由于架托相对于坐标轴的转动角度在每个时间窗口内的变化幅度较小并且基本上围绕某个角度上下波动，因此可以在上述步骤310-340中将上述平衡位置替换为该角度（以下将该角度称为架托在每个时间窗口内的平衡角度），基于架托在平衡角度附近往复摆动的特点来确定是否需要调整虚拟影像相对于参考坐标系的坐标轴的取向。

图5为按照本申请一些实施例的利用AR眼镜来实现显示增强的方法。仅仅是出于示例性的目的，下面的描述以图1和2所示的AR眼镜为例而展开的。图5所示的方法包括下列步骤：

步骤510：光学模组120同时呈现真实物理影像和来自图像处理单元140的虚拟影像。示例性地，在步骤510中，首先利用光学模组中的微型显示屏显示图像处理单元输出的虚拟影像，随后利用光学模组120中的光学组合器将真实物理影像和微型显示屏显示的虚拟影像投射到成像位置。需要注意的是，由于真实物理影像也是经过光学组合器到达人眼的，即使没有改变光线的方向，也属于广义上的投射。

步骤520：利用惯性测量单元130来感测架托110的运动状态。

步骤530：图像处理单元140基于由惯性测量单元130感测的架托110的运动状态来调整虚拟影像的显示属性，使得显示属性相对于观察者设定区域基本上保持不变。示例性地，可按照图3所示的方式来实现虚拟影像的显示属性的调整，此处不再赘述。

按照本申请的另一方面，还提供了一种计算机可读存储介质，其上存储计算机程序，该程序被处理器执行时可实现上面借助图5所述的方法中包含的一个或多个步骤。

本申请中所称的计算机可读存储介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读存储介质可以包括RAM、ROM、EPROM、E2PROM、寄存器、硬盘、可移动盘、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或特定用途计算机、或者通用或特定用途处理器进行存取的任何其他临时性或者非临时性介质。上述的组合也应当包括在计算机可读存储介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

本领域的技术人员将会理解，本文中所描述的各种示意性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

为了表明硬件和软件间的可互换性，各种示意性部件、块、模块、电路和步骤在上文根据其功能性总体地进行了描述。这样的功能性以硬件形式或软件形式实施取决于特定应用以及对总体系统所施加的设计限制。本领域技术人员可以针对具体的特定应用、按照变化的方式来实现所描述的功能性，但是，这样的实现方式决策不应当被理解为导致与本申请范围的背离。

尽管只对其中一些本申请的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本申请可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本申请精神及范围的情况下，本申请可能涵盖各种的修改与替换。

提供本文中提出的实施例和示例，以便最好地说明按照本技术及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本申请。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本申请的各个方面或者将本申请局限于所公开的精确形式。

Claims

1.一种增强现实眼镜，包括：

架托；

附着于所述架托的光学模组；

附着于所述架托或光学模组的惯性测量单元；以及

与所述光学模组和所述惯性测量单元耦合的图像处理单元，

2.如权利要求1所述的增强现实眼镜，其中，所述显示属性包括下列中的至少一个：所述虚拟影像的成像位置；所述虚拟影像相对于参考坐标系的坐标轴的取向。

3.如权利要求2所述的增强现实眼镜，其中，所述参考坐标系为地面坐标系。

4.如权利要求1所述的增强现实眼镜，其中，所述光学模组包括：

光学组合器，其配置为将所述真实物理影像和所述微型显示屏显示的虚拟影像投射到成像位置。

5.如权利要求4所述的增强现实眼镜，其中，所述图像处理单元通过调整所述虚拟影像在所述微型显示屏上的位置和相对于所述微型显示屏的取向中的至少一个来调整所述虚拟影像相对于观察者的显示属性。

6.如权利要求1所述的增强现实眼镜，其中，所述观察者设定区域为观察者的眼睛。

7.如权利要求1-6中任意一项所述的增强现实眼镜，其中，所述图像处理单元按照下列方式调整所述虚拟影像的显示属性：

确定当前时间窗口内所述架托的平衡位置；

8.如权利要求7所述的增强现实眼镜，其中，所述平衡位置为下列中的一种：i）前一时间窗口结束时所述架托相对于所述观察者设定区域的位置；ii）前一时间窗口内所述架托相对于所述观察者设定区域的平均位置；iii）前一时间窗口内所述架托相对于所述观察者设定区域出现次数最多的位置。

9.一种利用增强现实眼镜来实现显示增强的方法，所述增强现实眼镜包括架托、附着于所述架托的光学模组、附着于所述架托或光学模组的惯性测量单元以及与所述光学模组和所述惯性测量单元耦合的图像处理单元，所述方法包括下列步骤：

利用所述惯性测量单元来感测所述架托的运动状态；以及

10.如权利要求9所述的方法，其中，所述显示属性包括下列中的至少一个：所述虚拟影像的成像位置；所述虚拟影像相对于参考坐标系的坐标轴的取向。

11.如权利要求10所述的方法，其中，所述参考坐标系为地面坐标系。

12.如权利要求9所述的方法，其中，呈现真实物理影像和虚拟影像的步骤包括：

13.如权利要求12所述的方法，其中，通过调整所述虚拟影像在所述微型显示屏上的位置和相对于所述微型显示屏的取向中的至少一个来调整所述虚拟影像相对于观察者的显示属性。

14.如权利要求9所述的方法，其中，所述观察者设定区域为观察者的眼睛。

15.如权利要求9-14中任意一项所述的方法，其中，调整所述虚拟影像的显示属性的步骤包括：

确定当前时间窗口内所述架托的平衡位置；

16.如权利要求15所述的方法，其中，所述平衡位置为下列中的一种：i）前一时间窗口结束时所述架托相对于所述观察者设定区域的位置；ii）前一时间窗口内所述架托相对于所述观察者设定区域的平均位置；iii）前一时间窗口内所述架托相对于所述观察者设定区域出现次数最多的位置。

17.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，通过由处理器执行所述指令来实现如权利要求9-16中任意一项所述的方法。