CN111708163B - 具有眼动跟踪功能的抬头显示系统和方法 - Google Patents

Abstract

提供一种具有眼动跟踪功能的抬头显示系统，其包括：图像源，用于生成目标图像；散射屏，接收所述目标图像并将该目标图像散射至下述光栅组合器；光栅组合器，用于衍射所述目标图像至用户的眼睛；近红外点光源，用于发射近红外光至下述近红外衍射光学元件；近红外衍射光学元件，用于将所述近红外光转换为散射光束衍射至用户的面部或眼部；以及近红外探测器，用于接收用户的面部或眼部反射的近红外图像，该近红外图像用于辅助驾驶和/或调整衍射至用户眼睛的目标图像的空间位置。该系统衍射效率高、体积小，近红外点光源能量利用率高，可降低功耗。

Description

具有眼动跟踪功能的抬头显示系统和方法

技术领域

本发明涉及一种具有眼动跟踪功能的抬头显示系统和方法，属于显示技术领域。

背景技术

抬头显示系统(Head Up Display)简称HUD，也称为平视显示系统，是一种以投影方式将各种车辆信息以及导航信息成像于挡风玻璃之外的技术。

车载抬头显示领域中的高级驾驶员辅助系统(ADAS)已成为新的研究热点。高级驾驶员辅助系统中常用的技术手段为眼动跟踪技术或驾驶员跟踪技术，通过识别驾驶员面部或眼部反射的近红外图像，对车辆驾驶员进行实时的信息反馈。

例如专利US20160150218A1公开了一种用于平视显示器(HUD)系统和驾驶员监视系统的组合结构，该组合结构包括：HUD系统，其包括第一反射部分和第二反射部分，被配置为沿着光路将HUD信息从HUD设备反射到车辆的挡风玻璃；二向色镜，设置在HUD系统的光路上，并配置为反射特定波长的光；和驾驶员监视系统，其具有输入的驾驶员面部信息，并被配置为提供光并监视驾驶员。也就是说，该专利的实现方法是将抬头显示系统和近红外监视系统集成到同一套系统结构中。但该方法中的驾驶员监视系统是直接使用HUD膜作为近红外光线的反射器件，存在反射效率低，占用体积大的问题。

例如，专利US10078219B2公开了一种具有集成眼睛追踪器的激光投射器，所述激光投射器包括：激光模块，包括用于输出红外光的红外激光二极管以及用于输出可见光的至少一个可见光激光二极管；扫描镜，与所述激光模块的输出端对准，从而接收所述红外光和所述可见光两者并且用于可控制地反射所述红外光和所述可见光两者；波长复用全息光学元件(“HOE”)，被对准以接收从所述扫描镜反射的所述红外光和所述可见光两者并将所述红外光和所述可见光两者朝向用户的眼睛重定向，其中，所述波长复用HOE包括响应于所述可见光而不响应于所述红外光的第一全息图以及响应于所述红外光而不响应于所述可见光的第二全息图；以及红外探测器，被对准以接收从所述用户的所述眼睛反射的红外光的至少一部分。但该系统是穿戴式显示设备，无法将显示设备集成于车辆挡风玻璃上，且用于眼动跟踪的近红外全息光栅通过角度复用的方法与用于HUD显示的可见光全息光栅集成到一块HUD膜上，存在衍射效率低、占用体积大的问题。此外，该红外激光二极管的能量利用率低，能耗大。

鉴于上述，本发明旨在提供一种具有眼动跟踪功能的抬头显示系统和方法，来解决上述的一个或多个技术问题。

发明内容

为了解决现有技术中的一个或多个技术问题，根据本发明一方面，提供一种具有眼动跟踪功能的抬头显示系统。该具有眼动跟踪功能的抬头显示系统包括：

图像源，用于生成目标图像；

散射屏，接收所述目标图像并将该目标图像散射至下述光栅组合器；

光栅组合器，用于衍射所述目标图像至用户的眼睛；

近红外点光源，用于发射近红外光至下述近红外衍射光学元件；

近红外衍射光学元件，用于将所述近红外光转换为散射光束衍射至用户的面部或眼部；以及

近红外探测器，用于接收用户的面部或眼部反射的近红外图像，该近红外图像用于辅助驾驶和/或调整衍射至用户眼睛的目标图像的空间位置。

根据本发明又一方面，所述图像源包括CRT、LCD、LED或DMD；优选地，所述散射屏为磨砂玻璃、磨砂纸片或全息屏；优选地，所述光栅组合器包括全息光栅、微纳光栅或衍射光栅，优选地，该光栅组合器独立于挡风玻璃或集成于挡风玻璃；优选地，该光栅组合器为分层堆叠结构或复用结构；优选地，近红外衍射光学元件为方形、圆形、矩形或梯形。

根据本发明又一方面，所述近红外衍射光学元件与光栅组合器集成在一起或者相互独立设置。

根据本发明又一方面，所述近红外点光源与图像源集成在一起或者相互独立设置。

根据本发明又一方面，所述的具有眼动跟踪功能的抬头显示系统还包括处理器，用于处理所述近红外图像，分析用户是否处于疲劳驾驶状态，并对疲劳驾驶做出预警提示。

根据本发明又一方面，所述处理器还用于分析用户的眼睛的高度，针对所述高度相应调整衍射至用户眼睛的目标图像的空间位置。

根据本发明又一方面，所述近红外衍射光学元件具有波长选择特性。

根据本发明又一方面，所述近红外点光源为小发散角的单波长近红外激光光源。

根据本发明又一方面，还提供了一种利用前述的具有眼动跟踪功能的抬头显示系统进行显示的方法，其特征在于包括以下步骤：

生成目标图像；

接收所述目标图像并将该目标图像散射至光栅组合器；

光栅组合器衍射所述目标图像至用户的眼睛；

发射近红外光至下述近红外衍射光学元件；

近红外衍射光学元件将所述近红外光转换为散射光束衍射至用户的面部或眼部；

近红外探测器接收用户的面部或眼部反射的近红外图像。

根据本发明又一方面，处理所述近红外图像，分析用户是否处于疲劳驾驶状态，并对疲劳驾驶做出预警提示；和/或

分析用户的眼睛的高度，针对所述高度相应调整衍射至用户眼睛的目标图像的空间位置。

与现有技术相比，本发明具有以下一个或多个技术效果：

首先，近红外衍射光学元件可将点光束转换为散射光束，即小尺寸衍射光学元件可实现大尺寸光束出射，因而可用于系统的小型化、集成化；

其次，该系统衍射效率高、体积小，近红外点光源能量利用率高，可降低功耗；

第三，近红外衍射光学元件与近红外激光点光源例如单波长窄光谱激光光源相结合，利用光学元件的波长选择特性可实现激光能量利用率最大化，从而提高系统的衍射效率；

第四，近红外激光点光源(小发散角的激光光源)相比于激光二极管光源，其光束直径小且发散角小，因而可以在提高能量利用率的同时压缩系统体积，降低系统功耗。

附图说明

为了能够理解本发明的上述特征的细节，可以参照实施例，得到对于简要概括于上的发明更详细的描述。附图涉及本发明的优选实施例，并描述如下：

图1为根据本发明第一种优选实施例的具有眼动跟踪功能的抬头显示系统的结构示意图；

图2为根据本发明第二种优选实施例的具有眼动跟踪功能的抬头显示系统的结构示意图；

图3a为第一种可用于图1-2的光栅组合器和圆形近红外衍射光学元件的空间位置分布俯视图；

图3b为第二种可用于图1-2的光栅组合器和方形近红外衍射光学元件的空间位置分布俯视图；

图4为第三种可用于图1-2的光栅组合器和近红外衍射光学元件的空间位置分布侧视图；

图5为根据本发明第三种优选实施例的具有眼动跟踪功能的抬头显示系统的结构示意图；

图6为根据本发明第四种优选实施例的具有眼动跟踪功能的抬头显示系统的结构示意图；

图7为可用于图5-6的光栅组合器和方形近红外衍射光学元件的空间位置分布俯视图；

图8为近红外衍射光学元件的工作原理示意图。

具体实施例

现在将对于各种实施例进行详细说明，这些实施例的一个或更多个实例分别绘示于图中。各个实例以解释的方式来提供，而非意味作为限制。例如，作为一个实施例的一部分而被绘示或描述的特征，能够被使用于或结合任一其他实施例，以产生再一实施例。本发明意在包含这类修改和变化。

在以下对于附图的描述中，相同的参考标记指示相同或类似的结构。一般来说，只会对于个别实施例的不同之处进行描述。除非另有明确指明，否则对于一个实施例中的部分或方面的描述也能够应用到另一实施例中的对应部分或方面。

实施例1

参见图1，其示出了一种具有眼动跟踪功能的抬头显示系统，该系统包括：

图像源100a，用于生成目标图像；

散射屏110，接收所述目标图像并将该目标图像散射至下述光栅组合器130；

光栅组合器130，用于衍射所述目标图像至用户160的眼睛；

近红外点光源120，用于发射近红外光至下述近红外衍射光学元件200；

近红外衍射光学元件200，用于将所述近红外光转换为散射光束衍射至用户160的面部或眼部；以及

近红外探测器150，用于接收用户160的面部或眼部反射的近红外图像，该近红外图像用于辅助驾驶和/或调整衍射至用户160眼睛的目标图像的空间位置。

根据本发明又一种优选实施方式，所述图像源100a包括CRT、LCD、LED或DMD。优选地，所述散射屏110为磨砂玻璃、磨砂纸片或全息屏。优选地，所述光栅组合器130包括全息光栅、微纳光栅或衍射光栅，优选地，该光栅组合器130独立于挡风玻璃140或集成于挡风玻璃140。

优选地，该光栅组合器130为分层堆叠结构或复用结构。优选地，近红外衍射光学元件200为方形、圆形、矩形或梯形。

根据本发明又一种优选实施方式，所述近红外衍射光学元件200与光栅组合器130集成在一起或者相互独立设置。可以理解的是，当该光栅组合器130、近红外衍射光学元件200集成于挡风玻璃140例如集成于挡风玻璃140中时，由于挡风玻璃的厚度与强度的限制，近红外衍射光学元件200与光栅组合器130的整体小型化是尤其有利的。

根据本发明又一种优选实施方式，所述近红外点光源120与图像源集成在一起或者相互独立设置。

根据本发明又一种优选实施方式，所述的具有眼动跟踪功能的抬头显示系统还包括处理器，用于处理所述近红外图像，分析用户160是否处于疲劳驾驶状态，并对疲劳驾驶做出预警提示。

根据本发明又一种优选实施方式，所述处理器还用于分析用户160的眼睛的高度，针对所述高度相应调整衍射至用户160眼睛的目标图像的空间位置。

根据本发明又一种优选实施方式，所述近红外衍射光学元件200具有波长选择特性。

根据本发明又一种优选实施方式，所述近红外点光源120为小发散角的单波长近红外激光光源。

可以理解的是，近红外衍射光学元件可以将点光束转换为发散光束，且具有波长选择性，因而近红外光源可以选择为点光源，例如小发散角的单波长近红外激光光源。该点光源例如小发散角的单波长近红外激光光源相比于宽光谱近红外激光二极管光源，具有以下显著优势：首先，近红外衍射光学元件与单波长窄光谱激光光源相结合，利用光学元件的波长选择特性可实现激光能量利用率最大化，从而提高系统的衍射效率；另一方面，小发散角的激光光源相比于激光二极管光源，其光束直径小且发散角小，因而可以在提高能量利用率的同时压缩系统体积，降低系统功耗。

有利地，该系统衍射效率高、体积小，近红外点光源能量利用率高，可降低功耗。

根据本发明又一种优选实施方式，还提供了一种利用前述的具有眼动跟踪功能的抬头显示系统进行显示的方法，其特征在于包括以下步骤：

生成目标图像；

接收所述目标图像并将该目标图像散射至光栅组合器130；

光栅组合器130衍射所述目标图像至用户160的眼睛；

发射近红外光至下述近红外衍射光学元件200；

近红外衍射光学元件200将所述近红外光转换为散射光束衍射至用户160的面部或眼部；

近红外探测器150接收用户160的面部或眼部反射的近红外图像。

根据本发明又一种优选实施方式，处理所述近红外图像，分析用户160是否处于疲劳驾驶状态，并对疲劳驾驶做出预警提示；和/或

分析用户160的眼睛的高度，针对所述高度相应调整衍射至用户160眼睛的目标图像的空间位置。

根据本发明又一种优选实施方式，参见图1，还提供了一种具有眼动跟踪功能的抬头显示系统，其系统构成为：图像源100a、散射屏110、光栅组合器130、近红外光源120、近红外衍射光学元件200、近红外探测器150。

优选地，图像源用于产生目标图像。参见图1和5，图像源100a中包括红、绿、蓝三色光源。参见图2和6，图像源100b包括红、绿、蓝、近红外四色光源。

优选地，散射屏承接图像源发出的目标图像，并作为显示物面进行后续成像。

优选地，参见图3a、3b、4和7，光栅组合器130包括红绿蓝三色光栅130a、130b、130c，三色光栅可采取复用方式或者分层堆叠的方式。光栅组合器可以是全息光栅、微纳光栅、衍射光栅中的任意一种。

优选地，近红外光源发射用于眼动跟踪功能的近红外光线。

优选地，近红外衍射光学元件用于接收近红外光源发出的近红外光线，并将其散射进入驾驶员面部或眼部。该衍射光学元件为散射器件，将单点窄光束转换为散射斑。

优选地，近红外探测器用于探测驾驶员面部或眼部反射的近红外图像。

可以理解的是，本发明的工作原理为：该具有眼动跟踪功能的抬头显示系统可包括抬头显示系统和眼动跟踪系统。HUD显示系统可实现彩色显示，眼动跟踪系统可通过近红外光束实现驾驶员眼动跟踪。

抬头显示系统工作原理：散射屏承接图像源发出的彩色目标图像，并将散射图像入射到光栅组合器之上，具有红绿蓝三色光栅的组合器将目标彩色图像衍射进入人眼。

眼动跟踪系统工作原理：近红外光源发射的光束入射到近红外衍射光学元件之上，之后由衍射光学元件将近红外光束衍射到驾驶员面部或眼部，随后由近红外探测器接收驾驶员面部或眼部反射的近红外图像，最后驾驶员的面部或眼部信息反馈回系统用于辅助驾驶。眼动跟踪系统捕获的驾驶员面部或眼部信息具有多种用途，比如：眼动跟踪系统捕获的面部或眼部信息可用于分析驾驶员是否处于疲劳驾驶状态，并对其做出预警提示；眼动跟踪系统捕获的面部或眼部信息可用于分析驾驶员所处高度的差异，针对不同驾驶员，系统可对显示图像的空间位置进行调整以适应驾驶员高度。

近红外衍射光学元件可将点光束转换为散射光束，即小尺寸衍射光学元件可实现大尺寸光束出射，因而可用于系统的小型化、集成化。近红外衍射光学元件的工作原理如图8所示。

根据本发明又一种优选实施方式，HUD显示系统由图像源、散射屏和光栅组合器构成。眼动跟踪系统由近红外光源、近红外衍射光学元件和近红外探测器构成。

根据本发明又一种优选实施方式，光栅组合器中不同波长的光栅可以采用分层堆叠的方式，也可采用波长复用的方式。

根据本发明又一种优选实施方式，以两个角度两种内容为例，还提供了一种具有眼动跟踪功能的抬头显示系统，参见图1，其中，近红外衍射光学元件与光栅组合器相集成；显示图像源包括红绿蓝三色光源；近红外光源与显示图像源相独立。

具体工作原理：

对于抬头显示系统：散射屏110承接图像源100a发出的RGB彩色目标图像，并将散射图像入射到光栅组合器130之上，具有红绿蓝三色光栅的组合器130将目标彩色图像衍射进入驾驶员160眼中。光栅组合器130包括红色光栅组合器130a、绿色光栅组合器130b以及蓝色光栅组合器130c。

对于眼动跟踪系统：近红外光源120发出的近红外光束入射到近红外衍射光学元件200之上，之后由衍射光学元件200将近红外光束衍射到驾驶员160的面部或眼部，随后由近红外探测器150接收驾驶员160面部或眼部反射的近红外图像，最后驾驶员的面部或眼部信息反馈回系统用于辅助驾驶。

该方式中近红外衍射光学元件集成于光栅组合器之上，可位于光栅组合器的任意位置，优选为边缘位置，可减少近红外衍射光栅对HUD成像的影响。近红外衍射光学元件和光栅组合器的空间位置关系如图3a、3b和4所示，其中近红外衍射光学元件形状具有任意性，比如圆形、方形、矩形、梯形等。

根据本发明又一种优选实施方式，以两个角度两种内容为例，还提供了一种具有眼动跟踪功能的抬头显示系统，参见图2，近红外衍射光学元件与光栅组合器相集成；显示图像源包括红绿蓝以及近红外四色光源；近红外光源与显示图像源相集成。

对于抬头显示系统：散射屏110承接图像源100b发出的RGB彩色目标图像，并将散射图像入射到光栅组合器130之上，具有红绿蓝三色光栅的组合器130将目标彩色图像衍射进入驾驶员160眼中。光栅组合器130包括红色光栅组合器130a、绿色光栅组合器130b以及蓝色光栅组合器130c。

对于眼动跟踪系统：图像源100b中的近红外光源发出的近红外光束入射到近红外衍射光学元件200之上，之后由衍射光学元件200将近红外光束衍射到驾驶员160的面部或眼部，随后由近红外探测器150接收驾驶员160面部或眼部反射的近红外图像，最后驾驶员的面部或眼部信息反馈回系统用于辅助驾驶。

该方式中近红外衍射光学元件集成于光栅组合器之上，可位于光栅组合器的任意位置，优选为边缘位置，可减少近红外衍射光栅对HUD成像的影响。近红外衍射光学元件和光栅组合器的空间位置关系如图3a、3b和4所示，其中近红外衍射光学元件形状具有任意性，比如圆形、方形、矩形、梯形等。

根据本发明又一种优选实施方式，还提供了一种具有眼动跟踪功能的抬头显示系统，参见图5，近红外衍射光学元件与光栅组合器相独立；显示图像源包括红绿蓝三色光源；近红外光源与显示图像源相独立。

具体工作原理：

对于抬头显示系统：散射屏110承接图像源100a发出的RGB彩色目标图像，并将散射图像入射到光栅组合器130之上，具有红绿蓝三色光栅的组合器130将目标彩色图像衍射进入驾驶员160眼中。光栅组合器130包括红色光栅组合器130a、绿色光栅组合器130b以及蓝色光栅组合器130c。

对于眼动跟踪系统：近红外光源120发出的近红外光束入射到近红外衍射光学元件200之上，之后由衍射光学元件200将近红外光束衍射到驾驶员160的面部或眼部，随后由近红外探测器150接收驾驶员160面部或眼部反射的近红外图像，最后驾驶员的面部或眼部信息反馈回系统用于辅助驾驶。

图5不同于图1，图5中的近红外衍射光学元件与光栅组合器相独立，如图7所示。

根据本发明又一种优选实施方式，还提供了一种具有眼动跟踪功能的抬头显示系统，参见图6，近红外衍射光学元件与光栅组合器相独立；显示图像源包括红绿蓝以及近红外四色光源；近红外光源与显示图像源相集成。

对于抬头显示系统：散射屏110承接图像源100b发出的RGB彩色目标图像，并将散射图像入射到光栅组合器130之上，具有红绿蓝三色光栅的组合器130将目标彩色图像衍射进入驾驶员160眼中。光栅组合器130包括红色光栅组合器130a、绿色光栅组合器130b以及蓝色光栅组合器130c。

对于眼动跟踪系统：图像源100b中的近红外光源发出的近红外光束入射到近红外衍射光学元件200之上，之后由衍射光学元件200将近红外光束衍射到驾驶员160的面部或眼部，随后由近红外探测器150接收驾驶员160面部或眼部反射的近红外图像，最后驾驶员的面部或眼部信息反馈回系统用于辅助驾驶。

图6不同于图2，图6中的近红外衍射光学元件与光栅组合器相独立，如图7所示。

与现有技术相比，本发明具有以下一个或多个技术效果：

首先，近红外衍射光学元件可将点光束转换为散射光束，即小尺寸衍射光学元件可实现大尺寸光束出射，因而可用于系统的小型化、集成化；

其次，该系统衍射效率高、体积小，近红外点光源能量利用率高，可降低功耗；

第三，近红外衍射光学元件与近红外激光点光源例如单波长窄光谱激光光源相结合，利用光学元件的波长选择特性可实现激光能量利用率最大化，从而提高系统的衍射效率；

第四，近红外激光点光源(小发散角的激光光源)相比于激光二极管光源，其光束直径小且发散角小，因而可以在提高能量利用率的同时压缩系统体积，降低系统功耗。

虽然前述内容是关于本发明的实施例，但可在不背离本发明的基本范围的情况下，设计出本发明其他和更进一步的实施例，本发明的范围由权利要求书确定。

上述实施例仅为本发明的较佳实施例而已，并不用以限制本发明，这些实施例中不互相违背的技术特征可彼此结合。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种具有眼动跟踪功能的抬头显示系统，其特征在于包括：

图像源，用于生成目标图像；

散射屏，接收所述目标图像并将该目标图像散射至下述光栅组合器；

光栅组合器，用于衍射所述目标图像至用户的眼睛；

近红外点光源，用于发射近红外光至下述小尺寸近红外衍射光学元件；

小尺寸近红外衍射光学元件，用于将所述近红外光转换为散射光束衍射至用户的面部或眼部；以及

近红外探测器，用于接收用户的面部或眼部反射的近红外图像，该近红外图像用于辅助驾驶和调整衍射至用户眼睛的目标图像的空间位置；

其中，所述近红外点光源为小发散角的单波长近红外激光光源，该光栅组合器和小尺寸近红外衍射光学元件集成于挡风玻璃，所述小尺寸近红外衍射光学元件设置于所述光栅组合器的边缘且相较于所述光栅组合器更远离用户的位置或与所述光栅组合器间隔设置；所述小尺寸近红外衍射光学元件具有波长选择特性，所述小尺寸近红外衍射光学元件与近红外点光源相结合并利用所述小尺寸近红外衍射光学元件的波长选择特性最大化激光能量利用率，所述小尺寸近红外衍射光学元件独立于所述光栅组合器。

2.根据权利要求1所述的具有眼动跟踪功能的抬头显示系统，其特征在于所述图像源包括CRT、LCD、LED或DMD。

3.根据权利要求2所述的具有眼动跟踪功能的抬头显示系统，其特征在于所述散射屏为磨砂玻璃、磨砂纸片或全息屏。

4.根据权利要求1-3任一项所述的具有眼动跟踪功能的抬头显示系统，其特征在于所述光栅组合器包括全息光栅、微纳光栅或衍射光栅。

5.根据权利要求1-3任一项所述的具有眼动跟踪功能的抬头显示系统，其特征在于还包括处理器，用于处理所述近红外图像，分析用户是否处于疲劳驾驶状态，并对疲劳驾驶做出预警提示。

6.根据权利要求5所述的具有眼动跟踪功能的抬头显示系统，其特征在于所述处理器还用于分析用户的眼睛的高度，针对所述高度相应调整衍射至用户眼睛的目标图像的空间位置。

7.根据权利要求1-3任一项所述的具有眼动跟踪功能的抬头显示系统，其特征在于所述光栅组合器为分层堆叠结构或复用结构。

8.根据权利要求1-3任一项所述的具有眼动跟踪功能的抬头显示系统，其特征在于所述小尺寸近红外衍射光学元件为方形、圆形、矩形或梯形。

9.利用权利要求1-8任一项所述的具有眼动跟踪功能的抬头显示系统进行显示的方法，其特征在于包括以下步骤：

生成目标图像；

接收所述目标图像并将该目标图像散射至光栅组合器；

光栅组合器衍射所述目标图像至用户的眼睛；

发射近红外光至下述小尺寸近红外衍射光学元件；

小尺寸近红外衍射光学元件将所述近红外光转换为散射光束衍射至用户的面部或眼部；

近红外探测器接收用户的面部或眼部反射的近红外图像；

处理所述近红外图像，分析用户是否处于疲劳驾驶状态，并对疲劳驾驶做出预警提示；

分析用户的眼睛的高度，针对所述高度相应调整衍射至用户眼睛的目标图像的空间位置。

Images