CN113126294A

CN113126294A - 一种多层次成像系统

Info

Publication number: CN113126294A
Application number: CN202010029234.4A
Authority: CN
Inventors: 徐俊峰; 吴慧军; 方涛
Original assignee: Future Beijing Black Technology Co ltd
Current assignee: Future Beijing Black Technology Co ltd
Priority date: 2020-01-10
Filing date: 2020-01-10
Publication date: 2021-07-16
Anticipated expiration: 2040-01-10
Also published as: CN113126294B

Abstract

本发明提供了一种多层次成像系统，通过设置能够发出至少两路光线的AR‑HUD，从而能够在与眼盒区域距离不等的位置分别展示不同的图像，形成多个所述图像中的任一图像的光线能够进入眼盒区域，达到了多层次成像的目的，尽可能避免图像在和真实环境中的场景融合时产生的偏差，使观察者看到融合到一起的图像和场景，提高AR‑HUD的使用体验。

Description

一种多层次成像系统

技术领域

本发明涉及车辆技术领域，具体而言，涉及一种多层次成像系统。

背景技术

目前，增强现实抬头显示器(Augmented Reality Head Up Display，AR-HUD)是抬头显示设备(Head Up Display，HUD)中的一种，可以实现很好的视觉体验。

AR-HUD投射出的图像需要与真实环境中的场景(如：车或者物体)融合到一起，如方向指示箭头需要与道路精准融合，从而可以实现很好的视觉效果。

但AR-HUD只能在固定位置呈现单层图像，而单层图像在和真实环境中的场景融合时容易产生偏差，使观察者经常看到没有融合到一起的图像和场景，降低AR-HUD的使用体验。

发明内容

为解决上述问题，本发明实施例的目的在于提供一种多层次成像系统。

第一方面，本发明实施例提供了一种多层次成像系统，用于车辆，包括：车辆的挡风玻璃、安装在所述车辆上的电子控制单元ECU、数据采集设备、以及增强现实抬头显示器AR-HUD；

所述ECU分别与所述数据采集设备和所述AR-HUD通信连接；

所述数据采集设备，用于获取所述车辆周围的环境信息，并将获取到的所述环境信息发送给所述ECU；

所述ECU，用于获取车辆的行驶信息，并将所述车辆的行驶信息和所述传感器发送的环境信息，发送到AR-HUD进行展示；

所述AR-HUD，用于发出至少两路光线到所述挡风玻璃，所述至少两路光线中的各路光线，能够分别展示与眼盒区域距离不等的多个图像；其中，多个所述图像都能够展示所述ECU发送的所述车辆的行驶信息和环境信息；

所述挡风玻璃，用于在所述挡风玻璃远离所述AR-HUD的一侧呈现出由至少两路光线中的各路光线分别形成的与眼盒区域距离不同的多个图像，其中，形成多个所述图像中的任一图像的光线能够进入眼盒区域。

本发明实施例上述第一方面提供的方案中，通过设置能够发出至少两路光线的AR-HUD，从而能够在与眼盒区域距离不等的位置分别展示不同的图像，形成多个所述图像中的任一图像的光线能够进入眼盒区域，达到了多层次成像的目的，与相关技术中AR-HUD只能在固定位置呈现单层图像的方式相比，AR-HUD发出的至少两路光线中各路光线所呈现的图像能够在真实环境中与眼盒区域距离不等的位置上的场景分别进行融合，尽可能避免图像在和真实环境中的场景融合时产生的偏差，使观察者看到融合到一起的图像和场景，提高AR-HUD的使用体验。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的AR-HUD的成像原理示意图；

图2示出了本发明实施例所提供的多层次成像系统中，第一种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图；

图3示出了本发明实施例所提供的多层次成像系统中，第二种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图；

图4示出了本发明实施例所提供的多层次成像系统中，第三种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图；

图5示出了本发明实施例所提供的多层次成像系统中，第四种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图；

图6示出了本发明实施例所提供的多层次成像系统中，眼盒区域能够看到的AR-HUD所呈现的多个图像的示意图；

图7示出了本发明实施例所提供的多层次成像系统中，AR-HUD发出标识所述车辆的周围车辆的图像时ECU执行的流程图；

图8示出了本发明实施例所提供的多层次成像系统中，标识所述车辆的周围的非机动车时ECU执行的流程图；

图9示出了本发明实施例所提供的多层次成像系统中，潜在行驶危险目标为恶略天气情况时所述ECU执行的流程图；

图10示出了本发明实施例所提供的多层次成像系统中，潜在行驶危险目标为车辆所在道路前方的状况信息时所述ECU执行的流程图；

图11示出了本发明实施例所提供的多层次成像系统中，车辆驾驶建议时ECU所执行的流程图；

图12示出了本发明实施例所提供的多层次成像系统中，车辆与前方车辆距离过近时，所述AR-HUD的显示示意图；

图13示出了本发明实施例所提供的多层次成像系统中，当车辆周围存在与车辆距离过近的非机动车时，AR-HUD的示意图；

图14示出了本发明实施例所提供的多层次成像系统中，AR-HUD将所述路径轮廓图与所述车辆所在道路融合的示意图；

图15示出了本发明实施例所提供的多层次成像系统中，道路前方的状况为障碍时的AR-HUD展示图像的示意图；

图16示出了本发明实施例所提供的多层次成像系统中，AR-HUD的成像侧视图。

具体实施方式

AR-HUD是通过内部特殊设计的光学系统，在驾驶员视线区域内合理、生动地显示一些驾驶信息，以增强驾驶员对于实际驾驶环境的感知。比如驾驶员驾驶车辆偏离既定车道，AR-HUD可以在车辆正常行驶车道的车道线边缘处标出红线提醒驾驶员车辆已经偏离车道；以及驾驶时可以在前车后部看到一条标记的亮带等。即：AR-HUD投射出的图像需要在视觉上与真实环境中的场景(如：车或者物体)融合到一起，如方向指示箭头需要与道路精准融合，才可以实现很好的视觉效果。

相关技术中，AR-HUD，包括：像源、平面镜和曲面镜；所述像源发出的光线经过曲面镜反射后入射到平面镜，并在平面镜上发生反射后从所述AR-HUD的出光口射出，射出的光线入射至车辆的挡风玻璃，并在挡风玻璃远离眼盒区域的一侧的固定位置呈现出一个单层图像。由于真实环境中的各种场景与眼盒区域的距离可能是几米、几十米或者上百米远，而相关技术中提出的AR-HUD在固定位置呈现出的单层图像与眼盒区域的距离是固定的，无法和真实环境中与眼盒区域距离几米、几十米或者上百米远的场景在视觉上都进行融合，导致单层图像在和真实环境中的场景融合时容易产生偏差，使观察者经常看到没有融合到一起的图像和场景，降低AR-HUD的使用体验。

所述眼盒区域，是指观察者可以观察到与真实环境较好融合的图像的区域，通常情况下是位置固定不变的区域。

参见图1所示的AR-HUD的成像原理示意图，AR-HUD中像源出射的光线在曲面镜上发生反射，反射光线出射至眼盒区域，使得观察者可在眼盒区域观察到形成于挡风玻璃外的图像。光线在挡风玻璃上发生反射的现象，可近似认为是平面镜成像。根据AR-HUD的结构及光学原理，像源发出的光线在曲面镜上发生反射，随后出射至挡风玻璃，即可认为，在曲面镜远离像源的一侧形成有发出光线的等效像源，根据平面镜成像规律，AR-HUD形成的图像与成像的等效像源之间关于反射介质对称。

所述等效像源，为像源发出的光线在曲面镜上反射后，在曲面镜远离像源的一侧形成的图像。

因此，要形成与所述眼盒区域距离不等的多个图像，就要增加AR-HUD中等效像源的数量，使得AR-HUD中存在位置不同的至少两个等效像源。

而所述等效像源的位置由曲面镜的成像特性决定，根据以下公式1给出的曲面镜成像规律：

其中，f表示曲面镜的焦距；u表示像源与曲面镜之间的距离，即像源在曲面镜成像的物距；v表示像源在曲面镜上所成图像与曲面镜之间的距离，即像源在曲面镜成像的像距。通过公式(1)可以看出，所述等效像源的位置，即像源在曲面镜所成图像的位置，与像源在曲面镜成像的像距直接相关，像源在曲面镜成像的像距越大，说明该像源的等效像源的位置与曲面镜的距离越远。

为了增加像源的像距，可以将像源放置在曲面镜的焦平面或者趋近于曲面镜焦平面的位置。

因此，所述等效像源的位置，与以下两个参数有关：曲面镜的焦距以及像源在曲面镜成像的像距(即像源与曲面镜之间的距离)。

而在AR-HUD中，曲面镜的焦距是预先设计好的，很难做出改变。所以，要形成与所述眼盒区域距离不等的多个图像，就需要增加像源到曲面镜发出的光线数量，使得像源向曲面镜发出至少两路光线，该至少两路光线中的各路光线在入射到曲面镜后，能够分别形成位置不同的等效像源。

而，AR-HUD中存在位置不同的等效像源后，根据图1所示的成像原理，该位置不同的等效像源中的各等效像源就可以分别在挡风玻璃远离眼盒区域的一侧形成与眼盒区域距离不同的图像，与眼盒区域距离不同的图像能够在真实环境中与眼盒区域距离不等的位置上的场景分别进行融合。

基于此，为了使AR-HUD产生的图像能够与真实环境中与眼盒区域距离不同的各种场景在视觉上都进行融合，解决上述的技术问题，本申请提出了一种多层次成像系统，设置有能够发出至少两路光线的AR-HUD，AR-HUD发出的至少两路光线中各路光线所呈现的图像能够在视觉上与真实环境中与眼盒区域距离不等的位置上的场景分别进行融合，达到多层次成像的目的。

在以下实施例中，术语“视觉上图像与真实环境(真实环境中的场景)融合”，是指观察者的双眼在眼盒区域看到的AR-HUD呈现的图像与真实环境(真实环境中的场景)是完全贴合/重合到一起的。

术语“图像”，是指AR-HUD呈现在挡风玻璃远离眼盒区域一侧的虚像。

所述ECU，不仅包含车辆车速、马达、油耗、换挡效率等车辆状态的控制装置，还可以包括娱乐交互系统及车联网系统等车载系统。

所述挡风玻璃，可以采用现有的任何形状的车辆挡风玻璃进行AR-HUD图像的展示，这里不再赘述。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。

实施例

本实施例提出一种多层次成像系统，用于车辆，包括：车辆的挡风玻璃、安装在所述车辆上的电子控制单元(Electronic Control Unit，ECU)、数据采集设备、以及AR-HUD。

所述ECU分别与所述数据采集设备和所述AR-HUD通信连接。

所述数据采集设备，用于获取所述车辆周围的环境信息，并将获取到的所述环境信息发送给所述ECU。

所述ECU，用于获取车辆的行驶信息，并将所述车辆的行驶信息和所述传感器发送的环境信息，发送到AR-HUD进行展示。

所述AR-HUD，用于发出至少两路光线到所述挡风玻璃，所述至少两路光线中的各路光线，能够分别展示与眼盒区域距离不等的多个图像；其中，多个所述图像都能够展示所述ECU发送的所述车辆的行驶信息和环境信息。

参见图6所示的眼盒区域能够看到的AR-HUD所呈现的多个图像的示意图，所述挡风玻璃，用于在所述挡风玻璃远离所述AR-HUD的一侧呈现出由至少两路光线中的各路光线分别形成的与眼盒区域距离不同的多个图像，其中，形成多个所述图像中的任一图像的光线能够进入眼盒区域。

所述数据采集设备，包括但不限于：安装在车辆上的传感器、导航设备和无线通信设备；所述传感器、导航设备和所述无线通信设备分别与所述ECU连接。

所述传感器，包括但不限于：图像测距传感器和重力传感器。

其中，所述图像测距传感器，安装在车辆的四周，用于在测量车辆与周围物体的距离的同时，还可以采集车辆的周围环境图像；从而可以将测量到的车辆与周围物体的距离和车辆的周围环境图像一起发生给ECU。

为了确定眼盒区域与车辆周围物体的距离，所述ECU中，存储有各图像测距传感器分别与眼盒区域的距离，可以通过图像测距传感器的传感器标识和距离的对应关系的方式存储。

各图像测距传感器分别与眼盒区域的距离，是各图像测距传感器安装到车辆后，通过工作人员测量得到并存储到车辆的ECU中。

所述重力传感器，用于测量车辆的横摆方向、横摆角度、以及横摆角速度，并将测量到的车辆的横摆方向、横摆角度、以及横摆角速度发送给ECU。

所述无线通信设备，用于使ECU接入互联网，获取车辆所处区域的天气信息和路况信息。

所述导航设备，用于对所述车辆的行驶路径进行规划，得到车辆的导航信息，指示车辆按照导航信息行驶，并将得到的导航信息发送给ECU。

所述导航设备，还用于对所述车辆进行定位，得到所述车辆的位置信息，并将得到的所述车辆的位置信息发送到ECU。

所述车辆的行驶信息，包括但不限于：车辆的车速信息、所述车辆的位置信息、所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息。

所述车辆状态信息，包括但不限于：发动机状态信息、变速箱状态信息、以及车辆当前的电量和/或者油量。

所述车辆的操作信息，包括但不限于：车辆的变速箱换挡操作、加/减速操作、以及转向操作。

所述车辆的车速信息、所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息，是ECU从车载自动诊断系统(On-Board Diagnostics，OBD)中获取到的。

所述车辆周围的环境信息，包括但不限于：所述车辆与周围车辆之间的车距信息、所述车辆所在道路的天气信息、所述车辆所在道路的状况信息、以及导航信息。

所述车辆与周围车辆之间的车距信息，是通过上述图像测距传感器得到的。

所述周围车辆，包括：位于所述车辆前方的前方车辆、位于所述车辆后面的后方车辆、以及位于所述车辆两侧的侧方车辆。

所述车辆所在道路的天气信息和所述车辆所在道路的状况信息，是ECU接入互联网后获取到的。

所述导航信息，是车辆的导航设备发送给ECU的。

为了控制AR-HUD中的像源所发出的图像能够与真实环境中的场景融合，ECU在接收到环境信息和行驶信息后，对环境信息和行驶信息进行格式化分析处理，得到融合显示所需的待融合显示图像数据。

其中，信息的格式化是对信息类型的进一步多维描述，格式化是根据ECU中预设数据库匹配现有数据，判断接收到的环境信息和行驶信息能否融合当前真实环境中的场景并进行显示，进而决定采集数据在显示画面中的贴合位置和其他显示策略(部分数据要显示的位置对应实景可能不在当前视野内，可以根据相对位置预先进行显示)。当通过以上操作确定对环境信息和行驶信息中的部分数据进行显示时，将需要显示的该部分数据作为待融合显示数据发送到ECU中的信息显示融合单元。

信息显示融合单元收到待融合显示数据后，将待融合显示数据发送到AR-HUD中的像源中，通过像源发出待融合显示数据到真实环境中的场景中，与真实环境中的场景进行融合显示。

而且，图像和真实环境中的场景的融合匹配进一步可配置为通过图像识别把需要融合显示的数据的画面和视野中的场景做映射，根据映射关系，在场景的同一相对位置显示出图像，使像源所发出的图像能够与真实环境中的场景融合显示。

为了发出至少两路光线到所述挡风玻璃，参见图2所示的第一种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图，所述AR-HUD，包括：曲面镜202和至少两个像源200。

至少两个像源能够分别发出至少两路光线；所述至少两路光线中的各路光线分别由所述至少两个像源中的不同像源200发出，所述各路光线在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同。

所述曲面镜将入射的至少两路光线反射出所述AR-HUD，使得反射出AR-HUD的至少两路光线中的各路光线能够根据各路光线自身的传播路径长度，分别形成与眼盒区域距离不等的图像。

所述曲面镜202，可以是但不限于：球面镜、双曲面镜、抛物面镜、以及自由曲面镜。

所述像源200，能够发出呈现图像的光线。

至少两个像源200中各像源发出的光线，在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同，说明各像源在曲面镜成像的物距不同，而曲面镜的焦距是不变的，根据上述公式1给出的曲面镜成像规律，这使各像源在曲面镜成像的像距不同，即各像源的等效像源与曲面镜的距离不同；所以，各像源发出的光线能够形成与所述眼盒区域距离不等的图像。

所述图像，是与真实环境中需要融合的场景距离匹配的图像。

所述场景，可以是但不限于：车辆周围出现的机动车、非机动车、行人、动物、变道区域、车辆所在道路前方存在检修路段、车辆所在道路前方存在损坏路段、车辆所在道路前方设置有障碍、以及车辆所在道路前方存在交通事故路段。

所以，为了达到多层次成像的目的，ECU中还存储有AR-HUD中各像源的像源标识和像距的对应关系。

其中，各像源的像距，是AR-HUD出厂前设置好的。

在一个实施方式中，各像源的像距，可以设置为几米、十几米、几十米、以及无穷远处。可以通过像源标识和像距的对应关系的方式存储在ECU中。

所述与场景距离匹配的图像的确定过程包括：ECU对场景与眼盒区域的距离分别与各像源的像距进行差值计算，将与场景与眼盒区域的距离差值最小的像距对应的图像确定为与场景距离匹配的图像。

根据上述公式1给出的曲面镜成像规律，发现将像源放在曲面镜的焦平面或者靠近焦平面的位置时，可以将图像呈现在距离眼盒区域无穷远的地方，使观察者看到不存在视差的图像。

所述视差，是指观察者的双眼在眼盒区域看到的图像与真实环境中的场景在水平方向和/或者垂直方向不能融合的情况。

为了能在无穷远处成像，AR-HUD中的至少两个像源，包括：设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的远距离成像像源。

所述远距离成像像源发出的光线射出AR-HUD后能够形成远距离图像。

所述远距离图像，用于消除观察者观看图像时的视差。

参见图16所示的AR-HUD的成像侧视图，在至少两个像源分别呈现的图像中，远距离成像像源呈现的远距离图像与所述眼盒区域的距离最远。即所述远距离图像是至少两个像源分别呈现的图像中与眼盒区域水平距离最远的图像。

图2所示AR-HUD的结构中只包括两个像源的情况仅为示意，AR-HUD还可以包括更多的像源，这里不再一一赘述。

参见图3所示的第二种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图，本实施例提出的一种AR-HUD，包括：第一像源300、第二像源302、曲面镜202和第一透反膜304。

所述第一像源300，能够发出第一光线，所述第二像源302，能够发出第二光线。

所述第一像源300和所述第二像源302分别设置在不同位置上，所述第一光线和所述第二光线的传播路径长度不同。

所述第一光线和所述第二光线的传播路径长度不同，是指所述第一光线和所述第二光线在HUD内的传播路径的长度不同。

所述第一透反膜304，能够透过入射的所述第一光线且对入射的所述第二光线进行反射。

所述第一透反膜304设置在所述第一像源和所述第二像源之间。

所述曲面镜202将入射的所述第一光线反射出所述抬头显示设备，使得反射出抬头显示设备的所述第一光线能够根据所述第一光线自身的传播路径长度，形成第一虚像。

所述曲面镜202将入射的所述第二光线反射出所述抬头显示设备，使得反射出抬头显示设备的所述第二光线能够根据所述第二光线自身的传播路径长度，形成第二虚像。

所述第一光线和所述第二光线的传播路径长度不同，使得所述第一虚像与观察者之间的距离和所述第二虚像与观察者之间的距离不同；

其中，所述第一光线和所述第二光线的偏振特性不同。

在一个实现方式中，所述第一光线可以是S偏振光；所述第二光线可以是P偏振光。

在图3所示的AR-HUD的结构示意图的基础上，参见图4所示的第三种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图，AR-HUD还包括：第二透反膜308和第三像源306。

所述第三像源306，能够发出第三光线。

在一个实施方式中，所述第二透反膜308设置在所述第一透反膜304和所述第一像源300之间。

所述第二透反膜，能够透过入射的所述第一光线且对入射的所述第三光线进行反射；所述第一透反膜将入射的所述第三光线透过，使得所述第三光线入射到所述曲面镜。

所述曲面镜将入射的所述第三光线反射出所述抬头显示设备，使得反射出抬头显示设备的所述第三光线能够根据所述第三光线自身的传播路径长度，形成第三图像。

所述第三光线与所述第一光线和所述第二光线的传播路径长度不同，使得所述第三图像与观察者之间的距离和第一图像与观察者之间的距离、以及所述第二图像与观察者之间的距离都不相同。

在另一个实施方式中，参见图5所示的第四种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图；所述第二透反膜308设置在所述第二像源302和所述第一透反膜304之间。

所述第二透反膜，能够透过入射的所述第二光线且对入射的所述第三光线进行反射；所述第一透反膜将入射的所述第三光线反射到所述曲面镜。

其中，所述第三光线和所述第四光线的偏振特性不同。

在一个实现方式中，所述第三光线可以是S偏振光；所述第四光线可以是P偏振光。

所述第一像源300发出的第一光线、所述第二像源302发出的第二光线、以及所述第三像源304发出的第三光线的传播路径长度不同，是指所述第一像源300、所述第二像源302、以及所述第三像源304的物距不同，导致所述第一像源300、所述第二像源302、以及所述第三像源304的像距不同，从而所述第一像源300、所述第二像源302、以及所述第三像源304能分别在距离眼盒区域不同的位置成像，达到多层次成像的目的。

为了消除观察者查看图像与真实环境中场景融合后的视差，可以将所述第一像源300、所述第二像源302、或者所述第三像源304设置在靠近所述曲面镜202的焦平面的位置或者设置在所述曲面镜的焦平面所在位置，使得设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的所述第一像源、所述第二像源、或者所述第三像源发出的光线射出AR-HUD后能够形成远距离图像。

其中，设置在靠近所述曲面镜202的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的所述第一像源300、所述第二像源302、或者所述第三像源304被称作远距离成像像源。

当车辆周围存在移动目标时，所述ECU，可以执行以下步骤(1)至步骤(3)：

(1)当车辆周围存在移动目标时，确定眼盒区域与所述移动目标的距离；其中，所述移动目标，包括：机动车和非机动车；

(2)当有移动目标与车辆的距离小于安全距离时，将所述眼盒区域与所述移动目标的距离作为目标像距，从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；

(3)控制所述目标像源向距离所述车辆小于安全距离的移动目标发出与所述移动目标融合的图像，将所述移动目标标识出来。

在上述步骤(1)中，为了确定眼盒区域与所述移动目标的距离，包括以下步骤(11)至步骤(13)：

(11)获取图像测距传感器发送的距离信息，所述距离信息，包括：发送距离信息的图像测距传感器的传感器标识和测量到的移动目标与车辆的距离；

(12)根据所述传感器标识，从图像测距传感器的传感器标识和距离的对应关系中查询出所述传感器标识对应的图像测距传感器与眼盒区域的距离；

(13)计算所述传感器标识对应的图像测距传感器与眼盒区域的距离与所述距离信息中记载的移动目标与车辆的距离的和，并将计算结果确定为所述眼盒区域与所述移动目标的距离。

在上述步骤(11)中，所述距离信息，还包括：图像测距传感器采集的车辆周围图像。

图像测距传感器在测量到的移动目标与车辆的距离，并采集到图车辆周围图像后，根据图像测距传感器自身的传感器标识、采集到的车辆周围图像、移动目标与车辆的距离生成距离信息，并发送给ECU。

在上述步骤(12)中，图像测距传感器的传感器标识和距离的对应关系缓存在HUD控制装置中。

在上述步骤(2)中，从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程，与上述的所述与场景距离匹配的图像的确定过程类似，可以包括以下步骤(21)至步骤(24)：

(21)从所述像源标识和像距的对应关系中获取所述AR-HUD中多个像源中除远距离成像像源外的各像源的像距；

(22)分别计算各所述像源的像距与所述目标像距的差值；

(23)将各所述像源中与所述目标像距差值最小且与所述目标像距的差值小于差值阈值的像距对应的像源确定为与所述目标像距匹配的目标像源；

(24)当各得到像源的像距与所述目标像距的差值均大于所述差值阈值时，将所述远距离成像像源确定为与所述目标像距匹配的目标像源。

通过以上的步骤(1)至步骤(3)的内容可以看出，当有移动目标与车辆的距离小于安全距离时，将所述距离作为目标像距，从多个像源中选择出与所述目标像距相匹配的像源作为目标像源；控制所述目标像源向所述移动目标发出与所述移动目标融合的图像，将所述移动目标标识出来，从而辅助车辆驾驶。

当移动目标是车辆时，所述环境信息，包括：所述车辆与周围车辆之间的车距信息；所述周围车辆，包括：位于所述车辆前方的前方车辆、位于所述车辆后面的后方车辆、以及位于所述车辆两侧的侧方车辆。

为了将作为所述移动目标的车辆标识出来，参见图7所示的AR-HUD发出标识所述车辆的周围车辆车距的流程图，所述ECU，具体用于执行与以下步骤700至步骤716：

步骤700、获取所述车辆分别与所述前方车辆的第一距离、与所述后方车辆的第二距离、以及与两侧的所述侧方车辆的第三距离和第四距离；

步骤702、根据所述车辆的车速信息，确定所述车辆与所述前方车辆的第一安全距离阈值；

步骤704、当所述第一距离小于等于确定的所述第一安全距离阈值时，生成第一预警信息，并将所述第一预警信息发送到AR-HUD进行展示；

步骤706、当所述第二距离小于等于第二安全距离阈值时，生成第二预警信息，并将所述第二预警信息发送到AR-HUD进行展示；其中，所述第二安全距离阈值，用于表示所述车辆与所述后方车辆的安全行驶距离；

步骤708、当所述第三距离和/或者所述第四距离小于等于第三安全距离阈值时，生成第三预警信息，并将所述第三预警信息发送到AR-HUD进行展示；其中，所述第三安全距离阈值，用于表示所述车辆与所述侧方车辆的安全行驶距离；

步骤710、当确定所述第一距离大于所述第一安全距离阈值时，根据所述第一距离从所述AR-HUD中选择出目标像源；

步骤712、利用第二颜色标识生成第二路径标识指令，并将生成的所述第二路径标识指令发送到所述目标像源，控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第二颜色标识对应的颜色展示出来；

步骤714、当所述第一距离小于制动操作长度阈值且所述第一距离小于等于确定的所述第一安全距离阈值的时长大于第一预设时长阈值时，生成制动指令；

步骤716、利用生成的所述制动指令，控制所述车辆执行制动操作。

在上述步骤700中，通过在车辆头部安装的图像测距传感器发送的第一距离信息获取所述车辆分别与所述前方车辆的第一距离，通过在车辆后部安装的图像测距传感器发送的第二距离信息获取与所述后方车辆的第二距离，通过在车辆两侧安装的图像测距传感器分别发送的第三距离信息和第四距离信息，分别获取位于车辆两侧的所述侧方车辆的第三距离和第四距离。

所述第一距离信息、所述第二距离信息、所述第三距离信息和所述第四距离信息的生成的具体过程，均与上述生成距离信息的过程类似，这里不再赘述。

所以，所述第一距离信息，包括但不限于：发送所述第一距离信息的图像测距传感器的传感器标识、所述车辆与前方车辆的第一距离、以及所述车辆与所述前方车辆之间的路径图像。

所述第二距离信息、所述第三距离信息和所述第四距离信息包括的内容与上述的所述第一距离信息类似，这里不再赘述。

在上述步骤702中，所述ECU，可以根据ECU自身缓存的车速和安全距离的对应关系中，查询出所述车辆的车速信息对应的第一安全距离阈值。

在一个实施方式中，车速和安全距离的对应关系可以如下表示：

车速小于等于20公里/小时时，安全距离为10米；

车速大于20公里/小时且小于等于40公里/小时时，安全距离为20米；

车速大于40公里/小时且小于等于60公里/小时时，安全距离为30米；

车速大于60公里/小时且小于等于100公里/小时时，安全距离为60米。

所述ECU，还存储有第二安全距离阈值和第三安全距离阈值。

所述第二安全距离阈值，用于表示所述车辆与所述后方车辆的安全行驶距离。

所述第三安全距离阈值，用于表示所述车辆与所述侧方车辆的安全行驶距离。

在上述步骤704中，所述第一预警信息，用于表示所述车辆与所述前方车辆距离小于第一安全距离阈值。

具体地，参见图12所示的车辆与前方车辆距离过近时，所述AR-HUD的显示示意图；为了生成第一预警信息，并将所述第一预警信息发送到AR-HUD进行展示，所述步骤704可以执行以下步骤(1)至步骤(4)：

(1)生成第一预警信息，并获取所述车辆与所述前方车辆之间的路径图像；

(2)根据获取到的所述车辆与所述前方车辆之间的路径图像，识别出所述车辆与所述前方车辆之间的路径；

(3)将与所述第一距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；其中，所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离；

(4)利用第一颜色标识生成第一路径标识指令，并将生成的所述第一路径标识指令发送到所述AR-HUD中的目标像源，控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第一颜色标识对应的颜色展示出来，同时将所述第一预警信息发送到目标像源进行展示。

在上述步骤(1)中，所述车辆与所述前方车辆之间的路径图像，是从第一距离信息中获取到的。

在上述步骤(2)中，所述ECU可以采用现有的然和图像处理技术，根据获取到的所述车辆与所述前方车辆之间的路径图像，识别出所述车辆与所述前方车辆之间的路径，具体过程这里不再赘述。

在上述步骤(3)中，与所述第一距离相匹配的像距，就是所述眼盒区域与所述车辆的前方车辆的距离，所以，确定与所述第一距离相匹配的像距的过程，和上述确定眼盒区域与所述移动目标的距离过程类似，这里不再赘述。

在上述步骤(4)中，所述第一颜色标识对应的颜色，可以是红色和粉色。

在一个实施方式中，所述第一预警信息，可以是“与前方车距离过近，请减速”。

在上述步骤706中，所述第二预警信息，用于表示所述车辆与所述前方车辆距离小于第二安全距离阈值。

在上述步骤708中，所述第三预警信息，用于表示所述车辆与车辆自身至少一侧的侧方车辆距离小于第三安全距离阈值。

在上述步骤704、步骤706和步骤708中，所述第一预警信息、所述第二预警信息和所述第三预警信息的显示方式，可以包括但不限于如下多种方式：

(一)告警文字、图像、视频，如“与前方车辆距离太近，请减速”“请与右侧车辆保持距离”；或者色彩鲜明、显著的图标、或提示动画，如红色的提示信息；且相关提示信息的亮度高于AR-HUD其他部分的画面亮度，也可以采取滚动、闪烁、跳动等效果，进一步提高警示效果。

显示的位置应至少集中在驾驶员正对的前方，也可同时在副驾驶前方显示，对乘客进行提醒。

(二)还可以在AR-HUD显示所述第二预警信息和所述第三预警信息的基础上，配合车辆或车辆上的音频播放设备，通过语音播报进行提醒，可以是没有具体含义的告警铃声，也可以是具体的语音提醒如“注意！保持车距”。

(三)配合其他设备，如集成在方向盘上的机械式振动设备，集成在座椅内的机械设备，通过震动进行提醒。

(四)在车辆侧窗、后窗显示告警文字、图像、视频，如“后方车辆请保持车距”、“侧方车辆请保持距离”或色彩鲜明、显著的图标、或提示动画，如红色的提示信息；且相关提示信息的亮度高于HUD其他部分的画面亮度，也可以采取滚动、闪烁、跳动等效果，进一步提高警示效果。

上述(一)至(四)描述的显示方式与传统的HUD的显示方式类似，这里不再赘述。

在上述步骤710中，选择出目标像源的过程，和上述确定眼盒区域与所述移动目标的距离过程类似，这里不再赘述。确定所述第一距离大于所述第一安全距离阈值，说明车辆当前保持安全的行车距离。

在上述步骤712中，所述第二颜色标识对应的颜色，可以是绿色和无颜色。

当然，在控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第二颜色标识对应的颜色展示出来的同时，确认保持安全的行车距离后，通过传统HUD方式显示提示文字、图像、视频，如“安全车距，请继续保持”；或与告警时显示颜色区别较大的图标、或提示动画，如绿色的提示信息，也可以采取滚动、闪烁、跳动等效果，展示一定时间后即消失；也可以始终保持在画面上，展示给观察者。

在上述步骤714中，所述制动操作长度阈值，缓存在ECU中，可以设置为15米。所述制动操作长度阈值还可以设置为小于任意车速和安全距离的对应关系中记载的安全距离值，这里不再一一赘述。

所述第一预设时长阈值，缓存在ECU中，可以设置为20秒。

当所述移动目标为非机动车时，参见图8所示的标识所述车辆的周围的非机动车的流程图，为了将作为所述移动目标的非机动车标识出来，所述ECU，具体用于执行与以下步骤800至步骤814：

步骤800、当确定所述车辆的所在位置是人流密集区域时，获取所述车辆的周围环境图像；

步骤802、当根据所述周围环境图像确定所述车辆周围存在非机动车时，确定所述非机动车与所述车辆之间的距离；

步骤804、当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时，生成碰撞预警信息，并将所述碰撞预警信息发送到AR-HUD进行展示；

步骤806、当确定所述非机动车与所述车辆的距离大于所述预警距离阈值时，获取非机动车图像，并确定所述非机动车的当前所在位置；

步骤808、根据所述非机动车的所述当前所在位置以及所述非机动车与车辆的距离，确定出与所述非机动车融合的非机动车指示框的第二尺寸，并基于所述非机动车图像中的非机动车轮廓，确定所述非机动车指示框的第二形状；

步骤810、根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源；

步骤812、利用第五颜色标识、非机动车指示框的第二尺寸和第二形状生成非机动车标识指令，通过所述非机动车标识指令控制所述目标像源利用所述第五颜色标识对应的颜色，按照确定的第二尺寸和第二形状生成非机动车指示框，并基于所述非机动车的当前所在位置将所述非机动车指示框与所述非机动车融合到一起；

步骤814、当确定所述非机动车与车辆的距离小于紧急制动长度阈值时，控制所述车辆执行制动操作。

在上述步骤800至步骤802中，所述ECU从所述导航设备发送的位置信息中确定所述车辆的所在位置。当确定所述车辆的所在位置是在学校、医院、停车场、以及繁华市区时，确定所述车辆的所在位置是人流密集区域，向所述车辆上安装的图像测距传感器发送图像获取指令，使得所述车辆上安装的图像测距传感器采集所述车辆的周围环境图像。

图像测距传感器接收到图像获取指令后，采集所述周围环境图像后在确定所述车辆周围存在非机动车时，确定所述非机动车与所述车辆之间的距离，并将所述周围环境图像、确定所述车辆周围存在的非机动车与所述车辆之间的距离以及图像测距传感器自身的传感器标识生成非机动车距离信息，发送给ECU。

在上述步骤804中，碰撞安全距离阈值，缓存在ECU中，可以设置为2米到5米之间的任意距离。

所述ECU，接收到所述图像测距传感器发送的非机动车距离信息后，参见图13所示的当车辆周围存在与车辆距离过近的非机动车时，AR-HUD的示意图，上述步骤804可以执行以下步骤(1)至步骤(6)：

(1)当所述非机动车距离信息中记载的所述非机动车与车辆的距离大于碰撞安全距离阈值且小于等于预警距离阈值时，根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源；

(2)控制所述目标像源利用所述第四颜色标识对应的颜色在所述非机动车的所在位置生成预警图形；其中，所述预警图形与所述非机动车融合到一起；

(3)当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时，生成碰撞预警信息；

(4)根据所述非机动车的所在位置以及所述非机动车与车辆的距离，确定出与所述非机动车融合的非机动车指示框的第一尺寸，并基于所述周围环境图像中的非机动车轮廓，确定所述非机动车指示框的第一形状；

(5)将与所述非机动车与车辆的距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；其中，所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离；

(6)利用第三颜色标识、非机动车指示框的第一尺寸和第一形状生成非机动车标识指令，通过所述非机动车标识指令控制所述目标像源利用所述第三颜色标识对应的颜色，按照确定的第一尺寸和第一形状生成所述非机动车指示框，并根据所述非机动车的所在位置将所述非机动车指示框与所述非机动车融合到一起，将所述非机动车标识出来，同时将所述碰撞预警信息发送到目标像源进行展示。

在上述步骤(1)中，所述预警距离阈值，缓存在ECU中，可以设置为5米到10米之间的任意距离。

根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源的具体过程，就是先根据所述非机动车与车辆的距离确定作为目标相距的所述眼盒区域与非机动车的距离，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程，这个过程与上述确定眼盒区域与所述移动目标的距离过程类似，这里不再赘述。

在上述步骤(2)中，所述第四颜色标识对应的颜色，可以是红色、绿色、黄色等颜色鲜明的颜色。

所述预警图形，预先缓存在所述ECU中，可以是但不限于：圆形、椭圆形、以及四边形。

控制所述目标像源利用所述第四颜色标识对应的颜色在所述非机动车的所在位置生成预警图形的具体过程包括以下步骤(21)至步骤(23)：

(21)根据所述周围环境图像确定所述非机动车的所在位置；

(22)获取缓存的所述预警图形，利用第四颜色标识对应的颜色对所述预警图形进行填充；

(23)根据确定的确定所述非机动车的所在位置，控制所述目标像源发出与所述非机动车融合的所述预警图形。

在上述步骤(21)中，可以通过任何现有的从数字图像确定物体位置的算法，根据所述周围环境图像确定所述非机动车的所在位置，这是现有技术，具体过程这里不再赘述。

在上述步骤(3)中，所述碰撞预警信息，用于表示所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值。

在一个实施方式中，所述碰撞预警信息，可以是“与前方行人距离过近，请注意”。

在上述步骤(4)中，可以采用现有的图像处理技术，根据所述非机动车的所在位置以及所述非机动车与车辆的距离，确定出与所述非机动车融合的非机动车指示框的第一尺寸，并基于所述周围环境图像中的非机动车轮廓，确定所述非机动车指示框的第一形状，具体过程这里不再赘述。

在上述步骤(5)中，将与所述非机动车与车辆的距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程与上述确定眼盒区域与所述移动目标的距离过程类似，这里不再赘述。

在上述步骤(6)中，所述第三颜色标识对应的颜色，可以是红色和粉色。

在上述步骤804中，所述碰撞预警信息的显示方式，可以包括但不限于如下多种方式：

(一)可为告警文字、图像、视频；或色彩鲜明、显著的图标、或提示动画，如红色的提示信息；或提示信息的亮度高于HUD显示的其他部分的画面亮度，也可以采取滚动、闪烁、跳动等效果，进一步提高警示效果。显示的位置应至少集中在驾驶员正对的前方，也可同时在副驾驶前方显示，对乘客进行提醒。

(二)用红色等鲜明色彩的形状或标志，对关键信息进行标注和提示，同时伴随语音提醒，如“前方有行人，注意避让”，进一步增强对驾驶员的提醒效果。

上述(一)至(二)描述的显示方式与传统的HUD的显示方式类似，这里不再赘述。

在上述步骤812中，所述第五颜色标识对应的颜色，可以是绿色和蓝色。

基于所述非机动车的当前所在位置将所述非机动车指示框与所述非机动车融合到一起，从而使观察者通过眼盒区域看到所述非机动车指示框与所述非机动车融合到一起的图像，以此确定所述车辆与由所述非机动车指示框标识出的非机动车距离大于所述碰撞安全距离阈值。

上述步骤806至步骤812的具体过程，与上述步骤804描述的ECU，用于当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时，生成碰撞预警信息，并将所述碰撞预警信息发送到AR-HUD进行展示的流程中(3)至步骤(6)所描述的具体过程类似，这里不再赘述。

当然，当确定所述非机动车与所述车辆的距离大于所述预警距离阈值时，说明车辆与周围的非机动车处于安全距离，那么也可以不执行上述步骤806至步骤812的具体过程，对与车辆处于安全距离的非机动车不进行标识。

在上述步骤814中，所述紧急制动长度阈值，可以是0.5米到1.5米之间的任意距离。

在有些情况下，需要对车辆周围存在的潜在行驶危险目标进行突出显示。所述潜在行驶危险目标，包括：恶略天气情况和所述车辆所在道路前方的状况信息。

当车辆周围存在潜在行驶危险目标时，所述ECU，还具体用于执行以下步骤(1)至步骤(2)：

(1)获取天气信息和/或者所述车辆所在道路的状况信息；

(2)当根据所述天气信息和/或者所述车辆所在道路的状况信息，确定所述车辆周围存在潜在行驶危险目标时，生成警示信息，并将生成的警示信息发送到AR-HUD进行展示。

在上述步骤(1)中，所述ECU通过无线通信设备，获取天气信息和/或者所述车辆所在道路的状况信息。

具体地，为了获取所述车辆所在道路的天气信息和所述车辆所在道路的状况信息，所述ECU会根据车辆所在道路的位置信息，确定车辆所在道路的行政区域，然后通过无线通信设备接入互联网，获取所述行政区域的天气信息和所述行政区域的交通信息，所述交通信息，包括：所述车辆所在道路的路况信息和状况信息。

所述车辆所在道路的天气信息，用于指示所述车辆所处道路处于良好天气情况，还是恶略天气情况。

所述良好天气情况，包括但不限于：晴天、多云间晴、以及多云。

所述恶略天气情况，包括但不限于：冰雹、暴雨、洪水、以及龙卷风。

所述车辆所在道路的状况信息，包括但不限于：包括：道路前方存在检修的提醒信息、道路前方存在损坏的提醒信息、道路前方出现交通事故的提醒信息、以及道路前方设有障碍的提醒信息。

道路前方存在检修的提醒信息，用于指示车辆所在道路前方存在检修路段。

道路前方存在损坏的提醒信息，用于指示车辆所在道路前方存在损坏路段。

道路前方出现交通事故的提醒信息，用于指示车辆所在道路前方存在交通事故路段。

道路前方设有障碍的提醒信息，用于指示车辆所在道路前方设置有障碍。

在上述步骤(2)中，可以采用以下方式，对警示信息进行显示：

基于AR增强系统，对行车安全的信息进行分析，将虚拟信息模拟仿真后，应用显示在HUD上，现实与虚拟两种信息互为补充，对警示信息进行增强。

(一)在HUD上显示信息,将有助于行驶的需标记信息标示出来，包括：潜在威胁车辆、潜在道路危险、恶劣道路条件、夜间行驶需注意信息等；

其中，安全标志可用绿色安全标示，危险标志可用红色警示标示；

根据实时道路状况和联网的道路信息，在画面中对行驶路线进行辅助，在正确行驶道路上标示辅助线和转向标志。

显示信息可以是文字、图像、视频，可以采取颜色加深、滚动、闪烁、跳动等提高警示效果。

(二)在AR-HUD上对关键信息进行标注和提示，存在潜在威胁车辆，可图示或语音提醒驾驶员威胁车辆信息；

(三)在AR-HUD上对关键信息进行标注和提示，存在潜在道路危险，可图示或语音提醒驾驶员道路状况信息。

当所述潜在行驶危险目标为恶略天气情况时，参见图9所示的潜在行驶危险目标为恶略天气情况时所述ECU执行的流程图，所述ECU，用于当根据所述天气信息和/或者所述车辆所在道路的状况信息，确定所述车辆周围存在潜在行驶危险目标时，生成警示信息，并将生成的警示信息发送到AR-HUD进行展示，包括以下步骤900至步骤912：

步骤900、当确定所述车辆所在道路存在恶略天气情况时，获取所述车辆所在道路的恶略天气道路图像并生成警示信息；

步骤902、对所述恶略天气道路图像进行处理，确定所述车辆所在道路的亮度值；

步骤904、当所述亮度值小于亮度阈值时，生成远光灯开启提示信息，通过所述AR-HUD展示所述远光灯开启提示信息，并从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置；

步骤906、根据所述路径位置，确定出所述车辆所在道路与所述眼盒区域的距离；

步骤908、将与所述车辆所在道路与所述眼盒区域的距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；其中，所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离；

步骤910、利用第六颜色，对所述车辆所在道路的路径轮廓进行填充，得到车辆所在道路的路径轮廓图；

步骤912、根据所述车辆所在道路的路径位置，通过所述目标像源将所述路径轮廓图投射到所述车辆所在道路上，使得所述路径轮廓图与所述车辆所在道路融合，同时将所述警示信息发送到目标像源进行展示。参见图14所示的AR-HUD将所述路径轮廓图与所述车辆所在道路融合的示意图，其中，实线部分是通过眼盒区域可以看到的道路部分，虚线部分是路径轮廓图展示的道路部分。

在上述步骤900中，所述ECU向所述车辆上安装的图像测距传感器发送图像获取指令，使得所述车辆上安装的图像测距传感器采集所述车辆所在道路的恶略天气道路图像。

在一个实现方式中，所述警示信息，可以是：“天气情况不好，请慢行”。

图像测距传感器接收到图像获取指令后，采集所述恶略天气道路图像后，将所述恶略天气道路图像发送给ECU。

在上述步骤902中，采用现有的图像亮度算法，对所述恶略天气道路图像进行处理，将处理得到的图像亮度值确定为所述车辆所在道路的亮度值。具体过程是现有技术，这里不再赘述。

在上述步骤904中，通过所述AR-HUD展示所述远光灯开启提示信息的过程与传统HUD的显示信息的过程类似，这里不再赘述。

而且，所述ECU可以采用现有的任何图像处理技术，从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置，具体过程这里不再赘述。

在一个实施方式中，所述远光灯开启提示信息，可以是“请开启远光灯”。

在上述步骤906中，从所述车辆所在道路的路径轮廓中得到所述车辆所在道路的几何中心，利用图像测距传感器测量所述车辆所在道路的几何中心与车辆的距离，并对所述车辆所在道路的几何中心与车辆的距离，与测量所述车辆所在道路的几何中心与车辆的距离的图像测距传感器与眼盒区域的距离进行求和计算，将求和计算的结果确定为所述车辆所在道路与所述眼盒区域的距离。

在上述步骤908中，确定目标像源的具体过程，与上述确定眼盒区域与所述移动目标的距离过程类似，这里不再赘述。

在上述步骤910中，所述第六颜色，可以是红色、蓝色、绿色等醒目的颜色。

在上述步骤912中，将所述警示信息发送到目标像源进行展示的过程，与传统HUD的显示信息的过程类似，这里不再赘述。

参见图10所示的潜在行驶危险目标为车辆所在道路前方的状况信息时所述ECU执行的流程图，以及参见图15所示的道路前方的状况为障碍时的AR-HUD展示图像的示意图，当所述潜在行驶危险目标是所述车辆所在道路前方的状况信息时，所述ECU，用于当根据所述天气信息和/或者所述车辆所在道路的状况信息，确定所述车辆周围存在潜在行驶危险目标时，生成警示信息，并将生成的警示信息发送到AR-HUD进行展示，包括以下步骤1000至步骤1008：

步骤1000、当获取到所述车辆所在道路的状况信息且所述车辆与发生所述状况信息对应道路状况的路段之间的距离小于道路状况显示距离阈值时，获取所述车辆所在道路的道路状况图像并生成警示信息；其中，所述道路状况图像，包括：所述车辆所在道路中发生道路状况的路段；

步骤1002、从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓；

步骤1004、将与发生所述道路状况的路段与所述车辆的距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；

步骤1006、利用第七颜色，对发生所述道路状况的路段的路段轮廓进行填充，得到发生所述道路状况的路段的状况轮廓图；

步骤1008、通过所述目标像源将所述状况轮廓图投射到发生所述道路状况的路段上，使得所述状况轮廓图与发生所述道路状况的路段融合。

在上述步骤1000中，发生道路状况的路段，可以是但不限于：检修路段、损坏路段、交通事故路段、以及设置有障碍路段。

所述道路状况显示距离阈值，可以是0到2公里之间的任意距离。

所述ECU向所述车辆上安装的图像测距传感器发送图像获取指令，使得所述车辆上安装的图像测距传感器采集所述车辆所在道路的道路状况图像。

图像测距传感器接收到图像获取指令后，采集所述道路状况图像后，测量车辆与发生道路状况的路段的距离，并根据图像测距传感器自身的传感器标识、所述道路状况图像、以及车辆与发生道路状况的路段的距离生成道路状况距离信息，将所述道路状况距离信息发送给ECU。

在上述步骤1002中，可以采用现有的任何图像处理算法，从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓，这是现有技术，具体过程这里不再赘述。

在上述步骤1004中，确定目标像源的过程，与上述确定眼盒区域与所述移动目标的距离过程类似，这里不再赘述。

在上述步骤1006中，所述第七颜色，可以是红色、粉色、以及绿色。

在有些情况下，需要对车辆的操作情况进行评价，并给出车辆的驾驶建议，参见图11所示的给出车辆驾驶建议时ECU所执行的流程图，所述ECU，还具体用于执行以下步骤1100至步骤1106：

步骤1100、当根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息，生成所述车辆的操作建议信息时，采集所述观察者的车辆操作视频，并通过所述AR-HUD将所述操作建议信息展示；

步骤1102、当确定操作规定时长内未检测到所述操作建议信息对应的操作时，生成危险驾驶信息，通过所述AR-HUD将所述危险驾驶信息展示，并对驾驶车辆指数进行减量操作；

步骤1104、当确定操作规定时长内检测到所述操作建议信息对应的操作时，对驾驶车辆指数进行增量操作；

步骤1106、当确定所述车辆未被操作的时长大于停车时间阈值时，停止采集车辆操作视频，并将所述驾驶车辆指数和采集到的所述车辆操作视频发送到所述AR-HUD进行展示。

在上述步骤1100中，所述导航信息是从导航设备获取到的；所述车辆的行驶速度、加速度、以及车辆状态信息是从OBD中获取到的。

根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息，生成所述车辆的操作建议信息的过程是现有技术，这里不再赘述。

所述操作建议信息，包括但不限于：建议行驶路线信息、建议档位信息、障碍提示信息、建议速度信息、和建议制动信息。

在上述步骤1102中，所述操作规定时长可以是3到5秒之间的任何时间长度。

所述驾驶车辆指数，用于评价车辆操作的合理程度；所述驾驶车辆指数越大，说明车辆操作越合理。

对驾驶车辆指数进行减量操作，是指在当前驾驶车辆指数的基础上，减去固定的指数变量，从而得到减量操作后的驾驶车辆指数。

在上述步骤1106中，对驾驶车辆指数进行增量操作的过程与对驾驶车辆指数进行减量操作的过程类似，这里不再赘述。

综上所述，本实施例提出一种多层次成像系统，通过设置能够发出至少两路光线的AR-HUD，从而能够在与眼盒区域距离不等的位置分别展示不同的图像，形成多个所述图像中的任一图像的光线能够进入眼盒区域，达到了多层次成像的目的，与相关技术中AR-HUD只能在固定位置呈现单层图像的方式相比，AR-HUD发出的至少两路光线中各路光线所呈现的图像能够在真实环境中与眼盒区域距离不等的位置上的场景分别进行融合，尽可能避免图像在和真实环境中的场景融合时产生的偏差，使观察者看到融合到一起的图像和场景，提高AR-HUD的使用体验。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种多层次成像系统，用于车辆，其特征在于，包括：车辆的挡风玻璃、安装在所述车辆上的电子控制单元ECU、数据采集设备、以及增强现实抬头显示器AR-HUD；

所述ECU分别与所述数据采集设备和所述AR-HUD通信连接；

2.根据权利要求1所述的多层次成像系统，其特征在于，所述AR-HUD，包括：曲面镜和至少两个像源；

至少两个像源能够分别发出至少两路光线；所述至少两路光线中的各路光线分别由所述至少两个像源中的不同像源发出，所述各路光线在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同；

3.根据权利要求2所述的多层次成像系统，其特征在于，所述行驶信息，包括：车辆的车速信息；所述环境信息，包括：所述车辆与周围车辆之间的车距信息；所述周围车辆，包括：位于所述车辆前方的前方车辆、位于所述车辆后面的后方车辆、以及位于所述车辆两侧的侧方车辆；

所述ECU，还具体用于：

获取所述车辆分别与所述前方车辆的第一距离、与所述后方车辆的第二距离、以及与两侧的所述侧方车辆的第三距离和第四距离；

根据所述车辆的车速信息，确定所述车辆与所述前方车辆的第一安全距离阈值；

当所述第一距离小于等于确定的所述第一安全距离阈值时，生成第一预警信息，并将所述第一预警信息发送到AR-HUD进行展示；

当所述第二距离小于等于第二安全距离阈值时，生成第二预警信息，并将所述第二预警信息发送到AR-HUD进行展示；其中，所述第二安全距离阈值，用于表示所述车辆与所述后方车辆的安全行驶距离；

当所述第三距离和/或者所述第四距离小于等于第三安全距离阈值时，生成第三预警信息，并将所述第三预警信息发送到AR-HUD进行展示；其中，所述第三安全距离阈值，用于表示所述车辆与所述侧方车辆的安全行驶距离。

4.根据权利要求3所述的多层次成像系统，其特征在于，所述ECU，用于生成第一预警信息，并将所述第一预警信息发送到AR-HUD进行展示，包括：

生成第一预警信息，并获取所述车辆与所述前方车辆之间的路径图像；

根据获取到的所述车辆与所述前方车辆之间的路径图像，识别出所述车辆与所述前方车辆之间的路径；

将与所述第一距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；其中，所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离；

利用第一颜色标识生成第一路径标识指令，并将生成的所述第一路径标识指令发送到所述AR-HUD中的目标像源，控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第一颜色标识对应的颜色展示出来，同时将所述第一预警信息发送到目标像源进行展示。

5.根据权利要求4所述的多层次成像系统，其特征在于，其特征在于，还包括：

当确定所述第一距离大于所述第一安全距离阈值时，根据所述第一距离从所述AR-HUD中选择出目标像源；

利用第二颜色标识生成第二路径标识指令，并将生成的所述第二路径标识指令发送到所述目标像源，控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第二颜色标识对应的颜色展示出来。

6.根据权利要求3所述的多层次成像系统，其特征在于，其特征在于，还包括：

当所述第一距离小于制动操作长度阈值且所述第一距离小于等于确定的所述第一安全距离阈值的时长大于第一预设时长阈值时，生成制动指令；

利用生成的所述制动指令，控制所述车辆执行制动操作。

7.根据权利要求1所述的多层次成像系统，其特征在于，所述ECU，还具体用于：

当确定所述车辆的所在位置是人流密集区域时，获取所述车辆的周围环境图像；

当根据所述周围环境图像确定所述车辆周围存在非机动车时，确定所述非机动车与所述车辆之间的距离；

当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时，生成碰撞预警信息，并将所述碰撞预警信息发送到AR-HUD进行展示。

8.根据权利要求7所述的多层次成像系统，其特征在于，所述ECU，用于生成碰撞预警信息，并将所述碰撞预警信息发送到AR-HUD进行展示，包括：

生成碰撞预警信息；

根据所述非机动车的所在位置以及所述非机动车与车辆的距离，确定出与所述非机动车融合的非机动车指示框的第一尺寸，并基于所述周围环境图像中的非机动车轮廓，确定所述非机动车指示框的第一形状；

将与所述非机动车与车辆的距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；其中，所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离；

利用第三颜色标识、非机动车指示框的第一尺寸和第一形状生成非机动车标识指令，通过所述非机动车标识指令控制所述目标像源利用所述第三颜色标识对应的颜色，按照确定的第一尺寸和第一形状生成所述非机动车指示框，并根据所述非机动车的所在位置将所述非机动车指示框与所述非机动车融合到一起，将所述非机动车标识出来，同时将所述碰撞预警信息发送到目标像源进行展示。

9.根据权利要求7所述的多层次成像系统，其特征在于，所述ECU，还具体用于：

确定所述非机动车的所在位置以及所述非机动车与车辆的距离；

当所述非机动车与车辆的距离大于碰撞安全距离阈值且小于等于预警距离阈值时，根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源；

控制所述目标像源利用所述第四颜色标识对应的颜色在所述非机动车的所在位置生成预警图形；其中，所述预警图形与所述非机动车融合到一起。

10.根据权利要求7所述的多层次成像系统，其特征在于，所述ECU，还具体用于：

当确定所述非机动车与所述车辆的距离大于所述预警距离阈值时，获取非机动车图像，并确定所述非机动车的当前所在位置；

根据所述非机动车的所述当前所在位置以及所述非机动车与车辆的距离，确定出与所述非机动车融合的非机动车指示框的第二尺寸，并基于所述非机动车图像中的非机动车轮廓，确定所述非机动车指示框的第二形状；

根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源；

利用第五颜色标识、非机动车指示框的第二尺寸和第二形状生成非机动车标识指令，通过所述非机动车标识指令控制所述目标像源利用所述第五颜色标识对应的颜色，按照确定的第二尺寸和第二形状生成非机动车指示框，并基于所述非机动车的当前所在位置将所述非机动车指示框与所述非机动车融合到一起。

11.根据权利要求1所述的多层次成像系统，其特征在于，所述环境信息，还包括：天气信息和所述车辆所在道路的状况信息；

所述ECU，还具体用于：

获取天气信息和/或者所述车辆所在道路的状况信息；

当根据所述天气信息和/或者所述车辆所在道路的状况信息，确定所述车辆周围存在潜在行驶危险目标时，生成警示信息，并将生成的警示信息发送到AR-HUD进行展示。

12.根据权利要求11所述的多层次成像系统，其特征在于，所述潜在行驶危险目标，包括：恶略天气情况；

所述ECU，用于当根据所述天气信息和/或者所述车辆所在道路的状况信息，确定所述车辆周围存在潜在行驶危险目标时，生成警示信息，并将生成的警示信息发送到AR-HUD进行展示，包括：

当确定所述车辆所在道路存在恶略天气情况时，获取所述车辆所在道路的恶略天气道路图像并生成警示信息；

对所述恶略天气道路图像进行处理，确定所述车辆所在道路的亮度值；

当所述亮度值小于亮度阈值时，生成远光灯开启提示信息，通过所述AR-HUD展示所述远光灯开启提示信息，并从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置；

根据所述路径位置，确定出所述车辆所在道路与所述眼盒区域的距离；

将与所述车辆所在道路与所述眼盒区域的距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；其中，所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离；利用第六颜色，对所述车辆所在道路的路径轮廓进行填充，得到车辆所在道路的路径轮廓图；

根据所述车辆所在道路的路径位置，通过所述目标像源将所述路径轮廓图投射到所述车辆所在道路上，使得所述路径轮廓图与所述车辆所在道路融合，同时将所述警示信息发送到目标像源进行展示。

13.根据权利要求11所述的多层次成像系统，其特征在于，所述潜在行驶危险目标，包括：所述车辆所在道路前方的状况信息；

当获取到所述车辆所在道路的状况信息且所述车辆与发生所述状况信息对应道路状况的路段之间的距离小于道路状况显示距离阈值时，获取所述车辆所在道路的道路状况图像并生成警示信息；其中，所述道路状况图像，包括：所述车辆所在道路中发生道路状况的路段；

从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓和路段位置，并根据所述路段位置，确定发生所述道路状况的路段与所述车辆的距离；

将与发生所述道路状况的路段与所述车辆的距离相匹配的像距作为目标像距，并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源；

利用第七颜色，对发生所述道路状况的路段的路段轮廓进行填充，得到发生所述道路状况的路段的状况轮廓图；

通过所述目标像源将所述状况轮廓图投射到发生所述道路状况的路段上，使得所述状况轮廓图与发生所述道路状况的路段融合。

14.根据权利要求1所述的多层次成像系统，其特征在于，所述行驶信息，包括：所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息；所述环境信息，包括：导航信息；

所述ECU，还具体用于：

当根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息，生成所述车辆的操作建议信息时，采集所述观察者的车辆操作视频，并通过所述AR-HUD将所述操作建议信息展示；

当确定操作规定时长内未检测到所述操作建议信息对应的操作时，生成危险驾驶信息，通过所述AR-HUD将所述危险驾驶信息进行展示，并对驾驶车辆指数进行减量操作；

当确定操作规定时长内检测到所述操作建议信息对应的操作时，对驾驶车辆指数进行增量操作；

当确定所述车辆未被操作的时长大于停车时间阈值时，停止采集车辆操作视频，并将所述驾驶车辆指数和采集到的所述车辆操作视频发送到所述AR-HUD进行展示。

15.根据权利要求2所述的多层次成像系统，其特征在于，至少两个像源，包括：设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的远距离成像像源；

16.根据权利要求2所述的多层次成像系统，其特征在于，所述AR-HUD，包括：第一像源、第二像源、第一透反膜和曲面镜；

所述第一像源，能够发出第一光线，所述第二像源，能够发出第二光线；

所述第一透反膜，能够透过入射的所述第一光线且对入射的所述第二光线进行反射；

所述第一透反膜设置在所述第一像源和所述第二像源之间；

所述曲面镜将入射的所述第一光线反射出所述抬头显示设备，使得反射出抬头显示设备的所述第一光线能够根据所述第一光线自身的传播路径长度，形成第一图像；

所述曲面镜将入射的所述第二光线反射出所述抬头显示设备，使得反射出抬头显示设备的所述第二光线能够根据所述第二光线自身的传播路径长度，形成第二图像；

所述第一光线和所述第二光线的传播路径长度不同，使得所述第一图像与观察者之间的距离和所述第二图像与观察者之间的距离不同；

其中，所述第一光线和所述第二光线的偏振特性不同。

17.根据权利要求16所述的多层次成像系统，其特征在于，还包括：第二透反膜和第三像源；

所述第三像源，能够发出第三光线；

所述第二透反膜设置在所述第一透反膜和所述第一像源之间；

所述第二透反膜，能够透过入射的所述第一光线且对入射的所述第三光线进行反射；所述第一透反膜将入射的所述第三光线透过，使得所述第三光线入射到所述曲面镜；

所述曲面镜将入射的所述第三光线反射出所述抬头显示设备，使得反射出抬头显示设备的所述第三光线能够根据所述第三光线自身的传播路径长度，形成第三图像；

所述第三光线与所述第一光线和所述第二光线的传播路径长度不同，使得所述第三图像与观察者之间的距离和第一图像与观察者之间的距离、以及所述第二图像与观察者之间的距离都不相同；

其中，所述第三光线和所述第四光线的偏振特性不同。

18.根据权利要求17所述的多层次成像系统，其特征在于，所述第二透反膜设置在所述第二像源和所述第一透反膜之间；

所述第二透反膜，能够透过入射的所述第二光线且对入射的所述第三光线进行反射；所述第一透反膜将入射的所述第三光线反射到所述曲面镜；

19.根据权利要求17或者18所述的多层次成像系统，其特征在于，将所述第一像源、所述第二像源、或者所述第三像源设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置，使得设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的所述第一像源、所述第二像源、或者所述第三像源发出的光线射出AR-HUD后能够形成远距离图像。