CN113103955A - 一种多层次成像系统 - Google Patents

一种多层次成像系统 Download PDF

Info

Publication number
CN113103955A
CN113103955A CN202010029223.6A CN202010029223A CN113103955A CN 113103955 A CN113103955 A CN 113103955A CN 202010029223 A CN202010029223 A CN 202010029223A CN 113103955 A CN113103955 A CN 113103955A
Authority
CN
China
Prior art keywords
vehicle
image
distance
hud
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010029223.6A
Other languages
English (en)
Inventor
吴慧军
徐俊峰
方涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future Beijing Black Technology Co ltd
Original Assignee
Future Beijing Black Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future Beijing Black Technology Co ltd filed Critical Future Beijing Black Technology Co ltd
Priority to CN202010029223.6A priority Critical patent/CN113103955A/zh
Priority to PCT/CN2021/071146 priority patent/WO2021139818A1/zh
Publication of CN113103955A publication Critical patent/CN113103955A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view

Abstract

本发明提供了一种多层次成像系统,设置有全车窗HUD,所述全车窗HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述全车窗HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域,由于全车窗HUD中多个光源的排布方式与所述挡风玻璃的可视区域相匹配,使得全车窗HUD发出的光线能够展示一个覆盖所述挡风玻璃的可视区域的图像,达到了能够在挡风玻璃的可视区域内的任何位置显示图像的目的,从而可以通过全车窗HUD显示更加丰富的内容。

Description

一种多层次成像系统
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种多层次成像系统。
背景技术
目前,随着汽车智能化、车联网、自动驾驶等技术的不断发展,移动车载终端接收到的信息及扩展的各类应用层出不穷,人们对将汽车内所有显示屏联通,灵活显示各类信息的需求越来越大,但驾驶员在进行相关操作时视线容易偏离,有潜在的安全风险。
而HUD技术可以避免驾驶员在驾驶过程中低头看仪表盘或其他显示屏所导致的分心,提高驾驶安全系数,同时也能带来更好的驾驶体验,近些年正受到越来越多的关注,在车载智能显示方面拥有巨大的应用潜力。
然而,基于自由曲面反射镜的传统HUD的视场角(FOV,Field of View)较小,导致HUD画像的显示尺寸很小,无法显示更加丰富的内容,降低了HUD的使用体验。
发明内容
为解决上述问题,本发明实施例的目的在于提供一种多层次成像系统。
第一方面,本发明实施例提供了一种多层次成像系统,用于车辆,包括:车辆的挡风玻璃、安装在所述车辆上的电子控制单元ECU、数据采集设备、以及全车窗HUD;
所述ECU分别与所述数据采集设备和所述全车窗HUD通信连接;
所述数据采集设备,用于获取所述车辆周围的环境信息,并将获取到的所述环境信息发送给所述ECU;
所述ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示;
所述全车窗HUD,用于将所述ECU发送的所述环境信息和所述车辆的行驶信息展示出来;
所述全车窗HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述全车窗HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域;其中,所述图像,包括:所述环境信息和所述车辆的行驶信息;
所述挡风玻璃,用于将所述全车窗HUD发出的光线反射到眼盒区域中。
本发明实施例上述第一方面提供的方案中,设置有全车窗HUD,所述全车窗HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述全车窗HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域,与相关技术中基于自由曲面反射镜、FOV较小的传统HUD相比,由于全车窗HUD中多个光源的排布方式与所述挡风玻璃的可视区域相匹配,使得全车窗HUD发出的光线能够展示一个覆盖所述挡风玻璃的可视区域的图像,达到了能够在挡风玻璃的可视区域内的任何位置显示图像的目的,从而可以通过全车窗HUD显示更加丰富的内容,提高了HUD的使用体验。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a示出了本发明实施例所提供的一种多层次成像系统中,全车窗HUD显示图像的示意图一;
图1b示出了本发明实施例所提供的多层次成像系统中,全车窗HUD显示图像的示意图二;
图2示出了本发明实施例所提供的多层次成像系统中,全车窗HUD的结构示意图;
图3示出了本发明实施例所提供的多层次成像系统中,光线控制装置的结构示意图;
图4a示出了本发明实施例所提供的多层次成像系统中,光线汇聚单元的第一种实现方式的结构示意图;
图4b示出了本发明实施例所提供的多层次成像系统中,光线汇聚单元的第二种实现方式的结构示意图;
图4c示出了本发明实施例所提供的多层次成像系统中,光线汇聚单元的第三种实现方式的结构示意图;
图4d示出了本发明实施例所提供的多层次成像系统中,光线汇聚单元的第四种实现方式的结构示意图;
图5示出了本发明实施例所提供的多层次成像系统中,光线控制装置的一种排列方式;
图6示出了本发明实施例所提供的多层次成像系统中,光线控制装置的另一种排列方式;
图7示出了本发明实施例所提供的多层次成像系统中,AR-HUD的成像原理示意图;
图8示出了本发明实施例所提供的多层次成像系统中,眼盒区域能够看到的AR-HUD所呈现的多个图像的示意图;
图9a示出了本发明实施例所提供的多层次成像系统中,第一种AR-HUD的结构示意图;
图9b示出了本发明实施例所提供的多层次成像系统中,第二种AR-HUD的结构示意图;
图9c示出了本发明实施例所提供的多层次成像系统中,第三种AR-HUD的结构示意图;
图9d示出了本发明实施例所提供的多层次成像系统中,第四种AR-HUD的结构示意图;
图10示出了本发明实施例所提供的多层次成像系统中,全车窗HUD发出标识所述车辆的周围车辆车距的流程图;
图11示出了本发明实施例所提供的多层次成像系统中,全车窗HUD展示第一预警信息且AR-HUD将车辆与其距离过近的机动车之间的路径标识出来的示意图;
图12示出了本发明实施例所提供的多层次成像系统中,车辆与前方车辆距离过近时,控制所述AR-HUD的显示车辆与其车距过近的与前方车辆之间路径的流程图;
图13示出了本发明实施例所提供的多层次成像系统中,全车窗HUD展示碰撞预警信息的流程图;
图14示出了本发明实施例所提供的多层次成像系统中,全车窗HUD展示碰撞预警信息且AR-HUD将车辆与其距离过近的非机动车标识出来的示意图;
图15示出了本发明实施例所提供的多层次成像系统中,车辆与非机动车距离过近时,控制所述AR-HUD的标识出与车辆距离过近的非机动车的流程图;
图16示出了本发明实施例所提供的多层次成像系统中,ECU控制全车窗HUD将天气信息和所述车辆所在道路的状况信息展示出来的流程图;
图17示出了本发明实施例所提供的多层次成像系统中,当确定车辆所在地区当前是恶略天气情况时,可以在全车窗HUD展示警示信息的同时AR-HUD展示与道路融合的图像的意图;
图18示出了本发明实施例所提供的多层次成像系统中,潜在行驶危险目标为恶略天气情况时所述ECU控制AR-HUD展示图像的流程图;
图19示出了本发明实施例所提供的多层次成像系统中,潜在行驶危险目标为所述车辆所在道路前方的状况信息时所述ECU控制AR-HUD展示图像的流程图;
图20示出了本发明实施例所提供的多层次成像系统中,给出车辆驾驶建议时ECU所执行的流程图;
图21a示出了本发明实施例所提供的多层次成像系统中,AR-HUD和全车窗HUD的成像侧视图;
图21b示出了本发明实施例所提供的多层次成像系统中,AR-HUD和全车窗HUD同时工作时展示图像的示意图一;
图21c示出了本发明实施例所提供的多层次成像系统中,AR-HUD和全车窗HUD同时工作时展示图像的示意图二。
具体实施方式
目前,随着汽车智能化、车联网、自动驾驶等技术的不断发展,移动车载终端接收到的信息及扩展的各类应用层出不穷,人们对将汽车内所有显示屏联通,灵活显示各类信息的需求越来越大,但驾驶员在进行相关操作时视线容易偏离,有潜在的安全风险。
而HUD技术可以避免驾驶员在驾驶过程中低头看仪表盘或其他显示屏所导致的分心,提高驾驶安全系数,同时也能带来更好的驾驶体验,近些年正受到越来越多的关注,在车载智能显示方面拥有巨大的应用潜力。然而,基于自由曲面反射镜的传统HUD的FOV较小,导致HUD画像的显示尺寸很小,无法显示更加丰富的内容,降低了HUD的使用体验。
基于此,本申请实施例提出一种多层次成像系统,设置有全车窗HUD,所述全车窗HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述全车窗HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域,与相关技术中基于自由曲面反射镜、FOV较小的传统HUD相比,由于全车窗HUD中多个光源的排布方式与所述挡风玻璃的可视区域相匹配,使得全车窗HUD发出的光线能够展示一个覆盖所述挡风玻璃的可视区域的图像,达到了能够在挡风玻璃的可视区域内的任何位置显示图像的目的,从而可以通过全车窗HUD显示更加丰富的内容,提高了HUD的使用体验。
参见图1a和图1b所示的全车窗HUD显示图像的示意图,所述覆盖所述挡风玻璃的可视区域的图像,可以是指全部覆盖挡风玻璃中全部可视区域的图像,也可以是部分覆盖挡风玻璃中全部可视区域的图像。
在本实施例中,所述图像,是虚像,呈现在挡风玻璃远离观察者的一侧。
术语“覆盖”是指:观察者能够通过眼盒区域在挡风玻璃位置处看到与挡风玻璃的可视区域等大或者比可视区域略小的图像;从观察者的角度出发感觉图像是在挡风玻璃上呈现出来的,并不是指图像真正呈现在挡风玻璃上。
所述挡风玻璃,可以采用现有的任何形状的车辆挡风玻璃进行AR-HUD图像的展示,这里不再赘述。
所述ECU,不仅包含车辆车速、马达、油耗、换挡效率等车辆状态的控制装置,还可以包括娱乐交互系统及车联网系统等车载系统。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请做进一步详细的说明。
实施例1
本实施例提出一种多层次成像系统,用于车辆,包括:车辆的挡风玻璃、安装在所述车辆上的电子控制单元ECU、数据采集设备、以及全车窗HUD。
所述ECU分别与所述数据采集设备和所述全车窗HUD通信连接。
所述数据采集设备,用于获取所述车辆周围的环境信息,并将获取到的所述环境信息发送给所述ECU。
所述数据采集设备,包括但不限于:安装在车辆上的传感器、导航设备和无线通信设备;所述传感器、导航设备和所述无线通信设备分别与所述ECU连接。
所述传感器,包括但不限于:图像测距传感器。
其中,所述图像测距传感器,安装在车辆的四周,用于在测量车辆与周围物体的距离的同时,还可以采集车辆的周围环境图像;从而可以将测量到的车辆与周围物体的距离和车辆的周围环境图像一起发生给ECU。
为了确定眼盒区域与车辆周围物体的距离,所述ECU中,存储有各图像测距传感器分别与眼盒区域的距离,可以通过图像测距传感器的传感器标识和距离的对应关系的方式存储。
各图像测距传感器分别与眼盒区域的距离,是各图像测距传感器安装到车辆后,通过工作人员测量得到并存储到车辆的ECU中。
所述无线通信设备,用于使ECU接入互联网,获取车辆所处区域的天气信息和路况信息。
所述导航设备,用于对所述车辆的行驶路径进行规划,得到车辆的导航信息,指示车辆按照导航信息行驶,并将得到的导航信息发送给ECU。
所述ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示。
所述车辆的行驶信息,包括但不限于:车辆的车速信息、所述车辆的位置信息、所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息。
所述车辆状态信息,包括但不限于:发动机状态信息、变速箱状态信息、以及车辆当前的电量和/或者油量。
所述车辆的操作信息,包括但不限于:车辆的变速箱换挡操作、加/减速操作、以及转向操作。
所述车辆的车速信息、所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息,是ECU从车载自动诊断系统(On-Board Diagnostics,OBD)中获取到的。
所述车辆周围的环境信息,包括但不限于:所述车辆与周围车辆之间的车距信息、所述车辆所在道路的天气信息、所述车辆所在道路的状况信息、以及导航信息。
所述车辆与周围车辆之间的车距信息,是通过上述图像测距传感器得到的。
所述周围车辆,包括:位于所述车辆前方的前方车辆、位于所述车辆后面的后方车辆、以及位于所述车辆两侧的侧方车辆。
所述车辆所在道路的天气信息和所述车辆所在道路的状况信息,是ECU接入互联网后获取到的。
所述导航信息,是车辆的导航设备发送给ECU的。
所述全车窗HUD,用于将所述ECU发送的所述环境信息和所述车辆的行驶信息展示出来。
所述全车窗HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述全车窗HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域;其中,所述图像,包括:所述环境信息和所述车辆的行驶信息。
所述挡风玻璃,用于将所述全车窗HUD发出的光线反射到眼盒区域中。
为了能够在所述挡风玻璃的可视区域上显示一个能够覆盖所述挡风玻璃的可视区域的图像,参见图2所示的全车窗HUD的结构示意图,所述全车窗HUD,包括:投影设备102和光线控制装置100。
所述投影设备102安装在车辆内;所述光线控制装置100设置在所述车辆的中控台与挡风玻璃相对的表面上。
在一个实现方式中,所述投影设备102可以安装在观察者的上方。
所述投影设备,用于发出能够入射到所述光线控制装置的光线。
所述光线控制装置100,用于改变所述投影设备102发出光线的出射方向,使得所述光线在经过所述挡风玻璃104反射后入射到眼盒区域中。
具体地,所述光线控制装置100,对光线起对向反射作用,用于将入射的光线沿入射方向的相反方向反射出去。
所述光线控制装置的大小和形状与所述挡风玻璃104的可视区域相匹配;使得所述投影设备发出的光线经过光线控制装置反射到挡风玻璃104后,能够呈现出覆盖所述挡风玻璃的可视区域的图像。
参见图3所示的光线控制装置的结构示意图,所述光线控制装置,包括:光线汇聚单元1000和衍射光学元件1002;所述衍射光学元件1002设置在所述光线汇聚单元1000上。
当有光线入射时,所述光线汇聚单元1000将所述光线沿所述光线的入射方向的相反方向反射至所述衍射光学元件1002,从而改变所述投影设备发出光线的出射方向,使得所述投影设备102发出的光线能够进入所述眼盒区域。
所述衍射光学元件1002将入射的光线扩散并形成光斑。
所述衍射光学元件1002,用于控制光线的扩散程度,光线弥散后的传播角度和光斑尺寸决定了最终成像的亮度及可视角,所述衍射光学元件1002的弥散角度越小,成像亮度越高,可视角也越小;所述衍射光学元件1002的弥散角度越大,成像亮度越小,可视角也越大。所述衍射光学元件1002可以将经过光线汇聚单元1000控制后所汇聚的光线以一定角度进行弥散,从而覆盖所需要的眼盒区域。
所述眼盒区域,是指观察者可以观察到光斑所呈现图像的区域。
光线经过衍射光学元件之后,会弥散开来并且形成一个特定形状的光斑1061,该特定形状的光斑1061的大小和形状由衍射光学元件的微观结构所决定。衍射光学元件采用可以形成多种光斑1061形状的光束整形器。该光斑1061的多种形状,可以是但不限于:线形、圆形、椭圆形、正方形、长方形、以及蝙蝠翼形状。
光线汇聚单元1000用于对入射的光线进行对向反射,将入射的光线沿光线入射方向的相反方向射出,避免入射的光线发散到各处。光线汇聚单元1000中的术语“汇聚”,是指将入射的光线沿光线入射方向的相反方向射出,实质上是对向反射的含义。
为了对光线进行汇聚,上述光线汇聚单元1000,可以采用如下多种方式实现:
光线汇聚单元1000的表面可以是由倒三角锥微结构组成,优选可以为正三角形三角锥微结构或等腰三角形三角锥微结构;也可以由如图4a所示的立方体微结构组成,这些微结构都可以将入射的光线沿光线入射方向的相反方向射出。
参见图4b所示的光线汇聚单元的第二种实现方式的结构示意图,光线汇聚单元,包括:倒三角锥微结构400、支撑结构402和基板层404,倒三角锥微结构400设置在所述支撑结构402上;所述支撑结构402设置在所述基板层404上;所述倒三角锥微结构400的折射率需要满足大于所述支撑结构3802的折射率。所述倒三角锥微结构400将入射光线中入射角大于临界角的光线以全反射的方式沿所述光线的入射方向的相反方向反射至所述弥散元件。
所述支撑结构402,可以采用正三角锥微结构,使所述支撑结构402能够与所述倒三角锥微结构400紧密贴合。
在一个实施方式中,所述支撑结构402足够支撑倒三角锥微结构400时,可以不设置基板层404。
参见图4c所示的光线汇聚单元的第三种实现方式的结构示意图,光线汇聚单元1000可以采用对向反射颗粒将入射的光线沿光线入射方向的相反方向射出。光线汇聚单元1000,可以是透明的球状颗粒和椭球状颗粒,可以采用玻璃珠、透明树脂、高分子聚合物或其他与玻璃性质类似的材料制成的颗粒,可以使用暴露型颗粒、密封型颗粒、以及埋入型颗粒。
在一个实施方式中,对向反射颗粒表面可以涂覆有金属反射层;。所述金属反射层可以涂覆在对向反射颗粒O点(即反射点)附近的表面上。如图4c所示,光线汇聚单元主要利用了球状的对向反射颗粒表面的金属反射层。当光线射向球状的对向反射颗粒时,在球状的对向反射颗粒表面P点发生折射,折射光在O点发生镜面反射,然后在Q点再发生折射,从而沿光线入射方向的相反方向射出对向反射颗粒。
可选地,还可以通过超材料对光线进行相位调制,在超材料结构中经过多次相位累计改变,使得入射光线和出射光线之前的相位累计改变π,从而起到对向反射的作用。
参见图4d所示的光线汇聚单元的第四种实现方式的结构示意图,光线汇聚单元1000可以由超材料制成,包括:在光线入射方向上依次设置的光线汇聚层500、隔离层501、平面反射层502、以及衬底503,平面反射层502位于光线汇聚层500的焦平面上。
光线汇聚层500和平面反射层502分别采用不同的超材料制成。
所述光线汇聚层,通过改变入射的光线的相位,将入射的光线汇聚到所述平面反射层上,并将所述平面反射层反射回的光线沿光线入射所述光线汇聚层的方向的相反方向反射至所述弥散元件;
所述平面反射层,能够改变所述光线汇聚层汇聚的光线的相位,并将相位改变后的光线反射至所述光线汇聚层。
所述不同的超材料,是指具有不同尺寸、成份、形状、或者排布方式的材料。
光线在超材料制成的光线汇聚单元1000的各部分:光线汇聚层400、第二隔离层401、平面反射层402、以及衬底404的共同作用下相位累计改变π,超材料制成的光线汇聚单元1000对所述光线起到对向反射作用,使得光线能够沿光线的入射方向的相反方向反射出来。
由于挡风玻璃并不是平面的,具有一定的弧度,直接借助挡风玻璃成像会存在桶形畸变或者枕形畸变的问题。本实施例中,光线汇聚单元1000可以按照第一畸变形态排布,该第一畸变形态与挡风玻璃的第二畸变形态呈相反且对应的关系。
具体参见图5和图6所示,采用矩形方式排列的光线控制装置100在挡风玻璃104上成像时,采用矩形方式排列的光线控制装置100可以在挡风玻璃104上成一个虚像,但是由于挡风玻璃具有第二畸变形态,故该虚像是畸变的像,图5中挡风玻璃104上的网格图形表示枕形畸变的虚像。本实施例中,根据挡风玻璃104的第二畸变形态来确定与其呈对应且相反关系的第一畸变形态,并按照第一畸变形态排布光线控制装置100,以消除挡风玻璃带来的畸变。具体参见图6所示,本实施例中的光线控制装置100按照第一畸变形态来排布,从而在挡风玻璃104上可以形成不存在畸变的虚像,图6中挡风玻璃104上的网格图形表示不存在畸变的虚像。
通过以上内容可以看出,通过对光线控制装置100按照特定排列方式进行排列,可以消除因有弧度的挡风玻璃造成的成像畸变,使得HUD在挡风玻璃上的成像更加规则。
在通过以上内容对HUD的结构进行描述之后,为了达到多层次成像的目的,本实施例提出的多层次成像系统,还可以包括:增强现实抬头显示器(Augmented Reality HeadUp Display,AR-HUD)。AR-HUD是HUD中的一种,可以实现很好的视觉体验。
相关技术中,AR-HUD,包括:像源、平面镜和曲面镜;所述像源发出的光线经过曲面镜反射后入射到平面镜,并在平面镜上发生反射后从所述AR-HUD的出光口射出,射出的光线入射至车辆的挡风玻璃,并在挡风玻璃远离眼盒区域的一侧的固定位置呈现出一个单层图像。由于真实环境中的各种场景与眼盒区域的距离可能是几米、几十米或者上百米远,而相关技术中提出的AR-HUD在固定位置呈现出的单层图像与眼盒区域的距离是固定的,无法和真实环境中与眼盒区域距离几米、几十米或者上百米远的场景在视觉上都进行融合,导致单层图像在和真实环境中的场景融合时容易产生偏差,使观察者经常看到没有融合到一起的图像和场景,降低AR-HUD的使用体验。
参见图7所示的AR-HUD的成像原理示意图,AR-HUD中像源出射的光线在曲面镜上发生反射,反射光线出射至眼盒区域,使得观察者可在眼盒区域观察到形成于挡风玻璃外的图像。光线在挡风玻璃上发生反射的现象,可近似认为是平面镜成像。根据AR-HUD的结构及光学原理,像源发出的光线在曲面镜上发生反射,随后出射至挡风玻璃,即可认为,在曲面镜远离像源的一侧形成有发出光线的等效像源,根据平面镜成像规律,AR-HUD形成的图像与成像的等效像源之间关于反射介质对称。
所述等效像源,为像源发出的光线在曲面镜上反射后,在曲面镜远离像源的一侧形成的图像。
因此,要形成与所述眼盒区域距离不等的多个图像,就要增加AR-HUD中等效像源的数量,使得AR-HUD中存在位置不同的至少两个等效像源。
而所述等效像源的位置由曲面镜的成像特性决定,根据以下公式1给出的曲面镜成像规律:
Figure BDA0002362881700000131
其中,f表示曲面镜的焦距;u表示像源与曲面镜之间的距离,即像源在曲面镜成像的物距;v表示像源在曲面镜上所成图像与曲面镜之间的距离,即像源在曲面镜成像的像距。通过公式(1)可以看出,所述等效像源的位置,即像源在曲面镜所成图像的位置,与像源在曲面镜成像的像距直接相关,像源在曲面镜成像的像距越大,说明该像源的等效像源的位置与曲面镜的距离越远。
为了增加像源的像距,可以将像源放置在曲面镜的焦平面或者趋近于曲面镜焦平面的位置。
因此,所述等效像源的位置,与以下两个参数有关:曲面镜的焦距以及像源在曲面镜成像的像距(即像源与曲面镜之间的距离)。
而在AR-HUD中,曲面镜的焦距是预先设计好的,很难做出改变。所以,要形成与所述眼盒区域距离不等的多个图像,就需要增加像源到曲面镜发出的光线数量,使得像源向曲面镜发出至少两路光线,该至少两路光线中的各路光线在入射到曲面镜后,能够分别形成位置不同的等效像源。
而,AR-HUD中存在位置不同的等效像源后,根据图7所示的成像原理,该位置不同的等效像源中的各等效像源就可以分别在挡风玻璃远离眼盒区域的一侧形成与眼盒区域距离不同的图像,与眼盒区域距离不同的图像能够在视觉上与真实环境中与眼盒区域距离不等的位置上的场景分别进行融合。
在本实施例中,术语“视觉上图像与真实环境(真实环境中的场景)融合”,是指观察者的双眼在眼盒区域看到的AR-HUD呈现的图像与真实环境(真实环境中的场景)是完全贴合/重合到一起的。
基于此,为了使AR-HUD产生的图像能够与真实环境中与眼盒区域距离不同的各种场景在视觉上都进行融合,解决上述的技术问题,参见图8所示的眼盒区域能够看到的AR-HUD所呈现的多个图像的示意图,本实施例提出的多层次成像系统,还包括:与所述ECU通信连接的AR-HUD。
所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD。
所述AR-HUD,用于发出至少两路光线到所述挡风玻璃,所述至少两路光线中的各路光线,能够分别展示与眼盒区域距离不等的多个图像;其中,所述多个图像中的各图像能够与距离匹配的目标融合。
参见图9a所示的本实施例提出的第一种AR-HUD的结构示意图,所述AR-HUD,包括:曲面镜902和至少两个像源900。
至少两个像源900能够分别发出至少两路光线;所述至少两路光线中的各路光线分别由所述至少两个像源900中的不同像源发出,所述各路光线在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同。
所述曲面镜将入射的至少两路光线反射出所述AR-HUD,使得反射出AR-HUD的至少两路光线中的各路光线能够根据各路光线自身的传播路径长度,分别形成与眼盒区域距离不等的图像。
所述曲面镜902,可以是但不限于:球面镜、双曲面镜、抛物面镜、以及自由曲面镜。
所述像源900,能够发出呈现图像的光线。
至少两个像源900中各像源发出的光线,在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同,说明各像源在曲面镜成像的物距不同,而曲面镜的焦距是不变的,根据上述公式1给出的曲面镜成像规律,这使各像源在曲面镜成像的像距不同,即各像源的等效像源与曲面镜的距离不同;所以,各像源发出的光线能够形成与所述眼盒区域距离不等的图像。
所述图像,是与真实环境中需要融合的场景距离匹配的图像。
所述场景,可以是但不限于:车辆周围出现的机动车、非机动车、行人、动物、变道区域、车辆所在道路前方存在检修路段、车辆所在道路前方存在损坏路段、车辆所在道路前方设置有障碍、以及车辆所在道路前方存在交通事故路段。
所以,为了达到多层次成像的目的,ECU中还存储有AR-HUD中各像源的像源标识和像距的对应关系。
其中,各像源的像距,是AR-HUD出厂前设置好的。
在一个实施方式中,各像源的像距,可以设置为几米、十几米、几十米、以及更远处。可以通过像源标识和像距的对应关系的方式存储在ECU中。
所述与场景距离匹配的图像的确定过程包括:ECU对场景与眼盒区域的距离分别与各像源的像距进行差值计算,将与场景与眼盒区域的距离差值最小的像距对应的图像确定为与场景距离匹配的图像。
根据上述公式1给出的曲面镜成像规律,发现将像源放在曲面镜的焦平面或者靠近焦平面的位置时,可以将图像呈现在距离眼盒区域无穷远的地方,使观察者看到不存在视差的图像。
所述视差,是指观察者的双眼在眼盒区域看到的图像与真实环境中的场景在水平方向和/或者垂直方向不能融合的情况。
为了能在无穷远处成像,AR-HUD中的至少两个像源,包括:设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的远距离成像像源。
所述远距离成像像源发出的光线射出AR-HUD后能够形成远距离图像。
所述远距离图像,用于消除观察者观看图像时的视差。
参见图21a所示的AR-HUD和全车窗HUD的成像侧视图,在至少两个像源分别呈现的图像中,远距离成像像源呈现的远距离图像与所述眼盒区域的距离最远。即所述远距离图像是至少两个像源分别呈现的图像中与眼盒区域水平距离最远的图像。
AR-HUD和全车窗HUD同时工作时展示图像的示意图如图21b和图21c所示。
图9a所示AR-HUD的结构中只包括两个像源的情况仅为示意,AR-HUD还可以包括更多的像源,这里不再一一赘述。
参见图9b所示的本实施例提出的第二种AR-HUD的结构示意图,AR-HUD,还包括:平面反射镜904。
所述平面反射镜904将所述至少两个像源发出的至少两路光线反射到所述曲面镜。
参见图9c所示的本实施例提出的第三种AR-HUD的结构示意图,AR-HUD,包括:第一像源906、第二像源908、第三像源910、第一透反膜912、第二透反膜914、平面反射镜904和曲面镜902。
所述第一像源906、所述第二像源908和所述第三像源910分别设置在所述AR-HUD内的不同位置上;所述第一像源906,能够发出第一光线,所述第二像源908,能够发出第二光线;所述第三像源910,能够发出第三光线。
所述第一透反膜912设置在所述第一像源和所述第二像源之间。
所述第二透反膜914设置在所述第二像源和所述第一透反膜之间。
所述第一透反膜912,能够透过入射的所述第一光线且对入射的所述第二光线和第三光线进行反射。
所述第二透反膜914,能够透过入射的所述第一光线和所述第二光线且对入射的所述第三光线进行反射。
所述平面反射镜将入射的第一光线、所述第二光线和第三光线都反射到所述曲面镜。
所述曲面镜将入射的所述第一光线反射出所述AR-HUD,使得反射出AR-HUD的所述第一光线能够根据所述第一光线自身的传播路径长度,形成第一图像。
所述曲面镜将入射的所述第二光线反射出所述AR-HUD,使得反射出AR-HUD的所述第二光线能够根据所述第二光线自身的传播路径长度,形成第二图像。
所述曲面镜将入射的所述第三光线反射出所述抬头显示设备,使得反射出抬头显示设备的所述第三光线能够根据所述第三光线自身的传播路径长度,形成第三图像。
所述第一光线、所述第二光线和所述第三光线的传播路径长度不同,使得所述第一图像与眼盒区域之间的距离、所述第二图像与观察者之间的距离、以及所述第三图像与眼盒区域之间的距离各不相同。
所述第一光线、所述第二光线和所述第三光线分别具有不同的偏振特性。
在一个实施方式中,第一光线是S线偏振光,第二光线是P线偏振光,第三光线是圆偏振光。
参见图9d所示的本实施例提出的第四种AR-HUD的结构示意图,所述第二透反元件914还能够设置在所述第一像源906和所述第一透反膜912之间。
所述第一透反膜,能够反射入射的所述第一光线且对入射的所述第二光线和第三光线进行透过。
所述第一像源发出的第一光线、所述第二像源发出的第二光线、以及所述第三像源发出的第三光线的传播路径长度不同,是指所述第一像源、所述第二像源、以及所述第三像源的物距不同,导致所述第一像源、所述第二像源、以及所述第三像源的像距不同,从而所述第一像源、所述第二像源、以及所述第三像源能分别在距离眼盒区域不同的位置成像,达到多层次成像的目的。
为了消除观察者查看图像与真实环境中场景融合后的视差,可以将所述第一像源、所述第二像源、或者所述第三像源设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置,使得设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的所述第一像源、所述第二像源、或者所述第三像源发出的光线射出AR-HUD后能够形成远距离图像。
在至少两个像源分别呈现的图像中,所述远距离成像像源呈现的远距离图像与所述眼盒区域的距离最远。使得所述远距离图像与所述眼盒区域的距离最远位置的场景融合。
当车辆周围存在机动车或者非机动车时,所述ECU,可以执行以下步骤(1)至步骤(4):
(1)确定眼盒区域与所述机动车或者非机动车的距离;
(2)当有机动车或者非机动车与车辆的距离小于安全距离阈值时,将与车辆的距离小于安全距离阈值的机动车或者非机动车确定为需要标识的目标;
(3)将所述眼盒区域与所述目标的距离作为目标像距,从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;
(4)生成与所述目标融合的图像,控制所述目标像源向所述目标发出与所述目标融合的图像,将所述目标标识出来。
在上述步骤(1)中,为了确定眼盒区域与机动车或者非机动车的距离,包括以下步骤(11)至步骤(13):
(11)获取图像测距传感器发送的距离信息,所述距离信息,包括:发送距离信息的图像测距传感器的传感器标识和测量到的机动车或者非机动车与车辆的距离;
(12)根据所述传感器标识,从图像测距传感器的传感器标识和距离的对应关系中查询出所述传感器标识对应的图像测距传感器与眼盒区域的距离;
(13)计算所述传感器标识对应的图像测距传感器与眼盒区域的距离与所述距离信息中记载的机动车或者非机动车与车辆的距离的和,并将计算结果确定为所述眼盒区域与机动车或者非机动车的距离。
在上述步骤(11)中,所述距离信息,还包括:图像测距传感器采集的车辆周围图像。
图像测距传感器在测量到的移动目标与车辆的距离,并采集到图车辆周围图像后,根据图像测距传感器自身的传感器标识、采集到的车辆周围图像、移动目标与车辆的距离生成距离信息,并发送给ECU。
在上述步骤(12)中,图像测距传感器的传感器标识和距离的对应关系缓存在HUD控制装置中。
在上述步骤(2)中,从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程,与上述的所述与场景距离匹配的图像的确定过程类似,可以包括以下步骤(21)至步骤(24):
(21)从所述像源标识和像距的对应关系中获取所述AR-HUD中多个像源中除远距离成像像源外的各像源的像距;
(22)分别计算各所述像源的像距与所述目标像距的差值;
(23)将各所述像源中与所述目标像距差值最小且与所述目标像距的差值小于差值阈值的像距对应的像源确定为与所述目标像距匹配的目标像源;
(24)当各得到像源的像距与所述目标像距的差值均大于所述差值阈值时,将所述远距离成像像源确定为与所述目标像距匹配的目标像源。
通过以上的步骤(1)至步骤(4)的内容可以看出,当有移动目标与车辆的距离小于安全距离时,将所述距离作为目标像距,从多个像源中选择出与所述目标像距相匹配的像源作为目标像源;控制所述目标像源向所述移动目标发出与所述移动目标融合的图像,将所述移动目标标识出来,从而辅助车辆驾驶。
当目标是机动车时,所述行驶信息,包括:车辆的车速信息;所述环境信息,包括:所述车辆与周围车辆之间的车距信息;所述周围车辆,包括:位于所述车辆前方的前方车辆、位于所述车辆后面的后方车辆、以及位于所述车辆两侧的侧方车辆。
参见图10所示的全车窗HUD发出标识所述车辆的周围车辆车距的流程图,所述ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示,包括以下具体步骤:
步骤10、获取所述车辆分别与所述前方车辆的第一距离、与所述后方车辆的第二距离、以及与两侧的所述侧方车辆的第三距离和第四距离。
步骤12、根据所述车辆的车速信息,确定所述车辆与所述前方车辆的第一安全距离阈值。
步骤14、当所述第一距离小于等于确定的所述第一安全距离阈值时,生成第一预警信息,并将所述第一预警信息发送到全车窗HUD进行展示。
步骤16、当所述第二距离小于等于第二安全距离阈值时,生成第二预警信息,并将所述第二预警信息发送到全车窗HUD进行展示;其中,所述第二安全距离阈值,用于表示所述车辆与所述后方车辆的安全行驶距离。
步骤18、当所述第三距离和/或者所述第四距离小于等于第三安全距离阈值时,生成第三预警信息,并将所述第三预警信息发送到全车窗HUD进行展示;其中,所述第三安全距离阈值,用于表示所述车辆与所述侧方车辆的安全行驶距离。
在上述步骤10中,通过在车辆头部安装的图像测距传感器发送的第一距离信息获取所述车辆分别与所述前方车辆的第一距离,通过在车辆后部安装的图像测距传感器发送的第二距离信息获取与所述后方车辆的第二距离,通过在车辆两侧安装的图像测距传感器分别发送的第三距离信息和第四距离信息,分别获取位于车辆两侧的所述侧方车辆的第三距离和第四距离。
所述第一距离信息、所述第二距离信息、所述第三距离信息和所述第四距离信息的生成的具体过程,均与上述生成距离信息的过程类似,这里不再赘述。
所以,所述第一距离信息,包括但不限于:发送所述第一距离信息的图像测距传感器的传感器标识、所述车辆与前方车辆的第一距离、以及所述车辆与所述前方车辆之间的路径图像。
所述第二距离信息、所述第三距离信息和所述第四距离信息包括的内容与上述的所述第一距离信息类似,这里不再赘述。
在上述步骤12中,所述ECU,可以根据ECU自身缓存的车速和安全距离的对应关系中,查询出所述车辆的车速信息对应的第一安全距离阈值。
在一个实施方式中,车速和安全距离的对应关系可以如下表示:
车速小于等于20公里/小时时,安全距离为10米;
车速大于20公里/小时且小于等于40公里/小时时,安全距离为20米;
车速大于40公里/小时且小于等于60公里/小时时,安全距离为30米;
车速大于60公里/小时且小于等于100公里/小时时,安全距离为60米。
所述ECU,还存储有第二安全距离阈值和第三安全距离阈值。
所述第二安全距离阈值,用于表示所述车辆与所述后方车辆的安全行驶距离。
所述第三安全距离阈值,用于表示所述车辆与所述侧方车辆的安全行驶距离。
在上述步骤14中,所述第一预警信息,用于表示所述车辆与所述前方车辆距离小于第一安全距离阈值。
在上述步骤16中,所述第二预警信息,用于表示所述车辆与所述前方车辆距离小于第二安全距离阈值。
在上述步骤18中,所述第三预警信息,用于表示所述车辆与车辆自身至少一侧的侧方车辆距离小于第三安全距离阈值。
所述第二预警信息和所述第三预警信息的显示方式,与所述第一预警信息的显示方式类似,这里不再赘述。
在上述步骤14、步骤16和步骤18中,所述第一预警信息、所述第二预警信息和所述第三预警信息的显示方式,可以包括但不限于如下多种方式:
(一)告警文字、图像、视频,如“与前方车辆距离太近,请减速”“请与右侧车辆保持距离”;或者色彩鲜明、显著的图标、或提示动画,如红色的提示信息;且相关提示信息的亮度高于AR-HUD其他部分的画面亮度,也可以采取滚动、闪烁、跳动等效果,进一步提高警示效果。
显示的位置应至少集中在驾驶员正对的前方,也可同时在副驾驶前方显示,对乘客进行提醒。
(二)还可以在AR-HUD显示所述第二预警信息和所述第三预警信息的基础上,配合车辆或车辆上的音频播放设备,通过语音播报进行提醒,可以是没有具体含义的告警铃声,也可以是具体的语音提醒如“注意!保持车距”。
(三)配合其他设备,如集成在方向盘上的机械式振动设备,集成在座椅内的机械设备,通过震动进行提醒。
(四)在车辆侧窗、后窗显示告警文字、图像、视频,如“后方车辆请保持车距”、“侧方车辆请保持距离”或色彩鲜明、显著的图标、或提示动画,如红色的提示信息;且相关提示信息的亮度高于HUD其他部分的画面亮度,也可以采取滚动、闪烁、跳动等效果,进一步提高警示效果。
参见图11所示的全车窗HUD展示第一预警信息且AR-HUD将车辆与其距离过近的机动车之间的路径标识出来的示意图,可以将所述第一预警信息发送到全车窗HUD进行展示的同时,还可以利用所述AR-HUD将车辆与其距离过近的机动车之间的路径标识出来。
除了挡风玻璃顶部外,所述第一预警信息还可以展示在挡风玻璃的其他位置上,这里不再一一赘述。
具体地,参见图12所示的车辆与前方车辆距离过近时,控制所述AR-HUD的显示车辆与其车距过近的与前方车辆之间路径的流程图;所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以执行以下步骤:
步骤1200、获取所述车辆与所述前方车辆之间的路径图像;
步骤1202、根据获取到的所述车辆与所述前方车辆之间的路径图像,识别出所述车辆与所述前方车辆之间的路径;
步骤1204、将与所述第一距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
步骤1206、利用第一颜色标识生成第一路径标识指令,并将生成的所述第一路径标识指令发送到所述AR-HUD中的目标像源,控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第一颜色标识对应的颜色展示出来;
步骤1208、当确定所述第一距离大于所述第一安全距离阈值时,根据所述第一距离从所述AR-HUD中选择出目标像源;
步骤1210、利用第二颜色标识生成第二路径标识指令,并将生成的所述第二路径标识指令发送到所述目标像源,控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第二颜色标识对应的颜色展示出来。
在上述步骤1200中,所述车辆与所述前方车辆之间的路径图像,是从第一距离信息中获取到的。
在上述步骤1202中,所述ECU可以采用现有的然和图像处理技术,根据获取到的所述车辆与所述前方车辆之间的路径图像,识别出所述车辆与所述前方车辆之间的路径,具体过程这里不再赘述。
在上述步骤1204中,与所述第一距离相匹配的像距,就是所述眼盒区域与所述车辆的前方车辆的距离,所以,确定与所述第一距离相匹配的像距的过程,和上述确定眼盒区域与所述移动目标的距离过程类似,这里不再赘述。
在上述步骤1206中,所述第一颜色标识对应的颜色,可以是红色和粉色。
在一个实施方式中,所述第一预警信息,可以是“与前方车距离过近,请减速”。
进一步地,ECU中缓存有机动车与车辆的距离和颜色的对应关系表。
在一个实施方式中,所述机动车与车辆的距离和颜色的对应关系表,可以如下表1示:
Figure BDA0002362881700000241
表1
所以,所述ECU还可以根据与所述车辆分别与所述前方车辆的第一距离对应的颜色,对所述第一预警信息进行渲染。并将渲染后的所述第一预警信息发送到全车窗HUD进行展示。
在上述步骤1208中,选择出目标像源的过程,和上述从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的步骤(21)至步骤(24)描述的过程类似,这里不再赘述。确定所述第一距离大于所述第一安全距离阈值,说明车辆当前保持安全的行车距离。
在上述步骤1210中,所述第二颜色标识对应的颜色,可以是绿色和无颜色。
当然,在控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第二颜色标识对应的颜色展示出来的同时,确认保持安全的行车距离后,通过传统HUD方式显示提示文字、图像、视频,如“安全车距,请继续保持”;或与告警时显示颜色区别较大的图标、或提示动画,如绿色的提示信息,也可以采取滚动、闪烁、跳动等效果,展示一定时间后即消失;也可以始终保持在画面上,展示给观察者。
在通过AR-HUD和全车窗HUD展示图像的同时,所述ECU还可以执行以下步骤(1)至步骤(2):
(1)当所述第一距离小于制动操作长度阈值且所述第一距离小于等于确定的所述第一安全距离阈值的时长大于第一预设时长阈值时,生成制动指令。
(2)利用生成的所述制动指令,控制所述车辆执行制动操作。
在上述步骤(1)中,所述制动操作长度阈值,缓存在ECU中,可以设置为15米。所述制动操作长度阈值还可以设置为小于任意车速和安全距离的对应关系中记载的安全距离值,这里不再一一赘述。
所述第一预设时长阈值,缓存在ECU中,可以设置为20秒。
当所述目标为非机动车时,参见图13所示的展示碰撞预警信息的流程图,所述ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示,包括以下具体步骤:
步骤1300、当确定所述车辆的所在位置是人流密集区域时,获取所述车辆的周围环境图像;
步骤1302、当根据所述周围环境图像确定所述车辆周围存在非机动车时,确定所述非机动车与所述车辆之间的距离;
步骤1304、当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时,生成碰撞预警信息,并将所述非机动车与所述车辆之间的距离和所述碰撞预警信息发送到全车窗HUD进行展示。
在上述步骤1300至步骤1302中,所述ECU从所述导航设备发送的位置信息中确定所述车辆的所在位置。当确定所述车辆的所在位置是在学校、医院、停车场、以及繁华市区时,确定所述车辆的所在位置是人流密集区域,向所述车辆上安装的图像测距传感器发送图像获取指令,使得所述车辆上安装的图像测距传感器采集所述车辆的周围环境图像。
图像测距传感器接收到图像获取指令后,采集所述周围环境图像后在确定所述车辆周围存在非机动车时,确定所述非机动车与所述车辆之间的距离,并将所述周围环境图像、确定所述车辆周围存在的非机动车与所述车辆之间的距离以及图像测距传感器自身的传感器标识生成非机动车距离信息,发送给ECU。
在上述步骤1304中,所述碰撞安全距离阈值,缓存在ECU中,可以设置为2米到5米之间的任意距离。
所述碰撞预警信息,用于表示所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值。
在一个实施方式中,所述碰撞预警信息,可以是“与前方行人距离过近,请注意”。
在上述步骤1304中,所述碰撞预警信息的显示方式,可以包括但不限于如下多种方式:
(一)可为告警文字、图像、视频;或色彩鲜明、显著的图标、或提示动画,如红色的提示信息;或提示信息的亮度高于HUD显示的其他部分的画面亮度,也可以采取滚动、闪烁、跳动等效果,进一步提高警示效果。显示的位置应至少集中在驾驶员正对的前方,也可同时在副驾驶前方显示,对乘客进行提醒。
(二)用红色等鲜明色彩的形状或标志,对关键信息进行标注和提示,同时伴随语音提醒,如“前方有行人,注意避让”,进一步增强对驾驶员的提醒效果。
上述(一)至(二)描述的显示方式与传统的HUD的显示方式类似,这里不再赘述。
参见图14所示的全车窗HUD展示碰撞预警信息且AR-HUD将车辆与其距离过近的非机动车标识出来的示意图,可以将所述碰撞预警信息发送到全车窗HUD进行展示的同时,还可以利用所述AR-HUD将车辆与其距离过近的非机动车标识出来。
具体地,参见图15所示的车辆与非机动车距离过近时,控制所述AR-HUD的标识出与车辆距离过近的非机动车的流程图;所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以下具体步骤:
步骤1500、确定所述非机动车的所在位置以及所述非机动车与车辆的距离;
步骤1502、当所述非机动车与车辆的距离大于碰撞安全距离阈值且小于等于预警距离阈值时,根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源;
步骤1504、控制所述目标像源利用所述第四颜色标识对应的颜色在所述非机动车的所在位置生成预警图形;其中,所述预警图形与所述非机动车融合到一起;
步骤1506、当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时,根据所述非机动车的所在位置以及所述非机动车与车辆的距离,确定出与所述非机动车融合的非机动车指示框的第一尺寸,并基于所述周围环境图像中的非机动车轮廓,确定所述非机动车指示框的第一形状;
步骤1508、将与所述非机动车与车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
步骤1510、利用第三颜色标识、非机动车指示框的第一尺寸和第一形状生成非机动车标识指令,通过所述非机动车标识指令控制所述目标像源利用所述第三颜色标识对应的颜色,按照确定的第一尺寸和第一形状生成所述非机动车指示框,并根据所述非机动车的所在位置将所述非机动车指示框与所述非机动车融合到一起,将所述非机动车标识出来;
步骤1512、当确定所述非机动车与所述车辆的距离大于所述预警距离阈值时,获取非机动车图像,并确定所述非机动车的当前所在位置;
步骤1514、根据所述非机动车的所述当前所在位置以及所述非机动车与车辆的距离,确定出与所述非机动车融合的非机动车指示框的第二尺寸,并基于所述非机动车图像中的非机动车轮廓,确定所述非机动车指示框的第二形状;
步骤1516、根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源;
步骤1518、利用第五颜色标识、非机动车指示框的第二尺寸和第二形状生成非机动车标识指令,通过所述非机动车标识指令控制所述目标像源利用所述第五颜色标识对应的颜色,按照确定的第二尺寸和第二形状生成非机动车指示框,并基于所述非机动车的当前所在位置将所述非机动车指示框与所述非机动车融合到一起。
在上述步骤1500中,所述ECU可以通过任何现有的从数字图像确定物体位置的算法,根据所述周围环境图像确定所述非机动车的所在位置,这是现有技术,具体过程这里不再赘述。
在上述步骤1502中,所述预警距离阈值,缓存在ECU中,可以设置为5米到10米之间的任意距离。
根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源的具体过程,就是先根据所述非机动车与车辆的距离确定作为目标相距的所述眼盒区域与非机动车的距离,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程,这个过程与上述从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的步骤(21)至步骤(24)描述的过程类似,这里不再赘述。
在上述步骤1504中,所述第四颜色标识对应的颜色,可以是红色、绿色、黄色等颜色鲜明的颜色。
所述预警图形,预先缓存在所述ECU中,可以是但不限于:圆形、椭圆形、以及四边形。
在上述步骤1506中,可以采用现有的图像处理技术,根据所述非机动车的所在位置以及所述非机动车与车辆的距离,确定出与所述非机动车融合的非机动车指示框的第一尺寸,并基于所述周围环境图像中的非机动车轮廓,确定所述非机动车指示框的第一形状,具体过程这里不再赘述。
在上述步骤1508中,将与所述非机动车与车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程与上述确定眼盒区域与所述移动目标的距离过程类似,这里不再赘述。
在上述步骤1510中,所述第三颜色标识对应的颜色,可以是红色和粉色。在上述步骤1518中,所述第五颜色标识对应的颜色,可以是绿色和蓝色。
基于所述非机动车的当前所在位置将所述非机动车指示框与所述非机动车融合到一起,从而使观察者通过眼盒区域看到所述非机动车指示框与所述非机动车融合到一起的图像,以此确定所述车辆与由所述非机动车指示框标识出的非机动车距离大于所述碰撞安全距离阈值。
当然,当确定所述非机动车与所述车辆的距离大于所述预警距离阈值时,说明车辆与周围的非机动车处于安全距离,那么也可以不执行上述步骤1512至步骤1518的具体过程,对与车辆处于安全距离的非机动车不进行标识。
上述步骤1512至步骤1518的具体过程,与步骤1506至步骤1510所描述的具体过程类似,这里不再赘述。
除了上述步骤之外,当确定所述非机动车与车辆的距离小于紧急制动长度阈值时,所述ECU可以控制所述车辆执行制动操作。
其中,所述紧急制动长度阈值,可以是0.5米到1.5米之间的任意距离。
在有些情况下,全车窗HUD还会将天气信息和所述车辆所在道路的状况信息展示出来,参见图16所示的ECU控制全车窗HUD将天气信息和所述车辆所在道路的状况信息展示出来的流程图,所述ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示,包括以下具体步骤:
步骤1600、获取天气信息和/或者所述车辆所在道路的状况信息;
步骤1602、当根据所述天气信息和/或者所述车辆所在道路的状况信息,确定所述车辆周围存在潜在行驶危险目标时,生成警示信息,并将天气信息和/或者所述车辆所在道路的状况信息、以及生成的警示信息发送到全车窗HUD进行展示。
在上述步骤1600中,具体地,为了获取所述车辆所在道路的天气信息和所述车辆所在道路的状况信息,所述ECU会根据车辆所在道路的位置信息,确定车辆所在道路的行政区域,然后通过无线通信设备接入互联网,获取所述行政区域的天气信息和所述行政区域的交通信息,所述交通信息,包括:所述车辆所在道路的路况信息和状况信息。
所述车辆所在道路的天气信息,用于指示所述车辆所处道路处于良好天气情况,还是恶略天气情况。
所述良好天气情况,包括但不限于:晴天、多云间晴、以及多云。
所述恶略天气情况,包括但不限于:冰雹、暴雨、洪水、以及龙卷风。
所述车辆所在道路的状况信息,包括但不限于:包括:道路前方存在检修的提醒信息、道路前方存在损坏的提醒信息、道路前方出现交通事故的提醒信息、以及道路前方设有障碍的提醒信息。
道路前方存在检修的提醒信息,用于指示车辆所在道路前方存在检修路段。
道路前方存在损坏的提醒信息,用于指示车辆所在道路前方存在损坏路段。
道路前方出现交通事故的提醒信息,用于指示车辆所在道路前方存在交通事故路段。
道路前方设有障碍的提醒信息,用于指示车辆所在道路前方设置有障碍。
在上述步骤1602中,所述警示信息,可以是:“天气情况不好,请慢行”、以及“前方道路出现交通事故,请慢行”。
而且,可以采用以下方式,对警示信息进行显示:
基于AR增强系统,对行车安全的信息进行分析,将虚拟信息模拟仿真后,应用显示在HUD上,现实与虚拟两种信息互为补充,对警示信息进行增强。
(一)在HUD上显示信息,将有助于行驶的需标记信息标示出来,包括:潜在威胁车辆、潜在道路危险、恶劣道路条件、夜间行驶需注意信息等;
其中,安全标志可用绿色安全标示,危险标志可用红色警示标示;
根据实时道路状况和联网的道路信息,在画面中对行驶路线进行辅助,在正确行驶道路上标示辅助线和转向标志。
显示信息可以是文字、图像、视频,可以采取颜色加深、滚动、闪烁、跳动等提高警示效果。
显示的位置应至少集中在驾驶员正对的前方,也可同时在副驾驶前方显示,对乘客进行提醒。
(二)在AR-HUD上对关键信息进行标注和提示,存在潜在威胁车辆,可图示或语音提醒驾驶员威胁车辆信息;
(三)在AR-HUD上对关键信息进行标注和提示,存在潜在道路危险,可图示或语音提醒驾驶员道路状况信息。
参见图17所示的当确定车辆所在地区当前是恶略天气情况时,可以在全车窗HUD展示警示信息的同时AR-HUD展示与道路融合的图像的意图,其中,实线部分是通过眼盒区域可以看到的道路部分,虚线部分是路径轮廓图展示的道路部分。
参见图18所示的潜在行驶危险目标为恶略天气情况时所述ECU控制AR-HUD展示图像的流程图,所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以下具体步骤:
步骤1800、当确定所述车辆所在道路存在恶略天气情况时,获取所述车辆所在道路的恶略天气道路图像并生成警示信息;
步骤1802、对所述恶略天气道路图像进行处理,确定所述车辆所在道路的亮度值;
步骤1804、当所述亮度值小于亮度阈值时,生成远光灯开启提示信息,通过所述全车窗HUD展示所述远光灯开启提示信息,并从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置;
步骤1806、根据所述路径位置,确定出所述车辆所在道路与所述眼盒区域的距离;
步骤1808、将与所述车辆所在道路与所述眼盒区域的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
步骤1810、利用第六颜色,对所述车辆所在道路的路径轮廓进行填充,得到车辆所在道路的路径轮廓图;
步骤1812、根据所述车辆所在道路的路径位置,通过所述目标像源将所述路径轮廓图投射到所述车辆所在道路上,使得所述路径轮廓图与所述车辆所在道路融合。
在上述步骤1800中,所述ECU向所述车辆上安装的图像测距传感器发送图像获取指令,使得所述车辆上安装的图像测距传感器采集所述车辆所在道路的恶略天气道路图像。
图像测距传感器接收到图像获取指令后,采集所述恶略天气道路图像后,将所述恶略天气道路图像发送给ECU。
在上述步骤1802中,采用现有的图像亮度算法,对所述恶略天气道路图像进行处理,将处理得到的图像亮度值确定为所述车辆所在道路的亮度值。具体过程是现有技术,这里不再赘述。
在上述步骤1804中,通过所述AR-HUD展示所述远光灯开启提示信息的过程与传统HUD的显示信息的过程类似,这里不再赘述。
而且,所述ECU可以采用现有的任何图像处理技术,从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置,具体过程这里不再赘述。
在一个实施方式中,所述远光灯开启提示信息,可以是“请开启远光灯”。
在上述步骤1806中,从所述车辆所在道路的路径轮廓中得到所述车辆所在道路的几何中心,利用图像测距传感器测量所述车辆所在道路的几何中心与车辆的距离,并对所述车辆所在道路的几何中心与车辆的距离,与测量所述车辆所在道路的几何中心与车辆的距离的图像测距传感器与眼盒区域的距离进行求和计算,将求和计算的结果确定为所述车辆所在道路与所述眼盒区域的距离。
在上述步骤1808中,确定目标像源的具体过程,与上述确定眼盒区域与所述移动目标的距离过程类似,这里不再赘述。
在上述步骤1810中,所述第六颜色,可以是红色、蓝色、绿色等醒目的颜色。
在上述步骤1812中,如图17所示,虚线部分是路径轮廓图展示的道路部分。
参见图19所示的潜在行驶危险目标为所述车辆所在道路前方的状况信息时所述ECU控制AR-HUD展示图像的流程图,所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以下具体步骤:
步骤1900、当获取到所述车辆所在道路的状况信息且所述车辆与发生所述状况信息对应道路状况的路段之间的距离小于道路状况显示距离阈值时,获取所述车辆所在道路的道路状况图像并生成警示信息;其中,所述道路状况图像,包括:所述车辆所在道路中发生道路状况的路段;
步骤1902、从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓和路段位置,并根据所述路段位置,确定发生所述道路状况的路段与所述车辆的距离;
步骤1904、将与发生所述道路状况的路段与所述车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;
步骤1906、利用第七颜色,对发生所述道路状况的路段的路段轮廓进行填充,得到发生所述道路状况的路段的状况轮廓图;
步骤1908、通过所述目标像源将所述状况轮廓图投射到发生所述道路状况的路段上,使得所述状况轮廓图与发生所述道路状况的路段融合。
在上述步骤1900中,发生道路状况的路段,可以是但不限于:检修路段、损坏路段、交通事故路段、以及设置有障碍路段。
所述道路状况显示距离阈值,可以是0到2公里之间的任意距离。
所述ECU向所述车辆上安装的图像测距传感器发送图像获取指令,使得所述车辆上安装的图像测距传感器采集所述车辆所在道路的道路状况图像。
图像测距传感器接收到图像获取指令后,采集所述道路状况图像后,测量车辆与发生道路状况的路段的距离,并根据图像测距传感器自身的传感器标识、所述道路状况图像、以及车辆与发生道路状况的路段的距离生成道路状况距离信息,将所述道路状况距离信息发送给ECU。
在上述步骤1902中,可以采用现有的任何图像处理算法,从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓,这是现有技术,具体过程这里不再赘述。
在上述步骤1904中,确定目标像源的过程,与上述从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的步骤(21)至步骤(24)描述的过程类似,这里不再赘述。
在上述步骤1906中,所述第七颜色,可以是红色、粉色、以及绿色。
在有些情况下,需要对车辆的操作情况进行评价,并给出车辆的驾驶建议,参见图20所示的给出车辆驾驶建议时ECU所执行的流程图,所述ECU,还具体用于执行以下步骤:
步骤2000、当根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息,生成所述车辆的操作建议信息时,采集所述观察者的车辆操作视频,并通过所述全车窗HUD将所述操作建议信息展示;
步骤2002、当确定操作规定时长内未检测到所述操作建议信息对应的操作时,生成危险驾驶信息,通过所述全车窗HUD将所述危险驾驶信息进行展示,并对驾驶车辆指数进行减量操作;
步骤2004、当确定操作规定时长内检测到所述操作建议信息对应的操作时,对驾驶车辆指数进行增量操作;
步骤2006、当确定所述车辆未被操作的时长大于停车时间阈值时,停止采集车辆操作视频,并将所述驾驶车辆指数和采集到的所述车辆操作视频发送到所述全车窗HUD进行展示。
在上述步骤2000中,所述导航信息是从导航设备获取到的;所述车辆的行驶速度、加速度、以及车辆状态信息是从OBD中获取到的。
根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息,生成所述车辆的操作建议信息的过程是现有技术,这里不再赘述。
所述操作建议信息,包括但不限于:建议行驶路线信息、建议档位信息、障碍提示信息、建议速度信息、和建议制动信息。
在上述步骤2002中,所述操作规定时长可以是3到5秒之间的任何时间长度。
所述驾驶车辆指数,用于评价车辆操作的合理程度;所述驾驶车辆指数越大,说明车辆操作越合理。
对驾驶车辆指数进行减量操作,是指在当前驾驶车辆指数的基础上,减去固定的指数变量,从而得到减量操作后的驾驶车辆指数。
在上述步骤2006中,对驾驶车辆指数进行增量操作的过程与对驾驶车辆指数进行减量操作的过程类似,这里不再赘述。综上所述,本实施例提出的多层次成像系统,设置有全车窗HUD,所述全车窗HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述全车窗HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域,与相关技术中基于自由曲面反射镜、FOV较小的传统HUD相比,由于全车窗HUD中多个光源的排布方式与所述挡风玻璃的可视区域相匹配,使得全车窗HUD发出的光线能够展示一个覆盖所述挡风玻璃的可视区域的图像,达到了能够在挡风玻璃的可视区域内的任何位置显示图像的目的,从而可以通过全车窗HUD显示更加丰富的内容,提高了HUD的使用体验。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (23)

1.一种多层次成像系统,用于车辆,其特征在于,包括:车辆的挡风玻璃、安装在所述车辆上的电子控制单元ECU、数据采集设备、以及全车窗HUD;
所述ECU分别与所述数据采集设备和所述全车窗HUD通信连接;
所述数据采集设备,用于获取所述车辆周围的环境信息,并将获取到的所述环境信息发送给所述ECU;
所述ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示;
所述全车窗HUD,用于将所述ECU发送的所述环境信息和所述车辆的行驶信息展示出来;
所述全车窗HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述全车窗HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域;其中,所述图像,包括:所述环境信息和所述车辆的行驶信息;
所述挡风玻璃,用于将所述全车窗HUD发出的光线反射到眼盒区域中。
2.根据权利要求1所述的多层次成像系统,其特征在于,所述全车窗HUD,包括:投影设备和光线控制装置;
所述投影设备安装在车辆内;所述光线控制装置设置在所述车辆的中控台与挡风玻璃相对的表面上;
所述投影设备,用于发出能够入射到所述光线控制装置的光线;
所述光线控制装置,用于改变所述投影设备发出光线的出射方向,使得所述光线在经过所述挡风玻璃反射后入射到眼盒区域中;
所述光线控制装置的大小和形状与所述挡风玻璃的可视区域相匹配;使得所述投影设备发出的光线经过光线控制装置反射到挡风玻璃后,能够呈现出覆盖所述挡风玻璃的可视区域的图像。
3.根据权利要求2所述的多层次成像系统,其特征在于,还包括:与所述ECU通信连接的AR-HUD;
所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD;
所述AR-HUD,用于发出至少两路光线到所述挡风玻璃,所述至少两路光线中的各路光线,能够分别展示与眼盒区域距离不等的多个图像;其中,所述多个图像中的各图像能够与距离匹配的目标融合。
4.根据权利要求3所述的多层次成像系统,其特征在于,所述AR-HUD,包括:曲面镜和至少两个像源;
至少两个像源能够分别发出至少两路光线;所述至少两路光线中的各路光线分别由所述至少两个像源中的不同像源发出,所述各路光线在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同;
所述曲面镜将入射的至少两路光线反射出所述AR-HUD,使得反射出AR-HUD的至少两路光线中的各路光线能够根据各路光线自身的传播路径长度,分别形成与眼盒区域距离不等的图像。
5.根据权利要求4所述的多层次成像系统,其特征在于,所述行驶信息,包括:车辆的车速信息;所述环境信息,包括:所述车辆与周围车辆之间的车距信息;所述周围车辆,包括:位于所述车辆前方的前方车辆、位于所述车辆后面的后方车辆、以及位于所述车辆两侧的侧方车辆;
所述ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示,包括:
获取所述车辆分别与所述前方车辆的第一距离、与所述后方车辆的第二距离、以及与两侧的所述侧方车辆的第三距离和第四距离;
根据所述车辆的车速信息,确定所述车辆与所述前方车辆的第一安全距离阈值;
当所述第一距离小于等于确定的所述第一安全距离阈值时,生成第一预警信息,并将所述第一预警信息发送到全车窗HUD进行展示;
当所述第二距离小于等于第二安全距离阈值时,生成第二预警信息,并将所述第二预警信息发送到全车窗HUD进行展示;其中,所述第二安全距离阈值,用于表示所述车辆与所述后方车辆的安全行驶距离;
当所述第三距离和/或者所述第四距离小于等于第三安全距离阈值时,生成第三预警信息,并将所述第三预警信息发送到全车窗HUD进行展示;其中,所述第三安全距离阈值,用于表示所述车辆与所述侧方车辆的安全行驶距离。
6.根据权利要求5所述的多层次成像系统,其特征在于,所述目标,包括:机动车;
所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括:
获取所述车辆与所述前方车辆之间的路径图像;
根据获取到的所述车辆与所述前方车辆之间的路径图像,识别出所述车辆与所述前方车辆之间的路径;
将与所述第一距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
利用第一颜色标识生成第一路径标识指令,并将生成的所述第一路径标识指令发送到所述AR-HUD中的目标像源,控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第一颜色标识对应的颜色展示出来。
7.根据权利要求6所述的多层次成像系统,其特征在于,其特征在于,还包括:
当确定所述第一距离大于所述第一安全距离阈值时,根据所述第一距离从所述AR-HUD中选择出目标像源;
利用第二颜色标识生成第二路径标识指令,并将生成的所述第二路径标识指令发送到所述目标像源,控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第二颜色标识对应的颜色展示出来。
8.根据权利要求5所述的多层次成像系统,其特征在于,其特征在于,还包括:
当所述第一距离小于制动操作长度阈值且所述第一距离小于等于确定的所述第一安全距离阈值的时长大于第一预设时长阈值时,生成制动指令;
利用生成的所述制动指令,控制所述车辆执行制动操作。
9.根据权利要求1所述的多层次成像系统,其特征在于,所述ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示,包括:
当确定所述车辆的所在位置是人流密集区域时,获取所述车辆的周围环境图像;
当根据所述周围环境图像确定所述车辆周围存在非机动车时,确定所述非机动车与所述车辆之间的距离;
当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时,生成碰撞预警信息,并将所述非机动车与所述车辆之间的距离和所述碰撞预警信息发送到全车窗HUD进行展示。
10.根据权利要求9所述的多层次成像系统,其特征在于,所述目标,包括:非机动车;
所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括:
当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时,根据所述非机动车的所在位置以及所述非机动车与车辆的距离,确定出与所述非机动车融合的非机动车指示框的第一尺寸,并基于所述周围环境图像中的非机动车轮廓,确定所述非机动车指示框的第一形状;
将与所述非机动车与车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
利用第三颜色标识、非机动车指示框的第一尺寸和第一形状生成非机动车标识指令,通过所述非机动车标识指令控制所述目标像源利用所述第三颜色标识对应的颜色,按照确定的第一尺寸和第一形状生成所述非机动车指示框,并根据所述非机动车的所在位置将所述非机动车指示框与所述非机动车融合到一起,将所述非机动车标识出来。
11.根据权利要求10所述的多层次成像系统,其特征在于,所述ECU,还具体用于:
确定所述非机动车的所在位置以及所述非机动车与车辆的距离;
当所述非机动车与车辆的距离大于碰撞安全距离阈值且小于等于预警距离阈值时,根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源;
控制所述目标像源利用所述第四颜色标识对应的颜色在所述非机动车的所在位置生成预警图形;其中,所述预警图形与所述非机动车融合到一起。
12.根据权利要求10所述的多层次成像系统,其特征在于,所述ECU,还具体用于:
当确定所述非机动车与所述车辆的距离大于所述预警距离阈值时,获取非机动车图像,并确定所述非机动车的当前所在位置;
根据所述非机动车的所述当前所在位置以及所述非机动车与车辆的距离,确定出与所述非机动车融合的非机动车指示框的第二尺寸,并基于所述非机动车图像中的非机动车轮廓,确定所述非机动车指示框的第二形状;
根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源;
利用第五颜色标识、非机动车指示框的第二尺寸和第二形状生成非机动车标识指令,通过所述非机动车标识指令控制所述目标像源利用所述第五颜色标识对应的颜色,按照确定的第二尺寸和第二形状生成非机动车指示框,并基于所述非机动车的当前所在位置将所述非机动车指示框与所述非机动车融合到一起。
13.根据权利要求1所述的多层次成像系统,其特征在于,所述环境信息,还包括:天气信息和所述车辆所在道路的状况信息;
ECU,用于获取车辆的行驶信息,并将所述车辆的行驶信息和所述传感器发送的环境信息,发送到全车窗HUD进行展示,包括:
获取天气信息和/或者所述车辆所在道路的状况信息;
当根据所述天气信息和/或者所述车辆所在道路的状况信息,确定所述车辆周围存在潜在行驶危险目标时,生成警示信息,并将天气信息和/或者所述车辆所在道路的状况信息、以及生成的警示信息发送到全车窗HUD进行展示。
14.根据权利要求13所述的多层次成像系统,其特征在于,所述潜在行驶危险目标,包括:恶略天气情况;
所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括:
当确定所述车辆所在道路存在恶略天气情况时,获取所述车辆所在道路的恶略天气道路图像并生成警示信息;
对所述恶略天气道路图像进行处理,确定所述车辆所在道路的亮度值;
当所述亮度值小于亮度阈值时,生成远光灯开启提示信息,通过所述全车窗HUD展示所述远光灯开启提示信息,并从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置;
根据所述路径位置,确定出所述车辆所在道路与所述眼盒区域的距离;
将与所述车辆所在道路与所述眼盒区域的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;利用第六颜色,对所述车辆所在道路的路径轮廓进行填充,得到车辆所在道路的路径轮廓图;
根据所述车辆所在道路的路径位置,通过所述目标像源将所述路径轮廓图投射到所述车辆所在道路上,使得所述路径轮廓图与所述车辆所在道路融合,同时将所述警示信息发送到全车窗HUD进行展示。
15.根据权利要求13所述的多层次成像系统,其特征在于,所述潜在行驶危险目标,包括:所述车辆所在道路前方的状况信息;
所述ECU,用于当对所述环境信息和所述车辆的行驶信息处理后确定出车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括:
当获取到所述车辆所在道路的状况信息且所述车辆与发生所述状况信息对应道路状况的路段之间的距离小于道路状况显示距离阈值时,获取所述车辆所在道路的道路状况图像并生成警示信息;其中,所述道路状况图像,包括:所述车辆所在道路中发生道路状况的路段;
从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓和路段位置,并根据所述路段位置,确定发生所述道路状况的路段与所述车辆的距离;
将与发生所述道路状况的路段与所述车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;
利用第七颜色,对发生所述道路状况的路段的路段轮廓进行填充,得到发生所述道路状况的路段的状况轮廓图;
通过所述目标像源将所述状况轮廓图投射到发生所述道路状况的路段上,使得所述状况轮廓图与发生所述道路状况的路段融合。
16.根据权利要求1所述的多层次成像系统,其特征在于,所述行驶信息,包括:所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息;所述环境信息,包括:导航信息;
所述ECU,还具体用于:
当根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息,生成所述车辆的操作建议信息时,采集所述观察者的车辆操作视频,并通过所述AR-HUD将所述操作建议信息展示;
当确定操作规定时长内未检测到所述操作建议信息对应的操作时,生成危险驾驶信息,通过所述AR-HUD将所述危险驾驶信息进行展示,并对驾驶车辆指数进行减量操作;
当确定操作规定时长内检测到所述操作建议信息对应的操作时,对驾驶车辆指数进行增量操作;
当确定所述车辆未被操作的时长大于停车时间阈值时,停止采集车辆操作视频,并将所述驾驶车辆指数和采集到的所述车辆操作视频发送到所述AR-HUD进行展示。
17.根据权利要求2所述的多层次成像系统,其特征在于,所述光线控制装置,包括:光线汇聚单元和衍射光学元件;所述衍射光学元件设置在所述光线汇聚单元上;
当有光线入射时,所述光线汇聚单元将所述光线沿所述光线的入射方向的相反方向反射至所述衍射光学元件,从而改变所述投影设备发出光线的出射方向,使得所述投影设备发出的光线能够进入所述眼盒区域;
所述衍射光学元件将入射的光线扩散并形成光斑。
18.根据权利要求17所述的多层次成像系统,其特征在于,所述光线汇聚单元,包括:倒三角锥微结构、支撑结构和基板层;
倒三角锥微结构设置在所述支撑结构上;所述支撑结构设置在所述基板层上;
所述倒三角锥微结构的折射率需要满足大于所述支撑结构的折射率;所述倒三角锥微结构将入射光线中入射角大于临界角的光线以全反射的方式沿所述光线的入射方向的相反方向反射至所述弥散元件。
19.根据权利要求17所述的多层次成像系统,其特征在于,所述光线汇聚单元,包括:在光线的入射方向上依次设置的光线汇聚层、隔离层、平面反射层、以及衬底;
所述平面反射层位于所述光线汇聚层的焦平面上;
所述光线汇聚层和所述平面反射层分别采用不同的超材料制成;
所述光线汇聚层,通过改变入射的光线的相位,将入射的光线汇聚到所述平面反射层上,并将所述平面反射层反射回的光线沿光线入射所述光线汇聚层的方向的相反方向反射至所述弥散元件;
所述平面反射层,能够改变所述光线汇聚层汇聚的光线的相位,并将相位改变后的光线反射至所述光线汇聚层。
20.根据权利要求4所述的多层次成像系统,其特征在于,还包括:平面反射镜;
所述平面反射镜将所述至少两个像源发出的至少两路光线反射到所述曲面镜。
21.根据权利要求3所述的多层次成像系统,其特征在于,所述AR-HUD,包括:第一像源、第二像源、第三像源、第一透反膜、第二透反膜、平面反射镜和曲面镜;
所述第一像源、所述第二像源和所述第三像源分别设置在所述AR-HUD内的不同位置上;所述第一像源,能够发出第一光线,所述第二像源,能够发出第二光线;所述第三像源,能够发出第三光线;
所述第一透反膜设置在所述第一像源和所述第二像源之间;
所述第二透反膜设置在所述第二像源和所述第一透反膜之间;
所述第一透反膜,能够透过入射的所述第一光线且对入射的所述第二光线和第三光线进行反射;
所述第二透反膜,能够透过入射的所述第一光线和所述第二光线且对入射的所述第三光线进行反射;
所述平面反射镜将入射的第一光线、所述第二光线和第三光线都反射到所述曲面镜;
所述曲面镜将入射的所述第一光线反射出所述AR-HUD,使得反射出AR-HUD的所述第一光线能够根据所述第一光线自身的传播路径长度,形成第一图像;
所述曲面镜将入射的所述第二光线反射出所述AR-HUD,使得反射出AR-HUD的所述第二光线能够根据所述第二光线自身的传播路径长度,形成第二图像;
所述曲面镜将入射的所述第三光线反射出所述抬头显示设备,使得反射出抬头显示设备的所述第三光线能够根据所述第三光线自身的传播路径长度,形成第三图像;
所述第一光线、所述第二光线和所述第三光线的传播路径长度不同,使得所述第一图像与眼盒区域之间的距离、所述第二图像与观察者之间的距离、以及所述第三图像与眼盒区域之间的距离各不相同。
22.根据权利要求21所述的多层次成像系统,其特征在于,所述第二透反元件还能够设置在所述第一像源和所述第一透反膜之间;
所述第一透反膜,能够反射入射的所述第一光线且对入射的所述第二光线和第三光线进行透过。
23.根据权利要求21所述的多层次成像系统,其特征在于,将所述第一像源、所述第二像源、或者所述第三像源设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置,使得设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的所述第一像源、所述第二像源、或者所述第三像源发出的光线射出AR-HUD后能够形成远距离图像。
CN202010029223.6A 2020-01-10 2020-01-10 一种多层次成像系统 Pending CN113103955A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010029223.6A CN113103955A (zh) 2020-01-10 2020-01-10 一种多层次成像系统
PCT/CN2021/071146 WO2021139818A1 (zh) 2020-01-10 2021-01-11 多层次成像系统、抬头显示器、交通工具以及多层次成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010029223.6A CN113103955A (zh) 2020-01-10 2020-01-10 一种多层次成像系统

Publications (1)

Publication Number Publication Date
CN113103955A true CN113103955A (zh) 2021-07-13

Family

ID=76708726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010029223.6A Pending CN113103955A (zh) 2020-01-10 2020-01-10 一种多层次成像系统

Country Status (1)

Country Link
CN (1) CN113103955A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071213A1 (zh) * 2021-10-26 2023-05-04 深圳迈塔兰斯科技有限公司 一种图像生成装置、抬头显示器及交通工具

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346177A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両用情報提示装置
CN102141687A (zh) * 2011-02-16 2011-08-03 香港应用科技研究院有限公司 降低显示器系统里散斑效应的装置
CN104760541A (zh) * 2015-04-20 2015-07-08 洪莲 一种实现非透明驾驶的汽车
CN105785570A (zh) * 2014-12-26 2016-07-20 比亚迪股份有限公司 一种车载抬头显示系统及包含该系统的车辆
JP2017151981A (ja) * 2016-02-18 2017-08-31 ソニー株式会社 車両インフォマティクス及び仮想現実のための能動ウィンドウ
CN107851393A (zh) * 2015-07-10 2018-03-27 田山修 车辆用图像显示系统及方法
CN108422933A (zh) * 2017-02-14 2018-08-21 现代摩比斯株式会社 用于实现可单独控制的多显示场的抬头显示器装置及其显示控制方法
CN108473054A (zh) * 2016-02-05 2018-08-31 麦克赛尔株式会社 平视显示器装置
CN109462750A (zh) * 2018-12-29 2019-03-12 上海玮舟微电子科技有限公司 一种抬头显示系统、信息显示方法、装置及介质
JP2019219555A (ja) * 2018-06-21 2019-12-26 創智車電股▲ふん▼有限公司Conserve&Associates,Inc. ディスプレイ装置、および、それを用いた自動車のヘッドアップディスプレイシステム(display device and automobile head−up display system using the same)

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346177A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両用情報提示装置
CN102141687A (zh) * 2011-02-16 2011-08-03 香港应用科技研究院有限公司 降低显示器系统里散斑效应的装置
CN105785570A (zh) * 2014-12-26 2016-07-20 比亚迪股份有限公司 一种车载抬头显示系统及包含该系统的车辆
CN104760541A (zh) * 2015-04-20 2015-07-08 洪莲 一种实现非透明驾驶的汽车
CN107851393A (zh) * 2015-07-10 2018-03-27 田山修 车辆用图像显示系统及方法
CN108473054A (zh) * 2016-02-05 2018-08-31 麦克赛尔株式会社 平视显示器装置
JP2017151981A (ja) * 2016-02-18 2017-08-31 ソニー株式会社 車両インフォマティクス及び仮想現実のための能動ウィンドウ
CN108422933A (zh) * 2017-02-14 2018-08-21 现代摩比斯株式会社 用于实现可单独控制的多显示场的抬头显示器装置及其显示控制方法
JP2019219555A (ja) * 2018-06-21 2019-12-26 創智車電股▲ふん▼有限公司Conserve&Associates,Inc. ディスプレイ装置、および、それを用いた自動車のヘッドアップディスプレイシステム(display device and automobile head−up display system using the same)
CN109462750A (zh) * 2018-12-29 2019-03-12 上海玮舟微电子科技有限公司 一种抬头显示系统、信息显示方法、装置及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071213A1 (zh) * 2021-10-26 2023-05-04 深圳迈塔兰斯科技有限公司 一种图像生成装置、抬头显示器及交通工具

Similar Documents

Publication Publication Date Title
CN104827967B (zh) 平视显示设备
CN113109939B (zh) 一种多层次成像系统
CN103010099B (zh) 在全风挡平视显示器上的动态信息显示
JP7065383B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
CN112074770A (zh) 可调整的三维增强现实平视显示器
CN109477967A (zh) 具可变焦平面的抬头显示系统
WO2020125178A1 (zh) 车辆驾驶提示方法及装置
CN112639573B (zh) 用于运行机动车用的视野显示设备的方法
JP6930971B2 (ja) 表示装置、表示システム、および移動体
CN107284379A (zh) 用于车辆安全行驶的ar投影系统及投影方法
CN113219655B (zh) 一种多视角显示的车辆显示系统
WO2021139812A1 (zh) 抬头显示系统及其控制方法、交通工具
CN203673145U (zh) 显示装置
KR101934294B1 (ko) 디스플레이 장치 및 그것을 포함하는 차량
CN113126294B (zh) 一种多层次成像系统
US20210268961A1 (en) Display method, display device, and display system
CN113103955A (zh) 一种多层次成像系统
CN113119863B (zh) 一种全车窗成像系统
CN114667474A (zh) 用于车辆的智能玻璃
EP4290185A1 (en) Mixed reality-based display device and route guide system
CN113219657B (zh) 一种车辆平视显示系统
CN113156643B (zh) 基于立体视觉显示的车辆显示系统
WO2021139818A1 (zh) 多层次成像系统、抬头显示器、交通工具以及多层次成像方法
CN113156645B (zh) 基于立体视觉显示的车辆智能辅助系统
CN113119864B (zh) 一种全车窗成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination