CN113109939B - 一种多层次成像系统 - Google Patents
一种多层次成像系统 Download PDFInfo
- Publication number
- CN113109939B CN113109939B CN202010026606.8A CN202010026606A CN113109939B CN 113109939 B CN113109939 B CN 113109939B CN 202010026606 A CN202010026606 A CN 202010026606A CN 113109939 B CN113109939 B CN 113109939B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- hud
- distance
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 35
- 230000007613 environmental effect Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 3
- 230000002411 adverse Effects 0.000 claims description 2
- 230000010287 polarization Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 9
- 206010039203 Road traffic accident Diseases 0.000 description 7
- 239000003086 colorant Substances 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 239000002356 single layer Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000009191 jumping Effects 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 240000003380 Passiflora rubra Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B2027/0192—Supplementary details
- G02B2027/0196—Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Instrument Panels (AREA)
Abstract
本发明提供了一种多层次成像系统,通过设置能够发出至少两路光线的AR‑HUD,从而能够在与眼盒区域距离不等的位置分别展示不同的图像,形成多个所述图像中的任一图像的光线能够进入眼盒区域,达到了多层次成像的目的,AR‑HUD发出的至少两路光线中各路光线所呈现的图像能够在真实环境中与眼盒区域距离不等的位置上的场景分别进行融合,尽可能避免图像在和真实环境中的场景融合时产生的偏差,使观察者看到融合到一起的图像和场景,提高AR‑HUD的使用体验。
Description
技术领域
本发明涉及车辆技术领域,具体而言,涉及一种多层次成像系统。
背景技术
目前,增强现实抬头显示器(Augmented Reality Head Up Display,AR-HUD)是抬头显示设备(Head Up Display,HUD)中的一种,可以实现很好的视觉体验。
AR-HUD投射出的图像需要与真实环境中的场景(如:车或者物体)融合到一起,如方向指示箭头需要与道路精准融合,从而可以实现很好的视觉效果。
但AR-HUD只能在固定位置呈现单层图像,而单层图像在和真实环境中的场景融合时容易产生偏差,使观察者经常看到没有融合到一起的图像和场景,降低AR-HUD的使用体验。
发明内容
为解决上述问题,本发明实施例的目的在于提供一种多层次成像系统。
第一方面,本发明实施例提供了一种多层次成像系统,用于车辆,包括:车辆的挡风玻璃、安装在所述车辆上的HUD控制装置、数据采集设备、以及增强现实抬头显示器AR-HUD;
所述HUD控制装置分别与所述数据采集设备和所述AR-HUD通信连接;
所述数据采集设备,用于获取所述车辆周围的环境信息,并将获取到的所述环境信息发送给所述HUD控制装置;
所述HUD控制装置,用于获取车辆的行驶信息,并对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD;
所述AR-HUD,用于发出至少两路光线到所述挡风玻璃,所述至少两路光线中的各路光线,能够分别展示与眼盒区域距离不等的多个图像;其中,所述多个图像中的各图像能够与距离匹配的目标融合。
本发明实施例上述第一方面提供的方案中,通过设置能够发出至少两路光线的AR-HUD,从而能够在与眼盒区域距离不等的位置分别展示不同的图像,形成多个所述图像中的任一图像的光线能够进入眼盒区域,达到了多层次成像的目的,与相关技术中AR-HUD只能在固定位置呈现单层图像的方式相比,AR-HUD发出的至少两路光线中各路光线所呈现的图像能够在真实环境中与眼盒区域距离不等的位置上的场景分别进行融合,尽可能避免图像在和真实环境中的场景融合时产生的偏差,使观察者看到融合到一起的图像和场景,提高AR-HUD的使用体验。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了AR-HUD的成像原理示意图;
图2示出了本发明实施例所提供的多层次成像系统中,第一种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图;
图3示出了本发明实施例所提供的多层次成像系统中,第二种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图;
图4示出了本发明实施例所提供的多层次成像系统中,第三种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图;
图5示出了本发明实施例所提供的多层次成像系统中,第四种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图;
图6a示出了本发明实施例所提供的多层次成像系统中,AR-HUD和高亮显示HUD的成像侧视图;
图6b示出了本发明实施例所提供的多层次成像系统中,AR-HUD和高亮显示HUD同时工作时展示图像的示意图一;
图6c示出了本发明实施例所提供的多层次成像系统中,AR-HUD和高亮显示HUD同时工作时展示图像的示意图二;
图7示出了本发明实施例所提供的多层次成像系统中,高亮显示HUD的结构示意图;
图8示出了本发明实施例所提供的多层次成像系统中,光线控制单元的一种实现方式;
图9示出了本发明实施例所提供的多层次成像系统中,光线控制单元的另一种实现方式;
图10示出了本发明实施例所提供的多层次成像系统中,带有衍射光学元件的HUD的一种结构示意图;
图11示出了本发明实施例所提供的多层次成像系统中,带有衍射光学元件的HUD的另一种结构示意图;
图12示出了本发明实施例所提供的多层次成像系统中,高亮显示HUD中光源的排列示意图一;
图13示出了本发明实施例所提供的多层次成像系统中,高亮显示HUD中光源的排列示意图二;
图14示出了本发明实施例所提供的多层次成像系统中,HUD控制装置控制AR-HUD发出与机动车和非机动车融合图像的流程图;
图15示出了本发明实施例所提供的多层次成像系统中,高亮显示HUD发出标识所述车辆的周围车辆车距的流程图;
图16示出了本发明实施例所提供的多层次成像系统中,高亮显示HUD展示第一预警信息且AR-HUD将车辆与其距离过近的机动车之间的路径标识出来的示意图;
图17示出了本发明实施例所提供的多层次成像系统中,车辆与前方车辆距离过近时,HUD控制装置控制所述AR-HUD的显示车辆与其车距过近的与前方车辆之间路径的流程图;
图18示出了本发明实施例所提供的多层次成像系统中,展示碰撞预警信息的流程图;
图19示出了本发明实施例所提供的多层次成像系统中,高亮显示HUD展示碰撞预警信息且AR-HUD将车辆与其距离过近的非机动车标识出来的示意图;
图20示出了本发明实施例所提供的多层次成像系统中,车辆与非机动车距离过近时,HUD控制装置控制所述AR-HUD的标识出与车辆距离过近的非机动车的流程图;
图21示出了本发明实施例所提供的多层次成像系统中,车HUD控制装置控制高亮显示HUD将警示信息展示出来的流程图;
图22示出了本发明实施例所提供的多层次成像系统中,当确定车辆所在地区当前是恶略天气情况时,可以在高亮显示HUD展示警示信息的同时AR-HUD展示与道路融合的图像的示意图;
图23示出了本发明实施例所提供的多层次成像系统中,潜在行驶危险目标为恶略天气情况时所述HUD控制装置控制AR-HUD展示图像的流程图;
图24示出了本发明实施例所提供的多层次成像系统中,潜在行驶危险目标为所述车辆所在道路前方的状况信息时所述HUD控制装置控制AR-HUD展示图像的流程图;
图25示出了本发明实施例所提供的多层次成像系统中,给出车辆驾驶建议时HUD控制装置所执行的流程图。
具体实施方式
目前,增强现实抬头显示器(Augmented Reality Head Up Display,AR-HUD)是抬头显示设备(Head Up Display,HUD)中的一种,可以实现很好的视觉体验。
AR-HUD是通过内部特殊设计的光学系统,在驾驶员视线区域内合理、生动地显示一些驾驶信息,以增强驾驶员对于实际驾驶环境的感知。比如驾驶员驾驶车辆偏离既定车道,AR-HUD可以在车辆正常行驶车道的车道线边缘处标出红线提醒驾驶员车辆已经偏离车道;以及驾驶时可以在前车后部看到一条标记的亮带等。即:AR-HUD投射出的图像需要在视觉上与真实环境中的场景(如:车或者物体)融合到一起,如方向指示箭头需要与道路精准融合,才可以实现很好的视觉效果。
相关技术中,AR-HUD,包括:像源、平面镜和曲面镜;所述像源发出的光线经过曲面镜反射后入射到平面镜,并在平面镜上发生反射后从所述AR-HUD的出光口射出,射出的光线入射至车辆的挡风玻璃,并在挡风玻璃远离眼盒区域的一侧的固定位置呈现出一个单层图像。由于真实环境中的各种场景与眼盒区域的距离可能是几米、几十米或者上百米远,而相关技术中提出的AR-HUD在固定位置呈现出的单层图像与眼盒区域的距离是固定的,无法和真实环境中与眼盒区域距离几米、几十米或者上百米远的场景在视觉上都进行融合,导致单层图像在和真实环境中的场景融合时容易产生偏差,使观察者经常看到没有融合到一起的图像和场景,降低AR-HUD的使用体验。
所述眼盒区域,是指观察者可以观察到与真实环境较好融合的图像的区域,通常情况下是位置固定不变的区域。
参见图1所示的AR-HUD的成像原理示意图,AR-HUD中像源出射的光线在曲面镜上发生反射,反射光线出射至眼盒区域,使得观察者可在眼盒区域观察到形成于挡风玻璃外的图像。光线在挡风玻璃上发生反射的现象,可近似认为是平面镜成像。根据AR-HUD的结构及光学原理,像源发出的光线在曲面镜上发生反射,随后出射至挡风玻璃,即可认为,在曲面镜远离像源的一侧形成有发出光线的等效像源,根据平面镜成像规律,AR-HUD形成的图像与成像的等效像源之间关于反射介质对称。
所述等效像源,为像源发出的光线在曲面镜上反射后,在曲面镜远离像源的一侧形成的图像。
因此,要形成与所述眼盒区域距离不等的多个图像,就要增加AR-HUD中等效像源的数量,使得AR-HUD中存在位置不同的至少两个等效像源。
而所述等效像源的位置由曲面镜的成像特性决定,根据以下公式1给出的曲面镜成像规律:
其中,f表示曲面镜的焦距;u表示像源与曲面镜之间的距离,即像源在曲面镜成像的物距;v表示像源在曲面镜上所成图像与曲面镜之间的距离,即像源在曲面镜成像的像距。通过公式(1)可以看出,所述等效像源的位置,即像源在曲面镜所成图像的位置,与像源在曲面镜成像的像距直接相关,像源在曲面镜成像的像距越大,说明该像源的等效像源的位置与曲面镜的距离越远。
为了增加像源的像距,可以将像源放置在曲面镜的焦平面或者趋近于曲面镜焦平面的位置。
因此,所述等效像源的位置,与以下两个参数有关:曲面镜的焦距以及像源在曲面镜成像的像距(即像源与曲面镜之间的距离)。
而在AR-HUD中,曲面镜的焦距是预先设计好的,很难做出改变。所以,要形成与所述眼盒区域距离不等的多个图像,就需要增加像源到曲面镜发出的光线数量,使得像源向曲面镜发出至少两路光线,该至少两路光线中的各路光线在入射到曲面镜后,能够分别形成位置不同的等效像源。
而,AR-HUD中存在位置不同的等效像源后,根据图1所示的成像原理,该位置不同的等效像源中的各等效像源就可以分别在挡风玻璃远离眼盒区域的一侧形成与眼盒区域距离不同的图像,与眼盒区域距离不同的图像能够在真实环境中与眼盒区域距离不等的位置上的场景分别进行融合。
基于此,为了使AR-HUD产生的图像能够与真实环境中与眼盒区域距离不同的各种场景在视觉上都进行融合,解决上述的技术问题,本申请提出了一种多层次成像系统,设置有能够发出至少两路光线的AR-HUD,AR-HUD发出的至少两路光线中各路光线所呈现的图像能够在视觉上与真实环境中与眼盒区域距离不等的位置上的场景分别进行融合,达到多层次成像的目的。
在以下实施例中,术语“视觉上图像与真实环境(真实环境中的场景)融合”,是指观察者的双眼在眼盒区域看到的AR-HUD呈现的图像与真实环境(真实环境中的场景)是完全贴合/重合到一起的。
术语“图像”,是指AR-HUD呈现在挡风玻璃远离眼盒区域一侧的虚像。
术语“覆盖”是指:观察者能够通过眼盒区域在挡风玻璃位置处看到与挡风玻璃的可视区域等大或者比可视区域略小的图像;从观察者的角度出发感觉图像是在挡风玻璃上呈现出来的,并不是指图像真正呈现在挡风玻璃上。
所述挡风玻璃,可以采用现有的任何形状的车辆挡风玻璃进行AR-HUD图像的展示,这里不再赘述。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请做进一步详细的说明。
实施例
一种多层次成像系统,用于车辆,包括:车辆的挡风玻璃、安装在所述车辆上的HUD控制装置、数据采集设备、以及增强现实抬头显示器AR-HUD。
所述HUD控制装置分别与所述数据采集设备和所述AR-HUD通信连接。
所述数据采集设备,用于获取所述车辆周围的环境信息,并将获取到的所述环境信息发送给所述HUD控制装置。
所述HUD控制装置,用于获取车辆的行驶信息,并对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD。
所述AR-HUD,用于发出至少两路光线到所述挡风玻璃,所述至少两路光线中的各路光线,能够分别展示与眼盒区域距离不等的多个图像;其中,所述多个图像中的各图像能够与距离匹配的目标融合。
所述HUD控制装置,包括但不限于:车载信息娱乐系统(In-VehicleInfotainment,IVI)和电子控制单元(Electronic Control Unit,ECU)。
所述ECU,不仅包含车辆车速、马达、油耗、换挡效率等车辆状态的控制装置,还可以包括娱乐交互系统及车联网系统等车载系统。
所述数据采集设备,包括但不限于:安装在车辆上的传感器、导航设备和无线通信设备;所述传感器、导航设备和所述无线通信设备分别与所述HUD控制装置连接。
所述传感器,包括但不限于:图像测距传感器。
其中,所述图像测距传感器,安装在车辆的四周,用于在测量车辆与周围物体的距离的同时,还可以采集车辆的周围环境图像;从而可以将测量到的车辆与周围物体的距离和车辆的周围环境图像一起发生给HUD控制装置。
为了确定眼盒区域与车辆周围物体的距离,所述HUD控制装置中,存储有各图像测距传感器分别与眼盒区域的距离,可以通过图像测距传感器的传感器标识和距离的对应关系的方式存储。
各图像测距传感器分别与眼盒区域的距离,是各图像测距传感器安装到车辆后,通过工作人员测量得到并存储到车辆的HUD控制装置中。
所述无线通信设备,用于使HUD控制装置接入互联网,获取车辆所处区域的天气信息和路况信息。
所述导航设备,用于对所述车辆的行驶路径进行规划,得到车辆的导航信息,指示车辆按照导航信息行驶,并将得到的导航信息发送给HUD控制装置。
所述车辆的行驶信息,包括但不限于:车辆的车速信息、所述车辆的位置信息、所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息。
所述车辆状态信息,包括但不限于:发动机状态信息、变速箱状态信息、以及车辆当前的电量和/或者油量。
所述车辆的操作信息,包括但不限于:车辆的变速箱换挡操作、加/减速操作、以及转向操作。
所述车辆的车速信息、所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息,是HUD控制装置从车载自动诊断系统(On-Board Diagnostics,OBD)中获取到的。
所述车辆周围的环境信息,包括但不限于:所述车辆与周围车辆之间的车距信息、所述车辆所在道路的天气信息、所述车辆所在道路的状况信息、以及导航信息。
所述车辆与周围车辆之间的车距信息,是通过上述图像测距传感器得到的。
所述周围车辆,包括:位于所述车辆前方的前方车辆、位于所述车辆后面的后方车辆、以及位于所述车辆两侧的侧方车辆。
所述车辆所在道路的天气信息和所述车辆所在道路的状况信息,是HUD控制装置接入互联网后获取到的。
所述导航信息,是车辆的导航设备发送给HUD控制装置的。
所述挡风玻璃,用于在所述挡风玻璃远离所述AR-HUD的一侧呈现出由至少两路光线中的各路光线分别形成的与眼盒区域距离不同的多个图像,其中,形成多个所述图像中的任一图像的光线能够进入眼盒区域。
为了控制AR-HUD中的像源所发出的图像能够与真实环境中的场景融合,HUD控制装置在接收到环境信息和行驶信息后,对环境信息和行驶信息进行格式化分析处理,得到融合显示所需的待融合显示图像数据。
其中,信息的格式化是对信息类型的进一步多维描述,格式化是根据HUD控制装置中预设数据库匹配现有数据,判断接收到的环境信息和行驶信息能否融合当前真实环境中的场景并进行显示,进而决定采集数据在显示画面中的贴合位置和其他显示策略(部分数据要显示的位置对应实景可能不在当前视野内,可以根据相对位置预先进行显示)。当通过以上操作确定对环境信息和行驶信息中的部分数据进行显示时,将需要显示的该部分数据作为待融合显示数据发送到HUD控制装置中的信息显示融合单元。
信息显示融合单元收到待融合显示数据后,将待融合显示数据发送到AR-HUD中的像源中,通过像源发出待融合显示数据到真实环境中的场景中,与真实环境中的场景进行融合显示。
而且,图像和真实环境中的场景的融合匹配进一步可配置为通过图像识别把需要融合显示的数据的画面和视野中的场景做映射,根据映射关系,在场景的同一相对位置显示出图像,使像源所发出的图像能够与真实环境中的场景融合显示。
为了发出至少两路光线到所述挡风玻璃,所述AR-HUD,包括:曲面镜和至少两个像源。
至少两个像源能够分别发出至少两路光线;所述至少两路光线中的各路光线分别由所述至少两个像源中的不同像源发出,所述各路光线在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同;
所述曲面镜将入射的至少两路光线反射出所述AR-HUD,使得反射出AR-HUD的至少两路光线中的各路光线能够根据各路光线自身的传播路径长度,分别形成与眼盒区域距离不等的图像。
参见图2所示的第一种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图,所述AR-HUD,包括:曲面镜202和至少两个像源200。
至少两个像源能够分别发出至少两路光线;所述至少两路光线中的各路光线分别由所述至少两个像源中的不同像源200发出,所述各路光线在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同。
所述曲面镜将入射的至少两路光线反射出所述AR-HUD,使得反射出AR-HUD的至少两路光线中的各路光线能够根据各路光线自身的传播路径长度,分别形成与眼盒区域距离不等的图像。
所述曲面镜202,可以是但不限于:球面镜、双曲面镜、抛物面镜、以及自由曲面镜。
所述像源200,能够发出呈现图像的光线。
至少两个像源200中各像源发出的光线,在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同,说明各像源在曲面镜成像的物距不同,而曲面镜的焦距是不变的,根据上述公式1给出的曲面镜成像规律,这使各像源在曲面镜成像的像距不同,即各像源的等效像源与曲面镜的距离不同;所以,各像源发出的光线能够形成与所述眼盒区域距离不等的图像。
所述图像,是与真实环境中需要融合的目标距离匹配的图像。
所述目标,可以是但不限于:车辆周围出现的机动车、非机动车、行人、动物、变道区域、车辆所在道路前方存在检修路段、车辆所在道路前方存在损坏路段、车辆所在道路前方设置有障碍、以及车辆所在道路前方存在交通事故路段。
所以,为了达到多层次成像的目的,HUD控制装置中还存储有AR-HUD中各像源的像源标识和像距的对应关系。
其中,各像源的像距,是AR-HUD出厂前设置好的。
在一个实施方式中,各像源的像距,可以设置为几米、十几米、几十米、以及无穷远处。可以通过像源标识和像距的对应关系的方式存储在HUD控制装置中。
所述与目标距离匹配的图像的确定过程包括:HUD控制装置对目标与眼盒区域的距离分别与各像源的像距进行差值计算,将与目标与眼盒区域的距离差值最小的像距对应的图像确定为与目标距离匹配的图像。
根据上述公式1给出的曲面镜成像规律,发现将像源放在曲面镜的焦平面或者靠近焦平面的位置时,可以将图像呈现在距离眼盒区域无穷远的地方,使观察者看到不存在视差的图像。
所述视差,是指观察者的双眼在眼盒区域看到的图像与真实环境中的目标在水平方向和/或者垂直方向不能融合的情况。
为了能在无穷远处成像,AR-HUD中的至少两个像源,包括:设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的远距离成像像源。
所述远距离成像像源发出的光线射出AR-HUD后能够形成远距离图像。
所述远距离图像,用于消除观察者观看图像时的视差。
图2所示AR-HUD的结构中只包括两个像源的情况仅为示意,AR-HUD还可以包括更多的像源,这里不再一一赘述。
参见图3所示的第二种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图,AR-HUD还包括:第一平面反射镜300和第二平面反射镜302;所述至少两个像源,包括:第一像源304和第二像源306。
所述第一平面反射镜300将所述第一像源304发出的光线反射到所述曲面镜202中。
所述第二平面反射镜302将所述第二像源306发出的光线反射到所述曲面镜202中。
所述曲面镜将入射的所述第一像源发出的光线反射出所述AR-HUD,使得反射出AR-HUD的所述第一像源发出的光线能够根据光线自身的传播路径长度,形成第一图像。
所述曲面镜将入射的所述第二像源发出的光线反射出所述AR-HUD,使得反射出AR-HUD的所述第二像源发出的光线能够根据光线自身的传播路径长度,形成第二图像。
其中,所述第一像源和第二像源的像距不同。
参见图4所示的第三种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图,所述AR-HUD,还可以包括:第三平面镜400和透反膜402;所述至少两个像源,包括:第三像源404和第四像源406。
所述第三像源404设置在透反膜402的一侧,所述第四像源406和第三平面镜400设置在所述透反膜402的另一侧。
所述透反膜能够透过所述第三像源发出的光线,使得所述第三像源发出的光线入射到所述第三平面镜;同时所述透反膜能够将第四像源发出的光线反射到所述第三平面镜。
所述第三平面反射镜分别将所述第三像源发出的光线和所述第四像源发出的光线反射到所述曲面镜中。
所述曲面镜将入射的所述第三像源发出的光线反射出所述AR-HUD,使得反射出AR-HUD的所述第三像源发出的光线能够根据光线自身的传播路径长度,形成第三图像。
所述曲面镜将入射的所述第四像源发出的光线反射出所述AR-HUD,使得反射出AR-HUD的所述第四像源发出的光线能够根据光线自身的传播路径长度,形成第四图像。
其中,所述第三像源和第四像源的像距不同;所述第三像源发出的光线与所述第四像源发出的光线的偏振特性不同。
在一个实施方式中,所述第三像源发出的光线是S偏振光,所述第四像源发出的光线是P偏振光。
参见图5所示的第四种能够应用在本实施例提出的多层次成像系统中的AR-HUD的结构示意图,所述AR-HUD,包括:第五像源500、第四平面反射镜502、第五平面反射镜504、以及曲面镜202。
所述第四平面反射镜502和所述第五平面反射镜分别设置在不同位置。
所述第四平面反射镜,将所述第五像源发出的第一部分光线反射到所述曲面镜。
所述第五平面反射镜,将所述第五像源发出的第二部分光线反射到所述曲面镜。
所述曲面镜将入射的所述第一部分光线反射出所述AR-HUD,使得反射出抬头显示设备的所述第一部分光线能够根据所述第一部分光线自身的传播路径长度,形成第五图像。
所述曲面镜将入射的所述第二部分光线反射出所述AR-HUD,使得反射出抬头显示设备的所述第二部分光线能够根据所述第二部分光线自身的传播路径长度,形成第六图像。
所述第一部分光线和所述第二部分光线的传播路径长度不同,使得所述第五图像与眼盒区域之间的距离和所述第六图像与眼盒区域之间的距离不同。
所述第一部分光线和所述第二部分光线的传播路径长度不同,使得所述第五图像与眼盒区域之间的距离和所述第六图像与眼盒区域之间的距离不同,说明第五像源发出的第一部分光线和第二部分光线分别在曲面镜上所成图像与曲面镜之间的距离不同,即第一部分光线的像距和第二部分光线的像距不同。
除了多层次成像的AR-HUD外,相关技术中,基于自由曲面反射镜的传统HUD的视场角(FOV,Field of View)较小,导致HUD画像的显示尺寸很小,无法显示更加丰富的内容,降低了HUD的使用体验。为了解决这个问题,本实施例提出的多层次成像系统,还可以还包括:与所述HUD控制装置通信连接的高亮显示HUD。
所述HUD控制装置,用于将所述车辆的行驶信息和所述传感器发送的环境信息发送到高亮显示HUD进行展示。
所述高亮显示HUD,用于将所述HUD控制装置发送的所述环境信息和所述车辆的行驶信息展示出来。
所述高亮显示HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述高亮显示HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域。这样,参见图6a所示的AR-HUD和高亮显示HUD的成像侧视图,在至少两个像源分别呈现的图像中,远距离成像像源呈现的远距离图像与所述眼盒区域的距离最远。即所述远距离图像是至少两个像源分别呈现的图像中与眼盒区域水平距离最远的图像。
AR-HUD和高亮显示HUD同时工作时展示图像的示意图如图6b和图6c所示。
参见图7所示的高亮显示HUD的结构示意图,所述高亮显示HUD,包括:多个光源700、安装基板702和光线控制单元704。
所述多个光源700中的各所述光源为自发光光源;所述安装基板固定在中控台与所述挡风玻璃706相对的表面上。
各所述光源分布安装在所述安装基板的不同位置上,各所述光源的安装位置能够使各所述光源发出的光线形成的图像能够覆盖目标成像区域,其中,所述目标成像区域是所述挡风玻璃的可视区域。
所述光线控制单元704,设置在所述多个光源中的至少一个光源发出的光线的出射路径上,用于改变所述光线的出射方向,使得所述光线在经过所述挡风玻璃反射后入射到眼盒区域中。
所述自发光光源,可以是但不限于:有机发光二极管(Organic Light-EmittingDiode,OLED)、迷你发光二极管(Mini LED)、微发光二极管(Micro LED)、冷阴极荧光灯管(Cold Cathode Fluorescent Lamp,CCFL)、电致发光显示器(ElectroluminescentDisplay,ELD)、LED冷光源(Cold LED Light,CLL)、电激发光(Electro Luminescent,EL)、电子发射(Field Emission Display,FED)、卤钨灯、以及金属卤化物灯。
为了均衡光线利用率和空间利用率,光源100可以采用紧密堆积的方式排列,当光源100为矩形或六边形(优选为正六边形)时,可以实现完全紧密堆积排列。
所述光线控制单元,设置在所述多个光源中的至少一个光源发出的光线的出射路径上,用于改变所述光线的出射方向,使得所述光线在经过所述挡风玻璃反射后入射到眼盒区域中。参见图8所示的光线控制单元的一种实现方式,所述光线控制单元704包括:准直膜708。准直膜708覆盖在至少一个光源700上,用于对光源700发出光线的出射方向进行调整,对覆盖的光源700发出的光线进行准直并射出。
所述准直膜108,比如增亮薄膜(Brightness Enhancement Film,BEF膜),用于将光线的出射方向调整至预设角度范围内,例如将光线聚集在准直膜法线的±35°的角度范围内。
为了提高自发光光源的亮度,使光源发出的光线汇聚,光线控制单元704还包括凸透镜710,如图8所示,凸透镜710设置在所述准直膜708远离所述光源700的一侧,用于对所有的所述光源700发出的光线进行汇聚,将光线汇聚到同一个位置,即图8中的预设位置10,该预设位置可为眼盒区域。
在一个实施方式中,所述预设位置可以是眼盒区域的几何中心。
参见图9所示的光线控制单元的另一种实现方式,为了使光源700发出的光线汇聚,光线控制单元704还可以包括:准直透镜712和灯杯714。
多个所述光源700中的各光源设置在灯杯714内,所述准直透镜112设置在所述灯杯的开口处,各所述灯杯的开口均朝向预设位置。
所述准直透镜712的功能与上述准直膜708类似,这里不再赘述。
所述灯杯由反光面围成的中空壳体或实心全反射杯体组成,能够将光源700发出的、未射向所述准直透镜712的光线反射到准直透镜712。
所述灯杯714,用于调整所放置光源700的主光轴朝向,将放置在不同灯杯内的光源700发出的光线进行汇聚;如图9所示,将光源700发出的光线汇聚到预设位置10。
所述准直透镜712,可以采用但不限于:凸透镜、菲涅尔透镜、凸透镜与凹透镜的组合以及菲涅尔透镜与凹透镜的组合。
其中,当所述准直透镜712采用凸透镜时,所述光源700可以设置在所述准直透镜的焦平面上。
通过以上内容可以看出,将多个光源700发出的光线汇聚到预设位置10后,成像亮度虽然很高,但是成像的观看范围较小,观察者在较小的范围内才能看到HUD的图像,不方便观察者观看,那么为了扩大图像的可视范围,光线控制单元704还包括:衍射光学元件(Diffractive Optical Elements,DOE)716,DOE716可以设置在凸透镜710远离光源700的一侧、或者准直透镜712远离光源700的一侧,DOE 716用于将光源100发出的光线弥散开、并形成光斑11,从而方便观察者在眼盒区域的整个范围内观看HUD所呈现的图像,分别如图10和图11所示。
如图10和图11所示,最左侧的光源700发出的光线A可以沿着光路a射向预设位置10;当在凸透镜710远离光源700的一侧、或者准直透镜712远离光源700的一侧设置DOE716后,DOE716将光线A分散成多个光线(包括光线A1、光线A2等)。
DOE716可以采用光束整形片(Beam Shaper),光线经过衍射光学元件之后,会弥散开来并且形成一个特定几何形状的光斑,光斑的大小和形状由DOE716的微观结构所决定。光斑形状包括但不限于圆形、椭圆形、正方形、长方形、以及蝙蝠翼形状。弥散后的光斑在侧视方向的弥散角可以为10度,优选为5度;在正视方向的弥散角可以为50度,优选为30度。
由于挡风玻璃并不是平面的,具有一定的弧度,直接借助挡风玻璃成像会存在桶形畸变或者枕形畸变的问题。本发明实施例中,多个光源100可以按照第一畸变形态排布,该第一畸变形态与挡风玻璃的第二畸变形态呈相反且对应的关系。
具体参见图12和图13所示,采用传统方式排列的多个光源700在挡风玻璃706上成像时,矩形方式排列的多个光源700可以在挡风玻璃706上成一个图像,但是由于挡风玻璃具有第二畸变形态,故该图像是畸变的像,图12中挡风玻璃706上的网格图形表示枕形畸变的图像。本实施例中,根据挡风玻璃706的第二畸变形态来确定与其呈对应且相反关系的第一畸变形态,并按照第一畸变形态排布多个光源700,以消除挡风玻璃带来的畸变。具体参见图13所示,本实施例中的多个光源700按照第一畸变形态来排布(图13中,每个网格表示一个光源700),从而在挡风玻璃106上可以形成不存在畸变的图像,图13中挡风玻璃706上的网格图形表示不存在畸变的图像。
通过以上内容可以看出,通过对自发光像源的光源按照特定排列方式进行排列,可以消除因有弧度的挡风玻璃造成的成像畸变,使得HUD在挡风玻璃上的成像更加规则。
而且,通过在多层次成像系统中设置高亮显示HUD,并将高亮显示HUD中的多个光源,排布设置在所述车辆的中控台与所述挡风玻璃相对的表面上;所述多个光源的排布方式与所述挡风玻璃的可视区域相匹配,使得HUD展示的图像能够覆盖所述挡风玻璃的可视区域,扩大了HUD的显示范围,从而可以通过HUD显示更加丰富的内容,提高了HUD的使用体验。
在一个实施方式中,HUD控制装置中的IVI和ECU可以分别对AR-HUD和高亮显示HUD中的任意HUD进行控制,也可以对AR-HUD和高亮显示HUD两者进行控制,这里不再一一赘述。
当所述目标是机动车和非机动车时,参见图14所示的HUD控制装置控制AR-HUD发出与机动车和非机动车融合图像的流程图,所述HUD控制装置,用于对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以下具体步骤:
步骤1400、当车辆周围存在机动车或者非机动车时,确定眼盒区域与所述机动车或者非机动车的距离。
在上述步骤1400中,为了确定眼盒区域与机动车或者非机动车的距离,包括以下步骤(11)至步骤(13):
(11)获取图像测距传感器发送的距离信息,所述距离信息,包括:发送距离信息的图像测距传感器的传感器标识和测量到的机动车或者非机动车与车辆自身的距离;
(12)根据所述传感器标识,从图像测距传感器的传感器标识和距离的对应关系中查询出所述传感器标识对应的图像测距传感器与眼盒区域的距离;
(13)计算所述传感器标识对应的图像测距传感器与眼盒区域的距离与所述距离信息中记载的机动车或者非机动车与车辆的距离的和,并将计算结果确定为所述眼盒区域与机动车或者非机动车的距离。
在上述步骤(11)中,所述距离信息,还包括:图像测距传感器采集的车辆周围图像。
图像测距传感器在测量到的移动目标与车辆的距离,并采集到图车辆周围图像后,根据图像测距传感器自身的传感器标识、采集到的车辆周围图像、移动目标与车辆的距离生成距离信息,并发送给HUD控制装置。
在上述步骤(12)中,图像测距传感器的传感器标识和距离的对应关系缓存在HUD控制装置中。
步骤1402、当有机动车或者非机动车与车辆的距离小于安全距离阈值时,将与车辆的距离小于安全距离阈值的机动车或者非机动车确定为需要标识的目标。
步骤1404、将所述眼盒区域与所述目标的距离作为目标像距,从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源。
在上述步骤1404,从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程,与上述的所述与场景距离匹配的图像的确定过程类似,可以包括以下步骤(21)至步骤(24):
(21)从所述像源标识和像距的对应关系中获取所述AR-HUD中多个像源中除远距离成像像源外的各像源的像距;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
(22)分别计算各所述像源的像距与所述目标像距的差值;
(23)将各所述像源中与所述目标像距差值最小且与所述目标像距的差值小于差值阈值的像距对应的像源确定为与所述目标像距匹配的目标像源;
(24)当各得到像源的像距与所述目标像距的差值均大于所述差值阈值时,将所述远距离成像像源确定为与所述目标像距匹配的目标像源。
步骤1406、生成与所述目标融合的图像,控制所述目标像源向所述目标发出与所述目标融合的图像,将所述目标标识出来。
通过以上的步骤1400至步骤1406的内容可以看出,当有机动车或者非机动车与车辆的距离小于安全距离时,将所述距离作为目标像距,从多个像源中选择出与所述目标像距相匹配的像源作为目标像源;控制所述目标像源向所述移动目标发出与所述移动目标融合的图像,将所述移动目标标识出来,从而辅助车辆驾驶。
而且,在控制所述目标像源向所述目标发出与所述目标融合的图像,将所述目标标识出来的同时,所述HUD控制装置,还具体用于执行以下步骤(1)至步骤(3):
(1)生成预警信息;
(2)基于所述眼盒区域与所述目标的距离匹配的颜色,对所述预警信息进行渲染;
(3)将所述预警信息发送到高亮显示HUD进行展示。
在上述步骤(1)中,所述预警信息,可以是:“与目标距离过近,请注意驾驶安全”。
在上述步骤(2)中,HUD控制装置中缓存有车辆周围的非机动车与车辆的距离和颜色的对应关系表。
在一个实施方式中,所述非机动车与车辆的距离和颜色的对应关系表,可以如下表示:
非机动车与车辆的距离在0到50厘米之间红色;
非机动车与车辆的距离在50到75厘米之间黄色。
同理,HUD控制装置中还缓存有车辆周围的机动车与车辆的距离和颜色的对应关系表。
机动车与车辆的距离和颜色的对应关系表的形式与上述非机动车与车辆的距离和颜色的对应关系表的形式类似,这里不再赘述。
所以,所述HUD控制装置可以根据与所述车辆分别与所述目标的距离对应的颜色,对预警信息进行渲染。
这里,术语“渲染”是指用和所述眼盒区域与所述目标距离匹配的颜色,将所述预警信息标识出来。
当目标是机动车时,所述行驶信息,包括:车辆的车速信息;所述环境信息,包括:所述车辆与周围车辆之间的车距信息;所述周围车辆,包括:位于所述车辆前方的前方车辆、位于所述车辆后面的后方车辆、以及位于所述车辆两侧的侧方车辆。
参见图15所示的高亮显示HUD发出标识所述车辆的周围车辆车距的流程图,所述HUD控制装置,用于将所述车辆的行驶信息和所述传感器发送的环境信息发送到高亮显示HUD进行展示,包括以下具体步骤:
步骤10、获取所述车辆分别与所述前方车辆的第一距离、与所述后方车辆的第二距离、以及与两侧的所述侧方车辆的第三距离和第四距离。
步骤12、根据所述车辆的车速信息,确定所述车辆与所述前方车辆的第一安全距离阈值。
步骤14、当所述第一距离小于等于确定的所述第一安全距离阈值时,生成第一预警信息,并将所述第一预警信息发送到高亮显示HUD进行展示。
步骤16、当所述第二距离小于等于第二安全距离阈值时,生成第二预警信息,并将所述第二预警信息发送到高亮显示HUD进行展示;其中,所述第二安全距离阈值,用于表示所述车辆与所述后方车辆的安全行驶距离。
步骤18、当所述第三距离和/或者所述第四距离小于等于第三安全距离阈值时,生成第三预警信息,并将所述第三预警信息发送到高亮显示HUD进行展示;其中,所述第三安全距离阈值,用于表示所述车辆与所述侧方车辆的安全行驶距离。
在上述步骤10中,通过在车辆头部安装的图像测距传感器发送的第一距离信息获取所述车辆分别与所述前方车辆的第一距离,通过在车辆后部安装的图像测距传感器发送的第二距离信息获取与所述后方车辆的第二距离,通过在车辆两侧安装的图像测距传感器分别发送的第三距离信息和第四距离信息,分别获取位于车辆两侧的所述侧方车辆的第三距离和第四距离。
所述第一距离信息、所述第二距离信息、所述第三距离信息和所述第四距离信息的生成的具体过程,均与上述生成距离信息的过程类似,这里不再赘述。
所以,所述第一距离信息,包括但不限于:发送所述第一距离信息的图像测距传感器的传感器标识、所述车辆与前方车辆的第一距离、以及所述车辆与所述前方车辆之间的路径图像。
所述第二距离信息、所述第三距离信息和所述第四距离信息包括的内容与上述的所述第一距离信息类似,这里不再赘述。
在上述步骤12中,所述HUD控制装置,可以根据HUD控制装置自身缓存的车速和安全距离的对应关系中,查询出所述车辆的车速信息对应的第一安全距离阈值。
在一个实施方式中,车速和安全距离的对应关系可以如下表示:
车速小于等于20公里/小时时,安全距离为10米;
车速大于20公里/小时且小于等于40公里/小时时,安全距离为20米;
车速大于40公里/小时且小于等于60公里/小时时,安全距离为30米;
车速大于60公里/小时且小于等于100公里/小时时,安全距离为60米。
所述HUD控制装置,还存储有第二安全距离阈值和第三安全距离阈值。
所述第二安全距离阈值,用于表示所述车辆与所述后方车辆的安全行驶距离。
所述第三安全距离阈值,用于表示所述车辆与所述侧方车辆的安全行驶距离。
在上述步骤14中,所述第一预警信息,用于表示所述车辆与所述前方车辆距离小于第一安全距离阈值。
在上述步骤16中,所述第二预警信息,用于表示所述车辆与所述前方车辆距离小于第二安全距离阈值。
在上述步骤18中,所述第三预警信息,用于表示所述车辆与车辆自身至少一侧的侧方车辆距离小于第三安全距离阈值。
所述第二预警信息和所述第三预警信息的显示方式,与所述第一预警信息的显示方式类似,这里不再赘述。
在上述步骤14、步骤16和步骤18中,所述第一预警信息、所述第二预警信息和所述第三预警信息的显示方式,可以包括但不限于如下多种方式:
(一)告警文字、图像、视频,如“与前方车辆距离太近,请减速”“请与右侧车辆保持距离”;或者色彩鲜明、显著的图标、或提示动画,如红色的提示信息;且相关提示信息的亮度高于AR-HUD其他部分的画面亮度,也可以采取滚动、闪烁、跳动等效果,进一步提高警示效果。
显示的位置应至少集中在驾驶员正对的前方,也可同时在副驾驶前方显示,对乘客进行提醒。
(二)还可以在AR-HUD显示所述第二预警信息和所述第三预警信息的基础上,配合车辆或车辆上的音频播放设备,通过语音播报进行提醒,可以是没有具体含义的告警铃声,也可以是具体的语音提醒如“注意!保持车距”。
(三)配合其他设备,如集成在方向盘上的机械式振动设备,集成在座椅内的机械设备,通过震动进行提醒。
(四)在车辆侧窗、后窗显示告警文字、图像、视频,如“后方车辆请保持车距”、“侧方车辆请保持距离”或色彩鲜明、显著的图标、或提示动画,如红色的提示信息;且相关提示信息的亮度高于HUD其他部分的画面亮度,也可以采取滚动、闪烁、跳动等效果,进一步提高警示效果。
参见图16所示的高亮显示HUD展示第一预警信息且AR-HUD将车辆与其距离过近的机动车之间的路径标识出来的示意图,可以将所述第一预警信息发送到高亮显示HUD进行展示的同时,还可以利用所述AR-HUD将车辆与其距离过近的机动车之间的路径标识出来。
除了挡风玻璃顶部外,所述第一预警信息还可以展示在挡风玻璃的其他位置上,这里不再一一赘述。
具体地,参见图17所示的车辆与前方车辆距离过近时,HUD控制装置控制所述AR-HUD的显示车辆与其车距过近的与前方车辆之间路径的流程图;所述HUD控制装置,用于对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以执行以下步骤:
步骤1700、获取所述车辆与所述前方车辆之间的路径图像;
步骤1702、根据获取到的所述车辆与所述前方车辆之间的路径图像,识别出所述车辆与所述前方车辆之间的路径;
步骤1704、将与所述第一距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
步骤1706、利用第一颜色标识生成第一路径标识指令,并将生成的所述第一路径标识指令发送到所述AR-HUD中的目标像源,控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第一颜色标识对应的颜色展示出来;
步骤1708、当确定所述第一距离大于所述第一安全距离阈值时,根据所述第一距离从所述AR-HUD中选择出目标像源;
步骤1710、利用第二颜色标识生成第二路径标识指令,并将生成的所述第二路径标识指令发送到所述目标像源,控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第二颜色标识对应的颜色展示出来。
在上述步骤1700中,所述车辆与所述前方车辆之间的路径图像,是从第一距离信息中获取到的。
在上述步骤1702中,所述HUD控制装置可以采用现有的然和图像处理技术,根据获取到的所述车辆与所述前方车辆之间的路径图像,识别出所述车辆与所述前方车辆之间的路径,具体过程这里不再赘述。
在上述步骤1704中,与所述第一距离相匹配的像距,就是所述眼盒区域与所述车辆的前方车辆的距离,所以,确定与所述第一距离相匹配的像距的过程,和上述确定眼盒区域与所述移动目标的距离过程类似,这里不再赘述。
在上述步骤1706中,所述第一颜色标识对应的颜色,可以是红色和粉色。
在一个实施方式中,所述第一预警信息,可以是“与前方车距离过近,请减速”。
进一步地,HUD控制装置中缓存有机动车与车辆的距离和颜色的对应关系表。
在一个实施方式中,所述机动车与车辆的距离和颜色的对应关系表,可以如下表示:
机动车与车辆的距离在50到150厘米之间红色;
机动车与车辆的距离在150到300厘米之间黄色。
所以,所述HUD控制装置还可以根据与所述车辆分别与所述前方车辆的第一距离对应的颜色,对所述第一预警信息进行渲染。并将渲染后的所述第一预警信息发送到高亮显示HUD进行展示。
在上述步骤1708中,选择出目标像源的过程,和上述步骤1404描述的从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的步骤(21)至步骤(24)描述的过程类似,这里不再赘述。
确定所述第一距离大于所述第一安全距离阈值,说明车辆当前保持安全的行车距离。
在上述步骤1710中,所述第二颜色标识对应的颜色,可以是绿色和无颜色。
当然,在控制所述目标像源将所述车辆与所述前方车辆之间的路径用所述第二颜色标识对应的颜色展示出来的同时,确认保持安全的行车距离后,通过传统HUD方式显示提示文字、图像、视频,如“安全车距,请继续保持”;或与告警时显示颜色区别较大的图标、或提示动画,如绿色的提示信息,也可以采取滚动、闪烁、跳动等效果,展示一定时间后即消失;也可以始终保持在画面上,展示给观察者。
在通过AR-HUD和高亮显示HUD展示图像的同时,所述HUD控制装置还可以执行以下步骤(1)至步骤(2):
(1)当所述第一距离小于制动操作长度阈值且所述第一距离小于等于确定的所述第一安全距离阈值的时长大于第一预设时长阈值时,生成制动指令。
(2)利用生成的所述制动指令,控制所述车辆执行制动操作。
在上述步骤(1)中,所述制动操作长度阈值,缓存在HUD控制装置中,可以设置为15米。所述制动操作长度阈值还可以设置为小于任意车速和安全距离的对应关系中记载的安全距离值,这里不再一一赘述。
所述第一预设时长阈值,缓存在HUD控制装置中,可以设置为20秒。
当所述目标为非机动车时,参见图18所示的展示碰撞预警信息的流程图,所述HUD控制装置,用于将所述车辆的行驶信息和所述传感器发送的环境信息发送到高亮显示HUD进行展示,包括以下具体步骤:
步骤1800、当确定所述车辆的所在位置是人流密集区域时,获取所述车辆的周围环境图像;
步骤1802、当根据所述周围环境图像确定所述车辆周围存在非机动车时,确定所述非机动车与所述车辆之间的距离;
步骤1804、当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时,生成碰撞预警信息,并将所述非机动车与所述车辆之间的距离和所述碰撞预警信息发送到高亮显示HUD进行展示。
在上述步骤1800至步骤1802中,所述HUD控制装置从所述导航设备发送的位置信息中确定所述车辆的所在位置。当确定所述车辆的所在位置是在学校、医院、停车场、以及繁华市区时,确定所述车辆的所在位置是人流密集区域,向所述车辆上安装的图像测距传感器发送图像获取指令,使得所述车辆上安装的图像测距传感器采集所述车辆的周围环境图像。
图像测距传感器接收到图像获取指令后,采集所述周围环境图像后在确定所述车辆周围存在非机动车时,确定所述非机动车与所述车辆之间的距离,并将所述周围环境图像、确定所述车辆周围存在的非机动车与所述车辆之间的距离以及图像测距传感器自身的传感器标识生成非机动车距离信息,发送给HUD控制装置。
在上述步骤1804中,所述碰撞安全距离阈值,缓存在HUD控制装置中,可以设置为2米到5米之间的任意距离。
所述碰撞预警信息,用于表示所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值。
在一个实施方式中,所述碰撞预警信息,可以是“与前方行人距离过近,请注意”。
在上述步骤1804中,所述碰撞预警信息的显示方式,可以包括但不限于如下多种方式:
(一)可为告警文字、图像、视频;或色彩鲜明、显著的图标、或提示动画,如红色的提示信息;或提示信息的亮度高于HUD显示的其他部分的画面亮度,也可以采取滚动、闪烁、跳动等效果,进一步提高警示效果。显示的位置应至少集中在驾驶员正对的前方,也可同时在副驾驶前方显示,对乘客进行提醒。
(二)用红色等鲜明色彩的形状或标志,对关键信息进行标注和提示,同时伴随语音提醒,如“前方有行人,注意避让”,进一步增强对驾驶员的提醒效果。
上述(一)至(二)描述的显示方式与传统的HUD的显示方式类似,这里不再赘述。
参见图19所示的高亮显示HUD展示碰撞预警信息且AR-HUD将车辆与其距离过近的非机动车标识出来的示意图,可以将所述碰撞预警信息发送到高亮显示HUD进行展示的同时,还可以利用所述AR-HUD将车辆与其距离过近的非机动车标识出来。
具体地,参见图20所示的车辆与非机动车距离过近时,HUD控制装置控制所述AR-HUD的标识出与车辆距离过近的非机动车的流程图;所述HUD控制装置,用于对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以下具体步骤:
步骤2000、确定所述非机动车的所在位置以及所述非机动车与车辆的距离;
步骤2002、当所述非机动车与车辆的距离大于碰撞安全距离阈值且小于等于预警距离阈值时,根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源;
步骤2004、控制所述目标像源利用所述第四颜色标识对应的颜色在所述非机动车的所在位置生成预警图形;其中,所述预警图形与所述非机动车融合到一起;
步骤2006、当所述非机动车与所述车辆之间的距离小于碰撞安全距离阈值时,根据所述非机动车的所在位置以及所述非机动车与车辆的距离,确定出与所述非机动车融合的非机动车指示框的第一尺寸,并基于所述周围环境图像中的非机动车轮廓,确定所述非机动车指示框的第一形状;
步骤2008、将与所述非机动车与车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
步骤2010、利用第三颜色标识、非机动车指示框的第一尺寸和第一形状生成非机动车标识指令,通过所述非机动车标识指令控制所述目标像源利用所述第三颜色标识对应的颜色,按照确定的第一尺寸和第一形状生成所述非机动车指示框,并根据所述非机动车的所在位置将所述非机动车指示框与所述非机动车融合到一起,将所述非机动车标识出来;
步骤2012、当确定所述非机动车与所述车辆的距离大于所述预警距离阈值时,获取非机动车图像,并确定所述非机动车的当前所在位置;
步骤2014、根据所述非机动车的所述当前所在位置以及所述非机动车与车辆的距离,确定出与所述非机动车融合的非机动车指示框的第二尺寸,并基于所述非机动车图像中的非机动车轮廓,确定所述非机动车指示框的第二形状;
步骤2016、根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源;
步骤2018、利用第五颜色标识、非机动车指示框的第二尺寸和第二形状生成非机动车标识指令,通过所述非机动车标识指令控制所述目标像源利用所述第五颜色标识对应的颜色,按照确定的第二尺寸和第二形状生成非机动车指示框,并基于所述非机动车的当前所在位置将所述非机动车指示框与所述非机动车融合到一起。
在上述步骤2000中,所述HUD控制装置可以通过任何现有的从数字图像确定物体位置的算法,根据所述周围环境图像确定所述非机动车的所在位置,这是现有技术,具体过程这里不再赘述。
在上述步骤2002中,所述预警距离阈值,缓存在HUD控制装置中,可以设置为5米到10米之间的任意距离。
根据所述非机动车与车辆的距离从所述AR-HUD中选择出目标像源的具体过程,就是先根据所述非机动车与车辆的距离确定作为目标相距的所述眼盒区域与非机动车的距离,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程,这个过程与上述步骤1404描述的从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的步骤(21)至步骤(24)描述的过程类似,这里不再赘述。
在上述步骤2004中,所述第四颜色标识对应的颜色,可以是红色、绿色、黄色等颜色鲜明的颜色。
所述预警图形,预先缓存在所述HUD控制装置中,可以是但不限于:圆形、椭圆形、以及四边形。
在上述步骤2006中,可以采用现有的图像处理技术,根据所述非机动车的所在位置以及所述非机动车与车辆的距离,确定出与所述非机动车融合的非机动车指示框的第一尺寸,并基于所述周围环境图像中的非机动车轮廓,确定所述非机动车指示框的第一形状,具体过程这里不再赘述。
在上述步骤2008中,将与所述非机动车与车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的过程与上述确定眼盒区域与所述移动目标的距离过程类似,这里不再赘述。
在上述步骤2010中,所述第三颜色标识对应的颜色,可以是红色和粉色。在上述步骤2018中,所述第五颜色标识对应的颜色,可以是绿色和蓝色。
基于所述非机动车的当前所在位置将所述非机动车指示框与所述非机动车融合到一起,从而使观察者通过眼盒区域看到所述非机动车指示框与所述非机动车融合到一起的图像,以此确定所述车辆与由所述非机动车指示框标识出的非机动车距离大于所述碰撞安全距离阈值。
当然,当确定所述非机动车与所述车辆的距离大于所述预警距离阈值时,说明车辆与周围的非机动车处于安全距离,那么也可以不执行上述步骤2012至步骤2018的具体过程,对与车辆处于安全距离的非机动车不进行标识。
上述步骤2012至步骤2018的具体过程,与步骤2006至步骤2010所描述的具体过程类似,这里不再赘述。
除了上述步骤之外,当确定所述非机动车与车辆的距离小于紧急制动长度阈值时,所述HUD控制装置可以控制所述车辆执行制动操作。
其中,所述紧急制动长度阈值,可以是0.5米到1.5米之间的任意距离。
在有些情况下,高亮显示HUD还会将天气信息和所述车辆所在道路的状况信息展示出来,参见图21所示的HUD控制装置控制高亮显示HUD将警示信息展示出来的流程图,所述HUD控制装置还可以执行以下具体步骤:
生成警示信息,将所述警示信息发送到高亮显示HUD进行展示。
为了生成警示信息,将所述警示信息发送到高亮显示HUD进行展示,可以执行以下步骤2100至步骤2102:
步骤2100、获取天气信息和/或者所述车辆所在道路的状况信息;
步骤2102、当根据所述天气信息和/或者所述车辆所在道路的状况信息,确定所述车辆周围存在潜在行驶危险目标时,生成警示信息,并将天气信息和/或者所述车辆所在道路的状况信息、以及生成的警示信息发送到高亮显示HUD进行展示。
在上述步骤2100中,具体地,为了获取所述车辆所在道路的天气信息和所述车辆所在道路的状况信息,所述HUD控制装置会根据车辆所在道路的位置信息,确定车辆所在道路的行政区域,然后通过无线通信设备接入互联网,获取所述行政区域的天气信息和所述行政区域的交通信息,所述交通信息,包括:所述车辆所在道路的路况信息和状况信息。
所述车辆所在道路的天气信息,用于指示所述车辆所处道路处于良好天气情况,还是恶略天气情况。
所述良好天气情况,包括但不限于:晴天、多云间晴、以及多云。
所述恶略天气情况,包括但不限于:冰雹、暴雨、洪水、以及龙卷风。
所述车辆所在道路的状况信息,包括但不限于:包括:道路前方存在检修的提醒信息、道路前方存在损坏的提醒信息、道路前方出现交通事故的提醒信息、以及道路前方设有障碍的提醒信息。
道路前方存在检修的提醒信息,用于指示车辆所在道路前方存在检修路段。
道路前方存在损坏的提醒信息,用于指示车辆所在道路前方存在损坏路段。
道路前方出现交通事故的提醒信息,用于指示车辆所在道路前方存在交通事故路段。
道路前方设有障碍的提醒信息,用于指示车辆所在道路前方设置有障碍。
在上述步骤2102中,所述警示信息,可以是:“天气情况不好,请慢行”、以及“前方道路出现交通事故,请慢行”。
而且,在上述步骤2102中,可以采用以下方式,对警示信息进行显示:
基于AR增强系统,对行车安全的信息进行分析,将虚拟信息模拟仿真后,应用显示在HUD上,现实与虚拟两种信息互为补充,对警示信息进行增强。
(一)在HUD上显示信息,将有助于行驶的需标记信息标示出来,包括:潜在威胁车辆、潜在道路危险、恶劣道路条件、夜间行驶需注意信息等;
其中,安全标志可用绿色安全标示,危险标志可用红色警示标示;
根据实时道路状况和联网的道路信息,在画面中对行驶路线进行辅助,在正确行驶道路上标示辅助线和转向标志。
显示信息可以是文字、图像、视频,可以采取颜色加深、滚动、闪烁、跳动等提高警示效果。
显示的位置应至少集中在驾驶员正对的前方,也可同时在副驾驶前方显示,对乘客进行提醒。
(二)在AR-HUD上对关键信息进行标注和提示,存在潜在威胁车辆,可图示或语音提醒驾驶员威胁车辆信息;
(三)在AR-HUD上对关键信息进行标注和提示,存在潜在道路危险,可图示或语音提醒驾驶员道路状况信息。
参见22所示的当确定车辆所在地区当前是恶略天气情况时,可以在高亮显示HUD展示警示信息的同时AR-HUD展示与道路融合的图像的示意图,其中,实线部分是通过眼盒区域可以看到的道路部分,虚线部分是路径轮廓图展示的道路部分。
参见图23所示的潜在行驶危险目标为恶略天气情况时所述HUD控制装置控制AR-HUD展示图像的流程图,所述HUD控制装置,用于对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以下具体步骤:
步骤2300、当确定所述车辆所在道路存在恶略天气情况时,获取所述车辆所在道路的恶略天气道路图像并生成警示信息;
步骤2302、对所述恶略天气道路图像进行处理,确定所述车辆所在道路的亮度值;
步骤2304、当所述亮度值小于亮度阈值时,生成远光灯开启提示信息,通过所述高亮显示HUD展示所述远光灯开启提示信息,并从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置;
步骤2306、根据所述路径位置,确定出所述车辆所在道路与所述眼盒区域的距离;
步骤2308、将与所述车辆所在道路与所述眼盒区域的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
步骤2310、利用第六颜色,对所述车辆所在道路的路径轮廓进行填充,得到车辆所在道路的路径轮廓图;
步骤2312、根据所述车辆所在道路的路径位置,通过所述目标像源将所述路径轮廓图投射到所述车辆所在道路上,使得所述路径轮廓图与所述车辆所在道路融合。
在上述步骤2300中,所述HUD控制装置向所述车辆上安装的图像测距传感器发送图像获取指令,使得所述车辆上安装的图像测距传感器采集所述车辆所在道路的恶略天气道路图像。
图像测距传感器接收到图像获取指令后,采集所述恶略天气道路图像后,将所述恶略天气道路图像发送给HUD控制装置。
在上述步骤2302中,采用现有的图像亮度算法,对所述恶略天气道路图像进行处理,将处理得到的图像亮度值确定为所述车辆所在道路的亮度值。具体过程是现有技术,这里不再赘述。
在上述步骤2304中,通过所述AR-HUD展示所述远光灯开启提示信息的过程与传统HUD的显示信息的过程类似,这里不再赘述。
而且,所述HUD控制装置可以采用现有的任何图像处理技术,从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置,具体过程这里不再赘述。
在一个实施方式中,所述远光灯开启提示信息,可以是“请开启远光灯”。
在上述步骤2306中,从所述车辆所在道路的路径轮廓中得到所述车辆所在道路的几何中心,利用图像测距传感器测量所述车辆所在道路的几何中心与车辆的距离,并对所述车辆所在道路的几何中心与车辆的距离,与测量所述车辆所在道路的几何中心与车辆的距离的图像测距传感器与眼盒区域的距离进行求和计算,将求和计算的结果确定为所述车辆所在道路与所述眼盒区域的距离。
在上述步骤2308中,确定目标像源的具体过程,与上述确定眼盒区域与所述移动目标的距离过程类似,这里不再赘述。
在上述步骤2310中,所述第六颜色,可以是红色、蓝色、绿色等醒目的颜色。
在上述步骤2312中,如图22所示,虚线部分是路径轮廓图展示的道路部分。
参见图24所示的潜在行驶危险目标为所述车辆所在道路前方的状况信息时所述HUD控制装置控制AR-HUD展示图像的流程图,所述HUD控制装置,用于对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括以下具体步骤:
步骤2400、当获取到所述车辆所在道路的状况信息且所述车辆与发生所述状况信息对应道路状况的路段之间的距离小于道路状况显示距离阈值时,获取所述车辆所在道路的道路状况图像并生成警示信息;其中,所述道路状况图像,包括:所述车辆所在道路中发生道路状况的路段;
步骤2402、从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓和路段位置,并根据所述路段位置,确定发生所述道路状况的路段与所述车辆的距离;
步骤2404、将与发生所述道路状况的路段与所述车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;
步骤2406、利用第七颜色,对发生所述道路状况的路段的路段轮廓进行填充,得到发生所述道路状况的路段的状况轮廓图;
步骤2408、通过所述目标像源将所述状况轮廓图投射到发生所述道路状况的路段上,使得所述状况轮廓图与发生所述道路状况的路段融合。
在上述步骤2400中,发生道路状况的路段,可以是但不限于:检修路段、损坏路段、交通事故路段、以及设置有障碍路段。
所述道路状况显示距离阈值,可以是0到2公里之间的任意距离。
所述HUD控制装置向所述车辆上安装的图像测距传感器发送图像获取指令,使得所述车辆上安装的图像测距传感器采集所述车辆所在道路的道路状况图像。
图像测距传感器接收到图像获取指令后,采集所述道路状况图像后,测量车辆与发生道路状况的路段的距离,并根据图像测距传感器自身的传感器标识、所述道路状况图像、以及车辆与发生道路状况的路段的距离生成道路状况距离信息,将所述道路状况距离信息发送给HUD控制装置。
在上述步骤2402中,可以采用现有的任何图像处理算法,从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓,这是现有技术,具体过程这里不再赘述。
在上述步骤2404中,确定目标像源的过程,与上述步骤1404中从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源的步骤(21)至步骤(24)描述的过程类似,这里不再赘述。
在上述步骤2406中,所述第七颜色,可以是红色、粉色、以及绿色。
在有些情况下,需要对车辆的操作情况进行评价,并给出车辆的驾驶建议,参见图25所示的给出车辆驾驶建议时HUD控制装置所执行的流程图,所述HUD控制装置,还具体用于执行以下步骤:
步骤2500、当根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息,生成所述车辆的操作建议信息时,采集所述观察者的车辆操作视频,并通过高亮显示HUD将所述操作建议信息展示;
步骤2502、当确定操作规定时长内未检测到所述操作建议信息对应的操作时,生成危险驾驶信息,通过所述高亮显示HUD将所述危险驾驶信息进行展示,并对驾驶车辆指数进行减量操作;
步骤2504、当确定操作规定时长内检测到所述操作建议信息对应的操作时,对驾驶车辆指数进行增量操作;
步骤2506、当确定所述车辆未被操作的时长大于停车时间阈值时,停止采集车辆操作视频,并将所述驾驶车辆指数和采集到的所述车辆操作视频发送到所述高亮显示HUD进行展示。
在上述步骤2500中,所述导航信息是从导航设备获取到的;所述车辆的行驶速度、加速度、以及车辆状态信息是从OBD中获取到的。
根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息,生成所述车辆的操作建议信息的过程是现有技术,这里不再赘述。
所述操作建议信息,包括但不限于:建议行驶路线信息、建议档位信息、障碍提示信息、建议速度信息、和建议制动信息。
在上述步骤2502中,所述操作规定时长可以是3到5秒之间的任何时间长度。
所述驾驶车辆指数,用于评价车辆操作的合理程度;所述驾驶车辆指数越大,说明车辆操作越合理。
对驾驶车辆指数进行减量操作,是指在当前驾驶车辆指数的基础上,减去固定的指数变量,从而得到减量操作后的驾驶车辆指数。
在上述步骤2506中,对驾驶车辆指数进行增量操作的过程与对驾驶车辆指数进行减量操作的过程类似,这里不再赘述。
综上所述,本实施例提出的多层次成像系统,通过设置能够发出至少两路光线的AR-HUD,从而能够在与眼盒区域距离不等的位置分别展示不同的图像,形成多个所述图像中的任一图像的光线能够进入眼盒区域,达到了多层次成像的目的,与相关技术中AR-HUD只能在固定位置呈现单层图像的方式相比,AR-HUD发出的至少两路光线中各路光线所呈现的图像能够在真实环境中与眼盒区域距离不等的位置上的场景分别进行融合,尽可能避免图像在和真实环境中的场景融合时产生的偏差,使观察者看到融合到一起的图像和场景,提高AR-HUD的使用体验。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种多层次成像系统,用于车辆,其特征在于,包括:车辆的挡风玻璃、安装在所述车辆上的HUD控制装置、数据采集设备、以及增强现实抬头显示器AR-HUD;
所述HUD控制装置分别与所述数据采集设备和所述AR-HUD通信连接;
所述数据采集设备,用于获取所述车辆周围的环境信息,并将获取到的所述环境信息发送给所述HUD控制装置;
所述HUD控制装置,用于获取车辆的行驶信息,并对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD;
所述AR-HUD,用于发出至少两路光线到所述挡风玻璃,所述至少两路光线中的各路光线,能够分别展示与眼盒区域距离不等的多个图像;其中,所述多个图像中的各图像能够与距离匹配的目标融合;
系统还包括高亮显示HUD,与所述HUD控制装置通信连接,所述高亮显示HUD包括:多个光源、安装基板和光线控制单元;
所述多个光源中的各所述光源为自发光光源;所述安装基板固定在中控台与所述挡风玻璃相对的表面上;
各所述光源分布安装在所述安装基板的不同位置上,各所述光源的安装位置能够使各所述光源发出的光线形成的图像能够覆盖目标成像区域,其中,所述目标成像区域是所述挡风玻璃的可视区域;
所述光线控制单元用于将所述光源发出的光线汇聚预设位置,所述预设位置位于眼盒区域中;
所述光线控制单元还包括衍射光学元件,所述衍射光学元件用于将光线弥散开,并形成光斑,从而使观察者在眼盒区域的整个范围内观看所述高亮显示HUD所呈现的图像。
2.根据权利要求1所述的多层次成像系统,其特征在于,所述AR-HUD,包括:曲面镜和至少两个像源;
至少两个像源能够分别发出至少两路光线;所述至少两路光线中的各路光线分别由所述至少两个像源中的不同像源发出,所述各路光线在分别发出各路光线的像源与所述曲面镜之间的传播路径长度不同;
所述曲面镜将入射的至少两路光线反射出所述AR-HUD,使得反射出AR-HUD的至少两路光线中的各路光线能够根据各路光线自身的传播路径长度,分别形成与眼盒区域距离不等的图像。
3.根据权利要求2所述的多层次成像系统,其特征在于,所述至少两个像源,包括:设置在靠近所述曲面镜的焦平面的位置或者设置在所述曲面镜的焦平面所在位置的远距离成像像源;
所述远距离成像像源发出的光线射出AR-HUD后能够形成远距离图像。
4.根据权利要求3所述的多层次成像系统,其特征在于,
所述HUD控制装置,用于将所述车辆的行驶信息和传感器发送的环境信息发送到高亮显示HUD进行展示;
所述高亮显示HUD,用于将所述HUD控制装置发送的所述环境信息和所述车辆的行驶信息展示出来;
所述高亮显示HUD的排布方式与所述挡风玻璃的可视区域相匹配,使得所述高亮显示HUD发出的光线呈现出的图像能够覆盖所述挡风玻璃的可视区域。
5.根据权利要求4所述的多层次成像系统,其特征在于,所述目标包括:机动车和非机动车;
所述HUD控制装置,用于对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括:
当车辆周围存在机动车或者非机动车时,确定眼盒区域与所述机动车或者非机动车的距离;
当有机动车或者非机动车与车辆的距离小于安全距离阈值时,将与车辆的距离小于安全距离阈值的机动车或者非机动车确定为需要标识的目标;
将所述眼盒区域与所述目标的距离作为目标像距,从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;
生成与所述目标融合的图像,控制所述目标像源向所述目标发出与所述目标融合的图像,将所述目标标识出来。
6.根据权利要求5所述的多层次成像系统,其特征在于,所述HUD控制装置,用于确定眼盒区域与所述机动车或者非机动车的距离,包括:
获取图像测距传感器发送的距离信息,所述距离信息,包括:发送距离信息的图像测距传感器的传感器标识和测量到的机动车或者非机动车与所述车辆自身的距离;
根据所述传感器标识,从图像测距传感器的传感器标识和距离的对应关系中查询出所述传感器标识对应的图像测距传感器与眼盒区域的距离;
计算所述传感器标识对应的图像测距传感器与眼盒区域的距离与所述距离信息中记载的移动目标与车辆的距离的和,并将计算结果确定为所述眼盒区域与机动车或者非机动车的距离。
7.根据权利要求5所述的多层次成像系统,其特征在于,所述HUD控制装置,用于将所述眼盒区域与所述目标的距离作为目标像距,从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源,包括:
从所述像源标识和像距的对应关系中获取所述AR-HUD中多个像源中除远距离成像像源外的各像源的像距;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
分别计算各所述像源的像距与所述目标像距的差值;
将各所述像源中与所述目标像距差值最小且差值小于差值阈值的像距对应的像源确定为与所述目标像距匹配的目标像源;
当各得到像源的像距与所述目标像距的差值均大于所述差值阈值时,将所述远距离成像像源确定为与所述目标像距匹配的目标像源。
8.根据权利要求5所述的多层次成像系统,其特征在于,所述HUD控制装置,还具体用于:
生成预警信息;
基于所述眼盒区域与所述目标的距离匹配的颜色,对所述预警信息进行渲染;
将所述预警信息发送到高亮显示HUD进行展示。
9.根据权利要求4所述的多层次成像系统,其特征在于,所述环境信息,包括:所述车辆所在道路的恶略天气道路图像;
当所述目标是恶略天气情况时,所述HUD控制装置,用于对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括:
当确定所述车辆所在道路存在恶略天气情况时,获取所述车辆所在道路的恶略天气道路图像;
对所述恶略天气道路图像进行处理,确定所述车辆所在道路的亮度值;
当所述亮度值小于亮度阈值时,生成远光灯开启提示信息,通过所述高亮显示HUD展示所述远光灯开启提示信息,并从所述恶略天气道路图像中确定出车辆所在道路的路径轮廓和路径位置;
根据所述路径位置,确定出所述车辆所在道路与所述眼盒区域的距离;
将与所述车辆所在道路与所述眼盒区域的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
利用第六颜色,对所述车辆所在道路的路径轮廓进行填充,得到车辆所在道路的路径轮廓图;
根据所述车辆所在道路的路径位置,通过所述目标像源将所述路径轮廓图投射到所述车辆所在道路上,使得所述路径轮廓图与所述车辆所在道路融合。
10.根据权利要求4所述的多层次成像系统,其特征在于,所述环境信息,包括:所述车辆所在道路的状况信息;
当所述目标是所述车辆所在道路前方的状况时,所述HUD控制装置,用于对所述行驶信息和所述环境信息进行处理,当对所述环境信息和所述车辆的行驶信息处理后确定车辆周围存在需要标识的目标时,将标识所述目标的图像发送到AR-HUD,包括:
当获取到所述车辆所在道路的状况信息且所述车辆与发生所述状况信息对应道路状况的路段之间的距离小于道路状况显示距离阈值时,获取所述车辆所在道路的道路状况图像并生成警示信息;其中,所述道路状况图像,包括:所述车辆所在道路中发生道路状况的路段;
从所述道路状况图像中确定出发生所述道路状况的路段的路段轮廓和路段位置,并根据所述路段位置,确定发生所述道路状况的路段与所述车辆的距离;
将与发生所述道路状况的路段与所述车辆的距离相匹配的像距作为目标像距,并从所述AR-HUD的多个像源中选择出与所述目标像距相匹配的像源作为目标像源;其中,所述像距为所述像源在曲面镜上所成图像与曲面镜之间的距离;
利用第七颜色,对发生所述道路状况的路段的路段轮廓进行填充,得到发生所述道路状况的路段的状况轮廓图;
通过所述目标像源将所述状况轮廓图投射到发生所述道路状况的路段上,使得所述状况轮廓图与发生所述道路状况的路段融合。
11.根据权利要求9或者10所述的多层次成像系统,其特征在于,所述HUD控制装置,还具体用于:
生成警示信息,将所述警示信息发送到高亮显示HUD进行展示。
12.根据权利要求4所述的多层次成像系统,其特征在于,所述行驶信息,包括:所述车辆的操作信息、行驶速度、加速度、以及车辆状态信息;所述环境信息,包括:导航信息;
所述HUD控制装置,还具体用于:
当根据所述导航信息、所述车辆的行驶速度、加速度、以及车辆状态信息,生成所述车辆的操作建议信息时,采集所述观察者的车辆操作视频,并通过所述高亮显示HUD将所述操作建议信息展示;
当确定操作规定时长内未检测到所述操作建议信息对应的操作时,生成危险驾驶信息,通过所述高亮显示HUD将所述危险驾驶信息进行展示,并对驾驶车辆指数进行减量操作;
当确定操作规定时长内检测到所述操作建议信息对应的操作时,对驾驶车辆指数进行增量操作;
当确定所述车辆未被操作的时长大于停车时间阈值时,停止采集车辆操作视频,并将所述驾驶车辆指数和采集到的所述车辆操作视频发送到所述高亮显示HUD进行展示。
13.根据权利要求3所述的多层次成像系统,其特征在于,所述AR-HUD,还包括:第一平面反射镜和第二平面反射镜;所述至少两个像源,包括:第一像源和第二像源;
所述第一平面反射镜将所述第一像源发出的光线反射到所述曲面镜中;
所述第二平面反射镜将所述第二像源发出的光线反射到所述曲面镜中;
所述曲面镜将入射的所述第一像源发出的光线反射出所述AR-HUD,使得反射出AR-HUD的所述第一像源发出的光线能够根据光线自身的传播路径长度,形成第一图像;
所述曲面镜将入射的所述第二像源发出的光线反射出所述AR-HUD,使得反射出AR-HUD的所述第二像源发出的光线能够根据光线自身的传播路径长度,形成第二图像;
其中,所述第一像源和第二像源的像距不同。
14.根据权利要求3所述的多层次成像系统,其特征在于,所述AR-HUD,还包括:第三平面镜和透反膜;所述至少两个像源,包括:第三像源和第四像源;
所述第三像源设置在透反膜的一侧,所述第四像源和第三平面镜设置在所述透反膜的另一侧;
所述透反膜能够透过所述第三像源发出的光线,使得所述第三像源发出的光线入射到所述第三平面镜;同时所述透反膜能够将第四像源发出的光线反射到所述第三平面镜;
所述第三平面镜分别将所述第三像源发出的光线和所述第四像源发出的光线反射到所述曲面镜中;
所述曲面镜将入射的所述第三像源发出的光线反射出所述AR-HUD,使得反射出AR-HUD的所述第三像源发出的光线能够根据光线自身的传播路径长度,形成第三图像;
所述曲面镜将入射的所述第四像源发出的光线反射出所述AR-HUD,使得反射出AR-HUD的所述第四像源发出的光线能够根据光线自身的传播路径长度,形成第四图像;
其中,所述第三像源和第四像源的像距不同;所述第三像源发出的光线与所述第四像源发出的光线的偏振特性不同。
15.根据权利要求1所述的多层次成像系统,其特征在于,所述AR-HUD,包括:第五像源、第四平面反射镜、第五平面反射镜、以及曲面镜;
所述第四平面反射镜和所述第五平面反射镜分别设置在不同位置;
所述第四平面反射镜,将所述第五像源发出的第一部分光线反射到所述曲面镜;
所述第五平面反射镜,将所述第五像源发出的第二部分光线反射到所述曲面镜;
所述曲面镜将入射的所述第一部分光线反射出所述AR-HUD,使得反射出抬头显示设备的所述第一部分光线能够根据所述第一部分光线自身的传播路径长度,形成第五图像;
所述曲面镜将入射的所述第二部分光线反射出所述AR-HUD,使得反射出抬头显示设备的所述第二部分光线能够根据所述第二部分光线自身的传播路径长度,形成第六图像;
所述第一部分光线和所述第二部分光线的传播路径长度不同,使得所述第五图像与眼盒区域之间的距离和所述第六图像与眼盒区域之间的距离不同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010026606.8A CN113109939B (zh) | 2020-01-10 | 2020-01-10 | 一种多层次成像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010026606.8A CN113109939B (zh) | 2020-01-10 | 2020-01-10 | 一种多层次成像系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113109939A CN113109939A (zh) | 2021-07-13 |
CN113109939B true CN113109939B (zh) | 2023-11-14 |
Family
ID=76709913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010026606.8A Active CN113109939B (zh) | 2020-01-10 | 2020-01-10 | 一种多层次成像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113109939B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114077052A (zh) * | 2020-08-21 | 2022-02-22 | 未来(北京)黑科技有限公司 | 多层图像显示装置、抬头显示器以及交通设备 |
CN115639673B (zh) * | 2022-05-18 | 2024-03-15 | 华为技术有限公司 | 一种显示装置和显示方法 |
WO2024022322A1 (zh) * | 2022-07-28 | 2024-02-01 | 未来(北京)黑科技有限公司 | 显示装置、像源装置、交通设备及显示方法 |
CN116071949A (zh) * | 2023-04-03 | 2023-05-05 | 北京永泰万德信息工程技术有限公司 | 一种用于辅助驾驶的增强现实的方法及装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07257228A (ja) * | 1994-03-18 | 1995-10-09 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2004168230A (ja) * | 2002-11-21 | 2004-06-17 | Nissan Motor Co Ltd | 車両用表示装置 |
CN1629930A (zh) * | 2003-12-17 | 2005-06-22 | 株式会社电装 | 机动车信息显示系统 |
CN101872070A (zh) * | 2009-04-02 | 2010-10-27 | 通用汽车环球科技运作公司 | 平视显示器上的交通基础设施指示物 |
JP2013032087A (ja) * | 2011-08-01 | 2013-02-14 | Denso Corp | 車両用ヘッドアップディスプレイ |
CN203275774U (zh) * | 2013-05-25 | 2013-11-06 | 贾怀昌 | 一种简易的透视式lcos光学目镜 |
CN105523042A (zh) * | 2014-09-23 | 2016-04-27 | 通用汽车环球科技运作有限责任公司 | 性能驾驶系统和方法 |
CN107479196A (zh) * | 2017-07-13 | 2017-12-15 | 江苏泽景汽车电子股份有限公司 | 一种ar‑hud双屏显示光学系统 |
KR20180022374A (ko) * | 2016-08-24 | 2018-03-06 | 주식회사 티노스 | 운전석과 보조석의 차선표시 hud와 그 방법 |
CN107851393A (zh) * | 2015-07-10 | 2018-03-27 | 田山修 | 车辆用图像显示系统及方法 |
CN108020516A (zh) * | 2016-11-03 | 2018-05-11 | 中国科学院大连化学物理研究所 | 光谱仪或成像光谱仪 |
CN108473054A (zh) * | 2016-02-05 | 2018-08-31 | 麦克赛尔株式会社 | 平视显示器装置 |
CN109407320A (zh) * | 2018-12-04 | 2019-03-01 | 中国科学院重庆绿色智能技术研究院 | 结合人眼追踪系统的抬头显示光路系统及成像优化方法 |
CN209381917U (zh) * | 2018-11-30 | 2019-09-13 | 深圳点石创新科技有限公司 | 一种抬头显示器及汽车 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6414096B2 (ja) * | 2016-02-17 | 2018-10-31 | トヨタ自動車株式会社 | 車載装置、車載装置の制御方法及び車載装置の制御プログラム |
-
2020
- 2020-01-10 CN CN202010026606.8A patent/CN113109939B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07257228A (ja) * | 1994-03-18 | 1995-10-09 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2004168230A (ja) * | 2002-11-21 | 2004-06-17 | Nissan Motor Co Ltd | 車両用表示装置 |
CN1629930A (zh) * | 2003-12-17 | 2005-06-22 | 株式会社电装 | 机动车信息显示系统 |
CN101872070A (zh) * | 2009-04-02 | 2010-10-27 | 通用汽车环球科技运作公司 | 平视显示器上的交通基础设施指示物 |
JP2013032087A (ja) * | 2011-08-01 | 2013-02-14 | Denso Corp | 車両用ヘッドアップディスプレイ |
CN203275774U (zh) * | 2013-05-25 | 2013-11-06 | 贾怀昌 | 一种简易的透视式lcos光学目镜 |
CN105523042A (zh) * | 2014-09-23 | 2016-04-27 | 通用汽车环球科技运作有限责任公司 | 性能驾驶系统和方法 |
CN107851393A (zh) * | 2015-07-10 | 2018-03-27 | 田山修 | 车辆用图像显示系统及方法 |
CN108473054A (zh) * | 2016-02-05 | 2018-08-31 | 麦克赛尔株式会社 | 平视显示器装置 |
KR20180022374A (ko) * | 2016-08-24 | 2018-03-06 | 주식회사 티노스 | 운전석과 보조석의 차선표시 hud와 그 방법 |
CN108020516A (zh) * | 2016-11-03 | 2018-05-11 | 中国科学院大连化学物理研究所 | 光谱仪或成像光谱仪 |
CN107479196A (zh) * | 2017-07-13 | 2017-12-15 | 江苏泽景汽车电子股份有限公司 | 一种ar‑hud双屏显示光学系统 |
CN209381917U (zh) * | 2018-11-30 | 2019-09-13 | 深圳点石创新科技有限公司 | 一种抬头显示器及汽车 |
CN109407320A (zh) * | 2018-12-04 | 2019-03-01 | 中国科学院重庆绿色智能技术研究院 | 结合人眼追踪系统的抬头显示光路系统及成像优化方法 |
Non-Patent Citations (1)
Title |
---|
杜秉祺.光学.《生活与物理》.牛津大学出版社,1999, * |
Also Published As
Publication number | Publication date |
---|---|
CN113109939A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113109939B (zh) | 一种多层次成像系统 | |
CN108473055B (zh) | 平视显示器装置 | |
US9760782B2 (en) | Method for representing objects surrounding a vehicle on the display of a display device | |
CN103010099B (zh) | 在全风挡平视显示器上的动态信息显示 | |
US9131153B2 (en) | Rearview panoramic head-up display device for vehicles | |
JP4085928B2 (ja) | 車両用ナビゲーションシステム | |
WO2011108091A1 (ja) | 車載用表示装置及び表示方法 | |
JP6930971B2 (ja) | 表示装置、表示システム、および移動体 | |
CN113219655B (zh) | 一种多视角显示的车辆显示系统 | |
TWI728117B (zh) | 動態信息系統及動態信息系統的操作方法 | |
CN113109941B (zh) | 一种分层成像的抬头显示系统 | |
JP6876277B2 (ja) | 制御装置、表示装置、表示方法及びプログラム | |
CN113126294B (zh) | 一种多层次成像系统 | |
CN114466761A (zh) | 平视显示器及图像显示系统 | |
CN113126295A (zh) | 一种基于环境显示的抬头显示设备 | |
US20210268961A1 (en) | Display method, display device, and display system | |
CN113103955B (zh) | 一种多层次成像系统 | |
JP2016515969A (ja) | 方向を伴う視覚的測位方位ナビゲーションシステム | |
CN113156645B (zh) | 基于立体视觉显示的车辆智能辅助系统 | |
CN113119863B (zh) | 一种全车窗成像系统 | |
JP2024048432A (ja) | 表示システム | |
WO2021139818A1 (zh) | 多层次成像系统、抬头显示器、交通工具以及多层次成像方法 | |
CN113147595B (zh) | 基于立体视觉显示的车辆驾驶控制系统 | |
CN113126293B (zh) | 一种平视显示系统 | |
CN113119864B (zh) | 一种全车窗成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |