CN113253455A - 一种自动变道ar-hud显示系统及使用方法 - Google Patents
一种自动变道ar-hud显示系统及使用方法 Download PDFInfo
- Publication number
- CN113253455A CN113253455A CN202110367812.XA CN202110367812A CN113253455A CN 113253455 A CN113253455 A CN 113253455A CN 202110367812 A CN202110367812 A CN 202110367812A CN 113253455 A CN113253455 A CN 113253455A
- Authority
- CN
- China
- Prior art keywords
- virtual image
- distance
- image
- module
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种自动变道AR‑HUD显示系统及使用方法,涉及车辆导航技术领域。本自动变道AR‑HUD显示系统主要包括处理单元和光学投影单元,处理单元用于接收对应的变道指令,并根据变道指令、路况信息和规划轨迹同时分别生成远距离虚拟图像和近距离虚拟图像,光学投影单元用于接收生成远距离虚拟图像的发射光和生成近距离虚拟图像的发射光,并对接收的生成远距离虚拟图像的发射光进行多次反射,用于通过增加生成远距离虚拟图像的发射光的反射次数来增加反射距离,以将远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室的预设区域实现同步成像。本申请提供的自动变道AR‑HUD显示系统解决相关技术中不能实现远距离虚拟图像和近距离虚拟图像同步投射成像的问题。
Description
技术领域
本申请涉及车辆导航技术领域,特别涉及一种自动变道AR-HUD显示系统及使用方法。
背景技术
目前,平视显示器是战斗机座舱中的常见设备,重要的飞行参数直接投射到头盔前或挡风玻璃上,让飞行员无需低头看屏幕就可实时了解最新飞行状况,如今这类技术正逐步延伸到民用车辆上。关于增强现实平视显示器AR-HUD(Augmented Reality-Head UpDisplay),目前主要研究是在前挡风玻璃上投射虚拟图像且与实际道路贴合,以减少驾驶员低头看显示屏的次数,使得驾驶员不必低头就能观察到环境信息,主要用于驾驶员控制的场景,以减少安全事故的发生。
相关技术中,一般利用车载传感器采集道路和障碍物信息,再结合车辆位置和状态信息通过数据处理后作为AR-HUD输入的信号,最后完成AR-HUD成像并将虚拟图像投射到挡风玻璃前方,优化驾驶过程中的环境。但是,目前的AR-HUD体积比较大,往往只能显示某个距离范围的图像,对于远距离和近距离同时显示还存在困难,不能为驾驶员提供一个完整清晰的规划导航。
发明内容
本申请实施例提供一种自动变道AR-HUD显示系统及使用方法,以解决相关技术中不能实现远距离虚拟图像和近距离虚拟图像同步投射成像的问题。
第一方面,提供了一种自动变道AR-HUD显示系统,其包括:
自动变道模块,其用于根据路况信息和转向拨杆的状态生成对应的变道指令,并用于根据汽车状态信息、对应的所述变道指令和路况信息生成对应的规划轨迹;
AR-HUD显示模块,其包括:
-处理单元,其用于接收对应的所述变道指令,并根据所述变道指令、路况信息和规划轨迹同时分别生成远距离虚拟图像和近距离虚拟图像;
-光学投影单元,其用于接收生成所述远距离虚拟图像的发射光和生成所述近距离虚拟图像的发射光,并对接收的生成所述远距离虚拟图像的发射光进行多次反射,所述光学投影单元用于通过增加生成所述远距离虚拟图像的发射光的反射次数来增加反射距离,以将所述远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室的预设区域实现同步成像。
一些实施例中,所述处理单元包括远像PGU成像件和近像PGU成像件,所述近像PGU成像件与远像PGU成像件位于同一平面并设于所述远像PGU成像件的下方,所述近像PGU成像件用于根据所述汽车状态信息和规划轨迹生成所述近距离虚拟图像,所述远像PGU成像件用于根据所述路况信息和变道指令生成所述远距离虚拟图像。
一些实施例中,所述光学投影单元包括:
反射组件,其用于接收所述远像PGU成像件输出的与所述远距离虚拟图像对应的发射光,并对该发射光进行反射;
同步成像组件,其设于所述反射组件远离所述处理单元的一侧,所述同步成像组件用于同时接收所述反射组件输出的反射光和所述近像PGU成像件输出的与所述近距离虚拟图像对应的发射光,并对该反射光和发射光进行多次反射,所述同步成像组件和反射组件共同用于通过增加所述反射组件输出的反射光的反射次数来增加该反射光的反射距离,以将所述远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室内的预设区域实现同步成像。
一些实施例中,所述反射组件包括:
远像PGU反射镜,其设于所述远像PGU成像件的一侧并与所述远像PGU成像件的夹角为60°,所述远像PGU反射镜用于接收所述远像PGU成像件输出的发射光,并进行反射;
分光镜,其设于远像PGU反射镜的下方并与所述远像PGU反射镜的夹角为10°,所述分光镜用于接收所述远像PGU反射镜输出的反射光,并对该反射光再次进行反射。
一些实施例中,所述同步成像组件包括平面镜和曲面镜,所述曲面镜设于所述平面镜靠近所述分光镜的一侧一倍焦距处,并与所述平面镜的夹角为45°,所述平面镜用于同时接收所述分光镜输出的反射光和所述近像PGU成像件输出的发射光,并对该反射光和发射光进行反射,所述曲面镜用于接收所述平面镜输出的反射光并对该反射光进行反射,所述平面镜用于再次接收所述曲面镜输出的反射光,并对该反射光进行二次反射后投射至所述预设区域。
一些实施例中,所述自动变道模块包括:
决策模块,其用于根据所述路况信息和转向拨杆的状态生成对应的变道指令,并将对应的所述变道指令发送至所述处理单元,所述变道指令包括向左变道指令、向右变道指令、暂停指令和驾驶员接管指令;
规划模块,其包括:
-规划计算模块,其与所述决策模块相连,所述规划计算模块用于接收所述决策模块输出的对应的所述变道指令,用于根据所述汽车状态信息、对应的所述变道指令和路况信息生成对应的所述规划轨迹;
-过路检测模块,其与所述规划计算模块相连,所述规划模块还用于采集所述规划轨迹,并监测所述规划轨迹是否超出目标车道对应车道线第一预设距离,若是,则所述过路检测模块驱动所述规划计算模块调整所述汽车状态信息中的部分信息后重新生成新的规划轨迹,直至所述规划轨迹超出所述目标车道对应车道线的距离不大于所述第一预设距离。
一些实施例中,所述远距离虚拟图像包括车道线、前车标记和所述向左变道指令与向右变道指令分别对应的变道指引箭头,所述近距离虚拟图像包括所述汽车的速度和所述暂停指令与驾驶员接管指令分别对应的虚拟图像,所述AR-HUD显示模块还包括历史图像记录模块,所述历史图像记录模块用于存储上一次生成的所述变道指引箭头,并用于在切换至所述驾驶员接管时,通过所述近像PGU成像件进行成像后投射。
一些实施例中,所述路况信息包括车道线信息和障碍物信息,所述汽车状态信息包括实时坐标、横向加速度、纵向加速度、横向速度、纵向速度和偏航角,所述自动变道AR-HUD显示系统还包括定位导航模块,所述定位导航模块包括:
GNSS定位和惯性导航单元,其用于根据卫星定位确定所述汽车的理论坐标,并用于对所述理论坐标进行修正以得到所述实时坐标、横向加速度、纵向加速度、横向速度、纵向速度和偏航角;
地图模块,其与所述GNSS定位和惯性导航单元相连,所述地图模块用于接收所述汽车的实时坐标,并根据所述实时坐标输出所述汽车前方第二预设距离范围内的车道线信息。
一些实施例中,还包括监测模块,所述监测模块包括:
前置摄像头,其用于监测所述汽车的前方路况并拍摄相关照片,以测得障碍物的形状和大小;
毫米波雷达,其用于监测处于所述汽车前方的障碍物的相对横向距离,相对纵向距离,相对横线速度和相对纵向速度;
四个分别间隔设于所述汽车车身顶角的角雷达,四个所述角雷达共同用于监测所述汽车侧面及后方的障碍物的相对横向距离,相对纵向距离,相对横线速度和相对纵向速度。
第二方面,提供了一种使用方法,其步骤包括:
根据路况信息和转向拨杆的状态生成对应的变道指令,并用于根据汽车状态信息、对应的所述变道指令和路况信息生成对应的规划轨迹;
根据所述变道指令、路况信息和规划轨迹同时分别生成远距离虚拟图像和近距离虚拟图像;
接收生成所述远距离虚拟图像的发射光和生成所述近距离虚拟图像的发射光,对接收的生成所述远距离虚拟图像的发射光进行多次反射,通过增加生成所述远距离虚拟图像的发射光的反射次数来增加反射距离,以将所述远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室的预设区域实现同步成像。
本申请提供的技术方案带来的有益效果包括:
本申请实施例提供了一种自动变道AR-HUD显示系统,处理单元根据变道指令、路况信息和规划轨迹同时分别生成远距离虚拟图像和近距离虚拟图像,光学投影单元同时接收生成远距离虚拟图像的发射光和生成近距离虚拟图像的发射光,并对接收的生成远距离虚拟图像的发射光进行多次反射,通过增加其的反射次数来增加反射距离,从而使远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室的预设区域,实现同步成像。本自动变道AR-HUD显示系统通过实现远距离虚拟图像和近距离虚拟图像的同时成像,使得驾驶员在驾车过程中能清楚了解各种路况信息,提升行驶体验的同时能更好的保障行车安全。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的自动变道AR-HUD显示系统的系统框图;
图2为本申请实施例提供的自动变道AR-HUD显示系统的AR-HUD显示模块的部分结构示意图;
图3为本申请实施例提供的自动变道AR-HUD显示系统的规划轨迹超出目标车道时的轨迹图;
图4为本申请实施例提供的自动变道AR-HUD显示系统的重新计算后的规划轨迹不超出目标车道时的轨迹图。
图中:1-自动变道模块,10-决策模块,11-规划模块,110-规划计算模块,111-过路检测模块,12-控制模块,2-AR-HUD显示模块,20-处理单元,200-远像PGU成像件,201-近像PGU成像件,21-光学投影单元,22-反射组件,220-远像PGU反射镜,221-分光镜,23-同步成像组件,230-平面镜,231-曲面镜,24-历史图像记录模块,3-定位导航模块,30-GNSS定位和惯性导航单元,31-地图模块,4-监测模块,5-人机交互模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种自动变道AR-HUD显示系统,其能解决相关技术中不能实现远距离虚拟图像和近距离虚拟图像同步投射成像的问题。
参加图1所示,本自动变道AR-HUD显示系统包括自动变道模块1和AR-HUD显示模块2,自动变道模块1用于根据路况信息和转向拨杆的状态生成对应的变道指令,并用于根据汽车状态信息、对应的变道指令和路况信息生成对应的规划轨迹;AR-HUD显示模块2具体包括处理单元20和光学投影单元21,处理单元20用于接收对应的变道指令,并根据变道指令、路况信息和规划轨迹同时分别生成远距离虚拟图像和近距离虚拟图像,光学投影单元21用于接收生成远距离虚拟图像的发射光和生成近距离虚拟图像的发射光,并对接收的生成远距离虚拟图像的发射光进行多次反射,光学投影单元21用于通过增加生成远距离虚拟图像的发射光的反射次数来增加反射距离,以将远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室的预设区域实现同步成像。
进一步的,处理单元20具体包括远像PGU成像件200和近像PGU成像件201,近像PGU成像件201与远像PGU成像件200位于同一平面并设于远像PGU成像件200的下方,近像PGU成像件201用于根据汽车状态信息和规划轨迹生成近距离虚拟图像,远像PGU成像件200用于根据路况信息和变道指令生成远距离虚拟图像。其中,PGU为图片生成单元,全称为PictureGenerating Unit。
进一步的,光学投影单元21包括反射组件22和同步成像组件23,反射组件22用于接收远像PGU成像件200输出的与远距离虚拟图像对应的发射光,并对该发射光进行反射;同步成像组件23设于反射组件22远离处理单元20的一侧,同步成像组件23用于同时接收反射组件22输出的反射光和近像PGU成像件201输出的与近距离虚拟图像对应的发射光,并对该反射光和发射光进行多次反射,同步成像组件23和反射组件22共同用于通过增加反射组件22输出的反射光的反射次数来增加该反射光的反射距离,以将远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室内的预设区域实现同步成像。
进一步的,反射组件22包括远像PGU反射镜220和分光镜221,远像PGU反射镜220设于远像PGU成像件200的一侧并与远像PGU成像件200的夹角为60°,远像PGU反射镜220用于接收远像PGU成像件200输出的发射光,并进行反射;分光镜221设于远像PGU反射镜220的下方并与远像PGU反射镜220的夹角为10°,分光镜221用于接收远像PGU反射镜220输出的反射光,并对该反射光再次进行反射。
进一步的,同步成像组件23包括平面镜230和曲面镜231,曲面镜231设于平面镜230靠近分光镜221的一侧一倍焦距处,并与平面镜230的夹角为45°,平面镜230用于同时接收分光镜221输出的反射光和近像PGU成像件201输出的发射光,并对该反射光和发射光进行反射,曲面镜231用于接收平面镜230输出的反射光并对该反射光进行反射,平面镜230用于再次接收曲面镜231输出的反射光,并对该反射光进行二次反射后投射至预设区域。
具体的,远像PGU成像件200输出的生成远距离虚拟图像的发射光首先经远像PGU反射镜220反射至分光镜221,然后再经分光镜221反射至平面镜230,平面镜230再对其进行反射至曲面镜231,经过分光镜221和平面镜230两次的反射,增加了生成远距离虚拟图像的发射光的反射距离,使得光线射向曲面镜231时,表示的物距大于曲面镜231的两倍焦距,从而使经过曲面镜231反射给平面镜230及挡风玻璃时的成像距离变远,这里,平面镜230最后反射的光线还会经挡风玻璃反射,到达汽车驾驶室的预设区域,此预设区域为驾驶员在驾驶时眼睛所在的区域,保证反射的光线可以进入驾驶员眼睛,实现远距离虚拟图像和近距离虚拟图像的同时成像。其中,光线经过远像PGU反射镜220、分光镜221和平面镜230多次反射的意义是在有限的距离内尽可能增加光线的反射距离,从而在光线到达曲面镜231时表示的物距大于曲面镜231的两倍焦距,再经过平面镜230和挡风玻璃反射后进入驾驶员的眼中,形成远距离虚拟图像。
进一步的,自动变道模块1具体包括决策模块10和规划模块11,决策模块10用于根据路况信息和转向拨杆的状态生成对应的变道指令,并将对应的变道指令发送至处理单元20,变道指令包括向左变道指令、向右变道指令、暂停指令和驾驶员接管指令;规划模块11具体包括规划计算模块110和过路检测模块111,规划计算模块110与决策模块10相连,规划计算模块110用于接收决策模块10输出的对应的变道指令,用于根据汽车状态信息、对应的变道指令和路况信息生成对应的规划轨迹,过路检测模块111与规划计算模块110相连,规划模块11还用于采集规划轨迹,并监测规划轨迹是否超出目标车道对应车道线第一预设距离,若是,则过路检测模块111驱动规划计算模块110调整汽车状态信息中的部分信息后重新生成新的规划轨迹,直至规划轨迹超出目标车道对应车道线的距离不大于第一预设距离。
具体的,自动变道模块1还包括坐标转换模块和控制模块12,坐标转换模块用于将车辆前方障碍物在本车车体坐标系下的坐标转换为大地坐标系下的坐标,转换公式如下:
公式(1)中B(x′,y′)表示障碍物在本车车体坐标系下的坐标,θ表示本车偏航角,A(x0,y0)表示本车在大地坐标系下的坐标,(x,y)表示障碍物在大地坐标系下的坐标。
具体的,决策模块10接收车道线信息、障碍物信息和转向拨杆状态后分为主动变道决策和被动变道决策,主动变道决策为先检测汽车左侧车道线、前方和左方以及左后方的障碍物,若左侧车道线为单虚线,且由于前方障碍物的存在导致本车车速被压低,且左侧目标车道无障碍物,且左后方车道障碍物速度较低时,决策模块10发出向左变道指令,并将该指令发给规划模块11和AR-HUD显示模块2,当驾驶员向左拨动转向杆时,车辆自动向左变道。被动变道决策为当驾驶员主动向左或向右拨动转向杆时,决策模块10检测前方左侧或右侧车道线,前方、左方、右方、左后方以及右后方障碍物,以向左拨动转向杆为例,若左侧车道线为单虚线,且前方障碍物与本车碰撞时间较长,且左侧车道无障碍物,且左后方车道障碍物速度较低时,决策模块10发出向左变道指令,并将此指令发给规划模块11和AR-HUD显示模块2,再进行自动变道。其中,若当车辆在自动变道过程中,检测到目标车道有障碍物出现,导致变道动作存在危险,且此时车辆并未越过目标车道与本车相邻车道线时,决策模块10输出暂停指令,并将暂停指令发给规划模块11和AR-HUD显示模块2,若车辆已越过目标车道与本车相邻车道线时,决策模块10输出驾驶员接管指令给规划模块11和AR-HUD显示模块2。
具体的,规划计算模块110生成规划轨迹的具体过程为:
当决策指令为向左变道指令或向右变道指令时,规划计算模块110根据车道线信息,障碍物信息以及汽车状态信息自动生成进行五次多项式轨迹规划时的本车始末状态点信息,分别记为D0和D1,状态点信息包含纵向和横向信息,纵向和横向分别为
S0=[s0,s0′,s0″] 公式(3)
S1=[s1,s1′,s1″] 公式(4)
D0=[l0,l0′,l0″] 公式(5)
D1=[l1,l1′,l1″] 公式(6)
公式(3)和(4)中S0和S1均为向量,s0和s1分别为始末状态当前本车沿目标车道与本车相邻车道线的方向距离车道线起点的距离,s0′和s1′一阶导数分别为始末状态沿车道线的速度,s0″和s1″二阶导数分别为始末状态沿车道线的加速度,公式(5)和(6)中l0和l1分别表示始末状态本车距沿目标车道与本车相邻车道线的横向距离,l0′和l1′一阶导数分别为始末状态沿垂直与本车相邻车道线的方向的速度,l0″和l1″二阶导数分别为始末状态沿垂直与本车相邻车道线的方向的加速度。
然后对纵向进行五次多项式规划,再对横向进行五次多项式规划,纵向五次多项式规划为将{S0,S1}带入求得{f0,f1,f2,f3,f4,f5}六个系数:
s0=f0 公式(7)
s1=f0+f1t0+f2t0 2+f3t0 3+f4t0 4+f5t0 5 公式(8)
s0′=f1 公式(9)
s1′=f1+2f2t0+3f3t0 2+4f4t0 3+5f5t0 4 公式(10)
s0″=2f2 公式(11)
s1″=2f2+6f3t0+12f4t0 2+20f5t0 3 公式(12)
上述公式(7)-(12)中t0为计划变道完成的时间,该时间为预先已经计算好并储存。
分别根据上述公式(7)-(12)求得f0,f1,f2,f3,f4,f5六个系数,得到纵向轨迹规划:
s=f0+f1t+f2t2+f3t3+f4t4+f5t5 公式(13)
上述公式(13)中的t的取值范围为[0,t0],s表示规划的随时间t变化的本车即将前进的距离。
横向五次多项式规划为将{D0,D1}带入求得{p0,p1,p2,p3,p4,p5}六个系数:
l0=p0+p1s0+p2s0 2+p3s0 3+p4s0 4+p5s0 5 公式(14)
l1=p0+p1s1+p2s1 2+p3s1 3+p4s1 4+p5s1 5 公式(15)
l0′=p1+2p2s0+3p3s0 2+4p4s0 3+5p5s0 4 公式(16)
l1′=p1+2p2s1+3p3s1 2+4p4s1 3+5p5s1 4 公式(17)
l0″=2p2+6p3s0+12p4s0 2+20p5s0 3 公式(18)
l1″=2p2+6p3s1+12p4s1 2+20p5s1 3 公式(19)
因此得到l随s的变化的规划轨迹,s的取值范围是[s0,s1],表示规划的本车即将变道时的沿目标车道与本车相邻车道线方向的距离,l为对应s的取值,表示本车沿目标车道与本车相邻车道线方向的横向距离,l的计算方程式为:
l=p0+p1s+p2s2+p3s3+p4s4+p5s5 公式(20)
将此规划轨迹通过公式(1)和(2)进行坐标转换得到大地坐标系下的规划轨迹并输出给控制模块12,其中s的取值带入x′,l的取值带入y′,从而得到大地坐标系下的规划轨迹y1-x1。
当决策指令为暂停指令时,规划模块11根据本车当前位置坐标和目标车道相邻车道线方程系数C0,C1,C2,C3,计算出本车距离此目标车道与本车相邻车道线的横向距离d,其中,d是实时的本车的横向距离,而l是规划的结果,是车辆变道过程中的目标横向距离,并在本车当前位置生成一条平行于此车道线的轨迹作为规划轨迹输出,其轨迹方程为:
y2=d+C0+C1x2+C2x2 2+C3x2 3 公式(21)
公式(21)中的y2-x2与上述y1-x1意义相同,都是规划的给车辆进行跟踪的轨迹,区别是不同决策指令下的不同规划结果。
当决策指令为驾驶员接管指令时,则规划模块11不做处理。
具体的,第一预设距离一般为50cm,若过路检测模块111监测规划轨迹超出目标车道对应车道线第一预设距离,过路检测模块111会将规划计算模块110的起始状态点中的D0信息中的l0′和s0”置零,使得其重新进行五次多项式规划,生成一条不超过相邻车道线的规划轨迹,处理效果参见图所示。
具体的,控制模块12包括速度控制模块和转向控制模块,速度控制模块根据规划模块11中采用五次多项式规划的s-t方程,对其求一阶导数v-t,得到规划轨迹对本车纵向速度的要求,作为速度控制模块的输入条件,从而输出加速信号给发动机进行加速或输出减速信号给ESC进行减速,从而控制本车按规划的v-t速度要求运行。转向控制模块根据规划模块11输出的大地坐标系规划轨迹,结合自身车速和偏航角的角度,从规划轨迹上选取合适的预瞄点,并计算本车与预瞄点之间的角度差距和曲率差距,通过前馈加PID反馈的方式,得到控制模块12的输出转角,并发送给EPS转向系统,使其按计算的转角进行转向,从而实现对规划轨迹的跟踪控制。其中,PID的全称为Proportional Integral Derivative,EPS的全称为Electric Power Steering。
进一步的,远距离虚拟图像包括车道线、前车标记和向左变道指令与向右变道指令分别对应的变道指引箭头,近距离虚拟图像包括汽车的速度和暂停指令与驾驶员接管指令分别对应的虚拟图像。为了保证本车由自动变道或暂停模式变成驾驶员接管模式时,驾驶员由于瞬间不了解车辆的运行状态而增加不安全因素,因此AR-HUD显示模块2还包括历史图像记录模块24,历史图像记录模块24用于存储上一次生成的变道指引箭头,并用于在切换至驾驶员接管时,通过近像PGU成像件201进行成像后投射,历史图像记录模块24用以显示车辆之前预计的运动趋势,帮助驾驶员接管时迅速了解车辆的运动状态,以保证驾驶员在自动驾驶过程中由弱注意力突然集中注意力时因不了解车况而出现慌乱导致事故的情况,增加用户体验与安全。
进一步的,路况信息包括车道线信息和障碍物信息,汽车状态信息包括实时坐标、横向加速度、纵向加速度、横向速度、纵向速度和偏航角,自动变道AR-HUD显示系统还包括定位导航模块3,定位导航模块3具体包括GNSS定位和惯性导航单元30和地图模块31,GNSS定位和惯性导航单元30用于根据卫星定位确定汽车的理论坐标,并用于对理论坐标进行修正以得到实时坐标、横向加速度、纵向加速度、横向速度、纵向速度和偏航角;地图模块31与GNSS定位和惯性导航单元30相连,地图模块31中存放有车道线信息,车道线信息具体指车道线类型、相邻车道线之间的宽度、车道线方程系数C0,C1,C2,C3,车道线坐标(x3,y3)满足一下公式关系:
y3=C0+C1x3+C2x3 2+C3x3 3 公式(22)
地图模块31可以结合GNSS定位和惯性导航单元30输出的本车实时坐标,实时输出本车前方200m范围内的车道线信息,并传输到CAN线上,供其他模块使用。其中,GNSS的全称为Global Navigation Satellite System。
进一步的,自动变道AR-HUD显示系统还包括监测模块4,监测模块4具体包括前置摄像头、毫米波雷达和四个分别间隔设于汽车车身顶角的角雷达,前置摄像头用于监测汽车的前方路况并拍摄相关照片,以测得障碍物的形状和大小,毫米波雷达用于监测处于汽车前方的障碍物的相对横向距离,相对纵向距离,相对横线速度和相对纵向速度,四个分别间隔设于汽车车身顶角的角雷达,四个角雷达共同用于监测汽车侧面及后方的障碍物的相对横向距离,相对纵向距离,相对横线速度和相对纵向速度。前置摄像头、毫米波雷达和四个角雷达将数据信息均传输到CAN线上供其他模块使用。
进一步的,AR-HUD显示模块2对应设有AR-HUD开关按钮,自动变道AR-HUD显示系统还包括人机交互模块5,人机交互模块5包括自动变道开关按钮,其设于方向盘上,打开此开关,即开启自动变道模块1功能,同时启动AR-HUD显示模块2;关闭此开关,即关闭自动变道模块1功能,同时无论AR-HUD开关按钮是否打开,也会关闭AR-HUD显示模块2。设计AR-HUD显示模块2与自动变道模块1相关联的开启逻辑,使得在自动变道模块1开启时,自动启动AR-HUD显示模块2,同时也设计单独的AR-HUD开关按钮,能在任何时候启动或关闭,增加用户的使用灵活性。
具体的,AR-HUD显示模块2开启后,处理单元20根据变道指令、路况信息和规划轨迹生成符合实际车道线形状的绿色虚拟车道线图像,即远距离虚拟图像,并加大其亮度,并根据输入车道线与本车的距离信息,将虚拟车道线图像位于远像PGU成像件200的相应位置,使其经光学投影单元21和挡风玻璃反射后的成像与实际车道线位置和形状保持一致;根据输入的前方障碍物的横纵向速度和横纵向距离,在贴近障碍物尾部之处生成障碍物或前车绿色标记,并将前车车速和距离显示在前车车尾上;根据决策模块10输出的向左或向右变道指令以及对应的规划轨迹,生成向左或向右的绿色变道指引箭头用以虚拟表示规划轨迹;根据决策模块10输出的暂停指令,结合对应的规划轨迹,在本车位置生成一条平行于实际车道线的由近及远逐渐显示的黄色单虚线,用以显示本车将按此虚线行驶;根据决策模块10输出的驾驶员接管指令,历史图像记录模块24中记录上一时刻的变道指引箭头,并改成红色,并在此指引箭头上叠加生成闪烁的用圆圈圈住的红色字体写的“接管”虚拟图像,若驾驶员接管了车辆,则取消显示此变道指引箭头和“接管”提示。
本申请还提供了一种使用方法,其步骤包括首先根据路况信息和转向拨杆的状态生成对应的变道指令,并用于根据汽车状态信息、对应的变道指令和路况信息生成对应的规划轨迹,其次根据变道指令、路况信息和规划轨迹同时分别生成远距离虚拟图像和近距离虚拟图像,最后接收生成远距离虚拟图像的发射光和生成近距离虚拟图像的发射光,对接收的生成远距离虚拟图像的发射光进行多次反射,通过增加生成远距离虚拟图像的发射光的反射次数来增加反射距离,以将远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室的预设区域实现同步成像,使得驾驶员在驾车过程中能清楚了解各种路况信息,提升行驶体验的同时能更好的保障行车安全。
在本申请的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在本申请中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种自动变道AR-HUD显示系统,其特征在于,其包括:
自动变道模块(1),其用于根据路况信息和转向拨杆的状态生成对应的变道指令,并用于根据汽车状态信息、对应的所述变道指令和路况信息生成对应的规划轨迹;
AR-HUD显示模块(2),其包括:
-处理单元(20),其用于接收对应的所述变道指令,并根据所述变道指令、路况信息和规划轨迹同时分别生成远距离虚拟图像和近距离虚拟图像;
-光学投影单元(21),其用于接收生成所述远距离虚拟图像的发射光和生成所述近距离虚拟图像的发射光,并对接收的生成所述远距离虚拟图像的发射光进行多次反射,所述光学投影单元(21)用于通过增加生成所述远距离虚拟图像的发射光的反射次数来增加反射距离,以将所述远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室的预设区域实现同步成像。
2.如权利要求1所述的一种自动变道AR-HUD显示系统,其特征在于:所述处理单元(20)包括远像PGU成像件(200)和近像PGU成像件(201),所述近像PGU成像件(201)与远像PGU成像件(200)位于同一平面并设于所述远像PGU成像件(200)的下方,所述近像PGU成像件(201)用于根据所述汽车状态信息和规划轨迹生成所述近距离虚拟图像,所述远像PGU成像件(200)用于根据所述路况信息和变道指令生成所述远距离虚拟图像。
3.如权利要求2所述的一种自动变道AR-HUD显示系统,其特征在于,所述光学投影单元(21)包括:
反射组件(22),其用于接收所述远像PGU成像件(200)输出的与所述远距离虚拟图像对应的发射光,并对该发射光进行反射;
同步成像组件(23),其设于所述反射组件(22)远离所述处理单元(20)的一侧,所述同步成像组件(23)用于同时接收所述反射组件(22)输出的反射光和所述近像PGU成像件(201)输出的与所述近距离虚拟图像对应的发射光,并对该反射光和发射光进行多次反射,所述同步成像组件(23)和反射组件(22)共同用于通过增加所述反射组件(22)输出的反射光的反射次数来增加该反射光的反射距离,以将所述远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室内的预设区域实现同步成像。
4.如权利要求2所述的一种自动变道AR-HUD显示系统,其特征在于,所述反射组件(22)包括:
远像PGU反射镜(220),其设于所述远像PGU成像件(200)的一侧并与所述远像PGU成像件(200)的夹角为60°,所述远像PGU反射镜(220)用于接收所述远像PGU成像件(200)输出的发射光,并进行反射;
分光镜(221),其设于远像PGU反射镜(220)的下方并与所述远像PGU反射镜(220)的夹角为10°,所述分光镜(221)用于接收所述远像PGU反射镜(220)输出的反射光,并对该反射光再次进行反射。
5.如权利要求4所述的一种自动变道AR-HUD显示系统,其特征在于:所述同步成像组件(23)包括平面镜(230)和曲面镜(231),所述曲面镜(231)设于所述平面镜(230)靠近所述分光镜(221)的一侧一倍焦距处,并与所述平面镜(230)的夹角为45°,所述平面镜(230)用于同时接收所述分光镜(221)输出的反射光和所述近像PGU成像件(201)输出的发射光,并对该反射光和发射光进行反射,所述曲面镜(231)用于接收所述平面镜(230)输出的反射光并对该反射光进行反射,所述平面镜(230)用于再次接收所述曲面镜(231)输出的反射光,并对该反射光进行二次反射后投射至所述预设区域。
6.如权利要求1所述的一种自动变道AR-HUD显示系统,其特征在于,所述自动变道模块(1)包括:
决策模块(10),其用于根据所述路况信息和转向拨杆的状态生成对应的变道指令,并将对应的所述变道指令发送至所述处理单元(20),所述变道指令包括向左变道指令、向右变道指令、暂停指令和驾驶员接管指令;
规划模块(11),其包括:
-规划计算模块(110),其与所述决策模块(10)相连,所述规划计算模块(110)用于接收所述决策模块(10)输出的对应的所述变道指令,用于根据所述汽车状态信息、对应的所述变道指令和路况信息生成对应的所述规划轨迹;
-过路检测模块(111),其与所述规划计算模块(110)相连,所述规划模块(11)还用于采集所述规划轨迹,并监测所述规划轨迹是否超出目标车道对应车道线第一预设距离,若是,则所述过路检测模块(111)驱动所述规划计算模块(110)调整所述汽车状态信息中的部分信息后重新生成新的规划轨迹,直至所述规划轨迹超出所述目标车道对应车道线的距离不大于所述第一预设距离。
7.如权利要求2所述的一种自动变道AR-HUD显示系统,其特征在于:所述远距离虚拟图像包括车道线、前车标记和所述向左变道指令与向右变道指令分别对应的变道指引箭头,所述近距离虚拟图像包括所述汽车的速度和所述暂停指令与驾驶员接管指令分别对应的虚拟图像,所述AR-HUD显示模块(2)还包括历史图像记录模块(24),所述历史图像记录模块(24)用于存储上一次生成的所述变道指引箭头,并用于在切换至所述驾驶员接管时,通过所述近像PGU成像件(201)进行成像后投射。
8.如权利要求1所述的一种自动变道AR-HUD显示系统,其特征在于,所述路况信息包括车道线信息和障碍物信息,所述汽车状态信息包括实时坐标、横向加速度、纵向加速度、横向速度、纵向速度和偏航角,所述自动变道AR-HUD显示系统还包括定位导航模块(3),所述定位导航模块(3)包括:
GNSS定位和惯性导航单元(30),其用于根据卫星定位确定所述汽车的理论坐标,并用于对所述理论坐标进行修正以得到所述实时坐标、横向加速度、纵向加速度、横向速度、纵向速度和偏航角;
地图模块(31),其与所述GNSS定位和惯性导航单元(30)相连,所述地图模块(31)用于接收所述汽车的实时坐标,并根据所述实时坐标输出所述汽车前方第二预设距离范围内的车道线信息。
9.如权利要求8所述的一种自动变道AR-HUD显示系统,其特征在于,还包括监测模块(4),所述监测模块(4)包括:
前置摄像头,其用于监测所述汽车的前方路况并拍摄相关照片,以测得障碍物的形状和大小;
毫米波雷达,其用于监测处于所述汽车前方的障碍物的相对横向距离,相对纵向距离,相对横线速度和相对纵向速度;
四个分别间隔设于所述汽车车身顶角的角雷达,四个所述角雷达共同用于监测所述汽车侧面及后方的障碍物的相对横向距离,相对纵向距离,相对横线速度和相对纵向速度。
10.一种基于权利要求1所述的自动变道AR-HUD显示系统的使用方法,其特征在于,其步骤包括:
根据路况信息和转向拨杆的状态生成对应的变道指令,并用于根据汽车状态信息、对应的所述变道指令和路况信息生成对应的规划轨迹;
根据所述变道指令、路况信息和规划轨迹同时分别生成远距离虚拟图像和近距离虚拟图像;
接收生成所述远距离虚拟图像的发射光和生成所述近距离虚拟图像的发射光,对接收的生成所述远距离虚拟图像的发射光进行多次反射,通过增加生成所述远距离虚拟图像的发射光的反射次数来增加反射距离,以将所述远距离虚拟图像和近距离虚拟图像同时投射至汽车驾驶室的预设区域实现同步成像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110367812.XA CN113253455B (zh) | 2021-04-06 | 2021-04-06 | 一种自动变道ar-hud显示系统及使用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110367812.XA CN113253455B (zh) | 2021-04-06 | 2021-04-06 | 一种自动变道ar-hud显示系统及使用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113253455A true CN113253455A (zh) | 2021-08-13 |
CN113253455B CN113253455B (zh) | 2022-11-15 |
Family
ID=77220317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110367812.XA Active CN113253455B (zh) | 2021-04-06 | 2021-04-06 | 一种自动变道ar-hud显示系统及使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113253455B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113682226A (zh) * | 2021-09-16 | 2021-11-23 | 岚图汽车科技有限公司 | 盲区监测和变道提醒方法、装置、设备以及可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005206057A (ja) * | 2004-01-23 | 2005-08-04 | Nissan Motor Co Ltd | 車両用暗視カメラ装置および表示装置 |
CN107128313A (zh) * | 2016-02-26 | 2017-09-05 | 罗伯特·博世有限公司 | 用于运行抬头显示器的方法、抬头显示器装置 |
CN109407316A (zh) * | 2018-11-13 | 2019-03-01 | 苏州车萝卜汽车电子科技有限公司 | 增强现实抬头显示系统、汽车 |
US20190235240A1 (en) * | 2016-12-19 | 2019-08-01 | Maxell, Ltd. | Head-up display apparatus |
CN110435539A (zh) * | 2019-07-22 | 2019-11-12 | 合肥京东方车载显示技术有限公司 | 一种平视显示器的图像显示方法和平视显示系统 |
CN210348060U (zh) * | 2019-05-24 | 2020-04-17 | 江苏智炬汽车电子有限公司 | 一种增强现实抬头显示装置及系统 |
CN111016899A (zh) * | 2019-12-27 | 2020-04-17 | 庄琴 | 一种基于大数据的车辆变道监控和预测系统 |
CN210573010U (zh) * | 2019-10-10 | 2020-05-19 | 江苏泽景汽车电子股份有限公司 | 一种hud远近景显示光学系统 |
CN114056236A (zh) * | 2020-08-06 | 2022-02-18 | 星克跃尔株式会社 | 增强现实处理装置、基于增强现实的路线引导方法以及电子装置 |
-
2021
- 2021-04-06 CN CN202110367812.XA patent/CN113253455B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005206057A (ja) * | 2004-01-23 | 2005-08-04 | Nissan Motor Co Ltd | 車両用暗視カメラ装置および表示装置 |
CN107128313A (zh) * | 2016-02-26 | 2017-09-05 | 罗伯特·博世有限公司 | 用于运行抬头显示器的方法、抬头显示器装置 |
US20190235240A1 (en) * | 2016-12-19 | 2019-08-01 | Maxell, Ltd. | Head-up display apparatus |
CN109407316A (zh) * | 2018-11-13 | 2019-03-01 | 苏州车萝卜汽车电子科技有限公司 | 增强现实抬头显示系统、汽车 |
CN210348060U (zh) * | 2019-05-24 | 2020-04-17 | 江苏智炬汽车电子有限公司 | 一种增强现实抬头显示装置及系统 |
CN110435539A (zh) * | 2019-07-22 | 2019-11-12 | 合肥京东方车载显示技术有限公司 | 一种平视显示器的图像显示方法和平视显示系统 |
CN210573010U (zh) * | 2019-10-10 | 2020-05-19 | 江苏泽景汽车电子股份有限公司 | 一种hud远近景显示光学系统 |
CN111016899A (zh) * | 2019-12-27 | 2020-04-17 | 庄琴 | 一种基于大数据的车辆变道监控和预测系统 |
CN114056236A (zh) * | 2020-08-06 | 2022-02-18 | 星克跃尔株式会社 | 增强现实处理装置、基于增强现实的路线引导方法以及电子装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113682226A (zh) * | 2021-09-16 | 2021-11-23 | 岚图汽车科技有限公司 | 盲区监测和变道提醒方法、装置、设备以及可读存储介质 |
CN113682226B (zh) * | 2021-09-16 | 2023-05-26 | 岚图汽车科技有限公司 | 盲区监测和变道提醒方法、装置、设备以及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113253455B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6176478B2 (ja) | 車両情報投影システム | |
US20190107886A1 (en) | Information provision device and information provision method | |
EP1160541B1 (en) | Integrated vision system | |
JP6699646B2 (ja) | 車両用表示制御装置 | |
US10179588B2 (en) | Autonomous vehicle control system | |
US8792177B2 (en) | Head-up display | |
US6272431B1 (en) | Method for displaying a map in a vehicle en-route guidance system | |
US20200189582A1 (en) | Travel control method and travel control device for drive-assisted vehicle | |
CN109968977B (zh) | 显示系统 | |
JP2017206251A (ja) | 車両情報投影システム | |
US20210016793A1 (en) | Control apparatus, display apparatus, movable body, and image display method | |
US11397438B2 (en) | Driver aid and autonomous tractor-trailer parking and loading dock alignment system | |
WO2019224922A1 (ja) | ヘッドアップディスプレイ制御装置、ヘッドアップディスプレイシステム、及びヘッドアップディスプレイ制御方法 | |
CN113253455B (zh) | 一种自动变道ar-hud显示系统及使用方法 | |
WO2020189238A1 (ja) | 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム | |
US20220146840A1 (en) | Display control device, and display control method | |
JP7400242B2 (ja) | 車両用表示制御装置および車両用表示制御方法 | |
EP2246762B1 (en) | System and method for driving assistance at road intersections | |
JP7037764B2 (ja) | 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム | |
JP7263962B2 (ja) | 車両用表示制御装置および車両用表示制御方法 | |
JP2021105986A (ja) | 表示装置、移動体、表示方法及びプログラム | |
JP2021117089A (ja) | 表示装置、及び表示方法 | |
JP2021117704A (ja) | 表示装置、及び表示方法 | |
JP2020138609A (ja) | 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム | |
CN219016846U (zh) | 一种井下矿卡无人驾驶系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |