CN114489332A - Ar-hud输出信息的显示方法及系统 - Google Patents

Ar-hud输出信息的显示方法及系统 Download PDF

Info

Publication number
CN114489332A
CN114489332A CN202210016771.4A CN202210016771A CN114489332A CN 114489332 A CN114489332 A CN 114489332A CN 202210016771 A CN202210016771 A CN 202210016771A CN 114489332 A CN114489332 A CN 114489332A
Authority
CN
China
Prior art keywords
display
eye position
information
hud
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210016771.4A
Other languages
English (en)
Other versions
CN114489332B (zh
Inventor
董凡
赵栎
郭健
王宝磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN202210016771.4A priority Critical patent/CN114489332B/zh
Publication of CN114489332A publication Critical patent/CN114489332A/zh
Application granted granted Critical
Publication of CN114489332B publication Critical patent/CN114489332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开一种AR‑HUD输出信息的显示方法及系统，方法包括：当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR‑HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变；针对更新后AR‑HUD输出信息中的各类多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像；将信息显示图像投射至预设显示区域中，预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。通过上述方法可以实现AR‑HUD输出信息的显示，解决了现有技术中AR‑HUD产品应用单组光学结构使得驾驶过程输出的显示内容产生逻辑冲突和AR‑HUD产品应用两组光学结构对前装空间消耗较高的问题。

Description

AR-HUD输出信息的显示方法及系统
技术领域
本发明涉及汽车电子技术领域，具体而言，涉及一种AR-HUD输出信息的显示方法及系统。
背景技术
增强现实抬头显示装置，位于汽车仪表台的下方，将仪表盘、导航、警示等信息投射到前风挡玻璃上，可以减少驾驶者低头看仪表的频率，有利于驾驶者集中注意力，减少交通事故的发生。
抬头显示HUD分为组合型(C-HUD)、挡风玻璃型(W-HUD)以及增强现实型(AR-HUD)，目前国内HUD前装市场以W-HUD为主，C-HUD占比较小，AR-HUD少有量产品。当前的AR-HUD产品基本只用到一组光学结构，也有部分产品用到两组光学结构，对于一组光学结构，即主反射镜、次反射镜和图像生成器。其中主反射镜为自由曲面面型，次反射镜为平面面型，图像生成器显示图像。图像生成器上产生的光线，通过次反射镜、主反射镜、前风挡玻璃进入到人眼，人眼逆着光路就可以看到在汽车前方一定距离处的图像，既增强现实抬头显示装置将图像生成器上的图像投射到驾驶员前方一定距离处。对于两组光学结构，可以实现由两个不同投影距离产生的投影面，其也被称为近投影或状态投影面，和远投影或增强投影面。近投影出现在驾驶员前方的发动机罩末端，能够显示驾驶员所选的状态信息，可以包括即时速度、有效距离限制如禁止超车和限速等信息，该方式是基于一个反射镜光学系统和成像单元PGU。远景则是由一个薄膜晶体管TFT显示器组成，使用LED强背景显示内容。此成像单元极其紧凑地集成在AR-HUD模块的上部，这个反射镜光学系统将虚拟显示的内容放大，这些功能借助曲面反射镜得以实现。
相关技术中，如果AR-HUD产品应用单组光学结构，图像内所有显示内容均通过同一光路投射，一旦图像高度发生变动，必然造成显示范围内除了依据图像识别结果所绘制的内容外，所有绘制内容的随动，这其中包括需要与现实结合的显示内容和不需要与现实结合的显示内容，而对于不需要与现实结合的显示内容，频繁移动绘制内容会使得驾驶过程输出的显示内容产生逻辑冲突，造成安全隐患。如果AR-HUD产品应用两组光学二结构，不但对光学设计者提出了更高的要求，且会产生成本的增加，导致整个AR-HUD装置的体积增大，使得整车的AR-HUD前装的空间消耗较高。
发明内容
本发明提供了一种AR-HUD输出信息的显示方法及系统，能够利用实时捕获的眼位信息来自动调节AR-HUD输出信息中的多类显示内容，从而解决了现有技术中AR-HUD产品应用单组光学结构会频繁移动显示内容而产生逻辑冲突和影响现实显示效果的问题。具体的技术方案如下：
第一方面，本发明实施例提供了一种AR-HUD输出信息的显示方法，所述方法包括：
当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变，所述第一类显示内容为与现实场景贴合的显示内容，所述第二类显示内容为与现实场景非贴合的显示内容，不同类显示内容在不同帧缓冲中绘制；
针对更新后AR-HUD输出信息中的各类多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像；
将所述信息显示图像投射至预设显示区域中，所述预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。
可选的，在所述当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，所述方法还包括：
获取监控系统输出目标用户的头部转角和眼位中心坐标；
在所述头部转角小于第一预设阈值，和/或所述眼位中心坐标的变化量超过第二预设阈值的情况下，判定所述监控系统输出的眼位信息发生变化。
可选的，所述当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，包括：
当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第二类显示内容在画面中的绝对位置不变；
当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第二类显示内容在画面中的绝对位置不变。
可选的，所述当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，还包括：
当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定画面高度调节的进程，根据所述画面高度调节的进程对所述AR-HUD输出信息的画面高度进行下降处理，并以下降处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在所述预设显示区域中进行展示；
当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定画面高度调节的进程，根据所述画面高度调节的进程对所述AR-HUD输出信息的画面高度进行上升处理，并以上升处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在所述预设显示区域中进行展示。
可选的，所述第一类显示内容包括3D显示内容，所述第二类显示内容包括2D显示内容，所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，包括：
针对所述AR-HUD输出信息中3D显示内容，利用变化后眼位信息更新视角参数，根据更新后视角参数对所述3D显示内容在屏幕坐标系下的坐标进行矩阵变换，以使得所述3D显示内容贴合显示场景；
针对所述AR-HUD输出信息中2D显示内容，利用变化后眼位信息确定当前画面高度，根据所述当前画面高度反向调整所述2D显示内容在屏幕坐标系下的坐标，以使得所述2D显示内容在画面中的绝对位置不变。
可选的，所述3D显示内容为需要与路面中现实对象贴合显示的内容，包括导航信息、车道线、障碍物标记中至少一个，所述2D显示内容为不需要与路面中现实对象贴合的内容，包括电子仪表信息。
可选的，在所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，所述方法还包括：
初始化AR-HUD输出信息中第二类显示内容在画面中的预期位置，以根据所述预期位置对所述第二显示内容在画面中的相对位置进行调整。
可选的，在所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，所述方法还包括：
利用监控系统持续检测用户的人脸特征；
在持续预设时间内未检测到用户的人脸特征的情况下，将AR-HUD输出信息中的多类显示内容调整为休眠模式；
在检测到用户的人脸特征的情况下，利用已记录用户人脸标识来确认AR-HUD输出信息的显示模式，并根据所述显示模式展示AR-HUD输出信息中的多类显示内容。
第二方面，本发明实施例提供了一种AR-HUD输出信息的显示装置，所述装置包括：
更新单元，用于当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变，所述第一类显示内容为与现实场景贴合的显示内容，所述第二类显示内容为与现实场景非贴合的显示内容，不同类显示内容在不同帧缓冲中绘制；
融合单元，用于针对更新后AR-HUD输出信息中的各类多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像；
投射单元，用于将所述信息显示图像投射至预设显示区域中，所述预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。
可选的，所述装置还包括：
获取单元，用于在所述当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，获取监控系统输出目标用户的头部转角和眼位中心坐标；
判定单元，用于在所述头部转角小于第一预设阈值，和/或所述眼位中心坐标的变化量超过第二预设阈值的情况下，判定所述监控系统输出的眼位信息发生变化。
可选的，所述更新单元，还用于当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第二类显示内容在画面中的绝对位置不变；
当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第二类显示内容在画面中的绝对位置不变。
可选的，所述更新单元，还用于当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定画面高度调节的进程，根据所述画面高度调节的进程对所述AR-HUD输出信息的画面高度进行下降处理，并以下降处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在所述预设显示区域中进行展示；
当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定画面高度调节的进程，根据所述画面高度调节的进程对所述AR-HUD输出信息的画面高度进行上升处理，并以上升处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在所述预设显示区域中进行展示。
可选的，所述第一类显示内容包括3D显示内容，所述第二类显示内容包括2D显示内容，
所述更新单元，具体用于针对所述AR-HUD输出信息中3D显示内容，利用变化后眼位信息更新视角参数，根据更新后视角参数对所述3D显示内容在屏幕坐标系下的坐标进行矩阵变换，以使得所述3D显示内容贴合显示场景；
所述更新单元，具体还用于针对所述AR-HUD输出信息中2D显示内容，利用变化后眼位信息确定当前画面高度，根据所述当前画面高度反向调整所述2D显示内容在屏幕坐标系下的坐标，以使得所述2D显示内容在画面中的绝对位置不变。
可选的，所述3D显示内容为需要与路面中现实对象贴合显示的内容，包括导航信息、车道线、障碍物标记中至少一个，所述2D显示内容为不需要与路面中现实对象贴合的内容，包括电子仪表信息。
可选的，所述装置还包括：
设置单元，用于在所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，初始化AR-HUD输出信息中第二类显示内容在画面中的预期位置，以根据所述预期位置对所述第二显示内容在画面中的相对位置进行调整。
可选的，所述装置还包括：
检测单元，用于在所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，利用监控系统持续检测用户的人脸特征；
判断单元，用于在持续预设时间内未检测到用户的人脸特征的情况下，将AR-HUD输出信息中的多类显示内容调整为休眠模式；
所述判断单元，还用于在检测到用户的人脸特征的情况下，利用已记录用户人脸标识来确认AR-HUD输出信息的显示模式，并根据所述显示模式展示AR-HUD输出信息中的多类显示内容。
第三方面，本发明实施例提供了一种AR-HUD输出信息的显示系统，所述系统包括：监控系统、辅助驾驶系统、CAN收发模块、人机交互模块、控制器、步进电机和HUD光学系统，所述监控系统，用于实时获取用户的眼位信息；所述辅助驾驶系统，用于检测车辆前方的障碍物信号和车道线信号；所述CAN收发模块，用于从车辆CAN总线提取车辆行驶信息；所述人机交互模块，用于接收用户输入针对AR-HUD输出信息中的多类显示内容的操作指令；所述步进电机，用于调节画面高度；所述控制器，用于根据所述眼位信息和所述画面高度对所述AR-HUD输出信息中的多类显示内容进行处理，并将处理后AR-HUD输出信息中的多类显示内容投射至AR-HUD光学系统；
所述控制器分别与所述监控系统、所述辅助驾驶系统、所述CAN收发模块、所述人机交互模块、所述步进电机、所述AR-HUD光学系统连接，所述控制器包括：
更新单元，用于当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变，所述第一类显示内容为与现实场景贴合的显示内容，所述第二类显示内容为与现实场景非贴合的显示内容，不同类显示内容在不同帧缓冲中绘制；
融合单元，用于针对更新后AR-HUD输出信息中的多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像；
投射单元，用于将所述信息显示图像投射至预设显示区域中，所述预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。
可选的，所述人机交互模块为按键/拨档开关，或者触控显示器，通过调节所述按键/拨档开关，或者触控显示器中设置不同档位的控制键，连续调整画面位置以及AR-HUD输出信息中的多类显示内容在画面中的位置，通过调节所述按键/拨档开关，或者触控显示器中设置重置的控制键，将画面高度进行归零以再次调整。
第四方面，本发明实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面所述的方法。
第五方面，本发明实施例提供了一种应用调用驱动接口的设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面所述的方法。
由上述内容可知，本发明实施例提供的AR-HUD输出信息的显示方法及系统，能够当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变，第一类显示内容为与现实场景贴合的显示内容，第二类显示内容为与现实场景非贴合的显示内容，不同类显示内容在不同帧缓冲中绘制，并针对更新后AR-HUD输出信息中的多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像，进一步将信息显示图像投射至预设显示区域中，该预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。由此可知，与现有技术中AR-HUD产品应用单组光学结构会频繁移动显示内容而产生逻辑冲突和影响现实显示效果相比，本发明实施例能够利用实时捕获的眼位信息来自动调节AR-HUD输出信息中的多类显示内容，使得AR-HUD输出信息中的多类显示内容根据现实场景的结合需求进行展示，从而解决了现有技术中AR-HUD产品应用单组光学结构会频繁移动显示内容而产生逻辑冲突和影响现实显示效果的问题。
此外，本实施例还可以实现的技术效果包括：
相比较于AR-HUD产品应用两组光学结构，本发明实施例在单组光学结构的小体积、低成本前提下，通过对AR-HUD输出信息中显示内容进行分类、图层分类及独立控制，不仅保证了基于图像识别算法的增强现实功能的实现，结合了深度信息优化了各类显示，且规避了频繁移动显示内容而对驾驶员造成的干扰。在驾驶员看来，AR-HUD投射的图像与现实场景是贴合的，并能实时根据驾驶员眼位做出调整，而显示内容在驾驶过程中其位置相对固定，不会分散驾驶员的注意力，驾驶也可以根据需求自由调整显示内容的位置。
应用单组光学结构所设计的AR-HUD产品，极大地控制了成本的同时，降低了光学设计难度。针对AR-HUD输出信息中显示内容的分类以及图层分类并独立控制的方式，解决了引入增强现实功能后显示内容产生的逻辑冲突，对于不需要与现实结合的显示内容，可固定其在屏幕中的绝对位置，不会分散驾驶员注意力，提高驾驶安全性，使得显示内容在图像中的位置符合驾驶员预期，提升驾驶员对AR-HUD的接受度与满意度。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种AR-HUD输出信息的显示方法的流程示意图；
图2a为现有技术提供的AR-HUD输出信息中2D显示内容的展示效果示意图；
图2b为本发明实施例提供的AR-HUD输出信息中第二类显示内容的展示效果图；
图3a-3b为本发明实施例提供的AR-HUD输出信息的显示过程的逻辑示意图；
图4为本发明实施例提供的一种增强现实抬头显示的实体装置结构示意图；
图5为本发明实施例提供的图像生成器的结构示意图；
图6为本发明实施例提供的一种增强现实抬头显示系统的组成框图；
图7为本发明实施例提供的一种增强现实抬头显示系统中各个组成模块之间的交互过程示意图；
图8为本发明实施例提供的结合驾驶员监控系统的输出信号对AR-HUD输出信息进行显示的实现逻辑
图9为本发明实施例提供的一种AR-HUD输出信息的显示装置的组成框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种AR-HUD输出信息的显示方法及系统，通过利用实时捕获的眼位信息来自动调节AR-HUD输出信息中的多类显示内容，从而解决了现有技术中AR-HUD产品应用单组光学结构会频繁移动显示内容而产生逻辑冲突和影响现实显示效果的问题。
相关技术中，AR-HUD增强现实的显示功能，如障碍物标记、车道线标记等，对画面高度的调节有更灵活的要求，对于不同身高的驾驶员，以及驾驶过程中驾驶员坐姿的变化，系统应能给予实时的反应，调节生成图像的高度，保证显示内容的完整和准确。如果画面高度是实时变化的，为了保证AR-HUD绘制内容和现实场景的贴合，绘制对象(如贴地显示的导航箭头或导航光带)在画面中的相对位置也需要通过软件进行调整。画面高度调整和绘制对象在画面中的相对位置调整，二者结合才能达到绘制内容与现实场景贴合的目的。本实施例通过实时采集眼位信息，并根据眼位信息对AR-HUD输出信息中显示内容进行分类、图层分类及独立控制，不仅保证了基于图像识别算法的增强现实功能的实现，结合了深度信息优化了的多类显示内容在屏幕中的相对位置，且规避了频繁移动显示内容而对驾驶员造成的干扰。在显示内容上，AR-HUD相对于市场上W-HUD增加了许多增强现实的显示内容，图像高度的自动调节更增加了显示问题的复杂度，相关技术中可使用两组光学结构来实现AR-HUD输出信息的显示，本发明实施例中AR-HUD仅使用一组光学结构来最大程度上实现两组光学结构的显示效果。
下面对本发明实施例进行详细说明。
图1为本发明实施例提供的一种AR-HUD输出信息的显示方法的流程示意图。所述方法可以包括如下步骤：
101、当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变。
其中，监控系统可以为安装在车辆中的驾驶员监控系统(DMS)，该驾驶员监控系统可以针对驾驶员的眼位信息进行实时监控，眼位信息可以包括但不局限于驾驶员的眼位中心坐标、头部转角以及面部标识等。可以理解的是，考虑到驾驶员身材的差异、座椅位置的调整以及驾驶过程中驾驶员的头部晃动，都会引起驾驶员的眼位变化，如果不能及时调整AR-HUD输出信息中的多类显示内容的位置，图像与现实将不再贴合，不能达成增强现实的目的。
在监控系统输出眼位信息后，作为眼位信息是否发生变化进行检测的一种实现方式，这里可以通过获取监控系统输出目标用户的头部转角和眼位中心坐标，在头部转角小于第一预设阈值，且眼位中心坐标的变化量超过第二预设阈值的情况下，判定监控系统输出的眼位信息发生变化。对于驾驶员在低头看手机时，头部转角和眼位中心坐标均下降，如果头部转角和/或眼位中心坐标所下降数值中有一个达到设定阈值，则判定眼位信息发生变化。
具体利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容的过程中，当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第二类显示内容在画面中的绝对位置不变；相应的，当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第二类显示内容在画面中的绝对位置不变。
进一步的，考虑到AR-HUD输出信息的显示效果，在眼位中心发生变化时，AR-HUD输出信息的画面高度也应相应调整，具体可以当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定画面高度调节的进程，根据画面高度调节的进程对AR-HUD输出信息的画面高度进行下降处理，并以下降处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在预设显示区域中进行展示；相应的，当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定画面高度调节的进程，根据画面高度调节的进程对AR-HUD输出信息的画面高度进行上升处理，并以上升处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在预设显示区域中进行展示。
可理解的是，AR-HUD在应用过程中会根据图像识别结果绘制显示内容，部分绘制对象如贴地导航箭头、贴地导航光带、障碍物标记，其画面中的相对位置虽然一直随着眼位变化，但由于与现实贴合，是符合驾驶员心理预期的。然而其中部分显示内容如电子仪表信息，考虑到以下几方面原因，并不需要与现实贴合，其位置也就并不需要频繁移动。首先，驾驶员的注意力容易被运动的对象吸引，频繁移动的电子仪表信息容易分散驾驶员注意力，使驾驶员不能集中在前方路况，从而造成安全隐患，其次，驾驶过程中，由于图像高度的调整，电子仪表的位置可能会遮挡驾驶员的视线，造成安全隐患，最后，为了增强现实功能的实现，图像高度调节是根据驾驶员眼位高度自动执行的，使得电子仪表的位置可能不符合驾驶员预期，无法进行手动调整。
其中，AR-HUD所有的绘制内容基本上是通过OpenGL来实现，利用模型、观察、投影三个矩阵，将绘制对象由局部坐标变换至世界坐标、观察坐标、裁剪坐标，并最后以屏幕坐标的形式结束。
在实际应用场景中，对于AR-HUD输出信息中需要与现实场景贴合的内容被定义为3D显示内容，为了保证所有绘制内容在引入光照等渲染效果后的整体一致性和真实感，3D显示内容的图元均为3D模型，比如，立体的导航箭头，车道线为厚度很小的带状六面体，障碍物标记为有厚度的圆弧带。在世界坐标系下，拥有长度x、宽度y、深度z三个方向的坐标，其中深度z尤为重要，比如立体导航箭头近大远小渐变的动画效果主要是依赖深度z的变化，而不是放大或者缩小绘制对象本身。对于不需要与现实场景贴合的内容被定义为2D显示内容，比如电子仪表信息，其内容并不需要与路面等现实对象进行贴合进行立体显示，只需要直观地把信息反馈给驾驶员即可，2D显示内容的图元均为2D模型，比如当前车速的是在一个平面区域内直接绘制数字，然后利用该区域在画面内的相对位置，也就是屏幕坐标系下的坐标，确定速度信息的显示位置，不再需要模型、观察、投影三个矩阵的矩阵变换。
具体的，本实施例中第一类显示内容为3D显示内容，第二类显示内容为2D显示内容，不同类显示内容在不同帧缓冲中绘制，3D显示内容为AR-HUD输出信息中需要与现实场景结合展示的内容，2D显示内容为AR-HUD输出信息中不需要与现实场景结合展示的内容，具体利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容的过程中，针对AR-HUD输出信息中3D显示内容，利用变化后眼位信息更新视角参数，根据更新后视角参数对3D显示内容在屏幕坐标系下的坐标进行矩阵变换，以使得3D显示内容贴合显示场景；针对AR-HUD输出信息中2D显示内容，利用变化后眼位信息确定当前画面高度，根据当前画面高度反向调整2D显示内容在屏幕坐标系下的坐标，以使得2D显示内容在画面中的绝对位置不变。
具体在实际应用场景中，2D显示内容的调整依据当前画面高度调整的进程，在画面中反向调整2D显示内容的相对位置，使其绝对高度保持不变，因此在驾驶员看来，2D显示内容的位置是相对静止的。3D显示内容调整的依据是真实场景中检测到的对象位置以及驾驶员眼位，比如车辆前方50米处有一障碍物，不同身高驾驶员眼位不同，所匹配的画面高度也就不同，如果期望在不同高度的画面下，驾驶员看到的障碍物标记都在障碍物下方同一位置，那么不同画面高度下，障碍物标记在在画面中的相对位置，也就是屏幕坐标系下的坐标必然不同。
102、针对更新后AR-HUD输出信息中的多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像。
在本发明实施例中，更新后AR-HUD输出信息中2D显示内容和3D显示内容可通过预先建立两个帧缓冲进行分别绘制，然后两个帧缓冲中的绘制内容在画面上叠加进行显示，以此保证2D显示内容与3D显示内容互不影响，从而提供对两个图层进行独立控制的可能性。
可以理解的是，随着眼位信息的变化，AR-HUD输出信息的画面高度会做出调整，AR-HUD输出信息中的多类显示内容在屏幕坐标系中的相对位置会发生改变，这里信息显示图像能够融合更新后AR-HUD输出信息中的多类显示内容的绘制对象，对于需要与现实场景相结合的显示内容可根据画面高度自适应调整，以保证显示内容贴合现实场景，对于不需要与现实场景相结合的显示内容可固定在驾驶观测的位置，以减少频繁移动显示内容对驾驶过程造成的信息干扰。
103、将所述信息显示图像投射至预设显示区域中。
其中，预设显示区域为根据眼位信息变化适应调节画面高度所形成的显示区域，对于眼位高度上升的情况，AR-HUD输出信息的画面会相应下降，反之对于眼位高度下降的情况，AR-HUD输出信息的画面会相应上升，进一步在上升或者下降后画面中的显示区域内相应位置展示AR-HUD输出信息中的多类显示内容，此时多类显示内容在画面中的位置相比之前有所变化。
进一步为了说明AR-HUD输出信息中的多类显示内容的展示效果，图2a为现有技术中AR-HUD输出信息中第二类显示内容的展示效果，由于没有采用图层分离绘制、独立控制的方式，第二类显示内容在画面中的相对位置是固定的，当画面高度变化时，第二类显示内容随动，在驾驶员看来其绝对位置是变化的，图2b为本发明实施例中AR-HUD输出信息中第二类显示内容的展示效果，第一类显示内容、第二类显示内容在两个帧缓冲中分别绘制并进行独立控制，融合后进行投射，在保证画面高度自适应、第一类显示内容贴合现实场景的前提下，避免了第二类显示内容的非必要调节，使其在驾驶员看来绝对位置固定。
在本发明实施例中，对于当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容在屏幕坐标系下的相对位置的过程，具体调节逻辑过程如图3a所示，包括如下步骤：201、眼位中心位置上升；一方面执行步骤202a、画面高度调整机构进行调整；203a、画面高度下降；另一方面执行步骤202b、3D显示内容坐标依据视角信息进行矩阵变换；203b、屏幕坐标系下，3D显示内容的相对位置上升；又一方面执行步骤202c、2D显示内容坐标依据画面高度调节进程更新；203c、屏幕坐标系下，2D显示内容的相对位置上升；汇总步骤203b和步骤203c后执行204、2D显示内容帧缓冲更新，3D显示内容帧缓冲更新，图像绘制与融合；步骤205、理想的显示区域位置，3D显示内容贴合现实，2D显示内容绝对位置固定。具体来说，对于监控系统检测到眼位中心位置上升的情况，画面高度调整机构下调画面高度，这里的画面高度调整机构为步进电机及配套齿轮结构，通过步进电机调整主镜转角，以达到调节画面高度的目的。与此同时，3D显示内容依据DMS的眼位信息，更新视角参数，并通过模型、观察、投影矩阵对3D显示内容的坐标进行矩阵变换，使3D显示内容的相对位置上升以贴合现实场景。而2D显示内容则依据当前画面高度调节进程，在屏幕坐标系下进行补偿，使其在屏幕坐标系下的相对位置上升，从而让驾驶员看到的绝对位置固定。这里2D显示内容、3D显示内容在两个帧缓冲中独立绘制，融合之后投射在更新过高度显示区域内。最终效果能保证画面高度实时适配驾驶员眼位，3D显示内容贴合现实场景，2D显示内容绝对位置固定。相应的，对于眼位中心位置下降的情况，如图3b所示，依然能通过该逻辑实现上述效果。
本发明实施例在仅使用一组光学结构的前提下，不仅避免了电子仪表的高度频繁依据眼位高度进行调节而干扰驾驶员的安全性问题和电子仪表遮挡驾驶员视线的安全性的问题，进一步的，为了增加显示内容布局的灵活性，驾驶员还可以在初始化时通过人机模块调节2D显示内容的预期位置，初始化设定后，系统以此自定义位置为依据进行自动调节，使显示效果更加符合驾驶员预期，提升驾驶体验。
本发明实施例提供的AR-HUD输出信息的显示方法，能够当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变，第一类显示内容为与现实场景贴合的显示内容，第二类显示内容为与现实场景非贴合的显示内容，并针对更新后AR-HUD输出信息中的多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像，进一步将信息显示图像投射至预设显示区域中，该预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。由此可知，与现有技术中AR-HUD产品应用单组光学结构会频繁移动显示内容而产生逻辑冲突和影响现实显示效果相比，本发明实施例能够利用实时捕获的眼位信息来自动调节AR-HUD输出信息中的多类显示内容，使得AR-HUD输出信息中的多类显示内容根据现实场景的结合需求进行展示，从而解决了现有技术中AR-HUD产品应用单组光学结构会频繁移动显示内容而产生逻辑冲突和影响现实显示效果的问题。
进一步的，本发明实施例还提供了一种增强现实抬头显示的实体装置，具体AR-HUD实体装置的结构如图4所示，图像生成器1上产生的光线，通过次反射镜2、主反射镜3、前挡风玻璃4进入到人眼8，人眼8逆着光路就可以看到在汽车前方一定距离处的虚像面5，既该增强现实抬头显示装置将图像生成器1上的图像投射到驾驶员前方一定距离处。其中本发明的图像生成器1的结构如图5所示，包含DLP投影仪11、扩散膜14、透镜组12和反射镜13。
进一步的，本发明实施例还提供了一种增强现实抬头显示系统，具体AR-HUD系统的组成如图6所示，该系统包括监控系统31、辅助驾驶系统32、CAN收发模块33、人机交互模块34、控制器(软件平台)35、步进电机和AR-HUD光学系统36。具体增强现实抬头显示系统中各个组成模块之间的交互过程如图7所示，控制器35分别与监控系统31、辅助驾驶系统32、CAN收发模块33、人机交互模块34、步进电机、AR-HUD光学系统36连接。
上述监控系统31，用于实时获取驾驶员的眼位信息，具体可实时获得驾驶员眼位中心坐标、头部转角以及Face ID的信号；其中，眼位中心坐标信号为画面高度自适应算法的输入信号，用于计算对应的画面高度调节量；头部转角是为了保证驾驶员在非驾驶状态时，比如在驻车状态下低头看手机、与副驾驶位的乘客侧头聊天时，避免进行非必要画面高度调节。只有驾驶员头部转角小于阈值，也就是驾驶员直视前方时，才可能进行画面高度调整；驾驶员Face ID用来记录驾驶员的个人喜好，进行初始设置并记录后，在下一次检测到该Face ID时实现自动配置。比如2D显示内容的理想位置，UI的配色，导航的显示方式(比如导航箭头或者导航光带)等等。
上述高辅助驾驶系统32，用于检测车辆前方的障碍物信号和车道线信号；障碍物信号包括障碍物的类型(行人、汽车、路障等)，位置和速度，用于实现障碍物标记、前车碰撞预警等功能；车道线信号包括线型、位置，用于实现车道线标记，压线警报等功能。绘制的内容皆为3D显示内容。
上述CAN收发模块33用于从车辆CAN总线提取车辆行驶信息，包括从汽车CAN总线提取到的车速、档位、电量等信息，用于电子仪表，对于绘制对象不需要与现实贴合，为2D显示内容，对于绘制对象需要与现实结合，为3D显示内容。本方案导航信息也从车身信号中获取，包含方向，剩余距离等信息，用于导航箭头或导航光带的显示，为3D显示内容。
上述人机交互模块34用于接收用户输入针对AR-HUD输出信息中的多类显示内容的操作指令，可以为指按键/拨档开关，或者触控显示器。驾驶员可以通过手动操作进行指令输入：比如初始设置时，设置2D显示内容的理想位置，通过上/下按键连续调整2D显示内容位置，设置完成后同Face ID一同被记录，以后即可实现自动配置；同样的，让整个显示区域绕中心旋转也是HUD的常见需求之一，通过按键设定不同档位，每按一次切换到一个不同的倾斜角度；电机长时间工作可能出现累计误差，或者在画面高度的本地记录功能出现异常时，可以通过按键使得画面高度重置，画面归零后重新按照眼位再次调整，保证调整的准确性。
上述控制器35，用于根据眼位信息和画面高度对所述AR-HUD输出信息中的多类显示内容进行处理，并将处理后AR-HUD输出信息中的多类显示内容投射至AR-HUD光学系统，具体负责解析和处理传感器信号，包含的主要算法包括传感器融合算法、控制算法、图像绘制算法。本发明实施例主要针对图像绘制算法和控制算法进行改进，通过将3D显示内容和2D显示内容在两个帧缓冲进行分别绘制，融合后通过图像生成单元进行投射。3D显示内容依据高级辅助驾驶系统的识别结果和驾驶员眼位，通过调整模型、观察、投影矩阵进行更新，以保证绘制内容与现实的贴合；2D显示内容依据画面高度调节的进程，在屏幕坐标系下反向调节其坐标位置，使得驾驶员观测到的位置保持不变。画面高度调节的执行器为步进电机，步进电机推动主镜，改变主镜转角以改变画面高度。最终的投射画面达到实时画面高度自适应，3D显示内容与现实贴合，2D显示内容位置固定的效果。
结合上文中驾驶员监控系统的输出信号，对AR-HUD输出信息进行显示的实现逻辑如图8所示，包括如下步骤：首先401、判断是否检测到人脸特征，也就是驾驶位上有无驾驶员，402、判断是否超过监测时间阈值，如果超过一定时间依然没有检测到人脸信号，403、启动休眠模式，显示进入休眠模式，只保留驾驶员监控系统继续工作，持续检测人脸信号。如果检测到了人脸信号，404、判断已记录Face ID和对应配置，以检查当前Face ID是否已进行过初始化设置，如果没有，405、采用默认UI显示模式，提示可调节、保存设置，此时采用默认UI并提醒驾驶员可以调节并记录。406、判断显示效果是否确认，在对当前UI显示效果进行确认后，407、UI显示模式确定，2D显示内容位置确定，程序进入自动模式，开始实时循环检测驾驶员的头部转角和眼位中心坐标，408、判断头部转角是否小于阈值；409、判断眼位中心坐标变化是否超过阈值，若是，则410、驱动电机调整画面高度，更新3D显示内容以贴合现实，更新2D显示内容以保持绝对位置不变；当驾驶员头部转角小于阈值，并且眼位中心坐标的变化量超过阈值时，画面高度进行自动调节，3D显示内容和2D显示内容各自进行更新，融合后进行画面投射。眼位中心坐标的阈值设定主要为了避免画面高度调节过于频繁，造成驾驶员眩晕。只有当驾驶员眼位高度变化量超过一定范围(一般为光学设计的眼盒高度)时，绘制内容与显示的贴合程度，也就是增强现实效果才会产生明显下降，因此以此作为阈值即可。在未对当前UI显示效果进行确认时，411、判断驾驶员是否已进行调节，若是，412、启动Face ID和对应设置，并执行步骤407，否则直接执行步骤407。本方案即可达成画面高度自适应，3D内容贴合现实，2D显示内容位置固定的效果。以上实施例均经过实车测试验证，通过图层分离的显示方法，利用一组光学结构最大程度地实现了两组光学结构的显示效果，避免了2D显示内容的非必要移动，提高了驾驶安全性。
基于上述实施例，本发明的另一实施例提供了一种AR-HUD输出信息的显示装置，如图9所示，所述装置包括：
更新单元51，用于当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变，所述第一类显示内容为与现实场景贴合的显示内容，所述第二类显示内容为与现实场景非贴合的显示内容，不同类显示内容在不同帧缓冲中绘制；
融合单元52，用于针对更新后AR-HUD输出信息中的各类多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像；
投射单元53，用于将所述信息显示图像投射至预设显示区域中，所述预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。
可选的，所述装置还包括：
获取单元，用于在所述当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，获取监控系统输出目标用户的头部转角和眼位中心坐标；
判定单元，用于在所述头部转角小于第一预设阈值，和/或所述眼位中心坐标的变化量超过第二预设阈值的情况下，判定所述监控系统输出的眼位信息发生变化。
可选的，所述更新单元51，还用于当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第二类显示内容在画面中的绝对位置不变；
当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第二类显示内容在画面中的绝对位置不变。
可选的，所述更新单元51，还用于当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定画面高度调节的进程，根据所述画面高度调节的进程对所述AR-HUD输出信息的画面高度进行下降处理，并以下降处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在所述预设显示区域中进行展示；
当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定画面高度调节的进程，根据所述画面高度调节的进程对所述AR-HUD输出信息的画面高度进行上升处理，并以上升处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在所述预设显示区域中进行展示。
可选的，所述第一类显示内容包括3D显示内容，所述第二类显示内容包括2D显示内容，
所述更新单元51，具体用于针对所述AR-HUD输出信息中3D显示内容，利用变化后眼位信息更新视角参数，根据更新后视角参数对所述3D显示内容在屏幕坐标系下的坐标进行矩阵变换，以使得所述3D显示内容贴合显示场景；
所述更新单元51，具体还用于针对所述AR-HUD输出信息中2D显示内容，利用变化后眼位信息确定当前画面高度，根据所述当前画面高度反向调整所述2D显示内容在屏幕坐标系下的坐标，以使得所述2D显示内容在画面中的绝对位置不变。
可选的，所述3D显示内容为需要与路面中现实对象贴合显示的内容，包括导航信息、车道线、障碍物标记中至少一个，所述2D显示内容为不需要与路面中现实对象贴合的内容，包括电子仪表信息。
可选的，所述装置还包括：
设置单元，用于在所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，初始化AR-HUD输出信息中第二类显示内容在画面中的预期位置，以根据所述预期位置对所述第二显示内容在画面中的相对位置进行调整。
可选的，所述装置还包括：
检测单元，用于在所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，利用监控系统持续检测用户的人脸特征；
判断单元，用于在持续预设时间内未检测到用户的人脸特征的情况下，将AR-HUD输出信息中的多类显示内容调整为休眠模式；
所述判断单元，还用于在检测到用户的人脸特征的情况下，利用已记录用户人脸标识来确认AR-HUD输出信息的显示模式，并根据所述显示模式展示AR-HUD输出信息中的多类显示内容。
基于上述方法实施例，本发明的另一实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现上述方法。
基于上述实施例，本发明的另一实施例提供了一种车辆，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。所述车辆可以为非自动驾驶车辆，也可以为自动驾驶车辆。
上述系统、装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种AR-HUD输出信息的显示方法，其特征在于，所述方法包括：
当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变，所述第一类显示内容为与现实场景贴合的显示内容，所述第二类显示内容为与现实场景非贴合的显示内容，不同类显示内容在不同帧缓冲中绘制；
针对更新后AR-HUD输出信息中的各类多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像；
将所述信息显示图像投射至预设显示区域中，所述预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。
2.如权利要求1所述的方法，其特征在于，在所述当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，所述方法还包括：
获取监控系统输出目标用户的头部转角和眼位中心坐标；
在所述头部转角小于第一预设阈值，和/或所述眼位中心坐标的变化量超过第二预设阈值的情况下，判定所述监控系统输出的眼位信息发生变化。
3.如权利要求1所述的方法，其特征在于，所述当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，包括：
当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行上升调节，以使第二类显示内容在画面中的绝对位置不变；
当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定的视觉参数对第一类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第一类显示内容贴合现实场景，利用变化后眼位信息确定的画面高度对第二类显示内容在屏幕坐标系下的相对位置进行下降调节，以使第二类显示内容在画面中的绝对位置不变。
4.如权利要求3所述的方法，其特征在于，所述当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，还包括：
当检测到监控系统输出的眼位信息表征眼位中心位置上升时，利用变化后眼位信息确定画面高度调节的进程，根据所述画面高度调节的进程对所述AR-HUD输出信息的画面高度进行下降处理，并以下降处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在所述预设显示区域中进行展示；
当检测到监控系统输出的眼位信息表征眼位中心位置下降时，利用变化后眼位信息确定画面高度调节的进程，根据所述画面高度调节的进程对所述AR-HUD输出信息的画面高度进行上升处理，并以上升处理后的画面作为预设显示区域，以使第一显示对象和第二显示对象在所述预设显示区域中进行展示。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述第一类显示内容包括3D显示内容，所述第二类显示内容包括2D显示内容，所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，包括：
针对所述AR-HUD输出信息中3D显示内容，利用变化后眼位信息更新视角参数，根据更新后视角参数对所述3D显示内容在屏幕坐标系下的坐标进行矩阵变换，以使得所述3D显示内容贴合显示场景；
针对所述AR-HUD输出信息中2D显示内容，利用变化后眼位信息确定当前画面高度，根据所述当前画面高度反向调整所述2D显示内容在屏幕坐标系下的坐标，以使得所述2D显示内容在画面中的绝对位置不变。
6.如权利要求5所述的方法，其特征在于，所述3D显示内容为需要与路面中现实对象贴合显示的内容，包括导航信息、车道线、障碍物标记中至少一个，所述2D显示内容为不需要与路面中现实对象贴合的内容，包括电子仪表信息。
7.如权利要求1-4中任一项所述的方法，其特征在于，在所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，所述方法还包括：
初始化AR-HUD输出信息中第二类显示内容在画面中的预期位置，以根据所述预期位置对所述第二显示内容在画面中的相对位置进行调整。
8.如权利要求1-4中任一项所述的方法，其特征在于，在所述利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容之前，所述方法还包括：
利用监控系统持续检测用户的人脸特征；
在持续预设时间内未检测到用户的人脸特征的情况下，将AR-HUD输出信息中的多类显示内容调整为休眠模式；
在检测到用户的人脸特征的情况下，利用已记录用户人脸标识来确认AR-HUD输出信息的显示模式，并根据所述显示模式展示AR-HUD输出信息中的多类显示内容。
9.一种AR-HUD输出信息的显示系统，其特征在于，所述系统包括：监控系统、辅助驾驶系统、CAN收发模块、人机交互模块、控制器、步进电机和HUD光学系统，所述监控系统，用于实时获取用户的眼位信息；所述辅助驾驶系统，用于检测车辆前方的障碍物信号和车道线信号；所述CAN收发模块，用于从车辆CAN总线提取车辆行驶信息；所述人机交互模块，用于接收用户输入针对AR-HUD输出信息中的多类显示内容的操作指令；所述步进电机，用于调节画面高度；所述控制器，用于根据所述眼位信息和所述画面高度对所述AR-HUD输出信息中的多类显示内容进行处理，并将处理后AR-HUD输出信息中的多类显示内容投射至AR-HUD光学系统；
所述控制器分别与所述监控系统、所述辅助驾驶系统、所述CAN收发模块、所述人机交互模块、所述步进电机、所述AR-HUD光学系统连接，所述控制器包括：
更新单元，用于当检测到监控系统输出的眼位信息发生变化时，利用变化后眼位信息更新AR-HUD输出信息中的多类显示内容，以使第一类显示内容在画面中的相对位置改变，第二类显示内容在画面中的绝对位置不变，所述第一类显示内容为与现实场景贴合的显示内容，所述第二类显示内容为与现实场景非贴合的显示内容，不同类显示内容在不同帧缓冲中绘制；
融合单元，用于针对更新后AR-HUD输出信息中的多类显示内容，在预先建立的多个帧缓冲中进行分别绘制后融合，得到信息显示图像；
投射单元，用于将所述信息显示图像投射至预设显示区域中，所述预设显示区域为根据所述眼位信息变化适应调节画面高度所形成的显示区域。
10.如权利要求9所述的系统，其特征在于，所述人机交互模块为按键/拨档开关，或者触控显示器，通过调节所述按键/拨档开关，或者触控显示器中设置不同档位的控制键，连续调整画面位置以及AR-HUD输出信息中的多类显示内容在画面中的位置，通过调节所述按键/拨档开关，或者触控显示器中设置重置的控制键，将画面高度进行归零以再次调整。
CN202210016771.4A 2022-01-07 2022-01-07 Ar-hud输出信息的显示方法及系统 Active CN114489332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210016771.4A CN114489332B (zh) 2022-01-07 2022-01-07 Ar-hud输出信息的显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210016771.4A CN114489332B (zh) 2022-01-07 2022-01-07 Ar-hud输出信息的显示方法及系统

Publications (2)

Publication Number Publication Date
CN114489332A true CN114489332A (zh) 2022-05-13
CN114489332B CN114489332B (zh) 2024-08-06

Family

ID=81509949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210016771.4A Active CN114489332B (zh) 2022-01-07 2022-01-07 Ar-hud输出信息的显示方法及系统

Country Status (1)

Country Link
CN (1) CN114489332B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114802022A (zh) * 2022-06-28 2022-07-29 江苏泽景汽车电子股份有限公司 Hud显示画面的高度调节方法、装置、设备和存储介质
CN115097628A (zh) * 2022-06-24 2022-09-23 北京经纬恒润科技股份有限公司 一种行车信息显示方法、装置及系统
CN115480726A (zh) * 2022-11-15 2022-12-16 泽景(西安)汽车电子有限责任公司 一种显示方法、装置、电子设备及存储介质
CN116061854A (zh) * 2023-01-17 2023-05-05 芜湖汽车前瞻技术研究院有限公司 触控菜单的显示方法、装置、终端、介质和程序产品
WO2025108233A1 (zh) * 2023-11-22 2025-05-30 华为技术有限公司 导航箭头显示方法、车载设备、可读存储介质和芯片

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160163108A1 (en) * 2014-12-08 2016-06-09 Hyundai Motor Company Augmented reality hud display method and device for vehicle
US20180330531A1 (en) * 2017-05-15 2018-11-15 Daqri, Llc Adjusting depth of augmented reality content on a heads up display
CN109688392A (zh) * 2018-12-26 2019-04-26 联创汽车电子有限公司 Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
CN110297325A (zh) * 2018-03-22 2019-10-01 蔚来汽车有限公司 增强现实眼镜和系统及增强现实眼镜显示车上信息的方法
WO2020029444A1 (zh) * 2018-08-10 2020-02-13 初速度（苏州）科技有限公司 一种驾驶员驾驶时注意力检测方法和系统
CN110926487A (zh) * 2018-09-19 2020-03-27 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
WO2020110580A1 (ja) * 2018-11-30 2020-06-04 株式会社小糸製作所 ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
CN111267616A (zh) * 2020-02-28 2020-06-12 华域视觉科技(上海)有限公司 一种车载抬头显示模块、方法及车辆
CN112484743A (zh) * 2020-12-03 2021-03-12 安徽中科新萝智慧城市信息科技有限公司 车载hud融合实景导航显示方法及其系统
CN113260430A (zh) * 2021-03-31 2021-08-13 华为技术有限公司 一种场景处理方法、装置、系统及相关设备
CN113467600A (zh) * 2020-03-31 2021-10-01 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160163108A1 (en) * 2014-12-08 2016-06-09 Hyundai Motor Company Augmented reality hud display method and device for vehicle
US20180330531A1 (en) * 2017-05-15 2018-11-15 Daqri, Llc Adjusting depth of augmented reality content on a heads up display
CN110297325A (zh) * 2018-03-22 2019-10-01 蔚来汽车有限公司 增强现实眼镜和系统及增强现实眼镜显示车上信息的方法
WO2020029444A1 (zh) * 2018-08-10 2020-02-13 初速度（苏州）科技有限公司 一种驾驶员驾驶时注意力检测方法和系统
CN110926487A (zh) * 2018-09-19 2020-03-27 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
WO2020110580A1 (ja) * 2018-11-30 2020-06-04 株式会社小糸製作所 ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
CN109688392A (zh) * 2018-12-26 2019-04-26 联创汽车电子有限公司 Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
CN111267616A (zh) * 2020-02-28 2020-06-12 华域视觉科技(上海)有限公司 一种车载抬头显示模块、方法及车辆
CN113467600A (zh) * 2020-03-31 2021-10-01 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
WO2021197189A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN112484743A (zh) * 2020-12-03 2021-03-12 安徽中科新萝智慧城市信息科技有限公司 车载hud融合实景导航显示方法及其系统
CN113260430A (zh) * 2021-03-31 2021-08-13 华为技术有限公司 一种场景处理方法、装置、系统及相关设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LOTFI ABDI 等: "In-Vehicle Augmented Reality Traffic Information System: A New Type of Communication Between Driver and Vehicle", PROCEDIA COMPUTER SCIENCE, 31 December 2015 (2015-12-31) *
陈璐玲;: "某车载抬头显示光学系统设计研究", 中国新技术新产品, no. 13, 10 July 2020 (2020-07-10) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097628A (zh) * 2022-06-24 2022-09-23 北京经纬恒润科技股份有限公司 一种行车信息显示方法、装置及系统
CN115097628B (zh) * 2022-06-24 2024-05-07 北京经纬恒润科技股份有限公司 一种行车信息显示方法、装置及系统
CN114802022A (zh) * 2022-06-28 2022-07-29 江苏泽景汽车电子股份有限公司 Hud显示画面的高度调节方法、装置、设备和存储介质
CN115480726A (zh) * 2022-11-15 2022-12-16 泽景(西安)汽车电子有限责任公司 一种显示方法、装置、电子设备及存储介质
CN115480726B (zh) * 2022-11-15 2023-02-28 泽景(西安)汽车电子有限责任公司 一种显示方法、装置、电子设备及存储介质
CN116061854A (zh) * 2023-01-17 2023-05-05 芜湖汽车前瞻技术研究院有限公司 触控菜单的显示方法、装置、终端、介质和程序产品
WO2025108233A1 (zh) * 2023-11-22 2025-05-30 华为技术有限公司 导航箭头显示方法、车载设备、可读存储介质和芯片

Also Published As

Publication number Publication date
CN114489332B (zh) 2024-08-06

Similar Documents

Publication Publication Date Title
CN114489332B (zh) Ar-hud输出信息的显示方法及系统
CN110967834B (zh) 显示装置、显示控制方法及存储介质
JP6413207B2 (ja) 車両用表示装置
JP7121583B2 (ja) 表示装置、表示制御方法、およびプログラム
JP6838626B2 (ja) 表示制御装置、及び表示制御プログラム
CN110244460B (zh) 车辆投影显示设备
JP6225379B2 (ja) 車両情報投影システム
CN111267616A (zh) 一种车载抬头显示模块、方法及车辆
JP2005335410A (ja) 画像表示装置
US11106045B2 (en) Display system, movable object, and design method
WO2019097762A1 (ja) 重畳画像表示装置及びコンピュータプログラム
US20180334101A1 (en) Simulated mirror or remote view display via transparent display system and method
KR102757349B1 (ko) 윈드실드 불가시 처리장치 및 방법
JP2018020779A (ja) 車両情報投影システム
JP2021135933A (ja) 表示方法、表示装置及び表示システム
JP7223283B2 (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置
JP7165532B2 (ja) 表示装置、表示制御方法、およびプログラム
JP2019066562A (ja) 表示装置、表示制御方法、及びプログラム
JP2018202950A (ja) 表示システム、電子ミラーシステム及び移動体
JP7167918B2 (ja) 車両用表示装置
JP2018087852A (ja) 虚像表示装置
CN115206262A (zh) 一种抬头显示控制系统
CN111086518A (zh) 显示方法、装置、车载平视显示设备及存储介质
JP7415516B2 (ja) 表示制御装置
JP7429875B2 (ja) 表示制御装置、表示装置、表示制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant