CN115056649A - 增强现实抬头显示系统、实现方法、设备及存储介质 - Google Patents

增强现实抬头显示系统、实现方法、设备及存储介质 Download PDF

Info

Publication number
CN115056649A
CN115056649A CN202210645665.2A CN202210645665A CN115056649A CN 115056649 A CN115056649 A CN 115056649A CN 202210645665 A CN202210645665 A CN 202210645665A CN 115056649 A CN115056649 A CN 115056649A
Authority
CN
China
Prior art keywords
display
vehicle
data
augmented reality
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210645665.2A
Other languages
English (en)
Inventor
张家豪
韩雨青
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zejing Xi'an Automotive Electronics Co ltd
Original Assignee
Zejing Xi'an Automotive Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zejing Xi'an Automotive Electronics Co ltd filed Critical Zejing Xi'an Automotive Electronics Co ltd
Priority to CN202210645665.2A priority Critical patent/CN115056649A/zh
Publication of CN115056649A publication Critical patent/CN115056649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)

Abstract

本申请适用于车辆显示技术领域,提供了一种增强现实抬头显示系统的实现方法、增强现实抬头显示系统、设备及存储介质。本方案中,过滤掉了冗余的显示元素,基于剩余显示元素生成的AR影像更有利于驾驶员提炼驾驶辅助信息,节省了驾驶员对驾驶操作做出判断的时间。每个目标显示元素都有对应的目标显示位置,不会出现显示元素之间重合堆叠的情况,有效避免了显示内容之间重合堆叠,给驾驶员视线带来干扰的问题。生成的AR影像实现了现实信息和虚拟信息的高效融合,将其投射在驾驶员的可视区域内,驾驶员不用进行视线切换,即可快速直观地获取到各种驾驶辅助信息,提高了辅助驾驶能力和驾驶安全性以及舒适性。

Description

增强现实抬头显示系统、实现方法、设备及存储介质
技术领域
本申请属于车辆显示技术领域,尤其涉及一种增强现实抬头显示系统的实现方法、增强现实抬头显示系统、设备及存储介质。
背景技术
抬头显示器(Head Up Display,HUD)是一种将图像投射到驾驶员前方视野中的显示装置。相比于传统的仪表和中控设备,驾驶员在观察HUD显示信息时,无需低头,避免了视线在HUD显示信息和路面之间来回切换,进而减少了危机反应的时间。
然而,现有的HUD显示信息,存在显示内容过多、显示内容重要度低以及显示内容之间重合堆叠等问题,容易干扰驾驶员的视线,需要驾驶员花费更多时间对驾驶操作做出判断,降低了驾驶的安全性和舒适性。
发明内容
有鉴于此,本申请实施例提供了一种增强现实抬头显示系统的实现方法、增强现实抬头显示系统、设备及存储介质,以解决现有的HUD显示信息存在显示内容过多、显示内容重要度低以及显示内容之间重合堆叠等问题,容易干扰驾驶员的视线,需要驾驶员花费更多时间对驾驶操作做出判断,降低了驾驶的安全性和舒适性的问题。
本申请实施例的第一方面提供了一种增强现实抬头显示系统的实现方法,该实现方法包括:
获取车辆信息,所述车辆信息包括车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的至少一种;对所述车辆信息进行预设处理,得到多个显示元素;确定每个所述显示元素的显示位置;根据每个所述显示位置,在所述多个显示元素中筛选出多个目标显示元素,并确定每个所述目标显示元素对应的目标显示位置;根据每个所述目标显示元素和每个所述目标显示位置,生成增强现实影像;将所述增强现实影像投射在驾驶员的可视区域内。
上述方案中,由于筛选过滤掉了冗余的显示元素,剩余的都是重要的显示元素,基于这些显示元素生成的AR影像更有利于驾驶员提炼驾驶辅助信息,节省了驾驶员对驾驶操作做出判断的时间。且每个目标显示元素都有对应的目标显示位置,不会出现显示元素之间重合堆叠的情况,有效避免了现有技术中显示内容之间重合堆叠,给驾驶员视线带来干扰的问题。同时,生成的AR影像实现了现实信息和虚拟信息的高效融合,将AR影像投射在驾驶员的可视区域内,驾驶员不用进行视线切换,即可快速、直观、准确地获取到各种驾驶辅助信息,极大提高了辅助驾驶能力和驾驶安全性、舒适性、实时性、准确性以及稳定性。
可选地,在一种可能的实现方式中,所述对所述车辆信息进行预设处理,得到多个显示元素,包括:对所述车辆信息中的各个数据进行分类,得到各个所述数据的分类类型;根据各个所述数据和各个所述数据的分类类型,生成各个所述数据对应的显示元素。
可选地,在一种可能的实现方式中,所述分类类型包括指示器区域类型和增强现实类型,所述根据各个所述数据和各个所述数据的分类类型,生成各个所述数据对应的显示元素,包括:针对每个所述数据,当所述数据的分类类型为所述指示器区域类型时,根据所述数据生成指示器区域元素;和/或,当所述数据的分类类型为所述增强现实类型时,根据所述数据生成增强现实元素。
可选地,在一种可能的实现方式中,所述当所述数据的分类类型为所述增强现实类型时,根据所述数据生成增强现实元素,包括:当所述数据的分类类型为所述增强现实类型时,根据所述数据生成虚拟三维元素;对所述虚拟三维元素进行映射,得到所述增强现实元素。
可选地,在一种可能的实现方式中,所述确定每个所述显示元素的显示位置,包括:确定每个所述显示元素的分类类型;根据每个所述显示元素的分类类型,在预设的数据库中查找每个所述显示元素的显示位置。
可选地,在一种可能的实现方式中,所述根据每个所述显示位置,在所述多个显示元素中筛选出多个目标显示元素,并确定每个所述目标显示元素对应的目标显示位置,包括:根据每个所述显示元素的显示位置,判断是否有同一显示位置对应的显示元素的数量超过预设阈值;当判定所述同一显示位置对应的显示元素的数量超过所述预设阈值时,对所述同一显示位置对应的各个显示元素进行优先级排序;根据排序结果,在所述各个显示元素中确定所述目标显示元素;确定所述目标显示元素对应的目标显示位置。
可选地,在一种可能的实现方式中,所述根据每个所述显示元素的显示位置,判断是否有同一显示位置对应的显示元素的数量超过预设阈值,包括:获取每个所述显示元素的二维映射元素;获取根据每个所述显示元素和每个所述显示元素的显示位置生成的虚像;监测每个所述二维映射元素在所述虚像上的像素坐标;根据监测结果判断是否有同一显示位置对应的显示元素的数量超过预设阈值。
本申请实施例的第二方面提供了一种增强现实抬头显示系统,包括:
感应模块,用于获取车辆信息,所述车辆信息包括车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的至少一种;
元素生成模块,用于对所述车辆信息进行预设处理,得到多个显示元素;确定每个所述显示元素的显示位置;根据每个所述显示位置,在所述多个显示元素中筛选出多个目标显示元素,并确定每个所述目标显示元素对应的目标显示位置;
显示模块,用于根据每个所述目标显示元素和每个所述目标显示位置,生成增强现实影像;将所述增强现实影像投射在驾驶员的可视区域内。
可选地,所述感应模块包括:
车身状态检测单元,用于获取所述车辆状态信息;
车外环境检测单元,用于获取所述车辆外部环境信息;
车载导航单元,用于获取所述车辆导航信息;
驾驶员状态检测单元,用于获取所述驾驶员状态信息。
本申请实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的增强现实抬头显示系统的实现方法的步骤。
本申请实施例的第四方面提供了一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的增强现实抬头显示系统执行上述第一方面所述的增强现实抬头显示系统的实现方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在增强现实抬头显示系统上运行时,使得该增强现实抬头显示系统执行上述第一方面所述的增强现实抬头显示系统的实现方法的步骤。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例提供的一种增强现实抬头显示系统的实现方法的示意性流程图;
图2是本申请另一示例性实施例示出的一种增强现实抬头显示系统的实现方法的步骤S4的具体流程图;
图3是本申请一示例性实施例提供的一种增强现实抬头显示系统的部分模块示意图;
图4是本申请一示例性实施例提供的模块细化示意图;
图5a至图5c是本申请提供的显示区域示意图;
图6是本申请提供的优先级排序示意图;
图7至图10是本申请提供的一种实施场景示意图;
图11至图14是本申请提供的另一种实施场景示意图。
部分附图标记说明:
感应模块101;车身状态检测单元1011;车外环境检测单元1012;车载导航单元1013;驾驶员状态检测单元1014;
元素生成模块102;运算单元1021;存储单元1022;绘制单元1023;
显示模块103;图像显示单元1031;光学单元1032。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
驾驶员在驾驶过程中,经常需要通过仪表或中控等设备来获取驾驶辅助信息,期间需要驾驶员的视线从车辆前方移出,这一过程可能会因为驾驶员的注意力转移而造成交通事故。因此,抬头显示器应运而生。
抬头显示器(Head Up Display,HUD)是一种将图像投射到驾驶员前方视野中的显示装置。相比于传统的仪表和中控设备,驾驶员在观察HUD显示信息时,无需低头,避免了视线在HUD显示信息和路面之间来回切换,进而减少了危机反应的时间。
然而,现有的HUD显示信息,存在显示内容过多、显示内容重要度低以及显示内容之间重合堆叠等问题,容易干扰驾驶员的视线,需要驾驶员花费更多时间对驾驶操作做出判断,降低了驾驶的安全性和舒适性。
有鉴于此,本申请实施例提供了一种增强现实抬头显示系统的实现方法,通过获取车辆信息,车辆信息包括车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的至少一种;对车辆信息进行预设处理,得到多个显示元素;确定每个显示元素的显示位置;根据每个显示位置,在多个显示元素中筛选出多个目标显示元素,并确定每个目标显示元素对应的目标显示位置;根据每个目标显示元素和每个目标显示位置,生成增强现实影像;将增强现实影像投射在驾驶员的可视区域内。
本方案中,由于筛选过滤掉了冗余的显示元素,剩余的都是重要的显示元素,基于这些显示元素生成的AR影像更有利于驾驶员提炼驾驶辅助信息,节省了驾驶员对驾驶操作做出判断的时间。且每个目标显示元素都有对应的目标显示位置,不会出现显示元素之间重合堆叠的情况,有效避免了现有技术中显示内容之间重合堆叠,给驾驶员视线带来干扰的问题。同时,生成的AR影像实现了现实信息和虚拟信息的高效融合,将AR影像投射在驾驶员的可视区域内,驾驶员不用进行视线切换,即可快速、直观、准确地获取到各种驾驶辅助信息,极大提高了辅助驾驶能力和驾驶安全性、舒适性、实时性、准确性以及稳定性。
本申请实施例还提供了一种增强现实抬头显示(Augmented Reality-Head UpDisplay,AR-HUD)系统,AR-HUD系统是一种将增强显示技术、抬头显示技术、地图导航技术、自动数据采集技术集成在一起的车载驾驶辅助系统。本申请提供的AR-HUD系统可执行上述增强现实抬头显示系统的实现方法,从而将AR影像投射在驾驶员的可视区域内,驾驶员不用进行视线切换,即可快速、直观、准确地获取到各种驾驶辅助信息,极大提高了辅助驾驶能力和驾驶安全性、舒适性、实时性、准确性以及稳定性。
请参见图1,图1是本申请一示例性实施例提供的一种增强现实抬头显示系统的实现方法的示意性流程图。本申请提供的增强现实抬头显示系统的实现方法在增强现实抬头显示系统上执行。该增强现实抬头显示系统可以包括但不限于车载电脑、平板电脑、计算机、个人数字助理(Personal Digital Assistant,PDA)等设备,还可以包括各种类型的服务器。例如,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务。
如图1所示的增强现实抬头显示系统的实现方法可以包括:S1至S6,具体如下:
S1:获取车辆信息。
车辆信息包括车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的至少一种。
其中,车辆状态信息是指对当前车辆状态进行描述的信息。车辆状态信息中可以包含多个数据。例如,车辆状态信息可以包括车速、转速、水温、胎压、车灯状态、里程数据、燃油量、光照强度、故障指示灯状态、方向盘转角、电量等数据。
车辆外部环境信息是指对当前车辆周围环境状态进行描述的信息。车辆外部环境信息中可以包含多个数据。例如,车辆外部环境信息可以包括当前车辆周围的车道线类型、道路标识类型、信号灯状态、天气、对象(如行人、车、建筑物等)、对象类型、对象坐标、对象速度、图像等数据。
车辆导航信息中可以包含多个数据。例如,车辆导航信息可以包括地图数据、驾驶路线规划、道路限速、道路拥堵状态、当前驾驶时间、剩余驾驶时间、当前行驶距离、目的地距离、路况、坐标等导航数据。
驾驶员状态信息是指对当前驾驶员自身状态进行描述的生物信息。驾驶员状态信息中可以包含多个数据。例如,驾驶员状态信息可以包括指纹、声纹、体温、心率、身高、体重、血压、脉搏、人眼位置等数据。
示例性地,可以通过增强现实抬头显示系统中包含的感应模块101获取车辆信息。例如,当检测到车辆处于启动状态(如刚启动车辆、车辆行驶过程中等)时,利用感应模块101获取车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的一种或任意组合。
具体地,感应模块101可以包括车身状态检测单元1011、车外环境检测单元1012、车载导航单元1013以及驾驶员状态检测单元1014。其中,车身状态检测单元1011用于获取该车辆状态信息;车外环境检测单元1012用于获取该车辆外部环境信息;车载导航单元1013用于获取该车辆导航信息;驾驶员状态检测单元1014用于获取该驾驶员状态信息。
可选地,不同的单元又可以包含不同的传感器。其中,传感器可以包括温度传感器、车载导航、自动数据采集系统(Automatic Data Acquisition System,ADAS)、激光雷达、毫米波雷达、驾驶员监控系统(Driver Monitoring System,DMS)、光线传感器、心率传感器、体温传感器、血压传感器、DMS相机等,这些传感器用于采集不同的数据。
示例性地,当检测到车辆处于启动状态(如刚启动车辆、车辆行驶过程中等)时,增强现实抬头显示系统可以通过感应模块101自动收集各个单元下的传感器采集的各个数据。
具体地,当检测到车辆处于启动状态(如刚启动车辆、车辆行驶过程中等)时,利用车身状态检测单元1011中的各个传感器采集当前该车辆的车辆状态信息中的各个数据;利用车外环境检测单元1012中的各个传感器采集当前该车辆的车辆外部环境信息中的各个数据;利用车载导航单元1013中的各个传感器采集当前该车辆的车辆导航信息中的各个数据;利用驾驶员状态检测单元1014中的各个传感器采集当前该车辆的驾驶员状态信息中的各个数据。
可选地,在一种可能的实现方式中,也可以在车辆处于熄火状态时,利用感应模块101获取车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的一种或任意组合。
可选地,在一种可能的实现方式中,在采集驾驶员状态信息时,也可以通过智能穿戴设备(如智能手表、智能眼镜、智能手环、智能戒指、智能项链等)采集,该智能穿戴设备将采集到的驾驶员状态信息传输至增强现实抬头显示系统。
S2:对车辆信息进行预设处理,得到多个显示元素。
预设处理可以包括分类处理、元素生成处理等。示例性地,车辆信息包括车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的至少一种。每种信息中又包含多个数据,对车辆信息进行预设处理,具体是对每种信息中包含的多个数据分别进行分类处理,根据每个数据对应的分类类型,对每个数据进行元素生成处理,从而得到多个显示元素。
可选地,在本申请一些可能的实现方式中,上述S2可包括S21至S22,具体如下:
S21:对车辆信息中的各个数据进行分类,得到各个数据的分类类型。
分类类型可以包括指示器(Indicator)区域类型和增强现实(AugmentedReality,AR)类型。预先设置好不同的数据各自对应的分类类型,并将不同的数据和各自对应的分类类型存储在增强现实抬头显示系统中的存储单元1022中。
本实施方式中,以车辆外部环境信息为例进行说明。对车辆外部环境信息中的当前车辆周围的车道线类型、道路标识类型、信号灯状态、天气、对象类型、对象坐标、对象速度这些数据分别进行分类处理。具体地,在存储单元1022中查找这些数据各自对应的分类类型,从而得到每个数据对应的分类类型。
对车辆状态信息、车辆导航信息以及驾驶员状态信息的处理过程类似,此处不再赘述。
可选地,在一种可能的实现方式中,得到各个数据对应的分类类型后,可以通过增强现实抬头显示系统中的运算单元1021对各个数据进行类型标记,即将各个数据标记为Indicator区域类型或AR类型,便于后续根据各个数据对应的分类类型快速生成不同类型的显示元素。
S22:根据各个数据和各个数据的分类类型,生成各个数据对应的显示元素。
示例性地,显示元素可以包括Indicator区域元素和AR元素。根据不同分类类型的数据,在不同的显示区域生成显示元素。相应地,不同分类类型的数据,根据该数据生成的显示元素的类型也不同,而不同类型的显示元素最后成像时在不同的显示区域显示。例如,Indicator区域元素在Indicator区域显示,AR元素在AR区域显示。
具体地,在存储单元1022中预先设置不同的分类类型对应的显示区域。运算单元1021对各个数据进行类型标记后,根据存储单元1022中存储的不同的分类类型对应的显示区域,判断该数据需要在Indicator区域生成,还是在AR区域生成。若该数据需要在Indicator区域生成,则由增强现实抬头显示系统中的绘制单元1023根据该数据在Indicator区域生成该数据对应的Indicator区域元素,并将Indicator区域元素存储至存储单元1022中。若该数据需要在AR区域生成,则由绘制单元1023根据该数据在AR区域生成该数据对应的AR元素,并将AR元素存储至存储单元1022中。
本实施方式中,对各个数据进行分类,根据不同数据的不同分类类型,生成不同类型的显示元素,这些不同类型的显示元素最后成像时在不同的区域显示。每个显示元素有其对应的显示区域,避免显示元素之间出现重合堆叠的情况,有利于驾驶员快速获取到驾驶辅助信息,减少了对驾驶操作做出判断的时间,从而提升了驾驶的安全性和舒适性。
S3:确定每个显示元素的显示位置。
示例性地,预先划分Indicator区域和AR区域两大显示区域,再对Indicator区域和AR区域分别进行划分,将Indicator区域和AR区域各自划分为若干个位置分区。预先设置每个显示元素对应的位置分区,并将该对应关系存储在存储单元1022中。一个位置分区即为一个显示位置。
在存储单元1022中查找各个显示元素对应的位置分区,即查找各个显示元素对应的显示位置,从而得到每个显示元素对应的显示位置。
可选地,在本申请一些可能的实现方式中,上述S3可包括S31至S32,具体如下:
S31:确定每个显示元素的分类类型。
示例性地,显示元素是根据不同的数据对应生成的,各个数据对应的分类类型可以包括Indicator区域类型和AR类型。相应地,显示元素的分类类型也可包括Indicator区域类型和AR类型。
可以理解的是,每个显示元素的分类类型由生成该显示元素的数据的分类类型决定。例如,生成某个显示元素的数据对应的分类类型为Indicator区域类型,则该显示元素对应的分类类型为Indicator区域类型。又例如,生成某个显示元素的数据对应的分类类型为AR类型,则该显示元素对应的分类类型为AR类型。
示例性地,在S2中对各个数据进行分类,得到各个数据对应的分类类型后,可以通过增强现实抬头显示系统中的运算单元1021对各个数据进行类型标记,即将各个数据标记为Indicator区域类型或AR类型。这样在根据各个数据生成显示元素时,可以直接根据各个数据被标记的分类类型,快速确定由各个数据生成的显示元素的分类类型。
S32:根据每个显示元素的分类类型,在预设的数据库中查找每个显示元素的显示位置。
示例性地,预先划分Indicator区域和AR区域两大显示区域,再对这两大显示区域分别进行划分。例如,将Indicator区域和AR区域各自划分为若干个位置分区。预先设置属于Indicator区域类型的不同显示元素在Indicator区域各自对应的位置分区,以及属于AR类型的不同显示元素在AR区域各自对应的位置分区,并将设置好的对应关系存储在预设的数据库中。
根据各个显示元素的分类类型,先在预设的数据库中确定与其匹配的显示区域,进一步在该显示区域下查找与该显示元素对应的位置分区,从而得到每个显示元素对应的显示位置。
例如,某个显示元素的分类类型为Indicator区域类型,与其匹配的显示区域为Indicator区域。在该Indicator区域下查找与该显示元素对应的位置分区,得到该显示元素对应的显示位置。又例如,某个显示元素的分类类型为AR类型,与其匹配的显示区域为AR区域。在该AR区域下查找与该显示元素对应的位置分区,得到该显示元素对应的显示位置。
本实施方式中,根据不同显示元素的不同分类类型,确定各个显示元素的显示位置,每个显示元素有其对应的显示区域,避免显示元素之间出现重合堆叠的情况,有利于驾驶员快速获取到驾驶辅助信息,减少了对驾驶操作做出判断的时间,从而提升了驾驶的安全性和舒适性。
S4:根据每个显示位置,在多个显示元素中筛选出多个目标显示元素,并确定每个目标显示元素对应的目标显示位置。
示例性地,对于不同的显示元素,可能对应同一个显示位置,也可能对应不同的显示位置。根据每个显示元素对应的显示位置,判断是否有哪些显示元素对应的显示位置相同。
若每个显示元素都对应不同的显示位置,则将这些显示元素分别确定为目标显示元素。此时,每个显示元素对应的显示位置即为每个目标显示元素对应的目标显示位置。
例如,有显示元素A、显示元素B、显示元素C,显示元素A对应显示位置a,显示元素B对应显示位置b,显示元素C对应显示位置c。该示例中,每个显示元素都对应不同的显示位置,将显示元素A、显示元素B、显示元素C分别确定为目标显示元素A、目标显示元素B、目标显示元素C。显示元素A对应的显示位置a即为目标显示元素A对应的目标显示位置,可记为目标显示位置a,最终成像时该目标显示元素A将在该目标显示位置a显示。其余显示元素类似,此处不再赘述。
若有多个(一个以上)显示元素对应同一个显示位置,则判定该多个显示元素对应的显示位置冲突。由于最终一个显示位置只会显示一个显示元素,此时需要在这几个显示元素中筛选出一个目标显示元素,被筛选出的目标显示元素最后会在该显示位置显示。
例如,有显示元素A、显示元素B、显示元素C,这三个显示元素对应的显示位置均为显示位置d。此时需要在这三个显示元素中筛选出一个目标显示元素,可以根据预设的优先级策略选择。如筛选出显示元素A为目标显示元素,显示位置d即为该目标显示元素对应的目标显示位置。此处仅为示例性说明,对此不做限定。
S5:根据每个目标显示元素和每个目标显示位置,生成增强现实影像。
示例性地,根据各个目标显示元素对应的目标显示位置,将这些目标显示元素拼接,即按照每个目标显示元素对应的目标显示位置分布,将这些目标显示元素拼接在一起,得到当前帧图像。
对当前帧图像进行处理生成对应的AR影像。示例性地,增强现实抬头显示系统中还可包含绘制单元1023和图像显示单元1031,通过绘制单元1023将这些目标显示元素拼接在一起,得到当前帧图像,对当前帧图像进行转换处理,生成对应的AR影像。此处仅为示例性说明,对此不做限定。
S6:将增强现实影像投射在驾驶员的可视区域内。
示例性地,可视区域指驾驶员抬头便可直观看到的区域。例如,可视区域可以包括驾驶员前方的挡风玻璃区域。可选地,该可视区域可根据驾驶员的驾驶位置进行调节,若驾驶员在左边驾驶,则可视区域为驾驶员前方的挡风玻璃的左边区域。若驾驶员在右边驾驶,则可视区域为驾驶员前方的挡风玻璃的右边区域。此处仅为示例性说明,对此不做限定。
具体地,增强现实抬头显示系统中还可包含光学单元,通过该光学单元可以将AR影像投射在驾驶员前方的挡风玻璃上。
上述实施方式中,获取车辆信息,对该车辆信息进行预设处理,得到多个显示元素;根据每个显示元素的显示位置,在多个显示元素中筛选出重要的目标显示元素,再根据目标显示元素和每个目标显示元素的目标显示位置,生成AR影像;将AR影像投射在驾驶员的可视区域内。
由于筛选过滤掉了冗余的显示元素,剩余的都是重要的显示元素,基于这些显示元素生成的AR影像更有利于驾驶员提炼驾驶辅助信息,节省了驾驶员对驾驶操作做出判断的时间。且每个目标显示元素都有对应的目标显示位置,不会出现显示元素之间重合堆叠的情况,有效避免了现有技术中显示内容之间重合堆叠,给驾驶员视线带来干扰的问题。同时,生成的AR影像实现了现实信息和虚拟信息的高效融合,将AR影像投射在驾驶员的可视区域内,驾驶员不用进行视线切换,即可快速获取到各种驾驶辅助信息,极大提高了辅助驾驶能力和驾驶安全性、舒适性、实时性、准确性以及稳定性。
可选地,在一种可能的实现方式中,上述S22可以包括S221和/或S222,具体如下:
S221:针对每个数据,当该数据的分类类型为指示器区域类型时,根据该数据生成指示器区域元素。
分类类型可以包括Indicator区域类型和AR类型。当确定该数据的分类类型为Indicator区域类型时,根据存储单元1022中存储的不同的分类类型对应的显示区域,判定该数据需要在Indicator显示区域生成。通过增强现实抬头显示系统中的绘制单元1023绘制生成Indicator区域元素,并将生成的Indicator区域元素存储在存储单元1022中。
例如,车速这一数据对应的分类类型为Indicator区域类型,根据存储单元1022中存储的Indicator区域类型对应Indicator显示区域,判定车速这一数据需要在Indicator显示区域生成。通过绘制单元1023将车速这一数据绘制生成Indicator区域元素,并将Indicator区域元素存储在存储单元1022中。此处仅为示例性说明,对此不做限定。
S222:针对每个数据,当该数据的分类类型为增强现实类型时,根据该数据生成增强现实元素。
当确定该数据的分类类型为AR类型时,根据存储单元1022中存储的不同的分类类型对应的显示区域,判定该数据需要在AR显示区域生成。通过增强现实抬头显示系统中的绘制单元1023绘制生成AR元素,并将生成的AR元素存储在存储单元1022中。
例如,对象(如其他车辆)这一数据对应的分类类型为AR类型,根据存储单元1022中存储的AR类型对应AR显示区域,判定对象这一数据需要在AR显示区域生成。通过绘制单元1023将对象这一数据绘制生成AR元素,并将AR元素存储在存储单元1022中。此处仅为示例性说明,对此不做限定。
对每个数据都进行上述处理,从而得到每个数据对应的显示元素。
本实施方式中,不同分类类型的数据在不同的显示区域生成不同类型的显示元素,分工明确,提升了生成显示元素的效率,减少出错率。且这些不同类型的显示元素最后成像时在不同的区域显示。每个显示元素有其对应的显示区域,避免显示元素之间出现重合堆叠的情况,有利于驾驶员快速获取到驾驶辅助信息,减少了对驾驶操作做出判断的时间,从而提升了驾驶的安全性和舒适性。
可选地,在一种可能的实现方式中,上述S222可以包括S2221至S2222,具体如下:
S2221:当数据的分类类型为增强现实类型时,根据该数据生成虚拟三维元素。
示例性地,当该数据的分类类型为AR类型时,证明该数据需要在AR显示区域生成。具体地,可通过绘制单元1023对该数据进行处理,生成该数据对应的计算机生成现实(CGR)对象和虚拟三维元素。例如,在绘制单元1023中启动三维设计软件,将该数据输入至三维设计软件中,三维设计软件输出该数据对应的CGR对象,并在此过程中,增强现实抬头显示系统中的运算单元生成该数据对应的虚拟三维元素。
其中,CGR对象的数量可以为一个或多个,每个CGR对象可以包括虚拟的三维空间、虚拟相机、空间中的光照等信息。虚拟三维元素可以包括三维网络、材质、着色器、纹理等信息。
S2222:对虚拟三维元素进行映射,得到增强现实元素。
示例性地,绘制单元1023实时生成各个虚拟三维元素在对应的虚拟相机拍摄记录的当前帧。虚拟相机拍摄到预设视场角(Field of View,FOV)内的内容,每个虚拟三维元素被一个虚拟相机记录。
通过虚拟相机对虚拟三维元素进行映射,得到二维映射元素,即得到增强现实元素。可以理解为,二维映射元素是虚拟三维元素在虚拟相机视角下的二维投影。值得说明的是,虚拟相机的视场角大小、角度、和虚拟三维元素之间的相对坐标都会改变二维映射元素的显示效果。人眼观察到的增强现实元素对应的影像实际上是该CGR对象被虚拟相机记录下的二维投影。
本实施方式中,当数据的分类类型为AR类型时,基于该数据通过三维重建的方式生成AR元素,这种方式解决了AR虚实结合的问题,即该AR元素高效地将真实信息和虚拟信息结合在一起,准确地反应了当前车辆的各种信息,后续根据该AR元素生成AR影像并投射在驾驶员前方的挡风玻璃上,驾驶员不用进行视线切换,即可快速、直观、准确地获取到各种驾驶辅助信息,极大提高了辅助驾驶能力和驾驶安全性、舒适性、实时性、准确性以及稳定性。
请参见图2,图2是本申请另一示例性实施例示出的一种增强现实抬头显示系统的实现方法的步骤S4的具体流程图;可选地,在本申请一些可能的实现方式中,上述S4可包括S41至S44,具体如下:
S41:根据每个显示元素的显示位置,判断是否有同一显示位置对应的显示元素的数量超过预设阈值。
示例性地,对于不同的显示元素,可能对应同一个显示位置,也可能对应不同的显示位置。在各个显示元素对应的各个显示位置中,判断是否有同一显示位置对应的显示元素的数量超过预设阈值。预设阈值可根据实际情况进行设置,例如,预设阈值可设置为1。此处仅为示例性说明,对此不做限定。
可选地,在本申请一些可能的实现方式中,上述S41可包括S411至S414,具体如下:
S411:获取每个显示元素的二维映射元素。
S412:获取根据每个显示元素和每个显示元素的显示位置生成的虚像。
S413:监测每个二维映射元素在虚像上的像素坐标。
S414:根据监测结果判断是否有同一显示位置对应的显示元素的数量超过预设阈值。
示例性地,获取每个显示元素的二维映射元素,也就是获取生成每个显示元素的数据的二维映射元素。当生成显示元素的数据的分类类型为AR类型时,通过绘制单元1023对生成该显示元素的数据进行处理,生成该数据对应的虚拟三维元素,通过虚拟相机对虚拟三维元素进行映射,得到二维映射元素。当生成显示元素的数据的分类类型为Indicator区域类型时,通过绘制单元1023对该数据进行映射处理,得到二维映射元素。
根据各个显示元素对应的显示位置,将这些显示元素拼接,即按照每个显示元素对应的显示位置分布,将这些显示元素拼接在一起,得到该虚像。
监测结果可以包括像素坐标重叠或像素坐标未重叠。运算单元1021监测各个二维映射元素在当前虚像上对应的各个像素坐标是否有重叠。若监测结果为像素坐标重叠,则证明至少有两个二维映射元素在当前虚像上对应同样的像素坐标,此时判定同一显示位置对应的显示元素的数量超过预设阈值。若监测结果为像素坐标未重叠,则证明各个二维映射元素在当前虚像上对应不同的像素坐标,此时判定同一显示位置对应的显示元素的数量未超过预设阈值。此处仅为示例性说明,对此不做限定。
通过本实施方式,有效避免了现有技术中显示内容之间重合堆叠,给驾驶员视线带来干扰的问题。进而提升辅助驾驶能力和驾驶安全性、舒适性、实时性、准确性以及稳定性。
S42:当判定同一显示位置对应的显示元素的数量超过预设阈值时,对同一显示位置对应的各个显示元素进行优先级排序。
示例性地,当判定同一显示位置对应的显示元素的数量未超过预设阈值时,将该显示位置的显示元素确定为目标显示元素,该目标显示元素对应的目标显示位置即为该显示位置。
当判定同一显示位置对应的显示元素的数量超过预设阈值时,例如,某个显示位置对应的显示元素的数量为3,对该显示位置对应的3个显示元素进行优先级排序。
示例性地,存储单元1022中存储有预设的优先级策略,该优先级策略中包含了同一显示位置下不同的显示元素的排序方式,可根据该优先级策略对同一显示位置下的不同显示元素进行优先级排序。例如,按照优先级从高到低的方式,对这3个显示元素进行排序。又例如,按照优先级从低到高的方式,对这3个显示元素进行排序。此处仅为示例性说明,对此不做限定。
S43:根据排序结果,在各个显示元素中确定目标显示元素。
示例性地,当按照优先级从高到低的方式对显示元素进行排序时,选取排列最前的显示元素作为目标显示元素。当按照优先级从低到高的方式对显示元素进行排序时,选取排列最后的显示元素作为目标显示元素。
S44:确定目标显示元素对应的目标显示位置。
示例性地,将这几个显示元素对应的同一显示位置确定为目标显示元素对应的目标显示位置。凡是同一显示位置有多个显示元素的,都进行上述处理,可保证最后确定出的目标显示元素都有唯一一个对应的目标显示位置,即最终一个目标显示位置只会显示一个目标显示元素。
上述实施方式中,通过优先级排序的方式,过滤掉了不重要的显示元素,没有了这些不重要的显示元素的干扰,根据剩余重要的显示元素生成的AR影像更能准确地反应出当前车辆的重要信息,便于驾驶员根据AR影像快速做出正确的驾驶判断。且一个目标显示位置只会显示一个目标显示元素,不会出现显示元素之间重合堆叠的情况,有效避免了现有技术中显示内容之间重合堆叠,给驾驶员视线带来干扰的问题。进而提升辅助驾驶能力和驾驶安全性、舒适性、实时性、准确性以及稳定性。
请参见图3,图3是本申请一示例性实施例提供的一种增强现实抬头显示系统的部分模块示意图。如图3所示,本申请提供的增强现实抬头显示系统可以包括感应模块101、元素生成模块102、显示模块103。
其中,感应模块101用于获取车辆信息。元素生成模块102用于对车辆信息进行预设处理,得到多个显示元素;确定每个显示元素的显示位置;根据每个显示位置,在多个显示元素中筛选出多个目标显示元素,并确定每个目标显示元素对应的目标显示位置。显示模块103用于根据每个目标显示元素和每个目标显示位置,生成增强现实影像;将增强现实影像投射在驾驶员的可视区域内。具体可参考图1对应的实施例中所描述的内容。
值得说明的是,元素生成模块102可以被设置在车辆芯片(SoC)中,也可以被设置在云端其他设备上,通过蜂窝网络、蓝牙、无线局域网(Wireless Local Area Network,WLAN)WLAN等通讯技术与其他模块进行连接。
请参见图4,图4是本申请一示例性实施例提供的模块细化示意图。可选地,在本申请一些可能的实现方式中,感应模块101可以包括车身状态检测单元1011、车外环境检测单元1012、车载导航单元1013以及驾驶员状态检测单元1014。
元素生成模块102可以包括运算单元1021、存储单元1022以及绘制单元1023。
显示模块103可以包括图像显示单元1031和光学单元1032。
示例性地,车身状态检测单元1011、车外环境检测单元1012、车载导航单元1013以及驾驶员状态检测单元1014中,各自包含了不同的传感器,这些传感器用于采集不同的数据。
例如,车身状态检测单元1011可用于,当检测到车辆处于启动状态(如刚启动车辆、车辆行驶过程中等)时,利用其中的各个传感器采集当前车辆的车辆状态信息中的各个数据。如采集车速、转速、水温、胎压、车灯状态、里程数据、燃油量、光照强度、故障指示灯状态、方向盘转角、电量等数据。
车外环境检测单元1012可用于,当检测到车辆处于启动状态(如刚启动车辆、车辆行驶过程中等)时,利用其中的各个传感器采集当前车辆的车辆外部环境信息中的各个数据。如采集当前车辆周围的车道线类型、道路标识类型、信号灯状态、天气、对象(如行人、车、建筑物等)、对象类型、对象坐标、对象速度等数据。
车载导航单元1013可用于,当检测到车辆处于启动状态(如刚启动车辆、车辆行驶过程中等)时,利用其中的各个传感器采集当前车辆的车辆导航信息中的各个数据。如采集地图数据、驾驶路线规划、道路限速、道路拥堵状态、当前驾驶时间、剩余驾驶时间、当前行驶距离、目的地距离、路况等导航数据。
驾驶员状态检测单元1014可用于,当检测到车辆处于启动状态(如刚启动车辆、车辆行驶过程中等)时,利用其中的各个传感器采集当前车辆的驾驶员状态信息中的各个数据。如采集指纹、声纹、体温、心率、身高、体重、血压、脉搏、人眼位置等数据。
运算单元1021可用于对数据进行分类、逻辑判断等处理。例如,感应模块101在获取到车辆信息后,将车辆信息传输至元素生成模块102中。元素生成模块102中的运算单元1021在接收到车辆信息后,对车辆信息中的各个数据进行分类,得到各个数据的分类类型。同时,还可以根据各个数据对应的分类类型对各个数据进行类型标记。
运算单元1021在进行类型标记后,根据存储单元1022中存储的不同的分类类型对应的显示区域,判断数据需要在Indicator区域生成,还是在AR区域生成。若运算单元1021判定该数据需要在Indicator区域生成,则由绘制单元1023根据该数据在Indicator区域生成该数据对应的Indicator区域元素,并将Indicator区域元素存储至存储单元1022中。
运算单元1021还可用于确定每个显示元素的分类类型,根据每个显示元素的分类类型,在预设的数据库中查找每个显示元素的显示位置。
若运算单元1021判定该数据需要在AR区域生成,则由绘制单元1023根据该数据在AR区域生成该数据对应的AR元素,并将AR元素存储至存储单元1022中。
运算单元1021还可实时判断绘制单元1023生成的显示元素对应的显示位置是否冲突。具体地,运算单元1021监测每个二维映射元素在当前帧下虚像面上对应的每个像素的坐标,若同一个显示位置内显示了一个以上的显示元素,则判断为冲突。
元素生成模块102还可用于获取每个显示元素的二维映射元素,获取根据每个显示元素和每个显示元素的显示位置生成的虚像,监测每个二维映射元素在虚像上的像素坐标,根据监测结果判断是否有同一显示位置对应的显示元素的数量超过预设阈值。
存储单元1022可用于存放本申请提供的任一实施方式中产生的任意数据。例如,存储单元1022可用于存放运算单元1021与绘制单元1023生成的数据、指令等。
绘制单元1023可用于生成Indicator区域元素和AR元素。绘制单元1023还可用于拼接目标显示元素,得到当前帧图像。具体过程可参考图1对应的实施例中所描述的内容,此处不再赘述。
图像显示单元1031可用于生成显示元素对应的实像。
光学单元1032可用于将图像显示单元1031生成的实像转换为最终投射至驾驶员前方的挡风玻璃上的AR影像。
本申请提供的增强现实抬头显示系统中包含了多种模块,每种模块又包含不同的单元,这些单元共同配合可执行上述增强现实抬头显示系统的实现方法。在执行该实现方法的过程中,由于筛选过滤掉了冗余的显示元素,剩余的都是重要的显示元素,基于这些显示元素生成的AR影像更有利于驾驶员提炼驾驶辅助信息,节省了驾驶员对驾驶操作做出判断的时间。且每个目标显示元素都有对应的目标显示位置,不会出现显示元素之间重合堆叠的情况,有效避免了现有技术中显示内容之间重合堆叠,给驾驶员视线带来干扰的问题。同时,生成的AR影像实现了现实信息和虚拟信息的高效融合,将AR影像投射在驾驶员的可视区域内,驾驶员不用进行视线切换,即可快速、直观、准确地获取到各种驾驶辅助信息,极大提高了辅助驾驶能力和驾驶安全性、舒适性、实时性、准确性以及稳定性。
可选地,为了便于更好地理解本申请,本申请提供了一些场景示意图,具体如下。
参见图5a至图5c,图5a至图5c是本申请提供的显示区域示意图。如图5a、图5b、图5c所示,在HUD虚像面上划分出一个或多个指示器(Indicator)区域和增强现实(AR)区域。其中,实线区域表示指示器区域201,虚线区域表示增强现实区域202。
可以理解的是,在不同的实施方式中,指示器区域201和增强现实区域202均可以有不同的位置、形状、尺寸。可根据实际情况进行设置、调整,对此不做限定。
参见图6,图6是本申请提供的优先级排序示意图。如图6所示,基于预设的优先级策略,按照优先级从高到低进行排序,依次为紧急制动信息、行人及自行车警告信息、前方碰撞预警信息、车道偏离告警信息、导航信息。可以理解的是,该预设的优先级策略可以根据实际情况进行动态配置、调整,即当前的优先级排序方式可根据预设的优先级策略进行动态配置、调整,对此不做限定。
参见图7至图10,图7至图10是本申请提供的一种实施场景示意图。图7是当车辆前方出现其他车辆,前方碰撞预警系统(Forward Collision Warning,FCW)功能触发时现实环境中的车辆外部状态示意图。如图7所示,在本实施场景中,3011表示当前车辆,3012表示其他车辆,301表示当前车辆3011所处的现实环境。其中,其他车辆3012为外部导致当前车辆3011的FCW功能被触发所识别的其他车辆。
图8是当车辆处于现实环境301时,运算单元1021对应生成的计算机生成现实(CGR)的示意图。如图8所示,在本实施场景中,401表示CGR,4011表示CGR中的虚拟相机,4012表示触发FCW功能的外部车辆在CGR中对应的虚拟对象,4013表示运算单元1021生成的虚拟三维元素。
图9是当车辆处于现实环境301时,显示模块103所生成的对应虚像。如图9所示,在本实施场景中,501表示当前显示模块103生成的虚像。5011表示虚拟三维元素4013对应的二维映射元素在该虚像面上对应的显示状态。
示例性地,在本实施场景中,当车辆处于现实环境301中,车外环境检测单元1012下的ADAS收集车辆外部环境信息。此时,车辆外部环境信息可以包括其他车辆3012的图像信息、坐标信息、ADAS告警信息等数据,并输出至元素生成模块102。
运算单元1021对这些数据进行判断后在CGR 401中生成虚拟三维元素4013。绘制单元1023生成虚拟三维元素4013在虚拟相机4011的视角下对应的二维映射元素,并输出至显示模块103。显示模块103在图像显示单元1031上生成当前对应的实像,并通过光学单元1032在驾驶员前方的挡风玻璃上生成虚像501。
值得说明的是,虚拟三维元素4013在CGR 401中的坐标和其他车辆3012在车身坐标系下的坐标存在映射关系。虚拟相机4011在CGR 401中的坐标和驾驶员人眼位置在车身坐标系下的坐标存在映射关系。
图10是当车辆处于现实环境301中,驾驶员通过前方的挡风玻璃所观察到的画面示意图。
参见图11至图14,图11至图14是本申请提供的另一种实施场景示意图。图11是当车辆前方出现其他车辆和行人,FCW功能和行人及自行车警告(Pedestrian CollisionWarning,PCW)功能同时触发时现实环境中的车辆外部状态示意图。如图11所示,在本实施场景中,6011表示当前车辆,6012表示其他车辆,6013表示行人,601表示当前车辆6011所处的现实环境。其中,其他车辆6012为外部导致当前车辆6011的FCW功能被触发所识别的其他车辆。行人6013为外部导致当前车辆6011的PCW功能被触发所识别的行人。
图12是当车辆处于现实环境601时,运算单元1021对应生成的计算机生成现实(CGR)的示意图。如图12所示,在本实施场景中,701表示CGR,7011表示CGR中的虚拟相机,7012表示触发FCW功能的外部车辆在CGR中对应的虚拟对象,7013表示触发PCW功能的行人在CGR中对应的虚拟对象,7014表示运算单元1021生成的外部车辆对应的虚拟三维元素,7015表示运算单元1021生成的行人对应的虚拟三维元素。
图13是当车辆处于现实环境601时,显示模块103所生成的对应虚像。如图13所示,在本实施场景中,801表示当前显示模块103生成的虚像。8011表示虚拟三维元素7015对应的二维映射元素在该虚像面上对应的显示状态。
示例性地,在本实施场景中,当车辆处于现实环境601中,车外环境检测单元1012下的ADAS收集车辆外部环境信息。此时,车辆外部环境信息可以包括其他车辆6012和行人6013的图像信息、坐标信息、ADAS告警信息等数据,并输出至元素生成模块102。
运算单元1021对这些数据进行判断后在CGR 701中生成虚拟三维元素7014、7015。绘制单元1023生成虚拟三维元素7014、7015在虚拟相机7011的视角下对应的二维映射元素。
运算单元1021对虚拟三维元素7014、7015对应的二维映射元素进行位置分区的判断后。根据预设的优先级策略仅显示虚拟三维元素7015对应的二维映射元素,并输出至显示模块103。显示模块103在图像显示单元1031上生成当前对应的实像,并通过光学单元1032在驾驶员前方的挡风玻璃上生成虚像801。
值得说明的是,虚拟三维元素7014、7015在CGR 701中的坐标和其他车辆6012、行人6013在车身坐标系下的坐标存在映射关系。虚拟相机7011在CGR 701中的坐标和驾驶员人眼位置在车身坐标系下的坐标存在映射关系。
图14是当车辆处于现实环境601中,驾驶员通过前方的挡风玻璃所观察到的画面示意图。
可选地,在一种可能的实现方式中,本申请提供的增强现实抬头显示系统还可包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述增强现实抬头显示系统的实现方法实施例中的步骤,例如图1所示的S1至S6。或者,所述处理器执行所述计算机程序时实现上述各实施例中各单元的功能,例如图3所示模块101至103功能。
示例性地,所述计算机程序可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器中,并由所述处理器执行,以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机指令段,该指令段用于描述所述计算机程序在增强现实抬头显示系统中的执行过程。例如,所述计算机程序可以被分割为感应模块、元素生成模块以及显示模块,各模块具体功能如上所述。
增强现实抬头显示系统可包括但不仅限于,处理器、存储器。例如增强现实抬头显示系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述增强现实抬头显示系统的内部存储单元,例如增强现实抬头显示系统的硬盘或内存。所述存储器也可以是增强现实抬头显示系统的外部存储终端,例如增强现实抬头显示系统上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器还可以既包括增强现实抬头显示系统的内部存储单元也包括外部存储终端。存储器用于存储所述计算机指令以及增强现实抬头显示系统所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机存储介质,计算机存储介质可以是非易失性,也可以是易失性,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述各个增强现实抬头显示系统的实现方法实施例中的步骤。
本申请还提供了一种计算机程序产品,当计算机程序产品在设备上运行时,使得该设备执行上述各个增强现实抬头显示系统的实现方法实施例中的步骤。
本申请实施例还提供了一种芯片或者集成电路,该芯片或者集成电路包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片或者集成电路的设备执行上述各个增强现实抬头显示系统的实现方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神范围,均应包含在本申请的保护范围之内。

Claims (11)

1.一种增强现实抬头显示系统的实现方法,其特征在于,包括:
获取车辆信息,所述车辆信息包括车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的至少一种;
对所述车辆信息进行预设处理,得到多个显示元素;
确定每个所述显示元素的显示位置;
根据每个所述显示位置,在所述多个显示元素中筛选出多个目标显示元素,并确定每个所述目标显示元素对应的目标显示位置;
根据每个所述目标显示元素和每个所述目标显示位置,生成增强现实影像;
将所述增强现实影像投射在驾驶员的可视区域内。
2.如权利要求1所述的增强现实抬头显示系统的实现方法,其特征在于,所述对所述车辆信息进行预设处理,得到多个显示元素,包括:
对所述车辆信息中的各个数据进行分类,得到各个所述数据的分类类型;
根据各个所述数据和各个所述数据的分类类型,生成各个所述数据对应的显示元素。
3.如权利要求2所述的增强现实抬头显示系统的实现方法,其特征在于,所述分类类型包括指示器区域类型和增强现实类型,所述根据各个所述数据和各个所述数据的分类类型,生成各个所述数据对应的显示元素,包括:
针对每个所述数据,当所述数据的分类类型为所述指示器区域类型时,根据所述数据生成指示器区域元素;和/或,
当所述数据的分类类型为所述增强现实类型时,根据所述数据生成增强现实元素。
4.如权利要求3所述的增强现实抬头显示系统的实现方法,其特征在于,所述当所述数据的分类类型为所述增强现实类型时,根据所述数据生成增强现实元素,包括:
当所述数据的分类类型为所述增强现实类型时,根据所述数据生成虚拟三维元素;
对所述虚拟三维元素进行映射,得到所述增强现实元素。
5.如权利要求1所述的增强现实抬头显示系统的实现方法,其特征在于,所述确定每个所述显示元素的显示位置,包括:
确定每个所述显示元素的分类类型;
根据每个所述显示元素的分类类型,在预设的数据库中查找每个所述显示元素的显示位置。
6.如权利要求1至5任一项所述的增强现实抬头显示系统的实现方法,其特征在于,所述根据每个所述显示位置,在所述多个显示元素中筛选出多个目标显示元素,并确定每个所述目标显示元素对应的目标显示位置,包括:
根据每个所述显示元素的显示位置,判断是否有同一显示位置对应的显示元素的数量超过预设阈值;
当判定所述同一显示位置对应的显示元素的数量超过所述预设阈值时,对所述同一显示位置对应的各个显示元素进行优先级排序;
根据排序结果,在所述各个显示元素中确定所述目标显示元素;
确定所述目标显示元素对应的目标显示位置。
7.如权利要求6所述的增强现实抬头显示系统的实现方法,其特征在于,所述根据每个所述显示元素的显示位置,判断是否有同一显示位置对应的显示元素的数量超过预设阈值,包括:
获取每个所述显示元素的二维映射元素;
获取根据每个所述显示元素和每个所述显示元素的显示位置生成的虚像;
监测每个所述二维映射元素在所述虚像上的像素坐标;
根据监测结果判断是否有同一显示位置对应的显示元素的数量超过预设阈值。
8.一种增强现实抬头显示系统,其特征在于,包括:
感应模块,用于获取车辆信息,所述车辆信息包括车辆状态信息、车辆外部环境信息、车辆导航信息以及驾驶员状态信息中的至少一种;
元素生成模块,用于对所述车辆信息进行预设处理,得到多个显示元素;确定每个所述显示元素的显示位置;根据每个所述显示位置,在所述多个显示元素中筛选出多个目标显示元素,并确定每个所述目标显示元素对应的目标显示位置;
显示模块,用于根据每个所述目标显示元素和每个所述目标显示位置,生成增强现实影像;将所述增强现实影像投射在驾驶员的可视区域内。
9.如权利要求8所述的增强现实抬头显示系统,其特征在于,所述感应模块包括:
车身状态检测单元,用于获取所述车辆状态信息;
车外环境检测单元,用于获取所述车辆外部环境信息;
车载导航单元,用于获取所述车辆导航信息;
驾驶员状态检测单元,用于获取所述驾驶员状态信息。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的实现方法。
11.一种计算机程序产品,其特征在于,当所述计算机程序产品在增强现实抬头显示系统上运行时,使得该增强现实抬头显示系统执行如权利要求1至7任一项所述的实现方法。
CN202210645665.2A 2022-06-09 2022-06-09 增强现实抬头显示系统、实现方法、设备及存储介质 Pending CN115056649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210645665.2A CN115056649A (zh) 2022-06-09 2022-06-09 增强现实抬头显示系统、实现方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210645665.2A CN115056649A (zh) 2022-06-09 2022-06-09 增强现实抬头显示系统、实现方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115056649A true CN115056649A (zh) 2022-09-16

Family

ID=83201220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210645665.2A Pending CN115056649A (zh) 2022-06-09 2022-06-09 增强现实抬头显示系统、实现方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115056649A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115480726A (zh) * 2022-11-15 2022-12-16 泽景(西安)汽车电子有限责任公司 一种显示方法、装置、电子设备及存储介质
CN115665461A (zh) * 2022-10-13 2023-01-31 聚好看科技股份有限公司 一种视频录制方法及虚拟现实设备
CN116071949A (zh) * 2023-04-03 2023-05-05 北京永泰万德信息工程技术有限公司 一种用于辅助驾驶的增强现实的方法及装置
CN116091740A (zh) * 2023-04-11 2023-05-09 江苏泽景汽车电子股份有限公司 信息显示控制方法、存储介质及电子设备
CN116909024A (zh) * 2023-07-26 2023-10-20 江苏泽景汽车电子股份有限公司 图像显示方法、装置、电子设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665461A (zh) * 2022-10-13 2023-01-31 聚好看科技股份有限公司 一种视频录制方法及虚拟现实设备
CN115665461B (zh) * 2022-10-13 2024-03-22 聚好看科技股份有限公司 一种视频录制方法及虚拟现实设备
CN115480726A (zh) * 2022-11-15 2022-12-16 泽景(西安)汽车电子有限责任公司 一种显示方法、装置、电子设备及存储介质
CN115480726B (zh) * 2022-11-15 2023-02-28 泽景(西安)汽车电子有限责任公司 一种显示方法、装置、电子设备及存储介质
CN116071949A (zh) * 2023-04-03 2023-05-05 北京永泰万德信息工程技术有限公司 一种用于辅助驾驶的增强现实的方法及装置
CN116091740A (zh) * 2023-04-11 2023-05-09 江苏泽景汽车电子股份有限公司 信息显示控制方法、存储介质及电子设备
CN116091740B (zh) * 2023-04-11 2023-06-20 江苏泽景汽车电子股份有限公司 信息显示控制方法、存储介质及电子设备
CN116909024A (zh) * 2023-07-26 2023-10-20 江苏泽景汽车电子股份有限公司 图像显示方法、装置、电子设备及存储介质
CN116909024B (zh) * 2023-07-26 2024-02-09 江苏泽景汽车电子股份有限公司 图像显示方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN115056649A (zh) 增强现实抬头显示系统、实现方法、设备及存储介质
JP6796798B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
US11113967B2 (en) Method for determining parking spaces and free-parking space assistance system
US6411898B2 (en) Navigation device
CN113916242B (zh) 车道定位方法和装置、存储介质及电子设备
CN109733284B (zh) 一种应用于车辆的安全泊车辅助预警方法及系统
CN111915915A (zh) 驾驶场景重构方法、装置、系统、车辆、设备及存储介质
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
US10996070B2 (en) Route guidance apparatus and method
CN111354222A (zh) 一种辅助驾驶方法和系统
CN111386563B (zh) 教师数据生成装置
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
TWM553426U (zh) 動態信息系統
US11189162B2 (en) Information processing system, program, and information processing method
CN109050401A (zh) 一种增强现实的驾驶显示方法和装置
US20210268961A1 (en) Display method, display device, and display system
US20220092313A1 (en) Method for deep neural network functional module deduplication
CN116136418A (zh) 导航引导信息生成方法、导航引导方法、程序产品和介质
RU2715876C1 (ru) Способ и оборудование отображения окрестностей мобильного тела
JP2017040773A (ja) 頭部装着型表示装置
JP2014074627A (ja) 車両用ナビゲーションシステム
CN117162777B (zh) 内容呈现方法、装置、设备及存储介质
CN114999225B (zh) 道路对象的信息显示方法及车辆
JP6989418B2 (ja) 車載システム
CN117382408A (zh) 车辆行驶测量信息显示方法、旅行时间测量设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination