CN118061775A - 一种信息显示方法及相关装置 - Google Patents
一种信息显示方法及相关装置 Download PDFInfo
- Publication number
- CN118061775A CN118061775A CN202211447544.3A CN202211447544A CN118061775A CN 118061775 A CN118061775 A CN 118061775A CN 202211447544 A CN202211447544 A CN 202211447544A CN 118061775 A CN118061775 A CN 118061775A
- Authority
- CN
- China
- Prior art keywords
- information display
- key object
- display area
- target
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000008859 change Effects 0.000 claims abstract description 55
- 238000003384 imaging method Methods 0.000 claims description 226
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 12
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 12
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Instrument Panels (AREA)
Abstract
本申请实施例公开了一种信息显示方法及相关装置,该方法可以应用于交通领域或车联网领域。该方法包括:通过目标车辆的前挡风玻璃显示信息显示区;信息显示区是目标车辆上的AR HUD设备投影产生的,信息显示区中至少包括关键对象对应的虚拟提示元素,关键对象为目标车辆所处驾驶环境中需要被关注的对象,虚拟提示元素的显示位置与关键对象在驾驶环境中的位置相对应;若关键对象发生满足预设变化条件的变化,则改变信息显示区的显示位置;显示位置改变后的信息显示区中包括变化后的关键对象对应的虚拟提示元素。该方法能够丰富AR HUD提供的提示信息,提高驾驶员的使用体验。
Description
技术领域
本申请涉及交通技术领域,尤其涉及一种信息显示方法及相关装置。
背景技术
AR HUD是增强现实(Augmented Reality,AR)技术与抬头显示(head up display,HUD)系统的结合体。AR技术用于将虚拟信息与现实世界巧妙融合,实现对于现实世界的“增强”。HUD系统用于将车辆时速、导航指示等驾驶辅助信息投影到车辆的前挡风玻璃上,以便驾驶员在不低头、不转头的情况下看到驾驶辅助信息。AR HUD用于检测实际驾驶环境,将实际驾驶环境中相关信息对应的虚拟元素投影到车辆的前挡风玻璃上,以起到提示作用。
目前,AR HUD成像的视场角(Field of View,FOV)普遍较小,通常只有13×5度,基于该FOV进行增强现实显示,往往只能提示实际驾驶环境中特定的局部视野范围内的信息,例如,只能提示道路地面上的交通标识(如路口车道标识、车道线标识等),对于驾驶员而言,通过AR HUD获知的提示信息不够丰富,使用体验不佳。
发明内容
本申请实施例提供了一种信息显示方法及相关装置,能够丰富AR HUD提供的提示信息,提高驾驶员的使用体验。
有鉴于此,本申请第一方面提供了一种信息显示方法,所述方法包括:
通过目标车辆的前挡风玻璃显示信息显示区;所述信息显示区是所述目标车辆上的增强现实抬头显示设备AR HUD投影产生的,所述信息显示区中至少包括关键对象对应的虚拟提示元素,所述关键对象为所述目标车辆所处驾驶环境中需要被关注的对象,所述虚拟提示元素的显示位置与所述关键对象在所述驾驶环境中的位置相对应;
若所述关键对象发生满足预设变化条件的变化,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区中包括变化后的关键对象对应的虚拟提示元素。
本申请第二方面提供了一种信息显示装置,所述装置包括:
投影显示模块,用于通过目标车辆的前挡风玻璃显示信息显示区;所述信息显示区是所述目标车辆上的AR HUD投影产生的,所述信息显示区中至少包括关键对象对应的虚拟提示元素,所述关键对象为所述目标车辆所处驾驶环境中需要被关注的对象,所述虚拟提示元素的显示位置与所述关键对象在所述驾驶环境中的位置相对应;
位置改变模块,用于若所述关键对象发生满足预设变化条件的变化,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区中包括变化后的关键对象对应的虚拟提示元素。
本申请第三方面提供了一种电子设备,所述设备包括处理器以及存储器:
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序,执行如上述第一方面所述的信息显示方法的步骤。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述第一方面所述的信息显示方法的步骤。
本申请第五方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面所述的信息显示方法的步骤。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种信息显示方法,该方法可以根据目标车辆所处驾驶环境中需要驾驶员关注的关键对象的变化,动态地调整AR HUD设备成像的FOV的位置,也即动态地调整通过目标车辆的前挡风玻璃显示的、通过AR HUD投影产生的信息显示区的显示位置,从而使得信息显示区可以持续显示驾驶环境中关键对象对应的虚拟提示元素,并且保证该虚拟提示元素的显示位置与关键对象在驾驶环境中的位置相对应,为驾驶员提供更贴合现实的提示信息。在本申请实施例提供的信息显示方法中,当需要驾驶员关注的关键对象从AR HUD设备当前关注的视野范围变化至另一视野范围时,AR HUD设备通过调整其投影产生的信息显示区的显示位置,使得信息显示区对应于变化后的视野范围;如此,基于ARHUD设备提示的信息不再局限于特定的视野范围,可以动态地对应更宽广的视野范围,相应地,驾驶员通过动态的信息显示区,可以获知更丰富的提示信息,提高了使用体验。
附图说明
图1为本申请实施例提供的信息显示方法的应用场景示意图;
图2为本申请实施例提供的信息显示方法的流程示意图;
图3为本申请实施例提供的AR HUD设备的成像平面的示意图;
图4为本申请实施例提供的一种示例性的信息显示区的示意图;
图5为本申请实施例提供的一种改变信息显示区显示位置的示意图;
图6为本申请实施例提供的一种改变信息显示区显示位置的示意图;
图7为本申请实施例提供的一种示例性的信息显示区的示意图;
图8为本申请实施例提供的信息显示区的显示位置确定方法的流程示意图;
图9为本申请实施例提供的目标车辆的车辆坐标系的示意图;
图10为本申请实施例提供的一种目标成像区域的可移动范围的示意图;
图11为本申请实施例提供的一种信息显示装置的结构示意图;
图12为本申请实施例提供的终端设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
智能交通系统(Intelligent Traffic System,ITS)又称智能运输系统(Intelligent Transportation System),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。本申请实施例提供的信息显示方法可以辅助智能交通系统的工作运行。
本申请实施例提供的信息显示方法可以由电子设备执行,该电子设备具体可以是用于控制车辆上安装的AR HUD设备的控制器,该控制器具体可以集成在AR HUD设备中,也可以独立于AR HUD设备,该控制器一方面可以控制AR HUD设备投影产生的影像,另一方面可以控制AR HUD设备投影产生的影像的显示位置。
为了便于理解本申请实施例提供的信息显示方法,下面以控制器独立于AR HUD设备为例,对该信息显示方法的应用场景进行示例性介绍。
参见图1,图1为本申请实施例提供的信息显示方法的应用场景示意图。如图1所示,该应用场景包括目标车辆100,该目标车辆100上安装有AR HUD设备110和控制器120,控制器120与AR HUD设备110之间可以通信,控制器120用于控制AR HUD设备110投影生成的、通过目标车辆100的前挡风玻璃显示的信息显示区。
在实际应用中,控制器120可以向ARHUD设备110中的光机111发送控制数据,通过该控制数据控制光机111生成所要显示的信息显示区;例如,控制器120可以向光机111发送图像渲染数据,以使光机111基于该图像渲染数据渲染信息显示区。光机111显示其渲染生成的图像,该图像的光线经由HUD设备110中的反射器件112和113进行反射,最终投射到目标车辆100的前挡风玻璃上,通过前挡风玻璃显示与光机111生成的图像对应的信息显示区,该信息显示区对应于AR HUD设备110的虚像成像平面中的目标成像区域。
ARHUD设备110投影产生的信息显示区中会包括关键对象对应的虚拟提示元素;此处的关键对象为目标车辆100所处的驾驶环境中需要驾驶员关注的对象,其例如可以是路面上的车道线、车辆、行人等等;此处的虚拟提示元素是基于AR技术创建的、用于提示关键对象的存在的虚拟元素,其例如可以是用于指示车道方向或者导航方向的虚拟箭头、用于指示车辆的虚拟车辆元素、用于指示行人的虚拟行人元素等等。在本申请实施例中,信息显示区中关键对象对应的虚拟提示元素的显示位置与该关键对象在驾驶环境中的位置相对应,例如,从驾驶员的视角来看,用于指示车道方向的虚拟箭头与道路地面上的车道方向标识相重叠,用于指示车辆的虚拟车辆元素与该车辆的位置相重叠,用于指示行人的虚拟行人元素与该行人的位置相重叠,等等。
当驾驶环境中需要驾驶员关注的关键对象发生满足预设变化条件的变化时,控制器120需要控制AR HUD设备改变其虚像成像平面中对应于信息显示区的目标成像区域的位置,从而相应地改变通过目标车辆100的前挡风玻璃显示的信息显示区的显示位置。示例性的,当需要驾驶员关注的关键对象超出信息显示区当前对应的视野范围时,控制器120可以根据该关键对象在驾驶环境中的位置,确定该关键对象对应的虚拟提示元素在AR HUD设备的虚像成像平面中的成像位置;进而,调整对应于信息显示区的目标成像区域在该虚像成像平面中的位置,以使该目标成像区域能够覆盖关键对象对应的虚拟提示元素的成像位置;应理解,调整目标成像区域在该虚像成像平面中的位置,即可实现对于信息显示区的显示位置的调整,且目标成像区域能够覆盖关键对象对应的虚拟提示元素的成像位置,可以相应地保证信息显示区包括该关键对象对应的虚拟提示元素。
应理解,图1所示的应用场景仅为示例,在此不对本申请实施例提供的信息显示方法的应用场景做任何限定。
下面通过方法实施例对本申请提供的信息显示方法进行详细介绍。
参见图2,图2为本申请实施例提供的信息显示方法的流程示意图。如图2所示,该信息显示方法包括以下步骤:
步骤201:通过目标车辆的前挡风玻璃显示信息显示区;所述信息显示区是所述目标车辆上的AR HUD设备投影产生的,所述信息显示区中至少包括关键对象对应的虚拟提示元素,所述关键对象为所述目标车辆所处驾驶环境中需要被关注的对象,所述虚拟提示元素的显示位置与所述关键对象在所述驾驶环境中的位置相对应。
在本申请实施例中,目标车辆上的ARHUD设备可以通过投影,产生通过目标车辆的前挡风玻璃显示的信息显示区。具体的,AR HUD设备中的光机可以接收控制器传输过来的图像渲染数据,然后基于该图像渲染数据渲染显示目标图像,该目标图像对应于信息显示区;AR HUD设备中的光线反射器件通过反射光机显示的目标图像的光线,将目标图像对应的信息显示区投射到目标车辆的前挡风玻璃上显示。
需要说明的是,目标车辆的前挡风玻璃上显示的信息显示区,对应于AR HUD设备的成像平面中的目标成像区域。图3为本申请实施例提供的AR HUD设备的成像平面的示意图,如图3所示,AR HUD设备使用车辆的前挡风玻璃作为投影介质来反射成像,在前挡风玻璃上所成的像对应于该ARHUD设备的虚像成像平面中位于对应成像区域的虚像,该成像区域的大小与AR HUD设备的FOV相对应。通常情况下,AR HUD设备的虚像成像平面垂直于地面,位于车辆的主驾驶位前方约7米的位置;AR HUD的FOV为13×5度,FOV反映的是驾驶员的眼睛与其能看到的虚像边缘构成的夹角,FOV等于13×5度,表示驾驶员对于虚像的横向视角为13度、纵向视角为5度。
在本申请实施例中,可以通过调整成像平面中与信息显示区对应的目标成像区域的位置,来调整该信息显示区在前挡风玻璃上的显示位置。具体确定信息显示区在前挡风玻璃上的显示位置的实现方式、以及调整信息显示区在前挡风玻璃上的显示位置的实现方式,将在下文另一方法实施例中详细介绍。
需要说明的是,通过AR HUD设备投影产生的信息显示区中至少包括关键对象对应的虚拟提示元素。此处的关键对象为目标车辆所处的驾驶环境中需要驾驶员关注的对象,该关键对象可以基于目标车辆的前置摄像头采集的参考图像确定;示例性的,可以对目标车辆的前置摄像头采集的参考图像进行图像检测,确定该参考图像中包括的特定类型的对象作为候选关键对象,进而按照预设的关键对象确定规则,从参考图像包括的候选关键对象中选取需要驾驶员重点关注的对象作为关键对象;该关键对象例如可以是道路地面上的交通标识(如路口车道标识、车道线标识等等),又例如可以是路面上的车辆、行人、障碍物等,本申请在此不对该关键对象的类型做任何限定。
关键对象对应的虚拟提示元素为基于AR技术生成的、用于针对关键对象起提示作用的虚拟元素,通过该虚拟提示元素,可以引导驾驶员对关键对象投入更多的注意力。关键对象对应的虚拟提示元素可以为预先设计的模板虚拟元素,例如,车道引导标识对应的虚拟提示元素可以为虚拟箭头,车道线标识对应的虚拟提示元素可以为虚拟车道线,车辆对应的虚拟提示元素可以为预先设计的虚拟车辆、或者用于承载目标车辆与该车辆之间的距离的虚拟元素,行人对应的虚拟提示元素可以为预先设计的虚拟行人、或者用于承载目标车辆与该行人之间的距离的虚拟元素;关键对象对应的虚拟提示元素还可以为根据驾驶关键中实际的关键对象,实时生成的虚拟元素,虚拟提示元素能够在一定程度上反映关键对象具备的特征;本申请在此不对关键对象对应的虚拟提示元素的表现形式做任何限定。
在本申请实施例中,为了增强虚拟提示元素与真实驾驶环境的贴合性,为驾驶员带来更逼真的信息提示效果,虚拟提示元素在信息显示区中的显示位置与关键对象在驾驶环境中的位置相对应。即,从驾驶员的视角来看,信息显示区中的虚拟提示元素与其对应的关键对象相重叠,或者,虚拟提示元素与其对应的关键对象之间的距离较小;例如,当关键对象为路口的车道引导标识时,从驾驶员的视角来看,该车道引导标识对应的虚拟提示元素即重叠呈现在实际的车道引导标识上方;又例如,当关键对象为路面上的车辆时,从驾驶员的视角来看,该车辆对应的虚拟提示元素即重叠呈现在实际的该车辆上方。具体确定与关键对象相贴合的虚拟提示元素的显示位置的实现方式,也将在下文另一方法实施例中详细介绍。
可选的,信息显示区中除了包括基于AR技术生成的虚拟提示元素外,还可以包括目标车辆的中控屏幕上的驾驶辅助信息,例如目标车辆的时速、剩余燃油量、剩余电量、发动机转速、导航信息等等,本申请在此不对信息显示区中显示的内容做任何限定。
图4为本申请实施例提供的一种示例性的信息显示区的显示示意图。如图4所示,通过目标车辆的前挡风玻璃410显示有信息显示区420,该信息显示区420中包括车道引导标识对应的虚拟提示元素421,从驾驶员的角度来看,该虚拟提示元素421重叠显示在道路地面上实际的车道引导标识上。此外,该信息显示区420中还包括目标车辆的当前时速。
步骤202:若所述关键对象发生满足预设变化条件的变化,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区中包括变化后的关键对象对应的虚拟提示元素。
当驾驶环境中的关键对象发生满足预设变化条件的变化时,AD HUD设备可以改变其投影成像的位置,即改变其成像平面中目标成像区域的位置,从而相应改变通过目标车辆的前挡风玻璃显示的信息显示区的显示位置,以使位置改变后的目标成像区域可以完整承载变化后的关键对象对应的虚拟提示元素的成像位置,也即使显示位置改变后的信息显示区可以以完整承载变化后的关键对象对应的虚拟提示元素。
需要说明的是,上述预设变化条件是预先设定的用于衡量是否需要改变信息显示区的显示位置的条件。该预设变化条件例如可以是变化后的关键对象超出或不完全属于ARHUD设备当前关注的视野范围,AR HUD设备当前关注的视野范围可以理解为信息显示区所对应的视野范围;若变化后的关键对象超出或不完全属于AR HUD设备当前关注的视野范围,则信息显示区将无法显示或无法完整显示变化后的关键对象对应的虚拟提示元素,因此,需要调整信息显示区的显示位置,以使该信息显示区能够完整显示变化后的关键对象对应的虚拟提示元素。
需要说明的是,上述关键对象发生的变化具体可以是需要驾驶员关注的关键对象发生改变,即由一个关键对象变为另一个关键对象;例如,当目标车辆处于常规直行状态时,驾驶员原本需要关注的关键对象为道路地面上的交通标识,若此时目标车辆的前方突然出现其它车辆或行人,那么驾驶员需要关注的关键对象将变为所出现的车辆或行人。上述关键对象发生的变化也可以是关键对象自身位置的变化,即关键对象由一个位置移动至另一个位置;例如,目标车辆跟随特定目标时,该特定目标相对于目标车辆的位置发生了变动。
在一种可能的实现方式中,若关键对象由第一关键对象变为第二关键对象,并且信息显示区对于第二关键对象对应的虚拟提示元素不满足第一目标显示条件,则改变信息显示区的显示位置;显示位置改变后的信息显示区对于第二关键对象对应的虚拟提示元素满足第一目标显示条件。
示例性的,在目标车辆行驶的过程中,需要驾驶员关注的关键对象可能会发生改变,即由原本关注的第一关键对象变为第二关键对象。若信息显示区在AR HUD设备的成像平面上对应的目标成像区域对于第二关键对象对应的虚拟提示元素无法满足第一目标承载条件,也即信息显示区对于该第二关键对象对应的虚拟提示元素无法满足第一目标显示条件,则需要AR HUD设备调整其在成像平面上的目标成像区域的位置,从而实现对于信息显示区的显示位置的调整;位置调整后的目标成像区域对于第二关键对象对应的虚拟提示元素能够满足第一目标承载条件,显示位置调整后的信息显示区对于第二关键对象对应的虚拟提示元素能够满足第一目标显示条件。
需要说明的是,上述第一目标显示条件是用于衡量信息显示区对于关键对象对应的虚拟提示元素的显示情况是否满足预设要求的条件,上述第一目标承载条件是用于衡量目标成像区域对于关键对象对应的虚拟提示元素的承载情况是否满足预设要求的条件。示例性的,第一目标显示条件可以是信息显示区完整显示关键对象对应的虚拟提示元素,第一目标承载条件可以是目标成像区域完整承载关键对象对应的虚拟提示元素。当然,在实际应用中,也可以根据实际需求,将上述第一目标显示条件和第一目标承载条件设置为其它条件,如关键对象对应的虚拟提示元素在信息显示区中的显示位置在特定显示区域,关键对象对应的虚拟提示元素在目标成像区域中的承载位置在特定承载区域,等等,本申请在此不对上述第一目标显示条件和第一目标承载条件做具体限定。
应理解,在实际应用中,若需要驾驶员关注的关键对象由第一关键对象变为第二关键对象,但信息显示区对于该第二关键对象对应的虚拟提示元素仍满足第一目标显示条件,则不需要改变信息显示区的显示位置。
作为一种示例,当上述第一关键对象为目标地面对象,上述第二关键对象为目标地上对象时,改变信息显示区的显示位置时,可以将信息显示区的显示位置向上移动。当上述第一关键对象为目标地上对象,上述第二关键对象为目标地面对象时,改变信息显示区的显示位置时,可以将信息显示区的显示位置向下移动。
需要说明的是,目标地面对象可以为道路地面上需要驾驶员关注的对象,如道路地面上绘制的交通标识(路口处的车道引导标识、车道线等等),又如AR HUD设备叠加显示在道路地面上的导航标识。目标地上对象可以为地面上需要驾驶员关注的对象,如高级驾驶辅助系统(Advanced Driving Assistance System,ADAS)告警的车辆、行人、障碍物等。
图5为本申请实施例提供的一种改变信息显示区的显示位置的示意图。如图5中(a)所示,当目标车辆处于常规直行状态时,原本关注的第一关键对象为道路地面上的车道引导标识,此时,信息显示区位于图5中(a)所示的510区域,其中包括车道引导标识对应的虚拟提示元素(即虚拟元素511);若在目标车辆的前方突然插入另一车辆,并且该车辆引起了目标车辆的ADAS告警,则信息显示区会相应地向上移动,移动至图5中(b)所示的520区域,其中包括引起ADAS告警的车辆对应的虚拟提示元素(即虚拟元素521,提示目标车辆与引起ADAS告警的车辆之间的距离)。此外,目标车辆在行驶过程中其前方存在引起ADAS告警的车辆,此时,信息显示区中会显示引起ADAS告警的车辆对应的虚拟提示元素;若导航信息指示目标车辆即将变道,则信息显示区会相应地向下移动,并在信息显示区中显示导航信息对应的虚拟提示元素,从驾驶员的视角来看,该虚拟提示元素通常叠加显示在道路地面上。
作为另一种示例,当上述第一关键对象为视线左侧目标对象,上述第二关键对象为视线右侧目标对象时,改变信息显示区的显示位置时,可以将信息显示区的显示位置向右移动。当上述第一关键对象为视线右侧目标对象,上述第二关键对象为视线左侧目标对象时,改变信息显示区的显示位置时,可以将信息显示区的显示位置向左移动。
需要说明的是,视线左侧目标对象可以为任一位于驾驶员视线左侧、且需要驾驶员关注的对象,视线右侧目标对象可以为任一位于驾驶员视线右侧、且需要驾驶员关注的对象。上述视线左侧目标对象和视线右侧目标对象均包括但不限于,道路地面上绘制的交通标识、叠加显示在道路地面上的导航标识、道路上的车辆、行人、障碍物等。
图6为本申请实施例提供的一种改变信息显示区的显示位置的示意图。如图6中(a)所示,在目标车辆行驶的过程中,其左前方存在一个引起该目标车辆ADAS告警的第一车辆,此时,信息显示区位于图6中(a)所示的610区域,其中包括该第一车辆对应的虚拟提示元素(即虚拟元素611,提示目标车辆与第一车辆之间的距离);若在目标车辆的右前方突然出现另一引起该目标车辆ADAS告警的第二车辆,此时,信息显示区会相应地向右移动,移动至图6中(b)所示的620区域,其中包括该第二车辆对应的虚拟提示元素(即虚拟元素621,提示目标车辆与第二车辆之间的距离)。类似地,若需要驾驶员关注的关键对象由位于右前方的第三车辆变为位于左前方的第四车辆,信息显示区会相应地向左移动,显示该第四车辆对应的虚拟提示元素。
应理解,在实际应用中,信息显示区的显示位置的移动方向并不仅限于上文介绍的向上、向下、向左和向右,也可以根据实际需求,向左上、左下、右上、右下等方向移动,本申请在此不对信息显示区的显示位置的移动方向做任何限定。
此外,需要说明的是,在上述示例中信息显示区的显示位置的移动方向和移动距离,具体可以由第一关键对象和第二关键对象各自对应的虚拟提示元素在AR HUD设备的成像平面中的成像位置决定。即,可以确定第一关键对象在成像平面中对应的第一成像位置,以及确定第二关键对象在成像平面中对应的第二成像位置;该成像平面为AR HUD设备投影产生的虚像成像平面;进而,根据该第一成像位置和该第二成像位置之间的位置关系,改变信息显示区的显示位置。
具体的,当需要驾驶员关注的关键对象由第一关键对象变为第二关键对象时,可以根据第一关键对象在实际驾驶环境中的位置,确定该第一关键对象对应的虚拟提示元素在AR HUD的成像平面中对应的第一成像位置,以及,可以根据第二关键对象在实际驾驶环境中的位置,确定该第二关键对象对应的虚拟提示元素在AR HUD的成像平面中对应的第二成像位置;具体确定关键对象对应的虚拟提示元素在成像平面中对应的成像位置的实现方式,将在下文另一方法实施例中详细介绍。然后,根据第一成像位置和第二成像位置之间的位置关系,确定对于信息显示区在成像平面中对应的目标成像区域的移动方式;按照该移动方式移动目标成像区域,将使目标成像区域对于第二关键对象对应的虚拟提示元素满足第一目标承载条件。进而,基于所确定的目标成像区域的移动方式,控制AR HUD设备移动,使得目标成像区域可以按照所确定的移动方式移动;目标成像区域的移动将引起信息显示区的显示位置的改变,显示位置改变后的信息显示区对于第二关键对象对应的虚拟提示元素能够满足第一目标显示条件。
如此,通过上述方式,在需要驾驶员关注的关键对象由一个关键对象变为另一个关键对象时,可以灵活地调整AD HUD设备投影产生的信息显示区的显示位置,使得该信息显示区可以完整地承载变化后的关键对象对应的虚拟提示元素,从而吸引驾驶员对变化后的关键对象进行重点关注。
在另一种可能的实现方式中,若关键对象在驾驶环境中的位置由第一位置变为第二位置,且信息显示区对于该关键对象位于第二位置时对应的虚拟提示元素不满足第二目标显示条件,则改变前挡风玻璃上信息显示区的显示位置;显示位置改变后的信息显示区对于该关键对象位于第二位置时对应的虚拟提示元素满足第二目标显示条件。
示例性的,在目标车辆行驶的过程中,需要驾驶员关注的关键对象相对于目标车辆的位置可能会发生改变,即相对于目标车辆的位置由第一位置变为第二位置;例如,假设驾驶员关注的关键对象为在其前方行驶的参考车辆,参考车辆突然加速,可能导致其与目标车辆之间的距离迅速变远,参考车辆突然减速,可能导致其与目标车辆之间的距离迅速变近,参考车辆突然向左移动或向右移动,可能导致其与目标车辆之间的相对方位发生改变;又或者,目标车辆突然加速,可能导致其与参考车辆之间的距离迅速变近,目标车辆突然减速,可能导致其与参考车辆之间的距离迅速变远,目标车辆突然向左移动或向右移动,可能导致其与参考车辆之间的相对方位发生改变,等等。
若信息显示区在AR HUD设备的成像平面上对应的目标成像区域对于处于第二位置的关键对象对应的虚拟提示元素无法满足第二目标承载条件,也即信息显示区对于处于第二位置的关键对象对应的虚拟提示元素无法满足第二目标显示条件,则需要AR HUD设备调整其在成像平面上的目标成像区域的位置,从而实现对于信息显示区的显示位置的调整。位置调整后的目标成像区域对于处于第二位置的关键对象对应的虚拟提示元素能够满足第二目标承载条件,显示位置调整后的信息显示区对于处于第二位置的关键对象对应的虚拟提示元素能够满足第二目标显示条件。
需要说明的是,上述第二目标显示条件是用于衡量信息显示区对于关键对象对应的虚拟提示元素的显示情况是否满足预设要求的条件,上述第二目标承载条件是用于衡量目标成像区域对于关键对象对应的虚拟提示元素的承载情况是否满足预设要求的条件。示例性的,第二目标显示条件可以是信息显示区完整显示关键对象对应的虚拟提示元素,第二目标承载条件可以是目标成像区域完整承载关键对象对应的虚拟提示元素。当然,在实际应用中,也可以根据实际需求,将上述第二目标显示条件和第二目标承载条件设置为其它条件,本申请在此不对上述第二目标显示条件和第二目标承载条件做具体限定。
应理解,在实际应用中,若需要驾驶员关注的关键对象在驾驶环境中的位置由第一位置变为第二位置,当信息显示区对于位于第二位置的关键对象对应的虚拟提示元素仍满足第二目标显示条件,则不需要改变信息显示区的显示位置。
需要说明的是,本实现方式中信息显示区的显示位置的改变方式,具体可以由位于第一位置的关键对象和位于第二位置的关键对象各自对应的虚拟提示元素在AR HUD设备的成像平面中的成像位置决定。即,可以确定位于第一位置的关键对象在成像平面中对应的第三成像位置,以及确定位于第二位置的关键对象在成像平面中对应的第四成像位置;该成像平面为AR HUD投影产生的虚像成像平面;进而,根据该第三成像位置和该第四成像位置之间的位置关系,改变信息显示区的显示位置。
具体的,当驾驶员关注的关键对象在驾驶环境中的位置由第一位置变为第二位置时,可以根据该第一位置,确定位于第一位置的关键对象对应的虚拟提示元素在AR HUD的成像平面中对应的第三成像位置,以及,可以根据该第二位置,确定位于第二位置的关键对象对应的虚拟提示元素在AR HUD的成像平面中对应的第四成像位置;具体确定关键对象对应的虚拟提示元素在成像平面中对应的成像位置的实现方式,将在下文另一方法实施例中详细介绍。然后,根据第三成像位置和第四成像位置之间的位置关系,确定对于信息显示区在成像平面中对应的目标成像区域的移动方式;按照该移动方式移动目标成像区域,将使目标成像区域对于位于第二位置的关键对象对应的虚拟提示元素满足第二目标承载条件。进而,基于所确定的目标成像区域的移动方式,控制ARHUD设备移动,使得目标成像区域可以按照所确定的移动方式移动;目标成像区域的移动将引起信息显示区的显示位置的改变,显示位置改变后的信息显示区对于位于第二位置的关键对象对应的虚拟提示元素能够满足第二目标显示条件。
如此,通过上述方式,当驾驶员关注的关键对象的位置由第一位置变为第二位置时,可以灵活地调整AR HUD设备投影产生的信息显示区的显示位置,使得该信息显示区可以完整地显示位置变化后的关键对象对应的虚拟提示元素,方便驾驶员持续地关注该关键对象。
在一些可能的情况下,驾驶环境中可能包括多个需要驾驶员关注的基础关键对象,但是信息显示区因其对应的FOV有限,对于这多个基础关键对象各自对应的虚拟提示元素无法均满足第三目标显示条件,此时,可以在这多个基础关键对象中区分主要关键对象和次要关键对象,在信息显示区中,显示主要关键对象对应的虚拟提示元素,并按照预设的提示方式显示次要关键对象对应的提示内容。
示例性的,假设目标车辆所处的驾驶环境中存在两个需要驾驶员关注的基础关键对象,分别是车道引导标识和引起ADAS告警的参考车辆,且信息显示区对于该车道引导标识对应的虚拟提示元素与参考车辆对应的虚拟提示元素无法均满足第三目标显示条件。此时,需要依据预设的关键对象重要度划分规则,结合目标车辆当前所处的状态,在两个基础关键对象中确定出主要关键对象和次要关键对象;例如,当目标车辆处于路口指引状态时,可以确定车道引导标识作为主要关键对象,确定参考车辆作为次要关键对象;又例如,当目标车辆处于常规直行状态时,可以确定参考车辆作为主要关键对象,确定车道引导标识作为次要关键对象。当然,在实际应用中,目标车辆所处的驾驶环境中可以存在更多的基础关键对象,主要关键对象和次要关键对象的数量也均不仅局限于一个。
需要说明的是,上述第三目标显示条件是用于衡量信息显示区对于基础关键对象对应的虚拟提示元素的显示情况是否满足预设要求的条件。示例性的,第三目标显示条件可以是信息显示区完整地显示基础关键对象对应的虚拟提示元素。当然,在实际应用中,也可以根据实际需求,将上述第三目标显示条件设置为其它条件,本申请在此不对上述第三目标显示条件做具体限定。
进而,根据主要关键对象对应的虚拟提示元素在成像平面中的成像位置,确定信息显示区的显示位置,并在该信息显示区中显示该主要关键对象对应的虚拟提示元素。对于次要关键对象,由于也需要驾驶员对其进行关注,因此可以在信息显示区按照预设的提示方式显示对应的提示内容,例如,可以在信息显示区显示次要关键对象对应的提示标识或提示文本。
作为一种示例,可以基于信息显示区的目标边缘区域,显示该次要关键对象对应的提示内容;该目标边缘区域与信息显示区的中心之间的相对方向,与驾驶环境中次要关键对象与目标车辆之间的相对方向相匹配。
图7为本申请实施例提供的一种信息显示区的显示示意图。如图7所示,假设次要关键对象为位于目标车辆左前方的参考车辆,且该参考车辆与目标车辆之间的距离较近,则可以通过信息显示区的左下方边缘区域,提示该参考车辆的存在,如可以通过标红左下方边缘区域的方式提示该参考车辆的存在,或者,也可以在信息显示区的左下方边缘区域显示该参考车辆对应的提示标识或提示文本。
应理解,上述目标边缘区域可以根据次要关键对象与目标车辆之间的相对方向确定,其具体可以是左侧边缘区域、右侧边缘区域、上方边缘区域、下方边缘区域、左下边缘区域、左上边缘区域、右下边缘区域、右上边缘区域中的至少一个,本申请在此不对目标边缘区域的位置做任何限定。
如此,通过上述方式,可以在需要驾驶员同时关注多个关键对象,并且信息显示区无法同时完整显示这多个关键对象各自对应的虚拟提示元素时,实现对于这多个关键对象的同时提示;并且,通过区分主要关键对象和次要关键对象,可以使驾驶员有选择地对多个关键对象进行不同程度的关注。
本申请实施例提供的信息显示方法,可以根据目标车辆所处驾驶环境中需要驾驶员关注的关键对象的变化,动态地调整AR HUD设备成像的FOV的位置,也即动态地调整通过目标车辆的前挡风玻璃显示的、通过AR HUD设备投影产生的信息显示区的显示位置,从而使得信息显示区可以持续显示驾驶环境中关键对象对应的虚拟提示元素,并且保证该虚拟提示元素的显示位置与关键对象在驾驶环境中的位置相对应,为驾驶员提供更贴合现实的提示信息。在本申请实施例提供的信息显示方法中,当需要驾驶员关注的关键对象从ARHUD设备当前关注的视野范围变化至另一视野范围时,AR HUD设备通过调整其投影产生的信息显示区的显示位置,使得信息显示区对应于变化后的视野范围;如此,基于AR HUD设备提示的信息不再局限于特定的视野范围,可以动态地对应更宽广的视野范围,相应地,驾驶员通过动态的信息显示区,可以获知更丰富的提示信息,提高了使用体验。
下面通过方法实施例对确定上文中的信息显示区的显示位置的方式进行详细介绍。在本实施例中,也会同时介绍上文中的关键对象的确定方式、关键对象在驾驶环境中的位置的确定方式、以及关键对象在AR HUD设备的成像平面中的成像位置的确定方式。
参见图8,图8为本申请实施例提供的信息显示区的显示位置确定方法的流程示意图。该显示位置确定方法的执行主体为目标车辆上用于控制ARHUD设备的电子设备,如图8所示,该显示位置确定方法包括以下步骤:
步骤801:获取所述目标车辆上的前置摄像头采集的参考图像。
在本申请实施例中,目标车辆上的前置摄像头可以按照特定帧率(例如每秒30帧),采集目标车辆所处驾驶环境中对应于驾驶员视野的参考图像,也即用于反映目标车辆前方驾驶环境的参考图像;应理解,此处的前置摄像头是指目标车辆上安装的用于采集目标车辆前方环境图像的摄像头,其具体可以为行车记录仪。
进而,前置摄像头可以将其采集的参考图像传输给用于控制AR HUD设备的电子设备,以便该电子设备根据所接收的参考图像确定驾驶环境中需要驾驶员关注的关键对象、以及关键对象的位置。
步骤802:通过图像检测模型,检测所述参考图像中包括的候选关键对象。
电子设备接收到前置摄像头传输过来的参考图像后,可以将该参考图像输入预先训练好的图像检测模型,该图像检测模型通过对所输入的参考图像进行分析处理,可以输出对应的检测结果,该检测结果包括参考图像中候选关键对象所处的位置、以及候选关键对象的类型。
应理解,上述图像检测模型可以为任意能够检测输入图像中的特定目标、以及特定目标在输入图像中所处位置的深度神经网络模型,该图像检测模型例如可以为R-CNN(Region-Convolutional Neural Networks)模型、R-FCN(Region-based FullyConvolutional Network)模型等,本申请在此不对该图像检测模型的模型结构做任何限定。上述候选关键对象可以理解为驾驶环境中预设类型的对象,如交通标识、车辆、行人等。
示例性的,在本申请实施例中,可以利用图像检测模型检测参考图像中的交通标识(包括但不限于道路地面上的车道引导标识、车道线等等)、车辆和行人。即,电子设备将前置摄像头传输过来的参考图像输入图像检测模型后,该图像检测模型可以相应地检测该参考图像中是否存在交通标识、车辆和行人,若存在,则在参考图像中指示出交通标识的位置、车辆的位置以及行人的位置。对于驾驶环境中其它无需驾驶员特殊关注的信息,图像检测模型可以不必进行检测。
步骤803:根据所述前置摄像头在所述目标车辆的车辆坐标系下的位置、以及所述候选关键对象在所述参考图像中的位置,确定所述候选关键对象在所述车辆坐标系下的基础位置。
电子设备通过图像检测模型,确定出参考图像中包括的各候选关键对象后,可以进一步针对每个候选关键对象,根据该候选关键对象在参考图像的图像坐标系下的位置,确定其在目标车辆的车辆坐标系下的基础位置,即实现对于候选关键对象的位置信息在图像坐标系和车辆坐标系之间的转换。
具体的,可以预先标定前置摄像头在目标车辆的车辆坐标系下的位置;图9为目标车辆的车辆坐标系的示意图,该车辆坐标系以目标车辆底盘四轮对角线的交点为原点,以从该原点出发指向目标车辆前方的方向为x轴,以从该原点出发指向目标车辆右方的方向为y轴,以从该原点出发指向目标车辆上方的方向为z轴。进而,可以基于该车辆坐标系,离线标定前置摄像头在该车辆坐标系下的位置,即标定前置摄像头在该车辆坐标系下的x坐标、y坐标和z坐标(单位均为米),以及该前置摄像头的俯仰角(pitch)、偏航角(yaw)和翻滚角(roll);此外,还需离线标定前置摄像头的内参。应理解,上述标定处理通常在目标车辆出厂前完成。
在已知候选关键对象在参考图像的图像坐标系下的位置、采集参考图像的前置摄像头在车辆坐标系下的位置、以及该前置摄像头的内参的情况下,电子设备可以采用常规的空间位置转换计算,确定候选关键对象在目标车辆的车辆坐标系下的基础位置。
步骤804:根据所述目标车辆对应的运动学模型以及所述基础位置,确定所述候选关键对象在未来参考时刻的预测位置,将所述预测位置作为所述候选关键对象在所述驾驶环境中的位置;所述目标车辆对应的运动学模型是根据所述目标车辆的运动状态参数确定的。
通过AR HUD设备投影产生的信息显示区的作用是向驾驶员传达预警信息,为了保证预警的及时性,该信息显示区中显示的提示内容通常是基于历史信息预测的;例如,信息显示区在t时刻显示的预警提示内容,通常是根据t-1时刻、甚至更早时刻采集的历史信息预测的,而并非根据t时刻采集的信息确定的。基于此,针对参考图像中的每个候选关键对象,电子设备需要根据目标车辆对应的运动状态和该候选关键对象的基础位置,预测该候选关键对象在未来参考时刻所处的预测位置,并将该预测位置作为上文中提及的候选关键对象在驾驶环境中的位置,并据此确定对应的虚拟提示元素在信息显示区中的显示位置。
具体的,电子设备可以获取目标车辆上的传感器采集的目标车辆的运动状态参数,如车速、方向盘转角、惯性测量装置(Inertial measurement unit,IMU)数据、摄像头采集的图像、雷达参数等等,其中,IMU数据可以包括目标车辆的加速度、旋转速度等。然后,电子设备可以基于汽车运动学模型的建立算法(例如VIO(visual inertial odometry)算法),采用上述运动状态参数建立该目标车辆对应的运动学模型,该运动学模型可以反映目标车辆的当前运动状态,并估计目标车辆的未来运动状态,如未来某一时刻的位置、朝向等。根据该目标车辆的运动学模型、以及候选关键对象在车辆坐标系下的基础位置,电子设备可以相应地预测该候选关键对象在未来参考时刻(即未来的某一时刻,如当前时刻之后的n秒(n大于0))的预测位置,应理解,该预测位置也是车辆坐标系下的位置;进而,将该预测位置作为该候选关键对象在目标车辆所处驾驶环境中的位置,该位置后续可用于决定该候选关键对象是否为需要驾驶员关注的关键对象、以及用作确定对应的虚拟提示元素的成像位置。
需要说明的是,上述确定候选关键对象的预测位置的操作,可以由电子设备中的tracker来实现,即可以将参考图像中的各个候选关键对象输入tracker,该tracker可以结合目标车辆对应的运动学模型,自动确定每个候选关键对象在未来某个时刻的预测位置。
步骤805:根据所述候选关键对象和关键对象确定规则,确定所述关键对象。
进而,电子设备可以依据预先设定的关键对象确定规则,根据各个候选关键对象各自在驾驶环境中的位置,从各个候选关键对象中选出需要驾驶员关注的关键对象,并且在后续步骤中通过AR HUD设备投影产生的信息显示区投影显示该关键对象对应的虚拟提示元素,以提醒驾驶员关注该关键对象。
在一种可能的实现方式中,电子设备可以结合目标车辆当前的行驶状态,按照以下方式确定关键对象:当目标车辆处于常规直行状态时,若候选关键对象包括与目标车辆之间的距离小于预设距离阈值的障碍对象,则确定该障碍对象为关键对象;当目标车辆处于预变道状态时,确定贴合道路地面的变道提醒信息为关键对象;当目标车辆处于预达路口状态时,若候选关键对象包括路口的车道引导标识,则确定车道引导标识为关键对象。
示例性的,通过AR HUD设备提供的预警提示信息可以分为两类,一类是引导提示信息(用于指引目标车辆的前进方向),另一类是告警提示信息(用于提示驾驶环境中存在的障碍元素)。对于引导提示信息,通常对应以下三种状态:常规直行状态(即车辆正常直行的状态)、预变道状态(即车辆即将变道的状态)、预达路口状态(即车辆即将抵达路口的状态)。对于告警提示信息,通常对应以下两种情况:前车告警和行人告警。
本申请实施例基于上述预警提示信息的划分,提供了一种示例性的确定需要驾驶员关注的关键对象的关键对象确定规则。即,在目标车辆处于常规直行状态时,若基于各个候选关键对象在驾驶环境中的位置,检测到存在可能触发ADAS告警的候选关键对象,则将该可能触发ADAS告警的候选关键对象作为需要驾驶员关注的关键对象,例如将可能触发ADAS告警的车辆或行人作为关键对象。在目标车辆处于预变道状态时,可以将导航信息指示的变道提醒信息作为关键对象。在目标车辆处于预达路口状态时,可以将路口处的车道引导标识作为关键对象。
应理解,上述关键对象确定规则仅为示例,在实际应用中,也可以基于其它的关键对象确定规则,确定需要驾驶员关注的关键对象,本申请在此不对该关键对象确定规则做任何限定。
步骤806:根据所述AR HUD设备的眼盒在所述车辆坐标系下的位置、以及所述关键对象在所述驾驶环境中的位置,确定所述关键对象对应的虚拟提示元素在成像平面中的目标成像位置;所述成像平面为所述AR HUD设备投影产生的虚像成像平面。
电子设备确定出需要驾驶员关注的关键对象、以及关键对象在驾驶环境中的位置后,可以根据AR HUD设备的眼盒(eyebox)在目标车辆的车辆坐标系下的位置、以及关键对象在驾驶环境中的位置,确定该关键对象对应的虚拟提示元素在ARHUD设备的成像平面(虚像成像平面)中的目标成像位置。
需要说明的是,ARHUD设备的eyebox是指驾驶员眼睛的可移动区域;通常情况下,驾驶员的高矮、坐姿、头部位置等因素均会影响其眼睛的位置和视线的方向,导致行车视角发生改变,当驾驶员的眼睛处于AR HUD设备的eyebox内时,可以清楚完整地看到AR HUD设备投影产生的信息显示区。在本申请实施例中,可以在目标车辆出厂前标定AR HUD设备的eyebox在目标车辆的车辆坐标系下的位置;目标车辆的车辆坐标系如图9所示,基于该车辆坐标系,可以离线标定eyebox在该车辆坐标系下的x坐标、y坐标和z坐标(单位均为米),以及eyebox的俯仰角(pitch)、偏航角(yaw)和翻滚角(roll);此外,还需离线标定AR HUD设备的投影内参。
在已知关键对象在车辆坐标系下的位置(关键对象在驾驶环境中的位置本质上为该关键对象在车辆坐标系下的预测位置)、AR HUD设备的eyebox在车辆坐标系下的位置、以及AR HUD设备的投影内参的情况下,电子设备可以采用常规的空间位置转换计算,确定关键对象对应的虚拟提示元素在AR HUD设备的虚像成像平面中的目标成像位置。
由于上述前置摄像头的位置、AR HUD设备的eyebox的位置、以及关键对象的位置均是基于目标车辆的车辆坐标系确定的,在此基础上,可以有效地保证所确定关键对象对应的虚拟提示元素在成像平面中的目标成像位置的准确性,即保证该目标成像位置在信息显示区对应的显示位置可以准确地与真实驾驶环境中的关键对象相贴合。
步骤807:根据所述目标成像位置,在所述成像平面中确定对应所述信息显示区的目标成像区域;所述目标成像区域覆盖所述目标成像位置,且所述目标成像区域用于决定所述信息显示区的显示位置。
确定出关键对象对应的虚拟提示元素在AR HUD设备的成像平面中的目标成像位置后,即可根据该目标成像位置,相应地确定AR HUD设备投影产生的信息显示区在成像平面中对应的目标成像区域;具体的,可以基于使目标成像区域完整覆盖目标成像位置这一原则,确定目标成像区域的位置。
应理解,成像平面中目标成像区域的确定,即代表与该目标成像区域对应的信息显示区的显示位置的确定,成像平面中目标成像位置的确定,即代表与该目标成像位置对应的虚拟提示元素的显示位置的确定。即,根据光线反射原理,成像平面中的目标成像区域和目标成像位置,可以相应地投射为信息显示区和虚拟提示元素。
需要说明的是,正如图2所示实施例介绍的,在目标车辆行驶的过程中关键对象可能发生变化。当关键对象的变化是由一个关键对象变为另一个关键对象时,电子设备可以通过上述步骤801至步骤805检测出来;在该种情况下,电子设备通过执行步骤806,可以确定新的关键对象对应的虚拟提示元素在成像平面中的目标成像位置,进而,根据该目标成像位置与原本的目标成像区域之间的位置关系,判断是否需要执行步骤807,调整该目标成像区域的位置,若该目标成像位置已超出目标成像区域,则需要执行步骤807,重新调整目标成像区域的位置,使该目标成像区域完全覆盖该目标成像位置,通过调整目标成像区域的位置,即可实现对于信息显示区的显示位置的调整。当关键对象的变化为相对于目标车辆的位置发生改变,电子设备可以通过上述步骤801至步骤806,确定该关键对象对应的虚拟提示元素在成像平面中的目标成像位置,进而,根据该目标成像位置与原本的目标成像区域之间的位置关系,判断是否需要执行步骤807,调整该目标成像区域的位置,若该目标成像位置已超出目标成像区域,则需要执行步骤807,重新调整目标成像区域的位置,使该目标成像区域完全覆盖该目标成像位置,通过调整目标成像区域的位置,即可实现对于信息显示区的显示位置的调整。
在实际应用中,为了避免信息显示区超出驾驶员的视野范围,或者因调整信息显示区的显示位置,而导致驾驶员无法完整地看到信息显示区,可以针对目标成像区域设置对应的可移动范围,从而控制目标成像区域仅在该可移动范围内移动。
图10为本申请实施例提供的一种目标成像区域的可移动范围的示意图,如图10所示,对于成像平面而言,地面上所有的平行线(如车道线等)均会相交于天边的一条线,这条线通常被称为水平线。本申请实施例可以基于该水平线在成像平面中对应的成像位置,确定可移动范围的上边界和下边界;例如,可以定义目标车辆前方N米在成像平面中对应的成像位置为下边界,定义目标车辆前方M米在成像平面中对应的成像位置为上边界,N小于水平线与目标车辆的距离,M大于水平线与目标车辆的距离。此外,本申请实施例也可以根据实际需求,定义可移动范围的左边界和右边界。本申请在此不对该可移动范围的区域做具体限定。
本申请实施例提供的信息显示区的显示位置确定方法,离线确定目标车辆的前置摄像头和AR HUD设备的眼盒在目标车辆的车辆坐标系下的位置,进而,以该车辆坐标系为基础,将前置摄像头采集的参考图像中的关键对象的位置映射到该车辆坐标系中,再将关键对象在该车辆坐标系中的位置映射到AR HUD设备的投影成像平面,如此保证投影生成的关键对象对应的虚拟提示元素与实际驾驶环境中的关键对象相贴合,实现了真正意义的增强现实。此外,本申请实施例还可以根据关键对象对应的虚拟提示元素在成像平面中的目标成像位置,动态地调整对应于显示在前挡风玻璃上的信息显示区的目标成像区域,从而保证信息显示区可以一直完整地显示关键对象对应的虚拟提示元素,提高信息显示区提供的信息的丰富度。
针对上文描述的信息显示方法,本申请还提供了对应的信息显示装置,以使上述信息显示方法在实际中得以应用及实现。
参见图11,图11是与上文图2所示的信息显示方法对应的一种信息显示装置1100的结构示意图。如图11所示,该信息显示装置1100包括:
投影显示模块1101,用于通过目标车辆的前挡风玻璃显示信息显示区;所述信息显示区是所述目标车辆上的AR HUD设备投影产生的,所述信息显示区中至少包括关键对象对应的虚拟提示元素,所述关键对象为所述目标车辆所处驾驶环境中需要被关注的对象,所述虚拟提示元素的显示位置与所述关键对象在所述驾驶环境中的位置相对应;
位置改变模块1102,用于若所述关键对象发生满足预设变化条件的变化,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区中包括变化后的关键对象对应的虚拟提示元素。
可选的,所述位置改变模块1102具体用于:
若所述关键对象由第一关键对象变为第二关键对象,并且所述信息显示区对于所述第二关键对象对应的虚拟提示元素不满足第一目标显示条件,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区对于所述第二关键对象对应的虚拟提示元素满足所述第一目标显示条件。
可选的,所述位置改变模块1102具体用于:
当所述第一关键对象为目标地面对象,所述第二关键对象为目标地上对象时,将所述信息显示区的显示位置向上移动;
当所述第一关键对象为目标地上对象,所述第二关键对象为目标地面对象时,将所述信息显示区的显示位置向下移动。
可选的,所述位置改变模块1102具体用于:
当所述第一关键对象为视线左侧目标对象,所述第二关键对象为视线右侧目标对象时,将所述信息显示区的显示位置向右移动;
当所述第一关键对象为视线右侧目标对象,所述第二关键对象为视线左侧目标对象时,将所述信息显示区的显示位置向左移动。
可选的,所述位置改变模块1102具体用于:
确定所述第一关键对象在成像平面中对应的第一成像位置,以及确定所述第二关键对象在所述成像平面中对应的第二成像位置;所述成像平面为所述AR HUD设备投影产生的虚像成像平面;
根据所述第一成像位置和所述第二成像位置之间的位置关系,改变所述信息显示区的显示位置。
可选的,所述位置改变模块1102具体用于:
若所述关键对象在所述驾驶环境中的位置由第一位置变为第二位置,且所述信息显示区对于所述关键对象位于所述第二位置时对应的虚拟提示元素不满足第二目标显示条件,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区对于所述关键对象位于所述第二位置时对应的虚拟提示元素满足所述第二目标显示条件。
可选的,所述位置改变模块1102具体用于:
确定位于所述第一位置的所述关键对象在成像平面中对应的第三成像位置,以及确定位于所述第二位置的所述关键对象在所述成像平面中对应的第四成像位置;所述成像平面为所述AR HUD设备投影产生的虚像成像平面;
根据所述第三成像位置和所述第四成像位置之间的位置关系,改变所述信息显示区的显示位置。
可选的,所述投影显示模块1101还用于:
当所述驾驶环境中包括多个基础关键对象,且所述信息显示区对于所述多个基础关键对象各自对应的虚拟提示元素无法均满足第三目标显示条件时,在所述信息显示区中,显示所述多个基础关键对象中的主要关键对象对应的虚拟提示元素,以及,按照预设的提示方式,显示所述多个基础关键对象中的次要关键对象对应的提示内容。
可选的,所述投影显示模块1101具体用于:
基于所述信息显示区的目标边缘区域,显示所述次要关键对象对应的提示内容;所述目标边缘区域与所述信息显示区的中心之间的相对方向,与所述驾驶环境中所述次要关键对象与所述目标车辆之间的相对方向相匹配。
可选的,所述装置还包括:关键对象确定模块;所述关键对象确定模块用于:
获取所述目标车辆上的前置摄像头采集的参考图像;
通过图像检测模型,检测所述参考图像中包括的候选关键对象;
根据所述候选关键对象和关键对象确定规则,确定所述关键对象。
可选的,所述关键对象确定模块具体用于:
当所述目标车辆处于常规直行状态时,若所述候选关键对象包括与所述目标车辆之间的距离小于预设距离阈值的障碍对象,则确定所述障碍对象为所述关键对象;
当所述目标车辆处于预变道状态时,确定贴合道路地面的变道提醒信息为所述关键对象;
当所述目标车辆处于预达路口状态时,若所述候选关键对象包括路口的车道引导标识,则确定所述车道引导标识为所述关键对象。
可选的,所述装置还包括:对象位置确定模块;所述对象位置确定模块用于:
根据所述前置摄像头在所述目标车辆的车辆坐标系下的位置、以及所述关键对象在所述参考图像中的位置,确定所述关键对象在所述车辆坐标系下的基础位置;
根据所述目标车辆对应的运动学模型以及所述基础位置,确定所述关键对象在未来参考时刻的预测位置,将所述预测位置作为所述关键对象在所述驾驶环境中的位置;所述目标车辆对应的运动学模型是根据所述目标车辆的运动状态参数确定的。
可选的,所述装置还包括:投影位置确定模块;所述投影位置确定模块用于:
根据所述AR HUD设备的眼盒在所述车辆坐标系下的位置、以及所述关键对象在所述驾驶环境中的位置,确定所述关键对象对应的虚拟提示元素在成像平面中的目标成像位置;所述成像平面为所述AR HUD设备投影产生的虚像成像平面;
根据所述目标成像位置,在所述成像平面中确定对应所述信息显示区的目标成像区域;所述目标成像区域覆盖所述目标成像位置,且所述目标成像区域用于决定所述信息显示区的显示位置。
本申请实施例提供的信息显示装置,可以根据目标车辆所处驾驶环境中需要驾驶员关注的关键对象的变化,动态地调整AR HUD设备成像的FOV的位置,也即动态地调整通过目标车辆的前挡风玻璃显示的、通过AR HUD设备投影产生的信息显示区的显示位置,从而使得信息显示区可以持续显示驾驶环境中关键对象对应的虚拟提示元素,并且保证该虚拟提示元素的显示位置与关键对象在驾驶环境中的位置相对应,为驾驶员提供更贴合现实的提示信息。在本申请实施例提供的信息显示装置中,当需要驾驶员关注的关键对象从ARHUD设备当前关注的视野范围变化至另一视野范围时,AR HUD设备通过调整其投影产生的信息显示区的显示位置,使得信息显示区对应于变化后的视野范围;如此,基于AR HUD设备提示的信息不再局限于特定的视野范围,可以动态地对应更宽广的视野范围,相应地,驾驶员通过动态的信息显示区,可以获知更丰富的提示信息,提高了使用体验。
本申请实施例还提供了一种用于实现上述信息显示方法的电子设备,该电子设备具体可以是终端设备,该终端设备对应于上文中的控制器。下面将从硬件实体化的角度对本申请实施例提供的终端设备进行介绍。
参见图12,图12是本申请实施例提供的终端设备的结构示意图。如图12所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(Personal DigitalAssistant,PDA)、销售终端(Point of Sales,POS)、车载终端等任意终端设备,以终端为车载终端为例:
图12示出的是与本申请实施例提供的终端相关的车载终端的部分结构的框图。参考图12,车载终端包括:射频(Radio Frequency,RF)电路1210、存储器1220、输入单元1230(其中包括触控面板1231和其他输入设备1232)、显示单元1240(其中包括显示面板1241)、传感器1250、音频电路1260(其可以连接扬声器1261和传声器1262)、无线保真(wirelessfidelity,WiFi)模块1270、处理器1280、以及电源1290等部件。本领域技术人员可以理解,图12中示出的车载终端结构并不构成对车载终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储器1220可用于存储软件程序以及模块,处理器1280通过运行存储在存储器1220的软件程序以及模块,从而执行车载终端的各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据车载终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1280是车载终端的控制中心,利用各种接口和线路连接整个车载终端的各个部分,通过运行或执行存储在存储器1220内的软件程序和/或模块,以及调用存储在存储器1220内的数据,执行车载终端的各种功能和处理数据。可选的,处理器1280可包括一个或多个处理单元;优选的,处理器1280可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1280中。
在本申请实施例中,该终端所包括的处理器1280还用于执行本申请实施例提供的信息显示方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述各个实施例所述的一种信息显示方法中的任意一种实施方式。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前述各个实施例所述的一种信息显示方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (17)
1.一种信息显示方法,其特征在于,所述方法包括:
通过目标车辆的前挡风玻璃显示信息显示区;所述信息显示区是所述目标车辆上的增强现实抬头显示设备AR HUD投影产生的,所述信息显示区中至少包括关键对象对应的虚拟提示元素,所述关键对象为所述目标车辆所处驾驶环境中需要被关注的对象,所述虚拟提示元素的显示位置与所述关键对象在所述驾驶环境中的位置相对应;
若所述关键对象发生满足预设变化条件的变化,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区中包括变化后的关键对象对应的虚拟提示元素。
2.根据权利要求1所述的方法,其特征在于,所述若所述关键对象发生满足预设变化条件的变化,则改变所述信息显示区的显示位置,包括:
若所述关键对象由第一关键对象变为第二关键对象,并且所述信息显示区对于所述第二关键对象对应的虚拟提示元素不满足第一目标显示条件,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区对于所述第二关键对象对应的虚拟提示元素满足所述第一目标显示条件。
3.根据权利要求2所述的方法,其特征在于,所述改变所述信息显示区的显示位置,包括:
当所述第一关键对象为目标地面对象,所述第二关键对象为目标地上对象时,将所述信息显示区的显示位置向上移动;
当所述第一关键对象为目标地上对象,所述第二关键对象为目标地面对象时,将所述信息显示区的显示位置向下移动。
4.根据权利要求2所述的方法,其特征在于,所述改变所述信息显示区的显示位置,包括:
当所述第一关键对象为视线左侧目标对象,所述第二关键对象为视线右侧目标对象时,将所述信息显示区的显示位置向右移动;
当所述第一关键对象为视线右侧目标对象,所述第二关键对象为视线左侧目标对象时,将所述信息显示区的显示位置向左移动。
5.根据权利要求2至4任一项所述的方法,其特征在于,所述改变所述信息显示区的显示位置,包括:
确定所述第一关键对象在成像平面中对应的第一成像位置,以及确定所述第二关键对象在所述成像平面中对应的第二成像位置;所述成像平面为所述AR HUD投影产生的虚像成像平面;
根据所述第一成像位置和所述第二成像位置之间的位置关系,改变所述信息显示区的显示位置。
6.根据权利要求1所述的方法,其特征在于,所述若所述关键对象发生满足预设变化条件的变化,则改变所述信息显示区的显示位置,包括:
若所述关键对象在所述驾驶环境中的位置由第一位置变为第二位置,且所述信息显示区对于所述关键对象位于所述第二位置时对应的虚拟提示元素不满足第二目标显示条件,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区对于所述关键对象位于所述第二位置时对应的虚拟提示元素满足所述第二目标显示条件。
7.根据权利要求6所述的方法,其特征在于,所述改变所述信息显示区的显示位置,包括:
确定位于所述第一位置的所述关键对象在成像平面中对应的第三成像位置,以及确定位于所述第二位置的所述关键对象在所述成像平面中对应的第四成像位置;所述成像平面为所述AR HUD投影产生的虚像成像平面;
根据所述第三成像位置和所述第四成像位置之间的位置关系,改变所述信息显示区的显示位置。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述驾驶环境中包括多个基础关键对象,且所述信息显示区对于所述多个基础关键对象各自对应的虚拟提示元素无法均满足第三目标显示条件时,在所述信息显示区中,显示所述多个基础关键对象中的主要关键对象对应的虚拟提示元素,以及,按照预设的提示方式,显示所述多个基础关键对象中的次要关键对象对应的提示内容。
9.根据权利要求8所述的方法,其特征在于,所述按照预设的提示方式,显示所述多个基础关键对象中的次要关键对象对应的提示内容,包括:
基于所述信息显示区的目标边缘区域,显示所述次要关键对象对应的提示内容;所述目标边缘区域与所述信息显示区的中心之间的相对方向,与所述驾驶环境中所述次要关键对象与所述目标车辆之间的相对方向相匹配。
10.根据权利要求1所述的方法,其特征在于,所述关键对象是通过以下方式确定的:
获取所述目标车辆上的前置摄像头采集的参考图像;
通过图像检测模型,检测所述参考图像中包括的候选关键对象;
根据所述候选关键对象和关键对象确定规则,确定所述关键对象。
11.根据权利要求10所述的方法,其特征在于,所述根据所述候选关键对象和关键对象确定规则,确定所述关键对象,包括:
当所述目标车辆处于常规直行状态时,若所述候选关键对象包括与所述目标车辆之间的距离小于预设距离阈值的障碍对象,则确定所述障碍对象为所述关键对象;
当所述目标车辆处于预变道状态时,确定贴合道路地面的变道提醒信息为所述关键对象;
当所述目标车辆处于预达路口状态时,若所述候选关键对象包括路口的车道引导标识,则确定所述车道引导标识为所述关键对象。
12.根据权利要求10所述的方法,其特征在于,所述关键对象在所述驾驶环境中的位置通过以下方式确定:
根据所述前置摄像头在所述目标车辆的车辆坐标系下的位置、以及所述关键对象在所述参考图像中的位置,确定所述关键对象在所述车辆坐标系下的基础位置;
根据所述目标车辆对应的运动学模型以及所述基础位置,确定所述关键对象在未来参考时刻的预测位置,将所述预测位置作为所述关键对象在所述驾驶环境中的位置;所述目标车辆对应的运动学模型是根据所述目标车辆的运动状态参数确定的。
13.根据权利要求12所述的方法,其特征在于,所述信息显示区的显示位置通过以下方式确定:
根据所述AR HUD的眼盒在所述车辆坐标系下的位置、以及所述关键对象在所述驾驶环境中的位置,确定所述关键对象对应的虚拟提示元素在成像平面中的目标成像位置;所述成像平面为所述AR HUD投影产生的虚像成像平面;
根据所述目标成像位置,在所述成像平面中确定对应所述信息显示区的目标成像区域;所述目标成像区域覆盖所述目标成像位置,且所述目标成像区域用于决定所述信息显示区的显示位置。
14.一种信息显示装置,其特征在于,所述装置包括:
投影显示模块,用于通过目标车辆的前挡风玻璃显示信息显示区;所述信息显示区是所述目标车辆上的增强现实抬头显示设备AR HUD投影产生的,所述信息显示区中至少包括关键对象对应的虚拟提示元素,所述关键对象为所述目标车辆所处驾驶环境中需要被关注的对象,所述虚拟提示元素的显示位置与所述关键对象在所述驾驶环境中的位置相对应;
位置改变模块,用于若所述关键对象发生满足预设变化条件的变化,则改变所述信息显示区的显示位置;显示位置改变后的所述信息显示区中包括变化后的关键对象对应的虚拟提示元素。
15.一种电子设备,其特征在于,所述设备包括处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序执行权利要求1至13中任一项所述的信息显示方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1至13中任一项所述的信息显示方法。
17.一种计算机程序产品,包括计算机程序或者指令,其特征在于,所述计算机程序或者所述指令被处理器执行时,实现权利要求1至13中任一项所述的信息显示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211447544.3A CN118061775A (zh) | 2022-11-18 | 2022-11-18 | 一种信息显示方法及相关装置 |
PCT/CN2023/124428 WO2024104023A1 (zh) | 2022-11-18 | 2023-10-13 | 一种信息显示方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211447544.3A CN118061775A (zh) | 2022-11-18 | 2022-11-18 | 一种信息显示方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118061775A true CN118061775A (zh) | 2024-05-24 |
Family
ID=91083802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211447544.3A Pending CN118061775A (zh) | 2022-11-18 | 2022-11-18 | 一种信息显示方法及相关装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118061775A (zh) |
WO (1) | WO2024104023A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015202846B4 (de) * | 2014-02-19 | 2020-06-25 | Magna Electronics, Inc. | Fahrzeugsichtsystem mit Anzeige |
CN104260669B (zh) * | 2014-09-17 | 2016-08-31 | 北京理工大学 | 一种智能汽车抬头显示器 |
CN105806358B (zh) * | 2014-12-30 | 2019-02-05 | 中国移动通信集团公司 | 一种驾驶提示的方法及装置 |
CN112558299A (zh) * | 2019-09-26 | 2021-03-26 | 光宝电子(广州)有限公司 | 用于扩充实境的抬头显示装置 |
CN113597617A (zh) * | 2021-06-22 | 2021-11-02 | 华为技术有限公司 | 一种显示方法及装置、设备及车辆 |
-
2022
- 2022-11-18 CN CN202211447544.3A patent/CN118061775A/zh active Pending
-
2023
- 2023-10-13 WO PCT/CN2023/124428 patent/WO2024104023A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024104023A1 (zh) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109215433B (zh) | 用于自动驾驶仿真的基于视觉的驾驶场景生成器 | |
US10733462B2 (en) | Travel assistance device and computer program | |
US10984580B2 (en) | Adjusting depth of augmented reality content on a heads up display | |
EP2936240B1 (en) | Infotainment system | |
JP6775188B2 (ja) | ヘッドアップディスプレイ装置および表示制御方法 | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
WO2019097763A1 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP6695049B2 (ja) | 表示装置及び表示制御方法 | |
US20160054563A9 (en) | 3-dimensional (3-d) navigation | |
US20180354509A1 (en) | Augmented reality (ar) visualization of advanced driver-assistance system | |
US20120224060A1 (en) | Reducing Driver Distraction Using a Heads-Up Display | |
CN104515531A (zh) | 增强的3-维(3-d)导航 | |
CN109952491B (zh) | 生成由车辆的感知系统检测的对象的表示的方法和系统 | |
US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
CN114258319A (zh) | 一种投影方法及装置、车辆及ar-hud | |
JP2015219782A (ja) | 画像表示装置、画像表示方法及び画像表示制御プログラム | |
JP2022129175A (ja) | 車両評価方法及び車両評価装置 | |
US20210382560A1 (en) | Methods and System for Determining a Command of an Occupant of a Vehicle | |
WO2024001554A1 (zh) | 车辆导航方法、装置、设备、存储介质和计算机程序产品 | |
CN118061775A (zh) | 一种信息显示方法及相关装置 | |
CN113984087A (zh) | 导航方法、装置、电子设备和可读存储介质 | |
WO2024104023A9 (zh) | 一种信息显示方法及相关装置 | |
JP2019087259A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2019064422A (ja) | ヘッドアップディスプレイ装置 | |
JP7014206B2 (ja) | 表示制御装置および表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |