CN116859591A - 抬头显示系统、引导信息生成方法、装置、介质和程序 - Google Patents
抬头显示系统、引导信息生成方法、装置、介质和程序 Download PDFInfo
- Publication number
- CN116859591A CN116859591A CN202310595672.0A CN202310595672A CN116859591A CN 116859591 A CN116859591 A CN 116859591A CN 202310595672 A CN202310595672 A CN 202310595672A CN 116859591 A CN116859591 A CN 116859591A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- guidance information
- angle
- navigation guidance
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 131
- 238000012937 correction Methods 0.000 claims description 81
- 238000012545 processing Methods 0.000 claims description 48
- 230000003287 optical effect Effects 0.000 claims description 34
- 230000003190 augmentative effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 22
- 230000006870 function Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 210000003128 head Anatomy 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
Abstract
本公开涉及抬头显示系统、引导信息生成方法、装置、介质和程序。该方法包括:基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定车速对应的预测横摆角,预设映射关系用于表征车速与横摆角之间的对应关系;基于预测横摆角和搭载在车辆上的增强现实型抬头显示装置的横向视场角,确定目标旋转角度;基于目标旋转角度,确定目标旋转矩阵,并基于目标旋转矩阵对初始导航引导信息进行旋转变换,生成位于抬头显示装置的可视范围内、沿道路的目标导航引导信息。如此,可提高AR导航引导信息与实际道路的贴合程度和抬头显示装置的信息展示效果。
Description
技术领域
本公开涉及渲染技术领域,尤其涉及一种抬头显示系统、引导信息生成方法、装置、介质和程序。
背景技术
为了提升驾驶安全性,可利用增强现实型抬头显示(Augmented Reality Head UpDisplay,AR-HUD)装置进行辅助驾驶。AR-HUD装置是在车辆行驶过程中,将驾驶车辆所需的行车重要信息(如导航引导信息、行驶数据等)投射在驾驶者抬头即可看见的位置上,并将信息与实际交通环境相融合,使得驾驶员能更加方便、沉浸式地查看行车重要信息。
目前的AR-HUD装置只能将行车重要信息显示在车辆的前方。如果车辆行驶时发生摆动,AR-HUD显示的行车重要信息也会跟随摆动方向移动,导致显示的信息偏离车辆正在行驶的道路,出现信息呈现与实景不贴合的情况,影响用户体验。
发明内容
为了一定程度上解决上述导航引导信息因车辆摆动而偏离车道方向的技术问题,本公开提供了一种抬头显示系统、引导信息生成方法、装置、介质和程序。
第一方面,本公开实施例提供了一种导航引导信息的生成方法,包括:
基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定所述车速对应的预测横摆角;其中,所述预设映射关系用于表征车速与横摆角之间的对应关系;
基于所述预测横摆角和搭载在所述车辆上的增强现实型抬头显示装置的横向视场角,确定目标旋转角度;
基于所述目标旋转角度,确定目标旋转矩阵,并基于所述目标旋转矩阵对初始导航引导信息进行旋转变换,生成位于所述抬头显示装置的可视范围内、沿所述道路的目标导航引导信息。
第二方面,本公开实施例还提供了一种导航引导信息的生成方法,包括:
获取搭载在所述车辆上的增强现实型抬头显示装置的可视范围;
基于所述可视范围边界上的目标可视点和初始导航引导信息中引导所述车辆进入路口的目标引导点,确定对所述初始导航引导信息进行校正的位置校正量;
基于所述初始导航引导信息,确定引导所述车辆进入路口的进入方向;
基于所述可视范围相对于所述车辆的可视朝向和所述进入方向,确定对所述初始导航引导信息进行校正的角度校正量;
基于所述位置校正量和所述角度校正量,对所述初始导航引导信息进行位置偏移处理和角度偏转处理,生成位于所述抬头显示装置的可视范围内、可表征路口行驶方向的目标导航引导信息。
第三方面,本公开实施例还提供了一种导航引导信息的生成装置,包括:
预测横摆角确定模块,用于基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定所述车速对应的预测横摆角;其中,所述预设映射关系用于表征车速与横摆角之间的对应关系;
目标旋转角度确定模块,用于基于所述预测横摆角和搭载在所述车辆上的增强现实型抬头显示装置的横向视场角,确定目标旋转角度;
目标导航引导信息生成模块,用于基于所述目标旋转角度,确定目标旋转矩阵,并基于所述目标旋转矩阵对初始导航引导信息进行旋转变换,生成位于所述抬头显示装置的可视范围内、沿所述道路的目标导航引导信息。
第四方面,本公开实施例还提供了一种导航引导信息的生成装置,包括:
可视范围获取模块,用于获取搭载在所述车辆上的增强现实型抬头显示装置的可视范围;
位置校正量确定模块,用于基于所述可视范围边界上的目标可视点和初始导航引导信息中引导所述车辆进入路口的目标引导点,确定对所述初始导航引导信息进行校正的位置校正量;
进入方向确定模块,用于基于所述初始导航引导信息,确定引导所述车辆进入路口的进入方向;
角度校正量确定模块,用于基于所述可视范围相对于所述车辆的可视朝向和所述进入方向,确定对所述初始导航引导信息进行校正的角度校正量;
目标导航引导信息生成模块,用于基于所述位置校正量和所述角度校正量,对所述初始导航引导信息进行位置偏移处理和角度偏转处理,生成位于所述抬头显示装置的可视范围内、可表征路口行驶方向的目标导航引导信息。
第五方面,本公开实施例还提供了一种电子设备,包括:
存储器和处理器,所述存储器用于存储所述处理器可执行指令;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述可执行指令以实现本公开任意实施例所提供的导航引导信息的生成方法。
第六方面,本公开实施例还提供了一种增强现实型抬头显示系统,包括:传感装置、导航处理装置和抬头显示装置;
所述传感装置,用于采集车辆周围的环境信息和车辆行驶信息;
所述导航处理装置,用于基于所述环境信息、车辆行驶信息和预先生成的导航路线,生成基于增强现实的初始导航引导信息,并基于所述初始导航引导信息、所述车辆行驶信息和所述抬头显示装置的光学投影参数,执行如权利要求1至10中任一项所述的导航引导信息的生成方法,且将生成的目标导航引导信息发送至所述抬头显示装置;
所述抬头显示装置,用于将所述目标导航引导信息进行投射,以使所述目标导航引导信息显示在所述车辆的前方。
第七方面,本公开实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本公开任意实施例所提供的导航引导信息的生成方法。
第八方面,本公开实施例还提供了一种计算机程序产品,所述计算机程序产品用于执行本公开任意实施例所提供的所述导航引导信息的生成方法。
本公开实施例提供的一种导航引导信息的生成方案,可以在车辆行驶于非路口区域的道路的过程中,根据车辆的车速和检测横摆角,利用预设映射关系预测出在该车速下车辆可能产生的横摆角(即预测横摆角),并由该预测横摆角和车辆上搭载的AR-HUD装置的横向视场角,确定出在该车速下不超出AR-HUD装置的可视范围的、可将导航引导信息由车头朝向纠正到上述道路的车道方向所需的目标旋转角度,并利用该目标旋转角度对已经生成的基于增强现实的初始导航引导信息进行旋转处理,生成目标导航引导信息;如此,可在车辆行驶于非路口区域的道路中发生摆动时,使得导航引导信息既能显示在AR-HUD装置的可视范围中,又能尽可能地沿着车辆原本行驶的道路的车道方向进行显示,提高AR导航引导信息与实际道路的贴合程度,一定程度避免给驾驶员造成错误引导的情况,从而提高AR-HUD装置的信息展示效果和准确性。
本公开实施例提供的另一种导航引导信息的生成方案,可以在车辆行驶于路口内道路的过程中,根据搭载于车辆上的AR-HUD装置的可视范围边界上的目标可视点和初始导航引导信息中引导车辆进入路口的目标引导点,从位置和角度两个维度上确定对初始导航引导信息进行校正的位置校正量和角度校正量,并利用该位置校正量和角度校正量对初始导航引导信息进行相应维度的校正,以使至少部分的、可表征路口行驶方向的目标导航引导信息显示于AR-HUD装置的可视范围内,从而使得驾驶员可以根据看到的目标导航引导信息进行正确驾驶,提高了AR-HUD装置显示导航引导信息的连续性和实景融合效果。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种AR-HUD装置的信息显示的示意图;
图2为本公开实施例提供的非路口区域的道路中、对初始导航引导信息进行导航引导信息生成处理前后的显示效果的示意图;
图3为本公开实施例提供的一种针对非路口区域的道路的导航引导信息的生成方法的流程示意图;
图4为本公开实施例提供的一种AR-HUD装置的视场角的示意图;
图5为图3示出的导航引导信息的生成方法中生成预设映射关系的细化流程示意图;
图6为本公开实施例提供的路口内道路中、对初始导航引导信息进行导航引导信息生成处理前后的显示效果的示意图;
图7为本公开实施例提供的一种针对路口内道路的导航引导信息的生成方法的流程示意图;
图8为本公开实施例提供的一种导航引导信息的生成方法中确定AR-HUD装置的可视范围的流程示意图;
图9为本公开实施例提供的一种AR-HUD装置的可视范围的示意图;
图10为本公开实施例提供的一种导航引导信息的生成装置的结构示意图;
图11为本公开实施例提供的另一种导航引导信息的生成装置的结构示意图;
图12为本公开实施例提供的一种增强现实型抬头显示系统的结构示意图;
图13为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
AR-HUD是一种将增强现实(AR,Augmented Reality)与抬头显示(HUD,Head UpDisplay)相结合的技术。其中,增强现实是指通过多媒体、三维建模、实时追踪、智能交互和传感等多种技术手段,将由计算机生成的虚拟信息应用到真实世界中,从而实现对真实世界的增强。抬头显示是指将辅助驾驶信息显示于驾驶者抬头(平视)即可看见的位置上,以使驾驶者不需要低头看仪表或是其他信息显示装置,即可知悉如导航引导信息、仪表数据等与驾驶状况相关的信息。在车辆驾驶的场景下,可以通过增强现实抬头显示设备AR-HUD将导航引导信息投影在驾驶者抬头即可看见的位置上,为驾驶者所看到的显示场景中添加辅助驾驶的信息,在帮助驾驶者集中注意力于路面状况的同时,提高行驶的安全性,并提升驾驶体验。
如图1所示,在增强现实的场景中,将AR-HUD呈现虚拟信息的区域记为虚像(Virtual Image)区域。在实际应用中,虚拟信息可以由投影部件投射呈现,由人眼所看到的虚像可能是经过多次反射或是折射形成的像。在一个应用示例中,虚拟信息由增强现实抬头显示设备AR-HUD的投影部件中的图像生成单元(Picture Generation Unit,PGU)生成,然后通过扩散屏(Diffuser)、反射镜(Reflector)、自由曲面镜(Concave Mirror)、和挡风玻璃(Windshield)的反射以及折射,最终传递到人眼中。为了确保虚拟信息的成像效果,需要根据投影部件的硬件特性、成像介质的光学特性和光路传输特性,以及观像人员(如车辆驾驶者)的人眼位置确定多个光学投影参数,从而使投影部件根据光学投影参数投射虚像。其中,涉及到的光学投影参数可以包括视场角(Field of View,FOV)、虚像距离(Virtual Image Distance,VID)、虚像角度、虚像分辨率(Virtual Image Resolution)和人眼位置(Eye Point)等。其中,虚像距离是指由人眼位置到虚像之间的距离。图1示出了通过AR-HUD投射虚像的一个示意图。如图1所示,由投影部件中的图像生成单元(PGU)生成的虚拟信息经过反射镜、自由曲面镜和前挡风玻璃的反射及折射,最终呈现在驾驶者通过车辆前挡风玻璃可以看到的虚像区域上。
相关技术中,通过AR-HUD装置的光学硬件可将行车重要信息,比如导航引导信息,以虚像形式显示在车辆的前方。对于不需要车辆进行较大转向行驶的非路口区域的道路,如果车辆始终沿着近似直行的方向行驶,那么行车重要信息大概率会呈现出与实际车道贴合的AR显示效果。如图2中(a)所示,当车辆行驶在直行道路中且道路没有较大的转弯时,AR-HUD装置的可视范围内显示的导航引导信息(以连续箭头示意)呈现出贴合直行道路的效果。
但是,当车辆在非路口区域的道路发生一定幅度的横向摆动(如换道行驶)时,AR-HUD装置仍会将行车重要信息显示在车辆的前方,这会造成虚像区域中显示的行车重要信息与实际道路不贴合的显示效果。当行车重要信息是导航引导信息时,还可能会对驾驶员形成错误引导。如图2中(b)所示,车辆在直行道路中向右侧产生了横向摆动,那么AR-HUD装置的可视范围和显示的导航引导信息也会跟随车头朝向而偏向右侧。这样的导航引导信息既不能贴合车道,又无法正确引导车辆继续沿着道路直行行驶,导致AR-HUD装置的信息展示效果出现不准确的问题。
基于上述情况,本公开实施例提供了一种导航引导信息的生成方法,以在车辆行驶过程中,利用AR-HUD装置的光学投影参数和车辆的行驶信息,对AR导航功能生成的初始导航引导信息进行显示方向纠偏,得到显示在AR-HUD装置的可视范围内的、引导方向更加契合道路的车道方向的目标导航引导信息,从而提升导航引导信息的引导正确性及其与道路的贴合程度,且改善了AR-HUD装置的信息展示效果和准确性。
如图2中(c)所示,对于图2中(b)所示的车辆在直行道路中发生了向右侧的横向摆动的情况,经过本公开实施例中的导航引导信息的生成方法的处理,即使其AR-HUD装置的可视范围仍是随着车头方向,向右侧偏转,但其导航引导信息会沿着道路方向显示,以提供直行行驶的引导效果,并且其与车辆原本行驶的车道路面较为贴合。
图3为本公开实施例提供的一种导航引导信息的生成方法的流程示意图,其可以适用于在非路口区域的道路中,对车辆搭载的AR-HUD装置将要投射显示的导航引导信息进行校正处理的情形。该导航引导信息的生成方法可以由导航引导信息的生成装置执行,该装置可以采用软件和/或硬件实现,并可集成在具有一定的计算能力的电子设备上。该电子设备例如可以是安装了导航客户端、且可与车辆/AR-HUD装置通信的用户移动终端(如智能手机、笔记本电脑、移动工作站等),也可以是集成了导航功能的AR-HUD装置,也可以是安装了导航客户端的车载设备(如车机端),还可以是与导航客户端对应的服务端(称为导航服务端)通信连接的车辆控制器等。
如图3所示,本公开实施例提供的导航引导信息的生成方法可以包括:
S310、基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定车速对应的预测横摆角。
其中,非路口区域的道路是指未进入路口内的道路。预设映射关系是预先构建的、用于表征车速与横摆角之间的对应关系,该对应关系可以是通过查找表获得的对应关系,也可以是更加精细的数学关系式,还可以是更加精细的经过训练获得的机器学习模型等。预测横摆角是指通过一些规则预测出来的、车辆在当前时刻还未达到但在未来时刻可能达到的横摆角。
具体地,本公开实施例可以在AR-HUD装置的可视范围内及当前行驶状态下,计算对初始导航引导信息进行旋转校正的最大/极限旋转角度,然后在该最大旋转角度的约束下,对初始导航引导信息进行旋转校正,这样便可获得既显示在AR-HUD装置的可视范围内,又尽可能地贴合实际道路的AR导航引导信息(即目标导航引导信息)。该过程中,可以利用当前行驶状态下大概率会产生的预测横摆角和AR-HUD装置的可视范围的相关参数来计算目标旋转角度。
基于上述说明,电子设备首先要确定当前行驶状态下的预测横摆角。所以,电子设备可以在车辆行驶于非路口区域的道路的过程中,实时获取车辆行驶的速度(即车速)。然后,根据预设映射关系的形式,利用车速进行相应处理,得到车速对应的横摆角,即为预测横摆角。
在一些实施例中,电子设备可以在车辆行驶于非路口区域的道路的过程中,实时地利用获得的车速和预设映射关系循环执行本公开实施例中的导航引导信息的生成流程,即实时循环执行S210~S240。若计算出的、用于纠正导航引导信息的旋转角度(即目标旋转角度)不为0,则利用其对导航引导信息进行旋转处理;若计算出的目标旋转角度为0,则无需进行旋转处理。这样可以对任意时刻的、产生了车道偏离的导航引导信息进行旋转校正,从而提高AR导航引导信息的实景融合准确性,进而提升AR-HUD装置的信息展示效果。
在另一些实施例中,为了降低上述导航处理流程的功耗和时耗,兼顾AR导航引导信息显示的效率和实景融合准确性,可以先判断是否需要进行导航引导信息的旋转校正,再根据判断结果确定是否执行上述导航处理流程。
在该实施例中,S310包括:在车辆行驶于非路口区域的道路的过程中,获取车辆的检测横摆角;若检测横摆角大于预设角度阈值,则执行基于车速和预设映射关系,确定预测横摆角。
其中,检测横摆角是车辆在当前时刻的行驶状态(简称当前行驶状态)下偏离当前位置的局部车道线方向的实时横向偏转角度,其可由车辆上搭载的传感装置检测得到,也可由传感装置检测得到的其他参数推算得到,例如可利用陀螺仪等传感装置测量得到的横摆角速度来推算得到。预设角度阈值是预先设置的横摆角的临界值,其用于判定车辆的横向摆动幅度是否会对导航引导信息的AR显示产生偏转影响。该预设角度阈值可以经验设定,也可以根据道路宽度、导航引导信息偏离车道的可接受程度等信息来确定。
具体地,电子设备可以根据车辆的定位位置和地图数据,判断车辆是否行驶在非路口区域的道路中。若否,则不执行该导航引导信息的生成流程。若是,则获取车辆的检测横摆角,并比较该检测横摆角与预设角度阈值。若检测横摆角小于或等于预设角度阈值,说明车辆的当前横向摆动的幅度未对AR导航引导信息产生明显的偏离车道的显示影响,那么无需对其进行旋转校正,则不执行导航处理流程。若检测横摆角大于预设角度阈值,说明车辆的当前横向摆动的幅度已对AR导航引导信息产生了明显的偏离车道的显示影响,此时启动执行导航引导信息的生成流程,即获取车速,并据其和预设映射关系来确定预测横摆角。
需要说明的是,上述各实施例中的初始导航引导信息是由具备AR导航功能的设备,根据预先生成的导航路线、地图数据、车辆搭载的传感装置所获得的车辆周围的环境信息和车辆本身的行驶数据,利用相关技术中的AR导航技术生成的。若具备AR导航功能的设备为执行上述导航引导信息的生成流程的电子设备或电子设备中的部件,则电子设备生成初始导航引导信息;若具备AR导航功能的设备为执行上述导航引导信息的生成流程的电子设备的外部设备,则电子设备通过与具备AR导航功能的设备或其对应的服务端之间的通信来获得初始导航引导信息。
还需说明的是,上述导航引导信息用于引导车辆按照导航路线规划的道路行驶,不要偏离导航路线,导航引导信息可以是行驶距离与行驶方向的文字组合信息,也可以是二维或三维的虚拟引导箭头,还可以是二维或三维的、具有连续性的虚拟引导线等,本公开实施例不做任何限制。
S320、基于预测横摆角和搭载在车辆上的增强现实型抬头显示装置的横向视场角,确定目标旋转角度。
其中,横向视场角是AR-HUD装置投影出虚像时在水平方向上的、或近似水平方向上的视场角(Field of View,FOV)。参见图4,鉴于AR-HUD装置投射的虚像的长边往往与水平方向呈现平行或近似平行的关系,可将人眼分别与虚像的两个短边的中点构成的射线之间的夹角称为横向视场角,将人眼分别与虚像的两个长边的中点构成的射线之间的夹角称为纵向视场角。
具体地,为了使得AR导航引导信息被驾驶员可见,要求其至少部分处于AR-HUD装置的可视范围内。鉴于横摆角是绕z轴旋转的角度,可以综合上述获得的预测横摆角和AR-HUD装置的横向视场角,以计算得到目标旋转角度。例如,可以将预测横摆角和横向视场角中的较小值确定为目标旋转角度。
在一些实施例中,S320包括:获取搭载在车辆上的增强显示型抬头显示装置的横向视场角;确定横向视场角与设定系数的乘积;将预测横摆角和乘积中的较小者作为目标旋转角度。
其中,设定系数是预先设置的一个系数值,其可基于驾驶员的视觉可见区域和AR-HUD装置的可视范围的关系来确定。本公开实施例中,设定系数小于1。这是因为驾驶员的视觉可见范围需在AR-HUD装置的可视范围内,若超出可视范围,则驾驶员无法看到行车信息的投射虚像。示例性地,设定系数可取值为0.5。这是因为初始导航引导信息被显示在AR-HUD装置的可视范围的中心线方向,可更加适配驾驶员的视觉体验,故在驾驶员可见的基础上其可被旋转处理的最大角度便是一半的横向视场角。
具体地,电子设备可以通过与AR-HUD装置的通信,获得其横向视场角。然后,计算横向视场角和设定系数的乘积。之后,将预测横摆角和该乘积中的较小值确定为目标旋转角度。这样可以提高目标旋转角度的准确性,进一步确保目标导航引导信息的引导正确性和可见性。
在一些实施例中,导航引导信息的生成方法还包括:基于检测横摆角和预设衰减方程,确定车辆横向摆动的最大幅度系数。
其中,预设衰减关系用于表征横摆角和最大幅度系数之间的对应关系,其可以实现为查找表,也可实现为线性或非线性的数学方程式。该最大幅度系数用于表征某一横摆角的行驶状态下可进行横向摆动角度的旋转校正的最大幅度的系数,其取值范围为[0,1]。
具体地,为了避免车辆行驶过程中出现AR导航引导信息突变跳转显示的现象,如任意相邻时刻的校正旋转角度变化较大时,可能出现的AR导航引导信息在AR-HUD装置的可视范围内来回晃动或者大幅度移动显示位置的现象,可以引入一个预先设置的角度衰减方程(即预设衰减方程),以确保最终获得的多个连续时刻的校正旋转角度呈现逐渐变化的形态,从而使得驾驶员在行车过程中看到的AR导航引导信息是连续且持续地缓慢校正至车道线方向,进一步提升AR-HUD装置的信息显示效果和用户体验。
具体实施时,电子设备利用检测横摆角和预设衰减关系,处理得到当前时刻适配检测横摆角的最大幅度系数。例如,当预设衰减关系为查找表时,以检测横摆角为索引对查找表进行查询处理,得到最大幅度系数。当预设衰减关系为数学方程式时,可将检测横摆角输入该预设衰减关系,计算得到最大幅度系数。
相应地,在S320之前,导航引导信息的生成方法还包括:利用目标旋转角度和最大幅度系数的乘积,更新目标旋转角度,作为用于确定目标旋转矩阵的目标旋转角度。
具体地,根据上述说明,预测横摆角是当前时刻的车速下,车辆大概率会产生的横摆角,而横向视场角是车辆最大可横向摆动的角度。那么,由预测横摆角和横向视场角所得的目标旋转角度可能是适配当前时刻的车速的旋转角度,而不一定是适配该车辆的检测横摆角的旋转角度。所以,为了提高目标旋转角度与车辆的实时行驶状态的适配程度,兼顾车辆的当前车头朝向状态,从而进一步提升导航引导信息的显示准确性,可将目标旋转角度和上述由检测横摆角获得的最大幅度系数相乘,并将其乘积作为新的目标旋转角度。这样也可确保得到的新的目标旋转角度与当前时刻的前后相邻时刻的目标旋转角度之间呈现较为平稳地变化,从而确保多个连续时刻的AR导航引导信息的校正结果在视觉上呈现渐变效果,尽可能地避免AR导航引导信息突变跳转造成的视觉混乱对驾驶员的影响。
进一步地,如果目标旋转角度是由预测横摆角以及横向视场角和设定系数的乘积中的较小者确定的,那么“利用目标旋转角度和最大幅度系数的乘积,更新目标旋转角度,作为用于确定目标旋转矩阵的目标旋转角度”可实现为:利用比较所得的上述较小者和最大幅度系数的乘积,更新目标旋转角度,作为用于确定目标旋转矩阵的目标旋转角度。这样可更进一步地提升后续初始导航引导信息校正的准确性。
在另一些实施例中,电子设备可将检测横摆角和目标旋转角度中的较小值确定为新的目标旋转角度。
具体地,在检测横摆角小于目标旋转角度时,说明车辆在当前时刻偏离原本行驶的车道线方向的角度并未达到上述确定的可允许旋转的最大旋转角度,那么为了避免过纠正初始导航引导信息的问题,例如图2中(b)的示例,避免出现将初始导航引导信息由相对于直行车道线偏右的方向纠正到相对于直行车道线偏左的方向的过纠正问题,可将检测横摆角确定为新的目标旋转角度。在检测横摆角大于或等于目标旋转角度时,说明车辆在当前时刻偏离原本行驶的车道线方向的角度已达到/超过上述确定的可允许旋转的最大旋转角度,那么为了确保导航引导信息可被驾驶员看到,保持目标旋转角度不变。
S330、基于目标旋转角度确定目标旋转矩阵,并基于目标旋转矩阵对初始导航引导信息进行旋转变换,生成位于抬头显示装置的可视范围内、沿道路的目标导航引导信息。
具体地,AR初始导航引导信息是显示在三维空间中的。所以,电子设备在获得目标旋转角度后,可以据其生成绕z轴旋转的三维的目标旋转矩阵。然后,利用该目标旋转矩阵对AR初始导航引导信息进行旋转变换,以对整体的初始导航引导信息进行旋转校正,生成目标导航引导信息。
参见图2中的(c),在车头朝向往车道线方向的右侧偏转了检测横摆角的情况下,电子设备可根据上述导航引导信息的生成流程来得到目标旋转矩阵,并利用其将连续箭头示意的导航引导信息,从车头朝向方向整体向左旋转目标旋转角度,使得目标导航引导信息尽可能地沿着直行车道线方向显示。
在一些实施例中,可在图3示出的导航引导信息的生成方法中S310之前增加对多个用户的驾驶行为数据进行分析来构建预设映射关系的相关处理步骤。如图5所示,在图3示出的导航引导信息的生成方法中S310之前的预设映射关系生成流程包括:
S510、获取历史轨迹集合。
具体地,电子设备可从各种渠道获得多个驾驶员曾经行驶过的行驶轨迹数据(简称历史轨迹数据),构成历史轨迹集合。例如,电子设备可从多个导航客户端或导航服务端中提取得到多个用户的历史轨迹数据;又如,电子设备可从相关的存储平台中提取得到多个用户的历史轨迹数据。每条历史轨迹数据中包含至少一个同一时刻的车速和摆动角。
因为预设映射关系是表征车速和横摆角之间的换算关系的,所以上述历史轨迹数据可以是并线、换道等驾驶场景下所获得的行驶轨迹数据。这样可以确保历史轨迹数据是产生了横摆角的轨迹数据,可以一定程度上降低历史轨迹集合的冗余信息,从而提高预设映射关系的生成效率。
在一些实施例中,为了提高预设映射关系与正在驾驶车辆的驾驶员(即目标用户)的适配程度,从而提高后续初始导航引导信息的校正结果与目标用户的驾驶习惯的契合程度,可以将目标用户的历史轨迹数据纳入历史轨迹集合中。即获取目标用户的历史轨迹数据,并将历史轨迹数据添加至历史轨迹集合,以更新历史轨迹集合。例如,可以是将目标用户在某个时间点之前的历史轨迹数据添加至历史轨迹集合;也可以是目标用户对应的客户端每产生一条新的历史轨迹数据,便将其添加至历史轨迹集合。
S520、从历史轨迹集合中提取历史车速和历史车速对应的历史横摆角。
具体地,电子设备对历史轨迹集合中的每条历史行驶数据执行相同的数据提取操作:提供同一时刻的车速(即历史车速)和横摆角(即历史横摆角),构成信息对。
需要说明的是,电子设备在提取出上述各信息对后,还可对其进行过滤处理,以剔除其中的噪声点。例如,可以对历史车速过低或历史横摆角过小的信息对进行剔除操作。该过低的车速限值可以根据正常道路中正常行驶的车速或交规中的最低限速来确定。该过小的横摆角限值可以根据业务需求(如曲线拟合精度、曲线拟合速度等)经验设定。
S530、对历史车速和历史横摆角进行曲线拟合,生成车速与对应的横摆角之间的预设映射关系。
具体地,电子设备利用上述获得的历史车速和历史横摆角构成的各信息对进行曲线拟合,得到预设映射关系。
通过上述实施例所获得的预设映射关系,一方面是一个数值连续的数学关系式,可以一定程度上提高预测横摆角的准确性,另一方面是根据实际行车数据得到的数学关系式,其相对于车辆运动学模型计算出的理论映射关系,更加符合实际行驶情况,使得据其所得的预测横摆角可以更加准确地表征相应车速下的最大横摆角,提高预测准确性。
本公开实施例还提供了一种针对路口内道路的导航引导信息的生成方法,其可以适用于在路口内区域的道路中,对车辆搭载的AR-HUD装置将要投射显示的导航引导信息进行校正处理的情形。
当车辆由非路口区域的道路行驶至路口内道路、且导航路线指示在路口内车辆需要转向行驶(比如左转、右转、掉头等)时,因AR-HUD装置的硬件限制和AR初始导航引导信息的转弯特性,很可能会使得AR初始导航引导信息超出AR-HUD装置的可视范围,造成驾驶员无法看到导航引导信息的情况。参见图6中(a),AR-HUD装置的可视范围显示在车辆的前方的一定距离处。当车辆处于路口内道路且导航路线为左转弯时,AR初始导航引导信息会呈现出由向前直行变为左转的弧形形态。这时,因为可视范围距离车头相对较远,使得AR初始导航引导信息显示在可视范围之外,驾驶员便看不到导航引导信息,导致AR-HUD装置显示导航引导信息的连续性和实景融合效果均较差。
基于上述情况,本公开实施例还可以对车辆行驶于路口内道路的驾驶场景进行导航引导信息的生成处理,即根据AR-HUD装置的可视范围中的点和初始导航引导信息中的点,从位置和角度两个维度上确定对初始导航引导信息进行校正的位置校正量和角度校正量,进而利用该位置校正量和角度校正量对初始导航引导信息进行校正,以使至少部分的、可表征路口行驶方向的目标导航引导信息显示于AR-HUD装置的可视范围内,从而使得驾驶员可以根据看到的目标导航引导信息进行正确驾驶,提高了AR-HUD装置显示信息的连续性和实景融合效果。
上述导航引导信息的生成方法可以由导航引导信息的生成装置执行,该装置可以采用软件和/或硬件实现,并可集成在具有一定的计算能力的电子设备上。该电子设备例如可以是安装了导航客户端、且可与车辆/AR-HUD装置通信的用户移动终端(如智能手机、笔记本电脑、移动工作站等),也可以是集成了导航功能的AR-HUD装置,也可以是安装了导航客户端的车载设备(如车机端),还可以是与导航客户端对应的服务端(称为导航服务端)通信连接的车辆控制器等。
如图7所示,为本公开实施例提供的针对路口内道路的导航引导信息的生成方法的流程示意图。参见图7,该导航引导信息的生成方法,具体包括:
S710、获取搭载在车辆上的增强现实型抬头显示装置的可视范围。
具体地,基于上述说明,电子设备可先获得AR-HUD装置的可视范围,为后续对初始导航引导信息的校正提供显示范围的约束。若车辆相关装置中已经存储有该车辆上搭载的AR-HUD装置的可视范围,则电子设备可通过与车辆的通信来获得该可视范围。若车辆相关装置中并未存储该可视范围,则电子设备可利用AR-HUD装置的投影部件的硬件特性、成像介质的光学特性和光路传输特性,以及驾驶者的人眼位置等多个光学投影参数来计算获得。该计算可视范围的过程可参见后续实施例的说明。
S720、基于可视范围边界上的目标可视点和初始导航引导信息中引导车辆进入路口的目标引导点,确定对初始导航引导信息进行校正的位置校正量。
其中,位置校正量是对初始导航引导信息的显示位置进行校正的值。
其中,目标可视点是AR-HUD装置的可视范围的边界上的一个点,其可根据业务需求或用户设置中要求将导航引导信息显示在可视范围内的位置来确定。例如,目标可视点可以是可视范围的中心线上的某个点,以契合导航引导信息显示的习惯。再如,目标可视点也可以是可视范围中远离导航引导方向一侧的点,如导航引导方向为向左转,那么目标可视点可以是可视范围中靠近右侧边界上的点,以尽可能地扩大导航引导信息的显示范围。
示例性地,目标可视点为可视范围中靠近车辆一侧的边界上的中点。如图6中(a)所示,目标可视点为AR-HUD装置的可视范围的下方边界上的中点P。这样后续校正所得的目标导航引导信息便会从可视范围的起始边缘的中点处开始显示,提升驾驶员查看导航引导信息的便捷性,也可一定程度上提升导航引导信息与实际路面的贴合效果。
其中,目标引导点是初始导航引导信息中的一个点,其用于引导车辆行驶入路口内区域。目标引导点可根据业务需求或用户设置中要求的导航引导信息的显示起始位置来确定。例如,目标引导点可以是导航引导信息的起始点与其中发生路线指引方向变化的点之间的任一点。这样可以显示至少一部分的、与当前行驶方向一致的导航引导信息,为驾驶员提供较为完整的行驶方向的引导。
示例性地,目标引导点为初始导航引导信息中位于车辆前方且到车辆定位位置最近的一个引导点。如图6中(a)所示,初始导航引导信息中最靠近车辆一端的点便为目标引导点Q。这样可以较多地显示与当前行驶方向一致的导航引导信息,提升对驾驶员后续行驶方向的引导正确性。
具体地,电子设备根据车辆的定位位置和地图数据判断车辆即将行驶至路口内道路时,可以按照上述说明来获取目标可视点和目标引导点。然后,基于将目标引导点纠正至目标可视点的位置校正规则,根据目标可视点和目标引导点之间的位置关系来计算位置校正量。
可以理解的是,电子设备在计算位置校正量之前,可以先判断初始导航引导信息是否显示在可视范围内。例如,电子设备获得可视范围和目标引导点后,判断目标引导点是否处于可视范围上或可视范围内。若是,则说明初始导航引导信息显示在可视范围内,可以不对其进行校正处理。若否,则说明初始导航引导信息未显示在可视范围内,则执行本实施例的校正流程。
在一些实施例中,在目标可视点为可视范围中靠近车辆一侧的边界上的中点,目标引导点为初始导航引导信息中位于车辆前方且到车辆定位位置最近的一个引导点的情况下,S720可实现为如下步骤A~步骤C,以确保导航引导信息的起始点便显示在可视范围的底部中点。
步骤A、基于增强现实型抬头显示装置的可视范围信息,确定中点在设定坐标系下的可视点坐标。
其中,可视范围信息是指可视范围的定量化信息,例如可以是可视范围的四个角点的坐标,也可以是可视范围的各边缘的序列点坐标等。设定坐标系是预先设定的、进行初始导航引导信息校正的坐标系,例如可以是人眼坐标系、车体坐标系或世界坐标系等。
具体地,电子设备从AR-HUD装置的可视范围信息中提取/计算出可视范围中靠近车辆一侧的可视边缘的中点的坐标。例如,可视范围信息为四个角点坐标时,电子设备可根据靠近车辆一侧的可视边缘上的两个角点坐标计算出上述中点的坐标。再如,可视范围信息为序列点坐标时,电子设备可从靠近车辆一侧的可视边缘的序列点坐标中提取或插值计算出上述中点的坐标。如果上述中点的坐标处于设定坐标系下,则将其作为可视点坐标;如果上述中点的坐标不是设定坐标系下的坐标,则利用坐标系转换关系,将其转换至设定坐标系,得到可视点坐标。
步骤B、基于初始导航引导信息,确定目标引导点在设定坐标系下的引导点坐标。
具体地,电子设备可从初始导航引导信息中提取到引导点的坐标。同样地,可将引导点的坐标确定至设定坐标系下,作为引导点坐标。
步骤C、基于可视点坐标和引导点坐标,确定位移向量,作为位置校正量。
具体地,由可视点坐标和引导点坐标,可计算得到目标引导点Q向目标可视点P的位移向量,作为位置校正量。
S730、基于初始导航引导信息,确定引导车辆进入路口的进入方向。
其中,进入方向是指初始导航引导信息在其局部范围内的导航指引方向,例如可以通过局部范围内的初始导航引导信息的切线方向或任意两点的连线方向来确定。
具体地,根据上述说明,引导车辆进入路口区域的初始导航引导信息可呈现出弧形形状,对其校正除了位置偏移校正外,还可能需要进行角度偏移的校正,故电子设备还可根据初始导航引导信息来获得引导车辆进入路口的进入方向。
在一些实施例中,S730包括:基于初始导航引导信息中的目标引导点和辅助引导点,构建设定坐标系下的引导向量;将引导向量的向量方向确定为引导车辆进入路口的进入方向。
其中,辅助引导点为初始导航引导信息中处于目标引导点的预设区域范围内的点。预设区域范围可根据业务需求或用户设置中对导航引导信息的显示方向的校正程度来经验设定。示例性地,辅助引导点为目标引导点的相邻点。电子设备可将初始导航引导信息中的起始部分的第一个点和第二个点分别确定为目标引导点和辅助引导点。这样便可确保导航引导方向为初始导航引导信息的起始引导方向,从而确保目标导航引导信息的起始部分是直行的引导方向,提升了目标导航引导信息的初始部分的直行引导效果。
具体地,电子设备可从初始导航引导信息中确定出辅助引导点。然后,计算由目标引导点指向辅助引导点的向量,即引导向量,并将该引导向量的向量方向确定为进入方向,如图6中(a)中所示的进入方向向量。需要说明的是,如果该步骤中参与计算的坐标未处于设定坐标系下,则可执行相应的坐标转换处理。
S740、基于可视范围相对于车辆的可视朝向和初始导航引导信息的进入方向,确定对初始导航引导信息进行校正的角度校正量。
其中,可视朝向是指可视范围相对于车头的显示方位。例如可视范围处于车辆的前方时,可视朝向与车头朝向一致。角度校正量是指对初始导航引导信息的显示方位进行校正的值。
具体地,如图6中(a)所示,初始导航引导信息除了显示位置处于可视范围之外,其起始部分的局部范围的导航引导方向也与可视范围的可视朝向存在角度差异,这样容易给驾驶员造成直接左向行驶的错觉。所以,电子设备可根据可视朝向和导航引导方向来计算两者之间的角度校正量,以便呈现出在路口内的转弯引导。
在一些实施例中,可由可视范围的纵向中心线方向和初始导航引导信息的起始部分的两点间向量方向计算角度校正量,以使后续校正所得的目标导航引导信息的起始部分尽可能沿着可视范围的纵向中心线方向显示,呈现出由直行转变为转弯的AR导航引导效果。在该实施例中,S740包括如下步骤D和步骤E:
步骤D、基于可视范围信息,确定可视范围在设定坐标系下的纵向中心线方向,作为可视朝向。
其中,纵向中心线是指虚像延伸至地面所得的可视范围的长边所在方向上的中心线。纵向中心线方向是指纵向中心线上由车头指向可视范围的方向。
具体地,电子设备可根据可视范围信息计算出设定坐标系下的可视范围的两个短边的中点坐标。然后,计算靠近车头一侧的中点坐标向远离车头一侧的中点坐标的方向向量,确定出纵向中心线方向,作为可视范围的可视朝向。
步骤E、确定纵向中心线方向和进入方向的夹角,作为角度校正量。
具体地,电子设备由纵向中心线方向和进入方向可计算获得两者间的夹角,作为角度校正量。
S750、基于位置校正量和角度校正量,对初始导航引导信息进行位置偏移处理和角度偏转处理,生成位于抬头显示装置的可视范围内、可表征路口行驶方向的目标导航引导信息。
具体地,电子设备按照位置校正量,对初始导航引导信息进行整体平移的位置偏移处理。如图6(b)所示,将初始导航引导信息沿着的位移向量进行整体平移,使得目标导航引导信息的目标引导点Q与可视范围的下方边界上的中点P重合。
另外,电子设备按照角度校正量来构建校正旋转矩阵,并利用该校正旋转矩阵对初始导航引导信息进行角度偏转处理,以将初始导航引导信息由进入方向校正至可视范围的纵向中心线方向。如图6(b)所示,目标导航引导信息的起始部分的进入方向与可视范围的纵向中心线方向重合。
如图6(b)所示,经过上述位置偏移处理和角度偏转处理(处理顺序可不限定),可将目标导航引导信息的初始部分显示在可视范围内,且呈现了起始直行而后左转的路口行驶方向的导航引导效果。
在一些实施例中,如图8所示,在图7示出的路口内道路中的导航引导信息的生成方法中的S710具体包括:
S810、获取增强现实型抬头显示装置的光学投影参数。
其中,光学投影参数是AR-HUD装置将虚像投射至车辆的投影显示装置(如前挡风玻璃)时的光学参数。光学投影参数至少包括人眼位置(x,y,z)、虚像与人眼之间的虚像距离、横向视场角、纵向视场角和虚像的姿态角(俯仰角pitch、航向角yaw、横滚角roll)。
具体地,电子设备获取AR-HUD装置的光学投影参数。例如,AR-HUD装置将其出厂设置的光学投影参数传输至电子设备;再如,AR-HUD装置检测到驾驶员调整了相关参数后,将调整后的光学投影参数传输至电子设备;又如,电子设备根据识别出的驾驶员的人眼位置对AR-HUD装置出厂的光学投影参数进行自适应调整,得到调整后的光学投影参数。
S820、基于虚像的中心点位置、虚像距离、横向视场角和纵向视场角,确定虚像在图像坐标系下的各初始角点位置。
其中,中心点位置是指虚像中心的位置。
具体地,可视范围是人眼坐标系下虚像延伸至地平面时产生的视觉可视区域,而光学投影参数大多为世界坐标系下的数据,虚像中的点的坐标主要是图像坐标系下的数据。所以,在计算可视范围的过程中,需要进行各种坐标系之间的转换处理。考虑到坐标系的转换过程会引入一些误差,可在转换坐标系之前,计算出虚像在图像坐标系下的四个角点的坐标,即初始角点位置。
电子设备可以基于虚像距离、横向视场角和纵向视场角,确定虚像的虚像宽度和虚像高度,并基于虚像的中心点位置、虚像宽度和虚像高度,确定投影虚像在虚像坐标系下的各初始角点位置。
参见图4,认为图像坐标系中的虚像呈现矩形形式。电子设备可以根据虚像距离OM、横向视场角和纵向视场角,计算得到虚像在图像坐标系中的虚像宽度AB(或CD)和虚像高度AD(或BC)。然后,根据虚像中心M的中心点位置、虚像宽度AB和虚像高度AD,计算出虚像的四个角点的初始角点位置。
对于上述中心点位置,如果光学投影参数中有该参数,则电子设备可直接获取;如果光学投影参数中没有该参数,那么电子设备可以根据光学投影参数中的曲面镜的位置确定曲面镜与前挡风玻璃之间的距离,再根据该距离和光学投影参数中的曲面镜的投影角度,确定虚像在前挡风玻璃上的位置,进而根据该虚像在前挡风玻璃上的位置,确定中心点位置。
S830、基于姿态角、横向视场角和纵向视场角,确定图像坐标系转换至人眼坐标系的投影旋转矩阵。
具体地,受限于AR-HUD装置的光学硬件,虚像在人眼坐标系中与地平面之间并非呈现横平竖直的状态,而是存在一定的角度。所以,为了使得人眼看到较为规则的可视范围,电子设备可根据虚像在三轴上的姿态角、横向视场角和纵向视场角,构建由图像坐标系投影至人眼坐标系的投影旋转矩阵。
S840、基于投影旋转矩阵和各初始角点位置,确定虚像在人眼坐标系下的各目标角点位置。
具体地,电子设备利用投影旋转矩阵对各初始角点位置进行投影旋转变化,得到虚像的四个角点在人眼坐标系下的坐标,即目标角点位置。至此,可由四个角点的目标角点位置确定出虚像在人眼坐标系中的虚像平面。
S850、从人眼位置向各目标角点位置构造射线,并确定射线延长至人眼坐标系下的地平面的交点位置,且由各交点位置确定可视范围。
具体地,电子设备可根据人眼高度确定出人眼坐标系下的地平面。然后,从人眼位置向各目标角点位置投射射线,并延伸至地平面形成交点,且确定各交点的坐标,得到各交点位置。这些交点位置构成的区域便为可视范围。如图9所示,由图4中的虚像ABCD可得到可视范围A′B′C′D′,其在地平面中呈现为视觉范围随着与车头距离的增大而逐渐扩大的梯形或近似梯形的区域。
图10为本公开实施例提供的一种导航引导信息的生成装置的结构示意图。如图10所示,本公开实施例提供的导航引导信息的生成装置1000可以包括:
预测横摆角确定模块1010,用于基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定车速对应的预测横摆角;其中,预设映射关系用于表征车速与横摆角之间的对应关系;
目标旋转角度确定模块1020,用于基于预测横摆角和搭载在车辆上的增强现实型抬头显示装置的横向视场角,确定目标旋转角度;
目标导航引导信息生成模块1030,用于基于目标旋转角度,确定目标旋转矩阵,并基于目标旋转矩阵对初始导航引导信息进行旋转变换,生成位于抬头显示装置的可视范围内、沿道路的目标导航引导信息。
在一些实施例中,目标旋转角度确定模块1020具体用于:
获取搭载在车辆上的增强显示型抬头显示装置的横向视场角;
确定横向视场角与设定系数的乘积;其中,设定系数小于1;
将预测横摆角和乘积中的较小者作为目标旋转角度。
在一些实施例中,导航引导信息的生成装置1000还包括幅度系数确定模块,用于:
基于检测横摆角和预设衰减关系,确定车辆横向摆动的最大幅度系数;其中,最大幅度系数的取值范围在0到1之间;
相应地,导航引导信息的生成装置1000还包括目标旋转角度更新模块,用于:
在基于目标旋转角度,确定目标旋转矩阵之前,利用目标旋转角度和最大幅度系数的乘积,更新目标旋转角度,作为用于确定目标旋转矩阵的目标旋转角度。
在一些实施例中,导航引导信息的生成装置1000还包括预设映射关系生成模块,用于:
在基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定车速对应的预测横摆角之前,获取历史轨迹集合;
从历史轨迹集合中提取历史车速和历史车速对应的历史横摆角;
对历史车速和历史横摆角进行曲线拟合,生成车速与对应的横摆角之间的映射关系。
在一些实施例中,预测横摆角确定模块1010具体用于:
获取车辆的检测横摆角;
若检测横摆角大于预设角度阈值,则执行基于车速和预设映射关系,确定预测横摆角。
图11为本公开实施例提供的另一种导航引导信息的生成装置的结构示意图。如图11所示,本公开实施例提供的导航引导信息的生成装置1100可以包括:
可视范围获取模块1110,用于获取搭载在车辆上的增强现实型抬头显示装置的可视范围;
位置校正量确定模块1120,用于基于可视范围边界上的目标可视点和初始导航引导信息中引导车辆进入路口的目标引导点,确定对初始导航引导信息进行校正的位置校正量;
进入方向确定模块1130,用于基于初始导航引导信息,确定引导车辆进入路口的进入方向;
角度校正量确定模块1140,用于基于可视范围相对于车辆的可视朝向和进入方向,确定对初始导航引导信息进行校正的角度校正量;
目标导航引导信息生成模块1150,用于基于位置校正量和角度校正量,对初始导航引导信息进行位置偏移处理和角度偏转处理,生成位于抬头显示装置的可视范围内、可表征路口行驶方向的目标导航引导信息。
在一些实施例中,目标可视点为可视范围中靠近车辆一侧的边界上的中点,目标引导点为初始导航引导信息中位于车辆前方且到车辆定位位置最近的一个引导点;
相应地,位置校正量确定模块1120具体用于:
基于增强现实型抬头显示装置的可视范围信息,确定中点在设定坐标系下的可视点坐标;
基于初始导航引导信息,确定目标引导点在设定坐标系下的引导点坐标;
基于可视点坐标和引导点坐标,确定位移向量,作为位置校正量。
在一些实施例中,进入方向确定模块1130具体用于:
基于初始导航引导信息中的目标引导点和辅助引导点,构建设定坐标系下的引导向量;
将引导向量的向量方向确定为引导车辆进入路口的进入方向,其中,辅助引导点为初始导航引导信息中位于目标引导点的前方预设区域范围内的点。
在一些实施例中,角度校正量确定模块1140具体用于:
基于增强现实型抬头显示装置的可视范围信息,确定可视范围在设定坐标系下的纵向中心线方向,作为可视朝向;
确定纵向中心线方向和进入方向的夹角,作为角度校正量。
在一些实施例中,辅助引导点为目标引导点的相邻点。
本公开实施例所提供的导航引导信息的生成装置可执行本公开任意实施例所提供的导航引导信息的生成方法,具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
值得注意的是,上述基于增强现实型抬头显示装置的实施例中,所包括的各个模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本公开的保护范围。
图12为本公开实施例提供的一种增强现实型抬头显示系统的结构示意图。如图12所示,本公开实施例提供的增强现实型抬头显示系统1200可以包括直接或间接地通信连接的传感装置1210、导航处理装置1220和抬头显示装置1230。
传感装置1210可以是搭载在车辆上的各种传感器,用于采集车辆周围的环境信息和车辆行驶信息。示例性地,该车辆行驶信息可以包括车速、检测横摆角和车辆位置中的至少一种。
在一些实施例中,传感装置1210可以包括但不限于轮转速传感器、速度传感器、加速度传感器、方向盘转角传感器、前轮转角传感器等,用于采集车辆的相关行驶数据;也可以包括但不限于陀螺仪、全球导航定位(Global Navigation Satellite System,GNSS)传感器和惯性导航(Inertial Navigation System,INS)传感器等,用于测量车辆位姿相关数据;还可以包括但不限于摄像头、激光雷达和毫米波雷达等,用于采集车辆周围的图像和点云等数据,以感知车辆周围环境。
导航处理装置1220,用于基于环境信息、车辆行驶信息和预先生成的导航路线,生成基于增强现实的初始导航引导信息,并基于初始导航引导信息、车辆行驶信息和抬头显示装置的光学投影参数,执行本公开任意实施例所说明的导航引导信息的生成方法,且将生成的目标导航引导信息发送至抬头显示装置1230。其中,导航路线可根据车辆行驶的起始位置和目的地位置、以及地图数据,利用相关技术中的路线规划方法来得到。
在一些实施例中,导航处理装置1220具体用于:基于初始导航引导信息、车速、检测横摆角和抬头显示装置的横向视场角,执行本公开任意实施例所说明的、针对非路口区域的道路中的导航引导信息的生成方法。
在另一些实施例中,导航处理装置1220具体用于:基于初始导航引导信息、车辆位置和抬头显示装置中的可视范围,执行本公开任意实施例所说明的、针对路口内道路中的导航引导信息的生成方法。
导航处理装置1220可以是软件装置、硬件装置或者软硬件结合的装置。
在一些实施例中,导航处理装置1220可以是支持一定的操作系统运行的硬件设备。在一示例中,导航处理装置1220可以是安装有导航客户端的用户移动终端。该用户移动终端例如可以是智能手机、笔记本电脑或移动工作站等。这里的导航客户端至少可以提供地图数据、AR导航功能和上述基于抬头显示装置1230的导航处理功能。在另一示例中,导航处理装置1220可以是安装有上述导航客户端的车载设备,如车机。在又一示例中,导航处理装置1220可以是导航服务端对应的终端设备,如服务器。该服务器可以提供地图数据、AR导航中导航路线的规划功能、AR初始导航引导信息的生成功能以及上述基于抬头显示装置1230的导航处理功能。
在另一些实施例中,导航处理装置1220可以是运行在操作系统上的软件。例如,导航处理装置1220可实现为应用程序、软件开发工具包(Software Development Kit,SDK)、计算机程序代码等形式,并集成在上述硬件设备中。
无论采用何种具体的实现形式,导航处理装置1220都可以通过特定的通信协议直接与抬头显示装置1230通信,并将目标导航引导信息发送至抬头显示装置1230;或者,导航处理装置1220可以直接与车辆控制器通信,并将目标导航引导信息发送至车辆控制器,再由车辆控制器将目标导航引导信息发送至抬头显示装置1230。
抬头显示装置1230至少可以包括投影仪和两个曲面镜,投影仪用于接收目标导航引导信息,并将其按照光学投影参数投射出去,经过至少两个曲面镜的反射,最终将目标导航引导信息进行投射,以使目标导航引导信息显示在车辆的前方。该车辆的前方例如可以是车辆的前挡风玻璃,也可以是独立设置在车辆中的显示玻璃等。
需要理解的是,当导航处理装置1220为车机时,增强现实型抬头显示系统1200可以是具有智能驾驶功能(如辅助驾驶或无人驾驶等)的车辆,传感装置1210、导航处理装置1220和抬头显示装置1230均是集成在车辆上的装置。
值得注意的是,上述增强现实型抬头显示系统的实施例中,所包括的各个装置只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能装置的具体名称也只是为了便于相互区分,并不用于限制本公开的保护范围。
本公开实施例还提供了一种电子设备,该电子设备至少可以包括处理器和存储器,存储器可以用于存储可执行指令。其中,处理器可以用于从存储器中读取可执行指令,并执行可执行指令以实现上述任意实施例中的导航引导信息的生成方法。
图13为本公开实施例提供的一种电子设备的结构示意图。如图13所示,电子设备1300可以包括处理器1301(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)1302中的程序或者从存储装置1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中,还存储有电子设备1300操作所需的各种程序和数据。处理器1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
通常,以下装置可以连接至I/O接口1305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1307;包括例如磁带、硬盘等的存储装置1308;以及通信装置1309。通信装置1309可以允许电子设备1300与其他设备进行无线或有线通信以交换数据。
需要说明的是,图13示出的电子设备1300仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。即虽然图13示出了具有各种装置的电子设备1300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1309从网络上被下载和安装,或者从存储装置1308被安装,或者从ROM 1302被安装。在该计算机程序被处理器1301执行时,可以执行本公开任意实施例提供的导航引导信息的生成方法中限定的功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务端可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行本公开任意实施例所提供的导航引导信息的生成方法。
在本公开实施例中,可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算机上执行、部分地在计算机上执行、作为一个独立的软件包执行、部分在计算机上部分在远程计算机上执行、或者完全在远程计算机或服务端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,计算机可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或计算机可读储存介质。计算机可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。计算机可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
Claims (15)
1.一种导航引导信息的生成方法,其特征在于,包括:
基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定所述车速对应的预测横摆角;其中,所述预设映射关系用于表征车速与横摆角之间的对应关系;
基于所述预测横摆角和搭载在所述车辆上的增强现实型抬头显示装置的横向视场角,确定目标旋转角度;
基于所述目标旋转角度,确定目标旋转矩阵,并基于所述目标旋转矩阵对初始导航引导信息进行旋转变换,生成位于所述抬头显示装置的可视范围内、沿所述道路的目标导航引导信息。
2.根据权利要求1所述的方法,其特征在于,所述基于所述车辆的预测横摆角和搭载在所述车辆上的增强现实型抬头显示装置的横向视场角,确定目标旋转角度,包括:
获取搭载在所述车辆上的增强显示型抬头显示装置的横向视场角;
确定所述横向视场角与设定系数的乘积;其中,所述设定系数小于1;
将所述预测横摆角和所述乘积中的较小者作为所述目标旋转角度。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
基于所述车辆的检测横摆角和预设衰减关系,确定所述车辆横向摆动的最大幅度系数;其中,所述最大幅度系数的取值范围在0到1之间;
在所述基于所述目标旋转角度,确定目标旋转矩阵之前,所述方法还包括:
利用所述目标旋转角度和所述最大幅度系数的乘积,更新所述目标旋转角度,作为用于确定所述目标旋转矩阵的目标旋转角度。
4.根据权利要求1所述的方法,其特征在于,在所述基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定所述车速对应的预测横摆角之前,所述方法还包括:
获取历史轨迹集合;
从所述历史轨迹集合中提取历史车速和所述历史车速对应的历史横摆角;
对所述历史车速和所述历史横摆角进行曲线拟合,生成车速与对应的横摆角之间的映射关系。
5.根据权利要求1所述的方法,其特征在于,所述基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定所述车速对应的预测横摆角,包括:
获取所述车辆的检测横摆角;
若所述检测横摆角大于预设角度阈值,则执行基于所述车速和所述预设映射关系,确定所述预测横摆角。
6.一种导航引导信息的生成方法,其特征在于,包括:
获取搭载在所述车辆上的增强现实型抬头显示装置的可视范围;
基于所述可视范围边界上的目标可视点和初始导航引导信息中引导所述车辆进入路口的目标引导点,确定对所述初始导航引导信息进行校正的位置校正量;
基于所述初始导航引导信息,确定引导所述车辆进入路口的进入方向;
基于所述可视范围相对于所述车辆的可视朝向和所述进入方向,确定对所述初始导航引导信息进行校正的角度校正量;
基于所述位置校正量和所述角度校正量,对所述初始导航引导信息进行位置偏移处理和角度偏转处理,生成位于所述抬头显示装置的可视范围内、可表征路口行驶方向的目标导航引导信息。
7.根据权利要求6所述的方法,其特征在于,所述目标可视点为所述可视范围中靠近所述车辆一侧的边界上的中点,所述目标引导点为所述初始导航引导信息中位于车辆前方且到车辆定位位置最近的一个引导点;
所述基于所述可视范围边界上的目标可视点和初始导航引导信息中引导所述车辆进入路口的目标引导点,确定对所述初始导航引导信息进行校正的位置校正量,包括:
基于所述增强现实型抬头显示装置的可视范围信息,确定所述中点在设定坐标系下的可视点坐标;
基于所述初始导航引导信息,确定所述目标引导点在所述设定坐标系下的引导点坐标;
基于所述可视点坐标和所述引导点坐标,确定位移向量,作为所述位置校正量。
8.根据权利要求7所述的方法,其特征在于,所述基于所述初始导航引导信息,确定引导所述车辆进入路口的进入方向,包括:
基于所述初始导航引导信息中的所述目标引导点和辅助引导点,构建所述设定坐标系下的引导向量;
将所述引导向量的向量方向确定为引导所述车辆进入路口的进入方向,其中,所述辅助引导点为所述初始导航引导信息中位于所述目标引导点的前方预设区域范围内的点。
9.根据权利要求6所述的方法,其特征在于,所述基于所述可视范围相对于所述车辆的可视朝向和所述进入方向,确定对所述初始导航引导信息进行校正的角度校正量包括:
基于所述增强现实型抬头显示装置的可视范围信息,确定所述可视范围在设定坐标系下的纵向中心线方向,作为所述可视朝向;
确定所述纵向中心线方向和所述进入方向的夹角,作为所述角度校正量。
10.根据权利要求8所述的方法,其特征在于,所述辅助引导点为所述目标引导点的相邻点。
11.一种导航引导信息的生成装置,其特征在于,包括:
预测横摆角确定模块,用于基于车辆在非路口区域的道路上行驶时的车速和预设映射关系,确定所述车速对应的预测横摆角;其中,所述预设映射关系用于表征车速与横摆角之间的对应关系;
目标旋转角度确定模块,用于基于所述预测横摆角和搭载在所述车辆上的增强现实型抬头显示装置的横向视场角,确定目标旋转角度;
目标导航引导信息生成模块,用于基于所述目标旋转角度,确定目标旋转矩阵,并基于所述目标旋转矩阵对初始导航引导信息进行旋转变换,生成位于所述抬头显示装置的可视范围内、沿所述道路的目标导航引导信息。
12.一种导航引导信息的生成装置,其特征在于,包括:
可视范围获取模块,用于获取搭载在所述车辆上的增强现实型抬头显示装置的可视范围;
位置校正量确定模块,用于基于所述可视范围边界上的目标可视点和初始导航引导信息中引导所述车辆进入路口的目标引导点,确定对所述初始导航引导信息进行校正的位置校正量;
进入方向确定模块,用于基于所述初始导航引导信息,确定引导所述车辆进入路口的进入方向;
角度校正量确定模块,用于基于所述可视范围相对于所述车辆的可视朝向和所述进入方向,确定对所述初始导航引导信息进行校正的角度校正量;
目标导航引导信息生成模块,用于基于所述位置校正量和所述角度校正量,对所述初始导航引导信息进行位置偏移处理和角度偏转处理,生成位于所述抬头显示装置的可视范围内、可表征路口行驶方向的目标导航引导信息。
13.一种增强现实型抬头显示系统,其特征在于,包括:传感装置、导航处理装置和抬头显示装置;
所述传感装置,用于采集车辆周围的环境信息和车辆行驶信息;
所述导航处理装置,用于基于所述环境信息、车辆行驶信息和预先生成的导航路线,生成基于增强现实的初始导航引导信息,并基于所述初始导航引导信息、所述车辆行驶信息和所述抬头显示装置的光学投影参数,执行如权利要求1至10中任一项所述的导航引导信息的生成方法,且将生成的目标导航引导信息发送至所述抬头显示装置;
所述抬头显示装置,用于将所述目标导航引导信息进行投射,以使所述目标导航引导信息显示在所述车辆的前方。
14.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的导航引导信息的生成方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品用于执行权利要求1至10中任一项所述的导航引导信息的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310595672.0A CN116859591A (zh) | 2023-05-24 | 2023-05-24 | 抬头显示系统、引导信息生成方法、装置、介质和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310595672.0A CN116859591A (zh) | 2023-05-24 | 2023-05-24 | 抬头显示系统、引导信息生成方法、装置、介质和程序 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116859591A true CN116859591A (zh) | 2023-10-10 |
Family
ID=88227510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310595672.0A Pending CN116859591A (zh) | 2023-05-24 | 2023-05-24 | 抬头显示系统、引导信息生成方法、装置、介质和程序 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116859591A (zh) |
-
2023
- 2023-05-24 CN CN202310595672.0A patent/CN116859591A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11320836B2 (en) | Algorithm and infrastructure for robust and efficient vehicle localization | |
CN107328411B (zh) | 车载定位系统和自动驾驶车辆 | |
US10282915B1 (en) | Superimposition device of virtual guiding indication and reality image and the superimposition method thereof | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
US11709069B2 (en) | Method and device for displaying 3D augmented reality navigation information | |
KR101558353B1 (ko) | 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치 | |
KR100721560B1 (ko) | 임의 시점을 가지는 3차원 차량정보 제공 시스템 및 그방법 | |
JP6695049B2 (ja) | 表示装置及び表示制御方法 | |
KR20180088149A (ko) | 차량 경로 가이드 방법 및 장치 | |
EP3842762B1 (en) | Ar navigation method and apparatus | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
US20200282832A1 (en) | Display device and computer program | |
CN210139859U (zh) | 汽车碰撞预警系统、导航系统及汽车 | |
WO2019224922A1 (ja) | ヘッドアップディスプレイ制御装置、ヘッドアップディスプレイシステム、及びヘッドアップディスプレイ制御方法 | |
WO2021197190A1 (zh) | 基于增强现实的信息显示方法、系统、装置及投影设备 | |
US20190241070A1 (en) | Display control device and display control method | |
US9791287B2 (en) | Drive assist system, method, and program | |
JPWO2004048895A1 (ja) | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 | |
EP3885706B1 (en) | Real-time localization error correction by consumer automated vehicles | |
EP3968630A1 (en) | Gradient change detection system, display system using this, and program for moving body | |
KR102020629B1 (ko) | 증강 현실을 이용하여 헤드업 디스플레이 향상 방법 및 시스템 | |
CN116136418A (zh) | 导航引导信息生成方法、导航引导方法、程序产品和介质 | |
CN116859591A (zh) | 抬头显示系统、引导信息生成方法、装置、介质和程序 | |
US20210109358A1 (en) | Display system | |
KR20160068488A (ko) | 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |