CN109990797A - 一种用于hud的增强现实导航显示的控制方法 - Google Patents
一种用于hud的增强现实导航显示的控制方法 Download PDFInfo
- Publication number
- CN109990797A CN109990797A CN201711478233.2A CN201711478233A CN109990797A CN 109990797 A CN109990797 A CN 109990797A CN 201711478233 A CN201711478233 A CN 201711478233A CN 109990797 A CN109990797 A CN 109990797A
- Authority
- CN
- China
- Prior art keywords
- information
- vehicle
- control method
- stereoscopic image
- hud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 26
- 230000009471 action Effects 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 8
- 230000000704 physical effect Effects 0.000 abstract description 5
- 230000008447 perception Effects 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000004438 eyesight Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 244000170916 Paeonia officinalis Species 0.000 description 1
- 235000006484 Paeonia officinalis Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002559 palpation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
Abstract
本发明提供了一种用于HUD的增强现实导航显示的控制方法，用于自动驾驶系统的增强现实导航控制，包括如下步骤：a.对地图路口数据进行处理以识别地图路口数据中路线指示信息；b.将路线指示信息转换为三维立体影像；c.将三维立体影像投射在HUD设备上。本发明显示内容完全吻合驾驶员现实道路形状、行驶轨迹、转向路径和驾驶员及车辆的物理动作；在显示方式上采用立体视觉技术，使影像呈现近大远小的深度变化，模拟人类眼睛与目标物体的三角定位来感知深度，实现增强现实AR显示效果；通过多种传感器感知车辆姿态和位置，实时计算构建虚拟影像以吻合驾驶员的现实动作，实现增强现实AR中的空间感知效果。本发明功能强大，实用性强、具有极高的商业价值。
Description
技术领域
本发明属于影像显示领域，具体地，涉及一种用于HUD的增强现实导航显示的控制方法。
背景技术
平视显示器(Head Up Display)，以下简称HUD，是运用在航空器上的飞行辅助仪器。平视的意思是指飞行员不需要低头就能够看到他需要的重要资讯。平视显示器最早出现在军用飞机上，降低飞行员需要低头查看仪表的频率，避免注意力中断以及丧失对状态意识(Situation Awareness)的掌握。因为HUD的方便性以及能够提高飞行安全，民航机也纷纷跟进安装。
HUD在游戏中也被广泛应用，例如传统的角色扮演类游戏、格斗游戏、体育游戏亦或是驾驶模拟类游戏等等，通过增强现实极大了增加了游戏的可玩性以及趣味性。
然而随着时代的不断进步，人们逐渐将HUD技术运用在客车、汽车上，将HUD市场转向了更为普通人所能够使用的大众化平台，然而，现阶段由于HUD技术的不够成熟，人们往往不大容易接收此类科技产品。
而在传统的驾驶模式中，人们要去一个陌生的地方，往往通过车载导航或者手机导航的方式来实现，但无论是车载导航或者手机导航，都需要人们在陌生的十字路口通过低头观看或者手动触摸的方式进行定位驾驶，而在这样的情况下，给汽车驾驶带来了极大的安全隐患，使复杂的交通环境造成了严重的威胁。
而经过改进的通过HUD进行投射的方式，主要是直接将手机上的二维地图内容投射或显示在HUD屏上，这种直接投射手机地图的方式，并不适合于HUD这种新型产品平台，由于手机地图内容都是庞杂密集的，直接显示在驾驶员眼前，会阻挡驾驶员视线，造成一定的安全隐患。并且，只是生硬地显示一幅地图，其显示内容并没有响应到驾驶员及车辆在现实世界中的加减速、转向等物理动作，会使得整个内容与现实脱钩，驾驶员需要一定的反应时间才能将显示的虚拟信息与真实世界对应起来，在一定程度上造成驾驶员的困惑。
而目前并没有一种能够通过HUD的增强显示实现导航的控制控制方法，具体地，并没有一种用于HUD的增强现实导航显示的控制方法。
发明内容
针对现有技术存在的技术缺陷，本发明的目的是提供一种用于HUD的增强现实导航显示的控制方法，用于自动驾驶系统的增强现实导航控制，包括如下步骤：
a.对地图路口数据进行处理以识别地图路口数据中路线指示信息；
b.将所述路线指示信息转换为三维立体影像；
c.将所述三维立体影像投射在所述HUD设备上。
优选地，所述步骤c包括如下步骤：
c1.检测驾驶员的视线信息；
c2.根据驾驶员的视线信息调整三维立体影像的投射位置；
c3.基于基础地图信息与所述三维立体影像进行计算，并将合成后的三维影像投射在所述HUD设备上。
优选地，所述基础地图信息为三维化的基础地图信息。
优选地，在所述步骤b之前还包括如下步骤：
i.获取车辆的地理位置信息，并将所述地理位置信息与所述路线指示信息进行处理，以使得所述路线指示信息与所述车辆当前所在位置相匹配。
优选地，在所述步骤c之后还包括如下步骤：
d.根据车辆的驾驶信息，实时更新所述三维立体影像，并将更新后的三维立体影像投射在所述HUD设备上。
优选地，所述步骤d包括如下步骤：
d2.根据车辆的驾驶信息，实时更新路线指示信息；
d3.将所述路线指示信息转换为三维立体影像；
d4.将所述三维立体影像投射在所述HUD设备上。
优选地，在所述步骤d2之前还包括如下步骤：
d1.获取所述车辆的驾驶信息。
优选地，所述车辆的驾驶信息包括车辆的地理位置信息、车辆加速减速动作信息以及车辆姿态信息。
优选地，在所述步骤d中，获取车辆的地理位置信息，并将所述地理位置信息与所述地图路口信息进行处理，以使得所述路线指示信息与所述车辆当前所在位置相匹配。
优选地，在所述步骤d中，通过加速度计传感器获取所述车辆的加速减速动作信息，并将所述加速减速动作信息与所述地图路口信息进行处理，以使得所述路线指示信息与所述车辆的加速减速动作相匹配。
优选地，在所述步骤d中，通过陀螺仪传感器获取所述车辆姿态信息，并基于所述车辆姿态信息以及所述地图路口信息进行旋转处理，以使得所述路线指示信息与所述车辆的转弯动作相匹配。
优选地，所述路线指示信息至少包括所述地图路口数据中的指示箭头信息以及所述地图路口数据中的路网像素信息。
优选地，还包括如下步骤：
-获取所述车辆两侧的车辆信息；
若所述车辆两侧存在车辆，则将所述路线指示信息中的道路宽度信息按比例缩小，并将缩小后的路线指示信息转换为三维立体影像后投射在所述HUD设备上。
本发明通过对地图路口数据进行识别，同时获取车辆的地理位置信息，与识别后的路线指示信息相匹配，将所述路线指示信息转换为三维立体影像，并将所述三维立体影像投射在所述HUD设备上，同时根据所述车辆的地理位置信息实时更新所述三维立体影像。
本发明的目的在于，设计和实现一种更加适合HUD显示的控制方法。相较于在HUD上只是显示普通导航地图：
1.本发明显示的内容完全吻合驾驶员驾驶期间的现实道路形状、行驶轨迹、转向路径和驾驶员及车辆的物理动作；
2.在显示方式上采用立体视觉技术，使得影像呈现近大远小的深度变化，模拟人类眼睛与目标物体的三角定位来感知深度，从而实现增强现实AR显示效果；
3.通过多种传感器感知车辆姿态和位置，实时计算构建虚拟影像以吻合驾驶员的现实动作，从而实现增强现实AR中的空间感知效果。
本发明功能强大，实用性强、操作简单，具有极高的商业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出了本发明的具体实施方式的，一种用于HUD的增强现实导航显示的控制方法的具体流程示意图；
图2示出了本发明的第一实施例的，将所述三维立体影像投射在所述HUD设备上的具体流程示意图。
图3示出了本发明的第二实施例的，一种用于HUD的增强现实导航显示的控制方法的具体流程示意图；
图4示出了本发明的第三实施例的，根据车辆的驾驶信息，实时更新所述三维立体影像，并将更新后的三维立体影像投射在所述HUD设备上的具体流程示意图；以及
图5示出了本发明的第四实施例的，在车辆驾驶中，实时显示三维立体影像的状态图。
具体实施方式
为了更好的使本发明的技术方案清晰地表示出来，下面结合附图对本发明作进一步说明。
图1示出了本发明的具体实施方式的，一种用于HUD的增强现实导航显示的控制方法的具体流程示意图，用于自动驾驶系统的增强现实导航控制，平视显示器，以下简称HUD，是运用在航空器上的飞行辅助仪器。平视的意思是指飞行员不需要低头就能够看到他需要的重要资讯，本发明的应用平台为车载抬头显示器HUD，HUD目前主要应用在车辆驾驶时，为驾驶员提供车辆信息、导航信息等内容，并将内容直接显示在驾驶员眼前的装置。
在现有技术中，目前只是利用地图厂商提供的地图SDK来做导航显示，受地图SDK所限，只能显示地图SDK提供的二维网状地图。二维网状地图的产生是受科技发展所限，历史上网状地图只能绘制在二维纸张上，本身是二维的，与现实三维世界差别巨大，使用者在使用二维地图时，往往需要额外的脑力活动才能将二维地图与三维世界映射起来。考虑驾驶汽车时，驾驶员在高速行驶时的反应时间是以秒计的，在脑海中时刻进行二维与三维之间的相互转换会降低驾驶员的反应速度；同时现有二维地图冗余信息太多，直接投射在驾驶员眼前，对驾驶员视线造成阻挡。
基于上述考虑，本发明提供了一种用于HUD的增强现实导航显示的控制方法，具体地，包括如下步骤：
首先，进入步骤S101，对地图路口数据进行处理以识别地图路口数据中路线指示信息，本领域技术人员理解，所述地图路口数据即为二维的地图导航数据，在这样的实施例中，驾驶员通过设置导航，规定指定路线，所述地图路口数据即为所有需要到达的路线信息，进一步地，所述路线指示信息为至少包括所述地图路口数据中的指示箭头信息以及所述地图路口数据中的路网像素信息，所述指示箭头信息为提示驾驶员向左、向右、直行、变道或者掉头等信息的提示，所述路网像素信息由周围的事物、景象、障碍物、红绿灯等信息组成。
进一步地，基于驾驶员的导航设置，系统优选地利用OpenCV技术在移动设备GPU上，对地图路口数据进行处理，识别路口图中箭头和路网像素信息，提取出来转换为三维立体影像，投射显示在Hud屏上，最后反映在驾驶员眼前。
然后，进入步骤S102，将所述路线指示信息转换为三维立体影像，在这样的实施例中，本发明利用移动OpenGL ES技术，将获得的地图数据，转换为三维空间中的图形影像，投射显示在Hud屏上，所述移动OpenGL ES即为OpenGL for Embedded Systems，是OpenGL三维图形API的子集，针对手机、PDA和游戏主机等嵌入式设备而设计，这属于目前现有技术，在此不予赘述，本领域技术人员理解，通过将所述路线指示信息转换为三维立体影像，能够实现对于二维图像向三维图像的转变，并将三维图像显示在驾驶员眼前。
最后，进入步骤S103，将所述三维立体影像投射在所述HUD设备上，本领域技术人员理解，本发明所使用的HUD悬挂于驾驶员额头前方一定距离，所述HUD下方设置有一透明光学镜片，所述透明光学镜片或贴合或与车前镜保持一定距离设置，所述HUD将所述路线指示信息通过所述透明光学镜片呈现三维立体影像，驾驶员通过该透明光学镜片可以同时看到虚拟影像和车外现实景象，所述三维立体影像具有明显的层次感，可使驾驶员实时感受到画面中实际的距离感，而在另一个优选地实施例中，所述HUD前方透明光学镜片中显示的虚拟影像的实际效果会因为HUD透镜的光学特征被放大至3倍，并呈虚像在挡风玻璃外2至3米的位置。
图2示出了本发明的第一实施例的，将所述三维立体影像投射在所述HUD设备上的具体流程示意图，本领域技术人员理解，本发明基于驾驶员的身体姿态以及驾驶员的视线从而确定所述三维立体影像投射位置，具体地包括如下步骤：
首先，进入步骤S1031，检测驾驶员的视线信息，本领域技术人员理解，检测所述驾驶员的视线信息的方式可以通过基于TOF原理的深度相机对驾驶员每秒进行30帧以上的拍摄，从而不断的获取驾驶员的驾驶姿态，进一步地，通过驾驶员的身体骨架活动，分析头部的上下左右活动，获取驾驶员的视线信息，例如，驾驶员在驾驶过程中抬头，通过实时拍摄，获取驾驶员抬头的动作以及抬头的幅度，从而获取所述驾驶员的视线信息。
然后，进入步骤S1032，根据驾驶员的视线信息调整三维立体影像的投射位置，在这样的实施例中，所述HUD可以实现360°的立体旋转，基于所述驾驶员的视线信息，获取驾驶员目光所对应的屏幕位置，进一步地，调整所述HUD的投射角度，例如，根据步骤S1031，驾驶员视线左移，分析所述视线左移的幅度，进一步地，计算所述HUD向左移动的角度。
最后，基于基础地图信息与所述三维立体影像进行计算，并将合成后的三维影像投射在所述HUD设备上，本领域技术人员理解，进一步地，本发明基于基础地图信息与所述三维立体影像进行计算，并将合成后的三维影像投射在所述HUD设备上，所述基础地图信息为三维化的基础地图信息，而所述三维化的基础地图信息并不能直接投射在透明光学镜片上进行显示，本发明利用OpenCL并行运算技术，将图像处理移到GPU上进行计算，节省了移动CPU运算能力，将所述三维化的基础地图信息与所述三维立体影像进行计算、合成，将合成后的三维影像投射在所述HUD设备上，此时的合成后的三维影像即为最终能够显示的立体影响，并投射在所述HUD设备上。
图3示出了本发明的第二实施例的，一种用于HUD的增强现实导航显示的控制方法的具体流程示意图，作为本发明的第二实施例，图2示出了一种完善的用于HUD的增强现实导航显示的控制方法，具体地，包括如下步骤：
首先，进入步骤S201，对地图路口数据进行处理以识别地图路口数据中路线指示信息，所述步骤S201可以参考图1中示出的步骤S101，在此不予赘述。
然后，进入步骤S202，获取车辆的地理位置信息，并将所述地理位置信息与所述路线指示信息进行处理，以使得所述路线指示信息与所述车辆当前所在位置相匹配，本领域技术人员理解，由于目前汽车中都自带GPS，而在驾驶员进行导航时，无论使用手机中的GPS或者使用汽车自带的GPS，都可以实现获取车辆的地理位置信息，进一步地，在所述路线指示信息中，优选地包含车辆所在的地理位置信息，以所述地理位置信息寻找在所述路线指示信息中相应地位置信息，使得所述路线指示信息与所述车辆当前所在位置相匹配。
紧接着，进入步骤S203，将所述路线指示信息转换为三维立体影像，所述步骤S203可以参考图1中示出的步骤S102，在此不予赘述。
再然后，进入步骤S204，将所述三维立体影像投射在所述HUD设备上，所述步骤S204可以参考图1中示出的步骤S103，在此不予赘述。
最后，进入步骤S205，根据车辆的驾驶信息，实时更新所述三维立体影像，并将更新后的三维立体影像投射在所述HUD设备上，本领域技术人员理解，所述车辆的驾驶信息包括车辆的地理位置信息、车辆加速减速动作信息以及车辆姿态信息等等，考虑驾驶汽车时，驾驶员在高速行驶时的反应时间是以秒计的，故实时更新所述三维影像尤为重要，本发明将通过车辆的位置、速度、姿态完全吻合驾驶员驾驶期间的现实道路形状、行驶轨迹、转向路径和驾驶员及车辆的物理动作，使驾驶员能够充分的安全驾驶，所述车辆的地理位置信息、车辆加速减速动作信息以及车辆姿态信息将在后述的具体实施方式中做进一步地描述，在此不予赘述。
图4示出了本发明的第三实施例的，根据车辆的驾驶信息，实时更新所述三维立体影像，并将更新后的三维立体影像投射在所述HUD设备上的具体流程示意图，作为本发明的第三实施例，图3是基于步骤S205的详细描述，具体地，包括如下步骤：
首先，进入步骤S2051,获取所述车辆的驾驶信息，优选地，所述车辆的驾驶信息包括车辆的地理位置信息、车辆加速减速动作信息以及车辆姿态信息。
进一步地，获取车辆的地理位置信息，并将所述地理位置信息与所述地图路口信息进行处理，以使得所述路线指示信息与所述车辆当前所在位置相匹配，在这样的实施例中，上述操作可以参考步骤S202，通过实时获取车辆的地理位置信息，能准确的得知车辆的实时地理位置，并基于所述地图路口信息，实时变更三维立体影像。
进一步地，通过加速度计传感器获取所述车辆的加速减速动作信息，并将所述加速减速动作信息与所述地图路口信息进行处理，以使得所述路线指示信息与所述车辆的加速减速动作相匹配，在这样的实施例中，通过所述加速度计传感器能够在三维立体影像中实时的感受到踩油门、踩刹车所带来的视觉效果，并基于所述加速、减速动作信息，从而加快或者减慢与所述加速减速动作相匹配的所述路线指示信息的实时更新，使每一次加速或者减速，都能在三维立体影像中予以呈现。
进一步地，通过陀螺仪传感器获取所述车辆姿态信息，并基于所述车辆姿态信息以及所述地图路口信息进行旋转处理，以使得所述路线指示信息与所述车辆的转弯动作相匹配，在这样的实施例中，车辆在向左转，向右转时，基于陀螺仪传感器，实时检测到所述车辆的姿态信息，并将所述姿态信息与所述路线指示信息匹配，进一步地，当车辆向左转时，在三维立体影像中呈现出向左转过程中以及左转后的立体成像信息。
而在另一个特殊的实施例中，所述车辆的驾驶信息还包括高度位置信息，在这样的实施例中，由于目前汽车中很少设置有高度传感器，而在移动终端中高度传感器的运用却十分广泛，所述高度传感器主要利用的是气压传感器，即通过测量周围气压来计算当前移动终端的海拔高度，此类传感器常常被运用于导航辅助，在三维定位中，往往会有高架桥的上坡、下拨或者通过驾驶信息实时获取此时车辆在桥上或者桥下等等，将所述高度传感器运用到所述用于HUD的增强现实导航显示的控制方法，能更准确、精致的对车辆所在高度进行实时定位，区分上桥下桥，区分桥上桥下，具体地，通过高度传感器获取所述车辆高度信息，并基于所述车辆高度信息以及所述地图路口信息进行处理，以使得所述路线指示信息与所述车辆的高度相匹配。
而在另一个优选地实施例中，所述车辆的驾驶信息还包括所述车辆两侧的车辆信息，在这样的实施例中，为了在三维立体影像中实时模拟驾驶员的驾驶状态，优选地获取所述车辆两侧的车辆信息，在一个优选地实施例中，驾驶员在一条大道上行驶，三条道路中其中两条被停车的车辆占据，只有其中一条能够通行，既当车辆两侧存在车辆，则将所述路线指示信息中的道路宽度信息按比例缩小，并将缩小后的路线指示信息转换为三维立体影像后投射在所述HUD设备上。
然后，进入步骤S2052，根据车辆的驾驶信息，实时更新路线指示信息，在这样的实施例中，无论车辆两侧是否有车辆，车辆是否在转弯、在掉头亦或者在倒车，都可以基于所述地理位置信息、车辆加速减速动作信息以及车辆姿态信息实时更新路线指示信息。
再然后，进入步骤S2053，将所述路线指示信息转换为三维立体影像，所述步骤S2053可以参考步骤S102，在此不予赘述。
最后，进入步骤S2054，将所述三维立体影像投射在所述HUD设备上，所述步骤S2054可以参考步骤S103，在此不予赘述。
图5示出了本发明的第四实施例的，在车辆驾驶中，实时显示三维立体影像的状态图，本领域技术人员理解，本发明在显示方式上采用立体视觉技术，使得影像呈现近大远小的深度变化，模拟人类眼睛与目标物体的三角定位来感知深度，从而实现增强现实AR显示效果，并通过多种传感器感知车辆姿态和位置，实时计算构建虚拟影像以吻合驾驶员的现实动作，从而实现增强现实AR中的空间感知效果。
如图4所示，图片为HUD前方透明光学镜片中显示的虚拟影像，本发明所呈现的虚拟影像中的道路形状，与驾驶员眼前正在行进的现实道路形状完全一致，如图4所示，在通过离前方路口的转向距离来提醒驾驶员真实的转向时机，例如此时还剩200m经过前方的转向路口，车辆可以通过调整方向盘来实时改变虚拟影像的呈现画面。
进一步地，本发明通过详细的路口放大图来显示路口真实的复杂的情况，以避免驾驶员驶入错误的路口，例如在本发明的第二实施例中，通过获取所述车辆两侧的车辆信息来实时更新路线指示信息。
进一步地，本发明会在详细的路口放大图上动态标识目前车辆在路口的位置，使驾驶员明确自己当前在路口的位置，对照窗外真实景象，从而获得转向信心。
如图4所示，本发明在虚拟影像上明确标明下一条路的路名，使驾驶员对照真实世界路牌，明确自己的驾驶路径。
更为具体地，图4中反映的虚拟影像并不是一成不变的，而是通过各种传感器进行实时调整，例如本发明通过GPS传感器感知车辆位置，实时更新眼前虚拟道路形状，保证跟驾驶员眼前现实道路一致；本发明通过加速度计传感器感知车辆加速减速动作，实时调整眼前虚拟影像尺寸，使驾驶员感知到现实物理动作在虚拟影像上的反馈，同时获得最适合目前车辆速度的观察图像大小；本发明通过陀螺仪传感器感知车辆姿态，实时旋转虚拟影像方向，使得驾驶员获得与现实世界完全一致的虚拟影像。
本领域技术人员理解，本发明不再是简单的显示二维地图，而是通过移动OpenGLES技术、OpenCV技术、OpenCL等技术手段，在Hud屏幕上显示与现实世界高度吻合的三维导航信息，通过以上技术的运用，Hud所呈现的虚拟导航影像与现实世界高度吻合，驾驶员无需再进行二维与三维空间之间的思维转换，真正实现所见即所得的增强现实AR导航体验。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (13)
1.一种用于HUD的增强现实导航显示的控制方法，用于自动驾驶系统的增强现实导航控制，其特征在于，包括如下步骤：
a.对地图路口数据进行处理以识别地图路口数据中路线指示信息；
b.将所述路线指示信息转换为三维立体影像；
c.将所述三维立体影像投射在所述HUD设备上。
2.根据权利要求1所述的控制方法，其特征在于，所述步骤c包括如下步骤：
c1.检测驾驶员的视线信息；
c2.根据驾驶员的视线信息调整三维立体影像的投射位置；
c3.基于基础地图信息与所述三维立体影像进行计算，并将合成后的三维影像投射在所述HUD设备上。
3.根据权利要求2所述的控制方法，其特征在于，所述基础地图信息为三维化的基础地图信息。
4.根据权利要求1至3中任一项所述的控制方法，其特征在于，在所述步骤b之前还包括如下步骤：
i.获取车辆的地理位置信息，并将所述地理位置信息与所述路线指示信息进行处理，以使得所述路线指示信息与所述车辆当前所在位置相匹配。
5.根据权利要求1至3中任一项所述的控制方法，其特征在于，在所述步骤c之后还包括如下步骤：
d.根据车辆的驾驶信息，实时更新所述三维立体影像，并将更新后的三维立体影像投射在所述HUD设备上。
6.根据权利要求5所述的控制方法，其特征在于，所述步骤d包括如下步骤：
d2.根据车辆的驾驶信息，实时更新路线指示信息；
d3.将所述路线指示信息转换为三维立体影像；
d4.将所述三维立体影像投射在所述HUD设备上。
7.根据权利要求6所述的控制方法，其特征在于，在所述步骤d2之前还包括如下步骤：
d1.获取所述车辆的驾驶信息。
8.根据权利要求6或7所述的控制方法，其特征在于，所述车辆的驾驶信息包括如下信息中的任一种或任多种：
-车辆的地理位置信息；
-车辆加速减速动作信息；以及
-车辆姿态信息。
9.根据权利要求8所述的控制方法，其特征在于，在所述步骤d中，获取车辆的地理位置信息，并将所述地理位置信息与所述地图路口信息进行处理，以使得所述路线指示信息与所述车辆当前所在位置相匹配。
10.根据权利要求8所述的控制方法，其特征在于，在所述步骤d中，通过加速度计传感器获取所述车辆的加速减速动作信息，并将所述加速减速动作信息与所述地图路口信息进行处理，以使得所述路线指示信息与所述车辆的加速减速动作相匹配。
11.根据权利要求8所述的控制方法，其特征在于，在所述步骤d中，通过陀螺仪传感器获取所述车辆姿态信息，并基于所述车辆姿态信息以及所述地图路口信息进行旋转处理，以使得所述路线指示信息与所述车辆的转弯动作相匹配。
12.根据权利要求1至11中任一项所述的控制方法，其特征在于，所述路线指示信息至少包括如下信息中的任一种或任多种：
-所述地图路口数据中的指示箭头信息；以及
-所述地图路口数据中的路网像素信息。
13.根据权利要求1至11中任一项所述的控制方法，其特征在于，还包括如下步骤：
-获取所述车辆两侧的车辆信息；
-若所述车辆两侧存在车辆，则将所述路线指示信息中的道路宽度信息按比例缩小，并将缩小后的路线指示信息转换为三维立体影像后投射在所述HUD设备上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711478233.2A CN109990797A (zh) | 2017-12-29 | 2017-12-29 | 一种用于hud的增强现实导航显示的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711478233.2A CN109990797A (zh) | 2017-12-29 | 2017-12-29 | 一种用于hud的增强现实导航显示的控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109990797A true CN109990797A (zh) | 2019-07-09 |
Family
ID=67108883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711478233.2A Pending CN109990797A (zh) | 2017-12-29 | 2017-12-29 | 一种用于hud的增强现实导航显示的控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109990797A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111121815A (zh) * | 2019-12-27 | 2020-05-08 | 重庆利龙科技产业(集团)有限公司 | 一种基于ar-hud导航的路径显示方法、系统及计算机存储介质 |
| CN111442784A (zh) * | 2020-04-03 | 2020-07-24 | 北京四维智联科技有限公司 | 一种基于ar导航的道路引导方法、装置及设备 |
| CN112354179A (zh) * | 2020-11-23 | 2021-02-12 | 浙江浙大中控信息技术有限公司 | 一种三维地理信息内容的显示与交互方法 |
| CN112747765A (zh) * | 2021-01-08 | 2021-05-04 | 重庆长安汽车股份有限公司 | 一种基于导航与传感器融合的路径推送方法、系统及存储介质 |
| CN113377202A (zh) * | 2021-06-25 | 2021-09-10 | 杭州炽云科技有限公司 | 一种基于arhud的抬头显示方法和系统 |
| WO2022016953A1 (zh) * | 2020-07-22 | 2022-01-27 | Oppo广东移动通信有限公司 | 导航方法、装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140362195A1 (en) * | 2013-03-15 | 2014-12-11 | Honda Motor, Co., Ltd. | Enhanced 3-dimensional (3-d) navigation |
| CN104512336A (zh) * | 2013-09-30 | 2015-04-15 | 本田技研工业株式会社 | 3维(3d)导航 |
| CN105333883A (zh) * | 2014-08-07 | 2016-02-17 | 深圳点石创新科技有限公司 | 一种用于抬头显示器的导航路径轨迹显示方法和装置 |
| CN105730237A (zh) * | 2016-02-04 | 2016-07-06 | 京东方科技集团股份有限公司 | 一种行车辅助装置及行车辅助方法 |
| TW201715273A (zh) * | 2015-10-27 | 2017-05-01 | Wei Luo | 供顯示於車輛擋風玻璃之導航顯示系統 |
| CN107228681A (zh) * | 2017-06-26 | 2017-10-03 | 上海驾馥电子科技有限公司 | 一种通过摄像头加强导航功能的导航系统 |
-
2017
- 2017-12-29 CN CN201711478233.2A patent/CN109990797A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140362195A1 (en) * | 2013-03-15 | 2014-12-11 | Honda Motor, Co., Ltd. | Enhanced 3-dimensional (3-d) navigation |
| CN104512336A (zh) * | 2013-09-30 | 2015-04-15 | 本田技研工业株式会社 | 3维(3d)导航 |
| CN105333883A (zh) * | 2014-08-07 | 2016-02-17 | 深圳点石创新科技有限公司 | 一种用于抬头显示器的导航路径轨迹显示方法和装置 |
| TW201715273A (zh) * | 2015-10-27 | 2017-05-01 | Wei Luo | 供顯示於車輛擋風玻璃之導航顯示系統 |
| CN105730237A (zh) * | 2016-02-04 | 2016-07-06 | 京东方科技集团股份有限公司 | 一种行车辅助装置及行车辅助方法 |
| CN107228681A (zh) * | 2017-06-26 | 2017-10-03 | 上海驾馥电子科技有限公司 | 一种通过摄像头加强导航功能的导航系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111121815A (zh) * | 2019-12-27 | 2020-05-08 | 重庆利龙科技产业(集团)有限公司 | 一种基于ar-hud导航的路径显示方法、系统及计算机存储介质 |
| CN111121815B (zh) * | 2019-12-27 | 2023-07-07 | 重庆利龙中宝智能技术有限公司 | 一种基于ar-hud导航的路径显示方法、系统及计算机存储介质 |
| CN111442784A (zh) * | 2020-04-03 | 2020-07-24 | 北京四维智联科技有限公司 | 一种基于ar导航的道路引导方法、装置及设备 |
| WO2022016953A1 (zh) * | 2020-07-22 | 2022-01-27 | Oppo广东移动通信有限公司 | 导航方法、装置、存储介质及电子设备 |
| CN112354179A (zh) * | 2020-11-23 | 2021-02-12 | 浙江浙大中控信息技术有限公司 | 一种三维地理信息内容的显示与交互方法 |
| CN112354179B (zh) * | 2020-11-23 | 2023-09-05 | 浙江中控信息产业股份有限公司 | 一种三维地理信息内容的显示与交互方法 |
| CN112747765A (zh) * | 2021-01-08 | 2021-05-04 | 重庆长安汽车股份有限公司 | 一种基于导航与传感器融合的路径推送方法、系统及存储介质 |
| CN113377202A (zh) * | 2021-06-25 | 2021-09-10 | 杭州炽云科技有限公司 | 一种基于arhud的抬头显示方法和系统 |
| CN113377202B (zh) * | 2021-06-25 | 2023-07-07 | 杭州炽云科技有限公司 | 一种基于arhud的抬头显示方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109990797A (zh) | 一种用于hud的增强现实导航显示的控制方法 | |
| EP3338136B1 (en) | Augmented reality in vehicle platforms | |
| JP7303691B2 (ja) | コンテンツを視覚化する装置及び方法 | |
| US10591738B2 (en) | Heads-up display with variable focal plane | |
| US10029700B2 (en) | Infotainment system with head-up display for symbol projection | |
| US10678238B2 (en) | Modified-reality device and method for operating a modified-reality device | |
| JP6026088B2 (ja) | 遠隔操作システム | |
| EP3137975B1 (en) | Determining coordinate frames in a dynamic environment | |
| US9399523B2 (en) | Method of operating a synthetic vision system in an aircraft | |
| US20210019942A1 (en) | Gradual transitioning between two-dimensional and three-dimensional augmented reality images | |
| CN112750206A (zh) | 用于车辆乘员的增强现实可穿戴系统 | |
| CN107554425A (zh) | 一种增强现实车载平视显示器ar‑hud | |
| CN105806358B (zh) | 一种驾驶提示的方法及装置 | |
| JP2015114757A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN103080983A (zh) | 车辆系统 | |
| US10665029B2 (en) | Environmental mapping for augmented reality | |
| CN108139224A (zh) | 车辆用显示装置 | |
| WO2018058361A1 (en) | Method, system, display device for displaying virtual reality in vehicle, and computer program product | |
| CN102235869A (zh) | 用于标记汽车目的地的方法和信息系统 | |
| EP3869302A1 (en) | Vehicle, apparatus and method to reduce the occurence of motion sickness | |
| JPWO2004048895A1 (ja) | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 | |
| CN113298955B (zh) | 一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器 | |
| TWI408342B (zh) | 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品 | |
| KR20150131745A (ko) | 원근법에 의한 교통수단의 3d 가상훈련 화면 구현 방법 | |
| WO2020045330A1 (ja) | 車両用表示装置、方法、及びコンピュータ・プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220119 Address after: 518063 2W, Zhongdian lighting building, Gaoxin South 12th Road, Nanshan District, Shenzhen, Guangdong Applicant after: Shenzhen point cloud Intelligent Technology Co.,Ltd. Address before: 518023 No. 3039 Baoan North Road, Luohu District, Shenzhen City, Guangdong Province Applicant before: Zhou Qinna |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |