CN116753977A - 车载增强现实导航方法、装置、介质、电子设备及车辆 - Google Patents
车载增强现实导航方法、装置、介质、电子设备及车辆 Download PDFInfo
- Publication number
- CN116753977A CN116753977A CN202210197822.8A CN202210197822A CN116753977A CN 116753977 A CN116753977 A CN 116753977A CN 202210197822 A CN202210197822 A CN 202210197822A CN 116753977 A CN116753977 A CN 116753977A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- augmented reality
- information
- reality navigation
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 77
- 210000001508 eye Anatomy 0.000 claims abstract description 57
- 210000005252 bulbus oculi Anatomy 0.000 claims description 22
- 238000005286 illumination Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 18
- 210000003128 head Anatomy 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Abstract
本公开涉及一种车载增强现实导航方法、装置、介质、电子设备及车辆。车载增强现实导航方法包括：获取车载摄像头拍摄的车辆前方图像；根据所述车辆前方图像确定增强现实导航展示信息；控制前挡风透明显示屏显示所述增强现实导航展示信息。本公开无需体积较大的增强现实抬头显示器进行投射，不影响仪表台布置，并且不受增强现实抬头显示器投射成像面积的限制。前挡风透明显示屏显示的增强现实导航展示信息为实像，可以减轻人眼负担，并且无需调焦。
Description
技术领域
本公开涉及车载导航技术领域，尤其涉及一种车载增强现实导航方法、装置、介质、电子设备及车辆。
背景技术
在汽车行业不断发展的过程中，增强现实技术广泛应用于汽车导航。目前车载增强现实导航主要由增强现实抬头显示器(Augmented Reality-Head Up Display，AR-HUD)来实现，增强现实抬头显示器是虚拟的显示系统，使用汽车的挡风玻璃作为投影介质，利用光学反射原理，在驾驶员视线区域内投影一些导航信息。
目前的AR-HUD存在以下缺陷：AR-HUD的光路系统所占体积大，影响仪表台布置。AR-HUD需要通过在挡风上反射屏幕画面成像，因此需要极强的亮度，光源发热严重，而且成像面积较小。此外由于AR-HUD是利用反射投影形成虚像，因此人眼在观察时需要调整焦距，对人眼观察不够友好。
发明内容
为了解决上述技术问题，本公开提供了一种车载增强现实导航方法、装置、介质、电子设备及车辆。
本公开实施例提供了一种车载增强现实导航方法，包括：
获取车载摄像头拍摄的车辆前方图像；
根据所述车辆前方图像确定增强现实导航展示信息；
控制前挡风透明显示屏显示所述增强现实导航展示信息。
在一些实施例中，在获取车载摄像头拍摄的车辆前方图像之前，还包括：
获取驾驶员眼睛观察视线；
根据所述驾驶员眼睛观察视线调整所述车载摄像头的拍摄视角。
在一些实施例中，所述的方法还包括：
获取驾驶员眼球中图像；
根据所述驾驶员眼球中图像以及所述车辆前方图像确定注视物体；
其中，所述增强现实导航展示信息为所述注视物体对应的增强现实导航展示信息。
在一些实施例中，在控制前挡风透明显示屏显示所述增强现实导航展示信息之前，还包括：
根据所述车辆前方图像确定所述车辆前方图像中的物体位置；
将所述车辆前方图像中的物体位置与驾驶员位置的连线与所述前挡风透明显示屏的交点，确定为该物体的增强现实导航展示信息在所述前挡风透明显示屏上的显示位置。
在一些实施例中，所述的方法还包括：
获取当前车速信息以及高清地图信息；
根据当前车速信息以及高清地图信息修正所述车辆前方图像中的物体位置。
在一些实施例中，所述根据当前车速信息以及高清地图信息修正所述车辆前方图像中的物体位置，包括：
根据当前车速信息以及高清地图信息确定物体位置；
若根据当前车速信息以及高清地图信息确定的物体位置与根据所述车辆前方图像确定的所述车辆前方图像中的物体位置不同，将根据当前车速信息以及高清地图信息确定的物体位置作为所述车辆前方图像中的物体位置。
在一些实施例中，在控制前挡风透明显示屏显示所述增强现实导航展示信息之前，还包括：
获取驾驶员眼睛观察视线；
根据所述驾驶员眼睛观察视线以及所述车辆前方图像确定注视物体；
将所述驾驶员眼睛观察视线与所述前挡风透明显示屏的交点确定为所述注视物体的增强现实导航展示信息在所述前挡风透明显示屏上的显示位置。
在一些实施例中，所述获取驾驶员眼睛观察视线，包括：
获取驾驶员的头部转动信息；
根据所述驾驶员的头部转动信息确定驾驶员的眼球朝向方向；
通过所述视觉追踪方式，在所述眼球朝向方向中确定驾驶员眼睛观察视线。
在一些实施例中，所述前挡风透明显示屏包括车辆状态信息显示区和增强现实导航展示信息显示区；所述方法还包括：获取车辆状态信息，并控制所述前挡风透明显示屏在所述车辆状态信息显示区显示车辆状态信息；
所述控制前挡风透明显示屏显示所述增强现实导航展示信息，包括：控制所述前挡风透明显示屏在所述增强现实导航展示信息显示区显示所述增强现实导航展示信息。
在一些实施例中，所述的方法还包括：
获取车舱内的光照强度；
根据所述车舱内的光照强度调节所述前挡风透明显示屏的显示亮度。
本公开实施例还提供了一种车载增强现实导航装置，包括：
图像获取模块，用于获取车载摄像头拍摄的车辆前方图像；
增强现实导航展示信息确定模块，用于根据所述车辆前方图像确定增强现实导航展示信息；
控制模块，用于控制前挡风透明显示屏显示所述增强现实导航展示信息。
本公开实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时上述实施例中任一项所述的方法的步骤。
本公开实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施例中任一项所述方法的步骤。
本公开实施例还提供了一种车辆，包括：车载摄像头以及前挡风透明显示屏；
所述车载摄像头用于拍摄的车辆前方图像；所述前挡风透明显示屏用于根据上述实施例所述电子设备的控制，显示所述增强现实导航展示信息。
在一些实施例中，所述前挡风透明显示屏包括车辆状态信息显示区和增强现实导航展示信息显示区；
所述车辆状态信息显示区用于显示车辆状态信息；
所述增强现实导航展示信息显示区用于显示所述增强现实导航展示信息。
在一些实施例中，所述的车辆还包括光线传感器，所述光线传感器用于获取车舱内的光照强度，以使所述电子设备根据所述车舱内的光照强度调节所述前挡风透明显示屏的显示亮度。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供的车载增强现实导航方法通过车载摄像头拍摄的车辆前方图像，根据车辆前方图像确定增强现实导航展示信息，而车辆前挡风玻璃为前挡风透明显示屏，因此可以通过前挡风透明显示屏增强现实导航展示信息。因此无需设置大体积光路模组去实现增强现实抬头显示器的功能，不影响仪表台布置，并且不受增强现实抬头显示器投射成像面积的限制。此外，前挡风透明显示屏显示的增强现实导航展示信息为实像，眼睛无需调节焦距去观察虚像，可以减轻人眼负担。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种车载增强现实导航方法的流程图；
图2为本公开实施例提供的又一种车载增强现实导航方法的流程图；
图3为本公开实施例提供的一种车载增强现实导航方法的应用场景示意图；
图4为本公开实施例提供的又一种车载增强现实导航方法的流程图；
图5为本公开实施例提供的又一种车载增强现实导航方法的应用场景示意图；
图6为本公开实施例提供的又一种车载增强现实导航方法的应用场景示意图；
图7为本公开实施例提供的一种车载增强现实导航装置的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
本公开实施例提供一种车载增强现实导航方法，该方法可由车辆或者云端服务器执行。在一种具体应用场景中，该方法可由车辆中的控制设备执行，控制设备可以为设置在车辆内部的车机系统。在一种具体应用场景中，该方法还可以由与车辆通信连接的云端服务器执行。图1为本公开实施例提供的一种车载增强现实导航方法的流程图。如图1所示，本公开实施例提供的车载增强现实导航方法包括：
S101、获取车载摄像头拍摄的车辆前方图像；
示例性的，车载摄像头可以设置于车辆前挡风玻璃上侧，也可以设置驾驶舱中，本公开实施例在此不作限定。车载摄像头用于拍摄模拟人眼视效所看到的车辆前方图像，以支持后续步骤的实施。
S102、根据车辆前方图像确定增强现实导航展示信息；
其中，增强现实导航展示信息例如可以是车辆行驶提示信息，提醒车辆行驶的路线方向或者调节行驶速度的信息，也可以是前方将经过的道路旁房子的介绍信息等，本公开实施例在此不作限定。
示例性的，可以将车载摄像头拍摄的车辆前方图像进行像素化，然后将该画面中的物体分别识别出来，比如房子、街道、行人等。本公开实施例对具体的图像识别算法不做限定，例如可以预先进行模型训练，根据训练的模型进行图像识别。在识别出车辆前方图像中的物体后，再查找确定该物体对应的增强现实导航展示信息。
S103、控制前挡风透明显示屏显示增强现实导航展示信息。
示例性的，在确定增强现实导航展示信息后，前挡风透明显示屏可以显示上述确定的增强现实导航展示信息。由于前挡风透明显示屏为透明显示，因此可以实现人眼观察车外的实景叠加增强现实导航展示信息，从而达到增强现实导航的效果。
下面以路边房子的增强现实导航展示信息为例说明实现增强现实导航的过程。当车载摄像头拍摄车辆前方图像后，车机系统将车载摄像头拍摄的车辆前方图像上传至云端服务器，云端服务器根据车辆前方图像识别出路边房子。云端服务器中存储中大量房子数据，通过对比检测得到上述路边房子对应的数据，将其确定为路边房子对应的增强现实导航展示信息，并传回车机系统。车机系统将增强现实导航展示信息发送前挡风透明显示屏，前挡风透明显示屏显示上述增强现实导航展示信息，与人眼观察的车外路边房子实景结合达到增强现实导航的效果。
上述以路边房子的增强现实导航展示信息的实例示例性的设置云端服务器执行本公开实施例的车载增强现实导航方法，在其它实施方式中，若车机系统可以满足上述算力，还可以设置由车机系统执行本公开实施例的车载增强现实导航方法。
本公开实施例提供的车载增强现实导航方法通过设置车载摄像头拍摄的车辆前方图像，根据车辆前方图像确定增强现实导航展示信息，并通过作为车辆前挡风玻璃的前挡风透明显示屏进行显示，由于前挡风透明显示屏为透明显示，因此可以时限人眼观察车外的实景叠加增强现实导航展示信息，从而达到增强现实导航的效果。本公开实施例提供的车载增强现实导航方法，无需体积较大的增强现实抬头显示器进行投射，不影响仪表台布置，并且不受增强现实抬头显示器投射成像面积的限制。此外，前挡风透明显示屏显示的增强现实导航展示信息为实像，可以减轻人眼负担，并且无需调焦。
在一些实施例中，在获取车载摄像头拍摄的车辆前方图像之前，还可以包括：
获取驾驶员眼睛观察视线；
根据驾驶员眼睛观察视线调整车载摄像头的拍摄视角。
示例性的，可以由视线追踪装置实时获取驾驶员眼睛观察视线，并根据驾驶员眼睛观察视线实时调整车载摄像头的拍摄视角。
根据驾驶员眼睛观察视线调整车载摄像头的拍摄视角，可以让车载摄像头拍摄到的车辆前方图像接近驾驶员眼睛看到画面，让车辆前方图像达到模拟人眼视效的效果，利于后续增强现实导航展示信息的确定。
在一些实施例中，车载增强现实导航方法还包括：
获取驾驶员眼球中图像；
根据驾驶员眼球中图像以及车辆前方图像确定注视物体；
其中，增强现实导航展示信息为注视物体对应的增强现实导航展示信息。
其中，驾驶员眼球中图像为驾驶员瞳孔中的图像，驾驶员瞳孔中的图像即驾驶员当前注视的物体在眼睛中形成的图像。因此可以根据驾驶员眼球中图像以及车辆前方图像进行对比，确定驾驶员当前的注视物体，后续前挡风透明显示屏可以仅显示注视物体对应的增强现实导航展示信息。
可选的，驾驶员眼球中图像和车辆前方图像可以通过不同的车载摄像头进行采集，也可以采用同一车载摄像头进行采集。本公开实施例对此不做限定。若驾驶员眼球中图像和车辆前方图像通过同一车载摄像头进行采集，例如可以是车载摄像头先采集车辆前方图像，然后控制车载摄像头旋转，采集驾驶员眼球中图像。
在确定驾驶员注视物体后，再将注视物体的对应的增强现实导航展示信息确定为增强现实导航展示信息，可以让驾驶员看到目前关注的物体的对应数据，避免因前挡风透明显示屏上显示的增强现实导航展示信息过多而分散驾驶员的注意力，从而可以降低安全隐患。
在一些实施例中，参照图2，本公开实施例提供的车载增强现实导航方法包括S201-S205：
S201、获取车载摄像头拍摄的车辆前方图像；
S202、根据车辆前方图像确定增强现实导航展示信息；
S203、根据车辆前方图像确定车辆前方图像中的物体位置；
S204、将车辆前方图像中的物体位置与驾驶员位置的连线与前挡风透明显示屏的交点，确定为该物体的增强现实导航展示信息在前挡风透明显示屏上的显示位置；
S205、控制前挡风透明显示屏显示增强现实导航展示信息。
示例性的，图3为本公开实施例提供的一种车载增强现实导航方法的应用场景示意图。参见图3，本公开实施例可以在获取车载摄像头拍摄的车辆前方图像后，根据车辆前方图像确定车辆前方图像中的物体位置B，然后将车辆前方图像中的物体位置与驾驶员位置的连线与前挡风透明显示屏的交点A，确定为该物体的增强现实导航展示信息在前挡风透明显示屏上的显示位置。即，驾驶员位置与车辆前方图像中的物体位置的连线与前挡风透明显示屏的交点，可以认为是驾驶员视线透过挡风透明显示屏看向物体位置时，视线在前挡风透明显示屏上的落点。将该物体的增强现实导航展示信息在挡风透明显示屏上的该落点位置，可以让增强现实导航展示信息与驾驶员看到的实景叠加，从而达到增强现实导航的效果。
在一些实施例中，车载增强现实导航方法还可以包括：
获取当前车速信息以及高清地图信息；
根据当前车速信息以及高清地图信息修正车辆前方图像中的物体位置。
示例性的，当车辆联网时，还可以通过获取高清地图信息来确定车辆前方图像中的物体的位置信息，在车辆行驶过程中根据车辆的实时车速得到更加精确的车辆前方图像中的物体位置，从而结合上文所述实施例，让增强现实导航展示信息在前挡风透明显示屏上的显示位置更加精确，提高增强现实导航的效果。
在一些实施例中，根据当前车速信息以及高清地图信息修正车辆前方图像中的物体位置，包括：
根据当前车速信息以及高清地图信息确定物体位置；
若根据当前车速信息以及高清地图信息确定的物体位置与根据车辆前方图像确定的车辆前方图像中的物体位置不同，将根据当前车速信息以及高清地图信息确定的物体位置作为车辆前方图像中的物体位置。
结合上文，在车辆可以联网的情况下，根据当前车速信息以及高清地图信息确定的物体位置会更加精确，从而让后述步骤中确定增强现实导航展示信息在前挡风透明显示屏上的显示位置更加精确，让驾驶员看到的增强现实导航展示信息与实景更加契合，提高增强现实导航的效果。
在一些实施例中，参照图4，本公开实施例提供的车载增强现实导航方法包括S301-S306：
S301、获取车载摄像头拍摄的车辆前方图像；
S302、根据车辆前方图像确定增强现实导航展示信息；
S303、获取驾驶员眼睛观察视线；
S304、根据所述驾驶员眼睛观察视线以及所述车辆前方图像确定注视物体；
S305、将所述驾驶员眼睛观察视线与所述前挡风透明显示屏的交点确定为所述注视物体的增强现实导航展示信息在所述前挡风透明显示屏上的显示位置
S306、控制前挡风透明显示屏显示增强现实导航展示信息。
以图5为例，增强现实导航展示信息在前挡风透明显示屏上的显示位置还可以根据驾驶员眼睛观察视线L与前挡风透明显示屏400的交点A确定。其中，驾驶员眼睛观察视线可以根据眼动监测装置确定。在确定驾驶员眼睛观察视线后，可以根据驾驶员眼睛观察视线以及车辆前方图像确定注视物体，然后将驾驶员眼睛观察视线与前挡风透明显示屏的交点确定为注视物体的增强现实导航展示信息在前挡风透明显示屏上的显示位置。
在一些实施例中，获取驾驶员眼睛观察视线，包括：
获取驾驶员的头部转动信息；
根据驾驶员的头部转动信息确定驾驶员的眼球朝向方向；
通过视觉追踪方式，在眼球朝向方向中确定驾驶员眼睛观察视线。
获取驾驶员眼睛观察视线的方法可以先通过获取驾驶员的头部转动信息，确认驾驶员的眼球的朝向方向，再通过通过视觉追踪方式，在眼球朝向方向中确定驾驶员眼睛观察视线。因为眼动监测需要多组红外扫描雷达从不同方向接收反馈信息以确定眼球的转动方向，本实施例通过先确定驾驶员头部的转动方向从而确定驾驶员的眼球朝向方向，再基于驾驶员的眼球朝向方向确定驾驶员眼睛的观察视线，可以降低成本。
在一些实施例中，参照图6，前挡风透明显示屏400包括车辆状态信息显示区401和增强现实导航展示信息显示区402。
车载增强现实导航方法还包括：获取车辆状态信息，并控制前挡风透明显示屏在车辆状态信息显示区显示车辆状态信息。
相应的，控制前挡风透明显示屏显示增强现实导航展示信息包括：控制前挡风透明显示屏在增强现实导航展示信息显示区显示增强现实导航展示信息。
示例性的，将前挡风透明显示屏400分为两个区域：车辆状态信息显示区401和增强现实导航展示信息显示区402。例如可以将车辆的仪表信息和娱乐信息显示在车辆状态信息显示区401。驾驶员在行车过程中不必低头去看车辆仪表台，就可以获取行车相关的信息和部分娱乐信息，行车相关的信息例如可以是车速、功率、档位、导航、告警信息等；部分娱乐信息例如可以是当前的娱乐方式、播放列表等，本公开实施例在此不作限定。
在一些实施例中，车载增强现实导航方法还可以包括：
获取车舱内的光照强度；
根据车舱内的光照强度调节前挡风透明显示屏的显示亮度。
例如，本公开实施例可以在车舱内设置能够感测车舱内的光照强度的光线传感器，从而可以根据车舱内的光照强度调节前挡风透明显示屏的显示亮度，避免前挡风透明显示屏的显示亮度与车内亮度不匹配时，驾驶员观看前挡风透明显示屏容易产生视觉疲劳的问题。本公开实施例可以设定光照强度阈值与前挡风透明显示屏显示亮度的对应关系，因此可以根据不同的光照强度调节前挡风透明显示屏显示亮度，让人眼始终保持在舒适的显示亮度下观察前挡风透明显示屏，可以将降低行车过程中的安全隐患。
本公开实施例还提供了一种车载增强现实导航装置，图7为本公开实施例提供的一种车载增强现实导航装置的结构示意图，如图7所示，包括：
图像获取模块11，用于获取车载摄像头拍摄的车辆前方图像；
增强现实导航展示信息确定模块12，用于根据车辆前方图像确定增强现实导航展示信息；
控制模块13，用于控制前挡风透明显示屏显示增强现实导航展示信息。
图像获取模块通过模拟驾驶员的视效拍摄车辆前方图像，来获取驾驶员视野中所观察到的事物，拍摄到的图像交由增强现实导航展示信息确定模块进行处理，让增强现实导航展示信息确定模块进行处理基于拍摄到的图像确定驾驶员注视物体的增强现实导航展示信息，最后通过控制模块控制前挡风透明显示屏将增强现实导航展示信息显示在驾驶员视野中，注视物体实景在前挡风透明显示屏的位置，实现增强现实导航展示信息与实景叠加的效果。
在一些实施例中，车载增强现实导航装置还可以包括：
观察视线获取模块，用于获取驾驶员眼睛观察视线；
拍摄视角调节模块，用于根据所述驾驶员眼睛观察视线调整所述车载摄像头的拍摄视角。
在一些实施例中，车载增强现实导航装置还可以包括：
眼球中图像获取模块，用于获取驾驶员眼球中图像；
注视物体确定模块，用于根据所述驾驶员眼球中图像以及所述车辆前方图像确定注视物体；
其中，所述增强现实导航展示信息为所述注视物体对应的增强现实导航展示信息。
在一些实施例中，车载增强现实导航装置还可以包括：
物体位置确定模块，用于根据所述车辆前方图像确定所述车辆前方图像中的物体位置；
显示位置确定模块，用于将所述车辆前方图像中的物体位置与驾驶员位置的连线与所述前挡风透明显示屏的交点，确定为该物体的增强现实导航展示信息在所述前挡风透明显示屏上的显示位置。
在一些实施例中，车载增强现实导航装置还可以包括：
车速信息以及高清地图信息获取模块，用于获取当前车速信息以及高清地图信息；
物体位置修正模块，用于根据当前车速信息以及高清地图信息修正所述车辆前方图像中的物体位置。
在一些实施例中，物体位置修正模块具体用于根据当前车速信息以及高清地图信息确定物体位置；若根据当前车速信息以及高清地图信息确定的物体位置与根据所述车辆前方图像确定的所述车辆前方图像中的物体位置不同，将根据当前车速信息以及高清地图信息确定的物体位置作为所述车辆前方图像中的物体位置。
在一些实施例中，车载增强现实导航装置还可以包括：
观察视线获取模块，用于获取驾驶员眼睛观察视线；
注视物体确定模块，用于根据所述驾驶员眼睛观察视线以及所述车辆前方图像确定注视物体；
显示位置确定模块，用于将所述驾驶员眼睛观察视线与所述前挡风透明显示屏的交点确定为所述注视物体的增强现实导航展示信息在所述前挡风透明显示屏上的显示位置。
在一些实施例中，观察视线获取模块具体用于获取驾驶员的头部转动信息；根据所述驾驶员的头部转动信息确定驾驶员的眼球朝向方向；通过所述视觉追踪方式，在所述眼球朝向方向中确定驾驶员眼睛观察视线。
在一些实施例中，所述前挡风透明显示屏包括车辆状态信息显示区和增强现实导航展示信息显示区；
车载增强现实导航装置还可以包括：
车辆状态信息显示模块，用于获取车辆状态信息，并控制所述前挡风透明显示屏在所述车辆状态信息显示区显示车辆状态信息；
所述控制模块具体用于：控制所述前挡风透明显示屏在所述增强现实导航展示信息显示区显示所述增强现实导航展示信息。
在一些实施例中，车载增强现实导航装置还可以包括：
光照强度获取模块，用于获取车舱内的光照强度；
显示亮度调节模块，用于根据所述车舱内的光照强度调节所述前挡风透明显示屏的显示亮度。
本公开实施例所提供的车载增强现实导航装置，其实现原理及产生的技术效果和前述方法实施例类似，在此不再赘述。
本公开实施例还提供了一种计算机可读存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时上述实施例中任一项的方法的步骤。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备执行本公开各个实施例的方法。
本公开实施例还提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述实施例中任一项方法的步骤。
示例性的，电子设备可以是服务器、网络设备，也可以是行车电脑、车机系统等，本公开实施例在此不作限定。
本公开实施例还提供了一种车辆，例如可以参见图3或图5，包括：车载摄像头410以及前挡风透明显示屏400；
车载摄像头410用于拍摄的车辆前方图像；前挡风透明显示屏400用于根据上述实施例电子设备的控制，显示增强现实导航展示信息。
其中，前挡风透明显示屏为透明显示屏，面积视车辆前挡风玻璃的大小而定，并作为车辆的前挡风玻璃设置于车辆前风挡框处。车载摄像头可以设置于车辆前挡风玻璃上侧，也可以设置驾驶舱中，本公开实施例在此不作限定，
通过将透明显示屏设置为整块前挡风玻璃，扩大增强现实导航展示信息的显示面积，同时因为透明显示屏显示的实像，通过实像显示代替传统增强现实抬头显示器的虚像显示，对于人眼观察不易产生视觉疲劳。
在一些实施例中，参照图6，前挡风透明显示屏400包括车辆状态信息显示区401和增强现实导航展示信息显示区402；
车辆状态信息显示区401用于显示车辆状态信息；
增强现实导航展示信息显示区402用于显示增强现实导航展示信息。
通过分区显示，将车辆状态信息显示于前挡风透明显示屏上可以让驾驶员在前挡风上直接看到车辆状态信息，利于行车安全，同时也能够实现增强现实导航的功能，为驾驶员提供便利。
在一些实施例中，结合图6，该车辆还包括光线传感器420，光线传感器420用于获取车舱内的光照强度，以使电子设备根据车舱内的光照强度调节前挡风透明显示屏400的显示亮度。
利用光线传感器感测车舱内的光照强度，根据车舱内的光照强度调节前挡风透明显示屏的显示亮度，让前挡风透明显示屏的显示亮度保持在适于人眼观察的亮度区域内，让驾驶员不易产生视觉疲劳，从而减少安全隐患。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (16)
1.一种车载增强现实导航方法，其特征在于，包括：
获取车载摄像头拍摄的车辆前方图像；
根据所述车辆前方图像确定增强现实导航展示信息；
控制前挡风透明显示屏显示所述增强现实导航展示信息。
2.根据权利要求1所述的方法，其特征在于，在获取车载摄像头拍摄的车辆前方图像之前，还包括：
获取驾驶员眼睛观察视线；
根据所述驾驶员眼睛观察视线调整所述车载摄像头的拍摄视角。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取驾驶员眼球中图像；
根据所述驾驶员眼球中图像以及所述车辆前方图像确定注视物体；
其中，所述增强现实导航展示信息为所述注视物体对应的增强现实导航展示信息。
4.根据权利要求1所述的方法，其特征在于，在控制前挡风透明显示屏显示所述增强现实导航展示信息之前，还包括：
根据所述车辆前方图像确定所述车辆前方图像中的物体位置；
将所述车辆前方图像中的物体位置与驾驶员位置的连线与所述前挡风透明显示屏的交点，确定为该物体的增强现实导航展示信息在所述前挡风透明显示屏上的显示位置。
5.根据权利要求4所述的方法，其特征在于，还包括：
获取当前车速信息以及高清地图信息；
根据当前车速信息以及高清地图信息修正所述车辆前方图像中的物体位置。
6.根据权利要求5所述的方法，其特征在于，所述根据当前车速信息以及高清地图信息修正所述车辆前方图像中的物体位置，包括：
根据当前车速信息以及高清地图信息确定物体位置；
若根据当前车速信息以及高清地图信息确定的物体位置与根据所述车辆前方图像确定的所述车辆前方图像中的物体位置不同，将根据当前车速信息以及高清地图信息确定的物体位置作为所述车辆前方图像中的物体位置。
7.根据权利要求1所述的方法，其特征在于，在控制前挡风透明显示屏显示所述增强现实导航展示信息之前，还包括：
获取驾驶员眼睛观察视线；
根据所述驾驶员眼睛观察视线以及所述车辆前方图像确定注视物体；
将所述驾驶员眼睛观察视线与所述前挡风透明显示屏的交点确定为所述注视物体的增强现实导航展示信息在所述前挡风透明显示屏上的显示位置。
8.根据权利要求2或7所述的方法，其特征在于，所述获取驾驶员眼睛观察视线，包括：
获取驾驶员的头部转动信息；
根据所述驾驶员的头部转动信息确定驾驶员的眼球朝向方向；
通过所述视觉追踪方式，在所述眼球朝向方向中确定驾驶员眼睛观察视线。
9.根据权利要求1所述的方法，其特征在于，所述前挡风透明显示屏包括车辆状态信息显示区和增强现实导航展示信息显示区；所述方法还包括：获取车辆状态信息，并控制所述前挡风透明显示屏在所述车辆状态信息显示区显示车辆状态信息；
所述控制前挡风透明显示屏显示所述增强现实导航展示信息，包括：控制所述前挡风透明显示屏在所述增强现实导航展示信息显示区显示所述增强现实导航展示信息。
10.根据权利要求1所述的方法，其特征在于，还包括：
获取车舱内的光照强度；
根据所述车舱内的光照强度调节所述前挡风透明显示屏的显示亮度。
11.一种车载增强现实导航装置，其特征在于，包括：
图像获取模块，用于获取车载摄像头拍摄的车辆前方图像；
增强现实导航展示信息确定模块，用于根据所述车辆前方图像确定增强现实导航展示信息；
控制模块，用于控制前挡风透明显示屏显示所述增强现实导航展示信息。
12.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
13.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。
14.一种车辆，其特征在于，包括：车载摄像头以及前挡风透明显示屏；
所述车载摄像头用于拍摄的车辆前方图像；所述前挡风透明显示屏用于根据权利要求13所述的电子设备的控制，显示所述增强现实导航展示信息。
15.根据权利要求14所述的车辆，其特征在于，所述前挡风透明显示屏包括车辆状态信息显示区和增强现实导航展示信息显示区；
所述车辆状态信息显示区用于显示车辆状态信息；
所述增强现实导航展示信息显示区用于显示所述增强现实导航展示信息。
16.根据权利要求14所述的车辆，其特征在于，还包括光线传感器，所述光线传感器用于获取车舱内的光照强度，以使所述电子设备根据所述车舱内的光照强度调节所述前挡风透明显示屏的显示亮度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210197822.8A CN116753977A (zh) | 2022-03-02 | 2022-03-02 | 车载增强现实导航方法、装置、介质、电子设备及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210197822.8A CN116753977A (zh) | 2022-03-02 | 2022-03-02 | 车载增强现实导航方法、装置、介质、电子设备及车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116753977A true CN116753977A (zh) | 2023-09-15 |
Family
ID=87946540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210197822.8A Pending CN116753977A (zh) | 2022-03-02 | 2022-03-02 | 车载增强现实导航方法、装置、介质、电子设备及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116753977A (zh) |
-
2022
- 2022-03-02 CN CN202210197822.8A patent/CN116753977A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10613337B2 (en) | Method and apparatus for adjusting imaging position and head-up display system | |
| US11194154B2 (en) | Onboard display control apparatus | |
| WO2018167966A1 (ja) | Ａｒ表示装置及びａｒ表示方法 | |
| US11048095B2 (en) | Method of operating a vehicle head-up display | |
| US10288882B2 (en) | Head mounted display device | |
| CN110703904B (zh) | 一种基于视线跟踪的增强虚拟现实投影方法及系统 | |
| US9771083B2 (en) | Cognitive displays | |
| US11043187B2 (en) | On-vehicle display device, on-vehicle display method and vehicle | |
| US20170060235A1 (en) | Method of operating a vehicle head-up display | |
| CN110579879B (zh) | 一种车载抬头显示系统及其控制方法 | |
| US10274726B2 (en) | Dynamic eyebox correction for automotive head-up display | |
| JP6669053B2 (ja) | ヘッドアップディスプレイシステム | |
| WO2019113887A1 (zh) | 用于调整图像的方法、设备、系统和计算机可读存储介质 | |
| CN107472140B (zh) | 一种眼控车载hud系统 | |
| JP2020112698A (ja) | 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法 | |
| CN113212312B (zh) | 一种ar后视镜总成及其控制方法 | |
| JPH10116052A (ja) | 画像表示装置 | |
| CN110796116A (zh) | 多面板显示系统、具有多面板显示系统的车辆及显示方法 | |
| CN207336931U (zh) | 抬头显示设备 | |
| CN116753977A (zh) | 车载增强现实导航方法、装置、介质、电子设备及车辆 | |
| JP2019159216A (ja) | 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム | |
| CN115018942A (zh) | 用于车辆的图像显示的方法和设备 | |
| CN114724248A (zh) | 控制方法、控制装置、车辆、计算机设备和介质 | |
| JP6947873B2 (ja) | Ａｒ表示装置、ａｒ表示方法、およびプログラム | |
| JP2018167698A (ja) | ヘッドアップディスプレイ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |