CN111373223A - 用于显示增强现实导航信息的方法、装置和系统 - Google Patents

用于显示增强现实导航信息的方法、装置和系统 Download PDF

Info

Publication number
CN111373223A
CN111373223A CN201780097164.2A CN201780097164A CN111373223A CN 111373223 A CN111373223 A CN 111373223A CN 201780097164 A CN201780097164 A CN 201780097164A CN 111373223 A CN111373223 A CN 111373223A
Authority
CN
China
Prior art keywords
lane
vehicle
camera
digital map
markings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780097164.2A
Other languages
English (en)
Other versions
CN111373223B (zh
Inventor
M·都姆灵
许涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN111373223A publication Critical patent/CN111373223A/zh
Application granted granted Critical
Publication of CN111373223B publication Critical patent/CN111373223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Abstract

用于车辆的用于显示车道信息的方法，包括：获取(11)数字地图；定义(12)车辆的定位信息；获取(13)车辆的路线规划；根据车辆的定位信息和车辆的路线规划来确定(14)行驶车道；从数字地图获取(15)行驶车道的车道标记的坐标信息；从安装在车辆上的相机接收(16)图像数据；将行驶车道的车道标记从数字地图坐标系变换(17)到相机坐标系；基于行驶车道的变换到相机坐标系的车道标记来产生(18)在相机坐标系中指示行驶车道的车道标记的车道引导标志；将行驶车道的车道标记的车道引导标志叠加(19)在从相机接收的图像数据上。

Description

用于显示增强现实导航信息的方法、装置和系统
技术领域
本发明总体上涉及增强现实导航系统的领域，并且更具体地，涉及用于特别是在车辆中显示车道信息的方法和设备。
背景技术
常规的导航设备在在显示单元上显示的数字地图(从这里开始简称为“地图”)上显示车辆位置确定单元所确定的车辆的当前位置，同时将当前位置叠加在地图上。此外，常规的导航设备搜索从车辆位置确定单元所确定的车辆当前位置到经由输入单元输入的目的地的推荐路线，并且在地图上显示该推荐路线。常规的导航设备然后基于从记录介质读取的道路链接的形状来执行推荐路线的路线引导。
现有技术通常将低精度地图与传感器数据组合来用于导航系统。KR20160063871A公开了提供路线引导方法的增强现实导航设备，所述路线引导方法将包括路线指示方向的方向标志与真实的道路图像重叠，并且在屏幕上显示重叠的图像。所述设备捕捉车辆前面的图像，对该图像进行分析以识别车辆所行驶的道路的车道，并且计算路线中所包括的链接的方向和距离。然后，将产生指示驾驶方向的方向引导标志。产生的方向引导标志与图像覆盖以在屏幕上的图像上显示产生的方向引导标志。
然而，这样的系统只可以指示路线的驾驶方向，而不可以指示行驶车道的详细信息。它不能示出道路上的哪个车道是驾驶应选择的正确的车道。换句话说，现有技术不能告诉驾驶员行驶车道在哪里。
另一个问题是，由于传感器的无法避免的误差，这样的系统采集的道路信息是不完整的且不精确的。使用低精度地图的导航系统不能提供精确的足够的信息。
随着增强现实的发展，具有高分辨率信息的增强导航的需求最近日益增长。本发明的任务是提供一种可以通过使用增强现实来指示行驶车道的精确信息的方法和装置。精确的车道信息不仅包括道路上的正确的车道，而且还包括具有精确的车道边界的车道几何形状、车道横向信息、车道类型、车道标记类型和车道级别速度限制信息。
上述任务通过权利要求1、以及权利要求9、16和17来解决。有利的特征也在从属权利要求中被定义。
发明内容
本发明的实施例提供了一种用于车辆的用于显示车道信息的方法、装置和系统，该方法、装置和系统通过使用增强现实技术指示行驶车道的精确信息(即道路上的哪个车道是正确的车道)来能够实现高效的且舒适的用户体验。
因此，提供了一种用于车辆的用于显示车道信息的计算机实现方法。所述方法包括：获取数字地图；定义车辆的定位信息；获取车辆的路线规划；根据车辆的定位信息和车辆的路线规划来确定行驶车道；从数字地图获取行驶车道的车道标记的坐标信息；从安装在车辆上的相机接收图像数据；将行驶车道的车道标记从数字地图坐标系变换到相机坐标系；基于行驶车道的变换到相机坐标系的车道标记来产生在相机坐标系中指示行驶车道的车道标记的图示；将行驶车道的车道标记的图示叠加在从相机接收的图像数据上。
首先，汽车(尤其是车内导航系统)包括数字地图，并且从定位模块(例如GPS)接收汽车的定位。高清(HD)地图提供道路轮廓的高度准确的且现实的表示，包括弯道和地形信息。HD地图扩展车辆的视野范围，同时能够实现更平稳的、更安全的且更高效的驾驶场景。HD地图还可以被用于实现范围广泛的高级驾驶应用。精确的车道信息包括：具有精确的车道边界的车道几何形状、车道横向信息、车道类型、车道标记类型和车道级别速度限制信息。在根据汽车的目的地计算路线规划之后，车内导航系统可以确定将被选择的行驶车道。根据本发明的导航系统获取行驶车道的车道标记的坐标，并且将这些坐标从HD地图的坐标系变换到安装在汽车上的相机的坐标系。在基于行驶车道的变换到相机坐标系的车道标记产生在相机坐标系中指示行驶车道的车道标记的车道引导标志之后，导航系统将车道引导标志叠加/覆盖在从相机接收的图像数据上。
有利地，导航系统可以示出驾驶员应选择哪个车道以及具有精确的车道边界的车道几何形状、车道类型、车道标记类型、车道的宽度和车道级别速度限制信息。
在一种可能的实现的方式中，所述数字地图包括数字地图中的道路上的车道标记的坐标信息。
在一种可能的实现的方式中，可以通过使用所述数字地图、车辆的定位信息和车辆的目的地来计算路线规划。
在一种可能的实现的方式中，步骤“将行驶车道的车道标记从数字地图坐标系变换到相机坐标系”包括：
使用以下公式变换车道标记：
Figure BDA0002506069340000031
其中，pc是相机的图像数据上的像素位置，Te定义车辆在数字地图坐标系中的姿态，Tc定义相机在车辆坐标系中的姿态，pw是行驶车道的车道标记的坐标信息。
在一种可能的实现的方式中，使用以下公式计算Te：
Figure BDA0002506069340000032
其中，Re是车辆相对于数字地图的旋转矩阵，并且pe是车辆在数字地图坐标系中的位置。
在一种可能的实现的方式中，指示行驶车道的车道标记的车道引导标志包括：
表示车道标记的线；和/或
行驶车道的两个车道标记之间内的突出显示的区域。
在一种可能的实现的方式中，步骤“将行驶车道的车道标记的车道引导标志叠加在从相机接收的图像数据上”包括：
将车道标记的半透明引导标志投影到从相机接收的图像数据上。
因为车道引导标志可以突出显示车道并且示出车道的精确的车道边界，所以在晚上并且即使车道的标记是模糊的，根据本发明的导航系统也可以帮助驾驶员识别车道。
根据另一个方面，提供了一种用于车辆的用于显示车道信息的装置。所述装置包括：
地图获取模块，其配置为用于获取数字地图；
定位模块，其配置为用于定义车辆的定位信息；
路线规划模块，其配置为用于获取车辆的路线规划；
行驶车道模块，其配置为用于根据车辆的定位信息和车辆的路线规划来确定行驶车道；
车道标记模块，其配置为用于从数字地图获取行驶车道的车道标记的坐标信息；
图像数据模块，其配置为用于从安装在车辆上的相机接收图像数据；
变换模块，其配置为用于将行驶车道的车道标记从数字地图坐标系变换到相机坐标系；
车道引导标志模块，其配置为用于基于行驶车道的变换到相机坐标系的车道标记来产生在相机坐标系中指示行驶车道的车道标记的车道引导标志；
叠加模块，其配置为用于将行驶车道的车道标记的车道引导标志叠加在从相机接收的图像数据上。
在一种可能的实现的方式中，所述数字地图包括数字地图中的道路上的车道标记的坐标信息。
在一种可能的实现的方式中，变换模块配置为用于使用以下公式变换车道标记：
Figure BDA0002506069340000041
其中，pc是相机的图像数据上的像素位置，Te定义车辆在数字地图坐标系中的姿态，Tc定义相机在车辆坐标系中的姿态，pw是行驶车道的车道标记的坐标信息。
在一种可能的实现的方式中，使用以下公式计算Te：
Figure BDA0002506069340000051
其中，Re是车辆相对于数字地图的旋转矩阵，并且pe是车辆在数字地图坐标系中的位置。
在一种可能的实现的方式中，指示行驶车道的车道标记的车道引导标志包括：
表示车道标记的线；和/或
行驶车道的两个车道标记之间内的突出显示的区域。
在一种可能的实现的方式中，叠加模块配置为用于将车道标记的半透明引导标志投影到从相机接收的图像数据上。
根据另一个方面，本发明提供了一种用于车辆的用于显示车道信息的系统，所述系统包括：上述用于显示导航信息的装置；存储介质，其包括数字地图；定位装置，其配置为用于提供车辆的定位信息；以及相机，其配置为用于感测车辆的环境并且输出环境的图像数据。
根据另一个方面，本发明还提供了一种包括上述系统的车辆。
有利地，所述导航系统可以示出驾驶员应选择的哪个车道、以及具有精确的车道边界的车道几何形状、车道类型、车道标记类型、车道的宽度和车道级别速度限制信息。另外，因为车道引导标志可以突出显示车道并且示出车道的精确的车道边界，所以在晚上并且即使车道的标记是模糊的，根据本发明的导航系统也可以帮助驾驶员识别车道。
附图说明
为了更清楚地描述本发明的实施例中的技术解决方案，下面简要地介绍描述实施例所需的附图。显然，以下描述中的附图仅示出了本发明的一些实施例，本领域的普通技术人员仍可以在没有创造性努力的情况下从这些附图推导其他附图。
图1是根据本发明的方法的一个实施例的示意图；
图2是根据本发明的装置的一个实施例的示意图；
图3是根据相机的视角的具有车道的道路的示意图；
图4是根据本发明的增强现实导航的车道引导标志的一个例子的示意图；
图5是根据本发明的增强现实导航的车道引导标志的另一个例子的示意图；以及
图6是根据本发明的增强现实导航的车道引导标志的另一个例子的示意图。
具体实施方式
以下在本发明的实施例中，参照附图清楚地且完整地描述本发明的实施例中的技术解决方案。显然，所描述的实施例是本发明的实施例中的一些、而不是全部。本领域的普通技术人员在没有创造性的努力的情况下，基于本发明的实施例获取的所有的其他的实施例都应落在本发明的保护范围内。
图1示出方法10的一种实施例的示意性流程图，方法10用于车辆的用于显示车道信息，尤其是用于显示指示精确的车道边界的车道引导标志和车道的宽度。所述方法可以由图2所示的数据处理装置50(例如具有对应的计算程序的处理器)实现。
首先，汽车(尤其是车内导航系统)获取11数字地图，并且从定位模块(例如GPS)接收12汽车的定位。高清(HD)地图提供道路轮廓的高度准确的且现实的表示，包括弯道和地形信息。HD地图扩展车辆的视野范围，同时能够实现更平稳的、更安全的且更高效的驾驶场景。数字地图包括数字地图中的道路上的车道标记的坐标信息。HD地图还可以被用于实现范围广泛的高级驾驶应用。精确的车道信息包括：具有精确的车道边界的车道几何形状、车道横向信息、车道类型、车道标记类型和车道级别速度限制信息。
在根据汽车的目的地计算13路线规划之后，车内导航系统可以确定14将被选择的行驶车道。通常，可以使用数字地图、车辆的定位信息和车辆的目的地来计算路线规划。
车辆包括安装在车辆上的相机。相机检测车辆的环境，并且将检测到的图像数据输出到导航系统。导航系统从相机接收16图像数据。根据本发明的导航系统获取15行驶车道的车道标记的坐标，然后将这些坐标从HD地图的坐标系变换17到安装在汽车上的相机坐标系。
可以使用以下公式来将行驶车道的车道标记从数字地图坐标系变换到相机坐标系：
Figure BDA0002506069340000071
其中，pc是相机的图像数据上的像素位置，Te定义车辆在数字地图坐标系中的姿态，Tc定义相机在车辆坐标系中的姿态，pw是行驶车道的车道标记的坐标信息。
另外，可以使用以下公式计算Te：
Figure BDA0002506069340000072
其中，Re是车辆相对于数字地图的旋转矩阵，并且pe是车辆在数字地图坐标系中的位置。
将在HD地图信息和周围环境的传感器数据之间进行比较，以使得HD地图上的HAD汽车的姿态(位置和方位)可以被计算。这里，我们定义汽车的姿态可以被表示为变换矩阵Te。相机在HAD汽车系中的坐标和HAD汽车在HD地图中的位置被组合以计算HD地图中的相机的坐标。通过使用传感器标定技术，可以获取从相机坐标系到本车辆坐标系的变换矩阵Tc。这样，地图世界中的任何3D坐标都可以被投影到相机坐标系。
在基于行驶车道的变换到相机坐标系的车道标记产生18在相机坐标系中指示行驶车道的车道标记的车道引导标志之后，导航系统将车道引导标志叠加/覆盖19在从相机接收的图像数据上。
HD地图信息将被基于HD地图中的相机的位置加载到相机视图中。这样，可以在外部相机的实时视频中看见包括当前行驶车道、车道改变目的地的导航信息，因为世界中的任何坐标都可以通过使用公式pc而被投影到图像上。对于车道，我们可以用车道上的一系列点来表示每个点，将该点投影到图像上，并且将它们重新连接到车道曲线中。两个车道标记之间内的道路然后可以被用半透明填充色突出显示。
指示行驶车道的车道标记的车道引导标志可以是表示车道标记的线。可以通过使用来自数字地图的具有精确的车道边界的车道几何形状的数据来拟合所述线。而且，线形车道引导标志可以对应于车道标记类型，例如实线、双线、虚线等。另外，车道引导标志的颜色可以对应于行驶车道的车道标记的颜色、例如黄色线。
有利地，导航系统通过示出精确的车道边界和车道的宽度来向驾驶员指示驾驶员应选择哪个车道。另外，因为车道引导标志可以突出显示车道并且示出车道的精确的车道边界，所以根据本发明的导航系统可以帮助驾驶员例如在晚上识别其中道路的亮度不足以识别车道标记的车道。即使车道的标记被不清楚地印刷且是模糊的，导航系统也可以通过以图形示出精确的车道边界和车道的宽度来向驾驶员示出正确的车道。
进一步的信息(诸如车道类型、车道标记类型和车道级别速度限制信息)也可以以图形示出。尤其是，导航系统可以以图形示出与车道标记类型对应的线状车道引导标志，例如用实线、双线或虚线等来以图形示出。有利地，车道的车道标记类型也可以被以增强现实的方式指示给驾驶员。
可替代地，车道引导标志可以是行驶车道的两个车道标记之间内的突出显示的区域。
此外，投影在图像上的车道引导标志可以是半透明的，以使得印刷在道路上的交通标志仍可以被驾驶员看见。
图2示出用于车辆的增强现实导航装置(尤其是用于显示指示精确的车道边界的车道引导标志和车道的宽度的装置50)的实施例的示意图。
所述用于车辆的用于显示车道信息的装置50包括：地图获取模块51，其配置为用于获取数字地图；定位模块52，其配置为用于定义车辆的定位信息；路线规划模块53，其配置为用于获取车辆的路线规划；行驶车道模块54，其配置为用于根据车辆的定位信息和车辆的路线规划来确定行驶车道；车道标记模块55，其配置为用于从数字地图获取行驶车道的车道标记的坐标信息；图像数据模块56，其配置为用于从安装在车辆上的相机接收图像数据；变换模块57，其配置为用于将行驶车道的车道标记从数字地图坐标系变换到相机坐标系；车道引导标志模块58，其配置为用于基于行驶车道的变换到相机坐标系的车道标记来产生在相机坐标系中指示行驶车道的车道标记的车道引导标志；叠加模块59，其配置为用于将行驶车道的车道标记的车道引导标志叠加在从相机接收的图像数据上。
所述用于车辆的用于显示车道信息的导航系统包括上述用于显示导航信息的装置、包括数字地图的存储介质、定位装置和相机，定位装置配置为用于提供车辆的定位信息，相机配置为用于感测车辆的环境，并且输出环境的图像数据。
图3示出与相机的视觉角度相对应的具有车道的街道的示意图100。因此，存在三个车道101、102和103以及四个车道标记111、112、113和114。
道路表面标记(例如车道标记)是为了传达官方信息而在道路表面上使用的任何种类的装置或材料。它们也可以被涂覆在车辆使用的其他设施中以标记停放空间或指定用于其他意图的区域。道路表面标记在铺砌的路面上被用于向驾驶员和行人提供引导和信息。道路表面标记可以被用于描画交通车道、通知司机和行人。道路表面标记还可以指示用于停放和停止的规章。
交通车道或行进车道是用于从一个目的地行进到另一个目的地的车辆的移动的车道，不包括路肩。直通车道或贯穿车道是用于直通交通的交通车道。在交叉路口处，这些可以用笔直指向前的路面上的箭头来指示。道路的快车道被用于更快速移动的交通，并且较少进入出口/匝道。在其他区域中，快车道可以是指HOV车道(见下)。双向车道(逆流车道)是其中交通的方向可以被改变以匹配洪峰流量的车道。它们被用于适应高交通流量的时间段，尤其是流量主要在一个方向上、在不能被容易地变宽的道路(诸如高架桥)上的高峰时间。一个或多个车道被从相反的流量移除，并且被添加到峰值流量。
辅助车道是除了直通车道之外的用于将进入、退出或转弯交通与直通交通分开的车道。专用车道是预留给特定类型的车辆的交通车道。
在一些区域中，与路缘石相邻的车道被保留用于非移动车辆。停放车道被保留用于车辆的平行停放。消防车道是挨着路缘石的区域，该区域被保留用于消防设备、救护车或其他应急车辆。在常用红线标记的这些区域中的停放通常要承担违规停车罚单。
车道标记是识别不同类型的车道的最重要的手段。
图4是根据本发明的使用增强现实的突出显示的车道引导区域的例子的示意图。
导航系统在相机记录的现实的(运动)图像上示出覆盖层，即突出显示的车道引导区域121。突出显示的车道引导区域121完全对应于车道101的位置、精确的车道边界和车道101的形状，以使得驾驶员知道哪个车道101被路线规划选择以及车道101的位置和宽度。另外，车道101的整个区域用所述突出显示的车道引导区域来突出显示。因此，即使道路(和车道标记)由于不同的原因(例如在晚上)难以识别，根据本发明的导航系统也可以帮助驾驶员以非常容易的方式识别车道。另外，道路的模糊的车道标记可能难以被人类驾驶员识别，因为覆盖车道标记的寿命可能仅持续3年和8年之间。即使车道标记已经磨损(到危险的程度)并且难以被识别，基于导航系统指示的突出显示的车道引导区域121，驾驶员仍可以知道位置、精确的车道边界和车道的宽度。因此，根据本发明的导航系统还提高了驾驶的安全性。
线状车道引导标志对应于行驶车道的车道标记的类型，例如实线、双线或虚线。
图5是根据本发明的使用增强现实导航的车道引导线的示意图。根据本发明的AR导航系统在相机记录的现实的(运动)图像上示出覆盖线，即车道引导线131和132。车道引导线131和132完全对应于车道标记111和112的位置，以使得车道引导线131和132可以描画精确的车道边界和车道101的形状，以使得驾驶员知道车道101的位置和宽度。车道引导线131和132的形状和颜色可以对应于道路上的真实的车道标记111和112的颜色。
图6是在黑暗的环境中(例如在晚上)使用增强现实导航的车道引导标志的另一个例子的示意图。突出显示的车道引导区域可以帮助驾驶员以非常容易的方式识别车道。即使车道标记由于微弱的光(例如在晚上)，难以被识别。基于导航系统指示的突出显示的车道引导区域121，驾驶员仍可以知道位置、精确的车道边界和车道的宽度。因此，根据本发明的导航系统还提高了驾驶的安全性。
此外，车道引导标志(例如突出显示的车道引导区域)可以是半透明的，以使得突出显示的车道引导区域不遮挡或阻挡印刷在道路上的其他道路表面标记，例如图6所示的“S1”的标志。因此，驾驶员仍可以知道道路表面标记，以使得他可以相应地做出行为。

Claims (17)

1.用于车辆的用于显示车道信息的方法，包括：
获取(11)数字地图；
定义(12)所述车辆的定位信息；
获取(13)所述车辆的路线规划；
根据所述车辆的定位信息和所述车辆的路线规划来确定(14)行驶车道；
从所述数字地图获取(15)所述行驶车道的车道标记的坐标信息；
从安装在所述车辆上的相机接收(16)图像数据；
将所述行驶车道的车道标记从数字地图坐标系变换(17)到相机坐标系；
基于所述行驶车道的变换到所述相机坐标系的车道标记来产生(18)在所述相机坐标系中指示所述行驶车道的车道标记的车道引导标志；
将所述行驶车道的车道标记的车道引导标志叠加(19)在从所述相机接收的图像数据上。
2.根据权利要求1所述的方法，其中，所述数字地图包括所述数字地图中的道路上的车道标记的坐标信息。
3.根据前述权利要求中任一项所述的方法，其中，能够通过使用所述数字地图、所述车辆的定位信息和所述车辆的目的地来计算所述路线规划。
4.根据前述权利要求中任一项所述的方法，其中，所述步骤“将所述行驶车道的车道标记从数字地图坐标系变换(17)到相机坐标系”包括：
使用以下公式变换所述车道标记：
Figure FDA0002506069330000011
其中，pc是所述相机的图像数据上的像素位置，Te定义所述车辆在数字地图坐标系中的姿态，Tc定义所述相机在所述车辆坐标系中的姿态，pw是所述行驶车道的车道标记的坐标信息。
5.根据权利要求4所述的方法，其中，使用以下公式计算Te：
Figure FDA0002506069330000021
其中，Re是所述车辆相对于所述数字地图的旋转矩阵，并且pe是所述车辆在数字地图坐标系中的位置。
6.根据前述权利要求中任一项所述的方法，其中，指示所述行驶车道的车道标记的车道引导标志包括：
表示所述车道标记的线；和/或
所述行驶车道的两个车道标记之间内的突出显示的区域。
7.根据权利要求6所述的方法，其中，线状车道引导标志对应于所述行驶车道的车道标记的车道标记类型、特别是实线、双线或虚线。
8.根据前述权利要求中任一项所述的方法，其中，步骤“将所述行驶车道的车道标记的车道引导标志叠加(19)在从所述相机接收的图像数据上”包括：
将所述车道标记的半透明引导标志投影到从所述相机接收的图像数据上。
9.用于车辆的用于显示车道信息的装置，包括：
地图获取模块(51)，所述地图获取模块配置为用于获取数字地图；
定位模块(52)，所述定位模块配置为用于定义所述车辆的定位信息；
路线规划模块(53)，所述路线规划模块配置为用于获取所述车辆的路线规划；
行驶车道模块(54)，所述行驶车道模块配置为用于根据所述车辆的定位信息和所述车辆的路线规划来确定行驶车道；
车道标记模块(55)，所述车道标记模块配置为用于从所述数字地图获取所述行驶车道的车道标记的坐标信息；
图像数据模块(56)，所述图像数据模块配置为用于从安装在所述车辆上的相机接收图像数据；
变换模块(57)，所述变换模块配置为用于将所述行驶车道的车道标记从数字地图坐标系变换到相机坐标系；
车道引导标志模块(58)，所述车道引导标志模块配置为用于基于所述行驶车道的变换到相机坐标系的车道标记来产生在相机坐标系中指示所述行驶车道的车道标记的车道引导标志；
叠加模块(59)，所述叠加模块配置为用于将所述行驶车道的车道标记的车道引导标志叠加在从所述相机接收的图像数据上。
10.根据权利要求9所述的装置，其中，所述数字地图包括所述数字地图中的道路上的车道标记的坐标信息。
11.根据权利要求9至10中任一项所述的装置，其中，所述变换模块(57)配置为用于使用以下公式变换所述车道标记：
Figure FDA0002506069330000031
其中，pc是所述相机的图像数据上的像素位置，Te定义所述车辆在数字地图坐标系中的姿态，Tc定义所述相机在所述车辆坐标系中的姿态，pw是所述行驶车道的车道标记的坐标信息。
12.根据权利要求11所述的装置，其中，使用以下公式计算Te：
Figure FDA0002506069330000032
其中，Re是所述车辆相对于所述数字地图的旋转矩阵，并且pe是所述车辆在数字地图坐标系中的位置。
13.根据权利要求9至12中任一项所述的装置，其中，指示所述行驶车道的车道标记的车道引导标志包括：
表示所述车道标记的线；和/或
所述行驶车道的两个车道标记之间内的突出显示的区域。
14.根据权利要求13所述的装置，其中，线状车道引导标志对应于所述行驶车道的车道标记的车道标记类型、特别是实线、双线或虚线。
15.根据权利要求9-14中任一项所述的装置，其中，所述叠加模块(59)配置为用于将所述车道标记的半透明引导标志投影到从所述相机接收的图像数据上。
16.用于车辆的用于显示车道信息的系统，包括：
根据权利要求9至15所述的用于显示导航信息的装置；
存储介质，所述存储介质包括数字地图；
定位装置，所述定位装置配置为用于提供所述车辆的定位信息；以及
相机，所述相机配置为用于感测所述车辆的环境并且输出所述环境的图像数据。
17.包括根据权利要求16所述的系统的车辆。
CN201780097164.2A 2017-12-21 2017-12-21 用于显示增强现实导航信息的方法、装置和系统 Active CN111373223B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/117792 WO2019119359A1 (en) 2017-12-21 2017-12-21 Method, device and system for displaying augmented reality navigation information

Publications (2)

Publication Number Publication Date
CN111373223A true CN111373223A (zh) 2020-07-03
CN111373223B CN111373223B (zh) 2024-03-19

Family

ID=66994325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097164.2A Active CN111373223B (zh) 2017-12-21 2017-12-21 用于显示增强现实导航信息的方法、装置和系统

Country Status (4)

Country Link
US (1) US11761783B2 (zh)
EP (1) EP3728999A4 (zh)
CN (1) CN111373223B (zh)
WO (1) WO2019119359A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112265647A (zh) * 2020-10-30 2021-01-26 深圳中集天达空港设备有限公司 登机桥的远程自动控制、装置、介质及电子设备
CN112340050A (zh) * 2020-10-30 2021-02-09 深圳中集天达空港设备有限公司 登机桥的远程控制方法、装置、介质及电子设备
CN112560680A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 车道线处理方法、装置、电子设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019079941A1 (en) * 2017-10-23 2019-05-02 Bayerische Motoren Werke Aktiengesellschaft METHOD AND APPARATUS FOR DETERMINING A DRIVING STRATEGY OF A VEHICLE
USD956067S1 (en) * 2019-12-17 2022-06-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD1009885S1 (en) * 2020-02-27 2024-01-02 Sony Corporation Display screen or portion thereof with graphical user interface
CN113223113B (zh) * 2021-04-30 2024-04-19 阿波罗智联(北京)科技有限公司 车道线处理方法、装置、电子设备和云控平台
CN114199227B (zh) * 2021-12-03 2024-04-12 京东鲲鹏(江苏)科技有限公司 一种导航路径的规划方法和装置
CN115097632B (zh) * 2022-07-22 2024-01-26 北京经纬恒润科技股份有限公司 一种ar-hud转向辅助显示方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110103651A1 (en) * 2008-07-31 2011-05-05 Wojciech Tomasz Nowak Computer arrangement and method for displaying navigation data in 3d
CN106919915A (zh) * 2017-02-22 2017-07-04 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法
CN107036607A (zh) * 2015-12-15 2017-08-11 本田技研工业株式会社 用于核实车辆的地图数据的系统和方法
US20170343374A1 (en) * 2016-05-27 2017-11-30 Baidu Online Network Technology (Beijing) Co., Ltd. Vehicle navigation method and apparatus
CN107415922A (zh) * 2016-05-23 2017-12-01 本田技研工业株式会社 行驶控制装置
US20170350720A1 (en) * 2016-06-03 2017-12-07 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method of using gps map information to highlight road markings on a head up display that otherwise may be non-visible due to inclement weather

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301813A1 (en) * 2010-06-07 2011-12-08 Denso International America, Inc. Customizable virtual lane mark display
CN102889892B (zh) 2012-09-13 2015-11-25 东莞宇龙通信科技有限公司 实景导航的方法及导航终端
CN103105174B (zh) 2013-01-29 2016-06-15 四川长虹佳华信息产品有限责任公司 一种基于ar增强现实技术的车载实景安全导航方法
KR101665599B1 (ko) 2014-11-27 2016-10-12 현대오트론 주식회사 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법
CN106092114A (zh) * 2016-06-22 2016-11-09 江苏大学 一种图像识别的汽车实景导航装置及方法
CN106767914B (zh) 2016-12-02 2020-03-10 百度在线网络技术（北京）有限公司 用于测试基于高精度地图规划的路径的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110103651A1 (en) * 2008-07-31 2011-05-05 Wojciech Tomasz Nowak Computer arrangement and method for displaying navigation data in 3d
CN107036607A (zh) * 2015-12-15 2017-08-11 本田技研工业株式会社 用于核实车辆的地图数据的系统和方法
CN107415922A (zh) * 2016-05-23 2017-12-01 本田技研工业株式会社 行驶控制装置
US20170343374A1 (en) * 2016-05-27 2017-11-30 Baidu Online Network Technology (Beijing) Co., Ltd. Vehicle navigation method and apparatus
US20170350720A1 (en) * 2016-06-03 2017-12-07 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method of using gps map information to highlight road markings on a head up display that otherwise may be non-visible due to inclement weather
CN106919915A (zh) * 2017-02-22 2017-07-04 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROBERT FERRIS: "Alibaba-backed augmented reality start-up makes driving look like a video game", WATCH LIVE, pages 1 - 3 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112265647A (zh) * 2020-10-30 2021-01-26 深圳中集天达空港设备有限公司 登机桥的远程自动控制、装置、介质及电子设备
CN112340050A (zh) * 2020-10-30 2021-02-09 深圳中集天达空港设备有限公司 登机桥的远程控制方法、装置、介质及电子设备
CN112560680A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 车道线处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3728999A1 (en) 2020-10-28
CN111373223B (zh) 2024-03-19
EP3728999A4 (en) 2021-07-14
US11761783B2 (en) 2023-09-19
US20200393269A1 (en) 2020-12-17
WO2019119359A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
CN111373223B (zh) 用于显示增强现实导航信息的方法、装置和系统
US11131550B2 (en) Method for generating road map for vehicle navigation and navigation device
EP2162849B1 (en) Lane determining device, lane determining method and navigation apparatus using the same
US20220397402A1 (en) Systems and methods for determining road safety
US10431094B2 (en) Object detection method and object detection apparatus
US7039521B2 (en) Method and device for displaying driving instructions, especially in car navigation systems
EP1857780B1 (en) Dual road geometry representation for position and curvature-heading
RU2667675C1 (ru) Устройство определения позиции транспортного средства и способ определения позиции транспортного средства
US8676492B2 (en) Map-aided vision-based lane sensing
JP2022535351A (ja) 車両ナビゲーションのためのシステム及び方法
JP2019032243A (ja) ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法
EP2269883A1 (en) Lane judgement equipment and navigation system
JP5654269B2 (ja) 車両用ディスプレイ装置及び車両用ディスプレイの表示方法
CN110196056B (zh) 用于生成用于自动驾驶车辆导航和决策的道路地图的方法和导航装置
US11378970B2 (en) Visual localization support system
CN106462727A (zh) 用于车道尽头识别的系统和方法
CN102208035A (zh) 图像处理系统及位置测量系统
JP4953012B2 (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP6415583B2 (ja) 情報表示制御システムおよび情報表示制御方法
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
US20230135641A1 (en) Superimposed image display device
CN114930123A (zh) 用于检测交通灯的系统和方法
JP2023519940A (ja) 車両をナビゲートするための制御ループ
JP2014071631A (ja) 走行情報表示システム
CN112781600A (zh) 一种车辆导航方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant