CN111512120A - 用于显示增强现实poi信息的方法、装置和系统 - Google Patents

用于显示增强现实poi信息的方法、装置和系统 Download PDF

Info

Publication number
CN111512120A
CN111512120A CN201780097857.1A CN201780097857A CN111512120A CN 111512120 A CN111512120 A CN 111512120A CN 201780097857 A CN201780097857 A CN 201780097857A CN 111512120 A CN111512120 A CN 111512120A
Authority
CN
China
Prior art keywords
poi
information
vehicle
camera
digital map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780097857.1A
Other languages
English (en)
Inventor
许涛
M·都姆灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN111512120A publication Critical patent/CN111512120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

用于车辆的用于显示兴趣点、POI的信息的方法，包括：获取(11)数字地图；获取(12)车辆的定位信息；从数字地图获取(13)POI的坐标信息和POI的类型信息；从安装在车辆上的相机接收(14)现实图像数据；将POI的坐标信息从数字地图坐标系变换(15)到相机坐标系；基于所述POI的变换到相机坐标系的坐标信息和所述POI的类型信息来产生(16)在相机坐标系中指示POI的导向标志；将指示POI的导向标志叠加(17)在从相机接收的图像数据上。

Description

用于显示增强现实POI信息的方法、装置和系统
技术领域
本发明总体上涉及增强现实导航系统的领域，更具体地涉及用于车辆的用于显示兴趣点、POI的信息的方法和设备。
背景技术
常规的导航设备在显示单元上显示的数字地图(从这里开始简称为“地图”)上显示车辆位置确定单元所确定的车辆的当前位置，同时将当前位置叠加在地图上。此外，常规的导航设备根据车辆位置确定单元所确定的车辆的当前位置来搜索推荐的兴趣点、POI的信息，并且将推荐的POI与数字地图一起显示在车机单元的显示器上。
现有技术通常使用低精度地图，并且只可以在数字地图上指示POI位置，而不能指示环境的真实信息。它不能指示现实中的哪个建筑物对于驾驶者来说是正确的POI。
另一个问题是，这样的系统所采集的道路信息由于传感器的难以避免的误差是不完整且不精确的。使用低精度地图的导航系统不能提供精确的足够的信息。
发明内容
随着增强现实的发展，具有高分辨率信息的增强导航的需求日益增长。本发明的任务是提供一种能够通过使用增强现实来指示POI的精确信息的方法和装置。精确的POI信息包括POI的精确位置和POI的类型信息。
上述任务通过权利要求1、以及权利要求8、14和15来解决。有利的特征也在从属权利要求中被限定。
本发明的实施例提供了用于车辆的用于显示兴趣点、POI的信息的方法、装置和系统，该方法、装置和系统通过指示POI(例如加油站、邮局、购物中心、医院等)的精确信息而能够实现高效且舒适的用户体验。
因此，一种用于车辆的用于显示兴趣点、POI的信息的计算机实现的方法包括：
获取数字地图；
获取车辆的定位信息；
从数字地图获取所述POI的坐标信息和所述POI的类型信息；
从安装在车辆上的相机接收现实图像数据；
将所述POI的坐标信息从数字地图坐标系变换到相机坐标系；
基于所述POI的变换到相机坐标系的坐标信息和所述POI的类型信息来产生在相机坐标系中指示所述POI的导向标志；
将指示所述POI的导向标志叠加在从相机接收的图像数据上。
首先，汽车(尤其是车内导航系统)包括数字地图，并且从定位模块(例如GPS)接收汽车的定位。高清(HD)地图提供道路轮廓的高度准确且现实的表示，包括POI信息。HD地图扩展车辆的视野范围，同时能够实现更平稳、更安全且更高效的驾驶场景。HD地图还可以被用于实现范围广泛的高级驾驶应用。所述POI的信息包括所述POI的坐标信息和所述POI的类型信息。在根据汽车的定位选择POI之后，车内导航系统可以示出与通过相机感测到的现实图像组合的POI信息。
根据本发明的导航系统从数字地图坐标系获取所述POI的坐标，然后将这些坐标变换到安装在汽车上的相机坐标系。根据所述POI的变换到相机坐标系的坐标来产生在相机坐标系中指示POI的位置和/或类型的POI导向标志。导航系统将车道导向标志叠加/覆盖在从相机接收的图像数据上。
有利地，导航系统可以指示真实环境中的哪个建筑物真正是所述POI，并且同时示出POI的类型，例如加油站、邮局、购物中心、医院等。
在一种可能的实现方式中，所述数字地图包括POI的坐标信息。
在一种可能的实现方式中，步骤“从数字地图获取POI的坐标信息和类型信息”包括：根据车辆的定位信息选择POI。
在一种可能的实现方式中，步骤“将POI的坐标信息从数字地图坐标系变换到相机坐标系”包括：使用以下公式变换POI的坐标信息：
Figure BDA0002547600740000031
其中，pc是相机的图像数据上的像素位置，Te限定车辆在数字地图坐标系中的姿态，Tc限定相机在车辆坐标系中的姿态，pw是所述POI的坐标信息。
在一种可能的实现方式中，使用以下公式计算Te：
Figure BDA0002547600740000032
其中，Re是车辆相对于数字地图的旋转矩阵，并且pe是车辆在数字地图坐标系中的位置。
在一种可能的实现方式中，所述导向标志包括：POI位置标志，和/或示出POI的类型信息的POI类型标志。
在一种可能的实现方式中，步骤“将指示POI的导向标志叠加在从相机接收的图像数据上”包括：将POI的半透明的导向标志投影到从相机接收的图像数据上。
因为导向标志可以在环境的真实(动态)图像上指示所述POI，并且示出所述POI的类型，所以根据本发明的导航系统即使是在黑暗的环境中、例如在晚上，也可以帮助驾驶者辨识POI的精确位置。
根据另一个方面，提供了一种用于车辆的用于显示兴趣点、POI的信息的装置。所述装置包括：
地图获取模块，其配置为用于获取数字地图；
定位模块，其配置为用于获取车辆的定位信息；
POI信息模块，其配置为用于从数字地图获取所述POI的坐标信息和所述POI的类型信息；
图像数据模块，其配置为用于从安装在车辆上的相机获取现实图像数据；
变换模块，其配置为用于将所述POI的坐标信息从数字地图坐标系变换到相机坐标系；
导向标志模块，其配置为用于基于所述POI的变换到相机坐标系的坐标信息和所述POI的类型信息来产生在相机坐标系中指示所述POI的导向标志；
叠加模块，其配置为用于将指示所述POI的导向标志叠加在从相机接收的图像数据上。
在一种可能的实现方式中，所述数字地图包括所述POI的坐标信息和所述POI的类型信息。
在一种可能的实现方式中，所述POI信息模块进一步配置为用于：根据车辆的定位信息选择所述POI。
在一种可能的实现方式中，所述变换模块进一步配置为用于：使用以下公式变换POI的坐标信息：
Figure BDA0002547600740000041
其中，pc是相机的图像数据上的像素位置，而Te限定车辆在数字地图坐标系中的姿态，Tc限定相机在车辆坐标系中的姿态，pw是所述POI的坐标信息。
在一种可能的实现方式中，使用以下公式计算Te：
Figure BDA0002547600740000042
其中，Re是车辆相对于数字地图的旋转矩阵，并且pe是车辆在数字地图坐标系中的位置。
在一种可能的实现方式中，其中，所述叠加模块进一步配置为用于：将所述POI的半透明的导向标志投影到从相机接收的图像数据上。
根据另一个方面，本发明提供了一种用于车辆的用于显示兴趣点、POI的信息的系统，所述系统包括：
上述用于车辆的用于显示兴趣点、POI的信息的装置；
存储介质，其包括数字地图；
定位装置，其配置为用于提供车辆的定位信息；以及
相机，其配置为用于感测车辆的环境并且输出环境的图像数据。
根据另一个方面，本发明还提供了一种包括上述用于车辆的用于显示兴趣点、POI的信息的系统的车辆。
有利地，根据本发明的导向标志可以在环境的真实(动态)图像上指示POI，并且同时示出所述POI的类型。所述导航系统可以指示环境的真实图像中的哪个建筑物真正是所述POI。此外，根据本发明的导航系统即使是在黑暗的环境中、例如在晚上，也可以帮助驾驶者辨识POI的精确位置。
附图说明
为了更清楚地描述本发明的实施例中的技术方案，下面简要地介绍为了描述各实施例所需的附图。显然，以下描述中的附图仅示出了本发明的一些实施例，本领域的普通技术人员仍可以在无需创造性努力的情况下从这些附图推导其他附图。
图1是根据本发明的方面的一个实施例的示意图。
图2是根据本发明的装置的一个实施例的示意图。
图3是根据相机的视角的具有道路和所述POI的环境的示意图；
图4是根据本发明的增强现实导航的POI导向标志的一个例子的示意图；以及
图5是根据本发明的增强现实导航的POI导向标志的另一个例子的示意图。
具体实施方式
下面在本发明的实施例中参照附图清楚地且完整地描述本发明的实施例中的技术方案。显然，所描述的各实施例是本发明的实施例中的一些、而不是全部。本领域的普通技术人员基于本发明的各实施例在无需创造性努力的情况下获取的所有的其他实施例应落在本发明的保护范围内。
图1示出方法10的实施例的示意性流程图，方法10用于车辆的用于显示兴趣点、POI的信息，尤其是用于显示指示POI的精确位置以及POI的类型的导向标志。所述方法可以由图2中所示的数据处理装置50(例如具有对应的计算程序的处理器)实现。
首先，汽车(尤其是车内导航系统)获取11数字地图，并且从定位模块(例如GPS)接收12汽车的定位。高清(HD)地图提供环境中的多个元素的高度准确且现实的表示。数字地图包括POI信息，所述POI信息包括POI的坐标信息和类型。HD地图还可以被用于实现范围广泛的高级驾驶应用。
车辆包括安装在车辆上的相机。相机检测车辆的环境，并且将检测到的图像数据输出到导航系统。导航系统可以从相机接收图像数据。
在从数字地图获取13所述POI的坐标信息和所述POI的类型信息并且从安装在车辆上的相机接收14现实图像数据之后，车内导航系统可以根据车辆的定位信息来选择POI。通常，POI也可以被按预定类型过滤。
根据本发明的导航系统然后将POI的坐标信息从数字地图坐标系变换15到相机坐标系。
可以使用以下公式来变换POI的坐标信息：
Figure BDA0002547600740000061
其中，pc是相机的图像数据上的像素位置，Te限定车辆在数字地图坐标系中的姿态，Tc限定相机在车辆坐标系中的姿态，pw是POI的坐标信息。
另外，可以使用以下公式来计算Te：
Figure BDA0002547600740000062
其中，Re是车辆相对于数字地图的旋转矩阵，并且pe是车辆在数字地图坐标系中的位置。
将在HD地图信息和周围的传感器数据之间进行比较，以使得HAD汽车在HD地图上的姿态(位置和方位)可以被计算。这里，我们定义汽车的姿态可以被表示为变换矩阵Te。相机在HAD汽车系中的坐标和HAD汽车在HD地图中的位置被组合以计算相机在HD地图中的的坐标。通过使用传感器标定技术，可以获取从相机坐标系到本车辆坐标系的变换矩阵Tc。这样，地图世界中的任何3D坐标都可以被投影到相机坐标系。
然后，可以基于所述POI的变换到相机坐标系的坐标信息和所述POI的类型信息来产生16在相机坐标系中指示POI的导向标志。
在产生16导向标志之后，导航系统将车道导向标志叠加/覆盖17在从相机接收的图像数据中。
HD地图信息将被基于相机在HD地图中的位置加载到相机视图中。这样，可以在外部相机的实时视频中看见包括当前驾驶车道、车道改变目的地的导航信息，因为世界中的任何坐标都可以通过使用公式pc而被投影到图像上。
POI位置标志可以用虚线矩形121和122(如图4所示)表示在图像上，并且将虚线矩形121或122中的每个投影到POI建筑物所在的位置处的真实环境图像上。POI导向标志可以用半透明的填充色来突出显示。
如图4所示，指示POI的类型信息的POI类型可以用对应的示意性标志131和132来表示。可替代地，POI的类型信息可以用文字指示来表示。
有利地，导航系统精确地向驾驶者指示POI建筑物所在的位置。另外，因为导向标志可以被突出显示，所以根据本发明的导航系统可以在环境的亮度不足以辨识建筑物的情况下(例如在晚上)帮助驾驶者辨识POI建筑物。
另外，POI指示的类型可以用具有对应的示意性标志的POI类型标志来表示。
此外，投影在图像上的POI导向标志可以是半透明的，以使得从相机接收的真实图像上的环境将不被阻挡。
图2示出用于车辆的增强现实导航装置、尤其是用于显示车道导向标志的装置50的实施例的示意图，所述车道导向标志指示精确的车道边界和车道的宽度。
所述用于车辆的用于显示兴趣点、POI的信息的装置50，地图获取模块51，其配置为用于获取数字地图；定位模块52，其配置为用于获取车辆的定位信息；POI信息模块53，其配置为用于从数字地图获取所述POI的坐标信息和所述POI的类型信息；图像数据模块54，其配置为用于从安装在车辆上的相机获取现实图像数据；变换模块55，其配置为用于将所述POI的坐标信息从数字地图坐标系变换到相机坐标系；导向标志模块56，其配置为用于基于所述POI的变换到相机坐标系的坐标信息和所述POI的类型信息来产生在相机坐标系中指示POI的导向标志；叠加模块57，其配置为用于将指示所述POI的导向标志叠加在从相机接收的图像数据上。
所述用于车辆的用于显示兴趣点、POI的信息的导航系统包括：上述用于车辆的用于显示兴趣点、POI的信息的装置；存储介质，其包括数字地图；定位装置，其配置为用于提供车辆的定位信息；以及相机，其配置为用于感测车辆的环境并且输出环境的图像数据。
图3示出具有所述POI的与相机的视角相对应的的街道视图的示意图100。因此，在图像上存在两个POI 111和112。
图4是根据本发明的使用增强现实的POI导向标志的例子的示意图。
导航系统在由相机记录的现实的(动态)图像上示出导向标志，即，虚线矩形121或122。所述POI导向标志121准确地对应于POI 111的地点，POI导向标志122准确地对应于POI112的地点。另外，POI 111和112的类型用对应的示意性标志131(即加油站)和132(即酒店)来表示。
根据本发明的导航系统基于真实环境的(动态)图像、而不是数字地图来指示POI的位置和类型。因此，根据本发明的导航系统可以以非常简单且清楚的方式帮助驾驶者辨识POI的位置。
图5是在黑暗的环境中(例如在晚上)使用增强现实导航的POI导向标志的进一步的例子的示意图。突出显示的导向区域可以以非常清楚的方式帮助驾驶者辨识POI。即使建筑物由于光线弱而难以被辨识。基于导航系统示出的突出显示的POI导向区域，驾驶者仍可以知道POI建筑物的地点。因此，根据本发明的导航系统还增强了驾驶的安全性。

Claims (15)

1.用于车辆的用于显示兴趣点、POI的信息的方法，所述方法包括：
获取(11)数字地图；
获取(12)所述车辆的定位信息；
从所述数字地图获取(13)所述POI的坐标信息和所述POI的类型信息；
从安装在所述车辆上的相机接收(14)现实图像数据；
将所述POI的坐标信息从数字地图坐标系变换(15)到相机坐标系；
基于所述POI的变换到相机坐标系的坐标信息和所述POI的类型信息来产生(16)在相机坐标系中指示所述POI的导向标志；
将指示所述POI的导向标志叠加(17)在从所述相机接收的图像数据上。
2.根据权利要求1所述的方法，其中，所述数字地图包括POI的坐标信息。
3.根据前述权利要求中任一项所述的方法，其中，所述步骤“从所述数字地图获取(13)所述POI的坐标信息和类型信息”包括：根据所述车辆的定位信息选择所述POI。
4.根据前述权利要求中任一项所述的方法，其中，所述步骤“将所述POI的坐标信息从数字地图坐标系变换(15)到相机坐标系”包括：
使用以下公式变换所述POI的坐标信息：
Figure FDA0002547600730000011
其中，pc是所述相机的图像数据上的像素位置，Te限定所述车辆在数字地图坐标系中的姿态，Tc限定所述相机在车辆坐标系中的姿态，pw是所述POI的坐标信息。
5.根据权利要求4所述的方法，其中，使用以下公式计算Te：
Figure FDA0002547600730000021
其中，Re是所述车辆相对于所述数字地图的旋转矩阵，并且pe是所述车辆在数字地图坐标系中的位置。
6.根据前述权利要求中任一项所述的方法，其中，所述导向标志包括：
POI位置标志，和/或
示出所述POI的类型信息的POI类型标志。
7.根据前述权利要求中任一项所述的方法，其中，所述步骤“将指示所述POI的导向标志叠加(17)在从所述相机接收的图像数据上”包括：
将所述POI的半透明的导向标志投影到从所述相机接收的图像数据上。
8.用于车辆的用于显示兴趣点、POI的信息的装置，包括：
地图获取模块(51)，所述地图获取模块配置为用于获取数字地图；
定位模块(52)，所述定位模块配置为用于获取所述车辆的定位信息；
POI信息模块(53)，所述POI信息模块配置为用于从所述数字地图获取所述POI的坐标信息和所述POI的类型信息；
图像数据模块(54)，所述图像数据模块配置为用于从安装在所述车辆上的相机获取现实图像数据；
变换模块(55)，所述变换模块配置为用于将所述POI的坐标信息从数字地图坐标系变换到相机坐标系；
导向标志模块(56)，所述导向标志模块配置为用于基于所述POI的变换到相机坐标系的坐标信息和所述POI的类型信息来产生在相机坐标系中指示所述POI的导向标志；
叠加模块(57)，所述叠加模块配置为用于将指示所述POI的导向标志叠加在从所述相机接收的图像数据上。
9.根据权利要求8所述的装置，其中，所述数字地图包括所述POI的坐标信息和所述POI的类型信息。
10.根据权利要求8至9中任一项所述的装置，其中，所述POI信息模块(53)进一步配置为用于：
根据所述车辆的定位信息选择所述POI。
11.根据权利要求8至10中任一项所述的装置，其中，所述变换模块(55)进一步配置为用于：
使用以下公式变换所述POI的坐标信息：
Figure FDA0002547600730000031
其中，pc是所述相机的图像数据上的像素位置，Te限定所述车辆在数字地图坐标系中的姿态，Tc限定所述相机在车辆坐标系中的姿态，pw是所述POI的坐标信息。
12.根据权利要求11所述的装置，其中，使用以下公式计算Te：
Figure FDA0002547600730000032
其中Re是所述车辆相对于所述数字地图的旋转矩阵，并且pe是所述车辆在数字地图坐标系中的位置。
13.根据权利要求8至12中任一项所述的装置，其中，所述叠加模块(57)进一步配置为用于：
将所述POI的半透明的导向标志投影到从所述相机接收的图像数据上。
14.用于车辆的用于显示兴趣点、POI的信息的系统，所述系统包括：
根据权利要求8至13所述的用于车辆的用于显示兴趣点、POI的信息的装置；
存储介质，所述存储介质包括数字地图；
定位装置，所述定位装置配置为用于提供车辆的定位信息；以及
相机，所述相机配置为用于感测所述车辆的环境并且输出所述环境的图像数据。
15.包括根据权利要求14所述的系统的车辆。
CN201780097857.1A 2017-12-21 2017-12-21 用于显示增强现实poi信息的方法、装置和系统 Pending CN111512120A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/117789 WO2019119358A1 (en) 2017-12-21 2017-12-21 Method, device and system for displaying augmented reality poi information

Publications (1)

Publication Number Publication Date
CN111512120A true CN111512120A (zh) 2020-08-07

Family

ID=66992924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097857.1A Pending CN111512120A (zh) 2017-12-21 2017-12-21 用于显示增强现实poi信息的方法、装置和系统

Country Status (4)

Country Link
US (1) US20200326202A1 (zh)
EP (1) EP3729000A4 (zh)
CN (1) CN111512120A (zh)
WO (1) WO2019119358A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3700791A4 (en) * 2017-10-23 2021-06-30 Bayerische Motoren Werke Aktiengesellschaft METHOD AND APPARATUS FOR DETERMINING A DRIVING STRATEGY OF A VEHICLE
US11935200B2 (en) * 2022-03-18 2024-03-19 GM Global Technology Operations LLC System and method for displaying infrastructure information on an augmented reality display

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100887721B1 (ko) * 2007-11-26 2009-03-12 한국전자통신연구원 영상 차량 항법 장치 및 방법
US20100250116A1 (en) * 2007-12-28 2010-09-30 Yoshihisa Yamaguchi Navigation device
US20110103651A1 (en) * 2008-07-31 2011-05-05 Wojciech Tomasz Nowak Computer arrangement and method for displaying navigation data in 3d
CN104121910A (zh) * 2013-04-28 2014-10-29 腾讯科技（深圳）有限公司 导航方法与装置、终端、服务器及系统
CN104359487A (zh) * 2014-11-13 2015-02-18 沈阳美行科技有限公司 一种实景导航系统
CN104833360A (zh) * 2014-02-08 2015-08-12 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN105513389A (zh) * 2015-11-30 2016-04-20 小米科技有限责任公司 增强现实的方法及装置
CN106791784A (zh) * 2016-12-26 2017-05-31 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
CN107228681A (zh) * 2017-06-26 2017-10-03 上海驾馥电子科技有限公司 一种通过摄像头加强导航功能的导航系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4502005B2 (ja) * 2007-12-27 2010-07-14 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びコンピュータプログラム
US20100185970A1 (en) * 2009-01-16 2010-07-22 Infocus Corporation User Interface for a Projection Device
US8301202B2 (en) * 2009-08-27 2012-10-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
EP3579178B1 (en) * 2011-04-12 2022-06-08 Google LLC Integrating maps and street views
EP2610589B1 (en) * 2011-12-28 2019-09-18 Harman Becker Automotive Systems GmbH Method of displaying points of interest
KR102021050B1 (ko) * 2012-06-06 2019-09-11 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
CN104375713B (zh) * 2013-08-14 2017-08-25 华为终端有限公司 数据处理方法和移动设备
KR20170045919A (ko) * 2015-10-20 2017-04-28 주식회사 카카오 3d 지도 내 poi 이미지의 동적 래핑을 수행하는 방법, 서버 및 컴퓨터 판독가능 기록매체

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100887721B1 (ko) * 2007-11-26 2009-03-12 한국전자통신연구원 영상 차량 항법 장치 및 방법
US20100250116A1 (en) * 2007-12-28 2010-09-30 Yoshihisa Yamaguchi Navigation device
CN101910792A (zh) * 2007-12-28 2010-12-08 三菱电机株式会社 导航装置
US20110103651A1 (en) * 2008-07-31 2011-05-05 Wojciech Tomasz Nowak Computer arrangement and method for displaying navigation data in 3d
CN104121910A (zh) * 2013-04-28 2014-10-29 腾讯科技（深圳）有限公司 导航方法与装置、终端、服务器及系统
CN104833360A (zh) * 2014-02-08 2015-08-12 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN104359487A (zh) * 2014-11-13 2015-02-18 沈阳美行科技有限公司 一种实景导航系统
CN105513389A (zh) * 2015-11-30 2016-04-20 小米科技有限责任公司 增强现实的方法及装置
CN106791784A (zh) * 2016-12-26 2017-05-31 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
CN107228681A (zh) * 2017-06-26 2017-10-03 上海驾馥电子科技有限公司 一种通过摄像头加强导航功能的导航系统

Also Published As

Publication number Publication date
WO2019119358A1 (en) 2019-06-27
EP3729000A4 (en) 2021-07-14
US20200326202A1 (en) 2020-10-15
EP3729000A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
CN107328410B (zh) 用于定位自动驾驶车辆的方法和汽车电脑
CN111373223B (zh) 用于显示增强现实导航信息的方法、装置和系统
US8315796B2 (en) Navigation device
US8665263B2 (en) Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein
CN101194143B (zh) 带有相机信息的导航装置
US20140285523A1 (en) Method for Integrating Virtual Object into Vehicle Displays
US20110103651A1 (en) Computer arrangement and method for displaying navigation data in 3d
JP2008309529A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
EP2610589B1 (en) Method of displaying points of interest
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
CN111351502A (zh) 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品
US20160169662A1 (en) Location-based facility management system using mobile device
JP3986220B2 (ja) 情報表示部材及びそれを用いた位置検出方法
CN102235869A (zh) 用于标记汽车目的地的方法和信息系统
US11361490B2 (en) Attention guidance for ground control labeling in street view imagery
US20220326028A1 (en) Method and system of vehicle driving assistance
CN102798397A (zh) 带有相机信息的导航装置
CN111512120A (zh) 用于显示增强现实poi信息的方法、装置和系统
JP2009204385A (ja) 標定装置、標定方法および標定プログラム
TWI426237B (zh) Instant image navigation system and method
CN102288180B (zh) 实时影像导航系统及方法
US20220058825A1 (en) Attention guidance for correspondence labeling in street view image pairs
JP5262232B2 (ja) 画像上方位表示方法及び装置並びに写真
US9846819B2 (en) Map image display device, navigation device, and map image display method
CN113566847B (zh) 导航校准方法和装置、电子设备、计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200807

WD01 Invention patent application deemed withdrawn after publication