CN102037326A - 以3d显示导航数据的方法 - Google Patents

以3d显示导航数据的方法 Download PDF

Info

Publication number
CN102037326A
CN102037326A CN200880129271XA CN200880129271A CN102037326A CN 102037326 A CN102037326 A CN 102037326A CN 200880129271X A CN200880129271X A CN 200880129271XA CN 200880129271 A CN200880129271 A CN 200880129271A CN 102037326 A CN102037326 A CN 102037326A
Authority
CN
China
Prior art keywords
image
computing machine
depth information
camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880129271XA
Other languages
English (en)
Inventor
沃伊切赫·托马什·诺瓦克
阿尔卡迪乌什·维索茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tele Atlas BV
Original Assignee
Tele Atlas BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tele Atlas BV filed Critical Tele Atlas BV
Publication of CN102037326A publication Critical patent/CN102037326A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本发明涉及一种计算机布置(10)，其包含处理器(11)及可供所述处理器(11)存取的存储器(12、13、14、15)。所述存储器(12、13、14、15)包含计算机程序，所述计算机程序包含经布置以允许所述处理器(11)进行以下操作的数据及指令：a)获得待显示的图像，b)获得与所述图像相关的深度信息，c)使用深度信息来识别所述图像中的至少一个区，d)为至少一个经识别的区选择显示模式。

Description

以3D显示导航数据的方法
技术领域
本发明涉及一种计算机布置、一种产生用于导航目的的图像的方法、一种包含可由计算机布置加载的数据及指令从而允许所述计算机布置执行此种方法的计算机程序产品及一种具备此种计算机程序产品的数据载体。
背景技术
在过去20年里，导航系统已变得更加普遍。在这些年里，这些系统已从道路中心线的简单几何显示演变成提供真实世界的现实图像/照片，以帮助用户行驶。
美国菲利普斯公司(U.S.Philips Corp.)的US5115398描述了一种显示导航数据的方法及系统，其包含产生由图像拾取单元(举例来说，车辆上的摄像机)产生的局部车辆环境的向前观看图像。在显示器单元上显示所捕获的图像。将从导航数据形成的指示行进方向的指示信号叠加于所显示的图像上。提供组合模块以将所述指示信号与所述环境的所述图像组合，以形成在显示单元上显示的组合信号。
汤姆汤姆国际私人有限公司(TomTom International B.V.)的WO2006132522还描述将导航指令叠加于相机图像上方。为使所叠加的导航指令的位置与相机图像匹配，使用图案辨识技术。
一种叠加导航信息的替代方式描述于欧洲专利申请案EP 1 751 499中。
US 6,285,317描述了一种用于移动车辆的导航系统，其经布置以产生在所显示的局部景物上作为覆盖显示的方向信息。所述局部景物可由局部景物信息提供者提供，所述局部景物信息提供者(例如)为适于在移动车辆上使用的摄像机。通过校准所述摄像机(即，确定所述相机的观看角度)将所述方向信息映射于所述局部景物上，然后通过缩放因子来缩放投影到投影屏幕上的所有点从而具有所需的观看面积。而且，测量安装于汽车上的相机相对于地面的高度且相应地改变3D导航软件中的观看点的高度。将理解，此程序相当繁琐。而且，此导航系统不能够处理存在于由相机捕获的局部景物中的对象(例如，其它车辆)。
根据现有技术，需要相对多的计算机能力来(举例来说)通过对由相机捕获的图像使用图案辨识技术而为用户提供用于导航目的的增强的透视图像。
发明内容
本发明的目的是提供一种解决上文所识别问题中的至少一者的方法及系统。
根据一方面，提供一种计算机布置，其包含处理器及可供所述处理器存取的存储器，所述存储器包含计算机程序，所述计算机程序包含经布置以允许所述处理器进行以下操作的数据及指令：
a)获得待显示的图像，
b)获得与所述图像相关的深度信息，
c)使用深度信息来识别所述图像中的至少一个区，
d)为至少一个经识别的区选择显示模式。
根据一方面，提供一种产生用于导航目的的图像的方法，其包含：
a)获得待显示的图像，
b)获得与所述图像相关的深度信息，
c)使用深度信息来识别所述图像中的至少一个区，
d)为至少一个经识别的区选择显示模式(实例参见下文)。
根据一方面，提供一种包含可由计算机布置加载的数据及指令从而允许所述计算机布置执行此种方法的计算机程序产品。
根据一方面，提供一种具备此种计算机程序的数据载体。
所述实施例提供一种用于将导航信息叠加于图像上而不需要使用复杂的且耗费计算机时间的图案辨识技术的简单可应用的解决方案。所述实施例进一步提供计及存在于图像中的临时对象(例如，其它车辆、行人等)，以提供更好理解的组合图像。
附图说明
将参照一些图式详细地解释本发明，所述图式仅打算显示本发明的实施例而非限制范围。本发明的范围在所附权利要求书中且由其技术等效内容加以界定。
所述图式显示：
图1示意性地描绘计算机布置，
图2示意性地描绘根据一实施例的流程图，
图3a及3b示意性地描绘根据一实施例的图像及深度信息，
图4示意性地描绘根据一实施例的流程图，
图5a、5b、6a、6b、7a、7b、8a、8b及9示意性地描绘组合图像，
图10a及10b显示图像以进一步解释一实施例。
具体实施方式
下文所提供的实施例描述一种用以向用户提供用于导航目的的增强的图像的方式。所述图像可显示道路网络的交通情况或部分，其以增强的方式显示，从而帮助用户定向及行驶。
举例来说，可通过将某些导航信息叠加于图像中的特定区上或通过以不同的色彩设定显示图像的不同区来增强图像。下文将描述更多实例。一般来说，通过以不同的显示模式显示图像的不同区来形成增强的图像。这样，可获得向用户呈现导航指令或信息的更直观的方式。
为以不同的显示模式来显示图像的不同区，首先需要识别这些不同区。根据所述实施例，此通过获得与特定图像相关的深度信息(三维信息)来实现。深度信息用来识别不同区且还被映射到图像。区可对应于交通标志、建筑物、其它车辆、过路人。一旦不同区经识别及辨识，则可以不同的显示模式显示不同区。
通过使用深度信息，不需要对图像应用复杂的图案辨识技术。这样，避免了相对繁多的计算，同时获得更加用户友好的结果。
计算机布置
在图1中，给出适于执行所述实施例的可能计算机布置10的概述。计算机布置10包含用于实施算术运算的处理器11。
处理器11连接到多个存储器组件，包括硬盘12、只读存储器(ROM)13、电可擦除可编程只读存储器(EEPROM)14及随机存取存储器(RAM)15。未必需要提供所有这些存储器类型。此外，这些存储器组件不需要物理上靠近处理器11定位而是可远离处理器11定位。
处理器11还连接到用户用来输入指令、数据等的构件，如键盘16及鼠标17。也可提供所属领域的技术人员已知的其它输入构件，例如触摸屏、轨迹球及/或话音转换器。
提供连接到处理器11的读取单元19。读取单元19经布置以从数据载体(如软盘20或CDROM 21)读取数据及可能在其上写入数据。其它数据载体可以是磁带、DVD、CD-R、DVD-R、存储棒等，如所属领域的技术人员已知。
处理器11还连接到打印机23以在纸张上打印输出数据以及连接到显示器18，例如监视器或LCD(液晶显示器)屏幕或所属领域的技术人员已知的任何其它类型的显示器。
处理器11可连接到扩音器29。
计算机布置10可进一步包含或经布置以与相机CA通信，例如照相机、摄像机或3D相机，如下文将更详细地解释。
计算机布置10可进一步包含定位系统PS以确定关于当前位置的位置信息等以供处理器11使用。所述定位系统PS可包含以下各项中的一者或一者以上：
·全球导航卫星系统(GNSS)，例如GPS(全球定位系统)单元等
·DMI(距离测量仪表)，例如，通过感测车轮2中的一者或一者以上的旋转数目来测量汽车1行进的距离的里程表。
·IMU(惯性测量单元)，例如，经布置以测量旋转加速度的三个回转仪单元及沿三个正交方向的三个平移加速计。
处理器11可借助I/O构件25连接到通信网络27，例如公共交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、因特网等。处理器11可经布置以通过网络27与其它通信布置通信。当车辆沿街道移动的同时收集数据时，这些连接可不全部实时地连接。
数据载体20、21可包含数据及指令形式的计算机程序产品，所述数据及指令经布置以给所述处理器提供执行根据实施例的方法的能力。然而，或者，此计算机程序产品可经由电信网络27下载。
处理器11可实施为独立系统，或实施为各自经布置以实施较大计算机程序的子任务的多个并行操作处理器，或实施为具有数个子处理器的一个或一个以上主处理器。本发明的部分功能性甚至可由通过网络27与处理器11通信的远程处理器实施。
观察到，当应用于汽车中时，计算机布置10不需要具有图1中所示的所有组件。举例来说，那时计算机布置10不需要具有扩音器及打印机。至于汽车中的实施方案，计算机布置10可至少包含处理器11、用以存储合适程序的某一存储器12、13、14、15及用以从操作者接收指令及数据并向所述操作者显示输出数据的某一种类的接口。
将理解，此计算机布置10可经布置以用作导航设备。
相机/深度传感器
本文中所使用的术语“图像”是指交通情况的图像，例如图片。可通过使用相机CA(例如，照相机或摄像机)来获得这些图像。相机CA可为导航设备的部分。
然而，相机CA还可远离导航设备提供且可经布置以与导航设备通信。导航设备可(例如)经布置以将指令发送到相机CA以捕获图像且可经布置以从相机CA接收此种图像。同时，相机CA可经布置以在从导航设备接收到指令后即刻捕获图像且将此图像传输到导航设备。相机CA及导航设备可经布置以设立通信链路(例如，使用蓝牙)以进行通信。
相机CA可为经布置以捕获图像及深度信息的三维相机3CA。三维相机3CA(举例来说)可以是包含两个镜头系统及一处理单元的立体相机(立体视觉)。此种立体相机可同时捕获两个图像，从而提供从不同的透视点拍摄的大体相同的图像。此差异可由处理单元用来计算深度信息。使用三维相机3CA同时提供图像及深度信息，其中深度信息可用于图像的大致所有像素。
根据进一步实施例，相机CA包含单个镜头系统，但通过分析图像序列来检索深度信息。相机CA经布置以在连续的时刻捕获至少两个图像，其中每一图像提供从不同的透视点拍摄的大致相同的图像。此外，可使用透视点的差异来计算深度信息。为实现此目的，导航设备使用来自定位系统的位置信息来计算不同的图像之间的透视点之间的差异。此外，此实施例同时提供图像及深度信息，其中深度信息可用于图像的大致所有像素。
根据进一步实施例，通过使用由导航设备包含或经布置以向导航信息提供深度信息的深度传感器(例如，雷达)、一个或一个以上扫描仪或激光扫描仪(未显示)来获得深度信息。激光扫描仪3(j)取激光样本(包含与环境相关的深度信息)，且可包括与建筑物块、树、交通标志、停放的汽车、人等相关的深度信息。
激光扫描仪3(j)还可连接到微处理器μP且将这些激光样本发送到微处理器μP。
相机还可产生(举例来说)从飞机或卫星拍摄的航空图像。这些图像可提供垂直向下视图或可提供成角度的向下视图，即，提供透视图或鸟瞰图。
图3a显示图像的实例，其中图3b显示实例性对应深度信息。所述深度信息对应于图3a中所示的图像。图3a及3b中所示的图像及深度信息使用三维相机来获得，但也可通过分析使用普通相机或经合适地集成的相机与激光扫描仪或雷达的组合获得的图像序列来获得。如可在3a及3b中看到，对于大致每一图像像素，深度信息可用，但应理解此并非一要求。
实施例
根据一实施例，提供一种计算机布置10，其包含处理器11及可供所述处理器11存取的存储器12、13、14、15，所述存储器12、13、14、15包含计算机程序，所述计算机程序包含经布置以允许所述处理器11进行以下操作的数据及指令：
a)获得待显示的图像，
b)获得与所述图像相关的深度信息，
c)使用深度信息来识别所述图像中的至少一个区，
d)为至少一个经识别的区选择显示模式(实例参见下文)。
所述实施例可进一步包含：
e)产生增强的图像。
此后，可在显示器18上显示所述增强的图像。
将理解，可以循环来执行如此处所描述的动作，即，可以预定时刻来重复所述动作，例如以预定时间间隔或在检测到某一移动或已行进距离之后。所述循环可确保充分地刷新所述增强的图像。
实际上，所述图像可以是视频馈入的部分。在所述情况下，可针对视频馈入的每一新图像执行所述动作，或至少充分经常地执行以为用户提供平滑且一致的视图。
计算机布置10可以是任何种类的计算机布置，例如手持式计算机布置、导航设备、移动电话、掌上型计算机、膝上型计算机、内建式导航设备(内建到车辆)、桌上型计算机布置等。
所述实施例涉及为用户提供从开始到目的地的导航方向的导航设备，但还涉及一种经恰当布置以向用户指示当前位置或提供世界的特定部分的视图的导航设备(例如，谷歌地图)。
相应地，提供与产生用于导航目的的图像的方法相关的实施例，其包含：
a)获得待显示的图像，
b)获得与所述图像相关的深度信息，
c)使用深度信息来识别所述图像中的至少一个区，
d)为至少一个经识别的区选择显示模式(实例参见下文)。
所述实施例可包含：
e)产生增强的图像。
此后，可在显示器18上显示所述增强的图像。
动作a)、b)、c)、d)、e)示意性地显示于图2中，其显示可执行的流程图。下文更详细地解释动作a)、b)、c)、d)、e)。将理解，在可能之处，执行不同动作的次序可变化。
所描述的实施例涉及经布置以执行此种方法的计算机布置10，但还涉及为用户提供此种方法的功能性的软件工具，例如基于web的导航工具(谷歌地图等)。
动作a
动作a)包含获得待显示的图像。
所述图像可以是世界的部分的图片，举例来说，显示交通情况。如上文所解释，可通过使用相机CA(例如，照相机或摄像机)来获得所述图像。相机CA可以是计算机布置10的部分(例如，导航设备)或可以是计算机布置10可从其接收图像的远程相机CA。
远程相机CA的实例(举例来说)为安装于卫星或航空飞机上的相机，从而提供航空图像。这些图像可提供垂直向下视图或可提供成角度的向下视图，即，提供透视图或鸟瞰图。
远程相机CA的另一实例为内建于车辆中的相机(举例来说，在所述车辆前面)或沿道路的侧定位的相机。此类相机(举例来说)可使用合适的通信链路(例如，蓝牙或基于因特网的通信链路)与计算机布置10通信。
所述相机还可以是经布置以捕获图像及深度信息的三维相机3CA，其中可在动作b)中使用所述深度信息。
还可从由计算机布置10包含的存储器12、13、14、15或从计算机布置10经布置以从其获得图像的远程存储器获得图像。此类远程存储器(举例来说)可使用合适的通信链路(例如，蓝牙或基于因特网的通信链路)与计算机布置10通信。
存储于(远程)存储器中的图像可具有相关联位置及定向，从而允许计算机布置10基于来自(举例来说)定位传感器的位置信息选择正确的图像。
因此，根据一实施例，所述计算机布置包含经布置以获得图像的相机CA。
根据进一步实施例，处理器11经布置以从以下各项中的一者获得图像：
-远程相机，
-存储器12、13、14、15，
-远程存储器。
动作b)
动作b)包含获得与所述图像相关的深度信息。
计算机布置10可经布置以根据从不同的透视点拍摄的至少两个图像计算图像信息。可根据上文所描述的动作a)来获得这至少两个图像，也可(例如)从(远程)相机及(远程)存储器获得。
可从如上文所描述的三维相机(立体相机)获得所述至少两个图像。也可从单个镜头相机获得所述至少两个图像，所述单个镜头相机从不同的透视点产生图像序列。计算机布置10可经布置以分析所述两个图像以获得深度信息。
计算机布置10还可经布置以从如上文所描述的深度传感器(例如，扫描仪、激光扫描仪、雷达等)获得深度信息。
而且，计算机布置10可经布置以从包含深度信息的数字地图数据库获得深度信息。所述数字地图数据库可以是存储于计算机布置10的存储器12、13、14、15中的三维地图数据库或可存储于可由计算机布置10存取的远程存储器中。此种三维数字地图数据库可包含关于例如建筑物、交通标志、桥梁等对象的位置及形状的信息。可将此信息用作深度信息。
因此，根据一实施例，所述计算机布置经布置以通过分析通过相机获得的至少两个图像来获得深度信息，所述相机可以是立体相机。根据进一步实施例，所述计算机布置包含经布置以获得深度信息的扫描仪。而且，所述计算机布置可经布置以从数字地图数据库获得深度信息。
动作c)
动作c)包含使用深度信息来识别所述图像中的至少一个区。将在所述图像中识别的所述区可与所述图像内的不同对象相关，例如与交通标志、建筑物、其它车辆、过路人等相关的区。这些对象将在所述图像中识别以允许以另一显示模式显示这些区，如下文将解释。
可采用不同区识别规则来识别不同类型的区。举例来说，为识别交通标志，识别规则可以是在深度信息中搜索平坦、大致垂直于道路且具有某一预定大小的区。同时，为识别其它车辆，识别规则可以是搜索不平坦但显示几米的深度信息变化且具有某一预定大小的区。
此处应注意，可通过使用深度信息相对容易地识别不同区。然而，还可使用应用于图像的图像辨识技术。可使用应用于图像的这些图像辨识技术。
-除使用深度信息识别区外，其中单独使用两种技术(顺序地或并行地)且将不同的结果相比较以产生更好的最终结果，或
-彼此协作。
此最后选项(举例来说)可涉及使用深度信息来识别最有可能为交通标志的区，且以目标导向方式对图像应用传统图像辨识技术，以确定经识别的区是否真正地表示交通标志。
应注意，通过使用深度信息促进图像内的至少一个区的识别。通过使用与所述图像相关的深度信息，可比在仅使用图像本身时容易得多地识别区。实际上，可通过仅使用深度信息来识别对象/区。一旦识别深度信息内的对象/区，则可通过简单地使深度信息与图像匹配来识别所述图像内的对应区。
当从类似源(相机)取得深度信息及图像两者时，此匹配相对容易。然而，如果从不同源取得，还可通过应用校准动作或使用对应于图像的观看点的相互定向及位置以及对应于深度信息的观看点执行一些计算来执行此匹配。
作为实例，当尝试在不使用深度信息的情况下识别图像中的交通标志时，将使用图案辨识技术来辨识所述图像中具有某一形状且具有某些色彩的区。
当使用深度信息时，可通过在所述深度信息中搜索具有大致相同的深度信息(例如，8,56m.)的像素群组而容易得多地识别交通标志，而所述深度信息中的所述像素群组的周围环境具有大致更高的深度信息(例如，34,62m)。
一旦识别所述深度信息内的交通标志，则也可容易地识别图像中的对应区。
可以许多方式进行使用深度信息来识别不同区，下文将以举例方式解释其中一者，其中使用深度信息来识别可能的交通标志。
举例来说，在第一动作中，移除距导航设备或道路太远的所有深度信息像素。
在第二动作中，可在剩余点中进行对平面对象的搜索，所述平面对象即具有大致相同的距离(深度值，例如28米)且因此位于表面上的深度信息像素群组。
在第三动作中，可确定所述经识别的平面对象的形状。在所述形状对应于预定形状(例如，圆形、矩形、三角形)的情况下，将所述平面对象识别为交通标志。如果不是，则不将所述经识别的平面对象视为标志。
可使用类似方法来辨识其它对象。
举例来说，为辨识车辆，可进行对具有某一尺寸(高度/宽度)的点云的搜索。为辨识为较大建筑物的部分的商店(参见图10a、10b)，可进行对垂直于道路且在建筑物的轮廓内的某一位置处的平面对象的搜索。建筑物内的某一位置先前可存储于存储器中且可以是数字地图数据库的部分。
如上文所描述，除使用深度信息识别区外或与使用深度信息识别区协作，还可采用应用于图像的图像辨识技术。应用于图像的这些图像辨识技术可使用任何已知合适的算法，例如：
-图像分段，
-图案辨识
-活动轮廓
-检测形状-形状系数
动作d)
根据一实施例，选择显示模式包含从以下显示模式中的至少一者选择显示模式：
-色彩模式
-叠加模式。
下文将更详细地解释这些模式。
色彩模式
可以不同的色彩模式来显示图像中的不同区。举例来说，可以明亮色彩模式来显示识别为交通标志的区，而可以暗淡显示模式(即，具有较不明亮的色彩)来显示其它区。而且，可以深褐色色彩模式来显示图像中的经识别的区，而可以全色彩模式来显示其它区。或者，可以黑白色来显示图像中的经识别的区，而可以全色彩模式来显示其它区。
术语“色彩模式”还指显示黑白色图像的不同方式，其中(举例来说)仅使用黑白色来显示一个区，且还使用黑、白及灰色调来显示其它区。
当然，可构想许多变化形式。
实际上，可通过针对不同区设定不同的显示参数来建立针对不同区应用不同的色彩模式，其中显示参数可包括色彩参数、明亮度、亮度、RGB值等。
叠加模式
根据一实施例，将导航信息叠加于图像上。以使得导航信息与图像内的对象具有某一预定空间关系的方式来叠加导航信息。首先提供如何实现此目的的简明解释。
根据一实施例，提供一种计算机布置10，其包含处理器11及可供所述处理器11存取的存储器12、13、14、15，所述存储器包含计算机程序，所述计算机程序包含经布置以允许所述处理器11进行以下操作的数据及指令：
I)获得导航信息，
II)获得对应于所述导航信息的图像，
III)显示所述图像及所述导航信息的至少部分，借此将所述导航信息的所述至少部分叠加于所述图像上，其中处理器11进一步被允许
II-1)获得对应于所述图像的深度信息且使用所述深度信息来执行动作III)。
计算机布置10可根据上文参照图1所解释的计算机布置。计算机布置10可以是导航设备，例如手持式或内建式导航设备。存储器可以是所述导航设备的部分、可远程地定位或此两种可能性的组合。
相应地，提供一种显示导航信息的方法，所述方法包含：
I)获得导航信息，
II)获得对应于所述导航信息的图像，
II-1)获得对应于所述图像的深度信息且使用所述深度信息来执行动作III)，及
III)显示所述图像及所述导航信息的至少部分，借此将所述导航信息的所述至少部分叠加于所述图像上。将理解，所述方法未必需要以此特定次序执行。
在所述图像的顶部，可显示导航信息，例如：
-导航指令，
-对数字地图数据库的选择，
-名称，
-标志，
-道路几何形状，
-建筑物，
-建筑物的正面，
-停车场
-所关心的点，
-指示符。
导航信息可包含任何种类的导航指令，例如指示将执行的某一转弯或机动的箭头。导航信息可进一步包含对数字地图数据库的选择(例如对所述数字地图数据库的选择)或所述数据库中显示沿移动方向看到的当前位置的附近区域的再现图像或对象。数字地图数据库可包含名称，例如街道名称、城市名称等。导航信息还可包含标志，例如，显示交通标志(停止标志、街道标志)或广告面板的表示的形符。此外，导航信息可包含道路几何形状(其为道路的几何形状的表示，可能包含车道、划线(车道划分线、车道标记))、道路无效(例如，道路上的油或沙、道路中的坑)、道路上的对象(如减速坡)及所关心的点(例如，商店、博物馆、饭店、旅馆)等。将理解，导航信息可包含当显示时为用户提供帮助其行驶的信息的任何其它类型的导航信息，例如，显示建筑物或建筑物的正面的图像，所述建筑物或建筑物的正面可经显示以帮助用户定向。而且，导航信息可包含停车场的指示。导航信息还可以是指示符，其仅经叠加以将用户的注意力吸引到图像中的某一对象。所述指示符(举例来说)可以是叠加于交通标志周围的圆圈或正方形，以将用户的注意力吸引到所述交通标志。
计算机布置可经布置以执行导航功能，所述导航功能可计算所有种类的导航信息以帮助用户定向及行驶。所述导航功能可使用定位系统来确定当前位置且显示数字地图数据库的对应于所述当前位置的一部分。所述导航功能可进一步包含检索待显示的与所述当前位置相关联的导航信息，例如街道名称、关于所关心的点的信息。
所述导航功能可进一步包含计算从开始地址或当前位置到所规定目的地位置的路线及计算待显示的导航指令。
根据一实施例，所述图像为导航信息与其相关的位置的图像。因此，在导航信息为指示将在所规定交叉点上采取的右转弯的箭头的情况下，所述图像可提供所述交叉点的视图。实际上，所述图像可提供沿接近所述交叉点的用户的观看方向所看到的交叉点的视图。
在计算机布置经布置以从存储器或远程存储器获得此种图像的情况下，所述计算机布置可使用位置信息来选择正确的图像。每一图像可与对应位置信息相关联地存储。除位置信息外，还可使用定向信息来选择对应于观看方向或用户的行进方向的图像。
根据一实施例，动作II)包含从相机获得图像。可通过包含内建式相机产生图像的导航设备来执行所述方法。还可通过经布置以从远程相机接收图像的导航设备来执行所述方法。所述远程相机(举例来说)可以是安装于车辆上的相机。
因此，所述计算机布置可包含或可存取相机且动作II)可包含从所述相机获得图像。
根据进一步实施例，动作II)包含从存储器获得图像。所述存储器可包含具有图像的数据库。所述图像可与导航设备的位置信息及定向信息相关联地存储，以允许选择正确的图像，即，对应所述导航信息的图像。所述存储器可由执行所述方法的计算机布置(例如，导航设备)包含或存取。
因此，所述计算机布置可经布置以从存储器获得图像。
根据一实施例，在动作II)中获得的图像包含对应于所述图像的深度信息，所述深度信息供在动作II-1)中使用。下文参照图3a及3b更详细地对此进行解释。
根据一实施例，动作II)包含从三维相机获得图像。所述三维相机可经布置以一次捕获图像及深度信息。
如上文所描述，可针对此使用称作立体视觉的技术，使用具有两个镜头的相机来提供深度信息。根据一替代方案，可针对此使用具备深度传感器(例如，激光扫描仪)的相机。因此，计算机布置10可包含三维相机(立体相机)且动作II)可包含从所述三维相机获得图像。
根据一实施例，动作II-1)包含通过分析图像序列来检索深度信息。为实现此目的，动作II)可包含获得与不同位置相关联的至少两个图像(使用普通相机，即，不是三维相机)。因此，动作II)可包含使用相机或类似物来捕获多于一个图像，或从存储器检索多于一个图像。动作II-1)还可包含获得在先前动作II)中获得的图像。
可分析图像序列且使用其来获得图像内的不同区及/或像素的深度信息。
因此，所述计算机布置(例如，导航设备)可经布置以执行包含通过分析图像序列来检索深度信息的动作II-1)。
根据一实施例，动作II-1)包含从数字地图数据库(例如，三维地图数据库)检索深度信息。三维地图数据库可存储于导航设备中的存储器中或可存储于可由所述导航设备存取(举例来说，使用因特网或移动电话网络)的远程存储器中。所述三维地图数据库可包含关于道路网络、街道名称、单向街道、所关心的点(POI)等的信息，但也包括关于例如建筑物、建筑物的入口/出口、树等对象的位置及三维形状的信息。与相机的当前位置及定向组合，所述导航设备可计算与特定图像相关联的深度信息。在从安装于车辆或导航设备上的相机获得图像的情况下，需要来自相机或车辆的位置及定向信息。此可通过针对此使用合适的惯性测量单元(IMU)及/或GPS及/或通过使用任何其它合适的装置来提供。
因此，所述计算机布置(例如，导航设备)可经布置以执行包含从数字地图数据库检索深度信息的动作II-1)。所述数字地图数据库可以是存储于存储器中的三维地图数据库。
将理解，当使用所述数字地图数据库来检索深度信息时，要求准确的位置及定向信息能够计算深度信息且以充分的准确性将此映射到所述图像。
根据一实施例，动作II-1)包含从深度传感器获得深度信息。其可以是内建式深度传感器或经布置以与计算机布置通信的远程深度传感器。在两种情况下，必须将深度信息映射到图像。
一般来说，在下文参照图4更详细地解释的动作III-1及/或III-3中进行深度信息到图像的映射。
图3a显示可在动作II)中获得的图像，其中图3b显示可在动作II-1)中获得的深度信息。所述深度信息对应于图3a中所示的图像。图3a及3b中所示的图像及深度信息是使用三维相机来获得，但也可通过分析使用普通相机或经合适地集成的相机与激光扫描仪或雷达的组合获得的图像序列来获得。如可在3a及3b中看到，对于大致每一图像像素，深度信息可用，但应理解此并非为要求。
为实现图像及导航信息的直观集成，可提供地理转换模块，其可使用关于当前位置及定向的信息、图像的位置及深度信息来使用透视法变换而转换导航信息以匹配图像的透视法。
所述图像及深度信息是从源(例如，三维相机、外部数据库或图像序列)取得且由深度信息分析模块使用。所述深度信息分析模块使用所述深度信息来识别图像中的区。此种区(举例来说)可与建筑物、道路的表面、信号灯等相关。
深度信息分析模块及地理转换模块的结果由合成模块用来合成组合图像，所述组合图像为图像与所叠加的导航信息的组合。所述合成模块针对不同区使用不同的过滤器及/或不同的透明度来将来自深度信息分析模块的区与经地理转换的导航信息合并。可将所述组合图像输出到导航设备的显示器18。
图4显示根据一实施例的流程图。图4提供如上文所描述的动作III)的更详细实施例。
将理解，图4中所示的模块可以是硬件模块以及软件模块。
图4显示如上文所描述的动作I)、II)及II-1)，现在后跟更详细地显示且包含动作III-1)、III-2)及III-3)的动作III)。
根据一实施例，动作III)包含对导航信息执行地理转换动作的III-1)。
对导航信息(例如，箭头)执行此地理转换动作以确保导航信息以正确的方式叠加于图像上。为实现此，所述地理转换动作将导航信息变换成与图像相关联的局部坐标，例如，使图像的x，y与真实世界中的位置相关且从用于获得所述图像的相机的位置、定向及校准系数导出的坐标。通过将导航信息变换成局部坐标，调整导航信息的形状以匹配图像的透视图。所属领域的技术人员将理解可如何执行到局部坐标的此种变换，因为其仅为三维现实到二维图像的透视投影。
而且，通过将导航信息变换成局部坐标，确保导航信息在正确的位置中叠加于图像上。
为执行此地理转换动作，可使用以下输入：
-深度信息
-导航信息
-位置及定向信息。
可能还需要相机校准信息。
因此，根据一实施例，III)包含
III-1)对导航信息执行地理转换动作，其中所述地理转换动作包含将所述导航信息变换成局部坐标。通过这样做，将导航信息的位置以及定向调整到图像的透视法。通过使用深度信息，确保正确地执行到局部坐标的此变换，从而计及山、斜坡、导航设备/相机的定向等。
通过使用来自进一步位置/定向系统(例如，惯性测量单元(IMU))的输入可以甚至更准确的方式执行动作III-1)。来此此种IMU的信息可用作用以确认及/或改善地理转换动作的结果的额外信息源。
相应地，计算机布置可经布置以执行动作III)，其包含
III-1)对导航信息执行地理转换动作。
动作III-1)可包含将导航信息从“正常”坐标变换成局部坐标。
根据进一步实施例，动作III)包含执行深度信息分析动作的III-2)。为执行此深度信息分析动作，可将深度信息用作输入。
根据一实施例，动作III-2)包含识别图像中的区及调整显示图像中的每一经识别的区的导航信息的方式。
通过使用深度信息，相对容易地识别不同区。在深度信息中，可识别三维点云且可使用相对简单的图案辨识技术来识别此种点云表示哪一种类的对象(例如，车辆、过路人、建筑物等)。
对于某一区，深度信息分析动作可决定以透明方式显示导航信息或针对图像中的所述区根本不显示导航信息，以便表明在所述特定区中导航信息在图像所显示的对象后面。所述某一区(举例来说)可以是信号灯或车辆或建筑物。通过以透明方式显示导航信息或根本不显示导航信息，为用户形成更加用户友好且直观的视图。
因此，计算机布置可经布置以执行动作III-2)，其包含
III-2)执行深度信息分析动作。
动作III-2)可包含识别图像中的区及调整图像中的每一经识别的区的导航信息的方式。
将理解，动作III-1)与III-2)可同时且彼此交互地执行。换句话说，深度信息分析模块与地理转换模块可彼此交互地工作。此种交互的实例为深度信息分析模块及地理转换模块两者可基于深度信息计算斜度及坡度信息。因此，代替两者均计算相同的斜度及坡度值，所述模块中的一者可计算所述坡度及/或斜度且使用此作为额外信息源来确认两个结果是否一致。
最后，在动作III-3)中，将组合图像合成并输出(举例来说)到导航设备的显示器18。此可通过合成模块进行。
当然，可将许多其它类型的导航信息叠加于图像上。至少一个区的显示模式可确定如何呈现导航信息。举例来说，在识别为交通标志、建筑物或车辆的区中可以透明或点方式呈现导航信息(例如，指示右转弯的箭头)，以向观看者表明箭头穿到所述交通标志、建筑物或车辆后面且从而形成直观的外貌。下文提供此的更多实例。
因此，选择显示模式可涉及选择叠加模式，其中所述叠加模式确定在某一经识别的区中显示导航信息的方式。
动作e)
动作e)最后包含产生增强的图像。当然，在产生所述增强的图像之后，可在显示器18上显示所述增强的图像以将其呈现给用户。
实例
下文显示若干个实例。将理解，也可采用这些实例的组合，且可构想更多实例及变换形式。
实例叠加模式
下文参照图5a到9描述的实例全部涉及其中针对不同区设定叠加模式的实施例。
图5a描绘可由导航设备不使用深度信息而提供的所得视图，即，在二维图像上绘制导航信息。根据图5a，导航信息(即，右转弯箭头)似乎表明行进穿过右边的建筑物。
图5b描绘当执行如上文所描述的方法时可由导航设备提供的所得视图。通过使用深度信息，可辨识例如右边的建筑物以及车辆及标志等对象。相应地，导航信息针对不同区可以其它显示模式来显示，(举例来说)以隐藏于所述对象后面或可以较高的透明度等级绘制。
所述实施例减小提供可能的不明确导航指令(例如，不明确的机动决策)的可能性。参见(举例来说)图6a，其描绘根据所述实施例可由导航设备不使用深度信息而提供的组合图像。通过根据所述实施例使用深度信息，可显示如图6b中所示的组合图像，现在清楚地指示用户应采取第二个右转弯而不是第一个转弯。右边的建筑物现在被辨识为不同区，因此导航信息(箭头)的显示模式针对所述区改变且实际上根本不显示以表明其在建筑物后面消失。
所述实施例的另一优点为以下事实：地理转换动作允许导航信息(例如，箭头)的再成形。在不这样做的情况下，如图7a中所示的组合图像可产生，而使用地理转换动作/模块可产生如图7b中所示的组合图像，其中箭头更好地遵循实际道路表面。地理转换动作/模块消除可由捕获图像的相机的定向导致的坡度及斜度效应。应注意，在图7b的实例中，箭头不隐藏于建筑物后面，但也是可以接受的。
如上文所描述，导航信息可包含道路几何形状。图8a显示根据所述实施例可由导航设备不使用深度信息而提供的组合图像。如可见，显示几何形状与如车辆及行人等对象重叠。当使用所述实施例时，可识别图像中包含此类对象的区且不显示这些区内的道路几何形状(或以较高的透明度等级显示)。此的结果显示于图8b中。
图9显示另一实例。根据此实例，导航信息为对应于图像中的标志的标志，其中在动作c)中，以使得为导航信息的标志大于图像中的标志的方式来将为导航信息的标志叠加于图像上。
如在图9中可见，可将为导航信息的标志叠加于偏离图像中的标志的位置上。为进一步指示为导航信息的标志与图像中的标志相关联(可能对于用户来说还不是非常好地可见)，可叠加线40以强调哪个标志是叠加的。线40可包含连接线，其连接为导航信息的标志与图像中的实际标志。线40可进一步包含指示图像中的标志上的实际位置的线。
因此，根据此实施例，动作c)进一步包含显示线40以指示所叠加的导航信息与图像内的对象之间的关系。
当然，根据一替代方案，为导航信息的标志可经叠加以与图像中的标志重叠。
将理解，通过使用深度信息可以相对容易且准确的方式来叠加线或叠加以与图像中的标志重叠。
实例色彩模式
图10a显示在不采用此处所提供的实施例的情况下可显示的图像的实例。
图10b显示在采用所述实施例中的一者之后(即，在使用深度信息确定酒吧-啤酒-烟草店的位置之后)可提供的相同图像的实例。此商店被识别为一区且因此可以第一色彩模式(黑白色)显示，而其它区以第二色彩模式(具有灰色调的黑白色)显示。所述深度信息允许容易地识别阻挡对商店的直接观看的其它区，例如树、摩托车、交通标志等。这些其它区因此可以第二色彩模式显示，从而提供直观的外貌。
计算机程序及数据载体
根据一实施例，提供一种包含可由计算机布置10加载的数据及指令从而允许所述计算机布置10执行所描述方法中的任一者的计算机程序产品。计算机布置10可为如上文参照图1所描述的计算机布置10。
根据进一步实施例，提供一种具备此种计算机程序产品的数据载体。
进一步备注
将理解，术语“叠加”在此文中不仅用来指示在一个条目上显示另一条目，而且用来指示可相对于图像的内容将导航信息定位于图像内的预定位置上。这样，可叠加导航信息，使得其与图像的内容成一空间关系。
因此，代替只是将图像与导航信息合并，可以准确的方式将导航信息定位于图像内，以使得导航信息与图像的内容具有一逻辑直观关系。
上文说明打算作为说明性而非限制性。因此，所属领域的技术人员将明了，可在不背离上文所论述的权利要求书的范围的情况下对所描述的本发明做出修改。

Claims (12)

1.一种计算机布置(10)，其包含处理器(11)及可供所述处理器(11)存取的存储器(12、13、14、15)，所述存储器(12、13、14、15)包含计算机程序，所述计算机程序包含经布置以允许所述处理器(11)进行以下操作的数据及指令：
a)获得待显示的图像，
b)获得与所述图像相关的深度信息，
c)使用深度信息来识别所述图像中的至少一个区，
d)为至少一个经识别的区选择显示模式。
2.根据权利要求1所述的计算机布置，其中所述处理器(11)进一步经布置以
e)产生增强的图像。
3.根据前述权利要求中任一权利要求所述的计算机布置，其中所述计算机布置包含经布置以获得图像的相机(CA)。
4.根据前述权利要求中任一权利要求所述的计算机布置，其中所述处理器(11)经布置以从以下各项中的一者获得图像：
远程相机，
存储器(12、13、14、15)，
远程存储器。
5.根据前述权利要求中任一权利要求所述的计算机布置，其中所述计算机布置经布置以通过分析由相机获得的至少两个图像来获得深度信息。
6.根据权利要求5所述的计算机布置，其中所述相机为立体相机。
7.根据前述权利要求中任一权利要求所述的计算机布置，其中所述计算机布置包含经布置以获得深度信息的扫描仪。
8.根据前述权利要求中任一权利要求所述的计算机布置，其中所述计算机布置经布置以从数字地图数据库获得深度信息。
9.根据前述权利要求中任一权利要求所述的计算机布置，其中选择显示模式包含从以下显示模式中的至少一者选择显示模式：
色彩模式，
叠加模式。
10.一种产生用于导航目的的图像的方法，其包含：
a)获得待显示的图像，
b)获得与所述图像相关的深度信息，
c)使用深度信息来识别所述图像中的至少一个区，
d)为至少一个经识别的区选择显示模式。
11.一种计算机程序产品，其包含可由计算机布置加载的数据及指令，从而允许所述计算机布置执行根据权利要求10所述的方法。
12.一种数据载体，其具备根据权利要求11所述的计算机程序产品。
CN200880129271XA 2008-07-31 2008-07-31 以3d显示导航数据的方法 Pending CN102037326A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2008/060089 WO2010012310A1 (en) 2008-07-31 2008-07-31 Method of displaying navigation data in 3d

Publications (1)

Publication Number Publication Date
CN102037326A true CN102037326A (zh) 2011-04-27

Family

ID=40193894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880129271XA Pending CN102037326A (zh) 2008-07-31 2008-07-31 以3d显示导航数据的方法

Country Status (9)

Country Link
US (1) US20110109618A1 (zh)
EP (1) EP2307854A1 (zh)
JP (1) JP2011529568A (zh)
KR (1) KR20110044217A (zh)
CN (1) CN102037326A (zh)
AU (1) AU2008359900A1 (zh)
BR (1) BRPI0822727A2 (zh)
CA (1) CA2725800A1 (zh)
WO (1) WO2010012310A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104729519A (zh) * 2013-12-23 2015-06-24 哈曼国际工业有限公司 利用三维导航系统的虚拟三维仪表组
CN105280006A (zh) * 2014-07-17 2016-01-27 星克跃尔株式会社 增强现实通知提供系统和方法
CN105453140A (zh) * 2013-08-12 2016-03-30 株式会社吉奥技术研究所 三维地图显示系统
CN107850445A (zh) * 2015-08-03 2018-03-27 通腾全球信息公司 用于生成及使用定位参考数据的方法及系统
CN109917786A (zh) * 2019-02-04 2019-06-21 浙江大学 一种面向复杂环境作业的机器人感知系统及系统运行方法
CN109982006A (zh) * 2017-12-27 2019-07-05 财团法人工业技术研究院 虚拟导引图示与真实图像的迭合装置及其相关迭合方法
CN113029125A (zh) * 2014-12-26 2021-06-25 赫尔环球有限公司 使用多边测量对装置的定位

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319471B1 (ko) * 2008-08-29 2013-10-17 미쓰비시덴키 가부시키가이샤 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체
US8294766B2 (en) 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US20100188397A1 (en) * 2009-01-28 2010-07-29 Apple Inc. Three dimensional navigation using deterministic movement of an electronic device
US8890898B2 (en) 2009-01-28 2014-11-18 Apple Inc. Systems and methods for navigating a scene using deterministic movement of an electronic device
KR101622196B1 (ko) * 2009-09-07 2016-05-18 삼성전자주식회사 휴대용 단말기에서 피오아이 정보 제공 방법 및 장치
JP5650416B2 (ja) * 2010-02-26 2015-01-07 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
JP5223062B2 (ja) * 2010-03-11 2013-06-26 株式会社ジオ技術研究所 ３次元地図描画システム
JP5526919B2 (ja) * 2010-03-26 2014-06-18 株式会社デンソー 地図表示装置
US8908928B1 (en) 2010-05-31 2014-12-09 Andrew S. Hansen Body modeling and garment fitting using an electronic device
US20110302214A1 (en) * 2010-06-03 2011-12-08 General Motors Llc Method for updating a database
EP2397819B1 (en) * 2010-06-21 2013-05-15 Research In Motion Limited Method, device and system for presenting navigational information
US8762041B2 (en) 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US9057874B2 (en) * 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
US9534902B2 (en) * 2011-05-11 2017-01-03 The Boeing Company Time phased imagery for an artificial point of view
EP2543964B1 (en) * 2011-07-06 2015-09-02 Harman Becker Automotive Systems GmbH Road Surface of a three-dimensional Landmark
US8718922B2 (en) * 2011-07-28 2014-05-06 Navteq B.V. Variable density depthmap
US9047688B2 (en) 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
US9116011B2 (en) * 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
US8553942B2 (en) * 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
CN103175080A (zh) * 2011-12-23 2013-06-26 海洋王（东莞）照明科技有限公司 一种交通辅助装置
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
WO2013126790A1 (en) * 2012-02-22 2013-08-29 Elwha Llc Systems and methods for accessing camera systems
JP6015228B2 (ja) 2012-08-10 2016-10-26 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP6015227B2 (ja) * 2012-08-10 2016-10-26 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP5935636B2 (ja) * 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
US9530239B2 (en) * 2013-11-14 2016-12-27 Microsoft Technology Licensing, Llc Maintaining 3D labels as stable objects in 3D world
US9552633B2 (en) 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
US9638538B2 (en) 2014-10-14 2017-05-02 Uber Technologies, Inc. Street-level guidance via route path
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10845199B2 (en) * 2016-06-10 2020-11-24 Apple Inc. In-venue transit navigation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN111542860B (zh) * 2016-12-30 2024-08-27 辉达公司 用于自主车辆的高清地图的标志和车道创建
CN110869981B (zh) * 2016-12-30 2023-12-01 辉达公司 用于自主车辆的高清晰度地图数据的向量数据编码
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
JP2019117432A (ja) * 2017-12-26 2019-07-18 パイオニア株式会社 表示制御装置
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
EP3578922A1 (en) * 2018-06-05 2019-12-11 Visteon Global Technologies, Inc. Method for representing data in a vehicle
US11113959B2 (en) * 2018-12-28 2021-09-07 Intel Corporation Crowdsourced detection, identification and sharing of hazardous road objects in HD maps
US11375352B2 (en) 2020-03-25 2022-06-28 Intel Corporation Devices and methods for updating maps in autonomous driving systems in bandwidth constrained networks

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8901695A (nl) * 1989-07-04 1991-02-01 Koninkl Philips Electronics Nv Werkwijze voor het weergeven van navigatiegegevens voor een voertuig in een omgevingsbeeld van het voertuig, navigatiesysteem voor het uitvoeren van de werkwijze, alsmede voertuig voorzien van een navigatiesysteem.
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
US8432414B2 (en) * 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
JP3931336B2 (ja) * 2003-09-26 2007-06-13 マツダ株式会社 車両用情報提供装置
US8108142B2 (en) * 2005-01-26 2012-01-31 Volkswagen Ag 3D navigation system for motor vehicles
DE602005016311D1 (de) * 2005-06-06 2009-10-08 Tomtom Int Bv Navigationseinrichtung mit kamera-info
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US7908078B2 (en) * 2005-10-13 2011-03-15 Honeywell International Inc. Perspective-view visual runway awareness and advisory display
KR101154996B1 (ko) * 2006-07-25 2012-06-14 엘지전자 주식회사 이동통신 단말기 및 그 메뉴화면 구성 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105453140A (zh) * 2013-08-12 2016-03-30 株式会社吉奥技术研究所 三维地图显示系统
CN104729519A (zh) * 2013-12-23 2015-06-24 哈曼国际工业有限公司 利用三维导航系统的虚拟三维仪表组
US10062204B2 (en) 2013-12-23 2018-08-28 Harman International Industries, Incorporated Virtual three-dimensional instrument cluster with three-dimensional navigation system
CN104729519B (zh) * 2013-12-23 2019-12-24 哈曼国际工业有限公司 利用三维导航系统的虚拟三维仪表组
CN105280006A (zh) * 2014-07-17 2016-01-27 星克跃尔株式会社 增强现实通知提供系统和方法
US9773412B2 (en) 2014-07-17 2017-09-26 Thinkware Corporation System and method for providing augmented reality notification
CN113029125A (zh) * 2014-12-26 2021-06-25 赫尔环球有限公司 使用多边测量对装置的定位
CN107850445A (zh) * 2015-08-03 2018-03-27 通腾全球信息公司 用于生成及使用定位参考数据的方法及系统
CN107850445B (zh) * 2015-08-03 2021-08-27 通腾全球信息公司 用于生成及使用定位参考数据的方法及系统
CN109982006A (zh) * 2017-12-27 2019-07-05 财团法人工业技术研究院 虚拟导引图示与真实图像的迭合装置及其相关迭合方法
CN109917786A (zh) * 2019-02-04 2019-06-21 浙江大学 一种面向复杂环境作业的机器人感知系统及系统运行方法

Also Published As

Publication number Publication date
BRPI0822727A2 (pt) 2015-07-14
JP2011529568A (ja) 2011-12-08
US20110109618A1 (en) 2011-05-12
EP2307854A1 (en) 2011-04-13
WO2010012310A1 (en) 2010-02-04
AU2008359900A1 (en) 2010-02-04
KR20110044217A (ko) 2011-04-28
CA2725800A1 (en) 2010-02-04

Similar Documents

Publication Publication Date Title
CN102037326A (zh) 以3d显示导航数据的方法
CN102037325A (zh) 用于以3d显示导航数据的计算机布置及方法
CN101617197B (zh) 测量装置、测量方法及地物识别装置
US8665263B2 (en) Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein
EP2273337B1 (en) Generating a graphic model of a geographic object and systems thereof
US9129163B2 (en) Detecting common geographic features in images based on invariant components
US8953838B2 (en) Detecting ground geographic features in images based on invariant components
US20130162665A1 (en) Image view in mapping
CN110906949A (zh) 用于导航的计算机实施方法、导航系统和车辆
JP2008139295A (ja) カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
US10438362B2 (en) Method and apparatus for homography estimation
US11361490B2 (en) Attention guidance for ground control labeling in street view imagery
US20180247122A1 (en) Method and system of providing information pertaining to objects within premises
JP5111785B2 (ja) Ｃｖ映像によるｃｖタグ入出力検索装置
TWI426237B (zh) Instant image navigation system and method
WO2019119358A1 (en) Method, device and system for displaying augmented reality poi information
KR102482829B1 (ko) 차량용 ar 디스플레이 장치 및 ar 서비스 플랫폼
KR20230007237A (ko) Ar을 이용한 광고판 관리 및 거래 플랫폼
Olesk Vision-based positioning and navigation with 3D maps: concepts and analysis
JP5625223B2 (ja) デザイン製作装置、デザイン製作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1151617

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110427

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1151617

Country of ref document: HK