CN112055806A - 在困难驾驶条件下利用地标增强导航指令 - Google Patents

在困难驾驶条件下利用地标增强导航指令 Download PDF

Info

Publication number
CN112055806A
CN112055806A CN201980026974.8A CN201980026974A CN112055806A CN 112055806 A CN112055806 A CN 112055806A CN 201980026974 A CN201980026974 A CN 201980026974A CN 112055806 A CN112055806 A CN 112055806A
Authority
CN
China
Prior art keywords
vehicle
driver
landmark
processors
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026974.8A
Other languages
English (en)
Inventor
扬·梅斯特
布赖恩·埃德蒙·布鲁英顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112055806A publication Critical patent/CN112055806A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

该技术涉及与车辆周围的外部环境有关的因素，所述因素用于触发增强的驾驶方向以供驾驶员使用。所述因素可能包括诸如不利的天气条件、低光照条件以及临时障碍物或其他阻挡物的问题，这些问题可能会阻止或降低驾驶员看到作为初始驾驶方向集合的部分的路标或其他地标的能力。在确定一个或多个相关因素后，系统能够实时修改或以其它方式增强方向。这使驾驶员能够快速且轻松地识别其他可见地标，并使用此类信息导航到期望的目的地。这种方法采用一个或多个机载相机，所述一个或多个机载相机被配置成检测与车辆相邻或以其它方式在车辆附近——诸如在车辆前端的视线内——的环境中的对象和条件。

Description

在困难驾驶条件下利用地标增强导航指令
相关申请的交叉引用
本申请要求于2018年11月20日提交的标题为Enhanced NavigationInstructions with Landmarks Under Difficult Driving Conditions的美国临时申请No.62/769,646的提交日的权益，其公开内容通过引用结合于此。
背景技术
地图导航系统用于许多不同的情况，包括在向用户提供驾驶或行走方向时。在驾驶的情况下，导航系统可以基于交通拥堵或事故的知识来适应当前的交通条件以变更路线。此信息可以从第三方报告中接收到，例如，从其他驾驶员、当地交通运输当局等处众包。但是，可能存在也可能影响行程的实时环境和其他因素。例如，这可能包括例如天气、道路建设/车道工作、由于一天中的时间造成的低光照条件以及其他因素。与这些因素有关的条件可能会限制诸如驾驶员的用户正确遵循驾驶方向的集合的能力。
发明内容
该技术的各方面涉及触发增强的驾驶方向的因素，诸如不利的天气条件。在确定一个或多个相关因素后，系统会实时修改或以其他方式增强方向，使得驾驶员能够快速轻松地识别不同的地标，并使用增强的信息导航到期望的目的地。例如，如下面详细讨论的，机载相机被配置成检测与车辆相邻或以其它方式在车辆附近——诸如在车辆前面的视线内——的环境中的对象和条件。分析这种实时环境信息，并且当确定环境信息可能不利地影响驾驶员遵循现有方向的能力时，提供增强的方向以更容易地使驾驶员能够正确地遵循特定路线。
根据一个方面，一种方法包括：获得用于车辆驾驶员的驾驶路线的初始方向，该方向用于为车辆规划从起点到目的地的路线；获得沿路线的一个或多个位置的先前捕获的影像；识别位于先前捕获的影像中的第一地标；由计算机设备的一个或多个处理器接收由位于车辆中的相机获得的实时影像；通过一个或多个处理器，将来自实时影像的至少一个图像与来自先前捕获的影像的至少一个图像进行比较，以确定车辆驾驶员是否可观察到第一地标；以及在确定车辆驾驶员不会观察到第一地标时，由一个或多个处理器修改驾驶路线的初始方向以指示与第一地标不同的至少一个其他地标。
在一个示例中，确定第一地标是否可被车辆驾驶员观察到的比较包括确定第一地标是否被部分地或完全遮掩不被车辆的驾驶员查看。在此，确定第一地标是否被部分或者完全遮掩可以包括确定第一地标的可见性受到天气条件、低光照条件、另一车辆、建筑物或植被的不利影响。相机可以在沿路线驾驶期间获得实时影像。当至少一个其他地标对驾驶员可见时，修改的方向可以指示驾驶员采取特定的驾驶动作。在此，特定的驾驶动作可以从由减速、转弯、停止(stop)或停放(park)组成的组中选择。
修改初始方向可以包括更新车辆内的图形显示或播放车辆内的可听指令中的至少一个。位于车辆中的相机具有视场，并且将来自实时影像的至少一个图像与来自先前捕获的图像中的至少一个图像进行比较可以包括针对预期的驾驶员的视场评价相机的视场。并且修改初始方向可以包括基于相机可见的沿着驾驶路线的一个或多个对象，用至少一个视觉线索来加强或替换初始方向。
根据另一方面，一种方法包括：由计算机设备的一个或多个处理器接收在驾驶员驾驶车辆期间由位于车辆中的相机获得的实时影像；由一个或多个处理器分析来自实时影像的至少一个图像以确定车辆周围外部环境中的当前条件；基于分析，由一个或多个处理器确定当前条件被预期为遮掩外部环境中的选择的地标不被驾驶员查看；在确定当前条件被预期为遮掩外部环境中的选择的地标不被驾驶员查看时，由一个或多个处理器识别位于车辆中的相机可观察到的不同地标；以及向驾驶员提供不同地标的视觉、可听或触觉指示。
该方法可以包括：在提供之前，利用不同地标的指示来修改用于驾驶到目的地的初始方向集合。当不同的地标对驾驶员可见时，修改的初始方向可以指示驾驶员采取特定的驾驶动作。特定的驾驶动作可以从由减速、转弯、停止或停放组成的组中选择。
确定当前条件被预期为遮掩外部环境中的选择的地标不被驾驶员查看可以包括确定选择的地标的可见性受到天气条件、低光照条件、另一车辆、建筑或植被的不利影响。并且分析来自实时影像的至少一个图像以确定车辆周围的外部环境中的当前条件可以包括将机器学习模型应用于实时影像，以便检测外部环境中的阻挡物或其他可见性缺陷。
根据又一方面，一种系统包括存储器，其被配置成存储指令或数据中的至少一个；以及一个或多个处理器，其操作地耦合至该存储器。一个或多个处理器被配置成获得车辆驾驶员的驾驶路线的初始方向，该方向用于为车辆规划从起点到目的地的路线；获得沿着路线上的一个或多个位置的先前捕获的影像；识别位于先前捕获的影像中的第一地标；接收由位于车辆中的相机获得的实时影像；将来自实时影像的至少一个图像与来自先前捕获的影像的至少一个图像进行比较，以确定车辆驾驶员是否可观察到第一地标；以及在确定车辆驾驶员不可观察到第一地标时，修改驾驶路线的初始方向以指示不同于第一地标的至少一个其他地标。
在一个示例中，该系统进一步包括相机。相机可以是个人通信设备的一部分。
根据又一方面，一种系统包括配置成存储指令或数据中的至少一个的存储器以及操作地耦合至该存储器的一个或多个处理器。一个或多个处理器被配置成在驾驶员驾驶车辆期间接收由位于车辆中的相机获得的实时影像；分析来自实时影像的至少一个图像以确定车辆周围外部环境的当前条件；基于该分析，确定当前条件被预期为遮掩外部环境中的选择的地标不被驾驶员查看；在确定当前条件被预期为遮蔽外部环境中的选择的地标不被驾驶员查看时，识别可由位于车辆中的相机观察到的不同地标；并向驾驶员提供不同地标的视觉、可听或触觉指示。
可以由一个或多个处理器根据机器学习过程来执行确定车辆周围的外部环境中的当前条件的对来自实时影像的至少一个图像的分析。
根据又一方面，一种计算系统包括一个或多个处理器和非暂时性计算机可读存储器。存储器包括指令，所述指令在被执行时，使至少一个处理器执行如上所述的方法。
根据另一方面，一种非暂时性计算机可读存储介质存储指令，所述指令在被执行时，使一个或多个处理器执行如上所述的方法。
附图说明
图1A从外部角度图示与技术方面一起使用的示例载客车辆。
图1B从内部角度图示图1A的示例载客车辆。
图2A是根据本公开的各方面的示例载客车辆的功能图。
图2B是根据本公开的各方面的成像设备的示例功能图。
图3A-B图示根据本公开的各方面的示例设备网络。
图4A-B图示根据技术的各方面的驾驶情况。
图5A至图5C图示根据本公开的各方面的另一种驾驶场景。
图6图示根据本公开的各方面的示例方法。
图7图示根据本公开的各方面的另一示例方法。
具体实施方式
车辆附近的环境因素可能会影响驾驶员能够遵循显示或可听的驾驶指令的难易程度。因此，技术的各方面涉及利用不同或附加的(例如，增强的)视觉或可听线索来增强这样的指令。在诸如整体可见性差，或者阻挡物可能阻止驾驶员看到路标、商业标志或其他地标的不利的驾驶条件下这可能尤其重要。系统使用机载相机或其他成像设备来获得有关外部环境的影像，并且在评价是否以及如何向驾驶员呈现增强的视觉和/或可听线索或方向时采用该信息。通过改进提供给用户的指导，该方法辅助用户执行控制车辆的任务。随之而来的好处可能包括更有效地利用车辆资源和改进道路安全。
示例车辆系统
图1A从外在视角图示示例载客车辆100，而图1B从内部视角图示车辆100。如两个视图中所示，成像设备200被定位成使得一个或多个图像传感器面对车辆外部的环境。例如，成像设备200可以布置在车辆内以具有与驾驶员相同或相似的有利位置，而不会阻挡驾驶员的视线。举例来说，成像设备200可以在车辆的驾驶员侧沿着仪表板或挡风玻璃的内部而被放置。车辆的挡风玻璃刮水器和/或除霜器被设计为保持挡风玻璃清晰。因此，以这种方式定位成像设备200使能够通过玻璃捕获静止图像或视频图像。
尽管本公开内容的某些方面结合特定类型的车辆可能特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。
图2A图示诸如图1A-B的车辆100的示例载客车辆的各种系统的框图。如图2A的框图中所示，车辆包括一个或多个计算设备的控制系统，所述计算设备诸如包含一个或多个处理器104、存储器106和通常存在于通用计算设备中的其他组件的计算设备102。存储器106存储一个或多个处理器104可访问的信息，包括可由处理器104执行或以其他方式使用的指令108和数据110。存储器106可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质。存储器是非暂时性介质，诸如硬盘驱动器、存储卡、光盘、固态存储器、磁带存储器等。系统可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令108可以是将由处理器直接执行的任何指令集(诸如机器代码)或间接执行的任何指令集(诸如脚本)。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储以供处理器直接处理，或者以任何其他计算设备语言存储，其包括按需解释或预先编译的独立源代码模块的脚本或集合。数据110可以由一个或多个处理器104根据指令108来检索、存储或修改。在一个示例中，存储器106中的一些或全部可以是事件数据记录器或其它安全数据存储系统，其配置成存储车辆诊断和/或检测到的传感器数据，取决于实施方式，其可以是车载的或者远程的。
一个或多个处理器104可以是任何常规处理器，诸如市售的CPU。可替代地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图2A在功能上将计算设备102的处理器、存储器和其他元件图示为在同一块内，但是这样的设备实际上可以包括可以或可以不存储在相同的物理壳体内的多个处理器、计算设备或存储器。类似地，存储器106可以是位于不同于处理器104的壳体中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或者不可以并行操作的处理器或计算机的合集的引用。
在一个示例中，计算设备202可以形成并入车辆100的驾驶计算系统，例如，使得车辆可以在部分或完全自主驾驶模式下操作。举例来说，部分自主驾驶模式可以被实现为高级驾驶员辅助系统(ADAS)的一部分，以提供自适应巡航控制或紧急制动。驾驶计算系统可以能够与车辆的各种组件进行通信。例如，计算设备102可以与车辆的各种系统通信，包括驱动系统，该驱动系统包括减速系统112(用于控制车辆的制动)、加速系统114(用于控制车辆的加速)、转向系统116(用于控制车轮的定向和车辆的方向)、信令系统118(用于控制转向信号)、导航系统120(用于在手动或部分自主驾驶模式下操作时将车辆导航到位置或对象周围和/或向驾驶员提供导航方向)和定位系统122(用于确定车辆的定位)。
计算设备102还操作地耦合到感知系统124(用于检测车辆环境中的对象)、动力系统126(例如，电池和/或汽油或柴油动力发动机)和传动系统128以便于在不要求或不需要来自车辆乘客的连续或周期性输入的驾驶模式下根据存储器106的指令108控制车辆的移动、速度等。车轮/轮胎130中的一些或全部耦合到传动系统128，并且计算设备102可能能够接收关于轮胎压力、平衡和可能影响任何驾驶模式下的驾驶的其他因素的信息。
在诸如自适应巡航控制或紧急制动的某些驾驶模式中，计算设备102可以通过控制各种组件来控制车辆的方向和/或速度。计算设备102可以使用来自地图信息和导航系统120的数据来导航车辆或在将车辆导航到目的地位置时援助驾驶员。在需要安全到达位置时计算设备102可以使用定位系统122来确定车辆的位置和感知系统124以检测并响应于对象。为了这样做，计算设备102可以使车辆加速(例如，通过增加由加速系统114提供给发动机的燃料或其他能量)，减速(例如，通过减少供应给发动机的燃料，改变档位，和/或通过减速系统112施加制动)，改变方向(例如，通过转向系统116转动车辆100的前轮或其他车轮)和用信号发送这样的改变(例如，通过点亮信令系统118的转向信号)。因此，加速系统114和减速系统112可以是动力传动系统或其他传动系统128的一部分，其包括在车辆的发动机和车辆的车轮之间的各种组件。同样，通过控制这些系统，计算设备102还可以控制车辆的传动系统128，以便在部分(或甚至完全)自主模式下操纵车辆。
作为示例，计算设备102可以与减速系统112和加速系统114交互，以便控制车辆的速度。类似地，计算设备102可以使用转向系统116以便控制车辆的方向。信令系统118可以由计算设备102或驾驶员使用，以便例如在需要时通过点亮转向信号灯或制动灯用信号向其他驾驶员或车辆发送车辆的意图。
导航系统120可以被计算设备102使用，以便确定并遵循到达位置的路线。在这方面，导航系统120和/或存储器106可以存储地图信息，例如，计算设备102可以用来导航或控制车辆的高度详细的地图。作为示例，这些地图可以识别道路的形状和海拔、车道标记、十字路口、人行横道、限速、交通信号灯、建筑物、标志、实时交通信息、植被或其他此类对象和信息。车道标记可以包括诸如实线或虚线双线或单线车道线、实线或虚线车道线、反射器等特征。给定车道可以与左右车道线或定义车道边界的其他车道标记相关联。因此，大多数车道可以由一个车道线的左边缘和另一车道线的右边缘界定。可以从诸如地图数据库的远程计算系统，从其他车辆和/或从车辆100进行的先前行程接收地图信息。
感知系统124还包括用于检测车辆外部的对象的传感器。所检测到的对象可以是其他车辆、道路上的障碍物、交通信号、标志、树木等。例如，感知系统124可以包括一个或多个光检测和测距(激光雷达)传感器、声学(声纳、内部和/或外部麦克风)设备、雷达单元、诸如相机(例如光学和/或红外)的成像设备、惯性传感器(例如，陀螺仪或加速度计)和/或任何其他记录数据的检测设备，这些数据可以通过计算设备102来处理。感知系统124的传感器可以检测对象及其特性，诸如位置、定向、大小、形状、类型(例如，车辆、行人、骑自行车的人等)、前进方向和移动速度等。来自传感器的原始数据和/或前述特性在通过感知系统124生成时可以被周期性和连续地发送到计算设备102以进行进一步处理。计算设备102可以使用定位系统122以确定车辆的位置，并且感知系统124在需要安全到达该位置时检测并响应于对象。另外，计算设备102可以执行单个传感器、特定传感器部件中的所有传感器或不同传感器部件中的传感器之间的校准。
在图2A中还示出通信系统132。通信系统132可以包括一个或多个无线网络连接，以促进与诸如车辆内驾驶员和/或乘客的个人计算设备以及诸如道路上或远程网络上的其他附近车辆中的车辆外部的计算设备进行通信。网络连接可以包括短距离通信协议，诸如蓝牙TM、蓝牙TM低能耗(LE)、蜂窝连接以及包括互联网、万维网、以太网、虚拟专用网、广域网、本地网络、使用一个或多个公司专有的通信协议的专用网络、以太网、WiFi和HTTP、以及前述的各种组合的各种配置和协议。
图2A还图示用户接口子系统134。用户接口子系统134可以包括一个或多个用户输入136(例如，鼠标、键盘、触摸屏或其他触觉输入和/或一个或多个麦克风)以及显示子系统138的一个或多个显示设备(例如，具有屏幕的监视器或可操作以显示信息的任何其他设备)。就这一点而言，内部电子显示器140可以位于载客车辆的车厢内(参见图1B)，并且可以由计算设备102使用以向车辆内的驾驶员或乘客提供信息。诸如扬声器142的输出设备也可以位于载客车辆内。如下面更详细地讨论的，显示器140和/或扬声器142被配置成当车辆以手动或部分自主驾驶模式操作时向驾驶员提供增强的方向或驾驶提示。
图2B图示成像设备200的一个示例。成像设备200可以是车辆的机载感知系统124的一部分。或者，可替代地，成像设备200可以是自包含的或以其他方式分离的传感器单元。例如，成像设备200可以是驾驶员(或乘客)的移动电话，或者可以是可穿戴设备(例如，头戴式显示系统、智能手表等)或其他设备(例如，PDA、平板电脑等)，其可以安装在车辆的内部车厢内。
如所示的，成像设备200包括一个或多个计算设备202，诸如包含一个或多个处理器204、存储器206和通常在通用计算设备中存在的其他组件的计算设备。存储器206存储一个或多个处理器204可访问的信息，包括可由处理器304执行或以其他方式使用的指令208和数据210。来自图2A的处理器、存储器、指令和数据的描述应用于图2B的这些元素。
在该示例中，成像设备200还包括通信系统212，其可以具有无线连接214和有线连接216中的一个或两个。以这种方式，单独的传感器单元被配置成直接或间接地与计算设备102或车辆的其他系统和/或与远程系统通信(参见图3A-B)。
成像设备200还包括具有一个或多个图像传感器220的成像系统218。通过示例，图像传感器220可以包括一个或多个传感器设备或传感器设备阵列，其配置用于光学和/或红外图像捕获。图像捕获可以作为静止图像和/或一系列视频图像在逐帧的基础上完成。一个或多个图像传感器220能够捕获车辆外部环境的图像，例如作为景观图像或全景图像。
成像设备200还可以包括具有用户输入224的用户接口子系统222。用户输入224可以包括一个或多个机械致动器226(例如，开关、按钮和/或拨盘)和/或一个或多个软致动器228(例如，电容式或电感式触摸屏)。用户接口子系统222还可以包括图形显示器230，诸如以便捕获图像的预览屏幕、查看捕获的图像的显示器或两者。
此外，成像设备200可以包括其他组件，诸如定位确定子系统236。该子系统236可以包括诸如加速度计238、陀螺仪240和/或其他惯性传感器的传感器，以帮助确定成像设备200的姿势或定向。定位确定子系统236也可以包括GPS单元242或其他定位元件，以确定成像设备200的纬度/经度(和海拔)。成像设备200还可以包括一个或多个内部时钟244，例如以获得处理器204、GPS单元242的定时信息，或为成像系统218获取的图像生成时间戳。并且诸如成像设备200内部的一个或多个电池或者到外部源的连接的电源(或者源)246也可以被提供。
示例协作系统
如上所述，车载系统可以与远程系统(例如，远程辅助或车队管理)，与其他车辆和/或从车辆内的各种成像设备进行通信。这样的一个示例在图3A和3B中示出。特别地，图3A和3B分别是示例系统300的图片和功能图，该示例系统300包括经由网络314连接的多个计算设备302、304、306、308、成像设备310和存储系统312。举例来说，计算设备304可以是平板、膝上型或上网本计算机，并且计算设备306可以是PDA或移动电话。计算设备308可以是可穿戴设备，诸如智能手表或头戴式显示器(HMD)设备。这些中的任何一个可以包括相机或其他成像器，并且可以用作诸如图2B所图示的成像设备200操纵。
系统300还通过车辆316和318来图示，其可以被配置成与图1A和图1B的车辆100相同或相似。例如，车辆316可以是诸如轿车或小型货车的乘客型车辆。车辆318可以是较大的车辆，诸如卡车、公共汽车等。车辆316和/或318可以是车辆车队的一部分。尽管为了简单起见仅描绘少数车辆、计算设备和成像设备，但是这样的系统可以包括明显更多的元件。如图3B中所示，计算设备302、304、306和308中的每一个可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以类似于以上关于图2A描述的那些进行配置。
各种计算设备和车辆可以经由一个或多个诸如网络314的网络进行通信。网络314和中间节点可以包括各种配置和协议，包括短距离通信协议，诸如蓝牙TM、蓝牙TMLE、互联网、万维网、内部网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议的专用网、以太网、WiFi和HTTP以及前述的各种组合。可以通过向诸如调制解调器和无线接口的任何设备促进这样的通信，该任何设备能够向和从其它计算设备传送数据。
在一个示例中，计算设备302可以包括具有多个计算设备的一个或多个服务器计算设备，例如，负载平衡服务器场，其与网络的不同节点交换信息以用于向和从其它计算设备接收、处理和传送数据的目的。例如，计算设备302可以包括能够经由网络314与车辆316和/或318的计算设备以及计算设备304、306和308进行通信的一个或多个服务器计算设备。例如，车辆316和/或318可以是可以由服务器计算设备派遣到各种位置的车辆车队的一部分。就这一点而言，计算设备302可以用作派遣服务器计算系统，该派遣服务器计算系统可以用于将车辆派遣到不同的位置，以便接载乘客或让乘客下车或者接载和运送货物。另外，服务器计算设备302可以使用网络314来向其他计算设备之一的用户(例如，驾驶员)或车辆乘客传送信息并向其呈现信息。就这一点而言，计算设备304、306和308可以被认为是客户端计算设备。
如图3B中所示，每个客户端计算设备304、306和308可以是旨在供相应用户使用的个人计算设备，并且具有通常与个人计算机设备一起使用的所有组件，包括一个或多个处理器(例如，中央处理器(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视或诸如可操作以显示信息的智能手表显示器的其他设备)和用户输入设备(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录可以被用于增强如在这里讨论的驾驶提示的影像的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。对于可能是计算设备的一部分的其他特征和组件，也参见上面对图2B的讨论。
存储系统313可以是数据库或能够存储服务器计算设备302可访问的信息的任何类型的计算化存储，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、闪存驱动器和/或磁带驱动器。另外，存储系统313可以包括分布式存储系统，其中数据存储在可以物理上位于相同或不同地理位置的多个不同存储设备上。存储系统314可以经由如图3A-B中所述的网络314连接到计算设备，并且/或者可以直接连接到或合并到任何计算设备中。
存储系统312可以存储各种类型的信息。例如，存储系统312可以将地图、地标和/或影像存储在一个或多个数据库中。该信息可以由诸如一个或多个服务器计算设备302的服务器计算设备检索或以其他方式访问，以便执行本文所述的一些或全部特征。
例如，存储系统312可以存储地图数据。该地图数据可以包括例如由诸如车辆100的感知系统的感知系统生成的传感器数据。该地图数据还可以是从各种影像获取的地图信息。地标数据库可以存储关于各种地标的信息，其可以与地图数据库中的位置相关联或可以不与地标数据库相关联。例如，地图数据库可以包括关于New York City(纽约市)的街道信息，而地标数据库可以包括关于各种兴趣地方或项目(例如，Empire State Building(帝国大厦))的信息。影像数据库可以是这些数据库的一部分或与这些数据库分离，并且可以包括先前获得的有关地图和/或地标数据库中的位置的图像。影像数据库可以包括街道水平或关于各种位置的其他类型的影像。地图、地标和/或影像数据库中的一个或多个可以包括补充信息，诸如路标、商业标志、雕塑或其他艺术品等，其对于沿着路线的驾驶员是可见的。服务器系统302、计算设备304、306、308和/或成像设备310可以直接或间接访问此类信息。
实施实施方式
鉴于以上描述并在附图中图示的结构和配置，现在将描述各种实施方式。
诸如成像设备200的车中(或其它方式机载)相机被配置成检测在与车辆相邻或以其它方式在车辆附近的环境中——诸如在车辆前部的视线内——的对象和条件。如上所述，相机可以例如沿着仪表板或在挡风玻璃内部定位在车辆内，诸如与后视镜或遮阳板相邻。在一个示例中，相机被定位成提供与驾驶员在驾驶时将在车辆前方观察到的视场相似或对准的视场。以这种方式，图像传感器可以布置在相机上或定位在车辆车厢内以查看车辆前方和邻近区域的道路，诸如能够检测路标、商业标志、店面、地标和其他兴趣点。
可以基于所使用的成像设备的类型、相机在车辆内的放置以及其他因素来约束相机的视场(FOV)。可以获取静止图像或视频图像。相机可以包括多个成像设备，或者可以采用多个相机，例如以提供立体成像。例如，虽然在图1A-B中图示单个成像设备200，但是两个或更多个成像设备200可以布置在车辆车厢内以提供车辆周围的不同视场。这些成像设备200可以直接或间接(例如，经由蓝牙TM连接)彼此通信或与车辆系统通信，可以与远程系统或服务通信，或与任何或所有此类设备通信。
尽管在图2B中未图示，但是成像设备200或其他相机可以包括一个或多个麦克风，或者可以操作地耦合到定位在车辆周围的一个或多个麦克风以获取声音。这样的麦克风可以用于例如在车辆沿着道路移动时基于轮胎的声音来检测车辆是否在雪地或雨天中驾驶。
示例场景
对于驾驶员手动或在部分自主模式下驾驶车辆的情况，他或她可以根据沿着预先计划的路线的方向集合驾驶到目的地。方向可以由诸如移动电话、PDA、平板计算机等的个人设备生成或下载到该个人设备，该个人设备可以包括或可以不包括成像设备200。可替代地，方向可以由车辆本身的导航系统120生成或维护。方向可以指令驾驶员转入到特定街道，以操纵达一定数目的英尺或米，以朝着(或远离)某些对象或兴趣点等前进。
不幸的是，现实世界条件和其他因素可能不利地影响驾驶员遵循驾驶方向的能力。例如，雪、雾或大风引起植摇曳可能会遮掩路标。或者卡车或建筑设备可能会阻止驾驶员看到地标。更进一步，驾驶员当他/她需要在大雪中转弯到在当前条件下几乎看不到任何标识(signage)的小街道上时，可能会遇到问题。因此，即使附近可能有停车标志、停车灯或其他标识，由于阻挡物(其他车辆，建筑物)、恶劣的天气(例如，雪、雾、大雨)或以其它方式的差的驾驶条件(例如，在黄昏或其他低光照条件下)驾驶员可能无法看到所述停车标志、停车灯或其他标识。接收到的或先前生成的方向可能不足以应对此类因素。
使用从相机接收到的图像信息和机载位置信息，系统能够实时确定当前的天气条件(例如，雨、雾、雪、黄昏或夜间等)和/或道路条件(例如，表面类型的改变、诸如坑洼的道路损坏、潮湿或湿滑的道路、道路上的废弃物、封闭等)。标识的改变或标志的阻挡也可以基于相机捕获的影像来确定。例如，这可以通过将捕获的影像与当前位置的先前获取的图像进行比较来完成。举例来说，机载系统可以从远程服务器、从其他车辆和/或由同一车辆甚至成像设备本身进行的先前行程获得先前获取的图像。
成像设备200被配置成为机载系统提供实时影像的“相机反馈回路”。在行程期间，系统可以将先前获得的影像与来自车中相机的实时影像进行比较。这样的图像处理可以由捕获实时影像的相机或其他设备(例如，图3A-B的304、306、308或310)、车辆的机载计算机系统(例如，图2A的102)和/或由远程服务器(例如，图3A-B的服务器302)来完成。影像比较或差异确定可以例如根据处理资源可用性、通信带宽和其他因素在系统的不同处理设备当中进行共享。基于该分析，可能生成关于所获得和所获取影像中的差异的信息。取决于差异是什么(例如，路标不可见或被部分遮掩)，系统可能会为驾驶员识别其他视觉提示。
在另一个示例中，机载系统、远程系统(例如，服务器302)或两者都可以对实时获取的图像采用机器学习模型，以便检测雪、雨、建筑设备或其他类型的阻挡物和可见性缺陷的存在和数量。以此方式，鉴于实时影像来确定当前的驾驶条件和环境。
如在下面所讨论的，此反馈回路允许系统基于所获取的实时影像数据来警告驾驶员。例如，这可以通过基于与常规预期的逐街道导航模式相比容易观察到的事物来使用更详细的指令来更新或改变初始驾驶方向集合来完成。该系统采用更冗长的指令来引导驾驶员到达目的地。这可以包括使用视觉线索来加强(augment)指令，所述视觉线索被预期或已知为在他们的路线上提供良好的定向。特别地，系统可以确定是否以及如何增强当前的驾驶指令(诸如使指令更冗长)，以及实时进行改变。即，继而，这可以使驾驶员更容易更可能正确地遵循计划的路线。另外，系统可以变更路线以避免某些次优条件。
举例来说，可以使用较大的、更容易发现的视觉引导，诸如地标、建筑物或城市景观的各种其他特征(公园、广告牌、灯柱等)，以给驾驶员提供更好的定向并且告诉他/她何时转弯。结果是更加冗长的指令集合，诸如“Turn left on 15th St.,after a largebillboard on your right(在你右边的大广告牌后在第15街道左转)”或“Begin slowingdown near the tall brown building on your right,and prepare to turn rightbefore the next such tall building(在您右侧的棕色高楼附近开始减速，并准备在下一个这样高楼之前右转)”，当然假设在后一个示例中，这两座建筑物比其余建筑物更为突出。这些指令可以视觉地呈现，诸如在车辆的显示器140上、成像设备200的图形显示器230等上。这里，可以采用视觉提示，诸如更大的字体、不同的颜色和/或突出显示。
指令也可以诸如通过车辆用户接口134的扬声器142或成像设备200的扬声器232被可听见地呈现。另外或可替代地，触觉反馈(例如，通过转向方向盘)还可以帮助向驾驶员提供增强的更新指导，诸如通过以指示右转或左转的方式振动方向盘。
该技术的另一方面涉及驾驶员可能会鉴于当前环境条件而正确地遵循所提供的导航指令的可能性。这种可能性可以基于涉及下述的之前的导航情况：相同驾驶员、相同或相似位置和/或相同或相似条件下其他驾驶员的汇总(和匿名)统计信息、当前位置处可用的地标信息类型和其他因素。此类信息可用于校准系统和/或为驾驶员选择附加(冗长)特征线索。
例如，系统可以分析单个用户偏差(例如，驾驶员未能正确遵循初始指令集合)并且这些偏差在不同情况下如何发生，以及个人的驾驶习惯。任何特定于人的信息都可以存储在用户的设备上，并且仅在确定是取得常规还是“增强的”指令系列时使用。
作为该方法的一部分，系统不仅可以分析遵循该路线的单个失败，而且可以分析汇总的失败。因此，如果驾驶员在驾驶时错过多个转弯，或者如果使系统意识到沿路线的数个驾驶员正在错过转弯，则可以向驾驶员提供更多冗长的视觉和/或可听(和触觉)提示。在另一个示例中，如果系统检测到驾驶员正在预期之外的区域减速，例如，在路线的直线段的中间，则这也可能指示驾驶员在遵循原始方向时遇到困难。例如，可能是因为在夜间或下雪时难以阅读路标，或者道路结冰或多雪等。
取决于场景，该方法可能涉及随着时间的推移累积信息。举例来说，可以基于来自相机和/或其他设备的证据来开发显式的依赖于条件的可见性模型。在此，如果系统检测到已经下雪达一定数量的时间，例如，15分钟、一个小时等，则系统可以选择不同的或附加提示来援助驾驶员。
此外，即使由于天气或照明不佳而未遮掩标志或其他地标，诸如由于道路的弯曲或诸如卡车和其他大型车辆的临时障碍物，也可能难以看到。在这种情况下，当相机反馈回路分析建议驾驶员可能在方向上有麻烦时，可以呈现可听的提示来援助驾驶员。
一种利用冗长线索援助驾驶员的方式涉及首先理解环境中存在哪些类型的地标。例如，这可能涉及对公开可用的街道级影像(例如，谷歌街景全景图和其他公开可用的影像)进行分析。图像内容分析系统可以检测各种各样的城市特征以及这些特征的各种属性(形状、颜色、大小)，以及语义特征的组合(例如，“高塔楼面朝北的壁上的壁画”)。
例如，系统可以从远程服务器或其他车辆获得沿着计划路线的特定位置的图像信息。获得的信息数量可以取决于无线通信链路的稳健性。或者，可替代地，驾驶员(或乘客)的个人设备可以在开始行程之前下载影像。可以在行程中根据需要或可用时提供内容更新。诸如天气、交通和紧急情况通知的其他信息也可以从外部源——包括从其他车辆——获得。
所有这些信息可以被分析和/或组合为供系统在决定是否或如何提供冗长的、增强的方向信息时使用的因素。
图4A-B图示一种场景400，其中典型的方向信息可能被遮掩或以其它方式难以检测。例如，如图4A中所示，驾驶员可能正在沿着道路驾驶车辆100并遵循预先生成的方向。然而，Main Street(主街)路标402可能会被建筑物404遮掩。商业标志“Joe的理发店”406由于下雪、下雨或低光照条件而难以看见。但是，存在与理发店相关联，或以其它方式位于附近的另一地标，其是建筑物404上的理发店杆408。
如图4B的俯视图所示，车中成像设备200可以具有视场410。视场410可以类似于驾驶员对道路的视点。在这里，通过图像比较，机器学习和/或本文讨论的任何其他方法，系统可以从所获取的成像设备的实时图像中确定路标被遮掩，并且条件对于驾驶员而言可能过于恶化而看不到商业标志。然而，由成像设备200捕获的图像可以容易地识别理发店杆408，其可以是接通或关断。该附加地标可以由系统确定以提供更可见的兴趣点。结果，可以修改驾驶方向，或者可以视觉地或可听地向驾驶员呈现附加的提示，例如，停放在理发店杆附近(见图1B)。此类冗长的加强可以由成像设备200、车辆的计算设备102和/或导航系统120或由远程服务器302(或其组合)执行。
图5A-C图示另一种场景，其中驾驶员的视场可能受到限制或遮掩。例如，图5A图示视场范围500。此图示出，在良好的条件下，驾驶员可能具有朝向车辆的前方200英尺或米或更大的无遮掩的视场502。如图5B的驾驶场景510中所示，在沿着道路驾驶时，可能存在诸如位于与十字路口相邻的停车标志512的对象。沿着车辆前方的道路的一部分也可能有水坑或者冰块514。然而，在下一车道上也可能存在大型卡车516。并且如通过图5C的俯视图520中所示，标志和水坑或冰块的至少一部分可能会被卡车从驾驶员的视场中遮掩。水坑或冰块也可能被大雨、雪等遮掩。尽管如此，使用此处讨论的技术，从机载成像设备获得的影像仍可以被采用以识别可见性是否已降低或预期的对象(例如，停车标志)是否不在驾驶员的视场内。基于此，系统可以提供增强的或替代的方向或其他指令，诸如执行特定的驾驶动作。这可能涉及改变车道或以其它方式变更路线。具体驾驶动作的示例包括减速、转弯、停止或停放。它还可能涉及视觉地、可听地或触觉地提供有关其他地标的信息，以帮助驾驶员前往所期望的目的地。
示例方法
图6图示用于修改驾驶方向的方法的示例600。例如，如在框602中所示，获得车辆驾驶员的驾驶路线的初始方向。这些方向用于为车辆规划从起点到目的地的路线。在框604处，获得沿路线的一个或多个位置的先前捕获的影像。这可以来自例如远程系统、另一车辆的影像数据库，或者先前由当前车辆或由与车辆一起使用的成像设备获得的图像。在框606处，该过程识别位于先前捕获的影像中的第一地标。框602、604和606的过程可以以不同的顺序或并行地执行。它们中的任何一个或全部可以在驾驶员驾驶车辆之前或在车辆在去往目的地的途中进行。
在框608处，接收由位于车辆中的相机获得的实时影像。它可由相机、车辆和/或诸如服务器系统302的远程系统的一个或多个处理器接收。在框610处，将来自实时影像的至少一个图像与来自先前捕获的影像的至少一个图像进行比较，以确定第一地标是否将能够被车辆驾驶员可观察到。例如，可以将图像进行比较以评估与第一地标的可观察性相关联的相对属性，诸如评估图像的相对亮度和/或其他图像特性。图像特性可以包括语义内容，诸如从图像中识别出的对象或外部环境中的当前条件。这期望地在车辆驾驶时实时完成。然后，在框612处，在确定第一地标将不能够被车辆的驾驶员观察到时，将驾驶路线的初始方向修改为指示不同于第一地标的至少一个其他地标。以此方式，能够向驾驶员提供稳健的信息，以便有效地援助驾驶员操纵车辆到目的地。
图7图示用于向车辆的驾驶员提供更新的或加强的方向信息的方法的示例700。在框702中，该过程接收由位于车辆中的相机获得的实时影像。在驾驶员驾驶车辆期间获得实时影像。在框704处，分析来自实时影像的至少一个图像，以确定车辆周围的外部环境中的当前条件。可以例如由相机、车辆和/或诸如服务器系统302的远程服务器系统的一个或多个处理器来完成此分析。当前条件可以包括但不限于天气条件和/或一天中的时间。在框706处，系统基于所述分析来确定当前条件被预期为遮掩外部环境中的选择的地标不被驾驶员查看。例如，每个地标可以与该地标被认为被遮掩的条件相关联(例如，未点灯的路标可以被认为在晚上被遮掩)。为了避免这种有问题的情况，在框708处，解释为，一旦确定当前条件被预期为遮掩外部环境中的选择的地标不被驾驶员查看，则系统识别位于车辆中的相机可观察到的不同的地标。当前可以实时观察到该不同的地标，或者可以在不久的将来——例如，在接下来的5-10秒或不超过一分钟的时间内、在1-3街区之内等等——观察到该不同的地标。基于此信息，在框710处，将不同地标的视觉、可听和/或触觉指示提供给驾驶员。
除非另有说明，否则前述替代示例不是互相排斥的，而是可以以各种组合实现以实现独特的优点。因为可以在不脱离权利要求所限定的主题的情况下利用以上讨论的特征的这些和其他变化以及组合，所以对实施例的前述描述应当以说明的方式而不是限制通过权利要求所限定的主题的方式进行。另外，在此描述的示例的提供以及用短语表达为“诸如”、“包括”等的用语不应被解释为将权利要求的主题限制于特定示例；相反，这些示例仅旨在说明许多可能的实施例之一。此外，不同附图中的相同附图标记可以识别相同或相似的元件。除非本文另外明确指出，否则这些过程或其他操作可以以不同的顺序或同时执行。
如上所述，该技术的一个有益领域是用于恶劣天气。举例来说，系统可以提供目标车道指导，诸如当积雪覆盖或封闭一个交通车道时。在此，可以改变方向以识别不同的出口或转弯点。该系统还适用于其他非最优条件。例如，晚上在未点亮的住宅街道上可能看不到特定的路标。
其他益处可能涉及为除了涉及外部环境条件的因素之外的因素提供冗长的修改的指令的能力。例如，如上所述，系统可以评价驾驶员能够多紧密地遵循驾驶指令。鉴于此，替代因素可以包括方向的复杂性、在时间或距离上靠近在一起的许多转弯等。这些信息中的任何一个或全部都可以用于向驾驶员实时提供更新或加强的指令或提示，以便于提高他或她将能够有效地遵循到期望目的地的驾驶方向的可能性。
该技术也是与车辆形状因子无关的。类似的方法可以应用于载客车辆、公共汽车、摩托车、轻型和重型卡车、建筑设备等。

Claims (22)

1.一种方法，包括：
获得用于车辆的驾驶员的驾驶路线的初始方向，所述方向用于为所述车辆规划从起点到目的地的路线；
获得沿所述路线的一个或多个位置的先前捕获的影像；
识别位于所述先前捕获的影像中的第一地标；
由计算机设备的一个或多个处理器接收由位于所述车辆中的相机获得的实时影像；
由所述一个或多个处理器将来自所述实时影像的至少一个图像与来自所述先前捕获的影像的至少一个图像进行比较，以确定所述第一地标是否将能够被所述车辆的驾驶员观察到；以及
在确定所述第一地标将不能够被所述车辆的驾驶员观察到时，由所述一个或多个处理器修改所述驾驶路线的初始方向以指示与所述第一地标不同的至少一个其他地标。
2.根据权利要求1所述的方法，其中，确定所述第一地标是否将能够被所述车辆的驾驶员观察的所述比较包括确定所述第一地标是否被部分或完全遮掩不被所述车辆的驾驶员查看。
3.根据权利要求2所述的方法，其中，确定所述第一地标是否被部分或完全遮掩包括确定所述第一地标的可见性被天气条件、低光照条件、另一车辆、建筑物或植被不利影响。
4.根据权利要求1至3中的任意一项所述的方法，其中，所述实时影像由所述相机在沿所述路线驾驶期间获得。
5.根据权利要求1至4中的任意一项所述的方法，其中，当所述至少一个其他地标对所述驾驶员可见时，所修改的方向指示所述驾驶员采取特定的驾驶动作。
6.根据权利要求5所述的方法，其中，所述特定的驾驶动作从由减速、转弯、停止或停放组成的组中选择。
7.根据权利要求1至6中的任一项所述的方法，其中，修改所述初始方向包括更新所述车辆内的图形显示或播放所述车辆内的可听指令中的至少一个。
8.根据权利要求1至7中的任一项所述的方法，其中，位于所述车辆中的所述相机具有视场，并且将来自所述实时影像的所述至少一个图像与来自所述先前捕获的图像的所述至少一个图像进行比较包括相比于所述驾驶员的预期的视场来评价所述相机的视场。
9.根据权利要求1至8中的任一项所述的方法，其中，修改所述初始方向进一步包括基于所述相机可见的沿着所述驾驶路线的一个或多个对象来用至少一个视觉线索来加强或替换所述初始方向。
10.一种方法，包括：
由计算机设备的一个或多个处理器接收在驾驶员驾驶车辆期间由位于所述车辆中的相机获得的实时影像；
由所述一个或多个处理器分析来自所述实时影像的至少一个图像以确定所述车辆周围的外部环境中的当前条件；
由所述一个或多个处理器基于所述分析来确定所述当前条件被预期为遮掩所述外部环境中的选择的地标不被所述驾驶员查看；
在确定所述当前条件被预期为遮掩所述外部环境中的所述选择的地标不被所述驾驶员查看时，由所述一个或多个处理器识别位于所述车辆中的所述相机能够观察到的不同地标；以及
向所述驾驶员提供所述不同地标的视觉、可听或触觉指示。
11.根据权利要求10所述的方法，进一步包括：在所述提供之前，利用所述不同地标的所述指示来修改用于驾驶到目的地的初始方向集合。
12.根据权利要求11所述的方法，其中，当所述不同地标对所述驾驶员可见时，所修改的初始方向向所述驾驶员指示采取特定的驾驶动作。
13.根据权利要求12所述的方法，其中，所述特定的驾驶动作从由减速、转弯、停止或停放组成的组中选择。
14.根据权利要求10至13中的任意一项所述的方法，其中，确定所述当前条件被预期为遮掩所述外部环境中的所述选择的地标不被所述驾驶员查看包括确定所述选择的地标的可见性被天气条件、低光照条件、另一车辆、建筑或植被不利影响。
15.根据权利要求10至14中的任意一项所述的方法，其中，分析来自所述实时影像的所述至少一个图像以确定所述车辆周围的外部环境中的所述当前条件包括将机器学习模型应用于所述实时影像，以便检测所述外部环境中的阻挡物或其他可见性缺陷。
16.一种系统，包括：
存储器，所述存储器被配置成存储指令或数据中的至少一个；以及
一个或多个处理器，所述一个或者多个处理器操作地耦合至所述存储器，所述一个或多个处理器被配置成：
获得车辆的驾驶员的驾驶路线的初始方向，所述方向用于为所述车辆规划从起点到目的地的路线；
获得沿着所述路线的一个或多个位置的先前捕获的影像；
识别位于所述先前捕获的影像中的第一地标；
接收由位于所述车辆中的相机获得的实时影像；
将来自所述实时影像的至少一个图像与来自所述先前捕获的影像的至少一个图像进行比较，以确定所述第一地标是否将能够被所述车辆的驾驶员观察到；以及
在确定所述第一地标将不能够被所述车辆的驾驶员观察到时，修改所述驾驶路线的所述初始方向以指示与所述第一地标不同的至少一个其他地标。
17.根据权利要求16所述的系统，进一步包括所述相机。
18.根据权利要求16或者权利要求17所述的系统，其中，所述相机是个人通信设备的一部分。
19.一种系统，包括：
存储器，所述存储器被配置成存储指令或数据中的至少一个；和
一个或多个处理器，所述一个或多个处理器操作地耦合至所述存储器，所述一个或多个处理器被配置成：
在驾驶员驾驶车辆期间接收由位于所述车辆中的相机获得的实时影像；
分析来自所述实时影像的至少一个图像以确定所述车辆周围的外部环境中的当前条件；
基于所述分析，确定所述当前条件被预期为遮掩所述外部环境中的选择的地标不被所述驾驶员查看；
在确定所述当前条件被预期为遮蔽所述外部环境中的所述选择的地标不被所述驾驶员查看时，识别能够由位于所述车辆中的所述相机观察到的不同地标；并且
向所述驾驶员提供所述不同地标的视觉、可听或触觉指示。
20.根据权利要求19所述的系统，其中，分析来自所述实时影像的所述至少一个图像以确定所述车辆周围的外部环境中的所述当前条件是由所述一个或多个处理器根据机器学习过程来执行的。
21.一种计算系统，包括：
一个或多个处理器；和
包括指令的非暂时性计算机可读存储器，所述指令在被执行时使所述至少一个处理器执行根据权利要求1至15中的任意一项所述的方法。
22.一种存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使一个或多个处理器执行根据权利要求1至15中的任意一项所述的方法。
CN201980026974.8A 2018-11-20 2019-01-09 在困难驾驶条件下利用地标增强导航指令 Pending CN112055806A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862769646P 2018-11-20 2018-11-20
US62/769,646 2018-11-20
PCT/US2019/012884 WO2020106309A1 (en) 2018-11-20 2019-01-09 Enhanced navigation instructions with landmarks under difficult driving conditions

Publications (1)

Publication Number Publication Date
CN112055806A true CN112055806A (zh) 2020-12-08

Family

ID=65269072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026974.8A Pending CN112055806A (zh) 2018-11-20 2019-01-09 在困难驾驶条件下利用地标增强导航指令

Country Status (6)

Country Link
US (1) US11972616B2 (zh)
EP (1) EP3676567A1 (zh)
JP (2) JP7237992B2 (zh)
KR (2) KR20230020564A (zh)
CN (1) CN112055806A (zh)
WO (1) WO2020106309A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102096078B1 (ko) * 2018-12-05 2020-04-02 네이버랩스 주식회사 이동 경로 안내 제공 방법, 장치, 시스템 및 컴퓨터 프로그램
JP7150593B2 (ja) * 2018-12-26 2022-10-11 株式会社クボタ 作業車両
US11543259B2 (en) * 2020-06-05 2023-01-03 Hitachi, Ltd. Determining landmark detectability
US20220316906A1 (en) * 2021-04-03 2022-10-06 Naver Corporation Apparatus and Method for Generating Navigational Plans
US11892303B2 (en) 2021-05-26 2024-02-06 Here Global B.V. Apparatus and methods for predicting state of visibility for a road object
US11605233B2 (en) * 2021-06-03 2023-03-14 Here Global B.V. Apparatus and methods for determining state of visibility for a road object in real time
CN114495546B (zh) * 2022-02-17 2023-07-25 江苏泽景汽车电子股份有限公司 一种路况展示方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009002884A2 (en) * 2007-06-25 2008-12-31 Microsoft Corporation Landmark-based routing
WO2010081549A1 (en) * 2009-01-14 2010-07-22 Tomtom International B.V. Navigation device & method
CN103339010A (zh) * 2010-10-05 2013-10-02 谷歌公司 区域驾驶
US20140372020A1 (en) * 2013-06-13 2014-12-18 Gideon Stein Vision augmented navigation
US20170314954A1 (en) * 2016-05-02 2017-11-02 Google Inc. Systems and Methods for Using Real-Time Imagery in Navigation
US9915947B1 (en) * 2016-02-26 2018-03-13 Waymo Llc System and method for determining pose data for a vehicle
US20180136001A1 (en) * 2016-11-14 2018-05-17 International Business Machines Corporation Driving assistant system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3919855B2 (ja) * 1996-10-17 2007-05-30 株式会社ザナヴィ・インフォマティクス ナビゲーション装置
WO2000028309A1 (en) * 1998-11-05 2000-05-18 Samsung Electronics Co., Ltd. Method for inspecting inferiority in shape
US20060244830A1 (en) * 2002-06-04 2006-11-02 Davenport David M System and method of navigation with captured images
JP4962176B2 (ja) 2007-07-09 2012-06-27 トヨタ自動車株式会社 走行軌跡表示装置
DE102009019702B4 (de) * 2008-05-06 2022-11-10 Volkswagen Ag Verfahren und Vorrichtung zur Übergabeaufforderung an den Fahrzeugführer
US7868821B2 (en) * 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
US8060302B2 (en) * 2009-03-31 2011-11-15 Microsoft Corporation Visual assessment of landmarks
US8489325B2 (en) * 2010-01-19 2013-07-16 Apple Inc. Point of interest based directions in a mapping application
US8417448B1 (en) * 2010-04-14 2013-04-09 Jason Adam Denise Electronic direction technology
JP4881493B1 (ja) * 2010-12-24 2012-02-22 パイオニア株式会社 ナビゲーション装置、制御方法、プログラム、及び記憶媒体
US8688377B1 (en) * 2012-02-17 2014-04-01 Google Inc. System and method of using automatically-identified prominent establishments in driving directions
US20150141043A1 (en) * 2013-08-23 2015-05-21 Cellepathy Ltd. Corrective navigation instructions
US9638537B2 (en) * 2012-06-21 2017-05-02 Cellepathy Inc. Interface selection in navigation guidance systems
US9189959B2 (en) * 2012-06-27 2015-11-17 International Business Machines Corporation Navigation system providing a super detail mode of operation to assist user's driving
US9454150B2 (en) * 2013-07-17 2016-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive automated driving system
DE102016205866A1 (de) 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels speziell ausgewählter und von einem Backend-Server übertragener Landmarken
US10149468B2 (en) * 2016-05-10 2018-12-11 Crinklaw Farm Services, Inc. Robotic agricultural system and method
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
WO2018135630A1 (ja) 2017-01-20 2018-07-26 ナブテスコオートモーティブ株式会社 隊列走行車両群及び隊列走行方法
US10553110B2 (en) * 2017-06-23 2020-02-04 Here Global B.V. Detection and estimation of variable speed signs

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009002884A2 (en) * 2007-06-25 2008-12-31 Microsoft Corporation Landmark-based routing
WO2010081549A1 (en) * 2009-01-14 2010-07-22 Tomtom International B.V. Navigation device & method
CN103339010A (zh) * 2010-10-05 2013-10-02 谷歌公司 区域驾驶
US20140372020A1 (en) * 2013-06-13 2014-12-18 Gideon Stein Vision augmented navigation
US9915947B1 (en) * 2016-02-26 2018-03-13 Waymo Llc System and method for determining pose data for a vehicle
US20170314954A1 (en) * 2016-05-02 2017-11-02 Google Inc. Systems and Methods for Using Real-Time Imagery in Navigation
US20180136001A1 (en) * 2016-11-14 2018-05-17 International Business Machines Corporation Driving assistant system

Also Published As

Publication number Publication date
JP2021525370A (ja) 2021-09-24
KR102493862B1 (ko) 2023-01-31
EP3676567A1 (en) 2020-07-08
JP2023025037A (ja) 2023-02-21
WO2020106309A1 (en) 2020-05-28
US20200349368A1 (en) 2020-11-05
US11972616B2 (en) 2024-04-30
KR20200139222A (ko) 2020-12-11
JP7237992B2 (ja) 2023-03-13
KR20230020564A (ko) 2023-02-10
JP7486564B2 (ja) 2024-05-17

Similar Documents

Publication Publication Date Title
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
JP6468563B2 (ja) 運転サポート
KR102503572B1 (ko) 자율 주행 차량들에 대한 자동화된 성능 검사들
US10891859B1 (en) Displaying sensor data and supplemental data as a mask for autonomous vehicles
US11195415B2 (en) Lane change notification
US11106922B2 (en) System and method for collecting data from lanes-of-interest
CN113692373B (zh) 自动驾驶车辆服务的滞留和范围分析
US20220120581A1 (en) End of trip sequence
US11222215B1 (en) Identifying a specific object in a two-dimensional image of objects
CN113928335A (zh) 用于控制具有自主驾驶模式的车辆的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination