CN108362295B - 车辆路径引导设备和方法 - Google Patents

车辆路径引导设备和方法 Download PDF

Info

Publication number
CN108362295B
CN108362295B CN201710748145.3A CN201710748145A CN108362295B CN 108362295 B CN108362295 B CN 108362295B CN 201710748145 A CN201710748145 A CN 201710748145A CN 108362295 B CN108362295 B CN 108362295B
Authority
CN
China
Prior art keywords
vehicle
information
vehicle path
lane
path information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710748145.3A
Other languages
English (en)
Other versions
CN108362295A (zh
Inventor
郑景夫
成映勋
李基彰
李元熙
郑晖龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108362295A publication Critical patent/CN108362295A/zh
Application granted granted Critical
Publication of CN108362295B publication Critical patent/CN108362295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)

Abstract

提供一种车辆路径引导设备和方法。一种车辆路径引导方法包括：基于使用第一传感器数据确定的车辆的位置信息，产生用于将车辆引导到车辆将要被驾驶的路径的车辆路径信息；基于车辆的周围图像，确定车辆正在行驶的驾驶车道；基于确定的驾驶车道的位置，校正产生的车辆路径信息；显示校正的车辆路径信息。

Description

车辆路径引导设备和方法
本申请要求于2017年1月26日提交到韩国知识产权局的第10-2017-0012864号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
以下描述涉及一种车辆导航技术。
背景技术
例如，车辆导航技术是用于基于预设参考计算从车辆的当前位置到目的地的路径并将计算的路径提供给用户的技术。车辆导航技术可包括用于交通信息的实时通信的技术、用于识别当前位置的技术、用于在地图上检测目的地的技术、用于确定与从当前位置到目的地的车辆路径有关的信息的技术和提供与车辆路径有关的信息的技术。
发明内容
提供本发明内容从而以简化的形式介绍在下面的具体实施方式中进一步描述的对构思的选择。本发明内容不意在标识所要求保护的主题的关键特征或必要特征，也不意在用于帮助确定所要求保护的主题的范围。
在一个总体方面，一种车辆路径引导方法包括：基于使用第一传感器数据确定的车辆的位置信息，产生用于将车辆引导到车辆将要被驾驶的路径的车辆路径信息；基于车辆的周围图像，确定车辆正在行驶的驾驶车道；基于确定的驾驶车道的位置，校正产生的车辆路径信息；显示校正的车辆路径信息。
校正产生的车辆路径信息的步骤可包括：将车辆路径信息与基于车辆的周围图像产生的车道模型进行匹配；基于与车道模型对应的驾驶车道的位置，校正车辆路径信息。
产生车辆路径信息的步骤可包括：在车辆的周围图像中检测路口；基于检测的路口的位置信息，校正车辆的位置信息；基于校正的位置信息，产生车辆路径信息。
检测路口的步骤可包括：从车辆的周围图像提取车辆的距离信息；基于距离信息产生附近地图；使用附近地图检测路口。
产生车辆路径信息的步骤可包括：从车辆的周围图像提取车辆的距离信息；基于距离信息校正车辆的位置信息。
校正位置信息的步骤可包括：基于距离信息产生附近地图；将附近地图与车辆的位置信息进行比较；基于比较结果校正车辆的位置信息。
确定驾驶车道的步骤可包括：产生车道模型；基于车道模型确定驾驶车道。
产生车道模型的步骤可包括：从车辆的周围图像提取车辆的距离信息；基于距离信息和使用第二传感器数据确定的车道的位置信息，产生车道模型。
第二传感器数据可从光线检测与测距(LiDAR)传感器或无线电检测与测距(RADAR)传感器被获取。
产生车辆路径信息的步骤可包括：产生二维(2D)地图的车辆路径信息；将2D地图转换为三维(3D)地图；基于转换2D地图的结果，将2D地图的车辆路径信息转换为3D地图的车辆路径信息。
第一传感器数据可从惯性测量单元(IMU)或全球定位系统(GPS)被获取。
一种非暂时性计算机可读存储介质可存储指令，当所述指令由处理器执行时，使处理器执行所述的车辆路径引导方法。
在另一总体方面，一种车辆路径引导设备包括：处理器，被配置为：基于使用第一传感器数据确定的车辆的位置信息，产生用于将车辆引导到车辆将要被驾驶的路径的车辆路径信息；基于车辆的周围图像，确定车辆正在行驶的驾驶车道；基于确定的驾驶车道的位置，校正产生的车辆路径信息；显示校正的车辆路径信息。
处理器还可被配置为：将车辆路径信息与基于车辆的周围图像产生的车道模型进行匹配；基于与车道模型对应的驾驶车道的位置，校正车辆路径信息。
处理器还可被配置为：在车辆的周围图像中检测路口；基于检测到的路口的位置信息，校正车辆的位置信息；基于校正的位置信息，产生车辆路径信息。
处理器还可被配置为：从车辆的周围图像提取车辆的距离信息；基于距离信息校正车辆的位置信息。
所述车辆路径引导设备还可包括：惯性测量单元(IMU)或全球定位系统(GPS)，被配置为获取第一传感器数据。
处理器还可被配置为：基于根据车辆的周围图像和使用第二传感器数据确定的车道的位置信息产生的车道模型，确定驾驶车道。
所述车辆路径引导设备还可包括：光线检测与测距(LiDAR)传感器或无线电检测与测距(RADAR)传感器，被配置为获取第二传感器数据。
在另一总体方面，一种车辆路径引导方法包括：使用全球定位系统(GPS)数据，确定车辆的位置信息；基于确定的位置信息，产生用于将车辆引导到驾驶路径的车辆路径信息，其中，车辆路径信息具有道路级精度；基于车辆的图像，确定车辆正在行驶的驾驶车道；基于确定的驾驶车道的位置，校正产生的车辆路径信息；通过显示器和扬声器中的任一个或两者，输出校正的车辆路径信息。
车辆的图像可包括多视点图像。
所述车辆路径引导方法还可包括：在多视点图像中检测路口；基于车辆与路口之间的距离，校正车辆的位置信息。
产生车辆路径信息的步骤可包括：将2D地图的车辆路径信息转换为3D地图的车辆路径信息。
其他特征和方面从下面的具体实施方式、附图和权利要求将是清楚的。
附图说明
图1A示出基于车辆路径引导方法显示车辆路径的显示器的示例。
图1B示出基于车辆路径引导方法显示车辆路径的平视显示器的示例。
图2示出车辆路径引导方法的示例。
图3示出车辆路径引导方法的另一示例。
图4A示出在车辆路径引导方法中的纵向校正的示例。
图4B示出在纵向方向上校正的车辆位置信息的示例。
图5A示出在车辆路径引导方法中的横向校正的示例。
图5B示出在横向方向上校正的车辆位置信息的和基于校正的车辆位置信息校正的车辆路径信息的示例。
图5C示出在横向方向上校正的车辆路径信息的示例。
图6示出车辆路径引导设备的示例。
贯穿附图和具体实施方式，除非另外被描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。为了清楚、说明和便利，附图可不按比例，并且附图中的元件的相对大小、比例和描写可被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，操作的顺序局限于在此阐述的顺序，而是除了必须按特定次序发生的操作之外，可如理解本申请的公开之后，将清楚的那样改变。此外，为了更加清楚和简洁，本领域中已知的特征的描述可被省略。
在此描述的特征可以以不同的形式实现，并且不被解释为受限于在此描述的示例。相反，在此描述的示例仅被提供以示出实施在此描述的方法、设备和/或系统的许多可行方式中的一些方式，这在理解本申请的公开之后将是清楚的。
贯穿说明书，当元件(诸如，层、区域或基底)被描述为在另一元件“之上”、“连接到”或“结合到”另一元件时，该元件可能直接在所述另一元件“之上”、“连接到”或“结合到”另一元件，或者在它们之间可能存在一个或多个其他中间元件。相反，当元件被描述为“直接”在另一元件“之上”、“直接连接”或“直接结合到”另一元件时，在它们之间可不存在中间元件。
如在此使用的，术语“和/或”包括相关所列项中的任意一个或者任意两个或更多个的任意组合。
尽管诸如“第一”、“第二”和“第三”的术语可在此用于描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不受这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开来。因此，在不脱离示例的教导的情况下，在此描述的示例中被称为的第一构件、组件、区域、层或部分还可被称为第二构件、组件、区域、层或部分。
为了描述简便，在此可使用空间相对术语(诸如，“在…之上”、“上面的”、“在…下方”和“下面的”)来描述在附图中示出的一个元件与另一元件的关系。这样的空间相对术语意在包含除了在附图中描述的方位之外的使用或操作中的装置的不同方向方位。例如，如果附图中的装置被翻转，则被描述为在相对于其他元件“之上”或“上面”的元件其后将在相对于其他元件“下方”或“下面”。因此，术语“在…之上”包括“在…之上”和“在…下方”的方位两者，这取决于装置的空间方位。装置还可以以其他方法定位(例如，旋转90度或在其他方位)，并且相应地解释在此使用的空间相对术语。
在此使用的术语仅为了描述各种示例，并且不用于限制本公开。除非上下文另有清楚的指示，否则单数形式也意在包括复数形式。术语“包括”、“包含”和“具有”指定存在叙述的特征、数量、操作、构件、元件和/或它们的组合，但是不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或它们的组合。
在此描述的示例的特征可以以各种方式被组合，这在理解本申请的公开之后将是清楚的。此外，尽管在此描述的示例具有多种配置，但是如在理解本申请的公开之后将清楚的其他配置也是可行的。
除非另外定义，否则在此使用的包括技术术语和科学术语的所有术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确定义，否则诸如在通用字典中定义的术语应被解释为具有与现有技术的背景中的含义一致的含义，并且不将被解释为理想化或过于形式化的含义。
在框中示出的功能或操作可不按根据示例的连续顺序来执行。例如，在连续的框中示出的功能或操作可实际上同时被执行，或者框的顺序可基于相关功能或操作而改变。
在下文中，将参照附图对示例做出详细参考，其中，相同的参考标号始终表示相同的元件。
图1A示出基于车辆路径引导方法显示车辆路径的显示器110的示例。
车辆路径引导设备使用车辆的周围图像确定驾驶车道，并基于驾驶车道校正2D地图的车辆路径信息。周围图像包括车辆的多视点图像。车辆路径引导设备适用于车辆导航领域。
在此描述的车辆可以是具有发动机驱动以使人或对象移动的任意交通工具，诸如，小汽车、巴士、摩托车或卡车。驾驶车道还被称为自我车道(ego lane)。
2D地图的车辆路径信息具有道路级精度，并可能不具有足以识别包括在道路中的车道的精度。车辆路径引导设备基于包括驾驶车道的道路的位置信息校正2D地图的车辆路径信息，使得车辆路径信息具有车道级精度。在包括多条车道的道路上，驾驶车道对应于横向信息，因此，车辆路径信息在横向方向上被校正。
车辆路径引导设备从车辆的周围图像检测路口，并基于路口的位置信息校正车辆位置信息。车辆路径引导设备基于车辆与路口之间的距离校正与2D地图有关的车辆位置信息。当在车辆的前方检测到路口时，路口的位置信息对应于纵向信息。因此，车辆路径引导设备提高车辆路径信息的纵向精度。
车辆路径引导设备基于增强现实(AR)实现导航服务。基于AR的导航服务还被称为基于现实图像的导航。通过将车辆路径信息与二维或三维实现地AR的背景进行组合提供的导航服务还被称为基于图形的导航。关于基于图形的导航，用户可能需要理解图形的含义并将理解的结果与实际环境进行匹配。因此，用户可经历认知负担。为了减少这样的认知负担，可需要对图形的精确渲染，因此，更多的资源可用于精确渲染。针对基于现实图像的导航，用户可将现实图像与实际环境进行匹配，因此，可减少由用户的经历的认知负担。
在一个示例中，车辆路径引导设备采用基于现实图像的导航。在这样的一个示例中，车辆路径引导设备提供车辆路径信息与驾驶视点的现实图像的组合的结果。例如，车辆路径引导设备使用相机获取由用户观察的实际道路的图像，将车辆路径信息映射到实际道路的图像，并显示映射的结果。如此，当车辆路径引导设备采用基于现实图像的导航时，与基于图形的导航不同，用户可观察实际环境中的车辆路径信息，因此，用户可体验增强现实。
针对用于提供车辆路径信息的技术，车辆路径引导设备通过视觉输出提供车辆路径信息。参照图1A，车辆路径信息被显示在安装在车辆上的显示器110上。车辆路径引导设备使用相机在驾驶视点捕获前方图像，显示前方图像，并将车辆路径信息映射到前方图像，从而增加视觉输出的现实性。
尽管图1A示出安装在车辆上的作为下视显示器的显示器110作为一个示例，但显示器的类型不限于示出的示例。显示器110还可以以可拆卸形式设置。例如，显示器110被包括在PMP、DMB或DMB/PMP集成导航终端中。此外，车辆路径引导设备可在智能电话的显示器上显示车辆路径信息。
车辆路径信息包括引导信息(诸如，匹配驾驶视点的前方图像的方向的指示)、起点和目的地、到达目的地的驾驶时间以及距目的地的距离。例如，车辆路径信息通过图形(诸如，箭头、图标和文本)被指示。
车辆路径引导设备使用卫星导航系统(例如，全球定位系统(GPS))获取车辆位置信息。通过GPS获取的车辆位置信息可能包括误差。如在图1A中所示，当在车辆的驾驶方向上检测到路口111时，车辆路径引导设备基于路口111的位置信息校正车辆位置信息以增大纵向精度。
例如，车辆路径引导设备基于预设参考产生包括从车辆的当前位置到目的地的路径的车辆路径信息112。在这个示例中，预设参考包括诸如最小时间或最小距离的参考。车辆路径信息112在考虑交通情况或道路类型(诸如，高速公路)的情况下被计算。仍参照图1A，在车辆路径信息112中，后续结点(junction)相对于车辆的当前位置的方向使用图形(例如，箭头)被显示。
当车辆路径信息112的精度不足以识别车道时，车辆路径引导设备在显示器110上显示右转信息而不考虑车道。即使当车辆当前处于第一车道L1中，从PGS获取的车辆位置信息也可对应于在第一车道L1与第二车道L2之间的位置。在这个示例中，因为车辆路径信息112的起点在第一车道L1与第二车道L2之间，所以车辆路径信息112可能不准确。
车辆路径引导设备基于驾驶车道信息校正车辆路径信息112。如在图1A中所示，当车辆的驾驶车道是第一车道L1时，车辆路径引导设备将车辆的当前位置校正为第一车道L1，并将车辆路径信息112校正为起点是第一车道L1的校正的车辆路径信息113。如此，车辆路径引导设备通过基于驾驶车道信息校正车辆路径信息的起点来增加校正的车辆路径信息113的横向精度。
图1B示出基于车辆路径引导方法显示车辆路径的平视显示器(HUD)120的示例。
参照图1B，车辆路径引导设备视觉地提供车辆路径信息。车辆路径引导设备在挡风玻璃130上而不是在终端上显示车辆路径信息。当车辆路径信息被投射在挡风玻璃130上时，在维持驾驶视点的同时，用户获取车辆路径信息。车辆路径引导设备使用挡风玻璃130以防止用户的注意力转移，并减少由用户经历的认知负担，使得用户驾驶车辆更加方便和安全。
例如，车辆路径引导设备使用HUD 120将车辆路径信息投射到挡风玻璃上。例如，HUD 120是设置在用户的注视点之上的用于投射图像的装置。HUD120在挡风玻璃130面对驾驶座的区域上显示交通信息或车辆的驾驶信息，从而使用户的眼睛的运动最小化。为了用户的方便，HUD 120的投射区域123可朝向驾驶座偏置。
车辆路径引导设备从GPS获取车辆位置信息。从GPS获取的车辆位置信息通常可包括大约10米(m)的误差。
例如，车辆路径引导设备使用立体相机获取多视点图像。当多视点图像包括路口121时，车辆路径引导设备从多视点图像获取路口121的位置信息，并校正车辆路径信息。由于从车辆到路口121的距离被校正，因此车辆位置信息在纵向方向上被校正。
此外，从GPS获取的车辆路径信息可能在横向上不准确。参照图1B，在一个示例中，车辆的当前位置在第一车道与第二车道之间。车辆路径引导设备基于预设参考计算最优路径，并在挡风玻璃130上显示车辆路径信息124。因为车辆的当前位置是不准确的，所以车辆路径信息124的起点可能不准确。
车辆路径引导设备分析车辆的多视点图像，并确定驾驶车道。车辆路径引导设备基于驾驶车道的位置信息校正车辆路径信息124。驾驶车道被确定为第一车道，因此，车辆路径信息124的起点被校正为第一车道。因此，车辆路径信息124被校正为校正的车辆路径信息125。通过基于驾驶车道的位置信息校正车辆路径信息124的处理，校正的车辆路径信息125在横向方向上实现车道级精度。
图2示出车辆路径引导方法的示例。
参照图2，在操作201中，车辆路径引导设备基于使用第一传感器数据确定的车辆位置信息，产生用于将车辆引导到车辆将要被驾驶的路径的车辆路径信息。例如，第一传感器包括惯性测量单元(IMU)或卫星导航系统。卫星导航系统还被称为全球定位系统(GPS)或GPS传感器。第一传感器数据指示从GPS或IMU获取的原始数据。基于第一传感器数据确定的车辆位置信息具有与道路级对应的精度。车辆路径引导设备基于目的地信息和可能相对不准确的车辆位置信息计算基于预设参考的最优路径。
在操作203中，车辆路径引导设备基于车辆的周围图像确定车辆正在行驶的驾驶车道。周围图像包括多视点图像。车辆路径引导设备从多视点图像获取车辆的距离信息，将距离信息与车道的位置信息进行组合，并分析车道。基于分析车道的结果，确定车辆的驾驶车道。
在操作205中，车辆路径引导设备基于确定的驾驶车道的位置信息来校正车辆路径信息。因为车道在基于第一传感器数据确定的车辆位置信息中不是可区分的，所以确定的车辆位置信息可能不具有与车道级对应的精度。车辆路径引导设备通过基于驾驶车道的位置信息校正车辆的当前位置来将车辆位置信息的精度增加到车道级。由于车辆位置信息的精度的增加，车辆路径信息的精度也增加。
在操作207中，车辆路径引导设备显示校正的车辆路径信息。例如，车辆路径引导设备使用图1A的下视显示器或图1B的HUD。车辆路径引导设备同时通过视觉输出和听觉输出提供导航服务。例如，车辆路径引导设备在显示车辆路径信息的同时使用语音输出与车辆路径信息对应的内容。
图3示出车辆路径引导方法的另一示例。
车辆路径引导设备基于车辆位置信息产生车辆路径信息，并基于车道分析结果横向地校正车辆路径信息。车辆路径引导设备产生包括校正的车辆路径信息的三维(3D)引导信息。车辆路径引导设备显示3D引导信息。
车辆路径引导设备基于使用第一传感器数据确定的车辆位置信息产生用于将车辆引导到车辆将要被驾驶的路径的车辆路径引导信息。此外，车辆路径引导设备从多视点图像提取车辆的距离信息，并在产生车辆路径信息之前纵向地校正车辆位置信息。
如在图3中所示，在操作303中，车辆路径引导设备接收用于产生车辆路径信息的第一传感器数据。第一传感器数据包括从IMU或GPS获取的原始数据(raw data)。GPS是使用周期性地轨道运动的卫星获取目标的位置的系统。车辆路径引导设备通过从卫星接收特定频率来接收原始数据，其中，在车辆位置处可与卫星通信。
在操作304，车辆路径引导设备基于第一传感器数据获取车辆位置信息。车辆路径引导设备使用GPS获取车辆位置信息。
将由车辆路径引导设备使用的民用卫星导航系统的精度最大大约是10m，最小是从30m开始或更小。与弯曲道路相比，GPS的误差在直线道路上增加。当应用GPS时，车辆路径引导设备识别车辆所在的道路。因此，当仅使用GPS时，车辆道路引导设备具有道路级精度。由车道标志确定的车道通常具有大约3m到3.6m之间的宽度。由于车道的宽度小于4m，因此车辆路径引导设备可能无法使用GPS准确地获取车辆所在的车道。
车辆路径引导设备基于从IMU接收的第一传感器数据校正车辆位置信息，以增加车辆路径信息的精度。IMU包括针对彼此垂直的三个轴的陀螺仪传感器和加速度传感器，以测量运动车辆的惯性量。车辆路径引导设备使用IMU测量车辆的速度和运动方向。车辆路径引导设备基于车辆的速度和运动方向来校正从GPS获取的车辆位置信息。例如，当车辆穿过GPS不可用的隧道时，车辆路径引导设备基于最近期的车辆位置信息来计算车辆的速度和运动方向，从而在隧道中获取车辆位置信息。
车辆路径引导设备使用车辆的周围图像来纵向地校正车辆位置信息以增加精度。周围图像包括在方向方面的前方图像和在图像的类型方面的多视点图像，但周围图像不限于这些事例。因此，包括将用于校正车辆位置信息的信息的所有图像可以是可适用的。
仍参照图3，在操作305中，车辆路径引导设备获取多视点图像。例如，使用立体相机获得多视点图像。例如，车辆路径引导设备使用两个立体相机在不同的视点获取左图像和右图像。例如，立体相机还可被称为多视点相机。
车辆路径引导设备使用车辆周围的环境的多视点图像来执行视觉驾驶距离测量(例如，视觉测程法(VO))。VO方案指示使用图像来测量车辆与捕获的目标之间的距离的方案。车辆路径引导设备通过立体匹配来检测左图像和右图像的与3D空间上的单个点对应的匹配点。例如，车辆路径引导设备通过基于区域的匹配、基于特征的匹配和基于能量的匹配来执行立体匹配。
车辆路径引导设备基于检测的匹配点之间的差异来提取深度信息。深度信息与车辆和捕获的目标之间的距离相关联。车辆路径引导设备使用立体相机的内部参数和外部参数计算与目标被捕获的视点对应的立体相机的视角、姿态和位置。
参照图3，在操作306中，车辆路径引导设备从车辆的周围图像提取车辆的距离信息。车辆路径引导设备基于与立体相机在车辆中的位置有关的信息(例如，立体相机的视角、姿态和位置)来计算车辆的距离信息。在这个示例中，车辆的距离信息与车辆和捕获的目标之间的相对距离相关联。此外，车辆路径引导设备通过分析车辆随时间的距离信息来计算包括车辆的行驶量或旋转量的驾驶信息。车辆的驾驶信息与相对行驶量或相对旋转量相关联。
在操作320中，车辆路径引导设备基于车辆的驾驶信息或距离信息校正从GPS获取的车辆位置信息。当多视点图像包括前方图像时，车辆的距离信息与纵向方向相关联，因此，车辆位置信息在纵向方向上被校正。当在操作320中执行纵向校正时，校正的车辆位置信息在操作321中被输出，校正的车辆位置信息是操作310的输入。由于纵向校正在必要时执行，因此当未在操作320中执行纵向校正时，在操作304中从第一传感器数据提取的车辆位置信息是操作321的输出和操作310的输入。
仍参照图3，在操作310中，车辆路径引导设备基于2D地图301和在操作311中输出的车辆位置信息来产生车辆路径信息。车辆路径引导设备在操作311中产生2D地图的车辆路径信息。
获取车辆位置信息和目的地以及产生车辆路径信息需要用于获取车辆的绝对坐标的地图。因此，2D地图或3D地图被应用于车辆导航系统。使用3D地图，与获取车辆的位置有关的精度增加，并且车辆路径信息被提供有增强的现实性。然而，3D地图难于构建并且难于使用3D地图操作导航服务，因此当与2D地图相比，需要更大量的资源。
2D地图比3D地图更易于构建。此外，2D地图由地图服务提供商广泛使用，因此，2D地图具有相对高的稳定性。通过使用2D地图，车辆路径引导设备可降低用于构建3D地图的成本，并且与使用3D地图相比，可使用更少量的资源来操作导航服务。
在操作313中，车辆路径引导设备将2D地图的车辆路径信息转换为3D地图的车辆路径信息。车辆路径引导设备将车辆路径信息转换为驾驶视点的3D图像。在这样的处理中，2D地图被转换为3D地图。在这个示例中，3D地图不是基于传统方法构建的地图。3D地图用于与车道模型匹配。为了与车道模型匹配，将包括在2D地图中的特征点集进行三维转换。此外，可能不需要将整个2D地图转换为3D地图。2D地图的与距车辆的预定范围(例如，距离)对应的选择的部分可被转换为3D地图。车辆路径引导设备将2D地图或2D地图的选择的部分转换为3D地图，并将2D地图的车辆路径信息或2D地图的选择的部分的车辆路径信息转换为3D地图的车辆路径信息。执行这样的3D转换处理以通过将车辆路径信息映射到现实图像来提供增强现实。在这个示例中，车道模型包括3D车道模型。车道模型还被匹配到2D地图。
车辆路径引导设备基于车道位置信息校正车辆路径信息以增加车辆路径信息的精度，这可对应于操作304的横向校正。如在图3中所示，在操作307中，车辆路径引导设备接收用于在操作304中执行的横向校正的第二传感器数据。第二传感器数据包括从无线电检测和测距(RADAR)传感器或光线检测和测距(LiDAR)传感器接收的原始数据。
车辆路径引导设备使用RADAR传感器将电磁波辐射到车辆前方的目标，并接收从目标反射的信号，从而获取速度、方向和距车道的距离。车辆路径引导设备通过使用RADAR传感器获取车道而不用考虑天气情况，并且还获取在相对长的距离内的车道。
车辆路径引导设备使用LiDAR传感器将激光辐射到车辆前方的目标，并接收从目标反射的信号，从而获取速度、方向和距车道的距离。车辆路径引导设备使用作为具有高能量密度和短周期的脉冲信号的激光，从而更准确地获取速度、方向和距车道的距离。
在操作308中，车辆路径引导设备基于第二传感器数据获取车道位置信息。车辆路径引导设备通过对从RADAR传感器或LiDAR传感器接收的数据执行图像处理来检测车道。车辆路径引导设备通过预处理第二传感器数据来去除噪声，并区分检测区域与背景区域。车辆路径引导设备从检测区域提取特征点。车辆路径引导设备使用提取的特征点检测车道并获取车道位置信息。
在操作330中，车辆路径引导设备基于车辆的周围图像分析车道。例如，在操作331中，车辆路径引导设备基于车道位置信息和从多视点图像获取的车辆的距离信息来三维地分析车道。在操作333中，车辆路径引导设备基于在操作331中分析车道的结果来产生车道模型，并在车道模型中确定驾驶车道。车辆路径引导设备从基于速度、方向和距车道的距离检测的车道来确定车辆的驾驶车道。车辆路径引导设备基于车道位置信息和多视点图像来对车辆周围的车道进行三维地建模。
在操作340中，车辆路径引导设备基于确定的驾驶车道的位置横向校正车辆路径信息。基于第一传感器数据获取的位置信息具有道路级精度，并且可能不具有车道级精度。当横向校正被执行时，横向精度增加，因此，横向精度处于车道级。可通过基于包括在道路中的车道之中的车辆的驾驶车道的位置调节车辆位置信息来增加横向精度。
在操作350中，车辆路径引导设备产生包括校正的车辆路径信息的3D引导信息。例如，3D引导信息包括包含与驾驶视点的前方图像匹配的方向的指示的引导信息。3D引导信息包括驾驶信息(例如，车辆的速度、发动机的转数和燃料状态)。3D引导信息包括交通信息(例如，速度限制、减速带的存在和距驾驶设施(诸如，收费站或加油站)的距离)。例如，除了上述信息之外，3D引导信息还包括与天气情况、时间和公共设施(诸如，医院、银行或商场)有关的信息。例如，通过图形(诸如，箭头、图标和文本)来指示3D引导信息。3D引导信息额外包括基于视觉信息的听觉信息。
图4A示出在车辆路径引导方法中的纵向校正的示例。
参照图4A，车辆路径引导设备在操作303中从GPS接收第一传感器数据，并在操作304中计算车辆位置信息。车辆路径引导设备在操作305中从立体相机获取多视点图像，并通过执行对多视点图像的图像处理来提取车辆的距离信息。
在操作320中，车辆路径引导设备基于车辆的距离信息纵向地校正车辆位置信息。车辆路径引导设备在操作421中执行第一纵向校正，并在操作425中执行第二纵向校正。车辆路径引导设备通过操作425补偿在操作421中出现的累积误差。
在操作421中，车辆路径引导设备基于车辆的驾驶信息或距离信息来校正车辆位置信息。车辆路径引导设备在产生地图时校正车辆位置信息。车辆路径引导设备基于距离信息或驾驶信息来产生附近地图。车辆路径引导设备将车辆位置信息与附近地图进行比较。车辆路径引导设备基于将车辆位置信息与附近地图进行比较的结果来校正车辆位置信息。
例如，车辆路径引导设备通过视觉同步定位与映射(SLAM)来计算车辆的距离信息。视觉SLAM是将产生周围环境的3D地图的处理与获取自身位置的处理互补地执行的位置检测方案。车辆路径引导设备在获取车辆的位置时使用视觉SLAM以产生车辆周围的环境的3D地图。车辆周围的环境的3D地图还被称为附近地图。车辆路径引导设备基于从卫星导航系统获取的车辆位置信息使用从多视点图像计算的车辆的距离信息来产生附近地图。车辆路径引导设备使用附近地图来校正车辆位置信息。车辆路径引导设备通过重复前述处理来增加车辆位置信息的精度。
在操作423中，车辆路径引导设备在多视点图像中检测是否存在路口。当不存在路口时，在操作321中，车辆路径引导设备输出在纵向方向上执行了第一校正的车辆位置信息。当检测到路口时，在操作321中，车辆路径引导设备输出执行了第二校正的车辆位置信息。
当检测到路口时，在操作425中，车辆路径引导设备基于路口的位置信息来校正车辆位置信息以增加车辆位置信息的精度。当车辆靠近路口行驶时，车辆路径引导设备从车辆周围的环境的多视点图像检测路口。车辆路径引导设备对多视点图像执行立体匹配并提取包括路口的区域的深度信息。车辆路径引导设备基于深度信息计算车辆与路口之间的距离。
车辆路径引导设备将从卫星导航系统获取的车辆和路口之间的距离与使用多视点图像计算的距离进行比较，并基于将从卫星导航系统获取的车辆和路口之间的距离与使用多视点图像计算的距离进行比较的结果来校正车辆位置信息。例如，车辆路径引导设备将用作卫星导航系统的参考的2D地图上的路口与通过视觉SLAM产生的车辆周围的环境的3D地图上表示的路口进行匹配。
车辆路径引导设备还基于驾驶路径上的地标的位置信息校正车辆位置信息而不使用路口的位置信息。例如，当在2D地图上表示的建筑从多视点图像被检测到时，车辆路径引导设备通过将检测到的建筑与2D地图进行匹配来校正车辆位置信息。此外，当在2D地图上表示的道路形状从通过视觉SLAM产生的车辆周围的环境的3D地图被检测到时，车辆路径引导设备通过将检测到的道路形状与2D地图进行匹配来校正车辆位置信息。地标还被称为路点(way point)或兴趣点(POI)。
当车辆正在行驶而前方图像从车辆被捕获时，前方图像的序列被产生，纵向信息将通过视觉测程法大量产生。车辆路径引导设备基于车辆与车辆前方的捕获的目标之间的距离信息来计算车辆的平移运动和旋转运动，并在纵向方向上校正车辆位置信息。基于视觉测程法校正车辆位置信息不限于在纵向方向上被执行，因此，还在横向方向上被执行。例如，当使用立体相机在车辆的纵向方向上捕获图像时，通过视觉测程法计算的车辆的距离信息可基于横向方向。
图4B在纵向方向上校正的车辆位置信息的示例。
参照图4B，车辆路径引导设备从与不同的视点对应的立体相机接收第一视点图像431和第二视点图像(未示出)。第一视点图像431和第二视点图像被包括在多视点图像中。
车辆路径引导设备通过对多视点图像执行立体匹配来提取匹配点。车辆路径引导设备基于匹配点获取深度信息。车辆路径引导设备基于与捕获条件相关联的参数将深度信息转换为距离信息。
车辆路径引导设备使用训练的识别器提取与道路相关联的距离信息433。训练的识别器基于大量的学习数据被训练为提取与道路相关联的距离信息。车辆路径引导设备通过连接与道路相关联的距离信息的项来产生车辆周围的道路的地图435。
车辆路径引导设备从地图435检测路口。车辆路径引导设备检测最靠近车辆的路口或位于距车辆预定距离内的路口。当检测到的路口的数量增加时，校正车辆位置信息的精度也增加。在这个示例中，可能需要增加地图435的范围，因此，将要使用的资源量也会增加。车辆路径引导设备从预设的精度和有限的资源量选择适于实时导航服务的参考。
图5A示出在车辆路径引导方法中的横向校正的示例。
参照图5A，在操作535中，车辆路径引导设备接收车道模型和驾驶车道的位置信息。通过分析从周围图像提取的车辆距离信息和从通过RADAR传感器或LiDAR传感器接收的第二传感器数据提取的车道位置信息来获取车道模型和驾驶车道的位置信息。车道模型具有足以从3D道路模型识别道路上的车道的精度。
在操作340中，车辆路径引导设备校正车辆路径信息。车辆路径信息在被校正之前可具有足以识别道路的精度。由于车道模型和驾驶车道的位置信息是与布置在道路的横向方向上的车道相关联的位置信息，因此车辆路径引导设备使用车道模型和驾驶车道的位置信息，以在横向方向上增加车辆路径信息的精度。
在操作541中，车辆路径引导设备将车辆路径信息与基于周围图像产生的车道模型进行匹配。车道模型可以是去除了与周围环境相关的信息以减少数据量的车道模型。车辆路径信息基于3D地图被提供。3D地图通过基于2D地图执行的转换被获得，而不是使用激光扫描器或相机被自动获得。此外，3D地图通过基于来自包括在2D地图中的信息的与车道模型进行匹配所需的信息执行的转换被获得。因此，该3D地图在尺寸上比使用激光扫描器或相机获得的3D地图更小。车辆路径引导设备将3D地图上的道路与车道模型的道路进行匹配。
在一个示例中，车道路径信息还基于2D地图被提供。在这个示例中，车道模型包括2D车道模型，车辆路径引导设备将车道模型与基于2D地图提供的车辆路径信息进行匹配。车辆路径引导设备将匹配结果转换为与驾驶的视点对应的3D地图以提供增强现实。
在操作543中，车辆路径引导设备基于驾驶车道相对于车道模型的位置来校正车道路径信息。车道位置信息基于车道模型被提供。车辆路径信息基于3D地图被提供。响应于车道模型的道路与3D地图的道路之间的匹配，车辆路径信息基于驾驶车道的位置信息被校正。车辆路径引导设备使用车道模型中的驾驶车道的相对位置来校正3D地图上的车辆路径信息。
车辆路径引导设备在操作515中输出校正的车辆路径信息。车辆路径引导设备从校正的车辆路径信息提取与从车辆的当前位置到后续结点的路径有关的信息。车辆路径引导设备通过处理提取的信息来产生3D引导信息。例如，3D引导信息包括到后续结点的驾驶时间、距离和方向。此外，例如，3D引导信息包括应用于后续结点的路上的速度限制、后续结点的路上的减速带和距驾驶设施(诸如，收费站或加油站)的距离。
图5B示出在横向方向上校正的车辆位置信息的和基于校正的车辆位置信息校正的车辆路径信息的示例。
参照图5B，视图551表示映射到与用户的驾驶视点对应的前方图像的车道模型。车道模型包括车道和道路的边界。车道模型可不包括背景(诸如，路边树和建筑)。此外，车道模型可不包括除了车道以外的交通信息(诸如，人行横道)。
在图5B中，视图552表示通过基于对基于2D地图确定的车辆路径信息执行的转换获得的与2D地图转换到的3D地图对应的3D车辆路径信息。3D地图通过使用车道模型匹配所需的特征点对2D地图执行的转换被获得。视图552的车辆路径信息是通过基于驾驶视点执行的转换获得的3D信息。
仍参照图5B，视图553表示在视图551与视图552之间进行匹配的结果。车辆路径引导设备将视图551的车道模型与视图552的道路进行匹配。车辆路径引导设备基于3D地图上的道路与车辆路径信息之间的关系来映射视图553的车辆路径信息561与车道模型。车道模型包括驾驶车道563。
再参照图5B，视图554表示通过基于车道模型中的驾驶车道563的位置信息校正车辆路径信息获得的车辆路径信息565。车辆路径信息561基于具有道路级精度的第一传感器数据被确定，因此，车辆路径信息561不具有车道级精度。车辆路径引导设备基于车道模型和驾驶车道563的位置信息将车辆路径信息561校正为车辆路径信息565。通过这样，车辆路径信息在横向方向上实现车道级精度。
图5C示出在车辆路径引导方法中在横向方向上校正的车辆路径信息的示例。
视图571表示映射到与驾驶视点对应的现实图像的车辆路径信息。在这个示例中，车辆路径信息具有道路级精度，因此，车辆路径引导设备可能无法确定路径581、路径582和路径583来识别车道。
视图573表示映射到与驾驶视点对应的现实图像的车辆路径信息。在这个示例中，车辆路径信息具有车道级精度。车辆路径引导设备基于驾驶车道的位置信息从在具有道路级精度的车辆路径信息中可用的路径581、路径582和路径583确定路径584。车辆路径引导设备使用路径584以将车辆路径信息校正为具有车道级精度。
图6示出车辆路径引导设备600的示例。
参照图6，车辆路径引导设备600包括处理器610、GPS传感器630和多视点相机650。在一个示例中，车辆路径引导设备600包括处理器610以及输入和输出(I/O)接口，其中，I/O接口被配置为通过I/O接口从外部GPS传感器接收第一传感器数据，并通过I/O接口从外部多视点相机接收多视点图像。
在一个示例中，车辆路径引导设备600还包括惯性传感器640作为第一传感器。惯性传感器640还可被称为IMU。在一个示例中，车辆路径引导设备600还包括LiDAR传感器660或RADAR传感器670作为第二传感器。在一个示例中，车辆路径引导设备600还包括存储器620和输出装置。输出装置包括平视显示器或下视显示器作为视觉输出装置，并包括扬声器作为音频输出装置。
存储器620存储与将由处理器610执行的操作对应的指令。存储器620存储在执行车辆路径引导方法时产生的数据。例如，存储器620存储第一传感器数据、从第一传感器数据提取的车辆位置信息、多视点图像、从多视点图像提取的车辆距离信息、第二传感器数据、从第二传感器数据提取的车辆位置信息、2D地图和/或通过执行车道分析产生的车道模型。
处理器610根据基于第一传感器数据确定的车辆位置信息产生用于引导车辆将要被驾驶的路径的车辆路径信息。处理器610使用从GPS传感器630接收的第一传感器数据来计算车辆位置信息。处理器610使用从惯性传感器640接收的第一传感器数据来校正车辆位置信息，以增加车辆位置信息的精度。
处理器610从车辆的周围图像提取车辆的距离信息。当周围图像是多视点图像时，处理器610基于车辆的距离信息来校正车辆位置信息。处理器610对具有不同视点的两个图像执行立体匹配以提取深度信息，并计算车辆的距离信息。处理器610基于车辆的距离信息校正车辆位置信息。
周围图像包括前方图像。当路口出现在车辆的前方图像中时，处理器610从车辆的周围图像检测路口。当检测到路口时，处理器610基于检测到的路口的位置信息来校正车辆位置信息。处理器610基于校正的位置信息产生路径信息。如此，车辆位置信息基于车辆的距离信息或路口的位置信息被纵向校正。
处理器610基于目的地信息和在2D地图上校正的车辆位置信息来计算与当前参考对应的最优路径。处理器610将2D地图的车辆路径信息转换为3D地图的车辆路径信息。
处理器610基于车辆的周围图像来确定车辆正在行驶的驾驶车道。处理器610使用利用车辆的周围图像产生的车道模型和基于第二传感器数据确定的位置信息来确定驾驶车道。
处理器610校正基于确定的驾驶车道的位置产生的车辆路径信息。处理器610将车辆路径信息与基于周围图像产生的车道模型进行匹配。这里，例如，车辆路径信息是已被转换为3D形式的车辆路径信息。处理器610基于驾驶车道相对于车道模型的位置来校正车辆路径信息。通过这种操作，车辆路径信息实现横向方向上的精度。
处理器610通过输出装置输出校正的车辆路径信息。处理器610在平视显示器或下视显示器上显示校正的车辆路径信息，和/或通过扬声器输出校正的车辆路径信息。
通过被配置为执行在本申请中描述的由硬件组件所执行的操作的硬件组件来实现执行在本申请中描述的操作的在图6中的处理器610、存储器620、GPS传感器630、惯性传感器640、多视点相机650、LiDAR传感器660和RADAR传感器670。可用于执行在本申请中描述的操作的硬件组件的示例在适当情况下包括：控制器、传感器、产生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器和被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，执行在本申请中描述的操作的一个或多个硬件组件通过计算硬件(例如，通过一个或多个处理器或计算机)来实现。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元)、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编辑门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合，来实现处理器或计算机。在一个示例中，处理器或计算机包括或被连接到，存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算器实现的硬件组件可执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)，以执行在本申请中描述的操作。硬件组件还可响应于指令或软件的执行，访问、操纵、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述中，但在其他示例中，可使用多个处理器或多个计算机，或者一个处理器或一个计算机可包括多个处理元件或多种类型的处理元件或者两者。例如，可通过单个处理器或者两个或更多个处理器或者一个处理器和一个控制器，来实现单个硬件组件或者两个或更多个硬件组件。可通过一个或多个处理器或者一个处理器和一个控制器，来实现一个或多个硬件组件，并且可通过一个或多个其他处理器、或者另一处理器和另一控制器，来实现一个或多个其他硬件组件。一个或多个处理器、或者一个处理器和一个控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有多个不同的处理配置中的任意一个，不同的处理配置的示例包括：单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
通过计算硬件(例如，通过一个或多个处理器或计算机)来执行在图1A、图1B、图2、图3、图4A、图4B和图5A至图5C中所示的执行在本申请中描述的操作的方法，其中，计算硬件被实现为如上所述地执行指令或软件，以执行在本申请中描述的由所述方法所执行的操作。例如，单个操作或者两个或更多个操作可通过单处理器或者两个或更多个处理器或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器或者一个处理器和一个控制器来执行，且一个或多个其他操作可通过一个或多个其他处理器或者另一处理器和另一控制器来执行。一个或多个处理器或者一个处理器和一个控制器可执行单个操作、或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可被写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或配置一个或多个处理器或计算机作为用于执行由硬件组件执行的操作和如上所述的方法的机器或专用计算机进行操作。在一个示例中，指令或软件包括直接由一个或多个处理器或计算机执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及说明书中的相应描述使用任意编程语言编写指令或软件，其中，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联的数据、数据文件以及数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、和任何其他设备，该任何其他设备被配置为以非暂时方式存储指令或软件、以及任何相关联的数据、数据文件以及数据结构，并向一个或多个处理器或计算机提供指令或软件、以及任何相关联的数据、数据文件以及数据结构，以便一个或多个处理器或计算机能够执行指令。在一个示例中，指令或软件、以及任何相关联的数据、数据文件以及数据结构分布在联网的计算机系统上，以便指令和软件、以及任何相关联的数据、数据文件以及数据结构被一个或多个处理器或计算机以分布式方式存储、访问和执行。
尽管本公开包括特定示例，但是在在理解本申请的公开后将清楚的是，不脱离权利要求和它们的等同物的精神和范围的情况下，可对这些示例做出形式和细节上的各种改变。在此描述的示例被认为仅是描述性的，而非为了限制的目的。在每一示例中的特征或方面的描述将被认为适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果在描述的系统、架构、装置、或电路中的组件以不同的方式组合，和/或被其他组件或它们的等同物代替或补充，则可实现合适的结果。因此，公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为被包括在本公开中。

Claims (18)

1.一种车辆路径引导方法，包括：
基于使用第一传感器数据确定的车辆的位置信息，产生用于将车辆引导到车辆将要被驾驶的路径的车辆路径信息；
基于车辆的周围图像，确定车辆正在行驶的驾驶车道；
基于确定的驾驶车道的位置，校正产生的车辆路径信息；
显示校正的车辆路径信息，
其中，车辆路径信息包括匹配驾驶视点的前方图像的方向的指示并且车辆路径信息通过图形被指示，
其中，产生车辆路径信息的步骤包括：
产生二维地图的车辆路径信息；
基于来自包括在二维地图中的信息的与车道模型进行匹配所需的信息，将二维地图转换为三维地图；
基于转换二维地图的结果，将二维地图的车辆路径信息转换为三维地图的车辆路径信息，
其中，确定驾驶车道的步骤包括：产生车道模型，
其中，产生车道模型的步骤包括：
从车辆的周围图像提取车辆的距离信息；
基于车辆的距离信息和使用第二传感器数据确定的车道的位置信息，产生车道模型，
其中，校正产生的车辆路径信息的步骤包括：
将车辆路径信息与车道模型进行匹配；
基于与车道模型对应的驾驶车道的位置，校正车辆路径信息。
2.如权利要求1所述的车辆路径引导方法，其中，产生车辆路径信息的步骤包括：
在车辆的周围图像中检测路口；
基于检测的路口的位置信息，校正车辆的位置信息；
基于校正的车辆的位置信息，产生车辆路径信息。
3.如权利要求2所述的车辆路径引导方法，其中，检测路口的步骤包括：
从车辆的周围图像提取车辆的距离信息；
基于车辆的距离信息产生附近地图；
使用附近地图检测路口。
4.如权利要求1所述的车辆路径引导方法，其中，产生车辆路径信息的步骤包括：
从车辆的周围图像提取车辆的距离信息；
基于车辆的距离信息校正车辆的位置信息。
5.如权利要求4所述的车辆路径引导方法，其中，校正车辆的位置信息的步骤包括：
基于车辆的距离信息产生附近地图；
将附近地图与车辆的位置信息进行比较；
基于比较结果校正车辆的位置信息。
6.如权利要求1所述的车辆路径引导方法，其中，确定驾驶车道的步骤包括：
基于车道模型确定驾驶车道。
7.如权利要求6所述的车辆路径引导方法，其中，第二传感器数据从光线检测与测距LiDAR传感器或无线电检测与测距RADAR传感器被获取。
8.如权利要求1所述的车辆路径引导方法，其中，第一传感器数据从惯性测量单元IMU或全球定位系统GPS被获取。
9.一种非暂时性计算机可读存储介质，存储指令，当所述指令由处理器执行时，使处理器执行如权利要求1所述的车辆路径引导方法。
10.一种车辆路径引导设备，包括：
处理器，被配置为：
基于使用第一传感器数据确定的车辆的位置信息，产生用于将车辆引导到车辆将要被驾驶的路径的车辆路径信息；
基于车辆的周围图像，确定车辆正在行驶的驾驶车道；
基于确定的驾驶车道的位置，校正产生的车辆路径信息；
显示校正的车辆路径信息，
其中，车辆路径信息包括匹配驾驶视点的前方图像的方向的指示并且车辆路径信息通过图形被指示，
其中，处理器还被配置为：
从车辆的周围图像提取车辆的距离信息；
基于车辆的距离信息和使用第二传感器数据确定的车道的位置信息，产生车道模型；
产生二维地图的车辆路径信息；
基于来自包括在二维地图中的信息的与车道模型进行匹配所需的信息，将二维地图转换为三维地图；
基于转换二维地图的结果，将二维地图的车辆路径信息转换为三维地图的车辆路径信息；
将车辆路径信息与车道模型进行匹配；
基于与车道模型对应的驾驶车道的位置，校正车辆路径信息。
11.如权利要求10所述的车辆路径引导设备，其中，处理器还被配置为：
在车辆的周围图像中检测路口；
基于检测的路口的位置信息，校正车辆的位置信息；
基于校正的车辆的位置信息，产生车辆路径信息。
12.如权利要求10所述的车辆路径引导设备，其中，处理器还被配置为：
从车辆的周围图像提取车辆的距离信息；
基于车辆的距离信息校正车辆的位置信息。
13.如权利要求10所述的车辆路径引导设备，还包括：
惯性测量单元IMU或全球定位系统GPS，被配置为获取第一传感器数据。
14.如权利要求10所述的车辆路径引导设备，其中，处理器还被配置为：基于根据车辆的周围图像和使用第二传感器数据确定的车道的位置信息产生的车道模型，确定驾驶车道。
15.如权利要求14所述的车辆路径引导设备，还包括：
光线检测与测距LiDAR传感器或无线电检测与测距RADAR传感器，被配置为获取第二传感器数据。
16.一种车辆路径引导方法，包括：
使用全球定位系统GPS数据，确定车辆的位置信息；
基于确定的车辆的位置信息，产生用于将车辆引导到驾驶路径的车辆路径信息，其中，车辆路径信息具有道路级精度；
基于车辆的图像，确定车辆正在行驶的驾驶车道；
基于确定的驾驶车道的位置，校正产生的车辆路径信息；
通过显示器和扬声器中的任一个或两者，输出校正的车辆路径信息，
其中，车辆路径信息包括匹配驾驶视点的前方图像的方向的指示并且车辆路径信息通过图形被指示，
其中，产生车辆路径信息的步骤包括：
产生二维地图的车辆路径信息；
基于来自包括在二维地图中的信息的与车道模型进行匹配所需的信息，将二维地图转换为三维地图；
基于转换二维地图的结果，将二维地图的车辆路径信息转换为三维地图的车辆路径信息，
其中，确定驾驶车道的步骤包括：产生车道模型，
其中，产生车道模型的步骤包括：
从车辆的周围图像提取车辆的距离信息；
基于车辆的距离信息和使用第二传感器数据确定的车道的位置信息，产生车道模型，
其中，校正产生的车辆路径信息的步骤包括：
将车辆路径信息与车道模型进行匹配；
基于与车道模型对应的驾驶车道的位置，校正车辆路径信息。
17.如权利要求16所述的车辆路径引导方法，其中，车辆的图像包括多视点图像。
18.如权利要求17所述的车辆路径引导方法，还包括：
在多视点图像中检测路口；
基于车辆与路口之间的距离，校正车辆的位置信息。
CN201710748145.3A 2017-01-26 2017-08-28 车辆路径引导设备和方法 Active CN108362295B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170012864A KR102695518B1 (ko) 2017-01-26 2017-01-26 차량 경로 가이드 방법 및 장치
KR10-2017-0012864 2017-01-26

Publications (2)

Publication Number Publication Date
CN108362295A CN108362295A (zh) 2018-08-03
CN108362295B true CN108362295B (zh) 2023-08-01

Family

ID=59856356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710748145.3A Active CN108362295B (zh) 2017-01-26 2017-08-28 车辆路径引导设备和方法

Country Status (4)

Country Link
US (1) US10900793B2 (zh)
EP (2) EP3355029A1 (zh)
KR (1) KR102695518B1 (zh)
CN (1) CN108362295B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
CN108235725B (zh) * 2018-02-26 2021-08-10 达闼机器人有限公司 基于云端的轨迹地图生成方法、装置、设备及应用程序
US11014532B2 (en) * 2018-05-14 2021-05-25 Gentex Corporation Vehicle control module for smart home control system
CN112400193B (zh) * 2018-07-11 2023-11-14 日产自动车株式会社 行驶环境信息的生成方法、驾驶控制方法、行驶环境信息生成装置
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
KR102231775B1 (ko) * 2019-07-08 2021-03-25 네이버랩스 주식회사 차선 변경 가능 여부의 알림을 제공하는 방법 및 시스템
JP7209746B2 (ja) * 2018-09-06 2023-01-20 グーグル エルエルシー マッピングアプリケーションにおいてパーソナル化ランドマークを表示すること
US10573183B1 (en) 2018-09-27 2020-02-25 Phiar Technologies, Inc. Mobile real-time driving safety systems and methods
US11448518B2 (en) * 2018-09-27 2022-09-20 Phiar Technologies, Inc. Augmented reality navigational overlay
US10495476B1 (en) 2018-09-27 2019-12-03 Phiar Technologies, Inc. Augmented reality navigation systems and methods
KR102483649B1 (ko) * 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
US10488215B1 (en) * 2018-10-26 2019-11-26 Phiar Technologies, Inc. Augmented reality interface for navigation assistance
JP7211047B2 (ja) * 2018-12-04 2023-01-24 株式会社アイシン 路面検出装置および路面検出プログラム
WO2020123531A1 (en) * 2018-12-11 2020-06-18 SafeAI, Inc. Techniques for kinematic and dynamic behavior estimation in autonomous vehicles
JP7223226B2 (ja) * 2019-01-08 2023-02-16 日本電信電話株式会社 設置候補提示方法、設置候補提示装置及びプログラム
JP7063316B2 (ja) * 2019-02-14 2022-05-09 株式会社デンソー 表示制御装置及び表示制御プログラム
CN109931945B (zh) * 2019-04-02 2021-07-06 百度在线网络技术（北京）有限公司 Ar导航方法、装置、设备和存储介质
JP7063303B2 (ja) * 2019-04-23 2022-05-09 株式会社デンソー 車両用装置、車両用プログラムおよび記憶媒体
EP3742329A1 (en) * 2019-05-20 2020-11-25 Visteon Global Technologies, Inc. Lane tracking in three dimensions using digital terrain model
CN110191412B (zh) * 2019-05-22 2021-01-26 象翌微链科技发展有限公司 一种修正车辆行驶路线信息的方法、一种车载终端
DE102019207951B4 (de) * 2019-05-29 2022-06-30 Volkswagen Aktiengesellschaft Verfahren zum Durchführen einer Korrektur der Fahrtrichtung durch ein Fahrerassistenzsystem in einem Kraftfahrzeug sowie eine Steuervorrichtung hierzu
KR20200140527A (ko) * 2019-06-07 2020-12-16 현대자동차주식회사 자율주행차량의 위치 인식 장치 및 그 방법
US10871377B1 (en) 2019-08-08 2020-12-22 Phiar Technologies, Inc. Computer-vision based positioning for augmented reality navigation
USD956067S1 (en) * 2019-12-17 2022-06-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN111207769A (zh) * 2020-01-15 2020-05-29 北京小马慧行科技有限公司 车道级别的导航方法、装置、存储介质和处理器
US20230055708A1 (en) * 2020-02-05 2023-02-23 Lg Electronics Inc. Route provision apparatus and route provision method therefor
WO2021161671A1 (ja) * 2020-02-14 2021-08-19 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理システム及び情報処理装置
CN111693059B (zh) * 2020-05-28 2022-10-11 阿波罗智联(北京)科技有限公司 环岛的导航方法、装置、设备及存储介质
US12073332B2 (en) 2020-08-20 2024-08-27 Toyota Motor Engineering & Manufacturing North America, Inc. Rest stop recommendation system
USD1036453S1 (en) * 2020-08-27 2024-07-23 Mobileye Vision Technologies Ltd. Display screen with graphical user interface
US11833901B2 (en) * 2020-10-12 2023-12-05 GM Global Technology Operations LLC System and method for adjusting a location and distortion of an image projected onto a windshield of a vehicle by a head-up display
US11348064B1 (en) * 2021-08-12 2022-05-31 Airspace Technologies, Inc. System and methods for alternate path generation
US11748696B2 (en) 2021-08-12 2023-09-05 Airspace Technologies, Inc. System and methods for alternate path generation
CN114212088B (zh) * 2021-11-22 2024-02-20 北京罗克维尔斯科技有限公司 车辆控制方法、装置、电子设备、车辆及存储介质
CN114646320B (zh) * 2022-02-09 2023-04-28 江苏泽景汽车电子股份有限公司 一种路径引导方法、装置、电子设备及可读存储介质
CN114923492A (zh) * 2022-04-22 2022-08-19 中国第一汽车股份有限公司 定位信息确定方法、装置、电子设备及存储介质
US12014555B2 (en) * 2022-11-07 2024-06-18 Plusai, Inc. Vehicle localization based on lane templates
CN115950441B (zh) * 2023-03-08 2023-07-07 智道网联科技(北京)有限公司 自动驾驶车辆的融合定位方法、装置及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
JP2006189325A (ja) * 2005-01-06 2006-07-20 Aisin Aw Co Ltd 車両の現在地情報管理装置
DE102006010478A1 (de) * 2006-03-07 2007-09-13 Robert Bosch Gmbh Verfahren und Anordnung zur Anzeige von Navigationshinweisen
KR101085390B1 (ko) 2008-04-30 2011-11-21 주식회사 코아로직 3ｄ 네비게이션을 위한 영상표현 방법, 장치 및 그 장치를포함한 모바일 장치
JP5327025B2 (ja) * 2009-12-03 2013-10-30 アイシン・エィ・ダブリュ株式会社 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
KR101612822B1 (ko) 2011-08-05 2016-04-15 엘지전자 주식회사 차선 인식 장치 및 그 방법
CN102322869A (zh) * 2011-08-24 2012-01-18 深圳市凯立德科技股份有限公司 一种投影式车载导航显示方法、装置及系统
EP2775261B1 (en) 2013-03-04 2019-06-12 Harman Becker Automotive Systems GmbH Route guidance at intersections
WO2014166532A1 (en) 2013-04-10 2014-10-16 Harman Becker Automotive Systems Gmbh Navigation system and method of determining a vehicle position
KR101558353B1 (ko) 2013-09-26 2015-10-07 현대자동차 주식회사 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
US9384394B2 (en) 2013-10-31 2016-07-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
US9721471B2 (en) * 2014-12-16 2017-08-01 Here Global B.V. Learning lanes from radar data
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
US9880263B2 (en) * 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
KR20170012859A (ko) 2015-07-24 2017-02-03 엘에스전선 주식회사 비할로겐계 난연성 폴리올레핀 가교 절연 전선

Also Published As

Publication number Publication date
KR102695518B1 (ko) 2024-08-14
CN108362295A (zh) 2018-08-03
US20180209802A1 (en) 2018-07-26
US10900793B2 (en) 2021-01-26
KR20180088149A (ko) 2018-08-03
EP4016003A2 (en) 2022-06-22
EP4016003A3 (en) 2022-09-14
EP3355029A1 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
CN108362295B (zh) 车辆路径引导设备和方法
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
US20220214174A1 (en) Methods and Systems for Generating and Using Localization Reference Data
EP3519770B1 (en) Methods and systems for generating and using localisation reference data
US10240934B2 (en) Method and system for determining a position relative to a digital map
CN107328410B (zh) 用于定位自动驾驶车辆的方法和汽车电脑
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
JP7010535B2 (ja) 情報処理装置
JP2010151658A (ja) 移動体位置測定装置及び移動体位置測定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant