CN110945320B - 车辆定位方法和系统 - Google Patents

车辆定位方法和系统 Download PDF

Info

Publication number
CN110945320B
CN110945320B CN201780093396.0A CN201780093396A CN110945320B CN 110945320 B CN110945320 B CN 110945320B CN 201780093396 A CN201780093396 A CN 201780093396A CN 110945320 B CN110945320 B CN 110945320B
Authority
CN
China
Prior art keywords
vehicle
overhead view
image
images
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780093396.0A
Other languages
English (en)
Other versions
CN110945320A (zh
Inventor
穆赫辛·鲁哈尼
张松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN110945320A publication Critical patent/CN110945320A/zh
Application granted granted Critical
Publication of CN110945320B publication Critical patent/CN110945320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车辆定位方法和系统。表示该车辆环境的感测数据是从至少一个传感器中接收到的。该环境的俯视图图像是从表示该车辆环境的感测数据中生成的。使用多个先前捕获的俯视图图像中的一个与生成的俯视图和该感测数据相匹配的俯视图来确定车辆定位。生成包括该车辆定位在内的输出。

Description

车辆定位方法和系统
交叉引用
本专利申请要求在2017年07月20日提交申请号为15/655,349、发明名称为《车辆定位方法和系统》的美国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及车辆驾驶辅助和车辆自动化的方法和系统，具体地，涉及车辆定位方法、设备和系统。
背景技术
增强驾驶员和自动驾驶车辆意识和安全性的车辆驾驶辅助提高了驾驶的安全性和便利性。车辆定位是这些应用软件中的一个重要方面举例来说，自动驾驶车辆需要知道道路将能够留在道路内的何处，且需要知道特定车道将能够留在车道内的何处。
发明内容
本公开的一个方面提供了一种车辆定位方法。表示车辆环境的感测数据是从至少一个传感器中接收的。所述环境的俯视图图像是从表示所述车辆环境的所述感测数据中生成的。使用多个先前捕获的俯视图图像中的一个与生成的俯视图和所述感测数据相匹配的俯视图来确定车辆定位。生成包括所述车辆定位在内的输出。
本公开的另一方面提供了一种针对车辆的车辆控制系统。所述车辆控制系统包括处理器、用于感测车辆环境且耦合于所述处理器的至少一个传感器以及耦合于所述处理器的存储器。所述存储器存储可执行指令，当所述可执行指令被所述处理器执行时，使得所述车辆控制系统执行车辆定位方法。表示所述车辆环境的感测数据是从所述至少一个传感器中接收的。所述环境的俯视图图像是从表示所述车辆环境的所述感测数据中生成的。使用多个先前捕获的俯视图图像中的一个与生成的俯视图和所述感测数据相匹配的俯视图来确定车辆定位。生成包括所述车辆定位在内的输出。
本公开的另一方面提供了一种车辆，所述车辆包括用于移动所述车辆的机械系统、耦合于所述机械系统以控制所述机械系统的驱动器控制系统以及耦合于所述驱动器控制系统的车辆控制系统。所述车辆控制系统包括处理器，用于感测车辆环境且耦合于所述处理器的至少一个传感器以及耦合于所述处理器的存储器。所述存储器存储可执行指令，当所述可执行指令被所述处理器执行时，使得所述车辆控制系统执行车辆定位方法。表示所述车辆环境的感测数据是从所述至少一个传感器中接收的。所述环境的俯视图图像是从表示所述车辆环境的所述感测数据中生成的。使用多个先前捕获的俯视图图像中的一个与生成的俯视图和所述感测数据相匹配的俯视图来确定车辆定位。生成包括所述车辆定位在内的输出。
本公开的又一个方面，提供一种非瞬时性机器可读介质，其具有有形地存储于其上的可执行指令，由针对车辆的车辆控制系统的处理器执行。当所述可执行指令被所述处理器执行时，使得所述车辆控制系统执行车辆定位方法。表示车辆环境的感测数据是从至少一个传感器中接收的。所述环境的俯视图图像是从表示所述车辆环境的所述感测数据中生成的。使用多个先前捕获的俯视图图像中的一个与生成的俯视图和所述感测数据相匹配的俯视图来确定车辆定位。生成包括所述车辆定位在内的输出。
附图说明
图1是本公开一示例性实施例提供的一种车辆定位系统的示意图。
图2是体现图1的车辆定位系统的一种车辆控制系统的方块图。
图3是展示由图1的车辆定位系统生成的俯视图的示意图。
图4是本公开一示例性实施例提供的由图1的车辆定位系统生成的一个车辆定位图像的示例性俯视图。
图5是本公开一示例性实施例提供的描绘车辆定位的一个示例性方法的流程图。
具体实施方式
本公开参考附图实行，附图中示出了实施例。然而，由于可以使用许多不同的实施例，因此本说明书不应被理解为受限于本文中所给出的实施例。确切地说，提供这些实施例是为了使得本发明变得透彻且完整。在整个过程中，相同数字指代相同元件，且角分符号用于指示在替代实施例中的相似元件、操作或步骤。所描绘的系统和设备的功能元件的单独方框或描绘的分离未必需要此类功能的物理分离，因为此类元件之间的通信可借助于消息传递、功能调用、共享内存空间等而发生，而无需任何此类物理分离。所以，尽管在本文中，为便于解释，分别说明了功能，但是功能不需要在物理上或逻辑上分离的平台中实施。不同的设备可以有不同的设计，因此，尽管一些设备以固定功能硬件实施了一些功能，但是其它设备可以以具有从机器可读媒体获得的代码的可编程处理器实施此类功能。
为方便起见，本公开结合机动车辆，如汽车、卡车、公共汽车、船、飞机、仓库装置、建筑装置、拖拉机或其它农耕装置，描述了定位方法和系统的示例性实施例。本公开的教示内容不限于任何特定类型的车辆，且可应用于不承载乘客的车辆以及承载乘客的车辆。本公开的教示内容还可实施于非车辆移动机器人中，其包括但不限于自动真空吸尘器、漫游者和割草机。
图1是根据本公开一示例性实施例的一种展示车辆定位系统100的选定组件的示意图。该车辆定位系统100是内嵌于车辆105的车辆控制系统115的一部分。该车辆控制系统115耦合于该车辆105的驱动控制系统和机械系统，描述如下。在其它实施例中，该车辆定位系统100可以是指定系统。该车辆控制系统115使得该车辆105可操作于完全自动、半自动或用户完全控制的模式下。
该车辆定位系统100包括位于该车辆105周围的多个传感器110，以及各自耦合于该车辆控制系统115的控制器的一个或多个无线收发器130。该多个传感器110包括数码相机112、LIDAR单元114、合成孔径雷达(synthetic aperture radar，SAR)单元116、惯性测量单元(inertial measurement unit，IMU)118，以及电子指南针119。当处于活动状态时，该传感器110反复地(例如，在有规律的间隔下)感测信息并且为该车辆控制系统115实时或近实时地提供包括该车辆定位系统100在内的感测信息。
该相机112可以捕获包括一系列连续帧的静态图像或视频。该相机112可以是2D(two-dimensional，2D)相机或可以感测该车辆105周围环境的深度和三维结构的立体或3D(three-dimensional，3D)相机。该相机112可以捕获可见光、红外光，或这两者。该IMU 118使用加速计和陀螺仪的组合感测车辆的特定力和角速率。替代地，LIDAR单元114、SAR单元116，以及IMU 118中的一个或多个可用于感测该车辆105周围的环境的三维结构。
通过该传感器110，该车辆定位系统100可以收集关于该车辆105本地环境的信息(例如，任何紧邻的周围障碍物)以及来自较宽附近的信息(例如，该LIDAR单元114和SAR单元116可从该车辆105周围高达100m半径的区域收集信息)。该车辆定位系统100还可通过该IMU 118收集关于该车辆105的位置和方向的信息。通过该IMU 118和其它传感器，该车辆控制系统115确定该车辆105的线速度(例如里程表)、角速度、加速度和轮胎抓地力，以及其它因素。
在示出的实施例中，有4个传感器单元125分别位于该车辆105的前侧、后侧、左侧和右侧。在其它实施例中，该传感器单元125的数量和位置可能不同。举例来说，在另一个实施例中，该传感器单元125可位于该车辆105的顶部且在固定或旋转圆盘传送带或其它壳体内。该传感器单元125可包括相机112、LIDAR单元114和SAR单元116中的一个或任意组合。安装或以其它方式定位该传感器单元125，以具有邻近传感器单元125之间的不同视野(fields of view，FOV)，以捕获该车辆105周围的环境。不同的FOV可以是重叠的。
该无线收发器130使得该车辆控制系统115能够与无线广域网(wide areanetwork，WAN)交换数据并且可选地进行语音通信。该车辆定位系统100可以通过一个或多个通信网络220如因特网，使用该无线WAN 210接入服务器240，例如驾驶辅助服务器。该服务器240可被实施为一个或多个服务器模块，并且通常位于防火墙230的后面。该服务器240与图像资源连接，如一个或多个图像数据库250。该图像数据库250可物理地位于本地或远离服务器240。该图像资料库250包括多个俯视图图像(也被称为鸟瞰视图图像)。在其它实施例中，该图像资源可以是从一个或多个第三方图像数据库或业务(如谷歌地图TM图像或谷歌地球TM图像)中搜索和提取图像的图像业务。
储存于该图像数据库250中的多个俯视图图像是航拍图像。该航拍图像可以是2D图像、3D图像，或其组合。该航拍图像可以是由数码相机捕获的数字照片、由LIDAR单元捕获的LIDAR图像、或由卫星、飞机、航拍无人机或其它适合方式承载的SAR单元捕获的SAR图像中的一个或组合该航拍图像是由卫星、飞机、航拍无人机或其它合适的方法，或其组合捕获的图像。图像资源可能是非常规的，因为图像是在停车场、桥梁、隧道，或用于获取航拍图像的飞机和常规设备无法行进的其它区域所捕获的。此类图像可通过用户的航拍无人机等众包来获取。
该服务器240或图像数据库250可包括描述和识别该航拍图像的图像注册表。该图像注册表可包括该图像数据库250中的每一图像的记录。每个记录可包括识别各自航拍图像的图像标识符(image identifier，ID)，可选地，识别由图像或其范围捕获的位置的位置信息(例如，经纬度)，以及可选地，来自先前对图像执行的图像和/或目标识别分析的图像特征。
该车辆定位系统100还包括卫星接收器132。该车辆定位系统100可以使用由该卫星接收器132从卫星网络260中的多个卫星接收到的信号来确定其定位。该卫星网络260通常包括多个卫星，其至少一个全球导航卫星系统(Global Navigation Satellite System，GNSS)的一部分，该全球导航卫星系统提供具有全球覆盖范围的自动地理空间定位。举例来说，该卫星网络260可以是GNSS卫星的群集。实例GNSS包括美国NAVSTAR全球定位系统(Global Positioning System，GPS)或者俄罗斯全球导航卫星系统(Global NavigationSatellite System，GLONASS)。已经部署或正在开发的其它卫星导航系统包括欧洲伽利略定位系统、中国北斗导航卫星系统(BeiDou Navigation Satellite System，BDS)、印度区域卫星导航系统，以及日本卫星导航系统。
接下来参考图2，图2描绘了根据本公开一示例性实施例的车辆控制系统115的选定组件。处理器120通过在该组件和该处理器120之间提供通信路径的通信总线(未图示)耦合于多个组件。该处理器120耦合于驱动控制系统150、随机存取存储器(Random AccessMemory，RAM)122、只读存储器(Read Only Memory，ROM)124、永久性(非易失性)存储器126如闪存可擦除可编程只读存储器(erasable programmable read only memory，EPROM)、用于与无线网络210交换射频信号的一个或多个无线收发器130、用于从卫星网络260接收卫星信号的卫星接收器132，该卫星网络260包括多个卫星，该多个卫星是全球或地区卫星导航系统的一部分、实时时钟(real-time clock，RTC)134，以及触摸屏136。
该无线收发器130可包括用于通过不同的无线数据通信协议和标准与多个不同的无线电接入网络(例如蜂窝式网络)通信的一个或多个蜂窝式(RF)收发器。该车辆定位系统100可以在其地理覆盖区域内与无线WAN 210(例如蜂窝式网络)的多个固定收发器基站(其中一个示出在图1)中的任一个通信。移动收发器可以发送和接收该无线WAN 210上的信号。该无线收发器130可包括支持多个射频波段的多频段蜂窝式收发器。
该无线收发器130还可包括用于通过WLAN接入点(access point，AP)与WLAN(目前表明)通信的无线局域网(wireless local area network，WLAN)收发器。该WLAN可包括符合IEEE 802.11x标准(有时被称作
Figure GDA0003205542800000041
)或其它通信协议的Wi-Fi无线网络。
该无线收发器130还可包括用于与例如智能电话或平板电脑等移动计算设备通信的短程无线收发器，如
Figure GDA0003205542800000042
收发器。该无线收发器130还可包括其它短程无线收发器，其它短程无线收发器包括但不限于近场通信(Near field communication，NFC)、IEEE802.15.3a(也被称作超宽带(UltraWideband，UWB))、Z波、ZigBee、ANT/ANT+或红外光(例如，红外数据协会(Infrared Data Association，IrDA)通信)。
RTC 134是一种即使移动收发器处于深睡模式，也能自行运行的低功率子系统。RTC 134通常包括提供准确实时信息的晶体振荡器，例如由爱特梅尔公司提供的那些。
触摸屏136包括具有连接至电子控制器的触敏式输入表面或覆层的显示器，例如彩色液晶显示器(liquid crystal display，LCD)、发光二极管(light-emitting diode，ED)显示器，或有源矩阵有机发光二极管(active-matrix organic light-emittingdiode，AMOLED)显示器。还可提供耦合于该处理器120的额外输入装置(未图示)，其包括按钮、交换器和拨号盘。
该车辆控制系统115还包括一个或多个扬声器138、一个或多个麦克风140，以及一个或多个数据端口142，例如串行数据端口(如通用串行总线(Universal Serial Bus，USB)数据端口)。该系统还可包括其它传感器，例如轮胎压力传感器(tire pressure sensor，TPS)、车门接触交换器、光传感器、接近传感器等。
该车辆控制系统115还包括用以控制车辆105移动的驱动控制系统150。该驱动控制系统150包括转向单元152、制动单元154，以及节流单元156，其中的每一个都可以被实施为该驱动控制系统150内的软件模块或控制块。当处于完全或半自动驾驶模式时，该转向单元152、制动单元154，以及节流单元156处理从路径规划系统(未图示)接收到的已接收路径信息，且生成控制信号以控制车辆105的转向、制动和节流，从而分别驱动规划的路径。该驱动控制系统150可包括额外组件，用以控制该车辆105的其他方面，包括例如转向信号和刹车灯的控制。
该机械系统190从驱动控制系统115接收控制信号，以操作该车辆105的机械组件。该机械系统190影响该车辆105的物理操作。该机械系统190包括发动机192、变速器194，以及车轮196。举例来说，该发动机192可以是汽油供电发动机、电池供电发动机或混合发动机。其它组件可包括于该机械系统190中，该机械系统190包括例如转向信号、刹车灯、风扇和窗户。
通过该处理器120在触摸屏136上渲染并显示该车辆控制系统115的图形用户接口(graphical user interface，GUI)。用户可以使用该触摸屏和可选地其他输入装置(例如按钮，拨号盘)与该GUI交互以显示相关信息，例如导航信息、驾驶信息、停车信息、媒体播放器信息、气候控制信息等。该GUI可包括一系列可横穿的特定内容菜单。
存储器126具有存储在其上的由处理器120执行的操作系统软件160，以及除GUI之外的多个应用软件162。该应用软件162包括用于完全或半自动驾驶的车辆定位164、驾驶辅助166、停车辅助168，以及自动驾驶170。其他应用软件如地图绘制、导航、气候控制、媒体播放器、电话，以及消息传递应用软件等也都存储于存储器中。当被所述处理器执行时，该车辆定位164使得方法500的操作能够执行。
存储器126还存储有各种各样的数据180该数据180可包括传感器110感测的传感器数据182、包括用户喜好、设置以及可选地个人媒体文件(例如音乐、视频、方向等)的用户数据184，以及包括通过无线收发器130下载的数据(例如从图像资料库250下载的俯视图图像)的下载缓存186。该下载缓存186可以被定期删除，例如预定量的时间之后。系统软件、软件模块、特定设备应用软件，或其部件可以临时加载到易变存储中，如RAM 122，其用于存储运行时间数据变量和其它类型的数据或信息。由该车辆控制系统115接收的数据还可储存于该RAM 122中。尽管特定功能是针对各种类型的存储器而描述的，但这仅为一个实例，而且还可以使用不同的分配方式将功能分配到各类存储器。
现在参考图5，图5描绘了根据本公开一实施例的一种车辆定位方法500的流程图。举例来说，被该车辆控制系统115的处理器120执行的软件可以实行该方法500。用于实行该方法500的软件的编码在提供本公开的本领域的普通技术人员的范围内。该方法500可含有与所展示和/或所描述相比，额外或更少的过程，且可按不同顺序执行。可由处理器120执行以执行该方法500的机器可读代码可存储在非瞬时性机器可读介质中，例如该车辆控制系统115的存储器126。
在操作502，表示该车辆105环境的数据由多个传感器单元125获取，安装或以其它方式定位该多个传感器单元125，以具有邻近传感器单元125之间的不同FOV，以捕获该车辆105周围的环境。该不同FOV可以叠加。在一些实例中，有4个传感器单元125分别位于该车辆105的前侧、后侧、左侧和右侧，用以感测分别位于该车辆105的前侧、后侧、左侧和右侧的环境的数据。替代地，可使用安装的可旋转360度(例如，在旋转圆盘传送带中)以捕获该车辆105周围的环境的单个传感器单元125，而不是多个传感器单元125。
多个传感器单元125包括每个相机112，每个相机112分别捕获来自车辆105的前侧、后侧、左侧和右侧的视图的四个图像。该传感器单元125还可包括除相机112之外或代替相机112的LIDAR单元114和/或SAR单元116。该相机112可以是感测该车辆105周围环境的深度和三维结构的立体或3D相机。该相机112可以捕获可见光、红外光，或这两者。
在操作504，由处理器120使用由该相机112捕获的至少4个图像生成该环境中的车辆105的俯视图图像(也被称作鸟瞰视图)。俯视图图像生成技术是此项技术中已知的且将不在本文中详细描述。通常，俯视图图像生成包括：使用相对于该车辆105的水平面(例如，车辆框架)的该相机112的图像平面的角度变换(例如，旋转和缩放)图像，将经过变换的图像投影到2D平面上，分析该图像以使用图像和/或目标识别技术识别共同特征，以及拼接(例如，组合)该图像以形成合成图像。由不同相机112捕获的重叠的FOV可通过寻找具有重叠的FOV的不同图像中的共同特征来辅助拼接操作，以用于在拼接时对准图像。
当该车辆105在运动中，连续帧(例如，视频)被捕获时，该车辆105的运动可用于检测该图像的深度和该环境的3D结构，以生成更真实的俯视图。替代地，来自立体或3D相机的3D图像、其它传感器数据182，如IMU数据、LIDAR数据和SAR数据，或其任何组合可用于检测该环境的3D结构以生成更真实的俯视图。当传感器单元125包括立体或3D相机、LIDAR单元114和/或SAR单元116时，生成的俯视图图像可以是3D图像。当该相机112捕获红外光时，该生成的俯视图图像可以是红外图像。
图3描绘了一个示例性俯视图图像300。图像片段305、310、315和320分别表示在俯视图图像生成过程期间经过变换的该车辆105的前侧、后侧、左侧和右侧的视图。图像的中央330表示任一相机112未捕获的盲区。
在操作506，确定该车辆105的地理位置。该操作506为可选的操作。在其他实施例中，该操作506可以省略。在一些示例中，使用卫星接收器132确定该地理位置。在其他实例中，通过使用一个或多个无线收发器130和从无线WAN 210(例如，蜂窝塔)中的节点接收的信息经过三角测量来确定该地理位置。在又其它实例中，可以从来自日历应用软件、消息传递应用软件或其它装置的数据，或来自日历应用软件、消息传递应用软件或其它装置的数据的组合来确定地理位置。在又其它实例中，可以从最后已知的地理位置确定该地理位置，举例来说，该最后已知的地理位置可以存储于存储在存储器126中的用户数据184中。该最后已知的地理位置可以是先前使用卫星接收器132、三角测量或其它装置确定的地理位置。该地理位置可以以如小数度数(decimal degree，DD)、度分秒(degree minute second，DMS)或度十进制分(degree decimal minute，DDM)的形式定义经纬度。
在操作508，将生成的俯视图图像和预先存在的俯视图参考，例如，先前捕获的俯视图图像(如上文所描述的，也被称为航拍图像)进行比较，以使该生成的俯视图图像和先前捕获的俯视图图像匹配。先前捕获的俯视图图像可以存储于一个或多个俯视图图像资源中，如可通过无线收发器130经由通信网络220(例如，因特网)接入的图像数据库250。替代地，图像资源可以是本地存储于存储器126中的图像数据库。
图像资源可包括不同类型的图像，如可见光图像、红外光图像、2D图像和3D图像。当图像资源包括不同类型的图像时，比较与生成的俯视图图像相同类型的俯视图图像。举例来说，当生成的俯视图图像是3D图像时，其所比较的多个先前捕获的俯视图图像也是3D图像。对于另一实例，当生成的俯视图图像是红外图像时，其所比较的多个先前捕获的俯视图图像也是红外图像。
多个俯视图图像中的俯视图图像可以与识别相应俯视图图像所捕获的位置的位置信息有关。该位置信息可以存储于相应的图像文件内的元数据中。当图像被捕获时，该位置信息可以是在图像文件中确定和编码的GNSS数据(例如GPS数据)。该位置信息可指定识别相应俯视图图像捕获的位置的经纬度，或识别相应俯视图图像捕获的位置的经纬度的范围方面的特定位置。可以以DD、DMS或DDM的形式定义经纬度。
当在操作506中确定车辆105的地理位置时，与生成的俯视图比较的多个俯视图图像是与生成的俯视图图像相同类型的图像的子集，即，可使用预先存在的俯视图参考的地理部分。通过比较该车辆105确定的地理位置和与多个俯视图图像有关的位置信息并匹配来筛选(或选择)图像资源中的多个俯视图图像。根据快速地理位置确定对待分析的俯视图图像进行滤波会显著地减少待分析的图像的数目，由此减少处理时间并且提高待执行的图像分析的效率。
当位置信息在确定的地理位置的阈值距离内时，可确定该地理位置以与一个或多个俯视图图像资源中的多个俯视图图像有关的位置信息相匹配。在一些实例中，所述阈值距离小于20米。在一些实例中，所述阈值距离小于10米。在一些实例中，所述阈值距离小于5米。在一些实例中，所述阈值距离小于2米。在一些实例中，所述阈值距离小于1米。
操作508中使用了图像和/或目标识别技术，以此来识别感测数据(例如相机、LIDAR和/或SAR图像)中的图像特征。举例来说，LIDAR和SAR数据可与相机112捕获的图像组合使用，以识别相机图像中的特征，从而识别车辆105周围的环境中的特征。可由车辆控制系统115(例如，由处理器120)通过图像/目标识别应用软件或系统(未图示)或一个或多个远程装置，例如，可经由一个或多个无线收发器130经由通信网络(例如，因特网)接入的一个或多个服务器240)部分或完全地执行图像和/或目标识别技术。通过该一个或多个服务器240可以更高效地执行操作508。当其被该一个或多个服务器240执行时，该车辆控制系统115可以发送来自操作506的生成的俯视图图像和可选地确定的地理位置信息给一个或多个图像分析服务器，并且作为响应而接收匹配俯视图图像。替代地，该车辆控制系统115可以发送从传感器单元125捕获的图像(例如，相机、LIDAR和/或SAR图像)给图像分析服务器以生成俯视图图像以及确定匹配俯视图图像。
在图像和/或目标识别中，可以使用各种各样的算法分析生成的俯视图图像，以识别图像特征、图像特征的尺寸，以及图像特征的位置和/或定位(方向)。生成的俯视图图像中的图像特征可以被识别为多个可识别目标(例如，树、建筑物、桥梁、道路、车辆、柱/柱形件、路缘、街道标牌、车道、红灯等)、形状、线路、纹理、图案或其它不同特征，或其组合中的一个。然后，可以将生成的俯视图图像的分析结果与多个俯视图图像进行比较，以识别出与生成的俯视图最相似的俯视图图像。
可以以与如何提高分析生成的俯视图的效率相似的方式事先分析一个或多个俯视图图像资源中的多个俯视图图像。可在对应图像文件中或在描述和识别一个或多个俯视图图像资源中的多个俯视图图像的图像注册表中的对应记录中的元数据中对所得信息进行编码。替代地，可以基于识别的图像特征、图像特征的尺寸，以及生成的俯视图图像内的特征位置和/或定位实时分析多个俯视图图像。
在已经比较所有的待比较图像之后，可将与生成的俯视图最相似的俯视图图像确定为匹配的俯视图图像。替代地，可将超出可信度阈值的俯视图图像确定为匹配俯视图图像，例如，经识别超出可信度阈值的第一识别俯视图图像。可信度阈值可基于图像之间相似度的测量表达为百分比，例如，其可基于像素到像素比较或其它基础。可信度阈值可配置以提供图像/目标识别分析的准确性与速度之间的用户可配置平衡。一个示例性可信度阈值是80％。
在操作510，根据来自例如卫星接收器132、LIDAR单元114、SAR单元116、IMU 118和/或电子指南针119中的一个或多个的匹配俯视图图像和传感器数据182确定车辆定位。车辆定位可包括使用感测数据确定俯视图图像内的车辆105相对于目标(例如，在图像/目标识别分析中识别的可识别目标，如，树、建筑物、桥梁、道路、车辆、柱/柱形件、路缘、街道标牌、车道、红灯等)的位置和方向(位置)。
车辆定位包括定位信息，其可包括该车辆105的位置和驾驶方向(方向或轴承)。可以用经纬度坐标指定该位置，可以以DD、DMS或DDM的形式定义该经纬度坐标，例如，使用来自卫星接收器132的GNSS数据。该定位信息还可包括关于俯视图图像中的目标的位置信息，其可按绝对时期由经纬度坐标或相对时期指定，例如距该车辆105的距离(或距该车辆105上的多个不同参考点的距离，如传感器单元125的位置)。
在操作512，生成包括车辆定位在内的输出。通过一个或多个无线收发器130，车辆定位输出可以被发送给其他子系统或应用软件，或被传输到远程设备或业务，如车辆监测或车辆追踪业务。举例来说，驾驶辅助应用软件166、停车辅助应用软件168、自动驾驶应用软件170、制图应用软件或导航应用软件中的一个或多个可以处理确定的车辆定位，以生成基于确定的车辆定位的衍生数据，随后，其可显示于触摸屏136上。举例而言，该衍生数据可以是驾驶辅助应用软件166生成的驾驶指令(例如备份指令)、停车辅助应用软件168生成的停车指令、完全或半自动驾驶应用软件170生成的路径方案或驱动信号、制图应用软件生成的具有车辆定位的增强型地图，或者导航应用软件生成的方向。
该车辆定位可以显示在触摸屏136上。举例来说，可通过制图应用软件或导航应用软件在触摸屏136上显示该车辆定位和匹配俯视图图像。该车辆105的图形表示可覆盖在匹配俯视图图像上作为车辆定位的图示。图4是车辆定位系统100生成的一个车辆定位图像400的示例性俯视图，其中汽车410的图形表示在一个位置覆盖匹配俯视图图像，且处于与确定的车辆定位对应的位置(方向)。
本公开提供一种车辆定位方法。本公开教示基于感测数据使用视觉处理来生成俯视图图像和使用生成的俯视图来使用先前捕获的航拍图像来执行车辆定位的方法和系统。举例而言，GPS本身对于需要高精度和可靠性的本地化应用软件如自动停车和自动驾驶来说是不够的，这可能需要按照分米顺序的精度。本说明书中公开的方法的一个潜在优点在于可以更快并且更准确地执行车辆定位。
本说明书中公开的方法的其他潜在优点在于：与替代方法相比，可以更轻易地从大量来源中获得航拍地图，相对快速且容易地使用卫星、飞机或无人机捕获和更新，以及其它可能性，且可具有改进的质量和准确性(例如，使用航拍成像的不同技术)，也可以更安全地且以更低成本产生。举例来说，替代方案包括使用地面测量车辆生成地图。使此类地图和保持此类地图最新是一件困难且耗时的任务，且需要地面测量车辆频繁地行驶到每一街道。本文中所描述的方法避免了地面测量车辆的必要性，并且提供了上文所概述的其它潜在益处。
尽管前述示例主要基于生成的俯视图中的识别图像特征及先前捕获的俯视图(航拍)图像而描述图像识别，但在其它实例中，图像识别分析可基于逐像素比较。
本文所描述的流程图和附图中的步骤和/或操作都仅出于示例的目的。在不脱离本公开的教示内容的情况下，这些步骤和/或操作可存在许多变化。举例来说，可按不同顺序执行步骤，或可添加、删除或修改步骤。
本文还公开了所公开的范围内的所有值和子范围。并且，虽然本文中所公开和展示的系统、设备和流程可包括特定数目的元件/组件，但可修改系统、设备和组合件以包括额外或更少的此类元件/组件。举例来说，尽管所公开的元件/组件中的任一者可被表示为单数，但可修改本文中所公开的实施例以包括多个此类元件/组件。本文中所描述的主题意图意在覆盖并涵盖技术中所有合适的更改。
尽管就方法而言，至少部分地描述本公开，但本领域的普通技术人员会理解，本公开还针对用于执行所描述方法的至少某些方面和特征中的各种组件，其借助于硬件(DSP、ASIC或FPGA)、软件或其组合实现。相应地，本发明的技术解决方案可体现于非易失性或非瞬时性机器可读介质(例如，光盘、快闪存储器等)中，所述非易失性或非暂时性机器可读媒体具有有形地存储于其上的可执行指令，所述可执行指令使处理设备(例如，车辆控制系统)能够执行本说明书中公开的方法的示例。
在不脱离本权利要求范围的标的物的情况下，可按其它特定形式实施本公开。所描述的示例性实施例在所有方面均被视为仅说明性而非限制性的。本发明意在覆盖并涵盖技术中的所有合适的更改。因此，本公开的范围由随附权利要求范围而非由以上说明来描述。权利要求的范围不应受到在示例中阐述的实施例的限制，而应被赋予与作为整体的描述相一致的最广泛解释。

Claims (16)

1.一种车辆定位方法，其特征在于，包括：
从至少一个传感器中接收表示车辆环境的感测数据；
从所述感测数据中生成所述环境的俯视图图像；
进行图像和/或目标识别，以匹配所述生成的俯视图图像和多个预先存在的俯视图图像中的一个俯视图图像，所述多个预先存在的俯视图图像为航拍图像；
使用所述感测数据来确定所述车辆相对于所述匹配的俯视图图像内的目标的位置和方向，确定车辆定位；输出确定的车辆定位。
2.根据权利要求1所述的方法，其特征在于，进一步包括：
确定所述车辆的地理位置；
将所述多个预先存在的俯视图图像筛选到一个部分，以便在所述匹配中使用。
3.根据权利要求2所述的方法，其特征在于，筛选所述多个预先存在的俯视图图像至其包括位置信息在所述确定的地理位置的阈值距离内的所述部分。
4.根据权利要求3所述的方法，其特征在于，所述阈值距离小于20米，优选地小于10米，更优选地小于5米，还优选地小于2米，再优选地小于1米。
5.根据权利要求3所述的方法，其特征在于，所述位置信息以小数度数(decimaldegree，DD)、度分秒(degree minute second，DMS)或度十进制分(degree decimalminute，DDM)的形式定义经纬度坐标。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述数据是从位于所述车辆周围的多个传感器中接收的，其中，位于所述车辆周围的所述传感器具有邻近传感器之间的不同视野，以捕获所述车辆周围的所述环境。
7.根据权利要求6所述的方法，其特征在于，所述传感器位于所述车辆的前侧、后侧、左侧和右侧。
8.根据权利要求1至5中任一项所述的方法，其特征在于，所述传感器包括一个相机。
9.根据权利要求8所述的方法，其特征在于，所述相机是一个立体或3D(three-dimensional，3D)相机，所述相机感测所述车辆周围的所述环境的深度和三维结构，其中，所述生成的俯视图图像和所述多个预先存在的俯视图图像都是3D图像。
10.根据权利要求1至5任一项所述的方法，其特征在于，所述传感器包括LIDAR单元和/或合成孔径雷达(synthetic aperture radar，SAR)单元。
11.根据权利要求1至5中任一项所述的方法，其特征在于，进一步包括：
用覆盖所述匹配的俯视图图像的所述车辆的图形表示在显示屏上显示所述匹配的俯视图图像，且相对于所述匹配的俯视图图像，将所述车辆的图形表示定位到所述确定的车辆定位对应的位置处。
12.根据权利要求1至5中任一项所述的方法，其特征在于，进一步包括：
通过无线收发器将所述输出发送给远程设备。
13.根据权利要求1至5中任一项所述的方法，进一步包括：
通过驾驶辅助应用软件、停车辅助应用软件、完全或半自动驾驶应用软件、制图应用软件或导航应用软件中的一个或多个来处理所述确定的车辆定位，以基于所述确定的车辆定位生成衍生数据。
14.一种针对车辆的车辆控制系统，其特征在于，包括：
处理器；
用于感测车辆环境且耦合于所述处理器的至少一个传感器；
耦合于所述处理器的存储器，所述存储器存储可执行指令，当所述可执行指令被所述处理器执行时，使得电子设备：
从所述至少一个传感器中接收表示所述车辆环境的感测数据；
从表示所述车辆环境的所述感测数据中生成所述环境的俯视图图像；
进行图像和/或目标识别，以匹配所述生成的俯视图图像和多个预先存在的俯视图图像中的一个俯视图图像，所述多个预先存在的俯视图图像为航拍图像；
使用所述感测数据来确定所述车辆相对于所述匹配的俯视图图像内的目标的位置和方向，确定车辆定位；
生成包括所述车辆定位在内的输出。
15.根据权利要求14所述的车辆控制系统，其特征在于，包括多位于所述车辆周围的多个传感器，其中，位于所述车辆周围的所述传感器具有邻近传感器之间的不同视野，以捕获所述车辆周围的所述环境。
16.一种非瞬时性机器可读介质，其特征在于，其具有有形地存储于其上的可执行指令，由针对车辆的车辆控制系统的处理器执行，其中，当所述可执行指令被所述处理器执行时，使得所述车辆控制系统执行如权利要求1至13中任一权利要求所述的方法。
CN201780093396.0A 2017-07-20 2017-10-19 车辆定位方法和系统 Active CN110945320B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/655,349 US10579067B2 (en) 2017-07-20 2017-07-20 Method and system for vehicle localization
US15/655,349 2017-07-20
PCT/CN2017/106906 WO2019015150A1 (en) 2017-07-20 2017-10-19 METHOD AND SYSTEM FOR VEHICLE LOCATION

Publications (2)

Publication Number Publication Date
CN110945320A CN110945320A (zh) 2020-03-31
CN110945320B true CN110945320B (zh) 2022-05-24

Family

ID=65016502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093396.0A Active CN110945320B (zh) 2017-07-20 2017-10-19 车辆定位方法和系统

Country Status (3)

Country Link
US (1) US10579067B2 (zh)
CN (1) CN110945320B (zh)
WO (1) WO2019015150A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303103B (zh) * 2017-02-07 2020-02-07 腾讯科技（深圳）有限公司 目标车道的确定方法和装置
WO2018194270A1 (ko) * 2017-04-18 2018-10-25 엘지전자 주식회사 액세스 금지 체크를 수행하는 방법 및 장치
US10796141B1 (en) * 2017-06-16 2020-10-06 Specterras Sbf, Llc Systems and methods for capturing and processing images of animals for species identification
US20190045361A1 (en) * 2017-10-30 2019-02-07 Intel IP Corporation Secure sounding arrangement
US11428781B2 (en) * 2018-11-01 2022-08-30 Robert Bosch Gmbh System and method for radar-based localization in sparse environment
IL265818A (en) * 2019-04-02 2020-10-28 Ception Tech Ltd System and method for determining the position and orientation of an object in space
EP3966396A1 (en) * 2019-05-07 2022-03-16 Clark Equipment Company Localized navigation system controller for power machine
CN111683840B (zh) * 2019-06-26 2024-04-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
CN113816326A (zh) * 2020-06-18 2021-12-21 中国石油化工股份有限公司 用于控制加油装置的出油端的方法、装置和系统
CN112180405B (zh) * 2020-11-27 2021-02-23 北京建筑大学 一种基于gps的高山雪原地区运动人员定位及姿态确定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
CN101943579A (zh) * 2009-07-02 2011-01-12 三洋电机株式会社 图像处理装置
JP2011116206A (ja) * 2009-12-02 2011-06-16 Sanyo Electric Co Ltd 操縦支援装置
CN105676253A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
CN105698812A (zh) * 2016-01-15 2016-06-22 武汉光庭科技有限公司 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
EP1434970B1 (en) * 2001-10-09 2008-09-03 SiRF Technology, Inc. Method and system for sending location coded images over a wireless network
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
WO2009098154A1 (en) * 2008-02-04 2009-08-13 Tele Atlas North America Inc. Method for map matching with sensor detected objects
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
JPWO2009141846A1 (ja) * 2008-05-19 2011-09-22 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
JP5057183B2 (ja) * 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
EP2481637B1 (en) 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
EP2511137B1 (en) 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
TWI478833B (zh) * 2011-08-31 2015-04-01 Autoequips Tech Co Ltd 調校車用影像裝置之方法及其系統
JP5634643B2 (ja) * 2012-05-22 2014-12-03 三菱電機株式会社 画像処理装置
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
EP2879386B1 (en) * 2012-07-27 2018-01-03 Nissan Motor Co., Ltd Three-dimensional object detection device, and three-dimensional object detection method
EP2963922B1 (en) * 2013-02-28 2019-02-27 Aisin Seiki Kabushiki Kaisha Program and device for controlling vehicle
WO2014156220A1 (ja) * 2013-03-28 2014-10-02 アイシン精機株式会社 周辺監視装置、及びプログラム
CN104085395A (zh) 2013-04-01 2014-10-08 德尔福电子(苏州)有限公司 一种基于鸟瞰系统的辅助泊车方法
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
US9803985B2 (en) 2014-12-26 2017-10-31 Here Global B.V. Selecting feature geometries for localization of a device
WO2016118499A1 (en) * 2015-01-19 2016-07-28 The Regents Of The University Of Michigan Visual localization within lidar maps
JP6454554B2 (ja) * 2015-01-20 2019-01-16 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両挙動制御装置
US9547904B2 (en) * 2015-05-29 2017-01-17 Northrop Grumman Systems Corporation Cross spectral feature correlation for navigational adjustment
KR101647996B1 (ko) * 2015-05-29 2016-08-23 주식회사 케이에스에스이미지넥스트 차량의 자동 주차 방법 및 시스템
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
CN107531182B (zh) * 2015-08-27 2023-10-27 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法
US10417743B2 (en) * 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium
JP6699427B2 (ja) * 2015-11-17 2020-05-27 株式会社Ｊｖｃケンウッド 車両用表示装置および車両用表示方法
JP6477444B2 (ja) * 2015-11-25 2019-03-06 株式会社デンソー 表示制御装置及び表示制御プログラム
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US10011299B2 (en) * 2016-04-21 2018-07-03 Robert Bosch Gmbh Trailer angle detection using rear camera
US9888364B2 (en) * 2016-06-17 2018-02-06 Lightmetrics Technologies Pvt. Ltd. Localizing a smartphone in a moving vehicle
US10402675B2 (en) * 2016-08-30 2019-09-03 The Boeing Company 2D vehicle localizing using geoarcs
CN106407315B (zh) 2016-08-30 2019-08-16 长安大学 一种基于街景图像数据库的车辆自主定位方法
CN109791414A (zh) * 2016-09-26 2019-05-21 深圳市大疆创新科技有限公司 基于视觉着陆的方法和系统
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
JP6669059B2 (ja) * 2016-12-27 2020-03-18 トヨタ自動車株式会社 位置算出装置
US10430968B2 (en) * 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
JP6988200B2 (ja) * 2017-06-29 2022-01-05 株式会社デンソー 車両制御装置
US10703273B2 (en) * 2017-09-21 2020-07-07 Continental Automotive Systems, Inc. Inferred bird's eye view for trailer reverse assist
US10744941B2 (en) * 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
CN101943579A (zh) * 2009-07-02 2011-01-12 三洋电机株式会社 图像处理装置
JP2011116206A (ja) * 2009-12-02 2011-06-16 Sanyo Electric Co Ltd 操縦支援装置
CN105676253A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
CN105698812A (zh) * 2016-01-15 2016-06-22 武汉光庭科技有限公司 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法

Also Published As

Publication number Publication date
US20190025854A1 (en) 2019-01-24
US10579067B2 (en) 2020-03-03
CN110945320A (zh) 2020-03-31
WO2019015150A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
CN110945320B (zh) 车辆定位方法和系统
US10471955B2 (en) Stop sign and traffic light alert
CN112204343B (zh) 高清晰地图数据的可视化
US11527084B2 (en) Method and system for generating a bird's eye view bounding box associated with an object
CN106352867B (zh) 用于确定车辆自身位置的方法和设备
EP3343172B1 (en) Creation and use of enhanced maps
JP2020115136A (ja) 自律車両ナビゲーションのための疎な地図
CN109086277B (zh) 一种重叠区构建地图方法、系统、移动终端及存储介质
US11004224B2 (en) Generation of structured map data from vehicle sensors and camera arrays
US11815897B2 (en) Method and system for generating an importance occupancy grid map
WO2019092149A1 (en) Automatic occlusion detection in road network data
WO2019007263A1 (zh) 车载传感器的外部参数标定的方法和设备
US10928819B2 (en) Method and apparatus for comparing relevant information between sensor measurements
WO2022178738A1 (en) Method and system for generating a topological graph map
JP2019537018A (ja) 環境モデルを生成するための、および相互センサフィーチャポイント参照を用いてポジショニングするための方法およびシステム
US10916141B1 (en) System and method for generating a parking space directory
CN116710730A (zh) 使用周期性更新的锚定坐标系的车道映射和定位
CN115917255A (zh) 基于视觉的位置和转弯标记预测
US20230194301A1 (en) High fidelity anchor points for real-time mapping with mobile devices
US11908075B2 (en) Generating and filtering navigational maps
US20230242099A1 (en) Method for Vehicle Driving Assistance within Delimited Area
CN116844025A (zh) 数据处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant