CN112833887A - 具有车道估计机制的导航系统及其操作方法 - Google Patents
具有车道估计机制的导航系统及其操作方法 Download PDFInfo
- Publication number
- CN112833887A CN112833887A CN202011209276.2A CN202011209276A CN112833887A CN 112833887 A CN112833887 A CN 112833887A CN 202011209276 A CN202011209276 A CN 202011209276A CN 112833887 A CN112833887 A CN 112833887A
- Authority
- CN
- China
- Prior art keywords
- lane
- road
- vehicle
- rear view
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000007246 mechanism Effects 0.000 title description 5
- 238000004891 communication Methods 0.000 claims description 95
- 230000009466 transformation Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 description 50
- 230000006870 function Effects 0.000 description 26
- 230000007613 environmental effect Effects 0.000 description 14
- 238000013507 mapping Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000004377 microelectronic Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 101710154918 Trigger factor Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/096877—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement
- G08G1/096883—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement where input information is obtained using a mobile device, e.g. a mobile phone, a PDA
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
一种导航系统,包括:生成表示后视相机的视野的后视相机图像,该视野包括用户车辆正在其上行驶的当前道路;基于后视相机图像,生成失真调整后视图像;基于失真调整后视图像的图像像素与当前道路的车道标记的相关性,标识车道像素;基于车道像素,生成包括车道轮廓估计的道路车道模型;以及根据车道轮廓估计,计算用户车辆的车道位置。
Description
技术领域
本发明的实施例一般地涉及一种导航系统,并且更具体地涉及一种用于道路车道估计的系统。
背景技术
现代消费和工业电子产品,尤其是诸如图形导航系统、蜂窝电话以及车辆集成导航和计算系统之类的设备,正在提供越来越多的功能水平来支持现代生活,包括导航和路线引导服务。现有技术的研究和开发可以采取大量不同的方向。
当用户随着导航设备和基于车辆的导航服务的增长而变得更加强大,新的和旧的范例(paradigm)开始利用此新的设备空间。有许多技术解决方案来利用此新的设备能力来增强或扩增导航和路线引导。但是,在各种道路状况下使用车辆时,用户通常不被提供自动确定车辆车道位置的能力。
因此,在使用导航系统时,仍然需要具有道路车道估计机制的导航系统,以供操作者感知(awareness)。鉴于日益增加的商业竞争压力,以及不断增长的消费者期望以及市场上有意义的产品差异化机会的不断减少,找到这些问题的答案变得越来越关键。另外,降低成本、提高效率和性能以及满足竞争压力的需求为寻找这些问题的答案的关键必要性增加了更大的紧迫性。
已长期寻求这些问题的解决方案,但先前的发展并未教导或提出任何解决方案并且,因此,本领域技术人员仍未得到这些问题的解决方案。
发明内容
本发明的实施例提供了一种导航系统,该系统包括:通信单元,其被配置为与用户车辆的后视相机通信;以及控制单元,其被耦合到通信单元,该控制单元被配置为:生成表示后视相机的视野的后视相机图像,该视野包括用户车辆正在其上行驶的当前道路;基于后视相机图像,生成失真调整后视图像;基于失真调整后视图像的图像像素与当前道路的车道标记的相关性(correlation),标识车道像素;基于车道像素,生成包括车道轮廓估计(lane delineation estimation)的道路车道模型;以及根据车道轮廓估计,为用户车辆计算车道位置。
本发明的实施例提供了一种导航系统的操作方法,该方法包括:生成表示后视相机的视野的后视相机图像,该视野包括用户车辆正在其上行驶的当前道路;基于后视相机图像,生成失真调整后视图像;基于失真调整后视图像的图像像素与当前道路的车道标记的相关性,标识车道像素;基于车道像素,生成包括车道轮廓估计的道路车道模型;以及根据车道轮廓估计,为用户车辆计算车道位置。
本发明的实施例提供了一种非暂时性计算机可读介质,其包括可由导航系统的控制电路执行的指令,该指令包括:生成表示后视相机的视野的后视相机图像,该视野包括用户车辆正在其上行驶的当前道路;基于后视相机图像,生成失真调整后视图像;基于失真调整后视图像的图像像素与当前道路的车道标记的相关性,标识车道像素;基于车道像素,生成包括车道轮廓估计的道路车道模型;以及根据车道轮廓估计,为用户车辆计算车道位置。
除上述那些步骤或元素之外或代替上述那些步骤或元素,本发明的某些实施例具有其他步骤或元素。通过参考附图阅读下面的详细描述,这些步骤或元素对于本领域技术人员将变得清楚。
附图说明
图1是本发明的实施例中的具有车辆位置估计机制的导航系统。
图2是导航系统的道路车道模型的表示的示例。
图3是导航系统的示例性框图。
图4是导航系统的控制流程。
图5是本发明的实施例中的导航系统的操作方法的流程图。
具体实施方式
以下实施例被充分详细地描述以使本领域技术人员能够制造和使用本发明。应当理解,基于本公开,其他实施例将是清楚的,并且可以在不脱离本发明的实施例的范围的情况下做出系统、过程或机械改变。
在以下描述中,给出了许多具体细节以提供对本发明的透彻理解。然而,将清楚的是,可以在没有这些具体细节的情况下实践本发明。为了避免模糊本发明的实施例,一些众所周知的电路、系统配置和过程步骤未被详细公开。
示出系统的实施例的附图是半示意性的并且没有按比例,并且具体地,一些尺寸是为了呈现的清晰并且在附图中被夸大地示出。类似地,尽管为了便于描述,附图中的视图通常示出了相似的方向,但是在附图中的此描述在大多数情况下是任意的。通常,本发明可在任何方向操作。
根据在其中使用术语“模块”的上下文,在本发明的实施例中,本文所指的术语“模块”可以包括软件、硬件或其组合。例如,软件可以是机器代码、固件、嵌入式代码和应用软件。同样例如,硬件可以是电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微机电系统(MEMS)、无源设备或其组合。此外,如果模块被写在下面的装置权利要求部分中,则出于设备权利要求的目的和范围,这些模块被认为包括硬件电路。
实施例的以下描述中的模块可以如所描述的或如图所示彼此耦合。耦合可以是直接的或间接的,在耦合项之间分别没有或有中间项。耦合可以是物理接触或通过项之间的通信。
现在参考图1,其中示出了本发明的实施例中的具有车辆位置估计机制的导航系统100。导航系统100包括连接到第二设备106(诸如客户端或服务器)的第一设备102(诸如客户端或服务器)。第一设备102可以通过通信路径104(诸如无线或有线网络)与第二设备106通信。
例如,第一设备102可以是各种计算设备中的任何一种,诸如蜂窝电话、平板计算机、智能电话、笔记本计算机,车辆嵌入式导航系统或计算设备。第一设备102可以直接或间接耦合到通信路径104以与第二设备106通信,或者可以是独立设备。
第二设备106可以是各种集中式或分散式计算设备、传感器设备中的任何一种(诸如传感器仪器、传感器装备或传感器阵列),以用于测量或记录环境信息。例如,第二设备106可以是多媒体计算机、膝上型计算机、台式计算机、网格计算资源、虚拟化计算机资源、云计算资源、路由器、交换机、对等(peer to peer)分布式计算设备或其组合。
第二设备106可以被安装在车辆的外部或内部,集中在单个房间中或车辆内,跨不同房间分布,跨不同地理定位分布,嵌入在电信网络内。第二设备106可以与通信路径104耦合以与第一设备102通信。
出于说明的目的,以第二设备106作为计算设备来描述导航系统100,但是应当理解,第二设备106可以是不同类型的设备,诸如独立传感器或测量设备。同样出于说明的目的,以第二设备106和第一设备102作为通信路径104的端点来示出导航系统100,但是应当理解,导航系统100可以在第一设备102、第二设备106和通信路径104之间具有不同的划分。例如,第一设备102、第二设备106或其组合也可以用作通信路径104的一部分。
通信路径104可以跨越并表示各种网络和网络拓扑。例如,通信路径104可以包括无线通信、有线通信、光学、超声波或其组合。卫星通信、蜂窝通信、蓝牙、红外数据协会标准(lrDA)、无线保真(WiFi)和全球微波访问互操作性(WiMAX)是可以被包括在通信路径104中的无线通信的示例。以太网、数字用户线路(DSL)、光纤到户(FTTH)和普通老式电话服务(POTS)是可以被包括在通信路径104中的有线通信的示例。此外,通信路径104可以遍历许多网络拓扑和距离。例如,通信路径104可以包括直接连接、个人局域网(PAN)、局域网(LAN)、城域网(MAN)、广域网(WAN)或其组合。
现在参考图2,其中示出了导航系统100的道路车道模型202的表示。道路车道模型202是对道路上的车道的估计。例如,道路车道模型202可以被局部化到用户车辆212周围的地理定位。用户车辆212可以是由图1的第一设备102的系统用户(未示出)(诸如用户车辆212的乘员或操作者)占用的车辆。
道路车道模型202可以包括对道路上的车道相对于用户车辆212的定位的车道轮廓估计204。车道轮廓估计204是对于对道路上的车辆流量进行划分的车道的估计或近似。例如,道路车道模型202可以被局部化以包括对当前道路206的车道轮廓估计204,该当前道路206是用户车辆212当前正在其上行驶的道路。例如,当前道路206可以是街道、小巷、高速公路或未铺砌的道路。
通常,车道轮廓估计204可以对应于道路上的实际车道轮廓。例如,用户车辆212周围的环境中的参考对象可以被用作用于车道轮廓估计204的对准的基础。参考对象例如可以包括涂漆的车道标记、凸起的路面标记、反光的车道标记、交通路障、塔架、锥体、闪光信号灯(flares)、照明器、指示交通车道的存在的其他标记或特征或其组合。作为另一个示例,参考对象可以包括道路的物理特征,这些物理特征包括混凝土或铺砌段之间的间隙或边缘;嵌入或集成在道路上的用于手推车或缆车的金属导轨;在道路表面中的变化或道路表面之间的过渡,诸如从沥青、混凝土或铺砌的表面到通常沿道路边缘存在的砾石或未铺砌的表面;或其组合。
在一些实施例中,导航系统100可以基于从后视相机230接收的信息来生成道路车道模型202。例如,后视相机230可以被安装在用户车辆212的背部或后部,或者与用户车辆212后部的车身的一部分集成在一起。后视相机230可包括背向用户车辆212后部的视野232。作为示例,后视相机230的视野232可以包括用户车辆212当前正在其上行驶的当前道路206的一部分的视图。在一些实施例中,在使用来自后视相机230的信息时,导航系统100可以结合全球定位系统数据、包括道路特征信息的地图数据(诸如用户车辆212前面、用户车辆212后面的当前路段的车道数量)或其组合来生成道路车道模型202。有关道路车道模型202的生成细节将在下面讨论。
用户车辆212周围的环境可以包括邻近定位的车辆214。邻近定位的车辆214是邻近于用户车辆212的车辆。例如,邻近定位的车辆214可以是在用户车辆212的特定范围内或距离内的车辆。作为另一个示例,邻近定位的车辆214可以是在用户车辆212的后视相机230的视野232内的车辆。
在一些实施例中,导航系统100可以基于来自后视相机230的信息来计算关于邻近定位的车辆214的信息。关于邻近定位的车辆214的信息的示例可以包括相对定位,该相对定位是邻近定位的车辆214相对于用户车辆212的位置;相对距离,该相对距离是邻近定位的车辆214与用户车辆212之间的距离;邻近定位的车辆214的车辆轨迹,诸如邻近定位的车辆214正在行驶的主方向;邻近定位的车辆214的车辆类型,或其组合。
车辆类型是车辆的一般类别或分类。例如,车辆类型可以是车辆的一般类别,诸如自行车、电动踏板车、摩托车、汽车、卡车、运动型多用途车、厢式货车、公共汽车、休闲露营车、牵引车或建筑工程用车辆。为了进一步举例,车辆类型可以包括具体的分类,诸如应急车辆,其可以被进一步区分为警车、消防车或医疗响应车辆。
作为具体示例,图2描绘了附近的车辆表示之一,其可以是显示接口上的邻近定位的车辆214的图形表示,其中车辆类型为基于摩托车的相对定位、车道位置或其组合而在跨车道驾驶(lane splitting)或车道跨越(lane straddling)运动或移动模式下行驶的摩托车。更具体地,车道位置的跨道驾驶或车道跨越可以由摩托车的邻近车辆表示222沿着当前道路206的车道实例的边缘、在车道实例之间(或其组合)行驶而描绘。
导航系统100可以使用道路车道模型202来确定用户车辆212在当前道路206上的车道位置208。车道位置208标识当前道路206的用户车辆212所位于的车道。基于道路车道模型202来计算用户车辆212的车道位置208的细节将在下面讨论。
在一些实施例中,导航系统100可以使用道路车道模型202来操作用户车辆212。例如,导航系统100可以在用户车辆212的自主或半自主操作期间使用道路车道模型202来维持或改变车道位置208。有关用户车辆212的自主操作的细节将在下面讨论。
现在参考图3,其中示出了导航系统100的示例性框图。导航系统100可以包括第一设备102、通信路径104和第二设备106。第一设备102可以在第一设备传输308中通过通信路径104向第二设备106发送信息。第二设备106可以在第二设备传输310中通过通信路径104向第一设备102发送信息。
出于说明的目的,以第一设备102作为客户端设备来示出导航系统100,但是应当理解,导航系统100可以将第一设备102作为不同类型的设备。例如,第一设备102可以是具有显示接口的服务器。
同样出于说明的目的,以第二设备106作为服务器来示出导航系统100,但是应当理解,导航系统100可以将第二设备106作为不同类型的设备。例如,第二设备106可以是客户端设备。
为了描述简洁起见,在本发明的此实施例中,第一设备102将被描述为客户端设备,并且第二设备106将被描述为服务器设备。本发明的实施例不限于对于设备类型的进行的此选择。该选择是本发明的实施例的示例。
第一设备102可以包括第一控制单元312、第一存储单元314、第一通信单元316、第一用户接口318和定位单元320。第一控制单元312可以包括第一控制接口322。控制单元312可以执行第一软件326以提供导航系统100的智能。
第一控制单元312可以以许多不同的方式实现。例如,第一控制单元312可以是处理器、专用集成电路(ASIC)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。第一控制接口322可以用于第一控制单元312和第一设备102中的其他功能单元之间的通信。第一控制接口322也可以用于第一设备102外部的通信。
第一控制接口322可以从其他功能单元或者从外部源接收信息,或者可以将信息发送到其他功能单元或者到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。
第一控制接口322可以以不同的方式实现,并且可以包括不同的实现,这取决于哪些功能单元或外部单元正在与第一控制接口322接口。例如,第一控制接口322可以用压力传感器、惯性传感器、微机电系统(MEMS)、光学电路、波导、无线电路、有线电路或其组合来实现。
作为示例,定位单元320可以生成第一设备102的定位信息、当前前进方向(heading)和当前速度。定位单元320可以以多种方式实现。例如,定位单元320可以用作诸如GPS接收器的全球定位系统(GPS)、惯性导航系统、蜂窝塔定位系统,压力定位系统或其任何组合的至少一部分。
定位单元320可以包括定位接口332。定位接口332可以用于定位单元320与第一设备102中的其他功能单元之间的通信。定位接口332还可以用于第一设备102外部的通信。
定位接口332可以从其他功能单元或从外部源接收信息,或者可以将信息发送到其他功能单元或到外部目的地。外部源和外部目的地指物理上与第一设备102分离的源和目的地。
定位接口332可以包括不同的实现,这取决于哪些功能单元或外部单元正在与定位单元320接口。定位接口332可以用与第一控制接口322的实现类似的技术和技艺来实现。
第一存储单元314可以存储第一软件326。第一存储单元314还可以存储相关信息。例如,第一存储单元314可以存储诸如图2的道路车道模型202的信息。
第一存储单元314可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如,第一存储单元314可以是诸如非易失性随机存取存储器(NVRAM)、闪存、磁盘存储之类的非易失性存储,或者诸如静态随机存取存储器(SRAM)的易失性存储。
第一存储单元314可以包括第一存储接口324。第一存储接口324可以用于与第一设备102中的其他功能单元之间的通信。第一存储接口324还可以用于第一设备102外部的通信。
第一存储接口324可以从其他功能单元或从外部源接收信息,或者可以将信息发送到其他功能单元或到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。
第一存储接口324可以包括不同的实现,这取决于哪些功能单元或外部单元正在与第一存储单元314接口。第一存储接口324可以用与第一控制接口322的实现类似的技术和技艺来实现。
第一通信单元316可以实现去往以及来自第一设备102的外部通信。例如,第一通信单元316可以允许第一设备102与图1的第二设备106、附加装置(诸如外围设备或桌面计算机)以及通信路径104通信。
第一通信单元316还可以用作通信枢纽(communication hub),其允许第一设备102用作通信路径104的一部分,并且不限于作为通信路径104的端点或终端单元。第一通信单元316可以包括用于与通信路径104交互的有源和无源部件,诸如微电子器件或天线。
第一通信单元316可以包括第一通信接口328。第一通信接口328可以用于第一通信单元316和第一设备102中的其他功能单元之间的通信。第一通信接口328可以从其他功能单元接收信息或可以将信息发送到其他功能单元。
第一通信接口328可以包括不同的实现,这取决于哪些功能单元或外部单元正在与第一通信单元316接口。第一通信接口328可以用与第一控制接口322的实现类似的技术和技艺来实现。
第一用户接口318允许用户(未示出)与第一设备102接口并与之交互。第一用户接口318可以包括输入设备和输出设备。第一用户接口318的输入设备的示例可以包括小键盘(keypad)、触摸板、软键、键盘、麦克风、用于接收远程信号的红外传感器或其任何组合,以提供数据和通信输入。
第一用户接口318可以包括第一显示接口330。第一显示接口330可以包括显示器、投影仪、视频屏幕、扬声器或其任何组合。
第一控制单元312可以操作第一用户接口318以显示由导航系统100生成的信息。第一控制单元312还可以执行第一软件326以用于导航系统100的其他功能。第一控制单元312还可以执行第一软件326以用于经由第一通信单元316与通信路径104交互。
可以优化第二设备106以用于在具有第一设备102的多设备实施例中实现本发明的实施例。与第一设备102相比,第二设备106可以提供附加的或更高的性能处理能力。第二设备106可以包括第二控制单元334、第二通信单元336和第二用户接口338。
第二用户接口338允许用户(未示出)与第二设备106接口并与之交互。第二用户接口338可以包括输入设备和输出设备。第二用户接口338的输入设备的示例可以包括小键盘、触摸板、软键、键盘、麦克风或其任何组合,以提供数据和通信输入。第二用户接口338的输出设备的示例可以包括第二显示接口340。第二显示接口340可以包括显示器、投影仪、视频屏幕、扬声器或其任何组合。
第二控制单元334可以执行第二软件342以提供导航系统100的第二设备106的智能。第二软件342可以与第一软件326结合操作。与第一控制单元312相比,第二控制单元334可以提供附加的性能。
第二控制单元334可以操作第二用户接口338以显示信息。第二控制单元334还可以执行第二软件342以用于导航系统100的其他功能,包括操作第二通信单元336以通过通信路径104与第一设备102通信。
第二控制单元334可以以许多不同的方式实现。例如,第二控制单元334可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。
第二控制单元334可以包括第二控制器接口344。第二控制器接口344可以用于第二控制单元334和第二设备106中的其他功能单元之间的通信。第二控制器接口344也可以用于第二设备106外部的通信。
第二控制器接口344可以从其他功能单元或从外部源接收信息,或者可以将信息发送到其他功能单元或到外部目的地。外部源和外部目的地指第二设备106外部的源和目的地。
第二控制器接口344可以以不同的方式实现,并且可以包括不同的实现,这取决于哪些功能单元或外部单元正在与第二控制器接口344接口。例如,第二控制器接口344可以用压力传感器、惯性传感器、微机电系统(MEMS)、光学电路、波导、无线电路、有线电路或其组合来实现。
第二存储单元346可以存储第二软件342。第二存储单元346还可以存储用于生成图2的接口地图(interface map)218的信息。第二存储单元346的大小可以被设置为提供附加的存储容量以补充第一存储单元314。
出于说明的目的,第二存储单元346被示为单个元件,但是应当理解第二存储单元346可以是多个存储元件的分布。同样出于说明的目的,以第二存储单元346作为单个层次存储系统示出导航系统100,但是应当理解导航系统100可以具有处于不同配置的第二存储单元346。例如,第二存储单元346可以用形成包括不同级别的缓存、主存储器、转储介质或离线存储的存储器层次系统的不同存储技术来形成。
第二存储单元346可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如,第二存储单元346可以是诸如非易失性随机存取存储器(NVRAM)、闪存、磁盘存储之类的非易失性存储,或者诸如静态随机存取存储器(SRAM)的易失性存储。
第二存储单元346可以包括第二存储接口348。第二存储接口348可以用于与第二设备106中的其他功能单元之间的通信。第二存储接口348还可以用于第二设备106外部的通信。
第二存储接口348可以从其他功能单元或从外部源接收信息,或者可以将信息发送到其他功能单元或到外部目的地。外部源和外部目的地指第二设备106外部的源和目的地。
第二存储接口348可以包括不同的实现,这取决于哪些功能单元或外部单元正在与第二存储单元346接口。第二存储接口348可以用与第二控制器接口344的实现类似的技术和技艺来实现。
第二通信单元336可以实现去往以及来自第二设备106的外部通信。例如,第二通信单元336可以允许第二设备106通过通信路径104与第一设备106通信。
第二通信单元336还可以用作通信枢纽,其允许第二设备106用作通信路径104的一部分,并且不限于作为通信路径104的端点或终端单元。第二通信单元336可以包括用于与通信路径104交互的有源和无源部件,诸如微电子器件或天线。
第二通信单元336可以包括第二通信接口350。第二通信接口350可以用于第二通信单元336和第二设备106中的其他功能单元之间的通信。第二通信接口350可以从其他功能单元接收信息或可以将信息发送到其他功能单元。
第二通信接口350可以包括不同的实现,这取决于哪些功能单元或外部单元正在与第二通信单元336接口。第二通信接口350可以用与第二控制器接口344的实现类似的技术和技艺来实现。
第一通信单元316可以与通信路径104耦合以在第一设备传输308中向第二设备106发送信息。第二设备106可以在第二通信单元336中从通信路径104的第一设备传输308接收信息。
第二通信单元336可以与通信路径104耦合以在第二设备传输310中向第一设备102发送信息。第一设备102可以在第一通信单元316中从通信路径104的第二设备传输310接收信息。导航系统100可以由第一控制单元312、第二控制单元334或其组合来执行。出于说明的目的,以具有第二用户接口338、第二存储单元346、第二控制单元334和第二通信单元336的划分示出第二设备106,但是应当理解第二设备106可以具有不同的划分。例如,第二软件342可以被不同地划分,使得其功能中的一些或全部功能可以在第二控制单元334和第二通信单元336中。而且,为了清楚起见,第二设备106可以包括图3中未示出的其他功能单元。
第一设备102中的功能单元可以单独地并且独立于其他功能单元地工作。第一设备102可以单独地并且独立于第二设备106和通信路径104地工作。
第二设备106中的功能单元可以单独地并且独立于其他功能单元地工作。第二设备106可以单独地并且独立于第一设备102和通信路径104地工作。
出于说明的目的,通过第一设备102和第二设备106的操作来描述导航系统100。应该理解,第一设备102和第二设备106可以操作导航系统100的任何模块和功能。
现在参考图4,其中示出了导航系统100的控制流程。该控制流程可以用于生成道路车道模型202并确定图2的用户车辆212的车道位置208,这将在下面描述。导航系统100可以包括地图信息模块410、环境信息模块412、视频馈送处理模块402、车道模型生成模块416、车道位置模块418、车辆信息模块414、引导模块404、车辆操作模块420或其组合。作为示例,环境信息模块412可以被耦合到地图信息模块410;视频馈送处理模块402可以被耦合到环境信息模块412;车道模型生成模块416可以被耦合到视频馈送处理模块402;车道位置模块418可以被耦合到车道模型生成模块416;车辆信息模块414可以被耦合到车道模型生成模块416;引导模块404可以被耦合到车辆信息模块414;车辆操作模块420可以被耦合到引导模块404,或其组合。
地图信息模块410用于接收与用户车辆212的位置相对应的地图信息422。地图信息422是表示地理区域的信息。例如,地图信息422可以包括关于行驶基础设施的信息,诸如道路和高速公路;具体的定位信息,例如建筑物地址;地理特征,诸如地形、水体和地形;或其组合。作为具体示例,地图信息422可以包括道路信息424。道路信息424是关于特定道路的细节。例如,道路信息424可以是关于图2的当前道路206的信息。道路信息424可以包括诸如当前道路206的车道数量(其是车道数的计数)、车道的估计宽度、路肩区域的存在和宽度、车道的总估计宽度,速度限制之类的信息,或其组合。
地图信息模块410可以利用作为用户车辆212的地理或物理定位的用户车辆定位426来确定地图信息422。例如,地图信息模块410可以与第一设备102的图3的定位单元320接口以确定用户车辆定位426,诸如表示用户车辆212当前定位的GPS坐标或经度和纬度。为了继续该示例,地图信息模块410可以利用用户车辆定位426以得到用户车辆212周围的地理区域的地图信息422。
地图信息模块410可以从各种源接收地图信息422。例如,地图信息模块410可以接收存储在第一设备102的图3的第一存储单元314中的地图信息422。在另一示例中,地图信息模块410可以从除第一设备102之外的设备(诸如外部存储或服务器,图3的第二存储单元342或其组合)接收地图信息422。
控制流程可以传递到环境信息模块412。环境信息模块412用于收集关于用户车辆212周围的环境的信息。例如,环境信息模块412可以收集车辆环境信息430,该信息是有关用户车辆212外部和周围的对象的信息。
在另一实现中,环境信息模块412可以收集作为传感器信息438的车辆环境信息430。例如,环境信息模块412可以通过向传感器单元发送命令或请求以获取各种读数来收集车辆环境信息430,这些读数可以作为传感器信息438被发送回环境信息模块412。
传感器单元可以是包括传感器和检测仪器的设备。例如,传感器单元可以包括一个或多个仪器或传感器,诸如相机、麦克风、红外检测器、雷达检测器、LIDAR单元或其组合。作为具体示例,传感器单元可以包括用户车辆212的图2的后视相机230。后视相机230可以包括图2的背向用户车辆212后部的视野232,例如,如图2所示。此外,后视相机230的视野232可以包括图2的用户车辆212当前正在其上行驶的当前道路206的一部分的视图。
传感器单元可以包括被附接到或集成到用户车辆212或在用户车辆212外部的仪器和传感器,诸如安装在道路侧的传感器或仪器。例如,后视相机230的传感器单元可以被安装到用户车辆212的背部或后部,或者与用户车辆212后部的车身的一部分集成在一起。
传感器信息438可以是由传感器或仪器(诸如传感器单元)记录或测量的关于用户车辆212周围的区域或环境的信息。包括传感器信息438的车辆环境信息430可以包括有关用户车辆212周围的对象的各种类型的信息并且被以许多不同的格式和状态提供。例如,传感器信息438可以包括后视相机馈送432,其是由后视相机230捕获的原始或未处理的视频流。
环境信息模块412可以以许多方式收集车辆环境信息430。例如,环境信息模块412可以访问后视相机230的应用程序编程接口(API)以获得后视相机馈送432。作为具体示例,环境信息模块412可以将第一通信单元316实现为与后视相机230接口或通信,以访问后视相机馈送432。在一些实施例中,环境信息模块412基于用户车辆212的当前定位处的GPS信号强度来访问后视相机馈送432。例如,环境信息模块412可以与图3的定位单元320接口以以周期性的间隔监视GPS信号强度并且相对于信号强度阈值来评估GPS信号强度。信号强度阈值可以是指示将阻止一致、准确(或者其组合)的传输以用于提供基于GPS的引导的GPS信号强度的值(诸如当GPS信号丢失时),也被称为有限的或弱的信号强度。如果GPS信号强度下降到信号强度阈值以下,这指示有限的或弱的信号强度,则环境信息模块412与后视相机230的API接口以接收后视相机馈送432。在一些实施例中,环境信息模块412可以继续接收后视相机馈送432,直到GPS信号强度增加到信号强度阈值以上为止。
控制流程可以传递到视频馈送处理模块402。视频馈送处理模块402用于处理后视相机馈送432。在一些实施例中,后视相机馈送432的处理可以包括后视相机230的校准、对来自后视相机馈送432的图像进行的选择性提取、或其组合。
在视频馈送处理模块402的一些实现中,后视相机230的校准可以包括基于后视相机230在用户车辆212后部的位置、后视相机230的角度、以及可能特定于后视相机230的位置、定位或朝向的其他因素来确定后视相机230的透视图。
在视频馈送处理模块402的一些实施例中,对来自后视相机馈送432的图像进行的选择性转换可以包括控制后视相机馈送432到后视相机图像450的转换速率。后视相机图像450是来自后视相机馈送432的一系列连续图像。后视相机图像450中的每个图像可以包含图像像素452。
作为示例,在一些实施例中,后视相机馈送432的转换速率可以是静态速率,使得以一致的间隔从后视相机馈送432转换后视相机图像450。作为另一示例,在一些实施例中,对后视相机馈送432的转换速率的控制可以被动态地调节,使得可以基于触发因素来改变转换后视相机图像450的间隔。更具体地,当触发因素被检测到时,视频馈送处理模块402可以增加或减小后视相机馈送432的转换速率。触发因素的示例可以是邻近定位的车辆214的靠近、用户车辆212的位置的改变或移位、当前道路206中的改变、或其组合。导航系统100可以使用后视相机图像450中的一个或多个图像来生成道路车道模型202。
控制流程可以传递到车道模型生成模块416。车道模型生成模块416用于生成道路车道模型202。车道模型生成模块416可以将道路车道模型202生成为相对于用户车辆212的车辆定位426的局部化模型。在实施例中,车道模型生成模块416可以基于传感器信息438,并且更具体地,基于从后视相机馈送432转换的后视相机图像450,来生成道路车道模型202。
例如,车道模型生成模块416可以通过在后视相机图像450上实现一个或多个功能、过程或其组合来生成道路车道模型202。用于生成道路车道模型202的功能和过程的示例可以包括失真校正、像素映射、滤波和变换、车道估计、或其组合。
车道生成模块416可以用失真校正模块460执行失真校正功能。失真校正模块460用于调整或校正图像的失真。例如,失真校正模块460可以从后视相机图像450生成失真调整后视图像462,以考虑由于后视相机230导致的失真。例如,后视相机230导致的失真可以例如包括由于镜头效果(诸如“鱼缸”效应)而导致的失真,其中在后视相机图像450中出现弯曲的线或边缘在现实世界中实际上是直的。在一些实施例中,失真校正模块460可以执行或实现失真校正过程,以对后视相机图像450的图像像素452进行调整、改变大小、重新定位、重新映射(或其组合)以生成失真调整后视图像462。
车道生成模块416可以用像素映射模块464执行像素映射功能。像素映射模块464用于表征图像中的像素。例如,像素映射模块464可以将图像像素452与可检测的对象表示进行相关,这些可检测的对象表示是失真调整后的后视图像462中表示现实世界中的对象的一部分,诸如图2的邻近定位的车辆214、当前道路206中的车道的车道标记以及在失真调整后的后视图像462中表示的其他对象或结构。
在一些实现中,像素映射模块464可以实现对象识别过程以标识表示现实世界中的对象的像素的分组。例如,像素映射模块464可以实现对象识别过程以使失真调整后视图像462中的表示当前道路206的车道标记(诸如涂漆的车道标记、凸起的路面标记、反光的车道标记或其组合)的图像像素452或图像像素452的分组的具体实例相关。表示车道标记的图像像素452可以被称为车道像素466。
类似地,像素映射模块464可以实现对象识别过程以使失真调整后视图像462中的表示邻近定位的车辆214、静态结构或其组合的图像像素452或图像像素452的分组相关,表示邻近定位的车辆214的图像像素452或图像像素452的分组称为车辆像素468。例如,可以使用对象识别过程将车辆像素468标识为与邻近定位的车辆214的车辆类型相对应。车辆类型可以是车辆的一般类别,诸如自行车、电动踏板车、摩托车、汽车、卡车、运动型多用途车、厢式货车、公共汽车、休闲露营车、牵引车或其他一般车辆分类。作为具体示例,像素映射模块464可以基于车辆像素468的形状、大小、轮廓或其组合来确定车辆类型。
像素映射模块464可以存储关于车道像素466、车辆像素468或图像像素452的其他标识出的分组的相关性或映射。例如,车道像素466,车辆像素468或图像像素452的其他标识出的分组的可以被存储在图3的第一存储单元314、第二存储单元346或其组合中。
车道生成模块416可以用滤波和变换模块470执行滤波和转换功能。滤波和变换模块470用于在图像上应用滤波器、执行变换或其组合。例如,滤波和变换模块470可以通过实现滤波功能、变换功能或其组合来更新失真调整后视图像462。滤波功能可以例如包括将梯度滤波器应用于失真调整后视图像462。变换功能可以例如包括颜色变换以突出显示车道像素466。
车道模型生成模块416用车道估计模块472执行车道估计功能。车道估计模块472用于生成车道轮廓估计204。车道估计模块472可以基于车道像素466生成车道轮廓估计204。在一种实现中,车道估计模块472可以包括图像扭曲函数(image warp function),以应用于失真调整后视图像462。图像扭曲函数可以根据车道像素466的多项式拟合来修改失真调整后视图像462。作为具体示例,图像扭曲函数可以包括车道像素466的2次或3次多项式拟合,其可以被车道估计模块472用作车道轮廓估计204。
返回车道模型生成模块416,可以基于车道轮廓估计204来生成道路车道模型202。例如,车道模型生成模块416可以计算车道轮廓估计204的曲率、道路车道模型202中的车道数量、每个车道轮廓估计204的车道面积、或其组合。通常,车道模型生成模块416可以单独或主要基于传感器信息438(具体是失真调整后视图像462)来生成道路车道模型202。
然而,在一些实施例中,车道模型生成模块416可以将道路车道模型202生成为地图信息422和车道轮廓估计204的组合,两者均对应于用户车辆212的用户车辆定位426。例如,车道模型生成模块416可以使用道路信息424(诸如道路车道的的车道数、道路车道宽度、总道路车道宽度或其组合之类)来补充或验证车道轮廓估计204。作为具体示例,车道模型生成模块416可以基于与根据道路信息424的道路的物理特征的比较,来实时地根据道路信息424验证车道轮廓估计204的位置或对准。道路的物理特征的示例包括混凝土或铺砌段之间的间隙或边缘;用于手推车或缆车的嵌入或集成在道路上的金属导轨;在道路表面中的变化或道路表面之间的过渡,诸如从沥青、混凝土或铺砌的表面到通常沿道路边缘存在的砾石或未铺砌的表面;或其组合。
在一些实施例中,模型生成模块416可以基于与补充道路模型的比较来验证道路车道模型202。补充道路模型是从除后视相机馈送432的处理之外的数据生成的道路车道模型202的实例。例如,可以基于GPS信息、推算定位信息,地图信息属性(诸如车道数、车道曲率、道路宽度、道路特征(包括车道分隔物或路障)或其组合)来生成补充道路模型。当道路车道模型202的元素与补充道路模型中的一个或多个补充道路模型中的对应元素匹配时,模型生成模块416可以确定道路车道模型202有效。在模型生成模块416确定道路车道模型202有效的情况下,控制流程可以继续确定车道位置202并生成导航引导474,如以下模块中所述。在模型生成模块416确定道路车道模型202不有效的情况下,模型生成模块416可以丢弃道路车道模型202的当前迭代,并提供基于后视相机馈送432的当前或更新的位置细化不可用的通知。
控制流程可以传递到车道位置模块418。车道位置模块418用于计算用户车辆212的车道位置208。作为示例,车道位置模块418可以基于用户车辆212相对于道路车道模型202的车道轮廓估计204的位置来计算用户车辆212在当前道路206上的车道位置208。
控制流程可以传递到车辆信息模块414。车辆信息模块414用于确定邻近定位的车辆214的邻近车辆信息439。例如,在一些实现中,车辆信息模块414可以基于车辆像素468来确定邻近车辆信息439。作为具体示例,车辆信息模块414可以使用多个失真调整后视图像462之间的车辆像素468来确定或计算邻近车辆信息439,诸如运动方向、速度、加速度、减速度、运动模式、物理定位、位置、形状、大小或其任何组合。更具体地,车辆信息模块414可以基于车辆像素468的定位在失真调整后视图像462之间的变化来计算邻近定位的车辆214的相对位置、相对距离、车辆速度、车辆轨迹、或其组合。
控制流程可以传递到引导模块404。引导模块404用于基于道路车道模型202、用户车辆212的车道位置208、邻近定位的车辆214或其组合来提供导航引导474。例如,当邻近定位的车辆214的实例从用户车辆212的后部接近并且与用户车辆212的车道位置紧邻的车道位置208进入与用户车辆212的操作者的盲点相对应的区域时,引导模块404可以提供导航引导474作为盲点辅助。为了进一步举例,导航引导474可以包括针对用户车辆212的操作者的警告,尤其是在用户车辆212当邻近定位的车辆214在用户车辆212的盲区中被检测到时正在发起或参与变道操作时。
作为另一个示例,引导模块404可以提供导航引导474作为车道级别的导航指令,该车道级别的导航指令根据道路车道模型202考虑了用户车辆212的车道位置208。在另一个示例中,引导模块404可以基于用户车辆212的车道位置208中的、指示从车道位置208的当前实例漂移的侧向移位来向用户车辆212的操作者提供导航引导474作为通知或警告,其可以包括当用户车辆的操作者未激活车辆转向信号时的警告或通知。
在另一示例中,引导模块404可以使用车道位置208和道路车道模型202来确定用户车辆212是跟随还是偏离了导航指令。例如,引导模块404可以确定用户车辆212是否在道路的叉口处(诸如在道路交叉口、道路入口或道路出口处)选取了特定的路段,这可以有益于提高确定用户车辆212的当前位置的准确性,特别是在GPS信号强度被确定为时弱或不准确(这基于上述信号强度阈值)时。
在一些实施例中,导航系统100可以实现道路车道模型202、车道位置208或其组合,以用于利用车辆操作模块420来对用户车辆212进行的操作。车辆操作模块420用于生成车辆操作指令480。车辆操作指令480可以是用于操纵用户车辆212中的机械和电子系统的命令,以便执行诸如距离控制、速度控制、加速、制动或转向的驾驶操纵。例如,车辆操作模块420可以生成车辆操作指令480以控制用户车辆212的基本车辆控制功能,诸如节流系统、转向系统、制动系统或其组合。
车辆操作指令480可以是用于用户车辆212的自主操作的指令。在用户车辆212的自主操作期间,自主车辆操作系统可以在具有用户车辆212的系统用户的部分干预或动作或者没有用户车辆212的系统用户的干预或动作的情况下控制用户车辆212的一个或多个基本车辆控制功能。
车辆操作模块420可以在用户车辆212的自主操作期间基于道路车道模型202生成车辆操作指令480。例如,车辆操作指令480可基于车道轮廓估计204来指导自主车辆操作系统维持或改变车道位置208。
已经发现,导航系统100提供了用户车辆212的改进的操作安全性。导航接口216可以基于考虑了用户车辆212周围的环境变化的失真调整后视图像462的像素466来向道路车道模型202提供精确、动态(或其组合)的车道轮廓估计204,这提高了操作用户车辆212的安全性。
已经以模块功能或顺序作为示例描述了导航系统100。导航系统100可以不同地划分模块或不同地排序模块。例如,地图信息模块410可以被耦合到车道模型生成模块416。
出于说明的目的,各种模块已经被描述为具体于第一设备102或第二设备106。然而,应当理解,模块可以不同地分布。例如,各种模块可以在不同的设备中实现,或者模块的功能可以跨多个设备分布。同样作为示例,各种模块可以被存储在非暂时性存储介质中。
作为更具体的示例,上述一个或多个模块可以被存储在非暂时性存储介质中,以用于分配给不同的系统、不同的设备、不同的用户或其组合,以用于进行制造或其组合。同样作为更具体的示例,可以使用单个硬件单元(诸如芯片或处理器)或跨多个硬件单元来实现或存储上述模块。
在本申请中描述的模块可以是图3的第一控制单元316中或图3的第二控制单元338中的硬件实现或硬件加速器。模块也可以是分别在第一设备102或第二设备106内但在第一控制单元316或第二控制单元338之外的硬件实现或硬件加速器,如图3所示。然而,应当理解,第一控制单元316、第二控制单元338或其组合可以共同指模块的所有硬件加速器。
本申请中描述的模块可以被实现为存储在非暂时性计算机可读介质上的指令,以由第一控制单元312、第二控制单元336或其组合来执行。非暂时性计算机介质可以包括图3的第一存储单元314、图3的第二存储单元346或其组合。非易失性计算机可读介质可以包括非易失性存储器,诸如硬盘驱动器、非易失性随机存取存储器(NVRAM)、固态存储设备(SSD)、光盘(CD)、数字视频磁盘(DVD)或通用串行总线(USB)闪存设备。非暂时性计算机可读介质可以被集成为导航系统100的一部分,或者被安装为导航系统100的可移除部分。
来自确定用户车辆212的车道位置208的物理变换导致物理世界中的运动,诸如基于车道轮廓估计204来操纵用户车辆212。物理世界中的运动,诸如用户车辆212的响应于邻近定位的车辆214的的运动,通过更新车道轮廓估计204而引起道路车道模型202的改变。
现在参考图5,其中示出了本发明的实施例中的导航系统100的操作方法500的流程图。方法500包括:在框502中,生成表示后视相机的视野的后视相机图像,该视野包括用户车辆正在其上行驶的当前道路;在框504中,基于后视相机图像,生成失真调整后视图像;在框506中,基于失真调整后视图像的图像像素与当前道路的车道标记的相关性,标识车道像素;在框508中,基于车道像素,生成包括车道轮廓估计的道路车道模型;以及在框510中,根据车道轮廓估计,为用户车辆计算车道位置。
所得到的方法、过程、装置、设备,产品和/或系统是直截了当的、经济的、不复杂的、高度通用的、准确的、灵敏的和有效,并且可以通过使已知部件适应现成的、有效的和经济的制造,应用和利用来实现。本发明的实施例的另一个重要方面是,它有价值地支持和服务了降低成本、简化系统和提高性能的历史趋势。
因此,本发明的实施例的这些和其他有价值的方面将技术状态提升到至少下一个水平。
尽管已经结合具体的最佳模式描述了本发明,但是应当理解,根据以上描述,许多替代、修改和变化对于本领域技术人员而言将是清楚的。因此,旨在涵盖落入所包括的权利要求的范围内的所有这样的替代、修改和变化。在此阐述或在附图中示出的所有事项应以说明性而非限制性的意义来解释。
Claims (15)
1.一种导航系统,包括:
通信单元,被配置为与用户车辆的后视相机通信;以及
控制单元,被耦合到所述通信单元,所述控制单元被配置为:
生成表示所述后视相机的视野的后视相机图像,所述视野包括所述用户车辆正在其上行驶的当前道路;
基于所述后视相机图像,生成失真调整后视图像;
基于所述失真调整后视图像的图像像素与所述当前道路的车道标记的相关性,标识车道像素;
基于所述车道像素,生成包括车道轮廓估计的道路车道模型;以及
根据所述车道轮廓估计,计算所述用户车辆的车道位置。
2.如权利要求1所述的系统,其中,所述控制单元被配置为基于在所述失真调整后视图像上应用滤波器、执行变换或其组合来更新所述失真调整后视图像。
3.如权利要求1所述的系统,其中,所述控制单元被配置为基于所述失真调整后视图像来标识邻近定位的车辆相对于所述用户车辆的表示。
4.如权利要求1所述的系统,其中,所述控制单元被配置为基于所述道路车道模型、所述用户车辆的所述车道位置或其组合来生成导航引导。
5.如权利要求1所述的系统,其中,所述控制单元被配置为在所述用户车辆的操作期间生成所述道路车道模型。
6.一种导航系统的操作的方法,包括:
生成表示后视相机的视野的后视相机图像,所述视野包括用户车辆正在其上行驶的当前道路;
基于所述后视相机图像,生成失真调整后视图像;
基于所述失真调整后视图像的图像像素与所述当前道路的车道标记的相关性,标识车道像素;
基于所述车道像素,生成包括车道轮廓估计的道路车道模型;以及
根据所述车道轮廓估计,计算所述用户车辆的车道位置。
7.如权利要求6所述的方法,还包括:基于在所述失真调整后视图像上应用滤波器、执行变换或其组合来更新所述失真调整后视图像。
8.如权利要求6所述的方法,还包括:基于所述失真调整后视图像来标识邻近定位的车辆相对于所述用户车辆的表示。
9.如权利要求6所述的方法,还包括:基于所述道路车道模型、所述用户车辆的所述车道位置或其组合来生成导航引导。
10.如权利要求6所述的方法,其中,生成所述后视相机图像包括基于来自后视相机馈送的转换来生成所述后视相机图像。
11.如权利要求6所述的方法,其中,生成所述道路车道模型包括在所述用户车辆的操作期间生成所述道路车道模型。
12.一种非暂时性计算机可读介质,包括可由导航系统的控制电路执行的指令,所述指令包括:
生成表示后视相机的视野的后视相机图像,所述视野包括用户车辆正在其上行驶的当前道路;
基于所述后视相机图像,生成失真调整后视图像;
基于所述失真调整后视图像的图像像素与所述当前道路的车道标记的相关性,标识车道像素;
基于所述车道像素,生成包括车道轮廓估计的道路车道模型;以及
根据所述车道轮廓估计,计算所述用户车辆的车道位置。
13.如权利要求12所述的非暂时性计算机可读介质,其中,所述指令包括:基于在所述失真调整后视图像上应用滤波器、执行变换或其组合来更新所述失真调整后视图像。
14.如权利要求12所述的非暂时性计算机可读介质,其中,所述指令包括:基于所述失真调整后视图像来标识邻近定位的车辆相对于所述用户车辆的表示。
15.如权利要求12所述的非暂时性计算机可读介质,其中,所述指令包括:基于所述道路车道模型、所述用户车辆的所述车道位置或其组合来生成导航引导。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/692,808 | 2019-11-22 | ||
US16/692,808 US20210155158A1 (en) | 2019-11-22 | 2019-11-22 | Navigation system with lane estimation mechanism and method of operation thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112833887A true CN112833887A (zh) | 2021-05-25 |
Family
ID=73455647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011209276.2A Pending CN112833887A (zh) | 2019-11-22 | 2020-11-03 | 具有车道估计机制的导航系统及其操作方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210155158A1 (zh) |
EP (1) | EP3825653A1 (zh) |
CN (1) | CN112833887A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487901A (zh) * | 2021-07-30 | 2021-10-08 | 重庆长安汽车股份有限公司 | 基于摄像头感知的车道宽度校验方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200348143A1 (en) * | 2019-05-03 | 2020-11-05 | Apple Inc. | Adjusting heading sensor output based on image data |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040042638A1 (en) * | 2002-08-27 | 2004-03-04 | Clarion Co., Ltd. | Method for detecting position of lane marker, apparatus for detecting position of lane marker and alarm apparatus for lane deviation |
US20110293145A1 (en) * | 2009-04-23 | 2011-12-01 | Panasonic Corporation | Driving support device, driving support method, and program |
CN102398598A (zh) * | 2010-07-20 | 2012-04-04 | 通用汽车环球科技运作有限责任公司 | 使用前视和后视摄像机的车道融合系统 |
CN105667397A (zh) * | 2015-12-30 | 2016-06-15 | 深圳佑驾创新科技有限公司 | 汽车后视系统及方法 |
CN107767696A (zh) * | 2016-08-19 | 2018-03-06 | 德韧营运有限责任公司 | 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法 |
US20180244191A1 (en) * | 2016-04-14 | 2018-08-30 | Gentex Corporation | Camera based headlight control system |
CN109116846A (zh) * | 2018-08-29 | 2019-01-01 | 五邑大学 | 一种自动驾驶方法、装置、计算机设备和存储介质 |
CN109606358A (zh) * | 2018-12-12 | 2019-04-12 | 禾多科技(北京)有限公司 | 应用于智能驾驶汽车的图像采集装置及其采集方法 |
CN109934952A (zh) * | 2017-12-18 | 2019-06-25 | 华创车电技术中心股份有限公司 | 车载行车影像图像数据建立系统 |
CN110213827A (zh) * | 2019-05-24 | 2019-09-06 | 南京理工大学 | 基于深度强化学习的车辆数据采集频率动态调节方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11208129B2 (en) * | 2002-06-04 | 2021-12-28 | Transportation Ip Holdings, Llc | Vehicle control system and method |
WO2009064172A1 (en) * | 2007-11-16 | 2009-05-22 | Tele Atlas B.V. | Method of and apparatus for producing lane information |
US8164543B2 (en) * | 2009-05-18 | 2012-04-24 | GM Global Technology Operations LLC | Night vision on full windshield head-up display |
US20130141520A1 (en) * | 2011-12-02 | 2013-06-06 | GM Global Technology Operations LLC | Lane tracking system |
US9884623B2 (en) * | 2015-07-13 | 2018-02-06 | GM Global Technology Operations LLC | Method for image-based vehicle localization |
US10762358B2 (en) * | 2016-07-20 | 2020-09-01 | Ford Global Technologies, Llc | Rear camera lane detection |
US10872246B2 (en) * | 2017-09-07 | 2020-12-22 | Regents Of The University Of Minnesota | Vehicle lane detection system |
JP7346401B2 (ja) * | 2017-11-10 | 2023-09-19 | エヌビディア コーポレーション | 安全で信頼できる自動運転車両のためのシステム及び方法 |
KR102483649B1 (ko) * | 2018-10-16 | 2023-01-02 | 삼성전자주식회사 | 차량 위치 결정 방법 및 차량 위치 결정 장치 |
US20210108926A1 (en) * | 2019-10-12 | 2021-04-15 | Ha Q. Tran | Smart vehicle |
-
2019
- 2019-11-22 US US16/692,808 patent/US20210155158A1/en not_active Abandoned
-
2020
- 2020-11-03 CN CN202011209276.2A patent/CN112833887A/zh active Pending
- 2020-11-17 EP EP20208135.2A patent/EP3825653A1/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040042638A1 (en) * | 2002-08-27 | 2004-03-04 | Clarion Co., Ltd. | Method for detecting position of lane marker, apparatus for detecting position of lane marker and alarm apparatus for lane deviation |
US20110293145A1 (en) * | 2009-04-23 | 2011-12-01 | Panasonic Corporation | Driving support device, driving support method, and program |
CN102398598A (zh) * | 2010-07-20 | 2012-04-04 | 通用汽车环球科技运作有限责任公司 | 使用前视和后视摄像机的车道融合系统 |
CN105667397A (zh) * | 2015-12-30 | 2016-06-15 | 深圳佑驾创新科技有限公司 | 汽车后视系统及方法 |
US20180244191A1 (en) * | 2016-04-14 | 2018-08-30 | Gentex Corporation | Camera based headlight control system |
CN107767696A (zh) * | 2016-08-19 | 2018-03-06 | 德韧营运有限责任公司 | 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法 |
CN109934952A (zh) * | 2017-12-18 | 2019-06-25 | 华创车电技术中心股份有限公司 | 车载行车影像图像数据建立系统 |
CN109116846A (zh) * | 2018-08-29 | 2019-01-01 | 五邑大学 | 一种自动驾驶方法、装置、计算机设备和存储介质 |
CN109606358A (zh) * | 2018-12-12 | 2019-04-12 | 禾多科技(北京)有限公司 | 应用于智能驾驶汽车的图像采集装置及其采集方法 |
CN110213827A (zh) * | 2019-05-24 | 2019-09-06 | 南京理工大学 | 基于深度强化学习的车辆数据采集频率动态调节方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487901A (zh) * | 2021-07-30 | 2021-10-08 | 重庆长安汽车股份有限公司 | 基于摄像头感知的车道宽度校验方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3825653A1 (en) | 2021-05-26 |
US20210155158A1 (en) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10176715B2 (en) | Navigation system with dynamic mapping mechanism and method of operation thereof | |
EP3130891B1 (en) | Method for updating a server database containing precision road information | |
CN106352867B (zh) | 用于确定车辆自身位置的方法和设备 | |
EP3130945B1 (en) | System and method for precision vehicle positioning | |
EP3131020B1 (en) | System and method of a two-step object data processing by a vehicle and a server database for generating, updating and delivering a precision road property database | |
US10821976B2 (en) | Navigation system with dynamic speed setting mechanism and method of operation thereof | |
US20200191601A1 (en) | Updating map data for autonomous driving vehicles based on sensor data | |
WO2020062032A1 (en) | A pedestrian probability prediction system for autonomous vehicles | |
US11867514B2 (en) | Navigation system with independent positioning mechanism and method of operation thereof | |
WO2015009218A1 (en) | Determination of lane position | |
EP3825653A1 (en) | Navigation system with lane estimation mechanism and method of operation thereof | |
US11022458B2 (en) | Navigation system with roadway lane guidance mechanism and method of operation thereof | |
US10955259B2 (en) | Navigation system with enhanced navigation display mechanism and method of operation thereof | |
EP3905121A1 (en) | Vehicle system with a safety mechanism and method of operation thereof | |
CN109425861B (zh) | 本车位置可信度运算装置 | |
US11933626B2 (en) | Navigation system with vehicle position mechanism and method of operation thereof | |
US11345366B2 (en) | In-vehicle processing device | |
US20200276984A1 (en) | Server and Vehicle Control System | |
EP4083957A1 (en) | Navigation system with traffic state detection mechanism and method of operation thereof | |
US20230044819A1 (en) | Navigation system with mono-camera based traffic sign tracking and positioning mechanism and method of operation thereof | |
WO2020166218A1 (ja) | 情報処理装置、運転支援装置、情報処理方法、運転支援方法、及びプログラム | |
JP2024030868A (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
CN116736354A (zh) | 具有语音助理机制的导航系统及其操作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |