CN107103272B - 区分车辆要遵循的车道标记 - Google Patents

区分车辆要遵循的车道标记 Download PDF

Info

Publication number
CN107103272B
CN107103272B CN201610991318.XA CN201610991318A CN107103272B CN 107103272 B CN107103272 B CN 107103272B CN 201610991318 A CN201610991318 A CN 201610991318A CN 107103272 B CN107103272 B CN 107103272B
Authority
CN
China
Prior art keywords
vehicle
markings
sensor data
pavement
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610991318.XA
Other languages
English (en)
Other versions
CN107103272A (zh
Inventor
布里勒·赖夫
吉内什·J·杰恩
斯内哈·卡德托塔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107103272A publication Critical patent/CN107103272A/zh
Application granted granted Critical
Publication of CN107103272B publication Critical patent/CN107103272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Abstract

本发明涉及用于区分车辆要遵循的车道标记的方法、系统和计算机程序产品。自动驾驶或驾驶辅助车辆利用传感器来帮助车辆在道路上或在停车区域中导航。传感器可以利用例如涂覆的表面标记来帮助在其路径上引导车辆。本发明的方面利用第一类型的传感器和至少第二不同类型的传感器来识别路面标记。当检测到路面标记之间的歧义时，决策算法识别车辆要遵守的正确的标记组。传感器还识别相邻车辆的位置和轨迹来增加关于所识别的路面标记的置信度。

Description

区分车辆要遵循的车道标记
技术领域
本发明总体上涉及道路标线检测系统的领域，并且更具体地涉及可以区分车辆要遵循的车道标记的道路标线检测系统。
背景技术
许多行业，包括汽车行业，正在利用先进的自动化功能。使传统车辆的许多功能自动化的机会存在。在汽车行业中正在进行一些研究以使车辆完全自主；完全不需要人工输入。
由于车辆变得更加自动化或完全自主，存在若干优点。优点包括减少交通事故、改善交通流量和降低燃料消耗，仅举几个例子。例如，许多车辆正在利用碰撞规避技术，其中如果车辆的传感器检测到车辆有与另一车辆或对象发生碰撞的危险，则车辆的计算机系统可以施加制动。此外，许多车辆已经引入了平行驻车功能，该平行驻车功能允许车辆平行驻车而无需来自车辆的驾驶员的任何输入。
自动或自主车辆的可信性在很大程度上取决于车辆传感器和车辆计算机系统识别和处理车辆环境并且以安全且有效的方式对不同的情况做出反应的能力。然而，车辆环境是非常动态的。因此，车辆计算机系统需要能够在诸如雨或雪的变化的天气状况下进行并且对诸如结冰道路或正在建设的道路的各种道路状况做出反应。存在的挑战是保证安全且有效的驾驶体验而不受车辆环境的影响。
用于车辆导航的一些车辆自动化技术考虑道路表面上的涂漆的车道标记。车道标记可以被用作沿着其路线安全地引导车辆的手段。然而，车道标记的使用导致至少一些困难。例如，路面标记不仅包括车道标记，而且它们还包括导航信息，例如，转向车道指示器、限速信息、人行横道信息、铁路信息和高乘载车辆(high-occupancy vehicle，HOV)标记。区分车道标记与其他路面标记可能是困难的。
另一个挑战是区分例如在道路建设、维修或升级期间可能发生的歧义的车道标记。在建设时间段期间，车道可以被转向到一侧或另一侧以方便道路的维修。在建设、道路维修或升级时间段期间，新的车道标记被涂漆到道路上并且旧的车道标记可以被刮除或被涂漆成道路的颜色以掩盖旧的车道标记。然而，掩盖尝试并不总是完全成功的，并且有时在刮除或重新涂漆之后可以看到旧的车道标记。因此，可以看到道路的特定车道的两组车道标记的状况可能存在。以自动化的方式确定要遵循哪一组车道标记可能是困难的。
发明内容
根据本发明，提供一种用于确定车辆要遵循的车道标记的方法，该方法包含：
访问来自车辆中的多个传感器的传感器数据；
处理所访问的传感器数据以识别多个路面标记；
利用传感器数据来从多个路面标记中识别车辆要遵循的路面标记；以及
将所识别的路面标记发送到车辆的决策算法，以用于控制车辆。
根据本发明的一个实施例，该方法进一步包含：
处理所访问的传感器数据以识别相邻车辆的位置和轨迹；以及
利用相邻车辆的位置和轨迹来增加关于所识别的路面标记的置信度。
根据本发明的一个实施例，其中识别多个路面标记包含检测至少两个具有不同视觉外观的候选车道标记。
根据本发明的一个实施例，其中检测至少两个具有不同视觉外观的候选车道标记包含检测在下列中的一个或多个方面存在不同的至少两个候选车道标记：颜色强度、反射率、车道反射器的存在、油漆开裂、以及路面胶带剥落。
根据本发明的一个实施例，其中访问来自多个传感器的传感器数据包含访问来自下列中的两个或更多个的数据：图像捕获设备、激光雷达系统和雷达系统。
根据本发明，提供一种在计算机系统中使用的方法，该计算机系统包括一个或多个处理器和系统存储器，该方法用于区分车辆要遵循的车道标记，该方法包含：
访问已由多个传感器收集到的传感器数据，多个传感器包括第一类型的传感器和至少第二不同类型的传感器，传感器数据指示路面标记，路面标记包括颜色强度和反射率，传感器数据还指示相邻车辆的位置和轨迹；
从所访问的传感器数据来确定边界框，边界框表示用于区分路面标记和相邻车辆的关注区域；
处理边界框内的所访问的传感器数据以确定存在多个路面标记；
响应于确定存在多个路面标记而：
利用传感器数据来从多个路面标记中识别车辆要遵循的路面标记；以及
利用相邻车辆的位置和轨迹来增加关于所识别的路面标记的置信度；以及
将所识别的路面标记发送到车辆的决策算法，以用于控制车辆的位置和轨迹。
根据本发明的一个实施例，其中确定存在多个路面标记包含检测至少两个具有不同视觉外观的候选车道标记。
根据本发明的一个实施例，该方法进一步包含：从下列中的一个或多个方面来确定多个路面标记中的每一个的视觉外观：颜色强度、反射率、车道反射器的存在、油漆开裂和路面胶带剥落。
根据本发明的一个实施例，其中传感器数据来自多个传感器，该多个传感器选自：激光雷达系统、图像捕获设备和雷达系统。
根据本发明的一个实施例，该方法进一步包含：利用相邻车辆的位置和轨迹来增加所识别的要遵循的路面标记的置信度。
根据本发明的一个实施例，其中访问传感器数据包含访问指示下列中的一个或多个的传感器数据：涂覆到路面上的限速信息和停车标志信息。
根据本发明的一个实施例，其中识别与道路上或道路附近的相邻车辆相关联的位置和轨迹包含识别与车辆在同一车道中的车辆。
根据本发明的一个实施例，其中识别与道路上或道路附近的相邻车辆相关联的位置和轨迹包含识别与车辆在不同的车道中的车辆。
根据本发明的一个实施例，其中识别与相邻车辆相关联的位置和轨迹包含识别与车辆在同一方向上行驶的车辆。
根据本发明的一个实施例，其中识别与相邻车辆相关联的位置和轨迹包含识别与车辆在相反的方向上行驶的车辆。
根据本发明，提供一种用于区分车辆要遵循的车道标记的系统，该系统包含：
一个或多个处理器；
系统存储器；
多个传感器，该多个传感器包括第一类型的传感器和至少第二不同类型的传感器；
一个或多个计算机存储设备，该一个或多个计算机存储设备具有存储在其上的计算机可执行指令，当计算机可执行指令被执行时，使车辆计算机系统：
访问已由多个传感器收集到的传感器数据，该传感器数据指示路面标记，路面标记包括颜色强度和反射率，传感器数据还指示相邻车辆的位置和轨迹；
从所访问的传感器数据来确定边界框，该边界框表示用于区分路面标记和相邻车辆的关注区域；
处理边界框内的所访问的传感器数据以确定存在多个路面标记；响应于确定存在多个路面标记而：
利用传感器数据来从多个路面标记中识别车辆要遵循的路面标记；
利用相邻车辆的位置和轨迹来增加关于所识别的路面标记的置信度；以及
将所识别的路面标记发送到车辆的决策算法，以用于控制车辆的位置和轨迹。
根据本发明的一个实施例，其中当被执行时使车辆计算机系统访问传感器数据的计算机可执行指令包含当被执行时使车辆计算机系统进行下列操作的计算机可执行指令：接收来自车辆的传感器之一的至少一种类型的数据和来自车辆的不同类型的传感器的至少第二种不同类型的数据。
根据本发明的一个实施例，该系统进一步包含在车辆计算机系统中的计算机可执行指令，当该计算机可执行指令被执行时，使计算机系统查询针对路面标记的不同类型的传感器数据。
根据本发明的一个实施例，该系统进一步包含在车辆计算机系统中的计算机可执行指令，当该计算机可执行指令被执行时，使计算机系统查询针对相邻车辆的不同类型的传感器数据。
根据本发明的一个实施例，该方法进一步包含在车辆计算机系统中的计算机可执行指令，当该计算机可执行指令被执行时，使计算机系统解析关注区域的传感器数据，该关注区域由边界框限制。
附图说明
参考以下说明书和附图，将更好地理解本发明的具体特征、方面和优点，附图中：
图1说明了计算设备的示例框图；
图2说明了便于区分车辆要遵循的车道标记的示例计算机架构；
图3说明了用于区分车辆要遵循的车道标记的示例方法的流程图；
图4说明了示例道路情况。
具体实施方式
本发明涉及用于区分车辆要遵循的车道标记的方法、系统和计算机程序产品。
本发明的实施例可以包含或利用专用或通用计算机，该专用或通用计算机包括计算机硬件，诸如，例如，一个或多个处理器和系统存储器，如下面更详细地讨论的。在本发明的范围内的实施例还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此，举例来说，而非限制，本发明的实施例可以包含至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘存储器(CD-ROM)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器、其它光盘存储器、磁盘存储器或其它磁性存储设备、或者可以被用于存储以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机访问的任何其它介质。
“网络”被定义为允许电子数据在计算机系统和/或模块和/或其他电子设备之间传输的一个或多个数据链路。当信息通过网络或另一通信连接(硬线连接、无线、或硬线连接或无线的组合)被传送或提供至计算机时，计算机适当地将该连接视为传输介质。传输介质可以包括网络和/或数据链路，网络和/或数据链路可以被用于承载以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机来访问。上述组合也应该被包括在计算机可读介质的范围之内。
此外，一旦到达各种计算机系统部件，以计算机可执行指令或数据结构的形式的程序代码手段可以从传输介质被自动传送到计算机存储介质(装置)(或反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，“网络接口卡(NIC)”)内的RAM中，并且然后最终被传送至计算机系统RAM和/或计算机系统中的非易失性计算机存储介质(装置)。RAM还可以包括固态驱动器(SSD或基于千兆光纤网卡(PCIx)的实时存储器分层存储，如FusionIO)。因此，应当理解的是，计算机存储介质(装置)可以被包括在计算机系统部件中，该计算机系统部件也(或甚至主要)利用传输介质。
计算机可执行指令包含，例如，指令和数据，当该指令和数据在处理器中执行时，使通用计算机、专用计算机、或专用处理设备来执行某些功能或功能组。计算机可执行指令可以是例如二进制、诸如汇编语言的中间格式指令、或甚至源代码。虽然本发明主题已经以针对结构特征和/或方法论动作的语言进行了描述，但是应当理解的是，在所附权利要求中限定的发明主题不一定局限于所描述的特征或以上所述的动作。相反，所描述的特征和动作被公开作为实施权利要求的示例形式。
本领域技术人员将领会的是，本发明可以在网络计算环境中通过许多类型的计算机系统配置来实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费者电子产品、网络个人电脑(PC)、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换机、各种存储设备和诸如此类。本发明也可以在本地和远程计算机系统都执行任务的分布式系统环境中实践，本地和远程计算机系统通过网络链接(或者通过硬线数据链路、无线数据链路或者通过硬线连接和无线数据链路的组合)。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。
本发明的实施例还可以在云计算环境中实施。在本说明书和所附权利要求中，“云计算”被定义为用于实现对可配置计算资源(例如，网络、服务器、存储、应用程序和服务)的共享池的普遍存在、方便、按需网络访问的模型，该可配置计算资源可以经由虚拟化快速供应并且以最少的管理工作或服务提供商交互发布，并且然后相应地扩展。云模型可以由各种特征(例如，按需自助服务、宽带网络接入、资源池化、快速弹性、测量服务等)、服务模型(例如，软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS))以及部署模型(例如，私有云、社区云、公共云、混合云等)组成。关于本发明所描述的数据库和服务器可以被包括在云模型中。
此外，在适当情况下，本文所描述的功能可以在下列中的一种或多种中执行：硬件、软件、固件、数字部件、或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一个或多个。在整个以下说明书和权利要求书中，某些术语被用来指代特定的系统部件。本领域技术人员将领会的是，部件可以通过不同的名称来称呼。本文不旨在区分名称不同但作用相同的部件。
总体上，本发明的各方面涉及区分车辆要遵循的车道标记。至少两种不同类型的感觉设备收集与车辆环境相关的数据。处理数据以识别路面标记和相邻车辆。从处理的数据中提取重要的关注区域。车道标记数据和相邻车辆数据被用于识别车辆要遵循的正确的一组车道标记。正确的车道标记被车辆计算机系统和控制系统利用以在道路的正确车道上导航车辆。
图1说明了计算设备100的示例框图。计算设备100可以被用于执行各种过程，例如本文所讨论的那些。计算设备100可以用作服务器、客户端或任何其他计算实体。计算设备100可以执行本文所描述的各种通信和数据传输功能，并且可以执行一个或多个应用程序，例如本文所描述的应用程序。计算设备100可以是各种计算设备中的任一种，例如移动电话或其他移动设备、台式计算机、笔记本计算机、服务器计算机、手持式计算机、平板计算机以及诸如此类。
计算设备100包括一个或多个处理器102、一个或多个存储器设备104、一个或多个接口106、一个或多个大容量存储设备108、一个或多个输入/输出(I/O)设备110和显示设备130，所有这些都被连接到总线112。处理器102包括执行存储在存储器设备104和/或大容量存储设备108中的指令的一个或多个处理器或控制器。处理器102还可以包括各种类型的计算机存储介质，例如高速缓冲存储器。
存储器设备104包括各种计算机存储介质，例如易失性存储器(例如，随机存取存储器(RAM)114)和/或非易失性存储器(例如，只读存储器(ROM)116)。存储器设备104还可以包括可重写ROM，例如闪速存储器。
大容量存储设备108包括各种计算机存储介质，例如磁带、磁盘、光盘、固态存储器(例如，闪速存储器)等等。如图1所示，特定大容量存储设备是硬盘驱动器124。各种驱动器也可以被包括在大容量存储设备108中，以实现从各种计算机可读介质中读取和/或写入各种计算机可读介质。大容量存储设备108包括可移动介质126和/或不可移动介质。
I/O设备110包括允许数据和/或其它信息被输入到计算设备100中或从计算设备100检索的各种设备。示例I/O设备110包括光标控制设备、键盘、小键盘、条形码扫描器、麦克风、监视器或其它显示设备、扬声器、打印机、网络接口卡、调制解调器、摄像机、透镜、电荷耦合器件(CCD)或其他图像捕获设备、以及诸如此类。
显示设备130包括能够向计算设备100的一个或多个用户显示信息的任何类型的设备。显示设备130的示例包括监视器、显示器终端、视频投影设备、以及诸如此类。
接口106包括允许计算设备100与其他系统、设备或计算环境以及人类交互的各种接口。示例接口106可以包括任意数量的不同的网络接口120，例如到个人局域网(PAN)、局域网(LAN)、广域网(WAN)、无线网络(例如，近场通信(NFC)、蓝牙、无线保真(Wi-Fi)等网络)和互联网的接口。其他接口包括用户界面118和外围设备接口122。
总线112允许处理器102、存储器设备104、接口106、大容量存储设备108和I/O设备110彼此通信以及与连接到总线112的其它设备或部件通信。总线112表示若干类型的总线结构中的一种或多种，例如系统总线、外围部件互连(PCI)总线、电气与电子工程师协会(IEEE)1394总线、通用串行总线(USB总线)等等。
本发明的各方面可以被用于识别和比较路面标记，以便正确地遵守相关(例如，较新的)道路指令。摄像机、激光雷达(LIDAR，光检测和测距)和其他距离传感器可以被用于捕获道路和周围车辆的信息。使用神经网络的计算机视觉和传感器融合算法可以被训练以识别道路和停车场上的周围车辆和关注的冲突的路面标记区域。当检测到多组标记时，包括颜色强度、反射率、车道反射器(lane reflector)的存在、油漆开裂和路面胶带(roadtape)剥落的多个因素可以被用来比较表面标记组并且确定要遵循的相关(例如，较新的)标记。其他道路标记信息也可以被使用。当确定要遵循的一组标记时，其他车辆的行为也可以被用于增加确定性。
识别和比较路面标记可以包括：(1)使用神经网络来识别传感器视野范围内的道路上的表面标记和其他车辆，(2)确定所识别的关注区域的边界框，(3)将边界框内的图像数据发送到算法，该算法被配置为确定是否存在多组路面标记，并且如果是，则比较这些组路面标记以确定要遵循的相关标记组，以及(4)将相关路面标记发送到车辆决策算法。
图2说明了便于区分车辆要遵循的车道标记的示例计算机架构200。计算机架构200可以被包含在车辆内，诸如，例如，轿车、卡车、公共汽车或摩托车。参考图2，计算机架构200包括计算机系统201、图像捕获设备210和激光雷达系统220。在一些实施例中，还包括雷达系统230。计算机系统201、图像捕获设备210、激光雷达系统220和雷达系统230中的每一个以及它们各自的部件可以通过网络(或者网络的一部分)——诸如，例如，PAN、LAN、WAN、以及甚至互联网——彼此连接。因此，计算机系统201、图像捕获设备210、激光雷达系统220和雷达系统230以及任何其他连接的计算机系统及其部件中的每一个可以创建消息相关的数据并且通过网络交换消息相关的数据(例如，近场通信(NFC)净负荷、蓝牙数据包、互联网协议(IP)数据包以及利用IP数据包的其他更高层协议——例如，传输控制协议(TCP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)等)。
在一个方面，图像捕获设备210、激光雷达系统220和可能的雷达系统230中的每一个都被包括在车辆中。每一个感测设备被配置为感测车辆附近的数据。例如，图像捕获设备210被配置为捕获图像数据212，激光雷达系统220被配置为捕获激光雷达数据222，并且雷达系统230被配置为捕获雷达数据232。
如图所示，计算机系统201包括数据处理模块240和控制系统模块250。数据处理模块240被配置为接收来自感测设备的数据。例如，数据处理模块240可以接收来自图像捕获设备210的图像数据212、来自激光雷达系统220的激光雷达数据222、以及在一些方面来自雷达系统230的雷达数据232。
数据处理模块240进一步包括路面标记识别模块242、相邻车辆识别模块244、关注区域模块246和车道识别模块248。
路面标记识别模块242被配置为从包含在接收到的传感器数据中的信息识别车辆附近的道路标记。信息可以包括属性，诸如，例如，颜色强度、反射率、车道反射器的存在、油漆开裂和路面胶带剥落。其他道路标记信息也可以被使用。
相邻车辆识别模块244被配置为从包含在接收到的传感器数据中的信息检测相邻车辆。例如，相邻车辆信息模块244可以检测相邻车辆的位置和轨迹。检测到的车辆可以在与包括图像捕获设备210、激光雷达系统220和可能的雷达系统230的车辆相同的方向上(例如，在与车辆相同的车道中或在与车辆相邻的车道中)行驶。检测到的车辆也可以朝向自动车辆行驶(例如，在迎面而来的车流中)。
关注区域模块246被配置为识别用于确定要遵循的正确车道标记的车道标记数据。例如，关注区域模块246可以识别与车辆有关的车道标记数据260，并且排除其他路面标记，例如限速信息、HOV标记、以及诸如此类。关注区域模块246还可以识别与车辆处于相关接近度内的相邻车辆的位置和轨迹相关的相邻车辆数据262。
关注区域模块246被配置为将车道标记数据260和相邻车辆数据262传送到车道识别模块248。车道识别模块248被配置为利用车道标记数据260的属性来确定要遵循的相关车道标记组。例如，车道标记的属性可以包括颜色强度、反射率、车道反射器的存在、油漆开裂和路面胶带剥落。其他道路标记的属性也可以被利用。车道识别模块248可以利用相邻车辆数据262来确定相邻车辆的位置和轨迹。一旦车道识别模块248已经识别出要遵循的相关车道标记，车道识别模块就可以利用相邻车辆的位置和轨迹来增加相关车道标记实际上是要遵循的车道标记的置信水平。
控制系统模块250被配置为利用相关车道标记来控制车辆的位置和轨迹。
图3说明了用于区分车辆要遵循的车道标记的示例方法300的流程图。方法300将相对于计算机架构200的部件和数据来描述。
方法300包括访问已由多个传感器收集到的传感器数据，该多个传感器包括第一类型的传感器和至少第二不同类型的传感器，该传感器数据指示路面标记，该路面标记包括颜色强度和反射率，该传感器数据还指示相邻车辆的位置和轨迹(301)。例如，车辆可以包括计算机系统201、图像捕获设备210、激光雷达系统220以及可能还有雷达系统230。其他传感器也是可能的。图像捕获设备210可以捕获图像数据212，激光雷达系统220可以捕获激光雷达数据222，并且当被包括时，雷达系统230可以捕获雷达数据232。数据处理模块240可以访问图像数据212、激光雷达数据222、以及在适当时雷达数据232。共同地，图像数据212、激光雷达数据222以及在适当时雷达数据232(以下也被称为“访问的传感器数据”)可以指示车辆附近的路面标记和相邻车辆。路面标记的指示可以包括用于确定路面标记的颜色强度和反射率的数据。相邻车辆的指示可以包括用于确定位置和轨迹的数据。
路面标记模块242可以利用访问的传感器数据来识别道路上的路面标记。例如，路面标记模块242可以识别涂漆的车道标记、转向车道标记、停止标志标记、限速标记和铁路穿越标记，仅举几个例子。
相邻车辆识别模块244可以利用访问的传感器数据来识别相邻车辆。例如，相邻车辆识别模块244可以识别车辆所在的道路上的相邻车辆的位置和轨迹。
方法300包括从访问的传感器数据来确定边界框，该边界框表示用于区分路面标记和相邻车辆的关注区域(302)。例如，关注区域模块246可以从图像数据212、激光雷达数据222以及在适当时雷达数据232来确定边界框。在一个方面，图像数据212描绘了道路和相关车道标记以及道路上的车辆在图像拍摄时的图像。关注区域模块246可以隔离识别车辆要遵循的车道所必需的车道标记数据和相邻车辆数据。
例如，图像数据212中的道路标记可以包括两条黄色实线、两条褪色黄线、白色虚线、褪色白色虚线、白色实线和褪色白线。褪色的线不如在此所述的其它线亮或突出。关注区域模块246可以利用边界框算法来确定黄色实线的边界框、褪色黄线的边界框、白色虚线的边界框、褪色白色虚线的边界框、白色实线的边界框以及褪色白线的边界框。
关注区域模块246还可以利用边界框从访问的传感器数据中隔离相邻车辆数据。访问的传感器数据可以指示道路上的其他车辆。例如，访问的传感器数据可以描绘同一车道中的车辆、相邻车道中的车辆、相邻车道中的迎面驶来的车辆、以及远车道中的迎面驶来的车辆。关注区域模块246可以利用边界框算法来确定以下中的任一个：同一车道中的车辆的边界框、相邻车道中的车辆的边界框、相邻车道中的迎面驶来的车辆的边界框、以及迎面而来的远车道中的车辆的边界框。
方法300包括处理边界框内的访问的传感器数据以确定存在多个路面标记(303)。例如，数据处理模块240可以处理包含在边界框内的访问的传感器数据，以确定车辆正在行驶的道路的车道中存在多个车道标记。多个车道标记可以包括两条黄色实线和两条褪色黄线。数据处理模块240可以将两组路面标记识别为歧义的和/或冲突的，并且确定存在多个路面标记。数据处理模块240可以表示在车道标记数据260中的两组路面标记。
数据处理模块240还可以表示在相邻车辆数据262中识别的相邻车辆。例如，相邻车辆数据262可以识别相邻车辆的位置和轨迹。
响应于确定存在多个路面标记，方法300包括利用传感器数据来从多个路面标记中识别车辆要遵循的路面标记(304)。例如，车道识别模块248可以利用车道标记数据260来从多个路面标记中识别车辆要遵循的路面标记。车道识别模块248可以利用访问的传感器数据来比较两条黄色实线和两条褪色的黄色实线以及白色虚线和褪色的白色虚线的颜色强度、反射率、车道反射器的存在、油漆开裂和路面胶带剥落。其他属性也可以被比较。给定访问的传感器数据，车道识别模块248可以将两条黄色实线和白色虚线识别为车辆要遵循的车道的相关车道标记。
响应于确定存在多个路面标记，方法300包括利用相邻车辆的位置和轨迹来增加关于所识别的路面标记的置信度(305)。例如，车道识别模块248可以利用相邻车辆数据262来识别相邻车辆的位置和轨迹，以增加关于将两条黄色实线和白色虚线识别为相关车道标记的置信度。车道识别模块248可以确定车辆正在与本车辆相同的方向上并且在相同的车道中移动。车道识别模块248可以确定相邻车辆正在与车辆相同的方向上在相邻的车道中移动。此外，车道识别模块248可以将其他相邻车辆识别为在车辆的相反方向上并且在相邻的车道中行驶的车辆。给定相邻车辆的位置和轨迹信息，车道识别模块248增加了两条黄色实线和白色虚线相关的置信度。
响应于确定存在多个路面标记，方法300包括将所识别的路面标记发送到车辆的决策算法，以用于控制车辆的位置和轨迹(306)。例如，数据处理模块240可以将两条黄色实线和白色虚线发送到控制系统模块250，以用于控制车辆的位置和轨迹。
图4说明了示例道路情景400。如图所示，道路402包括车道403、404、405和406。车辆450正在道路402上的车道403中行驶。车辆450包括被配置为在自主模式中控制车辆450的计算机系统(未示出)。在一个方面，计算机系统类似于计算机系统201。为此，计算机系统可以利用车道信息(例如车道标记)来估计车道403的边界。
车辆450包括图像捕获设备452、激光雷达单元454和/或雷达单元456。其他传感器也是可能的。车辆450可以利用多个传感器来获取关于车道403的信息。例如，计算机系统可以利用图像捕获设备452和激光雷达单元454来感测车道403的车道标记。在一些方面，雷达单元456也可以被用于收集关于车辆450的环境的信息。
计算机系统可以被配置为利用边界框从访问的传感器数据中识别关注区域。例如，来自图像捕获设备452的访问的数据可以描绘道路402的图像。图像可以包括在图像拍摄时道路402上的相关车道标记和车辆。计算机系统可以隔离识别车辆450要遵循的车道403的边界所必需的车道标记数据和相邻车辆数据。
计算机系统可以利用边界框从访问的传感器数据中隔离道路标记数据。例如，访问的传感器数据中的道路标记可以包括两条黄色实线410、两条褪色黄线412、白色虚线420、褪色的白色虚线422、白色实线430和褪色的白线432。计算机系统可以利用边界框算法来确定：黄色实线410的边界框411、褪色黄线412的边界框413、白色虚线420的边界框421、褪色的白色虚线422的边界框423、白色实线430的边界框431和褪色的白线432的边界框433。
计算机系统还可以利用边界框从访问的传感器数据中隔离相邻车辆数据。访问的传感器数据可以描绘道路上的其他车辆。例如，访问的传感器数据可以指示车道403中的车辆460、车道404中的车辆462、车道405中的迎面驶来的车辆464、以及车道406中的迎面驶来的车辆466。计算机系统可以利用边界框算法来确定：用于车辆460的边界框461、用于车辆462的边界框463、用于迎面驶来的车辆464的边界框465和用于车辆466的边界框467。
计算机系统可以处理包含在边界框内的访问的传感器数据，以确定在车道403中存在多个车道标记。例如，边界框内的访问的传感器数据中的道路标记可以描绘两条黄色实线410和两条褪色黄线412。计算机系统可以将两组路面标记识别为歧义的和/或冲突的车道标记组。因此，计算机系统确定存在多个路面标记。
响应于确定存在多个路面标记，计算机系统可以利用访问的传感器数据来识别车辆450要遵循的相关路面标记。例如，计算机系统可以利用访问的传感器数据来比较两条黄色实线410和两条褪色黄线412的颜色强度、反射率、车道反射器的存在、油漆开裂和路面胶带剥落。类似地，计算机系统可以利用访问的传感器数据来比较白色虚线420和褪色的白色虚线422的颜色强度、反射率、车道反射器的存在、油漆开裂和路面胶带剥落。其他因素也可以被使用。基于访问的传感器数据，计算机系统可以将两条黄色实线410和白色实虚线420识别为限定车道403的相关(和正确的)车道标记。
此外，计算机系统能够利用相邻车辆的位置和轨迹来增加关于两条黄色实线410和白色虚线420的识别的置信度。例如，访问的传感器数据可以指示车辆460的位置和轨迹。计算机系统可以确定车辆460正在与车辆450相同的方向上的车道403中移动。访问的传感器数据可以指示车辆462的位置和轨迹。计算机系统401可以确定车辆462正在与车辆450相同的方向上的车道404中移动。此外，计算机系统401可以识别分别在车辆450的相反方向上在车道405和406中行驶的车辆464和车辆466。给定相邻车辆的位置和轨迹信息，计算机系统增加了两条黄色实线410和白色虚线420被适当地识别的置信度。
在已经识别出正确的车道标记之后，计算机系统可以将所识别的正确车道标记传送到车辆450的决策算法，以用于控制车辆的位置和轨迹。
虽然示出并且以特定布置描述了本文所说明的部件和模块，但是部件和模块的布置可以被改变以以不同的方式处理数据。在其他实施例中，一个或多个附加部件或模块可以被添加到所描述的系统，并且一个或多个部件或模块可以被从所描述的系统中移除。替代实施例可以将所描述的部件或模块中的两个或更多个组合成单个部件或模块。
为了说明和描述的目的，前面的描述已被呈现。它不旨在是穷尽或将本发明限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。此外，应该指出的是，上述替代实施里中的任一个或全部可以以任意所需的组合使用以形成本发明的附加混合实施例。
此外，虽然本发明的特定实施例已被描述和说明，但是本发明不被限于所描述和所说明的特定的形式或部件的布置。本发明的范围由所附的权利要求、本申请中和不同申请中所提交的任何未来的权利要求及其等同物来限定。

Claims (20)

1.一种基于路面车道标记的车辆自动控制的方法，所述方法包含：
访问来自所述车辆中的多个传感器的传感器数据，所述多个传感器监控车辆行进处的道路；
从所述访问的传感器数据来确定边界框，所述边界框表示用于区分路面标记和相邻车辆的关注区域；
处理所述边界框内的所述访问的传感器数据以识别多个路面车道标记的组；
利用所述传感器数据来从所述多个路面车道标记的组中识别一组路面车道标记；以及
通过沿着所述路面车道标记的组控制道路车道内的所述车辆。
2.根据权利要求1所述的方法，进一步包含：
处理所述访问的传感器数据以识别相邻车辆的位置和轨迹；以及
利用所述相邻车辆的所述位置和所述轨迹来增加关于车辆所遵循的所述识别的路面车道标记的组的置信度。
3.根据权利要求1所述的方法，其中识别路面车道标记的组包含检测至少两个具有不同视觉外观的候选车道标记。
4.根据权利要求3所述的方法，其中检测至少两个具有不同视觉外观的候选车道标记包含检测在下列中的一个或多个方面存在不同的至少两个候选车道标记：颜色强度、反射率、车道反射器的存在、油漆开裂、以及路面胶带剥落。
5.根据权利要求1所述的方法，其中访问来自多个传感器的传感器数据包含访问来自下列中的两个或更多个的数据：图像捕获设备、激光雷达系统和雷达系统。
6.一种在计算机系统中使用的方法，所述计算机系统包括一个或多个处理器和系统存储器，所述方法用于区分车辆要遵循的车道标记，所述方法包含：
访问已由多个传感器收集到的传感器数据，所述多个传感器包括第一类型的传感器和至少第二不同类型的传感器，所述传感器数据指示路面标记，所述路面标记包括颜色强度和反射率，所述传感器数据还指示相邻车辆的位置和轨迹；
从所述访问的传感器数据来确定边界框，所述边界框表示用于区分路面标记和相邻车辆的关注区域；
处理所述边界框内的所述访问的传感器数据以确定存在多个路面标记；
响应于确定存在所述多个路面标记而：
利用所述传感器数据来从所述多个路面标记中识别所述车辆要遵循的路面标记；以及
利用所述相邻车辆的所述位置和所述轨迹来增加关于所述识别的路面标记的置信度；以及
将所述识别的路面标记发送到所述车辆的决策算法，以用于控制所述车辆的位置和轨迹。
7.根据权利要求6所述的方法，其中确定存在多个路面标记包含检测至少两个具有不同视觉外观的候选车道标记。
8.根据权利要求7所述的方法，进一步包含：从下列中的一个或多个方面来确定所述多个路面标记中的每一个的视觉外观：颜色强度、反射率、车道反射器的存在、油漆开裂和路面胶带剥落。
9.根据权利要求6所述的方法，其中所述传感器数据来自多个传感器，所述多个传感器选自：激光雷达系统、图像捕获设备和雷达系统。
10.根据权利要求9所述的方法，进一步包含：利用所述相邻车辆的所述位置和所述轨迹来增加所述识别的要遵循的路面标记的置信度。
11.根据权利要求6所述的方法，其中访问传感器数据包含访问指示下列中的一个或多个的传感器数据：涂覆到路面上的限速信息和停车标志信息。
12.根据权利要求6所述的方法，其中识别与道路上或所述道路附近的相邻车辆相关联的位置和轨迹包含识别与所述车辆在同一车道中的车辆。
13.根据权利要求6所述的方法，其中识别与道路上或所述道路附近的相邻车辆相关联的位置和轨迹包含识别与所述车辆在不同的车道中的车辆。
14.根据权利要求6所述的方法，其中识别与相邻车辆相关联的位置和轨迹包含识别与所述车辆在同一方向上行驶的车辆。
15.根据权利要求6所述的方法，其中识别与相邻车辆相关联的位置和轨迹包含识别与所述车辆在相反的方向上行驶的车辆。
16.一种用于区分车辆要遵循的车道标记的系统，所述系统包含：
一个或多个处理器；
系统存储器；
多个传感器，所述多个传感器包括第一类型的传感器和至少第二不同类型的传感器；
一个或多个计算机存储设备，所述一个或多个计算机存储设备具有存储在其上的计算机可执行指令，当所述计算机可执行指令被执行时，使车辆计算机系统：
访问已由所述多个传感器收集到的传感器数据，所述传感器数据指示路面标记，所述路面标记包括颜色强度和反射率，所述传感器数据还指示相邻车辆的位置和轨迹；
从所述访问的传感器数据来确定边界框，所述边界框表示用于区分所述路面标记和所述相邻车辆的关注区域；
处理所述边界框内的所述访问的传感器数据以确定存在多个路面标记；
响应于确定存在所述多个路面标记而：
利用所述传感器数据来从所述多个路面标记中识别所述车辆要遵循的路面标记；
利用所述相邻车辆的所述位置和所述轨迹来增加关于所述识别的路面标记的置信度；以及
将所述识别的路面标记发送到所述车辆的决策算法，以用于控制所述车辆的位置和轨迹。
17.根据权利要求16所述的系统，其中当被执行时使所述车辆计算机系统访问传感器数据的所述计算机可执行指令包含当被执行时使所述车辆计算机系统进行下列操作的所述计算机可执行指令：接收来自所述车辆的传感器之一的至少一种类型的数据和来自所述车辆的不同类型的传感器的至少第二种不同类型的数据。
18.根据权利要求16所述的系统，进一步包含在所述车辆计算机系统中的计算机可执行指令，当所述计算机可执行指令被执行时，使所述计算机系统查询针对路面标记的不同类型的传感器数据。
19.根据权利要求16所述的系统，进一步包含在所述车辆计算机系统中的计算机可执行指令，当所述计算机可执行指令被执行时，使所述计算机系统查询针对相邻车辆的不同类型的传感器数据。
20.根据权利要求16所述的系统，进一步包含在所述车辆计算机系统中的计算机可执行指令，当所述计算机可执行指令被执行时，使所述计算机系统解析关注区域的所述传感器数据，所述关注区域由边界框限制。
CN201610991318.XA 2015-11-17 2016-11-10 区分车辆要遵循的车道标记 Active CN107103272B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/943,573 2015-11-17
US14/943,573 US9829888B2 (en) 2015-11-17 2015-11-17 Distinguishing lane markings for a vehicle to follow

Publications (2)

Publication Number Publication Date
CN107103272A CN107103272A (zh) 2017-08-29
CN107103272B true CN107103272B (zh) 2022-06-28

Family

ID=57993822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610991318.XA Active CN107103272B (zh) 2015-11-17 2016-11-10 区分车辆要遵循的车道标记

Country Status (5)

Country Link
US (2) US9829888B2 (zh)
CN (1) CN107103272B (zh)
DE (1) DE102016121864A1 (zh)
GB (1) GB2546372A (zh)
MX (1) MX2016015049A (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348066B2 (en) 2013-07-25 2022-05-31 IAM Robotics, LLC System and method for piece picking or put-away with a mobile manipulation robot
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
JP6919428B2 (ja) * 2016-12-21 2021-08-18 トヨタ自動車株式会社 車両データ記録装置
JP7005943B2 (ja) * 2017-06-06 2022-01-24 愛知製鋼株式会社 マーカシステム及び運用方法
DE102017116016A1 (de) * 2017-07-17 2019-01-17 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und einem neuronalen Netz zum Erzeugen einer integrierten Repräsentation einer Umgebung
US10549762B2 (en) * 2017-07-31 2020-02-04 GM Global Technology Operations LLC Distinguish between vehicle turn and lane change
US10678241B2 (en) 2017-09-06 2020-06-09 GM Global Technology Operations LLC Unsupervised learning agents for autonomous driving applications
JP7027738B2 (ja) * 2017-09-06 2022-03-02 株式会社デンソー 運転支援装置
DE102017223206A1 (de) * 2017-12-19 2019-06-19 Robert Bosch Gmbh Niederdimensionale Ermittlung von abgegrenzten Bereichen und Bewegungspfaden
DE102018112513A1 (de) * 2018-05-24 2019-11-28 Daimler Ag Verfahren und System zur Ableitung einer Trajektorie an einer Systemgrenze eines autonomen Fahrzeugs durch einen Teleoperator
CN108820042B (zh) * 2018-05-25 2020-04-10 东软集团股份有限公司 一种自动驾驶方法及装置
DE102018120049A1 (de) 2018-08-17 2020-02-20 Valeo Schalter Und Sensoren Gmbh Method for recognizing driving lanes for a motor vehicle with selection of a temporary driving lane by a user on a display unit, as well as vehicle guidance system and computer program product
US10800409B2 (en) * 2018-09-04 2020-10-13 Caterpillar Paving Products Inc. Systems and methods for operating a mobile machine using detected sounds
JP7202112B2 (ja) 2018-09-11 2023-01-11 本田技研工業株式会社 車両用制御システムおよび車両の制御方法
JP7035945B2 (ja) * 2018-10-04 2022-03-15 トヨタ自動車株式会社 地図情報システム
CN111257866B (zh) * 2018-11-30 2022-02-11 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN113168771A (zh) 2018-12-07 2021-07-23 美光科技公司 车道偏离设备、系统和方法
CN109816626A (zh) * 2018-12-13 2019-05-28 深圳高速工程检测有限公司 路面裂缝检测方法、装置、计算机设备和存储介质
WO2020133369A1 (en) * 2018-12-29 2020-07-02 Beijing Didi Infinity Technology And Development Co., Ltd. Identifying a curb based on 3-d sensor data
US11142196B2 (en) * 2019-02-03 2021-10-12 Denso International America, Inc. Lane detection method and system for a vehicle
CA3136143A1 (en) 2019-04-05 2020-10-08 IAM Robotics, LLC Autonomous mobile robotic systems and methods for picking and put-away
US10937178B1 (en) * 2019-05-09 2021-03-02 Zoox, Inc. Image-based depth data and bounding boxes
US11087494B1 (en) 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization
US10984543B1 (en) 2019-05-09 2021-04-20 Zoox, Inc. Image-based depth data and relative depth data
US11823016B2 (en) * 2019-05-29 2023-11-21 Bank Of America Corporation Optimized IoT data processing for real-time decision support systems
US11887381B2 (en) * 2021-04-30 2024-01-30 New Eagle, Llc Use of HCNN to predict lane lines types
CN114537443B (zh) * 2022-03-22 2024-05-03 重庆长安汽车股份有限公司 一种用于行车和泊车的纵向控制系统及方法
US11403860B1 (en) * 2022-04-06 2022-08-02 Ecotron Corporation Multi-sensor object detection fusion system and method using point cloud projection
FR3140051A1 (fr) * 2022-09-22 2024-03-29 Psa Automobiles Sa Méthodes et systèmes de détection des lignes de délimitation temporaires des voies de circulation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101670835A (zh) * 2008-07-18 2010-03-17 通用汽车环球科技运作公司 道路车道标志检测
CN101681557A (zh) * 2007-04-27 2010-03-24 爱信艾达株式会社 驾驶支援装置
CN103183028A (zh) * 2012-01-02 2013-07-03 福特全球技术公司 用于机动车辆的车道保持方法
CN103303306A (zh) * 2012-03-07 2013-09-18 奥迪股份公司 就所出现的危险状况对车辆驾驶员作出警示的方法
CN104603841A (zh) * 2012-08-30 2015-05-06 本田技研工业株式会社 行车线标识识别装置
CN104870288A (zh) * 2012-11-06 2015-08-26 谷歌公司 辅助自主车辆行驶经过车道合并的方法和系统
CN105008857A (zh) * 2013-02-25 2015-10-28 大陆汽车有限责任公司 用于汽车的智能视频导航

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3658519B2 (ja) * 1999-06-28 2005-06-08 株式会社日立製作所 自動車の制御システムおよび自動車の制御装置
DE10311240B4 (de) * 2003-03-14 2017-03-02 Robert Bosch Gmbh Verfahren und Einrichtung für die Spurführung eines Fahrzeugs
JP3898709B2 (ja) 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP4659631B2 (ja) 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
JP4616068B2 (ja) 2005-04-28 2011-01-19 本田技研工業株式会社 車両、画像処理システム、画像処理方法及び画像処理プログラム
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
JP5066123B2 (ja) * 2009-03-24 2012-11-07 日立オートモティブシステムズ株式会社 車両運転支援装置
US8296030B2 (en) * 2010-07-07 2012-10-23 Robert Bosch Gmbh System and method for controlling the engine of a vehicle
WO2012141219A1 (ja) * 2011-04-13 2012-10-18 日産自動車株式会社 走行支援装置及びその隣接車両検出方法
FR2977957B1 (fr) * 2011-07-12 2016-07-01 Inst Francais Des Sciences Et Tech Des Transp De L'amenagement Et Des Reseaux (Ifsttar) Dispositif et procede d'imagerie pour produire une image de marquages routiers
EP2574958B1 (en) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
JP5926080B2 (ja) * 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
US8504233B1 (en) 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
GB201209972D0 (en) 2012-06-06 2012-07-18 Univ Warwick Organic electron acceptor compounds
US9053372B2 (en) 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
EP2746137B1 (en) * 2012-12-19 2019-02-20 Volvo Car Corporation Method and system for assisting a driver
US20140267415A1 (en) * 2013-03-12 2014-09-18 Xueming Tang Road marking illuminattion system and method
KR101491256B1 (ko) * 2013-05-28 2015-02-06 현대자동차주식회사 무선통신을 이용한 차선인식 장치 및 방법
JP5977275B2 (ja) * 2014-02-14 2016-08-24 株式会社日本自動車部品総合研究所 分岐路認識装置
JP6193819B2 (ja) * 2014-07-11 2017-09-06 株式会社Ｓｏｋｅｎ 走行区画線認識装置
US9959624B2 (en) * 2014-12-22 2018-05-01 Volkswagen Ag Early detection of turning condition identification using perception technology
JP6269566B2 (ja) * 2015-05-08 2018-01-31 トヨタ自動車株式会社 誤認識判定装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681557A (zh) * 2007-04-27 2010-03-24 爱信艾达株式会社 驾驶支援装置
CN101670835A (zh) * 2008-07-18 2010-03-17 通用汽车环球科技运作公司 道路车道标志检测
CN103183028A (zh) * 2012-01-02 2013-07-03 福特全球技术公司 用于机动车辆的车道保持方法
CN103303306A (zh) * 2012-03-07 2013-09-18 奥迪股份公司 就所出现的危险状况对车辆驾驶员作出警示的方法
CN104603841A (zh) * 2012-08-30 2015-05-06 本田技研工业株式会社 行车线标识识别装置
CN104870288A (zh) * 2012-11-06 2015-08-26 谷歌公司 辅助自主车辆行驶经过车道合并的方法和系统
CN105008857A (zh) * 2013-02-25 2015-10-28 大陆汽车有限责任公司 用于汽车的智能视频导航

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Increasing Driving Safety with a Multiple Vehicle Detection and Tracking Systems using Ongoing Vehicle Shadow Information;Burcu Aytekin 等;《2010 IEEE International Conference on Systems，Man and Cybernetics》;20101122;第3650-3656页 *
Lane-mark extraction for automobiles under complex conditions;Pei-Chen Wu 等;《Pattern Recognition》;20140311;第47卷(第8期);第2756-2767页 *
存在车辆干扰的车道线识别;郭磊等;《汽车工程》;20070525(第05期);全文 *
结构化道路车道标线识别算法研究;高嵩等;《西安工业大学学报》;20130125(第01期);全文 *
道路白线标记的实时检测;叶秀清，王效灵，顾伟康;《电子计算机与外部设备》;19960115(第01期);全文 *

Also Published As

Publication number Publication date
GB201619452D0 (en) 2017-01-04
MX2016015049A (es) 2017-08-10
GB2546372A (en) 2017-07-19
CN107103272A (zh) 2017-08-29
US9829888B2 (en) 2017-11-28
DE102016121864A1 (de) 2017-05-18
US10048691B2 (en) 2018-08-14
US20170139417A1 (en) 2017-05-18
US20180024560A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
CN107103272B (zh) 区分车辆要遵循的车道标记
CN108571974B (zh) 使用摄像机的车辆定位
CN107024215B (zh) 追踪动态环境内的对象以改进定位
CN109584578B (zh) 用于识别行驶车道的方法和装置
CN107644197B (zh) 后部摄像机车道检测
US11967230B2 (en) System and method for using V2X and sensor data
US20150211870A1 (en) Method for using street level images to enhance automated driving mode for vehicle
US20230102802A1 (en) Map change detection
CN106778548B (zh) 用于检测障碍物的方法和装置
CN111353522B (zh) 用于确定车辆周围环境中的路标的方法和系统
US10515293B2 (en) Method, apparatus, and system for providing skip areas for machine learning
US11913791B2 (en) Crosswalk detection
CN108986463B (zh) 一种路况信息处理方法、装置及电子设备
WO2022193992A1 (zh) 灯光投影装置、方法及存储介质
CN108022250B (zh) 基于自适应阈值分割的自动驾驶处理方法及装置
US20220363287A1 (en) Systems and methods to classify a road based on a level of suppport offered by the road for autonomous driving operations
CN116993885A (zh) 一种道路场景渲染方法及装置、电子设备及存储介质
CN116890878A (zh) 自动驾驶人行横道通行方法、装置、设备及存储介质
JPWO2019057252A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant