CN114127655A - 封闭车道检测 - Google Patents
封闭车道检测 Download PDFInfo
- Publication number
- CN114127655A CN114127655A CN202080051044.0A CN202080051044A CN114127655A CN 114127655 A CN114127655 A CN 114127655A CN 202080051044 A CN202080051044 A CN 202080051044A CN 114127655 A CN114127655 A CN 114127655A
- Authority
- CN
- China
- Prior art keywords
- lane
- object detection
- determining
- detection result
- autonomous vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 description 73
- 230000008447 perception Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 37
- 238000010276 construction Methods 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000009435 building construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请所公开的技术方案用于检测道路的车道是开放还是封闭。检测车道被封闭可以包括:检测车道内或附近的物体,这可以包括:确定与物体相关联的尺寸、位置和/或类别,以及扩大与物体相关联的尺寸。如果扩展物体检测结果与另一物体检测结果、扩展物体检测结果或车道范围之间的距离小于阈值距离,则可指示车道被封闭。该技术方案可以附加地或替代地包括:至少部分地基于一个或多个物体检测结果来确定备选车道形状和/或确定一个或多个车道被封闭和/或将车道封闭和/或备选车道形状上传到中央数据库,以通过其它计算设备检索/传播到其它计算设备。
Description
相关申请的交叉引用
本PCT国际申请要求享受2019年5月20日所提交的申请号为16/417441的美国专利申请的优先权,该美国专利申请在本申请中全文引用。
背景技术
诸如交通锥桶、路标、指示牌、信号灯等的物体(本申请说明书称之为“安全物体”)可以放置在道路上或附近以指示道路的车道是封闭的。例如,车道可能因施工、车辆碰撞、车辆维修等原因而封闭。在一些情况下,放置在道路上或附近的(多个)物体可能不会完全挡住道路(例如,可以将一个小标志放在车道中间,可以将一个或多个锥桶放在车道中)。即使没有完全挡住车道,人们也会理解车道是完全封闭的。然而,为避免撞到物体而进行简单编程的自动驾驶汽车可能无法识别或注意到车道封闭,可能只是避开(多个)安全物体。例如,如果交通锥桶之间的间距足够大而致使自动驾驶车辆可以驶过交通锥桶且不会发生碰撞,则自动驾驶车辆可能会进入或并入封闭车道。
附图说明
参照附图进行详细描述。图中附图标记最左边的(多个)数字识别该附图标记第一次出现的图。不同图中相同的参考数字指示相似或相同的部件。
图1示出了描绘自动驾驶车辆和封闭车道的示例场景,其中自动驾驶车辆可以检测到车道封闭。
图2A至图2E示出了用于检测封闭车道的示例过程的流程图。
图3示出了接近换道变窄处的车辆的鸟瞰图,这可以是车辆确定行驶方向的所有车道都封闭的示例场景。
图4示出了车辆可以与封闭车道状态和/或开放车道状态相关联地确定的一个或多个备选车道形状的鸟瞰图。
图5示出了用于检测封闭车道和/或确定备选车道形状的示例系统的框图。
具体实施方式
本申请说明书所讨论的技术方案涉及检测道路的车道是开放的(例如,可用于操作车辆)还是封闭和/或以其他方式不可用的。在此所讨论的技术方案可提高采用本申请说明书所讨论的技术方案的自动驾驶车辆中乘客的安全性。附加地,这些技术方案还可以提高建筑工人、协助车辆维修的个人、自动驾驶车辆本身的结构完整性等的安全性。此外,这些技术方案也可以提高自动驾驶车辆在完成诸如运送乘客和/或货物、勘测区域等任务中的效率。该技术方案可以减少人为干预,借以向已经导航到包括至少一个(部分或完全)封闭车道区域的自动驾驶车辆提供指导。该技术方案可由此减少用于从自动驾驶车辆车队中的一个或多个自动驾驶车辆接收远程操作请求的网络的网络使用。
根据本申请说明书讨论的技术方案,自动驾驶车辆可以配置有多种部件以检测安全物体和/或指示车道封闭的标志并且避免在封闭车道中行驶。本申请说明书讨论的技术方案可以包括分析道路的一个或多个车道(例如,当前车道、一个或多个相邻车道、其他车道)的封闭。安全物体可以包括,例如,交通锥桶、路标、闪光信号灯、建筑车辆/执法车辆/拖车/电子收费车辆、建筑工人/执法人员/拖车工人/电子收费车辆人员等,并且安全标志可能包括指示施工区的标志、指示前方道路施工的标志、指示车道合并的标志、指示偏离规范道路结构的特定颜色标志(例如,美国的红橙色和/或橙色标志)、交通信号(例如,停车灯)、闪光信号灯和/或类似的标志。在一些示例中,自动驾驶车辆可以从自动驾驶车辆的一个或多个传感器接收传感器数据并且至少部分地基于传感器数据来确定与自动驾驶车辆周围的环境相关联的物体检测结果。
例如,自动驾驶车辆可以确定关联于与物体相关的一部分图像的感兴趣区域(ROI)(例如,边界框和/或实例分割)、与物体相关点的深度传感器的子集(例如、激光雷达、雷达、飞行时间(ToF)、深度相机)和/或与物体关联的三维ROI(例如,与图像关联的三维形状和/或限制深度传感器点的三维形状)。在一些示例中,物体检测结果可以指示物体在自动驾驶车辆周围环境内的位置。在其它实施例或替代性实施例中,物体检测结果可以指示尺寸(例如,在二维或更多维中的尺寸,如三维空间中的尺寸)、形状(例如,几何形状、曲线形状、边界形状、传感器数据的实例分割)、类别(例如,“行人”、“车辆”、“建筑工人”、“施工车辆”、“安全物体”、“交通锥桶”、“信号灯”、“安全标志”、“前方道路施工标志”,“并道标志”)和/或与物体关联的车道(例如,自动驾驶车辆的当前车道、左侧相邻车道、右侧相邻车道、识别特定车道的任何其他合适的指示)。在一些示例中,车道指示可以识别存储在可由自动驾驶车辆访问的地图中的车道(例如,此车道存储在可通过网络从分布式计算系统进行检索的自动驾驶车辆的存储器中)。
该技术方案可以包括:修改物体检测结果,例如通过至少部分地基于标量来扩展(即,增加)由物体检测结果指示的尺寸来修改物体检测结果。在一些示例中,可以至少部分地基于与道路相关联的方向进行扩展。例如,自动驾驶车辆可以确定与道路曲率和/或车道曲率相关联的切线。自动驾驶车辆可以在与切线相关的一个或多个维度上增大与物体检测结果相关联的尺寸(例如,可以沿着与切线相同的方向凸出)。而物体的尺寸可以在任何其它方向或替代性方向(例如,正交于切线或倾斜于切线的方向)上增大。
在一些示例中,尺寸增加的标量可以至少部分地基于道路或其一侧(例如,与车流相关的道路的一侧)的宽度、车道宽度、道路或其一侧的车道数量、自动驾驶车辆移动的速度、开放车道的数量、封闭车道的数量、与物体检测结果相关联的类别(例如,标量与“车辆”相关联的标量可能小于与“交通锥桶”相关联的标量)和/或封闭类型(例如,道路建设;车辆维修;其他建设,例如建筑施工;道路清洁或清理,如清理雪和污垢)。
在其它实施例或替代性实施例中,这种技术方案可以包括:确定正在分析的车道中的物体检测结果之间的距离和/或物体检测结果与正在分析的车道的车道范围之间的距离。在一些示例中,该技术方案可以包括确定物体检测结果与车道范围(例如,车道边缘,诸如道路边缘或车道标记)或下一个物体检测结果中的最近的一个之间的距离。在一些示例中,可以计算每个物体检测结果之间的距离。在这样的示例中,该技术方案可以包括确定物体检测结果和/或车道范围之间的两个或多个距离中的最大距离。
如果该距离小于距离阈值,则该技术方案可包括设置状态,以指示所分析的车道已封闭。在一些示例中,上述状态可以是状态机的状态、寄存器中的标志和/或任何其他持久状态。在一些示例中,状态可以,例如通过识别与状态相关联的地图的一部分,与所分析的车道和/或道路的一部分相关联。在一些示例中,自动驾驶车辆可以至少部分地基于状态来确定用于控制自动驾驶车辆的轨迹。例如,如果状态指示车辆正在行驶的当前车道在前方封闭,则自动驾驶车辆可以将车道改变为(由自动驾驶车辆)识别为开放的车道。在一些示例中,距离阈值可以至少部分地基于自动驾驶车辆的速度、车道宽度、道路的宽度、与一个或多个物体检测结果相关联的类别和/或行人与安全标志的接近程度(例如,这可能指示持有施工标志的建筑工人)。
如果距离符合距离阈值或超过距离阈值,则该技术方案可包括将车道识别为是开放的,但在附加或备选示例中,该技术方案可包括确定当前状态是否将车道识别为封闭和/或传感器数据是否表明没有安全物体。在一些示例中,如果状态将车道识别为封闭,则该技术方案可以包括将车道的状态保持为封闭。在附加或备选示例中,如果传感器数据表明不存在安全物体(例如,未生成符合安全物体类别的物体检测结果)的持续时间和/或操作距离达到或超过阈值时间段和/或阈值距离,则状态可以恢复为开放车道指示。换句话说,即使开放了供自动驾驶车辆通过的间隙,自动驾驶车辆可以保持封闭车道状态,直到从自动驾驶车辆上次检测到安全物体和/或安全标志。在附加或备选示例中,自动驾驶车辆可以至少部分地基于检测到车道已经重新开放的肯定指示(例如,“道路施工结束”标志、“慢行”标志、绿灯、指示重新开放车道和/或并道的照明序列发出的(多个)光照、从“停止”到“慢行”的反转信号)将封闭车道状态转换为开放车道状态。
在一些示例中,这些技术方案可以在附加或备选示例中将形状拟合到一个或多个物体检测结果(例如,多项式和/或另一曲线、多边形)和/或扩展物体检测结果,并将状态与形状相关联。例如,安全物体可以指定与诸如交通锥桶(如,合并交通锥桶、换向交通锥桶、单车道双向交通锥桶形)。自动驾驶车辆可以至少部分地基于形状来确定用于控制自动驾驶车辆的轨迹。
在一些示例中,自动驾驶车辆可以向远程计算设备传输道路的至少一部分的车道被封闭的指示。远程计算设备可以向车队的一辆或多辆发送该指示,进而对所存储的地图进行更新,借以指示与此道路的该部分相关的车道被封闭。例如,这种远程计算设备可以发送指令,借以存储与通过车辆所存储的一部分地图相关的车道封闭状态,其中这部分地图与道路的一部分相关联。
示例场景
图1示出了包括自动驾驶车辆102的示例场景100,该自动驾驶车辆可以被配置为检测车道封闭(不可在其上操作)或开放(可在其上操作)。在一些情况下,自动驾驶车辆102可以是配置为根据由美国国家公路交通安全管理局(National Highway Traffic SafetyAdministration)发布5级类别进行操作的自动驾驶车辆,其中描述了一种能够在整个行程中执行所有安全关键功能的车辆,而驾驶员(或乘员)在任何时间都不会控制该自动驾驶车辆。然而,在其他示例中,自动驾驶车辆102可以是具有任何其他级别或类别的完全自动驾驶车辆或部分自动驾驶车辆。可以预见的是,本申请说明书讨论的技术可不仅仅应用于机器人控制,例如用于自动驾驶车辆。例如,本申请说明书讨论的技术可以应用于空中导航/太空导航/水上导航/地下导航、制造、增强现实等。此外,即使自动驾驶车辆102被描绘为陆地车辆,自动驾驶车辆102也可以是航天器、飞机、船只、地下船和/或类似物。
根据这里所讨论的技术方案,自动驾驶车辆102可以从自动驾驶车辆102的(多个)传感器104接收传感器数据。例如,(多个)传感器104可以包括位置传感器(例如,全局定位系统(GPS)传感器)、惯性传感器(例如,加速度计传感器、陀螺仪传感器等)、磁场传感器(例如,指南针)、方位/速度/加速度传感器(例如,速度计、驱动系统传感器)、深度位置传感器(例如,激光雷达传感器、雷达传感器、声纳传感器、飞行时间(ToF)相机、深度相机)、图像传感器(例如,可见光谱相机、深度相机、红外相机)、音频传感器(例如,麦克风)和/或环境传感器(例如,气压计、湿度计等)。
(多个)传感器104可以生成传感器数据,这种传感器数据可以由(多个)计算设备106接收和/或存储在与自动驾驶车辆102相关联的存储器108(例如,缓存)中。然而,在其他示例中,(多个)传感器104和/或(多个)计算设备106中的一些或全部可以与自动驾驶车辆102分开和/或远离自动驾驶车辆102布置,并且一个或多个远程计算设备可以经由有线网络和/或无线网络使数据捕获、处理、命令和/或控制数据传输到/接收自自动驾驶车辆102。
在一些示例中,(多个)计算设备106可以包括:定位部件110、规划器112和/或感知引擎114。通常,定位部件110可以确定地图116内自动驾驶车辆102的位置和/或方向,其中地图116可存储在存储器108中;感知引擎114可以确定自动驾驶车辆102周围的环境中有什么;并且规划器112可以根据从感知引擎114接收到的关于环境的信息来确定如何操作自动驾驶车辆102。
地图116可以包括(多个)全局地图、(多个)可行驶路面地图和/或(多个)局部地图。全局地图可包括:道路、特征点(例如建筑物、商业地点、公园)、可在不同传感器模态中检测到的可用于定位自动驾驶车辆的特征点等。可行驶的路面可以包括路段、车道、交通信号位置、车道限制(例如,仅转弯、合并、让路)等。局部地图可以包括粒度更细的细节,在一些示例中,可以至少部分地基于传感器数据和/或可以由自动驾驶车辆生成粒度更细的细节。例如,局部地图可以包括自动驾驶车辆102周围环境的特征,例如道路坡度;消防栓、交通标志;红绿灯;树木、建筑物、固定座位、公共汽车站、任何上述物体的位置和/或尺寸等。确定自动驾驶车辆102在全局地图内的位置可以包括:确定自动驾驶车辆102所在的道路内的位置(例如,道路的一个或多个车道的车道的标识和/或在该车道内的方位)。确定自动驾驶车辆102在局部地图内的位置可以包括:确定自动驾驶车辆102与局部地图中识别的各种特征的相对距离,或本申请说明书所描述的其它方式(如图5所述)。在一些示例中,定位部件110可以输出自动驾驶车辆102在地图116中的方位。在附加或备选示例中,定位部件110可以确定自动驾驶车辆102的方向(例如,偏航角、俯仰角、翻滚角),这可能与全局地图和/或局部地图的定向和/或坐标有关。
感知引擎114可以从(多个)传感器104接收传感器数据并且可以从中确定感知数据。例如,感知引擎114可以包括一个或多个机器学习(ML)模型和/或其他计算机可执行指令,借以从自动驾驶车辆102的环境所收集到的传感器数据对物体进行检测、识别、分割、分类和/或跟踪。在一些示例中,感知引擎114可以包括用于检测车道是开放还是封闭的部件。
在图示的示例场景100中,当自动驾驶车辆102接近一组交通锥桶120时,自动驾驶车辆102可以从(多个)传感器104中的一个或多个接收传感器数据。交通锥桶120可以是与车道封闭相关的安全物体的一个示例。感知引擎114可以包括一个或多个ML模型,用于至少部分地基于传感器数据检测自动驾驶车辆102周围环境中的(多个)物体和/或对(多个)物体进行分类。例如,自动驾驶车辆102可以接收图像和/或点云数据(例如,来自激光雷达、雷达、声纳的数据),自动驾驶车辆102可以确定其与一个或多个安全物体相关联(例如,通过确定物体检测结果与安全类别相关)。
感知引擎114可以确定与检测到的物体相关联的方位、取向、大小、形状和/或轨迹(例如,与所检测到物体的先前方位、当前位置、预测位置、速度和/或加速度)。在一些示例中,感知引擎114可以输出与识别地图116中的物体的位置、物体相对于自动驾驶车辆102的取向和/或物体占据的体积的物体相关联的物体检测结果。例如,感知数据地图126可以表示地图116的一部分和数据的联合,上述数据与通过感知引擎114输出的与交通锥桶120相关联的物体检测结果128的集合相关联。
在一些示例中,如果感知引擎114生成的物体检测结果中的至少一个指示与安全物体相关联的类别(即,“安全类别”),则感知引擎114可以触发车道封闭分析。在附加或备选示例中,自动驾驶车辆102至少可以分析当前车道122;诸如相邻车道124的(多个)任何相邻车道;和/或任何其他车道,借以确定该车道是开放的还是封闭的。例如,感知引擎114可以连续地或周期性地进行这里所描述的车道封闭分析,而不管是否已经检测到安全物体,和/或如果检测到了安全物体,感知引擎114除了触发车道分析之外还可以进行定期车道分析。
在一些示例中,感知引擎114可以存储和/或保持由感知引擎114检测到的道路的一个或多个车道的状态(在一些示例中,可以由地图116指示一个或多个车道)。例如,感知引擎114可以在存储器108中存储状态跟踪器118,该状态跟踪器包括与感知引擎114分析的每条车道相关联的状态。在一些示例中,状态可以识别所分析的车道是封闭还是开放和/或识别处于与状态相关联的地图116的至少一部分(例如,车道标识符)。在一些示例中,状态跟踪器118可以在附加或备选示例中包括是否存在与当前车道相邻的车道和/或相邻车道是否与相同的行进方向或不同的行进方向相关联的指示。
图1示出了车道状态130的示例,可以由与地图116相关联的感知引擎114并至少部分地基于本申请中所描述的车道分析技术方案存储和/或输出该车道状态130。车道状态130可以包括开放车道状态132和封闭车道状态134。这里讨论的技术方案可以接收感知引擎114输出的物体检测结果并且可以至少部分地基于物体检测结果和本申请说明书所讨论的技术方案确定车道状态130。例如,这些技术方案可以确定将开放车道状态132与当前车道122相关联,直至与最近物体检测结果相关联的点位置,之后这些技术方案可以包括使封闭车道状态134与当前车道122相关联。在附加或备选示例中,本申请的技术方案可以确定相邻车道124与相同的行驶方向相关联和/或将开放车道状态132与相邻车道124相关联。在附加或备选示例中,如果与不同行驶方向相关联的车道与当前车道122不同,这些技术方案可以包括将封闭车道状态134和/或使不同行驶方向的状态与该车道相关联。当然,如在此详细描述的,这样的确定不限于预定义(或预映射)车道,并且可以扩展到可行驶路面的改变。
一旦感知引擎114产生到感知数据,感知数据可以包括由状态跟踪器118所识别的(多个)状态和/或指示车道封闭状态/开放状态的任何其他形式,感知引擎114可以将提供感知数据给规划器112。
规划器112可以使用包括本申请说明书所讨论的车道封闭状态/开放状态的感知数据,借以确定一个或多个轨迹,继而控制自动驾驶车辆102所经过路径或路线和/或以其他方式控制自动驾驶车辆102的操作,然而可以在各种其他部件中执行任何这样的操作。例如,规划器112可以确定自动驾驶车辆102从第一位置到第二位置的路线;根据滚动时域技术(例如,1微秒、半秒、每10秒等)并且至少基于在车道状态130(其可以与地图116和/或状态跟踪器118相关联)上的部分以经过路线(例如,为了避开任何检测到的物体和/或避免在封闭车道中操作);并且选择潜在轨迹之一作为自动驾驶车辆102的轨迹136,其可以用于生成可以传输到自动驾驶车辆102的驱动部件的驱动控制信号。图1示出了这样的轨迹136的示例,这种轨迹由指示航向、速度和/或加速度的箭头表示,尽管轨迹本身可以包括用于控制器的指令,该控制器也可以致动自动驾驶车辆102的驱动系统。在图中所描绘的示例中,规划器可以至少部分地基于与当前车道122相关联的封闭车道状态134来生成和/或选择轨迹136。轨迹136可以包括用于致动驱动系统以使自动驾驶车辆102并入相邻车道124(其可与相同的行进方向和开放车道状态132相关联)。
示例过程
图2A至图2E示出了用于分析车道以确定车道状态的示例过程200。在一些示例中,示例过程200可以由感知引擎114的(多个)部件来完成。尽管示例过程200被描绘为包括多个操作和/或明显的操作流程,示例过程200可以包括更多或更少的操作、重复操作和/或一个或多个操作可以串行、并行和/或以与图中所示不同的顺序进行。
转到图2A,在操作202中,示例过程200可以包括根据本申请说明书讨论的任何技术方案接收指示环境中物体的位置、形状和/或大小的物体检测结果。在一些示例中,物体检测结果可以在附加或备选示例中识别与物体相关联的类别、与物体相关联的轨迹和/或车道或与物体相关联的地图的其他部分。在一些情况下,一个或多个ML模型可以输出物体检测结果(例如,类别可以是机器学习的)。在一些示例中,物体检测结果可以识别与物体相关联的二维空间和/或三维空间(例如,物体的体积与边界)。图2A描绘了包括两个车道的示例道路204的鸟瞰图,其中一个车道与表示可能已经被自动驾驶车辆检测到的物体的三个物体检测结果相关联。例如,物体检测结果206可以是三个物体检测结果之一。
在操作208中,示例过程200可以包括根据这里在一些示例中讨论的任何技术修改物体检测结果。在一些示例中,修改物体检测结果可以包括:对于与安全类别相对应的物体来说,增大(“扩展”)与物体检测结果相关联的尺寸。这种尺寸可以根据标量增大。标量可以至少部分地基于道路或其一侧(例如,与车流相关联的道路的一侧)的宽度(例如,更大量度所形成的更大宽度)、车道宽度(例如,更大量度所形成的更大宽度)、道路的车道数量或其一侧的车道数量(例如,增大量度所形成的增大数量结果)、自动驾驶车辆移动的速度(例如,增大量度所形成的增大速度结果)、开放车道的数量(例如,可用开放车道数量的增加所形成的更大标量)、封闭车道的数量(例如,封闭车道数量的增加所形成的缩放比例降低)、与物体检测结果相关的类别(例如,与“车辆”相关的标量可能小于与“交通锥桶”相关的标量)和/或封闭类型(例如,道路建设;车辆维修;诸如建筑施工的其它施工;例如对于雪和泥土的道路清洁或清理——不同的基础标量可能与这些类型中的任何一个相关联)。在一些情况下,操作208可以包括根据一个或多个标量增大尺寸。例如,标量可以与每一个和物体相关的维度相关联。在物体检测结果定义欧几里德空间中物体情况下,第一标量可以与物体的x轴尺寸相关联,第二标量可以与物体的y轴尺寸相关联,第三标量可以与物体的z轴尺寸相关联。例如,标量可以是在定义物体的空间的每个维度中具有分量的向量。
在附加或备选示例中,标量可以包括确定与车道和/或道路的行进方向相关联的方向(例如,车道和/或道路的曲线切线)。在一些情况下,可以至少部分地基于方向/切线来增大物体的尺寸。例如,可以沿此方向并至少部分地基于标量压缩对象。
在图中所示出的示例中,示例道路204可以具有平行于y轴的方向。操作208可以包括至少部分地基于示例道路204的方向主要沿着y轴增加物体检测结果的尺寸。由于操作208可以基于一个或多个标量,因此在附加或备选示例中可以沿着x轴和/或未图示的z轴(或在附加或备选示例中维度和/或坐标空间中的任何其他轴,例如球形、圆柱形)增大物体检测结果。例如,扩展物体检测结果210是至少部分地基于与道路204和/或车道相关联的方向来增加物体检测结果206的尺寸的示例。
在操作212中,根据本申请说明书中讨论的任一技术方案,示例过程200可以包括:确定扩展物体检测结果与另一个物体检测结果、另一个扩展物体检测结果和/或车道和/或道路的范围之间的距离。图2A描绘了在x轴中计算距离的示例,但应当理解的是,可以在一个或多个其他维度中计算(多个)距离。例如,距离214表示从扩展物体检测结果210的边缘到道路范围的距离。距离216表示从扩展物体检测结果210的边缘到另一个扩展物体检测结果的距离。距离218表示从扩展物体检测结果210的边缘到车道的范围的距离。
在一些示例来说,操作212可以在附加或备选示例中包括确定与车道相关联的(经扩展的或未扩展的)物体检测结果之间的一组距离和/或确定该组距离之中的最大距离。例如,在所描绘的示例中,操作212可以包括确定中断的车道标记到最左侧扩展物体检测结果的第一距离、从最左侧扩展物体检测结果到扩展物体检测结果210的第二距离、从扩展物体检测结果210到最右侧扩展物体检测结果的第三距离以及从最右侧扩展物体检测结果到车道范围的第四距离。
在操作220中,示例过程200可以包括根据此处讨论的任何技术确定扩展物体检测结果与另一个物体检测结果、另一个扩展物体检测结果和/或车道和/或道路的范围之间的距离是否满足或超过距离阈值。在一些示例中,距离阈值可以对应于自动驾驶车辆的宽度和/或长度(例如,取决于测量距离的维度——在所描绘的示例中,距离阈值可以至少部分地基于自动驾驶汽车的宽度)和/或容差。操作220可以在功能上确定自动驾驶车辆是否适合在扩展物体检测结果之间(例如,沿着车辆的纵向或横向轴线)。如果该距离小于距离阈值,则示例过程200可以继续进行操作222。
在操作222中,示例过程200可以包括根据本申请说明书讨论的技术方案中的任一种确定指示车道封闭的封闭状态。在一些示例中,操作222可以包括设置和/或保存与所分析的车道相关联的状态的任何方法,例如,翻转寄存器中的标志、转变状态机的状态以将通道识别为封闭。例如,图2A示出了车道状态224,其包括将分析的车道识别为封闭。在一些情况下,至少部分地基于扩展物体检测结果和/或最接近自动驾驶车辆的物体检测结果,状态可以与车道的一部分相关联。例如,封闭车道状态可以与始于最近物体检测结果的最近边缘和/或与最近物体对应的膨胀物体的最近边缘(例如,图2A中从膨胀物体检测结果226的最近边缘开始)的车道的一部分相关联。在一些示例中,示例过程200可以继续进行图2B中描绘的操作228(例如,当自动驾驶车辆继续运行时,接收到新的传感器数据)。
转到图2B,在操作228中,示例过程200可以包括:根据本申请说明书讨论的技术中的任一个确定是否已经接收到新的物体检测结果。在一些示例中,操作228可以包括确定是否已经从识别与安全物体相关的安全类别别的感知引擎接收到新的物体检测结果和/或确定没有接收/生成这样的物体检测结果的时间段。
如果接收到新物体检测结果,则示例过程200可以继续进行操作230。如果没有接收到新物体检测结果,则示例过程200可以继续进行操作232。
转到图2C,在操作230中,示例过程200可以包括根据本申请说明书讨论的技术中的任一项确定新物体检测结果是否与识别安全物体的安全类别相关联。例如,正如上面更详细讨论的那样,操作230可以确定与新物体检测结果相关联的类别是否是为标记“施工车辆”、“交通锥桶”、“交通灯”等的标签。如果新物体检测结果与识别安全物体的安全类别不相关,则示例过程200可以返回到操作226和/或继续到操作232。如果物体检测结果与识别安全物体的安全类别相关联,示例过程200可以继续进行操作234。例如,这可能与其中自动驾驶车辆在包含交通锥桶的车道旁边运行和/或跟随引导施工车辆的情况相关。
在操作234中,示例过程200可以包括:确定与新物体检测结果相关联的车道相关的状态。操作234可以包括:检查与车道相关而存储的状态。如果状态识别出车道是开放的,则示例过程200可以包括回到操作202。如果状态识别出车道是封闭的,则示例过程200可以包括继续进行操作236。
在操作236中,示例过程200可以包括至少部分地基于确定新的物体检测结果识别安全物体来维持车道的封闭状态。例如,操作236可以确保只要有(多个)安全物体,车道就仍被识别为封闭。
转到图2D,根据本申请说明书讨论的技术中的任一项,在操作232中,示例过程200可以包括:确定传感器数据指示在满足或超过阈值持续时间的持续时间内不存在与(封闭)车道相关联的安全物体。例如,示例过程200可以包括:跟踪没有接收到识别封闭车道中的物体和/或安全物体的新物体检测结果的持续时间。可以在任何新物体检测结果识别出这样的物体时重置该持续时间(在这种情况下,示例过程200可以继续进行操作230)。例如,在自动驾驶车辆通过最后一个交通锥桶之后不久,与封闭车道相关联的状态可以由此被设置为开放车道状态,如图2D所示。
尽管此处结合持续时间对操作232进行了讨论,但应当理解的是,在附加或备选示例中,可以至少部分地基于自动驾驶车辆行驶的距离来进行操作232。例如,在附加或备选示例中,操作232可以包括:确定传感器数据指示在满足或超过阈值距离的自动驾驶车辆行驶的距离内不存在与(封闭)车道相关的安全物体。在一些示例中,阈值距离和/或阈值时间可以至少部分地基于确定封闭车道状态所依据的安全物体的类型。例如,如果安全物体是“慢行”标志和旗标,则持续时间/距离可能比安全物体为交通锥桶的情况要大。
一旦持续时间达到或超过检测阈值,示例过程200就可以继续进行操作238。
在操作238中,根据本申请说明书中所讨论的任一种技术方案,示例过程200可以包括:用指示车道打开的第二状态替换第一状态(闭合车道状态)。在一些示例中,开放车道状态可以与车道的一部分相关联,该部分对应于离自动驾驶车辆最远的扩展物体检测结果的最远边缘(沿道路方向/道路切线)。
转到图2E,图2E示出了可以替换和/或附加于操作232和操作238的操作。例如,根据本申请说明书中所讨论的任一种技术方案,在进行操作232之后,示例过程200可以附加地或是替代地包括操作240。在操作240中,示例过程200可以包括确定感知引擎是否已经检测到自动驾驶车辆接近或处于道路交叉路口(例如,十字路口、丁字路口、任何其他路口)内。例如,如果自动驾驶车辆处于阈值距离以内或路口的(操作232的)阈值持续时间和/或其一些因数之内,则自动驾驶车辆可以接近路口。
在操作240中,如果感知引擎没有确定自动驾驶车辆位于路口或接近路口,则示例过程200可以继续进行操作238。另一方面,如果在操作240中,如果感知引擎确定自动驾驶车辆位于路口或接近路口,则示例过程200可以继续进行操作242。
在操作242中,根据本申请说明书中所讨论的任一种技术方案,示例过程200可以包括:在自动驾驶车辆仍然接近和/或在路口时保持与车道相关联的状态。例如,这可以包括保持车道的开放状态或封闭状态。因为路口可能根本不包含安全物体,或者可能不包含与先前所观察到的相同速率的安全物体(例如,交通锥桶可能间隔更大以适应交通),所以这种方式是有用的。
在一些示例中,示例过程200可以附加地或替代地包括将与(多个)车道和/或(多个)道路的部分相关联的一组状态传输到远程计算设备。例如,自动驾驶车辆可以发送通知来说明根据上述确认已将车道的一部分识别为封闭,和/或自动驾驶车辆可以周期性地发送“心跳”信号,这种“心跳”信号包括状态机的当前状态和/或自动驾驶车辆的位置,借以识别自动驾驶车辆所在(多个)车道的(多个)状态。在一些示例中,远程计算设备可以存储从自动驾驶车辆接收的状态并可以将更新后的状态传输到车队中的一个或多个车辆。在一些示例中,车队中的车辆可以被配置为至少部分地基于从远程计算设备接收到的状态来确定路线。在一些示例中,自动无人驾驶车辆可以存储与地图相关联的车道开放状态/封闭状态,以便维持状态。在一些示例中,这样的位置状态可以与到期时间(例如,从确定状态或接收状态将被清除的状态的时间)相关联或者可以持续直到重新确定或更新(例如,通过接收与来自另一车辆和/或远程计算设备的车道相关联的状态)。至少在一些示例中,自动驾驶车辆可以将这种关于部分车道封闭或全部车道封闭的信息传输到全局地图数据库,借以使其他自动驾驶车辆也可以检索到关于车道封闭的数据。在任何这样的示例中,可以基于从附加车辆新获取的传感器数据来实施和/或验证/更新到期时间的类似步骤。
在一些示例中,可以进行上述车道分析以识别一定范围内的车道状态,该范围可以是距车辆的距离,在该距离处传感器数据和/或物体检测结果被确定为可靠的。
示例车道修改场景和技术
图3示出了示例场景300的鸟瞰图,其中一组安全物体指定与原有车道标记不相关的新车道。尽管存在着多种其他车道变化(如,标志变窄、路肩变窄、并道变窄、单车道变窄、双车道车流变窄等),但图3中的示例场景300仅示出了换道变窄。在一些示例中,本申请说明书描述的技术可以确定在类似于示例场景300的场景中所有可用车道(例如,与车辆行驶方向相同的车道)都是封闭的。
示例场景300包括具有两个行驶方向、行驶方向302和行驶方向304,其中每个行驶方向具有与其相关联的两个车道。行驶方向304包括两个原有车道(左侧原有车道306和右侧原有车道308),这两个原有车道根据断续的车道标记划分并由双(黄)线310和道路范围312界定。举例而言,假设自动驾驶车辆102已经至少部分地基于道路中安全物体的集合(例如,由于数量而未标记并用圆圈表示)确定右侧原有车道308是封闭的(例如,自动驾驶车辆可能已经存储和/或保持与右侧原有车道308相关联的闭合状态)。然而,在来到换道变窄处时,自动驾驶车辆102可以(例如,因该车道中的安全物体)确定左侧原有车道306是封闭的和/或与(相反)行驶方向302相关的车道314是不可用的,因为行驶方向302是关联于自动驾驶车辆102的相反行驶方向304和/或因为检测到双车道312。换言之,通过使用结合图2所讨论的技术方案,自动驾驶车辆102可以确定与行驶方向相关联的所有(原有)(多个)车道都被阻塞(例如,根据结合图2所讨论的技术方案,没有一个原有车道的开放宽度足以使自动驾驶车辆102通过)。自动驾驶车辆102可以配备有用于确定备选车道形状和/或与其相关联的开放/封闭状态的其它技术方案或替代性技术方案。备选车道形状在一些情况下可能会避开原有的车道标记。
除了与原有车道标记相关联之外或是在替代与原有车道标记相关联的方法,图4示出了用于确定与道路的(多个)部分相关联的开放车道状态和/或封闭车道状态的在其它技术方案或替代性技术方案。例如,这里讨论的技术方案可以尝试根据上面讨论的技术方案和原有的车道标记来识别开放车道。然而,如果不存在这样的车道,例如在示例场景300中不存在这样的车道,自动驾驶车辆可以至少部分地基于一个或多个物体检测结果和/或与车道关联的状态确定相关的替代性车道形状以及(多个)开放/封闭状态。
例如,自动驾驶车辆可以确定右侧原有车道308与封闭状态相关联,并且可以确定与右侧原有车道308相关联的物体检测结果重叠的形状。自动驾驶车辆102可以在附加或备选示例中尝试扩展形状以包括在右侧原有车道308中的物体的阈值距离内的物体,并继续这样做直到在阈值距离内不再存在物体检测结果。例如,物体检测结果400可能具有物体检测结果402的阈值距离,因此自动驾驶车辆可以扩展形状以包括物体检测结果400等(例如,通过连接两个物体之间的线,修改边界以包括两个物体)。
自动驾驶车辆102可以生成这样的形状以具有连续的边界并且使得存在至少一个具有最小宽度的车道。最小宽度可以是大于阈值距离的距离(借以避免使所生成的形状包括变窄车道相对侧的安全物体)。在一些示例中,可以训练ML模型来确定这样的形状(例如,至少部分地基于类别任务、聚类任务等)。
在一些示例中,自动驾驶车辆102可以针对与第二封闭车道状态相关的和/或至少部分地基于开放车道状态的第二组安全物体(例如,左侧的安全物体)重复这一过程。换句话说,自动驾驶车辆102可以至少部分地基于开放车道状态和一个或多个安全物体反向确定肯定地识别开放车道的形状。在一些示例中,自动驾驶车辆可以至少部分地基于安全标志上的符号来检测象征变窄、车道合并和/或其他交通修改的安全标志并确定备选车道形状。
图4示出了三个备选车道形状,与封闭车道状态相关的第一备选车道形状404、与开放车道状态相关的第二备选车道形状406以及与封闭车道状态相关联的第三备选车道形状406。在一些示例中,自动驾驶车辆102可以将备选车道形状中的一个或多个传输到远程操作系统,以接收备选车道形状的确认、跨越双线312的确认和/或远程操作员提供修改以备选车道形状。在一些示例中,备选车道形状可以存储在全局地图数据库中,上述全局地图数据库可被车队中的一个或多个车辆检索或是被推送到车队中的一个或多个车辆(例如,基于生成接近与备选车道形状相关联的道路的路线的车辆)。在一些示例中,自动驾驶车辆102可以接收对备选车道形状的修改。在一些示例中,自动驾驶车辆102和/或远程操作系统可以用修改来训练被配置为生成备选车道形状的ML模型。在一些情况下,可以训练第一ML模型以生成与开放车道状态相关联的备选车道形状,并且可以训练第二ML模型以生成与封闭车道状态相关联的备选车道形状。在附加或备选示例中,单个ML模型可以为两种车道状态生成备选车道形状。在任何此类示例中,对可行驶车道表面的此类检测和更新可被传递到全局地图系统(和/或局部地图系统),借以使自动驾驶车辆和/或额外的自动驾驶车辆可依赖于此类远程操作员确认的可行驶路面。在任何这样的示例中,尽管远程操作确认和预先映射的数据(在这样的表面发生任何变化的情况下可能是必要的),但可连续验证可行驶路面和形状。
示例系统
图5示出了实现这里讨论的技术的示例系统的框图。在一些情况下,系统500可以包括车辆502,其可以表示图1中的自动驾驶车辆102。在一些情况下,车辆502可以是配置为根据由美国国家公路交通安全管理局(National Highway Traffic SafetyAdministration)发布5级类别进行操作的自动驾驶车辆,其中描述了一种能够在整个行程中执行所有安全关键功能的车辆,而驾驶员(或乘员)不会在任何时间控制该车辆。然而,在其他示例中,车辆502可以是具有任何其他级别或类别的完全或部分自动驾驶车辆。此外,在一些情况下,本申请说明书描述的技术也可由非自动驾驶车辆使用。
车辆502可以包括:(多个)车辆计算设备504、(多个)传感器506、(多个)发射器508、(多个)网络接口510和/或(多个)驱动部件512。
在一些情况下,(多个)传感器506可以包括:激光雷达传感器、雷达传感器、超声换能器、声纳传感器、位置传感器(例如全局定位系统(GPS)、指南针等)、惯性传感器(如,惯性测量单元(IMU)、加速度计、磁力计、陀螺仪等)、图像感测器(例如,红绿蓝(RGB)相机、红外(IR)相机、强度相机、深度相机、抖动时间相机等)、麦克风、车轮编码器、环境传感器(例如,温度传感器,湿度传感器、光传感器、压力传感器)等。(多个)传感器506可以包括这些或其他类型的传感器中的每一个的多种实例。例如,雷达传感器可能包括位于车辆502的拐角处、前部、后部、侧面和/或顶部的各个雷达传感器。作为另一个示例,摄像头可以包括设置在车辆502的外部和/或内部周围的不同位置的多个摄像头。(多个)传感器506可以向(多个)车辆计算设备504和/或(多个)计算设备514提供输入。
如上所述,车辆502还可包括用于发射光和/或声音的(多个)发射器508。该示例中的(多个)发射器508可以包括用于与车辆502的乘客进行通信的(多个)内部音频发射器和视觉发射器。作为示例而非限制,(多个)内部发射器可以包括:扬声器、灯、标志、显示屏、触摸屏、(多个)触觉发射器(例如,振动和/或力反馈)、机械执行器(例如,安全带拉紧器、座椅定位器、头枕定位器等)等。在该示例中,(多个)发射器508还包括(多个)外部发射器。作为示例而非限制,该示例中的(多个)外部发射器包括:用于发出行驶方向信号或车辆动作的其他指示器(例如,指示灯、标志、灯阵列等)的信号灯,以及一个或多个音频发射器(例如,扬声器、扬声器阵列、喇叭等),以与行人或其他附近的车辆进行听觉通信,其中的一个或多个包含声束转向技术。
车辆502还可以包括(多个)网络接口510,其能够在车辆502与一个或多个其他本地计算设备或远程计算设备之间进行通信。例如,(多个)网络接口510可以促成与车辆502上的(多个)其他本地计算设备和/或(多个)驱动部件512的通信。此外,(多个)网络接口510可以在附加或备选示例中使车辆与附近的(多个)其他计算设备(例如,其他附近的车辆、交通信号灯等)进行通信。而且,(多个)网络接口510可以在附加或备选示例中使车辆502能够与(多个)计算设备514进行通信。在一些示例中,(多个)计算设备514可以包括分布式计算系统的一个或多个节点(例如,云计算架构)。(多个)计算设备514可以是本文所讨论的(多个)远程计算设备和/或远程操作系统的示例。
(多个)网络接口510可以包括物理接口和/或逻辑接口,用于将(多个)车辆计算设备504连接到另一个计算设备或网络,例如(多个)网络516。例如,(多个)网络接口510可以通过如,IEEE 500.11标准定义的频率、短程无线频率(例如)、蜂窝通信(例如,2G、3G、4G、4G LTE、5G等)或者任何可使各计算设备与(多个)其它计算设备对接的合适的有线或无线通信协议启用基于Wi-Fi的通信。在一些情况下,(多个)车辆计算设备504和/或(多个)传感器506可以在经过预定时间段之后,以近实时等方式,依特定的频率经由(多个)网络516向(多个)计算设备514发送传感器数据。
在一些情况下,车辆502可以包括一个或多个驱动部件512。在一些情况下,车辆502可以具有单个驱动部件512。在一些情况下,(多个)驱动部件512可以包括一个或多个传感器,以检测(多个)驱动部件512和/或车辆502周围环境的状况。作为示例而非限制,(多个)驱动部件512的(多个)传感器可以包括:一个或多个车轮编码器(例如,转动式编码器)以感测驱动模块的车轮转动,惯性传感器(例如,惯性测量单元、加速度计、陀螺仪、磁力计等)以测量方向驱动模块的朝向及加速度,相机或其他图像传感器,超声波传感器以声学方式检测驱动模块周围环境中的对象,激光雷达传感器,雷达传感器等。而诸如车辆编码器的一些传感器可能是(多个)驱动部件512所独有的。在某些情况下,(多个)驱动部件512上的(多个)传感器可覆盖或补充车辆502的相应系统(例如,(多个)传感器506)。
(多个)驱动部件512可以包括许多车辆系统,这些车辆系统包括:高压电池,驱动车辆的电机,将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器,包括转向马达和转向支架(可以是电动的)的转向系统,包括液压执行器或电动执行器的制动系统,包括液压部件和/或气动部件的悬架系统,用于分配制动力以减轻牵引力损失并维持控制的稳定性控制系统,HVAC系统,照明系统(例如,用于照亮车辆的外部环境的前灯/尾灯的照明设备)以及一个或多个其他系统(例如,冷却系统,安全系统,车载充电系统,诸如DC/DC转换器、高压结、高压电缆、充电系统、充电端口等其他电气部件)。附加地,(多个)驱动部件512可以包括驱动模块控制器,该驱动模块控制器可以接收和预处理来自(多个)传感器的数据并控制各种车辆系统的操作。在一些情况下,驱动模块控制器可以包括一个或多个处理器以及与该一个或多个处理器以进行通信的方式相耦合的存储器。存储器可以存储一个或多个模块以执行(多个)驱动部件512的各种功能。此外,(多个)驱动部件512还包括一个或多个通信连接,该通信连接使得各个驱动模块能够与一个驱动模块或者其他本地或远程计算设备进行通信。
(多个)车辆计算设备504可以包括(多个)处理器518和与一个或多个处理器518进行通信连接的存储器520。(多个)计算设备514还可以包括(多个)处理器522和/或存储器524。(多个)处理器518和/或522可以是能够执行指令以处理数据并执行如本申请说明书所述的操作的任何合适的处理器。作为示例而非限制,(多个)处理器518和/或522可以包括:一个或多个中央处理单元(CPU)、图形处理单元(GPU)、集成电路(例如,专用集成电路(ASIC))、门阵列(例如,现场可编程门阵列(FPGA)),和/或对电子数据进行处理借以将电子数据转换为可存储于寄存器和/或存储器中的电子数据的任何其它装置或装置的一部分。
存储器520和/或524可以是非暂时性计算机可读介质的示例。存储器520和/或524可以存储操作系统以及一个或多个软件应用程序、指令、程序和/或数据,以实现本文所描述的方法和归属于各种系统的功能。在各种实现方式中,可以使用任何合适的存储器技术来实现存储器,例如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器或能够存储信息的任何其他类型的存储器。在此描述的架构、系统和单独的元件可以包括:许多其他逻辑部件、程序部件和物理部件,其中在附图中示出的那些部件仅仅是与这里的讨论相关的示例。
在一些情况下,存储器520和/或存储器524可以存储感知引擎526、规划器528、状态跟踪器530、(多个)地图532和/或(多个)系统控制器534。感知引擎526可以表示感知引擎114,规划器528可以表示规划器112,状态跟踪器530可以包括和/或表示状态跟踪器118,和/或(多个)地图532可以包括和/或表示地图116。在一些情况下,感知引擎526可以包括初级感知系统、次级感知系统、预测系统和/或定位系统。存储器520和/或524可以附加地或是替代地存储定位部件、映射系统、规划系统、乘坐管理系统等。虽然感知引擎526、规划器528、状态跟踪器530和/或(多个)地图532被示为存储在存储器520中,但是感知引擎526、规划器528、状态跟踪器530和/或(多个)地图532可以包括处理器可执行指令、(多个)机器学习模型(如,神经网络)和/或硬件并且/或者可以存储在存储器524中。
在一些示例中,感知引擎526可以包括用于确定备选车道形状的一个或多个ML模型。这样的(多个)ML模型可以包括:聚类模型、类别模型和/或回归模型。在一些示例中,(多个)ML模型可以包括神经网络。如本申请说明书所述,示例神经网络为生物启发算法,这种生物启发算法通过一系列连接层传递输入数据以产生输出。神经网络中的每一层也可以包含另一个神经网络,或者可以包含任意数量的层(无论是否进行卷积)。在本申请说明书的上下文中可以理解,神经网络可以利用机器学习,机器学习可以指一大类这样的算法,其中基于学习的参数生成输出。
尽管在神经网络的情况中进行了讨论,但是可以根据本申请说明书使用任何类型的机器学习。例如,机器学习算法可以包括但不限于回归算法(例如,普通最小二乘回归(OLSR),线性回归,对数回归,逐步回归,多元自适应回归样条(MARS),局部估计散点图平滑化(LOESS)),基于实例的算法(例如,岭回归、最小绝对收缩和选择算子(LASSO)、弹性网络、最小角度回归(LARS)),决策树算法(例如,类别和回归树(CART),迭代二分法器3(ID3),卡方自动交互检测(CHAID),单层决策树,条件决策树),贝叶斯算法(例如,朴素贝叶斯、高斯朴素贝叶斯、多项式朴素贝叶斯,平均一依赖估计器(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络),聚类算法(例如,k均值、k中位数、期望最大化(EM)、分层聚类),关联规则学习算法(例如,感知机、反向传播、霍普菲尔网络、径向基函数网络(RBFN)),深度学习算法(例如,深玻尔兹曼机(DBM)、深度信念网络(DBN),卷积神经网络(CNN),堆叠式自动编码器),降维算法(例如,主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、Sammon映射、多维标度(MDS)、投影追踪、线性判别分析(LDA)、混合物判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA)),集成算法(例如,提示算法、自举聚合(引导聚集算法)、AdaBoost算法、堆叠泛化(混合)、梯度增强机(GBM)、梯度增强回归树(GBRT)、随机森林),SVM(支持向量机),监督学习,无监督学习,半监督学习等。架构的其他示例包括神经网络,例如ResNet-50,ResNet-101,VGG,DenseNet,PointNet等。
在一些示例中,(多个)计算设备514可以生成和/或存储状态跟踪器530和/或(多个)地图532。状态跟踪器530可以包括寄存器、状态机、和/或任何其他方法持续地和/或临时地(例如,至少在定义的(到期)时间)识别车道的封闭状态或打开状态。例如,状态跟踪器可以包括诸如确定性有限自动机(“DFA”)的有限状态机(“FSM”)、数据结构、寄存器等。在一些示例中,状态跟踪器530可以累积、存储和/或以其他方式关联车道状态、车道标识符、道路的一部分、局部地图的一部分、局部地图的一部分、物体检测结果、扩展物体检测结果和/或备选车道形状。在其它实施例或替代性实施例中,本申请说明书讨论的技术可以包括输出与当前车道和/或任何其他车道(例如,相邻车道、另一车道)相关联的封闭/打开状态。
在一些示例中,(多个)地图532可以包括局部地图、可行驶路面地图和/或全局地图,车辆502可以至少部分地基于传感器数据来确定这些地图中的一个或多个和/或这些地图可以通过网络516从计算设备514接收。在一些示例中,(多个)地图532可以包括全局地图数据库。
存储器520可以附加地或备选地存储一个或多个系统控制器532,其可以被配置为控制车辆502的转向系统、推进系统、制动系统、安全系统、发射器系统、通信系统和其他系统。这些系统控制器532可以与(多个)驱动部件512的相应系统和/或车辆502的其他部件进行通信和/或进行控制。例如,规划器528可以至少部分地基于由感知引擎526(其可包括本申请说明书讨论的任何状态和/或备选车道形状)生成的感知数据来生成指令并将指令传输至(多个)系统控制器532,该系统控制器可至少部分地基于指令来控制车辆502的操作。
在一些示例中,(多个)计算设备514可以包括远程操作系统,其可以被配置为生成从车队的一个或多个车辆接收的数据表达和/或输入选项,借以呈现给远程操作人员,进而提供对一辆或多辆车辆的导航(例如,选择用于确认车辆确定的轨迹的显示按钮的选项、修改和/或确认车辆确定的备选车道形状的选项、确认穿越双实线的选项)。
应当注意的是,虽然图5被示出为分布式系统,在替代示例中,车辆502的部件可以与(多个)计算设备514相关联和/或(多个)计算设备514的部件可以与车辆502相关联。即,车辆502可以执行与(多个)计算设备514相关联的一个或多个功能,反之亦然。
示例条款
A.一种方法,包括:从一个或多个传感器接收传感器数据;至少部分地基于传感器数据确定物体检测结果,该物体检测结果与道路的车道相关联,并且指示环境中物体的位置以及在与车道相关的平面内沿该车道的第一方向中以及与第一方向相垂直的第二方向中物体的尺寸;通过增加物体检测结果指示的尺寸来修改物体检测结果,以获得扩展物体检测结果;确定扩展物体检测结果与另一物体检测结果、另一扩展物体检测结果或车道范围中的至少一个之间的距离;确定该距离小于或等于距离阈值;至少部分地基于该距离小于或等于距离阈值,确定指示车道封闭的封闭状态;并且至少部分地基于封闭状态来控制车辆。
B.如段落A所述的方法,其中,修改物体检测结果包括:增加平行于第一方向的尺寸,使平行于第一方向的尺寸大于平行于第二方向的尺寸。
C.如段落A或B所述的方法,其中:至少部分地基于确定与物体检测结果相关联的类别所识别出的安全类别来确定封闭状态并进行修改;安全类别包括以下至少一个:安全物体、安全人员、安全车辆、或安全标志或信号。
D.如段落A至C中任一段落所述的方法,其中物体检测结果是第一物体检测结果,并且该方法进一步包括:在第一物体检测结果之后接收一个或多个第二物体检测结果;确定一个或多个第二物体检测结果中的至少一个与安全类别相关联;以及至少部分地基于确定一个或多个第二物体检测结果中的至少一个与安全类别相关联来维持封闭状态。
E.如段落A至D中任一段落所述的方法,进一步包括:在接收到物体检测结果之后接收传感器数据;确定传感器数据指示在车辆行驶的距离达到或超过阈值距离内不存在与车道相关联的安全物体;以及至少部分地基于确定传感器数据指示不存在行进距离,用指示车道开放的开放状态替换封闭状态。
F.如段落A至E中任一段落所述的方法,进一步包括至少部分地基于开放状态来控制自动驾驶车辆。
G.一种系统,包括:一个或多个传感器;一个或多个处理器;以及存储有处理器可执行指令的存储器,当由一个或多个处理器执行时,该指令使系统执行包括以下操作:接收物体检测结果,该物体检测结果指示物体在环境中的位置以及该物体的多个维度,这些维度包括沿着与物体相关联的车道方向的第一维度和垂直于第一方向的第二维度;至少部分地基于车道宽度或车道方向中的至少一个来修改第一维度或第二维度中的至少一个,以获得扩展物体检测结果;确定扩展物体检测结果与另一物体检测结果、另一扩展物体检测结果或车道宽度中的至少一个之间的距离;确定该距离小于距离阈值;并且至少部分地基于确定该距离小于距离阈值来确定指示车道封闭的封闭状态。
H.如段落G所述的系统,其中进一步至少部分地基于确定与物体检测结果相关联的类别包括安全类别修改第一方向或第二方向中的至少一个并确定封闭状态,安全类别包括以下至少一个:安全物体、安全人员、安全车辆、或者安全标志或安全信号。
I.如段落G或H所述的系统,其中物体检测结果是第一物体检测结果,并且操作进一步包括:在第一物体检测结果之后接收一个或多个第二物体检测结果;确定一个或多个第二物体检测结果中的至少一个与包括安全类别的类别相关联;以及至少部分地基于确定一个或多个第二物体检测结果中的至少一个与安全类别相关联来维持封闭状态。
J.如段落G至I中任一段落所述的系统,其中所述操作进一步包括:在接收到物体检测结果之后接收传感器数据;确定与车道或相邻车道中的至少一个相关联的第二物体检测结果;确定与车道或相邻车道中的至少一个相关联的行驶方向被阻塞;以及,在与道路相关联的平面确定包含一个或多个识别安全类别的物体检测结果的多边形。
K.如段落G至段落J中任一段落所述的系统,其中所述操作进一步包括:至少部分地基于与第二车道相关联的第二物体检测结果或第二传感器数据,确定与该车道相邻的第二车道相关联的开放状态。
L.如段落G至段落K中任一段落所述的系统,其中所述操作进一步包括:从一个或多个传感器接收传感器数据;至少部分地基于传感器数据确定自动驾驶车辆接近路口;并且至少部分地基于确定自动驾驶车辆接近路口来维持封闭状态。
M.如段落G至段落L中任一段落所述的系统,其中所述操作进一步包括:使封闭状态与道路的至少一部分相关联;并且将封闭状态和该部分的标识传送到远程计算设备。
N.如段落G至段落K中任一段落所述的系统,其中所述操作进一步包括:至少部分地基于来自自动驾驶车辆上的传感器的传感器数据,确定自动驾驶车辆正在其上行驶的可行驶路面包括在至少一个车道;从远程计算系统并至少部分基于可行驶路面接收指示车道封闭的第二状态;以及至少部分地基于第二状态和可行驶路面来确定用于控制自动驾驶车辆的路线。
O.一种存储处理器可执行指令的非暂时性计算机可读介质,当由一个或多个处理器执行时,该指令使该一个或多个处理器执行包括以下操作:接收物体检测结果,该物体检测结果包括环境中物体的位置和物体的大小;至少部分地基于与物体检测结果相关联的车道方向来修改物体检测结果,以获得扩展物体检测结果;确定扩展物体检测结果和与关联于车道的另一物体检测结果、与车道相关联的另一扩展物体检测结果或车道范围中的至少一个之间的距离;确定该距离小于距离阈值;并且至少部分地基于确定该距离小于距离阈值来确定指示车道封闭的封闭状态。
P.如段落O所述的非暂时性计算机可读介质,其中修改物体检测结果并确定封闭状态进一步至少部分地基于确定与物体检测结果相关联的类别包括安全类别,其中安全类别包括以下至少一个:安全物体;安全人员;安全车辆;或安全标志或安全信号。
Q.如段落O或段落P所述的非暂时性计算机可读介质,其中物体检测结果是第一物体检测结果,并且操作进一步包括:在第一物体检测结果之后接收一个或多个第二物体检测结果;确定一个或多个第二物体检测结果中的至少一个与包括安全物体的类别相关联;并且至少部分地基于确定一个或多个第二物体检测结果中的至少一个与识别安全物体的类别相关联来维持封闭状态。
R.如段落O或段落Q所述的非暂时性计算机可读介质,其中所述操作进一步包括:在接收物体检测结果之后接收传感器数据;确定与车道或相邻车道中的至少一个相关联的第二物体检测结果;确定与车道或相邻车道中的至少一个相关联的行驶方向被阻塞;并且在与道路相关联的平面中确定包括识别安全类别的一个或多个物体检测结果的多边形。
S.如段落O至段落R中任一段落所述的非暂时性计算机可读介质,其中所述操作进一步包括:从自动驾驶车辆的一个或多个传感器接收传感器数据;至少部分地基于传感器数据确定自动驾驶车辆接近路口;并且至少部分地基于确定自动驾驶车辆接近路口来维持封闭状态。
T.如段落O至段落S中任一段落所述的非暂时性计算机可读介质,其中所述操作进一步包括:使封闭状态与道路的至少一部分相关联;并且将封闭状态和该部分的标识传送到远程计算设备。
虽然已经用结构部件和/或方法学行为特有的语言对本申请主体进行了描述,但应当理解的是,在所附权利要求中定义的主题不一定限于所描述的特定特征或动作。而本申请所公开的特定部件与行为是执行本申请权利要求示意性形式。
这里描述的部件表示可以存储在任何类型的计算机可读介质中并且可以在软件和/或硬件中实现的指令。上文中描述的所有方法和过程可全部体现在由一个或多个计算机或处理器、硬件或其某种组合执行的软件代码部件和/或计算机可执行指令中并全部自动化执行。其中,部分方法或所有方法可选择性地体现在专用计算机硬件中。
除另有特别说明之外,诸如“可”、“可能”、“能”或“也许”等条件语言在上下文中应被理解为体现包含,其它示例并未包含的,特定部件、特定元件和/或特定步骤。因此,这种条件语言通常既非暗示对于一个或多个示例上述特定部件、特定元件和/或特定步骤无论如何都是必须的,也非暗示一个或多个示例必须包括逻辑系统(logic)来决定是否存在用户输入或提示、决定上述特定部件、特定元件和/或特定步骤是否包含在任意特定的实例中,或决定是否在任意特定的实例中实现上述特定部件、特定元件和/或特定步骤。
除另有特别说明之外,诸如短语“X、Y或Z中的至少一个”的连接语应被理解为呈现项目、术语等可以是X、Y、Z或其任何组合,这种组合包括复数种元素。除非明确述及为单个,否则“一”表示单个以及多个。
此处所描述的和/或附图中所描绘的流程图中的任何例程描述、元素或块应被理解为潜在地表示用于实现特定的一个或多个计算机可执行指令例程中的逻辑功能或元素的模块、区段或部分代码。而本领域技术人员可以理解的是,在本申请说明书所描述实例的范围内的替代性实施方式中,可依据所涉及的功能删除元件或功能,以不同于图中或文中所描述的顺序执行,其中包括基本上同步执行、逆序执行、添加其它操作或是取消操作。
可以对上述示例做出多种变化和修改,其中的元素应被理解为其他可接受的示例。所有这些变化和修改都旨在包括在本申请说明书所公开的范围内并受到以下权利要求的保护。
Claims (15)
1.一种系统,包括:
一个或多个传感器;
一个或多个处理器;以及
存储器,其存储有处理器可执行指令,所述处理器可执行指令当由一个或多个处理器执行时,使得所述系统执行操作,所述操作包括:
接收物体检测结果,所述物体检测结果指示物体在环境中的位置和所述物体的多个维度,所述多个维度包括:沿与所述物体相关联的车道方向的第一维度,和与第一方向垂直的第二维度;
至少部分地基于车道宽度或所述车道方向中的至少一个来修改所述第一维度或所述第二维度中的至少一个,以获得扩展物体检测结果;
确定所述扩展物体检测结果与另一物体检测结果、另一扩展物体检测结果或车道宽度中的至少一个之间的距离;
确定所述距离小于距离阈值;以及
至少部分地基于确定所述距离小于所述距离阈值来确定指示车道封闭的封闭状态。
2.如权利要求1所述的系统,其中,修改所述物体检测结果包括:比平行于所述第二方向的尺寸更多地增加平行于所述第一方向的尺寸。
3.根据权利要求1或2所述的系统,其中,修改所述第一方向或第二方向中的至少一个并确定所述封闭状态进一步至少部分地基于确定与所述物体检测结果相关联的类别包括安全类别,其中安全类别包括以下至少一个:
安全物体;
安全人员;
安全车辆;或者
安全标志或安全信号。
4.如权利要求1-3中任一项所述的系统,其中,所述物体检测结果是第一物体检测结果,并且所述操作进一步包括:
在所述第一物体检测结果之后接收一个或多个第二物体检测结果;
确定所述一个或多个第二物体检测结果中的至少一个与包括安全类别的类别相关联;以及
至少部分地基于确定所述一个或多个第二物体检测结果中的至少一个与识别安全物体的类别相关联来维持封闭状态。
5.如权利要求1-4中任一项所述的系统,其中,所述操作进一步包括:
在接收到所述物体检测结果后接收传感器数据;
确定与所述车道或相邻车道中的至少一个相关联的第二物体检测结果;
确定与所述车道或相邻车道中的至少一个相关联的行驶方向被阻塞;以及
在与道路相关联的平面中确定多边形,所述多边形包括一个或多个识别安全类别的物体检测结果。
6.如权利要求1-5中任一项所述的系统,其中,所述操作进一步包括:
至少部分地基于与第二车道相关联的第二物体检测结果或第二传感器数据来确定与所述第二车道相关联的开放状态,其中,所述第二车道与所述车道相邻。
7.如权利要求1-6中任一项所述的系统,其中,所述操作进一步包括:
从一个或多个传感器接收传感器数据;
至少部分地基于所述传感器数据来确定自动驾驶车辆接近路口;以及
至少部分地基于确定所述自动驾驶车辆接近所述路口来维持所述封闭状态。
8.如权利要求1-7中任一项所述的系统,其中所述操作进一步包括:
将所述封闭状态与道路的至少一部分相关联;以及
将所述封闭状态和所述部分的标识传送到远程计算设备。
9.如权利要求1-8中任一项所述的系统,其中所述操作进一步包括:
至少部分地基于来自自动驾驶车辆上的传感器的传感器数据来确定其上行驶有所述自动驾驶车辆的可行驶路面包括至少一个车道;
至少部分基于所述可行驶路面来从远程计算系统接收指示所述车道封闭的第二状态;以及
至少部分地基于所述第二状态和所述可行驶路面来确定用于控制所述自动驾驶车辆的路线。
10.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质存储有处理器可执行的指令,所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行以下操作:
接收物体检测结果,所述物体检测结果包括物体在环境中的位置和所述物体的大小;
至少部分地基于与所述物体检测结果相关联的车道方向来修改物体检测结果,以获得扩展物体检测结果;
确定扩展物体检测结果和与所述车道相关联的另一物体检测结果、与所述车道相关联的另一扩展物体检测结果或所述车道的范围中的至少一个之间的距离;
确定所述距离小于距离阈值;以及
至少部分地基于确定所述距离小于所述距离阈值来确定指示车道封闭的封闭状态。
11.根据权利要求10所述的非暂时性计算机可读介质,其中,修改所述物体检测结果和确定所述封闭状态进一步至少部分地基于确定与所述物体检测结果相关联的类别包括安全类别,其中,所述安全类别包括以下至少一个:
安全物体;
安全人员;
安全车辆;或者
安全标志或安全信号。
12.如权利要求10或11所述的非暂时性计算机可读介质,其中,所述物体检测结果是第一物体检测结果,并且所述操作进一步包括:
在所述第一物体检测结果之后接收一个或多个第二物体检测结果;
确定一个或多个第二物体检测结果中的至少一个与包括安全物体的类别相关联;以及
至少部分地基于确定所述一个或多个第二物体检测结果中的至少一个与识别所述安全物体的类别相关联来维持所述封闭状态。
13.如权利要求10-12中任一项所述的非暂时性计算机可读介质,其中,所述操作进一步包括:
在接收到所述物体检测结果后接收传感器数据;
确定与所述车道或相邻车道中的至少一个相关联的第二物体检测结果;
确定与所述车道或相邻车道中的至少一个相关联的行驶方向被阻塞;以及
在与道路相关联的平面中确定多边形,所述多边形包括一个或多个识别安全类别的物体检测结果。
14.如权利要求10-13中任一项所述的非暂时性计算机可读介质,其中,所述操作进一步包括:
从自动驾驶车辆的一个或多个传感器接收传感器数据;
至少部分地基于所述传感器数据来确定所述自动驾驶车辆接近路口;以及
至少部分地基于确定所述自动驾驶车辆接近路口来维持封闭状态。
15.如权利要求10-14中任一项所述的非暂时性计算机可读介质,其中,所述操作进一步包括:
将所述封闭状态与道路的至少一部分相关联;以及
将所述封闭状态和所述部分的标识传送到远程计算设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311654951.6A CN117681883A (zh) | 2019-05-20 | 2020-05-20 | 封闭车道检测 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/417,441 US11100339B2 (en) | 2019-05-20 | 2019-05-20 | Closed lane detection |
US16/417,441 | 2019-05-20 | ||
PCT/US2020/033799 WO2020236932A1 (en) | 2019-05-20 | 2020-05-20 | Closed lane detection |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311654951.6A Division CN117681883A (zh) | 2019-05-20 | 2020-05-20 | 封闭车道检测 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114127655A true CN114127655A (zh) | 2022-03-01 |
CN114127655B CN114127655B (zh) | 2023-12-22 |
Family
ID=73456797
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080051044.0A Active CN114127655B (zh) | 2019-05-20 | 2020-05-20 | 封闭车道检测 |
CN202311654951.6A Pending CN117681883A (zh) | 2019-05-20 | 2020-05-20 | 封闭车道检测 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311654951.6A Pending CN117681883A (zh) | 2019-05-20 | 2020-05-20 | 封闭车道检测 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11100339B2 (zh) |
EP (1) | EP3973365A4 (zh) |
JP (1) | JP2022532921A (zh) |
CN (2) | CN114127655B (zh) |
WO (1) | WO2020236932A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116341880A (zh) * | 2023-05-26 | 2023-06-27 | 成都盛锴科技有限公司 | 一种基于有限状态机的列检机器人分布式调度方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11100339B2 (en) | 2019-05-20 | 2021-08-24 | Zoox, Inc. | Closed lane detection |
US11507789B2 (en) * | 2019-05-31 | 2022-11-22 | Lg Electronics Inc. | Electronic device for vehicle and method of operating electronic device for vehicle |
US11988518B2 (en) * | 2019-06-17 | 2024-05-21 | Nvidia Corporation | Updating high definition maps based on lane closure and lane opening |
JP2022172928A (ja) * | 2021-05-07 | 2022-11-17 | ウーブン・プラネット・ホールディングス株式会社 | 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム |
US20230063809A1 (en) * | 2021-08-25 | 2023-03-02 | GM Global Technology Operations LLC | Method for improving road topology through sequence estimation and anchor point detetection |
US11938928B2 (en) * | 2021-11-03 | 2024-03-26 | Honda Motor Co., Ltd. | Systems and methods for vehicular navigation of narrow gaps |
US20230177839A1 (en) * | 2021-12-02 | 2023-06-08 | Nvidia Corporation | Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications |
US20230177955A1 (en) * | 2021-12-06 | 2023-06-08 | Here Global B.V. | Method, apparatus and computer program product for identifying road work speed funnels within a road network |
US20230196915A1 (en) * | 2021-12-20 | 2023-06-22 | Here Global B.V. | Method, apparatus, and computer program product for determining lane closures along a road |
JP7441258B2 (ja) | 2022-03-25 | 2024-02-29 | 本田技研工業株式会社 | 制御装置 |
DE102022124470B3 (de) * | 2022-09-23 | 2023-07-27 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Steuerung einer Diagnosesession eines Fahrzeugs, Computerprogram, Vorrichtung und Fahrzeug |
WO2024106126A1 (ja) * | 2022-11-15 | 2024-05-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理システムおよび遠隔支援サーバ |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070124078A1 (en) * | 2005-11-25 | 2007-05-31 | Garry Vinje | Vehicle impact avoidance system |
US20100220550A1 (en) * | 2009-02-27 | 2010-09-02 | Nippon Soken, Inc. | Obstacle detection apparatus and method for detecting obstacle |
JP2011095989A (ja) * | 2009-10-29 | 2011-05-12 | Mitsubishi Electric Corp | 車両用制御装置 |
US9213337B1 (en) * | 2013-06-21 | 2015-12-15 | Google Inc. | Detecting lane closures and lane shifts by an autonomous vehicle |
CN106355152A (zh) * | 2016-08-30 | 2017-01-25 | 上海卓易科技股份有限公司 | 识别当前道路车辆的方法、系统及行车记录仪 |
CN108292356A (zh) * | 2015-11-04 | 2018-07-17 | 祖克斯有限公司 | 用于实施自主车辆中的主动安全系统的系统 |
CN108369775A (zh) * | 2015-11-04 | 2018-08-03 | 祖克斯有限公司 | 响应于物理环境的改变自适应制图以对自主车辆进行导航 |
CN108442198A (zh) * | 2018-05-21 | 2018-08-24 | 江苏苏科建设项目管理有限公司 | 一种基于封闭道路的自动驾驶系统 |
US20180268695A1 (en) * | 2017-03-14 | 2018-09-20 | Hyundai Mobis Co., Ltd. | Apparatus and method of safety support for vehicle |
CN109147368A (zh) * | 2018-08-22 | 2019-01-04 | 北京市商汤科技开发有限公司 | 基于车道线的智能驾驶控制方法装置与电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
US9195914B2 (en) * | 2012-09-05 | 2015-11-24 | Google Inc. | Construction zone sign detection |
CN107111742B (zh) * | 2014-08-18 | 2021-04-02 | 无比视视觉技术有限公司 | 在导航中对车道限制和施工区域的识别和预测 |
US20160231746A1 (en) * | 2015-02-06 | 2016-08-11 | Delphi Technologies, Inc. | System And Method To Operate An Automated Vehicle |
US9632502B1 (en) * | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
US11100339B2 (en) * | 2019-05-20 | 2021-08-24 | Zoox, Inc. | Closed lane detection |
US20220326023A1 (en) * | 2021-04-09 | 2022-10-13 | Zoox, Inc. | Verifying reliability of data used for autonomous driving |
-
2019
- 2019-05-20 US US16/417,441 patent/US11100339B2/en active Active
-
2020
- 2020-05-20 JP JP2021569051A patent/JP2022532921A/ja active Pending
- 2020-05-20 EP EP20810117.0A patent/EP3973365A4/en active Pending
- 2020-05-20 WO PCT/US2020/033799 patent/WO2020236932A1/en unknown
- 2020-05-20 CN CN202080051044.0A patent/CN114127655B/zh active Active
- 2020-05-20 CN CN202311654951.6A patent/CN117681883A/zh active Pending
-
2021
- 2021-08-23 US US17/408,816 patent/US11694447B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070124078A1 (en) * | 2005-11-25 | 2007-05-31 | Garry Vinje | Vehicle impact avoidance system |
US20100220550A1 (en) * | 2009-02-27 | 2010-09-02 | Nippon Soken, Inc. | Obstacle detection apparatus and method for detecting obstacle |
JP2011095989A (ja) * | 2009-10-29 | 2011-05-12 | Mitsubishi Electric Corp | 車両用制御装置 |
US9213337B1 (en) * | 2013-06-21 | 2015-12-15 | Google Inc. | Detecting lane closures and lane shifts by an autonomous vehicle |
CN108292356A (zh) * | 2015-11-04 | 2018-07-17 | 祖克斯有限公司 | 用于实施自主车辆中的主动安全系统的系统 |
CN108369775A (zh) * | 2015-11-04 | 2018-08-03 | 祖克斯有限公司 | 响应于物理环境的改变自适应制图以对自主车辆进行导航 |
CN106355152A (zh) * | 2016-08-30 | 2017-01-25 | 上海卓易科技股份有限公司 | 识别当前道路车辆的方法、系统及行车记录仪 |
US20180268695A1 (en) * | 2017-03-14 | 2018-09-20 | Hyundai Mobis Co., Ltd. | Apparatus and method of safety support for vehicle |
CN108442198A (zh) * | 2018-05-21 | 2018-08-24 | 江苏苏科建设项目管理有限公司 | 一种基于封闭道路的自动驾驶系统 |
CN109147368A (zh) * | 2018-08-22 | 2019-01-04 | 北京市商汤科技开发有限公司 | 基于车道线的智能驾驶控制方法装置与电子设备 |
Non-Patent Citations (2)
Title |
---|
WANG XIAOYONG,等: "Real-time on-road vehicle detection algorithm based on monocular vision", 《PROCEEDINGS OF 2012 2ND INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND NETWORK TECHNOLOGY》 * |
段炜,等: "一种基于彩色图像的道路交通标志检测新方法", 《计算机工程与应用》, vol. 44, no. 11 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116341880A (zh) * | 2023-05-26 | 2023-06-27 | 成都盛锴科技有限公司 | 一种基于有限状态机的列检机器人分布式调度方法 |
CN116341880B (zh) * | 2023-05-26 | 2023-08-11 | 成都盛锴科技有限公司 | 一种基于有限状态机的列检机器人分布式调度方法 |
Also Published As
Publication number | Publication date |
---|---|
US11100339B2 (en) | 2021-08-24 |
US20210383138A1 (en) | 2021-12-09 |
EP3973365A1 (en) | 2022-03-30 |
EP3973365A4 (en) | 2023-05-03 |
US11694447B2 (en) | 2023-07-04 |
US20200372262A1 (en) | 2020-11-26 |
JP2022532921A (ja) | 2022-07-20 |
WO2020236932A1 (en) | 2020-11-26 |
CN114127655B (zh) | 2023-12-22 |
CN117681883A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114127655B (zh) | 封闭车道检测 | |
CN112752988B (zh) | 雷达空间估计 | |
US11351991B2 (en) | Prediction based on attributes | |
US11021148B2 (en) | Pedestrian prediction based on attributes | |
CN113015664B (zh) | 感知防撞 | |
US20220363256A1 (en) | Trajectory modifications based on a collision zone | |
CN112752950B (zh) | 修改与地图数据相关联的地图元素 | |
EP3948656A1 (en) | Pedestrian prediction based on attributes | |
CN112789481A (zh) | 对自上而下场景的轨迹预测 | |
CN114245885A (zh) | 基于动作数据的自上而下场景预测 | |
CN112041633A (zh) | 使用蒙片进行的数据分割 | |
US20220204029A1 (en) | Collision avoidance using an object contour | |
CN115551758A (zh) | 非结构化车辆路径规划器 | |
CN114072841A (zh) | 根据图像使深度精准化 | |
CN114502440A (zh) | 防撞感知系统 | |
CN115485177A (zh) | 雷达跟踪的对象速度和/或偏航 | |
CN114555446A (zh) | 复杂地面轮廓估计 | |
JP7464616B2 (ja) | 速度および位置情報を使用するレーダ反射の認識 | |
US11960009B2 (en) | Object contour determination | |
CN117545674A (zh) | 用于识别路缘的技术 | |
CN115443233A (zh) | 针对协作车辆引导的遥操作 | |
EP4271598A1 (en) | Collision avoidance using an object contour | |
JP2024506433A (ja) | 機械学習モデルのための中間入力 | |
CN117813228A (zh) | 使用无遮挡传感器发射确定占用 | |
EP4260154A1 (en) | Localization based on semantic objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |