CN114729810A - 人行横道检测 - Google Patents

Abstract

公开了用于检测人行横道位置的系统和方法。可以通过确定在道路表面上的至少两条着色线，然后将所述道路表面上的所述至少两条着色线组合成相关元素的分组来检测人行横道位置。所述相关元素的所述分组可以基于所述相关元素的所述分组的属性而被分类为人行横道(或者在一些实施例中，人行横道的类型)，其中所述元素的所述分组的所述属性包括所述至少两条着色线之间的距离和所述相关元素的所述分组在所述道路表面上的取向。

Description

人行横道检测

相关申请的交叉引用

本申请要求于2019年9月30日提交的名称为“人行横道检测”的第16/589,020号美国申请的优先权，其全部内容特此通过引用明确地并入本文。

技术领域

本技术涉及使用由无人驾驶车辆捕获的数据来更新地图数据库的一部分，并且更具体地涉及使用从无人驾驶车辆获得的数据来更新具有高分辨率数据的地图数据库的一部分中的人行横道位置。

背景技术

无人驾驶车辆是一种无需人类驾驶员就能导航的机动车辆。示例性无人驾驶车辆包括多个传感器系统，诸如但不限于相机传感器系统、激光雷达传感器系统、雷达传感器系统等，其中无人驾驶车辆基于传感器系统输出的传感器信号操作。具体地，传感器信号被提供给与多个传感器系统通信的内部计算系统，其中处理器基于传感器信号执行指令以控制无人驾驶车辆的机械系统，诸如车辆推进系统、制动系统或转向系统。

无人驾驶车辆使用由无人驾驶车辆的至少一个传感器捕获的数据和存储在无人驾驶车辆上的地图的组合来导航。地图通常使用专用测绘车辆来创建，专用测绘车辆以比无人驾驶车辆上的至少一个传感器高得多的分辨率来捕获数据。然而，在一些位置，地图可能不完整、缺失，或者人行横道位置可能由于施工、车道变更或其他因素而改变。当这种情况发生时，无人驾驶车辆可能会基于不完整或过时的地图遇到导航的问题，并且存在不一致的道路部分成为无人驾驶车辆的限行区域，直到地图得到更新。

附图说明

通过参考附图中示出的具体实现，本技术的上述和其他优点和特征将变得显而易见。本领域普通技术人员将理解，这些附图仅示出了本技术的一些示例，并且不会将本技术的范围限制于这些示例。此外，本领域技术人员将理解通过使用附图以额外的特征和细节描述并解释的本技术的原理，其中：

图1示出了根据本技术的一些方面的用于驾驶和管理无人驾驶车辆的示例系统；

图2示出了根据本技术的一些方面的用于更新地图中的人行横道部分的示例系统；

图3示出了根据本技术的一些方面的数据的示例可视化，其示出了检测人行横道的传感器数据；

图4示出了根据本技术的一些方面的数据过滤和人行横道类型分类的示例可视化；

图5示出了根据本技术的一些方面的数据过滤和人行横道类型分类的示例可视化；

图6示出了根据本技术的一些方面的用于检测人行横道的示例方法；

图7示出了用于实现本技术的某些方面的系统的示例。

具体实施方式

下面详细讨论本技术的各种示例。虽然讨论了具体的实现，但是应该理解，这么做仅仅是为了说明的目的。相关领域的技术人员将认识到，在不脱离本技术的精神和范围的情况下，可以使用其他部件和配置。在一些情况下，为了便于描述一个或多个方面，以框图形式示出了公知的结构和设备。此外，应当理解，被描述为由某些系统部件执行的功能可以由比所示的部件更多或更少的部件来执行。

所公开的技术解决了本领域中对这样的一种技术的需求，该技术可以快速地更新用于为无人驾驶车辆选择路线的地图，该地图反映了变化的人行横道位置，而不需要专用地图绘制车辆或人工干预。

无人驾驶车辆使用由无人驾驶车辆的至少一个传感器捕获的数据和存储在无人驾驶车辆上的地图的组合来导航。地图通常使用专用测绘车辆来创建，该专用测绘车辆以比无人驾驶车辆上的至少一个传感器高得多的分辨率来捕获数据。以这种方式，在导航之前生成通知无人驾驶车辆导航的地图，使得一旦接收到目的地，就可以确定到具体目的地的路线。然而，自从专用测绘车辆绘制了路线以来，人行横道位置可能会出现或发生变化。例如，如果自从专用绘图车辆最后一次绘制路线以来，已经绘制了路线上的人行横道并且无人驾驶车辆依赖于指示人行横道的地图语义边界来驾驶，那么由于交通标记已经被修改，无人驾驶车辆因此将不会在道路上正确地作出行为表现。由于更新高分辨率地图需要专用测绘车辆，因此在更新高分辨率地图之前可能会经过相当长的一段时间。

所公开的技术通过使各种实施例能够找到人行横道位置相对于地图已经改变的区域来解决上述问题。改变的范围可以触发各种响应，诸如确定地图的哪些部分可以被信任(例如，在某些部分使用已经存储的语义边界)vs确定地图的哪些部分需要更新(例如，不使用已经存储的语义边界)，实时检测人行横道以及基于检测到的线重新绘制语义边界，等等。

本技术提供了一种系统，所述系统可以使用来自无人驾驶车辆的传感器的数据实时更新存储在无人驾驶车辆上的地图的语义标签，因此避免了为这些更新而调度专用测绘车辆的需要。这使得无人驾驶车辆的路线规划和路线安排更加高效，并显著减少了发布地图更新之前的故障时间。本技术还减少了专用测绘车辆上的工作负荷，因为它被调度的频率较低，因此，即使当地图需要来自专用测绘车辆的数据进行更新时，由于专用测绘车辆排队的作业数量的减少，更新地图所花费的时间也缩短了。因此，无论是否需要专用测绘车辆，都可以更快地发布语义标签更新，并缩短因地图过时而限制无人驾驶车辆进入区域的周期。

在以下系统和方法中，可以通过确定至少两条着色线在道路表面上，然后将道路表面上的至少两条着色线组合成相关元素的分组，来检测人行横道位置。可以基于相关元素的分组的属性将相关元素的分组分类为人行横道(或者在一些实施例中，一种类型的人行横道)，其中元素的分组的属性包括至少两条着色线之间的距离和相关元素的分组在道路表面上的取向。

图1示出了包括与远程计算系统150通信的无人驾驶车辆102的环境100。

无人驾驶车辆102可以使用由无人驾驶车辆102的传感器系统104-106输出的传感器信号和存储在地图数据库123中的地图，在没有人类驾驶员的情况下在道路上导航。无人驾驶车辆102包括多个传感器系统104-106(第一传感器系统104至第N传感器系统106)。传感器系统104-106是不同类型的，并且布置在无人驾驶车辆102周围。例如，第一传感器系统104可以为相机传感器系统，并且第N传感器系统106可以为激光雷达传感器系统。其他示例性传感器系统包括雷达传感器系统、全球定位系统(GPS)传感器系统、惯性测量单元(IMU)、红外传感器系统、激光传感器系统、声纳传感器系统等。

无人驾驶车辆102还包括用于实现无人驾驶车辆102的适当运动的几个机械系统。例如，机械系统可以包括但不限于车辆推进系统130、制动系统132和转向系统134。车辆推进系统130可包括电动马达、内燃机或两者。制动系统132可以包括发动机制动器、制动垫、致动器和/或配置成帮助无人驾驶车辆102减速的任何其他合适的部件。转向系统134包括配置成在导航期间控制无人驾驶车辆102的移动方向的合适部件。

无人驾驶车辆102还包括安全系统136，该安全系统136可以包括各种灯和信号指示器、停车制动器、安全气囊等。无人驾驶车辆102还包括车厢系统138，该车厢系统138可以包括车厢温度控制系统、车厢内娱乐系统等。

无人驾驶车辆102另外包括与传感器系统104-106和系统130、132、134、136和138通信的内部计算系统110。内部计算系统包括至少一个处理器和具有由处理器执行的计算机可执行指令的至少一个存储器。计算机可执行指令可以构成一个或多个服务，这些服务负责控制无人驾驶车辆102、与远程计算系统150通信、接收来自乘客或人类副驾驶的输入、记录关于由传感器系统104-106和人类副驾驶收集的数据的度量等。

内部计算系统110可以包括控制服务112，该控制服务112配置为控制车辆推进系统130、制动系统132、转向系统134、安全系统136和车厢系统138的操作。控制服务112从传感器系统104-106接收传感器信号，并与内部计算系统110的其他服务通信，以实现无人驾驶车辆102的操作。在一些实施例中，控制服务112可以协同无人驾驶车辆102的一个或多个其他系统来执行操作。

内部计算系统110还可以包括约束服务114，以促进无人驾驶车辆102的安全推进。约束服务114包括指令，该指令用于基于对无人驾驶车辆102的操作的基于规则的限制来激活约束。例如，约束可以是根据协议而激活的导航限制，该协议配置为避免占用与其他物体相同的空间、遵守交通法、避开回避区域等。在一些实施例中，约束服务可以为控制服务112的一部分。

内部计算系统110还可以包括通信服务116。通信服务可以包括用于从/向远程计算系统150传输和接收信号的软件和硬件元件。通信服务116配置成例如通过提供个人蜂窝(长期演进(LTE)、3G、5G等)通信的天线阵列在网络上无线地传输信息。

在一些实施例中，内部计算系统110的一个或多个服务配置成出于如下的原因向远程计算系统150发送和接收通信：诸如报告用于训练和评估机器学习算法的数据、向远程计算系统或经由远程计算系统150向人类操作员请求帮助、软件服务更新、地图更新、拼车接送指令等。

内部计算系统110还可以包括延迟服务118。延迟服务118可以利用去往和来自远程计算系统150的通信的时间戳来确定是否已经及时从远程计算系统150接收到有用的通信。例如，当内部计算系统110的服务请求来自远程计算系统150的关于时间敏感过程的反馈时，延迟服务118可以确定是否及时从远程计算系统150接收到响应，因为信息可能很快变得太陈旧而不可操作。当延迟服务118确定在阈值内没有接收到响应时，延迟服务118可以使无人驾驶车辆102的其他系统或乘客能够做出必要的决定或提供所需的反馈。

内部计算系统110还可以包括用户界面服务120，该用户界面服务120可以与车厢系统138通信，以便向人类副驾驶或人类乘客提供信息或接收信息。在一些实施例中，可以要求人类副驾驶或人类乘客评估和无视来自约束服务114的约束，或者人类副驾驶或人类乘客可能希望向无人驾驶车辆102提供关于目的地、所请求的路线或其他所请求的操作的指令。

地图不一致服务122可以将传感器104-106收集的数据与存储在地图数据库123中的地图进行比较。例如，最初可以使用预先绘制的数据来创建地图。人行横道和道路的配置通常会因重新粉刷、施工或其他因素而改变。当这种情况发生时，地图不一致服务122确定与当前条件相比存储在地图数据库123中的地图反映了不一致，并且可以为无人驾驶车辆标记存在不一致的道路部分，直到地图被更新。地图不一致服务122可以经由通信服务116与地图更新服务160通信，以接收地图的更新部分。

如上所述，远程计算系统150配置成发送/接收来自无人驾驶车辆102的信号，该信号是关于用于训练和评估机器学习算法的报告数据、向远程计算系统150或经由远程计算系统150向人类操作员请求帮助、软件服务更新、地图更新、拼车接送指令等的。

远程计算系统150包括分析服务152，该分析服务152配置成从无人驾驶车辆102接收数据，并分析数据以训练或评估用于操作无人驾驶车辆102的机器学习算法。分析服务152还可以执行关于与无人驾驶车辆102所报告的一个或多个错误或约束相关联的数据的分析。

远程计算系统150还可以包括用户界面服务154，该用户界面服务154配置成向远程计算系统150的操作员呈现从无人驾驶车辆102报告的度量、视频、图片、声音。用户界面服务154还可以接收来自操作员的输入指令，该输入指令可以被发送到无人驾驶车辆102。

远程计算系统150还可以包括用于发送关于无人驾驶车辆102的操作的指令的指令服务156。例如，响应于分析服务152或用户界面服务154的输出，指令服务156可以为无人驾驶车辆102的一个或多个服务或无人驾驶车辆102的副驾驶或乘客准备指令。

远程计算系统150还可以包括拼车服务158，该拼车服务158配置为与在(潜在的)乘客计算设备上操作的拼车应用170交互。拼车服务158可以从乘客拼车应用170接收要接送的请求，并且可以调度无人驾驶车辆102执行该行程。拼车服务158还可以充当拼车应用170与无人驾驶车辆之间的中介，其中乘客可以向无人驾驶车辆102提供指令以绕过障碍物、改变路线、按喇叭等。

如上所述，本技术提供了一种系统，其可以使用来自无人驾驶车辆102的至少一个传感器104-106的低分辨率数据来识别存储在无人驾驶车辆102的地图数据库123中的地图的已变化方面，诸如当前的人行横道位置。在一些实施例中，初始地图可以包括预先绘制数据和语义标签，其中该预先绘制数据包括从专用测绘车辆上的高分辨率激光雷达系统获得的高密度的点，也称为高分辨率点地图，该语义标签标识从高分辨率激光雷达系统获得的高密度的点中表示的特征。语义标签可以识别诸如车道线、线颜色、行车道、停车标志和停车灯的位置、人行横道等特征。在一个或多个实施例中，地图还可以包括指示对如本文所述的预先绘制特征和语义标签的更新的低分辨率点地图数据。

在一些实施例中，本技术可以使用来自无人驾驶车辆102的至少一个传感器104-106的低分辨率数据来检测新特征，并且管理员可以在现有高密度点之上手动地重新标记语义标签，该现有高密度点从在所存储的预先绘制地图中已经表示的高分辨率激光雷达系统获得。在一些实施例中，可以自动地重新标记语义标签。

图2示出了更详细地示出地图更新服务160和地图不一致服务122的示例系统实施例。虽然关于图6所示的方法讨论了图2所示的系统，但是应当理解，除了权利要求中定义的以外，附图中的每一者都代表它们自己的单独实施例，并且不应当被附图之间的这种交叉引用所限制。

地图不一致服务122用于确定存储在地图数据库123中的预先绘制高清晰度地图中示出的人行横道特征何时与传感器104-106检测到的当前数据中的人行横道特征不一致(诸如不存在、添加或以其他方式修改)。虽然在一些实施例中，传感器104-106可以以比高清晰度地图中反映的分辨率低的分辨率捕获数据，但是由传感器104-106捕获的当前数据足以确定这样的不一致。检测这些不一致很重要，因为高清晰度地图可能会过时，不再反映道路的配置。来自传感器104-106的当前数据反映了人行横道位置的当前配置。

当无人驾驶车辆102导航路线时，传感器104-106捕获反映无人驾驶车辆102周围环境的当前数据。当无人驾驶车辆102通过地理区域，诸如包括人行横道的地理区域时，数据聚集器204可以积累来自至少一个传感器104-106的当前数据。即使在很短的距离上，当传感器连续地收集数据时，数据聚集器204也可以累积来自同一传感器的当前数据。例如，在激光雷达传感器的情况下，激光雷达根据从无人驾驶车辆102周围的环境收集的当前数据连续地创建点地图，并且这种数据由数据聚集器204聚集。

当无人驾驶车辆102的至少一个传感器104-106正在捕获当前数据时，在一些实施例中，人行横道检测器202可以通过将数据聚类成特征类型(诸如人行横道，或者在一些实施例中，人行横道的类型)来检测在捕获的当前数据中表示的新特征，并且可以将捕获的当前数据中检测到的特征与预先绘制的数据(例如存储在地图数据库123中的地图)中表示的特征进行比较。

在一些情况下，人行横道检测器202可以确定当前数据中的特征不同于预先绘制数据中表示的特征。例如，预先绘制数据可以反映道路上特定位置的人行横道，而当前数据可以反映道路上不同位置的人行横道。在一些实施例中，人行横道检测器202可以基于当前数据的特点来确定特征的类型。例如，特征检测器可以确定人行横道已经从斑马线型人行横道变为平行线型人行横道。不一致的其他示例可能包括人行横道的添加或去除、人行横道的存在或不存在、人行横道取向的改变(例如，更接近车道倾斜30度)等。

如果人行横道检测器202确定预先绘制数据不包括反映当前数据中表示的特征的语义标签，则人行横道检测器202可以公布检测到的不一致的位置和类型。例如，如果人行横道检测器202确定存在人行横道的位置不同于预先绘制数据中反映的人行横道的位置，则人行横道检测器202可以识别检测到人行横道的位置并识别位置变化。

在一些实施例中，人行横道检测器202也可以对变化的类型进行分类。例如，当变化是关于人行横道类型从斑马线型变为平行线型时，人行横道检测器202可以将不一致标记为添加到新位置的人行横道类型、从预期位置去除的人行横道类型、或者改变了它当前在地图数据部分中的表现方式的人行横道类型。对于人行横道变化，人行横道检测器202还可以包括人行横道颜色(例如，白色、黄色等)。此外，人行横道检测器202可以识别检测到变化的传感器类型，诸如激光雷达传感器或相机。

数据聚集器204可以将来自至少一个传感器104-106的累积的当前数据标记为反映检测到的变化，并且数据聚集器204可以将反映不一致的累积的当前数据发送到地图更新服务160。例如，累积的当前数据可以包括反映不一致的低分辨率点地图。累积的当前数据还可以具有来自无人驾驶车辆102的任何其他传感器信息，诸如用于确定人行横道颜色或边界框的相机数据，这些信息可以协助并被合并到地图的更新中。

在一些实施例中，预先绘制的数据可以存储为地图部分的集合。在这样的实施例中，当数据聚集器204正在接收的当前数据不再适用于该地图部分时，数据聚集器204可以停止向地图更新服务160发送反映不一致的累积的当前数据。数据聚集器204可以继而收集反映关于不同地图部分的不一致的当前数据。在一些实施例中，地图部分可以由具有位置坐标的地理边界来定义，诸如可以反映在物理地图的图块上。

在一些实施例中，地图服务214可以将当前数据指示为低分辨率数据，这防止当前数据被直接包括在对预先绘制数据的任何更新中(但是在一些实施例中，低分辨率数据可以用于进行包括在预先绘制数据中的标记修订)。地图服务214可以管理地图部分的版本以及对地图部分的访问。一旦地图部分的版本已经处于地图服务214的管理之下，地图服务就可以存储地图部分的版本并使其可被访问以供查看，并且在适当的时候，包括在地图数据的最新版本中以供无人驾驶车辆102使用。

一旦所接收的数据已经作为地图部分的版本被存储并置于地图服务214的管理之下，标记服务222就可以检索示出与预先绘制数据地图部分不一致的地图部分的版本，并对照预先绘制数据地图部分检查低分辨率当前数据以确认不一致的存在。

在一些实施例中，如果标记服务222确认不一致，则标记服务222可以使得预先绘制数据的相关地图部分在地图服务214中被标记为受限。当地图部分被地图服务214标记为受限时，可以将这个信息发布给无人驾驶车辆102，并且可以禁止无人驾驶车辆102在受限地图部分上表示的区域内自主驾驶。无人驾驶车辆102将被缓慢停止。在一些实施例中，如果标记服务222确认不一致，则无人驾驶车辆102可以继续导航，只要改变的范围不会使驾驶不安全。在一些实施例中，无人驾驶车辆102能够动态地分析变化并修改地图上的语义标签，并相应地导航，并且在一些实施例中，管理员能够实时或接近实时地导航无人驾驶车辆102经过变化的区域。

在一些实施例中，标记服务222可以进一步确定是否可以用低分辨率当前数据来补救不一致。如果不一致具有这样的需要新的高分辨率数据的性质，则调度服务218可以调度专用地图车辆来重新映射地图部分中表示的位置。当较大的地图部分不一致、不一致的细节对于重新标记地图部分不够清楚时，或者对于被认为对无人驾驶车辆102的驾驶至关重要的数据，可能需要新的高分辨率数据。可能需要新的高分辨率数据的严重不一致的示例将包括在与新的交叉路口相关的可驾驶区域进行大范围的重新油漆、增加新的轻轨线路等。

响应于标注服务222确定可以用低分辨率当前数据来补救不一致，标注服务222可以分析接收到的低分辨率当前数据和预先绘制数据来重新标注地图数据，这产生更新的地图数据部分。标记服务222可以使用试探法来执行，以识别需要重新标记的模式，或者在一些实施例中，可以利用机器学习算法来执行重新标记。在一些实施例中，可以手动执行全部或部分重新标记，并且机器学习算法为人类标记者提供了修订和更新地图的线索。然后，在一些实施例中，无人驾驶车辆102可以停止，并且在一些实施例中，可以实时或接近实时地远程手动驾驶。

标记服务222可以将修订的地图数据部分与用于创建它的数据源相关联，该数据源包括来自无人驾驶车辆102的传感器104-106的低分辨率当前数据，以及来自提供上述高清晰度地图点的地图部分的先前版本的高分辨率预先绘制数据，并将这个信息存储在地图元数据数据库224中。如果对修订的地图数据部分进行了新的修订，则标记服务222可以将来自无人驾驶车辆102的传感器104-106的更新的低分辨率当前数据保存到地图元数据数据库224中，其中新的修订的地图数据部分基于该更新的低分辨率当前数据。可以将低分辨率当前数据版本化并适当地与相应的修订地图数据部分相关联。

图3示出了根据本技术的一些方面的检测人行横道位置的示例可视化传感器数据。图形表示330的道路310包括一个或多个车道边界，诸如虚线车道边界318和314，以及道路边界312。当无人驾驶车辆导航包括道路310的路线时，无人驾驶车辆可以从一个或多个传感器接收当前数据，该当前数据可以指示描述地图上的位置的预先绘制数据与描述该位置的特征的当前数据之间的不一致。例如，预先绘制的数据包括来自专用绘制车辆最后一次通过的车道边界314、318和道路边界312，但是从那时起道路310已经被重新绘制以包括人行横道316a、316b(例如，人行横道添加到相应的交叉路口)。

为了检测道路310和道路上的特征，诸如人行横道、车道边界、转弯车道等，无人驾驶车辆可以通过安装到或以其他方式布置在无人驾驶车辆上的至少一个传感器来感知其周围环境。例如，传感器可以是包括激光雷达传感器和/或相机传感器的传感器系统的一部分。其他示例性传感器系统可以包括雷达传感器系统、全球定位系统(GPS)传感器系统、惯性测量单元(IMU)、红外传感器系统、激光传感器系统、声纳传感器系统等。激光雷达传感器可以例如检测和/或捕捉道路310的着色部分(例如，诸如车道边界314、318的道路特征；诸如312的道路边界和诸如316a、316b的人行横道)与道路310的未着色部分之间的强度变化。道路310的较浅颜色的着色部分将显示为比道路310的较暗、未着色部分更高亮度的区域。

强度地图可以通过检测道路310上强度变化的传感器构建，然后可以与预先绘制的地图上的特征进行比较。例如，图形320示出了沿着道路310的强度地图的一部分作为位置(x)的函数的强度，并且图形322示出了在过滤324成二进制地图之后沿着道路310的强度地图的一部分作为位置(x)的函数的强度。在一些实施例中，图形320表示道路310的水平横截面326h，其示出了对应于人行横道316a的平行线图案的具有较高强度的峰值328、峰值340、峰值342和峰值344。较低强度区域对应于道路310的未着色部分。在一些实施例中，图形320可以表示道路310的竖直横截面326v，其将类似地示出对应于人行横道316b的平行线图案的具有更高强度的峰值。在一些实施例中，可以组合道路310的水平横截面326h和竖直横截面326v以形成具有两组信息的二维强度地图。

在一些实施例中，可以清除来自传感器的噪声信号。例如，在一些实施例中，当强度峰值跨越至少阈值距离346但不大于最大阈值距离时，来自激光雷达的强度测量可以指示车道边界。这是因为人行横道标志应该在一些最小尺寸与一些最大尺寸之间的特定宽度上产生更高强度的信号。在阈值距离346之外的任何强度峰值可以在过滤324期间作为噪声被滤除(因为它可能指示车道线或道路310的不是人行横道的其他特征)。

另外和/或可替换地，在一些实施例中，强度的变化，而不是其宽度，可以用于滤除当前数据中的噪声。例如，小于平均非峰值强度的阈值变化的任何峰值可以在过滤324期间作为噪声被去除。虽然图3描述的实施例通过强度变化来测量道路310的着色区域与非着色区域，因为这消除了校准传感器以在所有无人驾驶车辆上保持一致的需要，但是在一些可替换实施例中，强度可以测量到某些值。以这种方式，在阈值距离上处于某一强度值的峰值或高于某一强度值的峰值可以是检测到的特征，并且其他数据点可以在过滤324期间作为噪声被丢弃。

过滤324去除不指示检测到人行横道的着色区域的数据(例如，噪声)。一旦执行了过滤324，数据就可以被二进制化，使得着色区域具有某个值(例如，强度＝1，或者“白色”像素)，而未着色区域具有另一个值(例如，强度＝0，或者“黑色”像素)。图形322示出了作为峰值328、340、342和344的位置的函数的二元强度。

图4示出了一段道路404的当前点云的图形表示402。当前数据描述了诸如如图3所描述的如下区域：其中高强度区域(例如，着色的车道边界)跨越比阈值最大宽度窄且比阈值最小宽度宽的空间接近度，并且高强度区域高于低强度区域(例如，裸露道路)的阈值强度。图形表示406示出了根据本技术的一些方面，在数据过滤和人行横道类型分类成斑马线型的人行横道之后的当前点云。可以将来自灰度激光雷达数据的像素过滤成黑色像素(例如，对于未着色区域，强度＝0)或白色像素(例如，对于着色区域，强度＝1)(例如，二进制地图)。

基于在最小长度与最大长度之间的范围内的高强度区域的空间接近度，可以将当前数据聚类成一个或多个特征。例如，在水平扫描和竖直扫描中都评估白色像素之后，当像素在特定范围内时，可以连接像素。例如，所述范围可以大到足以区别于虚线车道标志，但是小到足以区别于实线车道边界。具有像素范围内的像素厚度的任何白色像素组可以组合成一条线。不属于聚类像素的任何像素，诸如像素412，在过滤期间被去除，并且相应地在图形表示406中被去除。

至少两条线(表示道路404表面上的着色线)可以组合成指示道路404的特征的相关元素的分组。这些线可以被聚类成特征408和特征410。

在一些实施例中，试探法可以应用于生成特征的某些结构和/或形状的聚类线。例如，特征408以及(在不同的取向上的)特征410的高强度区域的形状和结构可以指示斑马线型的人行横道。在一些实施例中，可以基于确定特征的形状不在与道路404(其可以指示自行车道而不是人行横道)相同的方向上来对连接线进行聚类。

在一些实施例中，当线被组合成特征(例如，408或410)时，可以确定次轴412和主轴414。主轴414可以为特征408、410的最大直径。次轴414可以为特征408、410的最短直径。在一些实施例中，主轴414和次轴414彼此正交，并且次轴可以在平行于行进方向的20度内。

在一些实施例中，相关元素的分组可以基于相关元素的分组的属性来分类。元素的分组的属性可以包括至少两条着色线之间的距离，以及道路表面上相关元素的分组的取向，其指示斑马线型人行横道(近距离)与平行线型人行横道(远距离)。

图5示出了一段道路504的当前点云的图形表示502。类似于图4，当前数据描述了如下的区域：其中，高强度区域(例如，着色的车道边界)跨越比阈值最大宽度窄且比阈值最小宽度宽的空间接近度，并且高强度区域高于低强度区域(例如，裸露道路)的阈值强度。图形表示506示出了根据本技术的一些方面，在数据过滤和人行横道类型分类成平行线型人行横道之后的当前点云。可以将来自灰度激光雷达数据的像素过滤成黑色像素(例如，对于未着色区域，强度＝0)或白色像素(例如，对于着色区域，强度＝1)(例如，二进制地图)。

基于在最小长度与最大长度之间的范围内的高强度区域的空间接近度，当前数据可以被聚类成一个或多个特征。在水平扫描和竖直扫描中都评估白色像素之后，当像素在特定范围内时，可以连接像素。具有像素范围内的像素厚度的任何白色像素组可以组合成一条线。不属于聚类像素的任何像素，诸如像素512，在过滤期间被去除，并且相应地在图形表示506中被去除。

至少两条线(表示道路504表面上的着色线)可以组合成指示道路504的特征的相关元素的分组。这些线可以聚类成特征508和特征510，每个特征具有主轴514和次轴512。

在一些实施例中，人行横道的前面和/或两侧可以有停车线。在一些情况下，当停止线在人行横道(尤其是平行型人行横道)前面时，无人驾驶车辆可能很难将停止线与人行横道特征分离，并且可能试图将人行横道特征定义为也涵盖停止线。例如，人行横道特征可能被定义为从停止线开始，或者如果停止线包含在特征中，取决于线密度的人行横道特征(如斑马线型的人行横道)可能看起来密度可能较低。这不仅会导致人行横道位置的不准确确定，还会导致潜在的错误结论，即那里没有人行横道。在其他情况下，停止线可以是潜在人行横道位于停止线附近的指示器。因此，停止线可以在预先绘制数据中被标记为感兴趣的特征，或者在一些实施例中，被检测为跨越与车道宽度相当的最小长度和最大长度的线。在一些实施例中，激光雷达和/或相机数据可以检测停止线之前的着色单词“停”。

在停车线的情况下，仅考虑与无人驾驶车辆运动方向正交的方向成约20度角的停车线。这是因为在该范围内的停止线是无人驾驶车辆将迎面遇到的道路特征(例如，在其他行驶方向上或平行于无人驾驶车辆的行驶方向的停止线对于无人驾驶车辆的导航是无关紧要的，因此被跳过以节省计算资源)。一旦检测到或标记了停止线，该线将不会与人行横道特征(诸如特征508或特征510)合并，使得无人驾驶车辆可以准确地确定人行横道的正确位置。这样，人行横道特征(例如，特征508和510)与停车线特征分开处理。

在一些实施例中，由于停止线将平行于主轴514，因此停止线的检测可以确定人行横道508、510的主轴514。

图6示出了根据本技术的一些方面的用于检测人行横道的示例方法。该方法可以从接收(602)来自激光雷达数据的灰度像素开始。可以将来自灰度激光雷达数据的像素过滤(604)成黑色像素或白色像素，使得数据被二进制化成指示道路的着色部分(白色像素)或未着色部分(黑色像素)的信息。可以在水平扫描和竖直扫描中都评估(606)白色像素，以识别具有在确定的像素范围内的像素厚度或像素尺寸的任何白色像素组。例如，确定的像素范围可以大于虚线车道线，但小于停止线或实线车道线。

基于以上所述，可以确定(608)在道路表面上的至少两条着色线。基于至少两条线中的第一条线相对于所确定的线中的第二条线的取向，这些线可以被分组为可以指示人行横道的特征(例如，每个特征为相关线的分组/相关元素的分组)。例如，可以将这些线分组成矩形特征。然后，可以将矩形特征的每个直径标记(610)为主轴(最大直径)或次轴(最小直径)。在一些实施例中，主轴和次轴彼此正交，并且可以根据表示每个特征如何成形的统计变化来确定主轴和次轴，它可以近似于具有最小直径(次轴)和最大直径(主轴)的矩形形状。然后，可以将该特征分类(612)为候选人行横道的类型(例如，潜在的斑马线型或平行线型的人行横道)。在一些实施例中，停止线特征被标记并去除以免被分组到特征中。

可以确定(614)相对于人行横道特征的行进角度。如果人行横道特征的主轴取向平行于道路或无人驾驶车辆(AV)的行进方向，则该特征是自行车道，因此可以忽略或丢弃。如果主轴取向垂直于道路或行进方向，则该特征为人行横道。基于行进角度垂直于人行横道特征的主轴，则可以将人行横道特征分类(616)为候选斑马线型或平行线型人行横道。

当人行横道特征中的组成候选斑马线型人行横道的相关元素的分组的足够多的属性与斑马线型人行横道的属性相匹配时，可以确定/确认(618)候选斑马线型人行横道为人行横道。当人行横道特征中的组成候选平行线型人行横道的相关元素的分组的足够多的属性与斑马线型人行横道的属性相匹配时，可以确定/确认(620)候选平行线型人行横道为人行横道。

如本文所述，本技术的一个方面为收集和使用能从各种来源获得的数据以提高质量和体验。本公开考虑到，在一些情况下，这种收集的数据可以包括个人信息。本公开预期涉及这样的个人信息的实体尊重并重视隐私政策和实践。

图7示出了计算系统700的示例，计算系统700可以为例如构成内部计算系统110的任何计算设备、远程计算系统150、执行拼车应用170的(潜在)乘客设备、或者其中系统的部件使用连接705彼此通信的任何部件。连接705可以为经由总线的物理连接，或者至处理器710的直接连接，诸如在芯片组架构中。连接705也可以是虚拟连接、网络连接或逻辑连接。

在一些实施例中，计算系统700为分布式系统，其中本公开中描述的功能可以分布在数据中心、多个数据中心、对等网络等内。在一些实施例中，所描述的系统部件中的一者或多者代表许多这样的部件，每个部件执行描述该部件所针对的一些或所有功能。在一些实施例中，部件可以为物理设备或虚拟设备。

示例系统700包括至少一个处理单元(CPU或处理器)710和连接705，该连接705将包括系统存储器715(诸如只读存储器(ROM)720)和随机存取存储器(RAM)725的各种系统部件耦合到处理器710。计算系统700可以包括高速存储器712的缓存，高速存储器712与处理器710直接连接、紧邻处理器710或者集成为处理器710的一部分。

处理器710可以包括任何通用处理器和硬件服务或软件服务，诸如存储在存储设备730中的服务732、734和736，其配置为控制处理器710以及专用处理器，其中软件指令被结合到实际的处理器设计中。处理器710本质上可以为完全独立的计算系统，包含多个内核或处理器、总线、存储器控制器、缓存等。多核处理器可以为对称的或非对称的。

为了实现用户交互，计算系统700包括输入设备745，该输入设备745可以表示任何数量的输入机构，诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等。计算系统700还可以包括输出设备735，该输出设备735可以为本领域技术人员已知的多种输出机制构中的一者或多者。在一些情况下，多模式系统可以使用户能够提供多种类型的输入/输出来与计算系统700通信。计算系统700可以包括通信接口740，该通信接口740通常可以控制和管理用户输入和系统输出。对于在任何特定硬件配置上的操作没有限制，因此这里的基本特征可以很容易地被开发的改进的硬件或固件配置所替代。

存储设备730可以为非易失性存储设备，并且可以为硬盘或可以存储计算机可访问的数据的其他类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储设备、数字多功能盘、盒式磁带、随机存取存储器(RAM)、只读存储器(ROM)和/或这些设备的某种组合。

存储设备730可以包括软件服务、服务器、服务等。当处理器710执行定义这样的软件的代码时，它使系统执行功能。在一些实施例中，执行特定功能的硬件服务可以包括存储在计算机可读介质中的软件部件以及必要的硬件部件，诸如处理器710、连接705、输出设备735等，以执行该功能。

为了解释清楚，在一些情况下，本技术可以被呈现为包括单独的功能块，这些功能块所包括的功能块包括设备、设备部件、以软件或硬件和软件的组合体现的方法中的步骤或例程。

本文描述的任何步骤、操作、功能或过程可以由硬件和软件服务的组合单独或与其他设备组合来执行或实现。在一些实施例中，服务可以为驻留在客户端设备和/或内容管理系统的一个或多个服务器的存储器中的软件，并且当处理器执行与服务相关联的软件时执行一个或多个功能。在一些实施例中，服务为执行特定功能的程序或程序集合。在一些实施例中，可以将服务视为是服务器。存储器可以为非暂时性计算机可读介质。

在一些实施例中，计算机可读存储设备、介质和存储器可以包括包含比特流等的有线信号或无线信号。然而，当提及时，非暂时性计算机可读存储介质明确排除诸如能量、载波信号、电磁波和信号本身的介质。

根据上述示例的方法可以使用存储在计算机可读介质中或者从计算机可读介质中获得的计算机可执行指令来实现。这样的指令可以包括例如指令和数据，这些指令和数据使得或以其他方式配置通用计算机、专用计算机或专用处理设备来执行特定功能或功能组。所使用的部分计算机资源可以是能通过网络获得的。可执行计算机指令可以为例如二进制的、中间格式指令，诸如汇编语言、固件或源代码。可以用于存储在根据所述示例的方法期间使用的指令、信息和/或创建的信息的计算机可读介质的示例包括磁盘或光盘、固态存储设备、闪存、配备有非易失性存储器的USB设备、网络存储设备等。

实现根据这些公开内容的方法的设备可以包括硬件、固件和/或软件，并且可以采取各种形式因素中的任何一者。这样的形式因素的典型示例包括服务器、笔记本电脑、智能手机、小型个人电脑、个人数字助理等。本文描述的功能也可以在外围设备或附加卡中实现。作为进一步的示例，这样的功能也可以在不同芯片或在单个设备中执行的不同进程之间的电路板上实现。

指令、用于传送这种指令的介质、用于执行它们的计算资源以及用于支持这种计算资源的其他结构为用于提供这些公开内容中描述的功能的装置。

尽管使用了各种示例和其他信息来解释所附权利要求范围内的方面，但是不应基于这些示例中的特定特征或布置来暗示对权利要求的限制，因为普通技术人员将能够使用这些示例来获得各种各样的实现。此外，尽管可能已经用结构特征和/或方法步骤的示例专用的语言描述了一些主题，但是应当理解，所附权利要求中定义的主题不必限于这些描述的特征或动作。例如，这样的功能可以不同地分布或者在除了这里所标识的部件之外的部件中执行。相反，所描述的特征和步骤是作为所附权利要求范围内的系统和方法的部件的示例来公开的。

Claims (20)

1.一种用于人行横道检测的方法，所述方法包括：

确定在道路表面上的至少两条着色线；

将所述道路表面上的所述至少两条着色线组合成相关元素的分组；以及

基于所述相关元素的所述分组的属性对所述相关元素的所述分组进行分类，所述元素的所述分组的所述属性包括所述至少两条着色线之间的距离和所述相关元素的所述分组在所述道路表面上的取向。

2.根据权利要求1所述的方法，其中确定在所述道路表面上的所述至少两条着色线还包括：

将来自灰度激光雷达数据的像素过滤成黑色像素或白色像素；以及

在水平扫描和竖直扫描中都评估所述白色像素，以识别具有在确定的像素范围内的像素厚度的白色像素组，其中具有在所述确定的像素范围内的像素厚度的任何白色像素组被组合成一条线，从而产生所述至少两条着色线。

3.根据权利要求1所述的方法，其中将所述道路表面上的所述至少两条着色线组合成所述相关元素的所述分组还包括：

确定所述相关元素的所述分组的主轴，其中所述主轴包括长度大于阈值像素数的所述相关元素的所述分组；以及

确定所述相关元素的所述分组的次轴，其中所述次轴包括长度小于阈值像素数的所述相关元素的所述分组。

4.根据权利要求1所述的方法，所述方法还包括：

在对所述相关元素的所述分组进行分类之前，将所述相关元素的所述分组识别为候选斑马线型人行横道或平行线型人行横道。

5.根据权利要求4所述的方法，所述方法还包括：

在对所述相关元素的所述分组进行分类之前，确定相对于所述相关元素的所述分组的行进角度；以及

基于所述行进角度，确定候所述选斑马线型人行横道或平行线型人行横道仍然是候选人行横道。

6.根据权利要求4所述的方法，其中基于所述相关元素的所述分组的属性对所述相关元素的所述分组进行分类还包括：

当组成所述候选斑马线型人行横道的所述相关元素的所述分组的足够多的所述属性与斑马线型人行横道的属性相匹配时，确定所述候选斑马线型人行横道为人行横道。

7.根据权利要求4所述的方法，其中基于所述相关元素的所述分组的属性对所述相关元素的所述分组进行分类还包括：

当组成所述平行线型人行横道的所述相关元素的所述分组的足够多的所述属性与平行线型人行横道的属性相匹配时，确定所述候选平行线型人行横道为人行横道。

8.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括存储在其上的指令，所述指令有效地使得至少一个处理器：

确定在道路表面上的至少两条着色线；

将所述道路表面上的所述至少两条着色线组合成相关元素的分组；以及

基于所述相关元素的所述分组的属性对所述相关元素的所述分组进行分类，所述元素的所述分组的所述属性包括所述至少两条着色线之间的距离和所述相关元素的所述分组在所述道路表面上的取向。

9.根据权利要求8所述的非暂时性计算机可读介质，其中使得所述至少一个处理器确定在所述道路表面上的所述至少两条着色线的指令还包括有效地使得至少一个处理器执行以下操作的指令：

将来自灰度激光雷达数据的像素过滤成黑色像素或白色像素；以及

在水平扫描和竖直扫描中都评估所述白色像素，以识别具有在确定的像素范围内的像素厚度的白色像素组，其中具有在所述确定的像素范围内的像素厚度的任何白色像素组被组合成一条线，从而产生所述至少两条着色线。

10.根据权利要求8所述的非暂时性计算机可读介质，其中使得所述至少一个处理器将所述道路表面上的所述至少两条着色线组合成所述相关元素的所述分组的指令还包括有效地使得至少一个处理器执行以下操作的指令：

确定所述相关元素的所述分组的主轴，其中所述主轴包括长度大于阈值像素数的所述相关元素的所述分组；以及

确定所述相关元素的所述分组的次轴，其中所述次轴包括长度小于阈值像素数的所述相关元素的所述分组。

11.根据权利要求8所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括有效地使得所述至少一个处理器执行以下操作的指令：

在对所述相关元素的所述分组进行分类之前，将所述相关元素的所述分组识别为候选斑马线型人行横道或平行线型人行横道。

12.根据权利要求11所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括有效地使得所述至少一个处理器执行以下操作的指令：

在对所述相关元素的所述分组进行分类之前，确定相对于所述相关元素的所述分组的行进角度；以及

基于所述行进角度，确定所述候选斑马线型人行横道或平行线型人行横道仍然是候选人行横道。

13.根据权利要求11所述的非暂时性计算机可读介质，其中使得所述至少一个处理器基于所述相关元素的所述分组的属性对所述相关元素的所述分组进行分类的指令还包括有效地使得至少一个处理器执行以下操作的指令：

当组成所述候选斑马线型人行横道的所述相关元素的所述分组的足够多的所述属性与斑马线型人行横道的属性相匹配时，确定所述候选斑马线型人行横道为人行横道。

14.根据权利要求11所述的非暂时性计算机可读介质，其中使得所述至少一个处理器基于所述相关元素的所述分组的属性对所述相关元素的所述分组进行分类的指令还包括有效地使得至少一个处理器执行以下操作的指令：

当组成所述平行线型人行横道的所述相关元素的所述分组的足够多的所述属性与平行线型人行横道的属性相匹配时，确定所述候选平行线型人行横道为人行横道。

15.一种计算系统，所述计算系统包括：

至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质包括存储在其上的指令，其中所述指令有效地使得所述计算系统：

确定在道路表面上的至少两条着色线；

将所述道路表面上的所述至少两条着色线组合成相关元素的分组；以及

基于所述相关元素的所述分组的属性对所述相关元素的所述分组进行分类，所述元素的所述分组的所述属性包括所述至少两条着色线之间的距离和所述相关元素的所述分组在所述道路表面上的取向。

16.根据权利要求15所述的计算系统，其中所述指令有效地使得所述计算系统进一步：

将来自灰度激光雷达数据的像素过滤成黑色像素或白色像素；以及

在水平扫描和竖直扫描中都评估白色像素，以识别具有在确定的像素范围内的像素厚度的白色像素组，其中具有在所述确定的像素范围内的像素厚度的任何白色像素组被组合成一条线，从而产生所述至少两条着色线。

17.根据权利要求15所述的计算系统，其中所述指令有效地使得所述计算系统进一步：

确定所述相关元素的所述分组的主轴，其中所述主轴包括长度大于阈值像素数的所述相关元素的所述分组；以及

确定所述相关元素的所述分组的次轴，其中所述次轴包括长度小于阈值像素数的所述相关元素的所述分组。

18.根据权利要求15所述的计算系统，其中所述指令有效地使得所述计算系统进一步：

在对所述相关元素的所述分组进行分类之前，将所述相关元素的所述分组识别为候选斑马线型人行横道或平行线型人行横道。

19.根据权利要求15所述的计算系统，其中所述指令有效地使得所述计算系统进一步：

在对所述相关元素的所述分组进行分类之前，确定相对于所述相关元素的所述分组的行进角度；以及

基于所述行进角度，确定所述候选斑马线型人行横道或平行线型人行横道仍然是候选人行横道。

20.根据权利要求15所述的计算系统，其中所述指令有效地使得所述计算系统进一步：

当组成所述候选斑马线型人行横道的所述相关元素的所述分组的足够多的所述属性与斑马线型人行横道的属性相匹配时，确定所述候选斑马线型人行横道为人行横道。

Images