CN104809901A

CN104809901A - 使用街道级图像增强车辆的自动驾驶模式的方法

Info

Publication number: CN104809901A
Application number: CN201510042574.XA
Authority: CN
Inventors: J.N.尼科劳乌
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-01-28
Filing date: 2015-01-28
Publication date: 2015-07-29
Anticipated expiration: 2035-01-28
Also published as: CN104809901B; DE102015100812B4; DE102015100812A1; US20150211870A1; US9335178B2

Abstract

本发明提供一种使用街道级图像增强车辆的自动驾驶模式的方法。一种方法，使用由固定交通摄像头网络提供的高清晰度街道级图像，来识别位于超过车载设备范围的潜在危险或隐患，并且以响应于此提供提前报警或采取一些其他补救行动。在一个实施例中，所述方法在将该隐患保存为隐患概况之前，使用从街道级图像获取的多项来证实潜在隐患，其中所述隐患于具体地理区域连结或者甚至关联。通过在潜在隐患之前很好地采取补救行动，所述方法提供更多的机会来调节或者甚至解决所述潜在隐患，其在主车辆正以自动驾驶模式操作时会是特别有利的。

Description

使用街道级图像增强车辆的自动驾驶模式的方法

技术领域

本发明总体上涉及对具有自动驾驶模式的车辆的增强，并且更具体地涉及通过使用街道级图像例如由固定交通摄像头提供的图像增强自动驾驶模式的驾驶经历的方法和系统。

背景技术

已知主车辆装备有对象检测能力，例如车载摄像头、激光器、超声波及传感器。这些类型的设备具有通常在主车辆前方延伸一定距离的视场，并且能够检测目标车辆和其他对象以及即将出现的路段中的某些特征的存在。由这些车载设备提供的输出能够提供关于潜在即将出现的危险或隐患的一些信息，但是该信息通常受到视场、设备的距离或数字地图的估计范围的限制或约束。

在某些情况例如在使用自动或自主驾驶模式期间遭遇到的那些情况下，可能期望获得关于超过车载设备的视场的路段的信息（即，较远前方感测）。能够利用这样的信息可以给以自动驾驶模式运行的车辆提前警告危险或隐患，以便可以采取一个或多个补救行动。

发明内容

根据一个实施例，一种增强主车辆的自动驾驶模式的方法，包括如下步骤：将主车辆位置与保存在隐患概况中的地理区域进行比较，所述主车辆位置对应于所述主车辆的当前位置或者所述主车辆的预期未来位置，并且所述隐患概况是基于从多个图像源收集的街道级图像的；响应于将所述主车辆位置与所保存的地理区域进行比较来识别潜在隐患，并且所述潜在隐患与所述隐患概况中的所述地理区域相关联；以及响应于识别所述潜在隐患来执行补救行动，其中在所述主车辆遭遇所述潜在隐患之前执行所述补救行动，并且所述补救行动影响所述主车辆的自动驾驶模式。

根据另一个实施例，提供了一种增强主车辆的自动驾驶模式的方法，包括如下步骤：从一个或多个图像源收集街道级图像，并且所述街道级图像属于超过安装在所述主车辆上的传感器的范围的特殊路段；从涉及所述特殊路段存在的潜在隐患的街道级图像识别第一项和第二项；根据所述街道级图像评估所述第一项和第二项，并且通过确定所述第一项和第二项是否都证明存在所述潜在隐患来证实所述潜在隐患；以及将所述潜在隐患保存到存储在电子存储器中的数据集中，以便所述主车辆能够随后访问所述数据集，并且当以自动驾驶模式驾驶所述主车辆时，确定是否存在可能影响所述主车辆的任何潜在隐患。

本发明还提供以下方案：

1. 一种增强主车辆的自动驾驶模式的方法，包括如下步骤：

将主车辆位置与保存在隐患概况中的地理区域进行比较，所述主车辆位置对应于所述主车辆的当前位置或者所述主车辆的预期未来位置，并且所述隐患概况是基于从多个图像源收集的街道级图像的；

响应于将所述主车辆位置与所保存的地理区域进行比较来识别潜在隐患，并且所述潜在隐患与所述隐患概况中的所述地理区域相关联；以及

响应于识别所述潜在隐患来执行补救行动，其中在所述主车辆遭遇所述潜在隐患之前执行所述补救行动，并且所述补救行动影响所述主车辆的自动驾驶模式。

2. 根据方案1所述的方法，其中所述方法还包括如下步骤：

从多个图像源收集街道级图像，并且所述街道级图像属于超过安装在所述主车辆上的传感器的范围的路段；

从涉及特殊路段存在的潜在隐患的街道级图像识别第一项和第二项；

根据所述街道级图像评估所述第一项和第二项，并且通过确定所述第一项和第二项是否都证明所述潜在隐患的存在，来证实所述潜在隐患；以及

将所述潜在隐患与对应于所述特殊路段并且保存在所述隐患概况中的地理区域相关联。

3. 根据方案2所述的方法，其中收集步骤还包括从多个固定交通摄像头收集路段的高清晰度街道级图像。

4. 根据方案3所述的方法，其中所述高清晰度街道级图像从在后端设备处的所述多个固定交通摄像头接收，并且伴随有至少一条数据，该数据将所述图像转换成文本并且从由以下构成的组中选择：摄像头识别码、时间戳或摄像头位置。

5. 根据方案2所述的方法，其中识别步骤还包括从一个或多个固定交通摄像头监控视频、从所述视频提取高清晰度静止图像、以及从所述高清晰度静止图像识别所述第一项和第二项中的至少一个。

6. 根据方案5所述的方法，其中所述第一项从在第一时间自交通摄像头获取的第一高清晰度静止图像识别，所述第二项从在第二时间自同一交通摄像头获取的第二高清晰度静止图像识别，并且评估步骤还包括彼此结合地评估所述第一项和第二项并且使用相同摄像头证实来证明所述潜在隐患的存在。

7. 根据方案5所述的方法，其中所述第一项从自第一交通摄像头获取的第一高清晰度静止图像识别，所述第二项从自附近的第二交通摄像头获取的第二高清晰度静止图像识别，并且评估步骤还包括彼此结合地评估所述第一项和第二项并且使用不同摄像头证实来证明所述潜在隐患的存在。

8. 根据方案2所述的方法，其中评估步骤还包括将所述潜在隐患分类为一个或多个预定类，并且所述预定类中的至少一个从由以下构成的组中选择：施工隐患、交通隐患或天气隐患。

9. 根据方案8所述的方法，其中识别步骤还包括从所述街道级图像识别第一项和第二项，其中所述第一项和第二项中的至少一个从由以下构成的组中选择：施工桶、路障、车道关闭、车道偏移、车道标记遮挡、临时或永久标记、施工设备或工作人员；并且

所述评估步骤还包括彼此结合地从所述街道级图像识别所述第一项和第二项，以便证实所述潜在隐患并且将所述潜在隐患分类为施工隐患。

10. 根据方案8所述的方法，其中识别步骤还包括从所述街道级图像识别第一项和第二项，其中所述第一项和第二项中的的至少一个从由以下构成的组中选择：交通堵塞或阻塞、交通图、道路中静止或缓慢移动的物体、应急车辆、拖车、道路中的碎片或者指挥交通的应急人员；并且

所述评估步骤还包括彼此结合地从所述街道级图像识别所述第一项和第二项，以便证实所述潜在隐患并且将所述潜在隐患分类为交通隐患。

11. 根据方案8所述的方法，其中识别步骤还包括从所述街道级图像识别第一项和第二项，其中所述第一项和第二项中的至少一个从由以下构成的组中选择：道路上的强光、经过车辆上的雪、指示存在雾、烟或大风的阴影或模糊图像、经过车辆的活动擦窗器、撒盐车或扫雪机的存在、模糊或遮挡的车道标记、或大于平均车距或慢于平均车速；并且

所述评估步骤还包括彼此结合地从所述街道级图像评估所述第一项和第二项，以便证实所述潜在隐患并且将所述潜在隐患分类为天气隐患。

12. 根据方案2所述的方法，其中评估步骤还包括根据其对以自动驾驶模式运行并且行驶在所述特殊路段上的车辆的可能严重性或影响来将所述潜在隐患分级。

13. 根据方案2所述的方法，其中来自所述街道级图像的所述第一项和第二项中的至少一个涉及经过车辆的活动雨刷，并且评估步骤还包括通过确定所述经过车辆的活动雨刷和所述第一项和第二项中的另一个是否证明潜在天气隐患的存在来证实所述潜在隐患。

14. 根据方案1所述的方法，其中响应于所述主车辆被激活或启用自动驾驶模式来执行比较步骤，并且执行步骤还包括在所述主车辆遭遇所述潜在隐患之前对所述自动驾驶模式作出改变或者停用所述自动驾驶模式。

15. 根据方案1所述的方法，其中响应于请求或产生导航路线来执行比较步骤，并且执行步骤还包括在所述主车辆遭遇所述潜在隐患之前对所述自动驾驶模式作出改变或者停用所述自动驾驶模式。

16. 根据方案1所述的方法，其中响应于所述主车辆被驾驶到新的地理区域来执行比较步骤，并且执行步骤还包括在所述主车辆遭遇所述潜在隐患之前对所述自动驾驶模式作出改变或者停用所述自动驾驶模式。

17. 根据方案1所述的方法，其中执行步骤还包括在所述主车辆遭遇所述潜在隐患之前执行至少一个补救行动，其从由以下构成的组中选择：在所述主车辆遭遇所述潜在隐患之前，当所述主车辆正在以所述自动驾驶模式运行时，要求所述主车辆的驾驶员应答警告、对所述自动驾驶模式作出改变或者停用所述自动驾驶模式。

18. 一种增强主车辆的自动驾驶模式的方法，包括如下步骤：

从一个或多个图像源收集街道级图像，并且所述街道级图像属于超过安装在所述主车辆上的传感器的范围的特殊路段；

从涉及所述特殊路段存在的潜在隐患的街道级图像识别第一项和第二项；

根据所述街道级图像评估所述第一项和第二项，并且通过确定所述第一项和第二项是否都证明存在所述潜在隐患来证实所述潜在隐患；以及

将所述潜在隐患保存到存储在电子存储器中的数据集中，以便所述主车辆能够随后访问所述数据集，并且当以自动驾驶模式驾驶所述主车辆时，确定是否存在可能影响所述主车辆的任何潜在隐患。

附图说明

下文将结合附图描述优选的示例性实施例，其中相同的标记表示相同元件，并且在附图中：

图1为供主车辆和多个目标车辆行驶的若干个车行道的示意图，其中主车辆与驾驶增强系统的示例性实施例的部件相互作用；

图2为示出驾驶增强方法的示例性实施例的流程图并且可以与主车辆例如图1的主车辆一起使用；以及

图3为可以根据如图1和图2中所示的驾驶增强系统和方法使用的一个或多个潜在地理区域的图示。

具体实施方式

本文描述的系统和方法可以通过使用街道级图像例如由固定或路边交通摄像头、传感器或其他设备提供的图像，来增强处于自动驾驶模式的车辆的驾驶经历。许多固定交通摄像头现在拥有高分辨率或高清晰度能力，这使得它们能够提供包含更多信息的更高质量的静止图像或视频。从街道级图像提取的附加信息允许本系统和方法更好地认识、识别、分类和/或评估即将出现的路段中的各种危险或隐患，包括较远前方且超过车载设备的视场的路段。根据危险或隐患的类型和严重性，本系统和方法可以开展补救措施，例如调节自动驾驶模式的操作参数、停用自动驾驶模式、或者简单地提醒驾驶员该隐患。而且，从街道级图像搜集的附加信息可以提供更好的冗余或证实，以在实施补救措施之前证明危险或隐患的存在和属性。

本文描述的系统和方法可以特别良好地适合于采用一些类型的自动模式、自动驾驶模式或自驾模式的车辆。当在本文中使用时，术语“自动”、“自动驾驶”和“自动驾驶模式”广义地包括任何全自动、半自动或部分自动、自动驾驶模式或自驾模式或状态，其中车辆基于收集到的反馈并且没有来自驾驶员的输入地自动地控制驾驶的一个或多个方面。国家公路交通安全路管理局（NHTSA）最近基于功能和自动程度将自动或自动驾驶分成如下等级：0级（无自动）－驾驶员在所有时间完全且唯一地控制主要车辆控制（制动、转向、减速和动力）；1级（特定功能自动）－该级的自动包括特定控制功能（例如，电子稳定性控制或预充电制动），其中车辆自动地辅助其中一个主要车辆控制，以便使得驾驶员能够比只有驾驶员单独行动时能够获得的速度更快地恢复控制或行动；2级（组合功能自动）－该级包括至少两个联合工作的主要车辆控制的自动，以便解除驾驶员对那些功能的控制（例如，适应性巡航控制（ACC）、自动车道居中、自动车道保持、自动车道改变）；3级（受限自驾自动）－该级的自动使得驾驶员能够在某些交通或环境条件下放弃对所有安全关键功能的完全控制，并且很大程度地依赖车辆监控那些条件的变化，其会要求必须过渡返回到驾驶员控制（例如，谷歌汽车是受限自驾车辆，其期望驾驶员能够用于偶尔的控制）；4级（完全自驾自动）－在该级，车辆设计为对整个旅途执行所有的安全关键功能并且监控道路条件，并且该设计期望驾驶员将提供目的地和导航输入，但是否则在旅途期间不用于控制（例如，这包括有人车辆和无人车辆两者）。本系统和方法可以与以任何前述自动“等级”以及手动或非自动驾驶模式运行的车辆一起使用。

参考图1，示出了驾驶增强系统10的示例性实施例的示意图，该系统10包括沿着第一车行道R1安装的第一组固定交通摄像头12－30和沿着第二车行道R2安装的第二组固定交通摄像头36－50、后端设备52以及主车辆54。在该具体示例中，第一车行道R1经由桥梁或立交桥B穿过第二车行道R2。但是应该注意，本系统和方法可以与任意数量的不同道路、路网或公路系统一起使用，包括具有公路、地面街道、收费道路、城市或乡村道路、天桥或地下通道、入口或出口斜坡、隧道、桥梁、十字路口、交通灯、停车标志等的那些，并且图1中的具体车行道配置仅为一个可能示例。

固定交通摄像头12－30和36－50分别为系统10提供属于车行道R1和R2的不同路段的静止图像、视频和/或其他信息，以便可以由本方法提取和使用相关信息来增强驾驶经历。在许多情况下，固定交通摄像头的整个网络已经就位，并且提供实时或接近实时的交通信息给各个公共或政府实体（例如交通部门）和私人实体（例如收费道路操作者、交通新闻媒体和无线服务提供商），它们继而使用该信息来提供最新的交通相关服务。本系统和方法在可能的情况下设法使用已经就位的交通摄像头和交通摄像头网络，并且设法在后端设备52处接收这些设备的输出。在过去，由于这些摄像头的相对较差的图像分辨率，使得使用已经存在的交通摄像头网络可能稍微有些障碍，然而，现在越来越多的固定交通摄像头配备有高分辨率和/或高清晰度的能力。术语“高分辨率”和“高清晰度”的精确定义或说明可以根据它们的具体应用而改变，但是在本实例中，这些术语总体上涉及由固定交通摄像头提供的任何静止图像、视频和/或其他数据，其中具有足够的信息来允许由本方法识别和使用特定的危险或隐患（例如，路面上的强光、经过汽车上的擦窗器的状态、车道关闭的存在等）。在本申请中，术语“高分辨率”可以与“高清晰度”互换地使用，并且适用于如上所述定义的静止图像、视频或两者。

总体来说，例如执行限速或交通灯等的道路安全摄像头响应于触发事件而拍摄具有非常高分辨率的静态照片（例如，足够的分辨率以辩认出牌照的单个字母数字式字符），而一些交通摄像头一贯地监控路段，并且可以以比道路安全摄像头的分辨率略低但是仍然足够的分辨率拍摄视频，以看清事物例如路面的一般情况（即，高清晰度）。虽然驾驶增强方法主要设计用于与提供视频输出的交通摄像头一起使用，但是本方法能够与提供静止图像的道路安全摄像头或结合激光器、雷达、激光雷达和/或用于进一步处理的其他传感器使用的摄像头一起工作。在若干可能实施例中，本方法可以使用高动态范围成像（HDRI或HDR）、频带分析、高光谱成像以及其他技术，它们提高本方法跨越较宽频谱（在可见光范围内外两者）分析路边摄像头的输出的能力。

应该认识到，虽然固定交通摄像头12－30和36－50关于独立的路边摄像头显示在图1中，但是这只是为了例示的目的。那些摄像头可以容易地在臂或台架上安装在道路的上方，安装在支撑交通标志、交通灯或其他设备的杆上，安装在立交桥、桥梁或其他结构上，安装在路面自身中，或者根据一些其他适当的配置安装。固定交通摄像头12－30和36－50可以设计为旋转、倾斜、放大、缩小、全景，或者它们可以简单地是不可移动的或固定的。可能摄像头类型的示例包括全景-俯仰-缩放（PTZ）摄像头，闭路电视（CCTV）摄像头、因特网协议（IP）摄像头、静态成像摄像头、以及照明或非照明摄像头，只是列出一些。对于能够旋转或改变其视场方向的那些固定交通摄像头，摄像头可以包括内置罗盘，并且提供基本方向以及它们的静止图像或视频输出。固定交通摄像头12－30和36－50可以包括设计用于在可见光范围以外使用的激光器、雷达、激光雷达或其他类型的传感器或设备，并且可以提供除了单独从图像获得的数据和信息以外的数据和信息。固定交通摄像头12－30和36－50可以经由有线连接（例如光导纤维、电缆或其他有线连接）、经由无线连接而连接到后端设备52，直接互相连接，或者经由其他监控中心或智能运输系统间接地互相连接，这里仅列举出几种可能性。摄像头的具体类型、摄像头的具体安装布置、摄像头的具体位置、传感器和设备的具体组合、摄像头与后端设备之间的具体连接等不是本方法和系统必不可少的，因为可以使用任何适当的布置。

根据另一种可能性，任意数量的可选图像源60也可以为系统10提供所讨论的路段的静止图像和/或视频。例如，一个或多个卫星、无人飞行器（UAV）或无人驾驶飞机、飞机、直升机等可以装备有机载静态或视频摄像头，并且代替以上讨论的固定交通摄像头使用，或者并非取代它们，而是可以使用这些可选图像源来补充或增强固定交通摄像头图像。应该理解，可以使用更多或更少的图像源以及不同类型的图像源。在另一个可能示例中，附加图像源60包括安装在其他车辆上的摄像头，其无线地连接到后端设备52或者一些其他中心系统，并且为该系统提供实时图像或从影像提取的元数据。也可以使用提供街道级视频、图像或实施摄像头馈送的间接图像源，例如因特网网站、网络摄像头以及无线服务提供商。对可以采用的图像源的数量或组合没有特定的限制，包括所示和所描述的固定交通摄像头12－30和36－50。

后端设备52从一个或多个固定交通摄像头12－30和36－50接收静止图像、视频和/或其他信息，其根据下面描述的驾驶增强方法处理该输出，并且然后提供相应的指示、指令和/或其他信息给一个或多个主车辆54，以便能够提高与那些车辆相关联的驾驶经历。后端设备52可以包括实施本方法所需要的服务器、计算机、数据库、转换器、路由器、数据存储设施和/或其他电子设备的任意组合，并且它可以是完全自动的或者有雇员充当职员，这里仅列举出几种可能性。虽然期望后端设备52将与一个或多个主车辆54无线通信，但是实施无线通信的具体方式不是重要的。本领域的技术人员将会认识到，帮助构成本文描述的驾驶增强方法的一些、大多数或甚至全部电子指示或步骤可以在后端设备52处设施。后端设备52与主车辆54之间的任务或处理步骤可以根据任何适当的处理计划作出精确的划分。虽然后端设备52在图1中描绘为独立的建筑，但是应该认识到，后端设备可以包括任何适当的处理资源，并且可以与相关网站、用于移动设备的应用（所谓的“app”）、用于计算机的程序或其他软件等结合使用。

主车辆54在图示实施例中描绘为客车，但是应该认识到，也可以使用包括摩托车、卡车、运动型多功能车（SUV）或者旅游车（RV）的任何其他车辆。主车辆54可以包括任意数量的不同硬件部件或其他设备，包括各种类型的传感器70、远程信息处理单元72以及控制模块74。传感器70可以生成代表主车辆54的位置、速度、加速度、横摆角速度和/或其他车辆动态的读数，或者它们可以生成代表一个或多个附近对象或目标车辆的位置、速度、加速度等的读数。可以使用不同的传感器和感测技术，包括使用旋转车轮速度、对地速度、加速器踏板位置、换档器选择、加速度计、发动机速度、发动机输出、节流阀位置、雷达、激光器、激光雷达、摄像头等的那些，这里仅列举出几种可能性。位置信息也可以从可选装备的GPS模块获得。远程信息处理单元72使得能够在无线载波系统上实现无线语音和/或数据通信，以便主车辆能够与后端设备52、其他启用远程信息处理的车辆、或者一些其他实体或设备通信。驾驶增强系统10可以采用任何适当的远程信息处理单元72和无线通信计划。控制模块74可以与主车辆54上的传感器70、远程信息处理单元72和/或任意其他部件、设备、模块、系统等通信，并且可以用来实施帮助构成本文描述的驾驶增强方法的一些、大多数或甚至全部电子指令或步骤。控制模块74可以是能够处理电子指示的任意类型的设备，并且可以包括一个或多个处理器、微处理器、微控制器、主处理器、控制器、车辆通信处理器以及专用集成电路（ASIC）。控制模块能够执行实现各种车辆功能的控制的各种类型的数字存储指示，例如存储在存储器中的软件或固件程序。

根据具体实施例，远程信息处理单元72/或控制模块74可以是独立的车辆电子模块（例如，传感器控制器、对象检测控制器、安全控制器等），可以是结合或包括在另一个车辆电子模块（例如，自动驾驶控制模块、主动安全控制模块、制动控制模块、转向控制模块、发动机控制模块等）内，或者可以是较大网络或系统（例如，自动驾驶系统、适应性巡航控制系统、车道偏离警告系统、主动安全系统、牵引力控制系统（TCS）、电子稳定性控制（ESC）系统、防抱死制动系统（ABS）等）的一部分，这里仅列举出几种可能性。因而，远程信息处理单元72/或控制模块74不被限制为任意一个具体实施例或布置，而是可以由本方法使用来控制车辆的操作的一个或多个方面。

现在回到图2，示出了驾驶增强方法100的实施例，其可以使用由固定交通摄像头的网络提供的街道级图像，来识别位于超过车载传感器的视场的位置的潜在危险或隐患，并且响应于此来提供提前警告或采取一些其他补救行动。再次，应该认识到，方法100可以与以自动驾驶模式或手动驾驶模式运行的主车辆一起使用。

以步骤110开始，该方法从一个或多个固定交通摄像头接收高分辨率和/或高清晰度街道级图像。为了简洁，术语“高清晰度”在本申请的其余部分中将用来表示“高清晰度”、“高分辨率”或两者，如以上定义的那样（之前已经说明了这些术语在本文中可互换地使用）。在步骤110的示例性实施例中，从固定交通摄像头12－30接收车行道R1的街道级图像，并且从固定交通摄像头36－50接收车行道R2的街道级图像。街道级图像可以直接从经由因特网或一些其他通信网络连接到后端设备52的固定交通摄像头12－30和36－50接收，或者图像可以通过一些监控中心或智能交通系统（例如，由交通部门或收费公路操作者管理的中心或系统）间接地接收。如以上提到的那样，步骤110也可以从一个或多个可选图像源60接收图像和/或其他信息。

本领域的技术人员将会认识到，街道级图像例如在步骤110中接收的街道级图像时常伴随有帮助将图像转换成更好的文本的某些数据或信息。例如，每次执行步骤110，后端设备52可以从固定交通摄像头12－30和36－50的每个接收信息包、消息、文件和/或其他数据传输，其包括道路图像以及如下的一些组合：识别拍摄图像的具体摄像头的摄像头识别码、对应于图像是何时拍摄的时间戳、和/或指示拍摄图像的摄像头的位置的摄像头位置。后端设备52可以维护包括所有已知固定交通摄像头的正在监控的各个道路的地图或数据库，以便如果接收到具有具体摄像头识别码的图像，那么可能就不需要还收集摄像头位置。当然，可能伴随图像的数据的上述示例不意味着是限制性的，因为其他数据或信息也可以带有图像（例如，摄像头角度或朝向）。摄像头识别码和/或位置数据可以由本方法使用来将各个图像组织成离散的地理区域或地区。当从成打、成百或者甚至可能成千的不同固定交通摄像头接收大量的街道级图像时，这样可能是特别有用的，并且本方法试图以高效、实用且有用的方式组织这些图像，这将更详细地描述。

步骤110可以由方法100以任意适当的频率执行或实施，而不限于如图2所示的每种方法只出现一次的图示。换言之，步骤110可以在后台中持续地运行，以便根据适当的频率从各个固定交通摄像头定期地收集街道级图像，即使正在以不同的频率执行方法100的其他步骤。图2中的流程图表明，每次执行步骤120时执行步骤110，然而可以是这样的，如果这些步骤的其中一个比另一个需要更多的处理器或者更加资源密集，则以不同的频率执行。此外，步骤110可以从某些固定交通摄像头比从其他固定交通摄像头获得图像更频繁地（例如，设置在高交通量道路上的摄像头、设置在正在经历施工工程的道路上的摄像头、与相邻的摄像头远离地间隔开等的摄像头等）收集街道级图像。在另一个可能示例中，步骤110交错或者以其他方式分割图像收集处理，以便它不试图同时从大摄像头网络中的所有固定交通摄像头收集街道级图像。前述示例意味着展示一些步骤110可以从不同的固定交通摄像头接收或者以其他方式获得街道级图像的潜在方式，并且它们意味着强调步骤110不限于任何具体的实施例。一旦已经接收到街道级图像，该方法就前进到步骤120。

接下来，步骤120通过识别在特殊路段中的一个或多个项并且评估那些项来处理之前接收的街道级图像，以便识别该特殊路段存在的潜在危险或隐患。一些、大多数或全部步骤120可以在后端设备52处执行，但是这不是强制性的，因为可以在将街道级图像提供给设备52之前执行某些图像处理步骤。所采用的具体图像处理技术将受到被处理的街道级图像的类型、格式和/或内容的影响。例如，如果固定交通摄像头或其他图像源提供实时流式视频，那么步骤120可以在处理之前从该视频提取静止图像，或者可以处理流式视频自身。并且，步骤120可以采用一起处理或评估两个或更多街道级图像的技术，例如当图像来自同一交通摄像头（例如，在不同时间捕捉的图像）或来自不同摄像头（例如，由具有接近或交叠视场的相邻摄像头捕捉的图像）时。处理多个图像可以为该方法提供一些程度的冗余或证实，这在识别潜在的危险或隐患的存在和潜在地反应于潜在的危险或隐患的存在时是特别有用的。

为了例示这点，考虑固定交通摄像头16、18或14、18在大约相同时间拍摄一节道路R1的街道级图像的示例。步骤120可以使用立体成像或其他技术来共同地处理这些图像，以便获得该特殊路段的更全面且更详细的街道级图像或图片。还可以基于各个街道级图像来开发2D或甚至3D模型，其中随着接收后续的街道级图像来更新该模型。在街道级图像的可选调和之外，可以处理或处置图像本身以便更好地将它们准备用于后续评估。可以使用任何适当的图像处理技术，包括但不限于取阈值、边缘检测、变换、匹配、滤波、分段、分类技术、对象和特征检测、表面摩擦预测、频率波形分析、以及本领域已知的任何其他技术。潜在图像处理和其他技术的一些示例提供在2003年第21期Image and Vision Computing第359－381页Kastrinaki、Zervakis、Kalaitzakis的“A Survey of Video Processing Techniques for Traffic Applications”中，其内容通过引用并入本文。

此时，步骤120可以评估在街道级图像中识别的项，以便将本方法可能希望解决的任何潜在危险或隐患分类。可以以许多不同的方式来实施这些隐患的分类。例如，可以将基于在步骤120中从街道级图像提取的项的潜在隐患分类成一个或多个预定类或组，例如，施工隐患、交通隐患以及天气隐患，这里仅列举出几种可能性。这些类可以不是完全排他的，因为一个隐患或事件可以既认为是施工隐患又认为是交通隐患，并且根据本方法的具体实施方式，相应分类可以与下面所描述的分类不同。还应该认识到，可以将隐患或危险分类成多个类并且然后继续本方法。该具体实施例可以允许更宽泛的严重性确定，或者根本不确定严重性，这将在下面更全面地描述。

当在本文中使用时，术语“施工隐患”广义地包括来自街道级图像的任何物体、人、情况、事件、标记和/或其他项，它们表明存在道路施工或道路修护。潜在施工隐患的一些非限制性示例包括：施工桶、路障、车道关闭、车道偏移、车道标记遮挡、各种临时和永久标记（绕行标志、闪光指示箭头或消息标志等）、施工设备（锄耕机、前端装载机、推土机、车辆、发电机等）、工作人员、以及来自基地导航图的变更，这里仅列举出几种情况。可以从街道级图像提取并且指示特殊路段上的施工的任何项或物体可以构成施工隐患。例如，街道级图像可以用来确定具体车道或路段的实际曲率或其他特性，其然后可以与导航或地图数据比较，以便确定是否具有指示车道偏移或其他施工事件的偏差。不同类型的施工隐患可以具有不同等级的严重性或重要性，并且这样可以被分配或不分配权重。例如，可以给道路关闭或路障分配比施工桶更高的严重性等级。隐患的数量或程度也影响严重性。例如，可以将十个或更多的施工桶认为是严重隐患，但是将少于十个的施工桶仅认为是轻微隐患。分配或归因于具体施工隐患的严重性可以影响所采取的相应补救行动，如将说明的那样。在另一个示例中，可以使用障碍物的位置来确定施工区域是不是有效的（例如，如果障碍物离开路边，那么这可以指示无效的施工区域）。在具体实施例中，可以将施工隐患描绘成双向或单向隐患。例如，如果街道级图像显示出存在于具体公路的北行车道上的道路工作人员，那么施工隐患可以仅归因于北行车道并且不归因于南行车道，即使它们位于同一地理区域中。可以将把四车道道路减少到两车道道路的施工工程认为是双向施工隐患。

当在本文中使用时，术语“交通隐患”广义地包括来自街道级图像的任何物体、人、情况、事件、标记和/或其他项，它们表明存在某些交通情况。交通隐患可以包括但不限于交通堵塞或阻塞、交通图、道路中的固定或缓慢移动物体（例如损坏或抛锚车辆）、应急车辆、拖车、道路中的碎片（例如，掉落的树枝、电力线路等）、指挥交通的应急人员、与正常交通流不一致的移动车辆路径等。与施工隐患相同，可以对交通隐患分配严重性等级或分配权重，并且也可以被认为是双向或单向的。在一个示例中，本方法使用来自一个或多个固定交通摄像头的街道级图像，来识别和评估特殊路段上的一组车辆。如果车辆之间的平均间距小于阈值或者如果车辆在摄像头帧之间的移动平均距离小于阈值，那么本方法可以确定街道级图像中的车辆处于某种类型的交通阻塞中。当然，也可以使用许多其他技术，来基于从街道级图像提取的物体或其他项评估交通情况。

当在本文中使用时，术语“天气隐患”广义地包括来自街道级图像的任何物体、人、情况、事件、标记和/或其他项，它们表明存在某些天气情况。一些天气隐患包括从街道级图像检测并且直接指示存在某些天气条件的情况的情况，举例而言，像道路上的强光（指示雨、雪或冰）、车辆上的雪、指示存在雾、烟或大风的阴影或模糊图像、覆盖盐的道路、覆盖砂砾/沙石的标色线路。其他天气隐患包括间接表明存在天气情况的情况，像经过车辆的活动擦窗器（表明雨、雪或冰）、存在载盐卡车或扫雪机、模糊或遮挡的车道标记（表明它们正被雪、盐或冰覆盖）、或大于平均车距或慢于平均车速（表明低摩擦系数的路面）等。许多天气隐患涉及存在降水。与施工隐患及交通隐患一样，可以对天气隐患分配定量或定性的严重性等级，可以对天气隐患分配权重，或者可以将天气隐患认为是双向或单向的。例如，考虑活动擦窗器，如果在特殊路段上较大百分比的车辆正在操作它们的擦窗器，这表明存在降水或者从前面的车辆喷洒湿路面。在过去，可能不能够从没有高分辨率或高清晰度的街道级图像提取这些项，因为图像可能不够清晰而足以以高置信水平辨别这样的项。

如上所述，从街道级图像检测的各种隐患或危险可以根据其潜在严重性和对行驶在所讨论的具体路段上的车辆例如主车辆54的影响，来分配等级或分配权重。即使图2的流程图表示该步骤在步骤120中执行，但是应该认识到，它可以在步骤130、步骤140、一些其他步骤或其组合中实施。考虑如图1所示的示例，其中主车辆54北行行驶在车行道R1上并且固定交通摄像头16、18正在捕捉和提供路段的街道级图像给后端设备52（应该认识到，摄像头16、18可以设置在主车辆54的较远前方，并且大大地超过车载传感器的范围）。步骤120已经从街道级图像中的强光识别在道路上好像是流冰区80（天气隐患）。在向主车辆54发出警告或者采取一些其它补救行动之前，本方法可以首先尝试通过评估街道级图像并且寻找冰的其他标志来证实天气隐患80。在这种情况下，由交通摄像头16、18提供的街道级图像显示，与可疑流冰区80处于相同区域的车辆V1、V2正在操作其擦窗器，这指示可能产生流冰区的降水；也就是，证实或证明。根据该示例，流冰区80在被证实之前可以被分配较低的严重性等级，一旦它由活动擦窗器确认，则被分配中等严重性等级，并且一旦它被确认并且一旦本方法认识到流冰区位于比其他路面更容易结冰的桥B上或附近，则被分配潜在较高严重性。例如，如果流冰区80好像相当大或者如果在流冰区附近有损坏车辆，那么这些是从街道级图像获得的并且可能影响该具体天气隐患的严重性等级或分级的标记。该特征是可选的，并且可以使用的用于分级的潜在技术和方法是非常多的。

可选的并且不是必须需要的步骤130确定是否已经证实了或以其它方式证明了具体隐患。某些施工、交通和/或天气隐患可以是不证自明的并且因此可以不需要证实。然而，因为某些施工、交通和/或天气隐患的属性、位置、严重性等，使得通过注意从街道级图像识别的其他项用于证实可能有益于将一定量的冗余引入到该系统中。返回到上述关于流冰区80的示例，步骤130可以使用这些天气隐患的两个（即流冰区和雨刷），以便以较高的置信度推断，在摄像头16、18附近的路段上实际上具有流冰区或其他降水。步骤130在得出已经证实流冰区80的结论之前可能要求一定数量或百分比的经过车辆正在操作其擦窗器，或者它替代地可以采用一些其他的证实方式。再次，存在很多可以采用的证实或证明技术，并且本方法不限于本文提供的活动雨刷示例。步骤130可以结合到步骤120中或者本方法的一些其他步骤中，因为它不必须是单独或独立的步骤，如图2中示意性所示。

步骤130可以采用相同的摄像头证实（即，或许通过在一定时间段上观看图像，使用来自相同的一个或多个摄像头的图像来证明存在某种隐患），或者它可以使用不同的摄像头证实（即，需要来自附近的一个或多个摄像头的图像来证实某种隐患）。在一些示例中，隐患自身的属性关于其存在可以提供充分的确认，以致于不需要冗余（例如，如果交通阻塞由交通摄像头明确地捕捉，并且周围没有其他摄像头，那么这可以足以用于证实的目的）。本领域的技术人员将会认识到，具体施工、交通和/或天气隐患的证实会是特别有用的，尤其是当该隐患位于主车辆54的较远前方并且大大地超过车载传感器的范围时，特别是在可以使用证实的隐患来改变或甚至停用自动驾驶特征的自动驾驶模式的情况下。如果充分地证实或确认了具体隐患，那么该方法可以前进到步骤140。另一方面，如果隐患被认为未被证实，那么本方法可以绕过步骤140并且继续到步骤150。该可选的证实步骤可以相似地对施工和/或交通隐患实施，因为以上讨论的天气隐患只是意在作为示例。

步骤140保持贯穿整个路网或系统定位的各种隐患和危险的最新隐患概况。这可以是复杂的任务，特别是如果包含有成百或成千的交通摄像头，那么存在可以完成该任务的许多潜在方式。根据一种可能性，本方法的第一部分（例如，步骤110－步骤140）可以独立于主车辆54的状态或位置在后台连续地运行，以便建立隐患的动态数据库或其他数据集并且隐患的动态数据库或其他数据集是可使用的。然后可以由本方法的第二部分（例如，步骤150－步骤180）访问该隐患概况，其使用一个或多个主车辆54的位置或预期位置来检查隐患概况，并且确定在对应的地理区域中是否存在隐患或危险。一个实体将建立并且维护数据集（第一部分）并且然后销售给其他实体或以其他方式提供给其他实体使用是可能的，其他实体然后可以访问数据并且使用数据来增强一个或多个主车辆的驾驶经历（第二部分）。在这种情况下，不需要单个实体执行方法100的所有步骤，虽然单个实体可以。其他布置当然也是可以的。

从交通摄像头网络搜集的关于潜在隐患或危险的信息可以根据地理区域来组织。地理区域可以关于区域（例如，数平方英里、通过半径、通过邮政编码、通过城市、镇区、乡村等）、或关于车行道（例如，整条道路或公路、或只是会构成地理区域的道路的一段或一部分）来定义或描绘。参考图3，示出了丹佛首府区域的地图200，其由科罗拉多州交通运输部提供，并且通过科罗拉多州交通运输部网站是可公开获得的和访问的。在地图200中，街道级图像源表示为视频摄像头图标210－218或静态摄像头图标220－226。根据若干个不同示例，地理区域可以是首府丹佛全部，包括所有它的各条道路，如区域240所描绘的那样；地理区域可以是较小的地理区域，像雷克伍德的城市或郊区及其各条道路，如区域242所描绘的那样；地理区域可以是一个或多个单独的道路例如I-70或I-25；或者，根据优选实施例，地理区域可以包含具体道路的某些段或部分，例如I-70的段250－254。将地理区域的大小与在该区域中的交通摄像头的数量、穿过该区域的平均交通量、或者一些其他适当的标准相关联会是有益的。地理区域可以在城市地区中是较小的，像丹佛，在那里具有较大的交通流量，并且在更多乡村地区是较大的。应该认识到，设定或定义地理区域的精确方式可以根据应用的具体需要来改变，而不限于上面列出的示例。下面的描述是基于定义为特定公路或道路的路段的地理区域的，但是这不是必须的。应该认识到，地图200简单地提供用于例示之目的，而绝不意味着限制或约束可以收集、处理和/或存储街道级图像的方式。

现在转回到图2，当已经从街道级图像识别了潜在隐患和危险并且甚至可能已经证实了时，步骤140使用与对应图像相关联的信息，将该隐患分配给特定地理区域。考虑交通摄像头212提供路段I-70的高清晰度视频的示例，并且从该视频，使用街道级图像来展示图1中的流冰区80。在这样的示例中，步骤140可以使用伴随街道级图像的摄像头识别码或摄像头位置信息，来将该天气隐患（即，流冰区80）分配给地理区域250。可以想到地理区域像区域250可能具有许多与其关联并且存储在隐患概况中的不同隐患（施工、交通、天气或其他），以便当主车辆54进入和被期望进入区域250时，本方法能够观察该具体区域中的所有当前隐患，并且确定是否有任意隐患与主车辆相关。以这样的方式，步骤140可以帮助建立或构造隐患概况，其可以是数据库、2维模型或者甚至3微模型的形式，并且可以在后端设备52或一些其他适当的位置处维护。如果使用建模方法来编录各种隐患，那么步骤140可以使用新的隐患来编辑或调整模型的当前版本。如果使用列表，那么步骤140可以简单地添加新的隐患到该列表。即使没有示出在图2的流程图中，但是方法100也应该包括用于从隐患概况去除旧隐患的一个或多个步骤，一旦它们已经减轻或者以其它方式消失。如果该信息集准备用于发出警告或者启动其他补救行动，那么重要的是它是最新的。

步骤150确定是否已经发生了触发事件。触发事件可以包括但不限于激活或启用自动驾驶模式、请求导航路线、将车辆驶入新的地理区域、或者可以指示需要访问正在步骤110－140中建立并维护的隐患概况的任何其他事件。例如，如果主车辆54的驾驶员启动自动驾驶模式，那么远程信息处理单元72能够向维护隐患概况的后端设备52发送无线消息，其充当触发事件并且使得本方法观察期望主车辆行驶通过的每个地理区域的隐患概况。在另一个示例中，当车辆使用者请求导航路线（例如，该路线可以在主车辆请求或者通过附属网站请求）时，路线请求可以用作触发事件，并使得本方法对于包含导航路线部分的每个地理区域评估隐患概况。在又一个示例中，当主车辆54处于自动驾驶模式中时进入新的地理区域可以构成触发事件，其自动地使得本方法考虑用于该具体地理区域的对应隐患概况。对于可能看作触发事件的事件，存在许多其他可能性。如果检测到触发事件，那么本方法继续到步骤160；如果没有检测到触发事件，那么本方法可以循环返回以继续监控并且更新隐患概况。

步骤160将主车辆位置与一个和多个相关地理区域进行比较。在上下文中，“主车辆位置”是指主车辆的当前位置或者例如基于已知导航路线或者从当前轨迹推断的期望路线的主车辆的预期未来位置。换言之，该步骤将主车辆54的当前位置或期望未来位置与保持在隐患概况中的不同地理区域进行比较，以便确定主车辆是否可能遭遇存在驾驶员应该知晓的对应隐患或危险的任何地理区域。可以实施步骤160的一些非限制性示例包括：将主车辆54的当前位置与保存在隐患概况中的各个地理区域进行比较；将基于已经发送给主车辆的导航路线的主车辆的预期未来位置与保存的地理区域进行比较；以及将基于由传感器70等报告的主车辆的当前方向的推断或者基于自动驾驶模式的主车辆的预期未来位置与保存的地理区域进行比较，这里仅列出几个示例。执行该步骤的其他方式对于本领域的技术人员来说将是显然的。该步骤可以在后端设备52、主车辆54或者其组合处完成。例如，主车辆可以向后端设备52发送其当前或未来位置用于比较，或者后端设备可以向主车辆发送来自隐患概况的地理区域信息。在任何情况下，本方法确定主车辆是否已经位于或者可能进入特定地理区域中，并且然后本方法前进到步骤170。

步骤170确定是否具有与所讨论的地理区域相关联的一个或多个潜在隐患。如之前提及的那样，隐患概况可以包括代表许多不同地理区域的数据，并且其每个可以包括许多不同的潜在隐患，例如施工、交通或天气隐患。如果该步骤确定对于所讨论的特定地理区域实际上存在一个或多个潜在隐患，那么本方法可以前进到步骤180，以便可以响应于潜在隐患设计出恰当的补救行动或响应。如果不存在与该具体地理区域相关联的潜在隐患，那么本方法可以循环返回用于继续监控等。在一些情况下，该步骤可以查寻多个地理区域，例如当期望主车辆54沿着将使主车辆穿过超过一个的地理区域的某条导航路线时的情况。

在步骤180中，本方法响应于之前识别的潜在隐患执行一个或多个补救行动。补救行动可以包括但不限于提醒主车辆的驾驶员即将出现的潜在隐患、询问主车辆的驾驶员以便他们必须响应或应答警告（例如通过要求某种类型的应答眼部运动或要求驾驶员抓住方向盘）、改变或调整自动驾驶模式的参数、完全停用自动驾驶模式等。优选的是，不管采取任何补救行动，都充分地远在潜在隐患之前实施，以便驾驶员或自动驾驶模式具有足够的时间来调适或解决该隐患。例如，如果主车辆54正在沿着已知的导航路线以自动驾驶模式工作，并且对车辆将要进入的地理区域已经识别了一个或多个施工隐患，那么优选的是步骤180提前发送警告或对自动驾驶模式作出改变，以便能够采取替代路线。当正在避免的潜在隐患大大地超出车载设备的范围并且替代地通过使用由固定交通摄像头等提供的街道级图像来识别时，这是特别有利的。补救行动可以在由自动驾驶模式执行之前以多种方式呈现给驾驶员，例如视觉地、听觉地、触觉的或者其他方式。并且，补救行动可以经由远程信息处理单元、控制单元、人机界面、因特网或者通过手持设备来呈现。

此外，补救行动可以根据潜在隐患的严重性而不同-这涉及之前提及的可选的分配等级或分配权重。例如，如果道路关闭，其是相当严重的潜在隐患，那么补救行动可以包括停用自动驾驶模式或者通过自动驾驶模式改变主车辆的当前路径。如果潜在隐患涉及潮湿或结冰道路，那么补救行动可以简单地包括警告驾驶员，并且在自动驾驶模式的情况下可以要求驾驶员将他或她的手放在方向盘上。在采取一个或多个适当的补救行动之后，本方法可以循环回到开始。

应该理解，前面的描述不是本发明的限定，而是本发明的一个或多个优选示例性实施例的描述。本发明不限于本文公开的具体实施例，而是仅由所附权利要求限定。此外，包含在前述的描述中的陈述涉及具体实施例，并且不应该解释为对本发明的范围或在权利要求中使用的术语的定义的限制，除了术语或短语在上面明确定义的情况之外。各种其他实施例和对所公开实施例的各种改变和修改对于本领域的技术人员来说将变得显然。例如，流程图中所示的步骤的特定组合和顺序只是一种可能性，因为本方法可以包括具有比这里所示的步骤更少、更多或不同的步骤的步骤的组合。一些图示的步骤（像步骤130、170等）当然可以组合或者以其它方式结合到其他步骤中。所有这些其它实施例、改变和修改意在落入所附权利要求的范围内。

当在本说明书和权利要求书中使用时，术语“例如”、“比如”、“诸如”和“等”以及动词“包括”、“具有”、“包含”及其其他动词形式，当与列出的一个或多个部件或其他项目结合使用时，每个术语应解释为是开放式的，意味着清单不应视为排除其他附加部件或项目。其他术语使用其最广泛的合理含义来解释，除非它们在要求不同解释的上下文中使用。

Claims

1. 一种增强主车辆的自动驾驶模式的方法，包括如下步骤：

2. 根据权利要求1所述的方法，其中所述方法还包括如下步骤：

3. 根据权利要求2所述的方法，其中收集步骤还包括从多个固定交通摄像头收集路段的高清晰度街道级图像。

4. 根据权利要求3所述的方法，其中所述高清晰度街道级图像从在后端设备处的所述多个固定交通摄像头接收，并且伴随有至少一条数据，该数据将所述图像转换成文本并且从由以下构成的组中选择：摄像头识别码、时间戳或摄像头位置。

5. 根据权利要求2所述的方法，其中识别步骤还包括从一个或多个固定交通摄像头监控视频、从所述视频提取高清晰度静止图像、以及从所述高清晰度静止图像识别所述第一项和第二项中的至少一个。

6. 根据权利要求5所述的方法，其中所述第一项从在第一时间自交通摄像头获取的第一高清晰度静止图像识别，所述第二项从在第二时间自同一交通摄像头获取的第二高清晰度静止图像识别，并且评估步骤还包括彼此结合地评估所述第一项和第二项并且使用相同摄像头证实来证明所述潜在隐患的存在。

7. 根据权利要求5所述的方法，其中所述第一项从自第一交通摄像头获取的第一高清晰度静止图像识别，所述第二项从自附近的第二交通摄像头获取的第二高清晰度静止图像识别，并且评估步骤还包括彼此结合地评估所述第一项和第二项并且使用不同摄像头证实来证明所述潜在隐患的存在。

8. 根据权利要求2所述的方法，其中评估步骤还包括将所述潜在隐患分类为一个或多个预定类，并且所述预定类中的至少一个从由以下构成的组中选择：施工隐患、交通隐患或天气隐患。

9. 根据权利要求8所述的方法，其中识别步骤还包括从所述街道级图像识别第一项和第二项，其中所述第一项和第二项中的至少一个从由以下构成的组中选择：施工桶、路障、车道关闭、车道偏移、车道标记遮挡、临时或永久标记、施工设备或工作人员；并且

10. 一种增强主车辆的自动驾驶模式的方法，包括如下步骤：