CN108482378B - 用于控制车辆的运动的方法和控制器 - Google Patents

用于控制车辆的运动的方法和控制器 Download PDF

Info

Publication number
CN108482378B
CN108482378B CN201810239045.2A CN201810239045A CN108482378B CN 108482378 B CN108482378 B CN 108482378B CN 201810239045 A CN201810239045 A CN 201810239045A CN 108482378 B CN108482378 B CN 108482378B
Authority
CN
China
Prior art keywords
traffic signal
vehicle
determining
location
detected traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810239045.2A
Other languages
English (en)
Other versions
CN108482378A (zh
Inventor
N.费尔菲尔德
D.I.弗格森
A.利万多夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN108482378A publication Critical patent/CN108482378A/zh
Application granted granted Critical
Publication of CN108482378B publication Critical patent/CN108482378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Abstract

公开了用于控制车辆运动的方法和控制器。该方法包括确定检测的交通信号的位置；确定在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置；确定检测的交通信号的状态；基于检测的交通信号的确定的状态以及对在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令；以及依照确定的控制命令控制车辆的运动。

Description

用于控制车辆的运动的方法和控制器
本申请是国际申请日为2013年2月4日、中国申请号为201380016416.6、发明名称为“用于检测交通信号及其关联状态的鲁棒方法”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2012年3月26日递交的序列号为13/430,150的美国专利申请的优先权，特此通过引用并入该申请的内容。
背景技术
一些车辆被配置为在自主模式中运转，其中车辆在几乎没有或没有来自驾驶员的输入的情况下导航经过一环境。这种车辆可包括被配置为感测关于该环境的信息的一个或多个传感器。车辆可使用感测到的信息来导航经过该环境。
例如，如果传感器的输出指示出车辆正在接近障碍物，则车辆可导航绕过该障碍物。此外，车辆可感测关于交通标志和交通信号的信息。例如，交通标志可提供监管信息或警告信息，而位于道路交叉口、人行横道和其他位置的交通信号可用于控制竞争的交通流。
发明内容
在一个示例方面中，公开了一种方法，其包括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转并且目标区域可以是交通信号通常所位于的一类区域。该方法还可包括在目标区域信息中检测交通信号并且确定交通信号的位置。此外，可确定交通信号的状态和对交通信号的置信度。确定对交通信号的置信度可包括但不限于将交通信号的位置与交通信号的一个或多个已知位置相比较。根据该方法，可基于交通信号的状态和对交通信号的置信度来在自主模式中控制车辆。
在另一示例方面中，公开了一种非暂态计算机可读介质，其中存储有指令，这些指令可被计算设备执行来使得该计算设备执行功能。这些功能可包括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转并且目标区域可以是交通信号通常所位于的一类区域。这些功能还可包括在目标区域信息中检测交通信号并且确定交通信号的位置。此外，基于这些功能，可以确定交通信号的状态和对交通信号的置信度。确定对交通信号的置信度可包括但不限于将交通信号的位置与交通信号的一个或多个已知位置相比较。根据这些功能，可基于交通信号的状态和对交通信号的置信度来在自主模式中控制车辆。
在另一示例方面中，公开了一种被配置为在自主模式中运转的示例车辆。该车辆可包括一个或多个传感器、存储器、处理器以及存储在存储器中并可被处理器执行的指令。指令可被执行来使得一个或多个传感器扫描目标区域以获得目标区域信息。目标区域可以包括交通信号通常所位于的一类区域。指令还可被执行来在目标区域信息中检测交通信号，确定交通信号的位置，并且确定交通信号的状态。此外，指令可被执行来确定对交通信号的置信度。确定对交通信号的置信度可包括将交通信号的位置与交通信号的一个或多个已知位置相比较。指令还可被执行来基于交通信号的状态和对交通信号的置信度来在自主模式中控制车辆。
在另一示例方面中，公开了一种方法。该方法包括确定检测的交通信号的位置；确定在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置；确定检测的交通信号的状态；基于检测的交通信号的确定的状态以及对在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令；以及依照确定的控制命令控制车辆的运动。
在另一示例方面中，公开了一种控制器。该控制器包括：存储器；处理器；以及指令，所述指令存储在存储器中并且可被处理器执行来使控制器执行功能，所述功能包括：确定检测的交通信号的位置；确定在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置；确定检测的交通信号的状态；基于检测的交通信号的确定的状态以及对在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令；以及依照确定的控制命令控制车辆的运动。
在另一示例方面中，公开了一种方法。该方法包括使用车辆检测交通信号；确定在车辆的位置的阈值距离内是否存在交通信号的已知位置；确定检测的交通信号的状态；基于检测的交通信号的确定的状态以及对在车辆的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令；以及依照确定的控制命令控制车辆的运动。
前述发明内容只是说明性的，而并不打算以任何方式进行限定。除了以上描述的说明性方面、实施例和特征以外，通过参考附图和以下详细描述，另外的方面、实施例和特征将变得清楚。
附图说明
图1是控制车辆的示例方法的框图。
图2A-2C是扫描目标区域的车辆的示例概念图示。
图3A-3B是用于控制车辆的示例流程图和关联状态表。
图4是用于控制车辆的另一示例流程图。
图5A-5C是扫描目标区域的车辆的更多示例概念图示。
图6根据实施例示出了示例车辆。
图7是根据实施例的示例车辆的简化框图。
图8是示出根据本文给出的至少一些实施例布置的包括用于在计算设备上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。
具体实施方式
在以下详细描述中，参考形成描述的一部分的附图。在附图中，相似的符号通常标识相似的组件，除非上下文另有规定。详细描述、附图和权利要求中描述的说明性实施例并不欲进行限定。可以利用其他实施例，并且可以作出其他改变，而不脱离本文给出的主题的范围。容易理解，本文概括描述的以及附图中示出的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在这里都已明确设想到。
车辆，例如被配置为自主运转的车辆，可被配置为扫描目标区域以获得目标区域信息。车辆的一个或多个传感器可扫描目标区域。在一个示例中，目标区域可以是交通信号通常位于其中的一类区域。例如，关于交通信号通常出现之处的一般信息，例如接近交叉口、高度范围、接近道路边缘等等，可用于确定目标区域。在一些示例中，车辆的传感器可连续地扫描目标区域以找到被临时或永久移动的交通灯，和/或找到新的交通灯，例如没有关于其的在先信息可得的交通灯。
作为示例，与交通信号的已知位置相关联的数据可指示出给定百分比的交通灯出现在由地面之上的高度下限和高度上限定义的高度范围内。车辆可使用该高度范围来扫描即将来到的区域以获得高度下限与高度上限之间的目标区域信息。
在一些情况中，可在目标区域信息中检测交通信号。在交通信号的地图暗示出交通信号存在于环境的某一区域中的情况中，车辆可预期在目标区域信息中找到交通信号。或者，如果交通信号的地图没有在目标区域中指示出任何交通信号，那么车辆仍可在交通信号实际存在的情况下扫描目标区域。此外，可以确定与检测到的交通信号相关联的状态。关联状态随后可用于控制自主模式中的车辆。
在另一情况中，可以基于检测到交通信号的场景来确定检测到的交通信号和交通信号的关联状态的置信度。例如，车辆可以对于在车辆预期检测到交通信号的位置中检测到的交通信号的置信度更高，并且对于在车辆未预期检测到交通信号的位置中检测到的交通信号的置信度更低。因此，在一些示例中，可基于对交通信号的置信度来修改对车辆的控制。
图1是控制车辆的示例方法100的框图。图1所示的方法100表示例如可用于本文描述的车辆的方法，并且可由车辆或车辆的组件来执行，或者更一般而言由服务器或其他计算设备来执行。方法100可包括如方框102-112中的一个或多个所示的一个或多个操作、功能或动作。虽然这些方框是按先后顺序示出的，但这些方框可被并行执行，和/或按与本文描述的那些不同的顺序执行。另外，基于期望的实现方式，各种方框可被组合成更少的方框，划分成额外的方框，和/或被去除。
此外，对于方法100和本文公开的其他过程和方法，框图示出了所呈现实施例的一种可能实现方式的功能和操作。在此，每个方框可表示程序代码的模块、片段或部分，程序代码包括可由处理器执行来实现该过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可被存储在任何类型的计算机可读介质上，例如包括盘或硬盘驱动器的存储设备。计算机可读介质可包括非暂态计算机可读介质，例如像寄存存储器、处理器缓存和随机访问存储器(Random Access Memory，RAM)那样短时间存储数据的计算机可读介质。计算机可读介质还可包括非暂态介质，例如次级或永久长期存储装置，比如只读存储器(read onlymemory，ROM)、光盘或磁盘以及致密盘只读存储器(compact-disc read only memory，CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可被认为是例如计算机可读存储介质、有形存储设备或者其他制品。
此外，对于方法100和本文公开的其他过程和方法，每个方框可表示被配置为执行该过程中的特定逻辑功能的电路。
如图所示，最初，在方框102，方法100包括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。在一些情况中，车辆可被配置为在自主模式中运转。参考图6和图7描述的车辆是可被配置为自主运转的车辆的一个这种示例。在一些情况中，基于交通信号的状态和位置确定的控制命令可用于辅助车辆的驾驶员或作为输入被提供到车辆的控制系统。
在一个示例中，目标区域可以是交通信号通常位于其中的一类区域。例如，目标区域可包括对于交通信号来说典型的高度和或宽度的范围。目标区域可以与车辆的行进方向相对应的即将来到的区域的一部分。在一种情况中，关于交通信号的已知位置的统计信息可指示出给定百分比的交通信号出现在地面以上的某一高度范围之间。作为示例，收集的关于交通信号的数据可指示出90％的交通信号被升高在地面以上的10到16英尺之间。类似地，关于交通信号的已知位置的信息可指示出给定百分比的交通信号位于行车道或道路的左侧或右侧的给定量以内。基于关于交通信号的位置的统计资料，可以选择预定的目标区域。
因此，在一个示例中，车辆可不断地扫描目标区域。在一些情况中，目标区域可基于车辆或者车辆位于其中的环境的状况而变化。作为示例，可基于车辆的速度或朝向来加宽或缩窄目标区域。车辆可包括GPS接收器(或其他地理定位组件)来确定地理位置，并且包括加速度计、陀螺仪或其他加速度设备来确定与重力的方向有关的俯仰、偏航和滚转(或者其变化)。在一些情况中，如果车辆在转向，则可加宽目标区域。在另一情况中，当车辆的地理位置正接近交叉口时，可以扩展目标区域。在一些情况中，可以将车辆的地理位置与包括关于道路的交叉口的信息的环境的地图相比较来确定车辆接近交叉口。
车辆的一个或多个传感器可包括成像组件和/或非成像组件。例如，各种类型的相机可按各种配置被安装到车辆以获得目标区域信息。在一种情况中，相机可被定位为正对前方并且安装在后视镜后面或附近。此外，相机可利用具有30度视野的固定镜头来捕捉相机的感兴趣的特定区域，例如2040x1080区域。可以校准相机来在各种距离检测交通信号以确保合理的刹车距离。在另一示例中，可以设定相机的增益和快门速度来避免在日间和/或夜间期间交通灯的饱和。
在另一示例中，一个或多个传感器可包括被配置为确定到目标区域中的物体的表面的距离的三维(3D)扫描设备。在一种情况中，结构化光投影设备和相机可用于确定描述目标区域的三维点云。在另一情况中，诸如LIDAR或激光测距仪之类的激光和/或雷达设备可扫描目标区域以确定到物体的距离。在其他情况中，立体相机或飞行时间相机可用于距离成像。从而，目标区域信息可包括二维图像和描述目标区域的三维点云的任何组合。
目标区域信息也可被存储在一个或多个短期或长期存储器中。在方框104，方法100包括在目标区域信息中检测交通信号。在一些情况中，可在目标区域信息中识别对于交通信号预期的图案、模板、形状或签名。作为示例，交通信号分类器可找到具有适当大小和纵横比的红、黄、绿物体的图案，并且将该图案标记为潜在的交通信号。示例图像处理技术可用于识别图像的与已知图案匹配的一个或多个部分。模板匹配是一个可能的示例。虽然本公开是结合具有一组红、黄、绿灯的典型垂直或水平交通信号来描述的，但应理解这种特定结构只是用作示例。交通信号可能有所变化并且有时候可能有复杂的几何结构，并且这些额外的几何结构也可被检测。
在目标区域信息包括三维点云的示例中，可以检测3D点云中的可具有对于交通信号预期的形状的物体。例如，基于3D点云的物体识别系统可用于识别描述3D点云内的兴趣点的特征。随后可将这些特征与对于一类或多类交通信号的3D模型预期的特征相比较来识别兴趣点的群组作为3D点云内的是交通信号的物体。
在方框106，方法100包括确定交通信号的位置。在一些情况中，车辆的地理位置信息和/或朝向信息可与目标区域信息相关联。例如，在目标区域信息包括图像的情况中，与图像相关联的元数据可指示出在获得该目标区域信息时车辆(或者车辆的用于获得目标区域信息的传感器)的地理位置和朝向。基于车辆和/或车辆的传感器的地理位置和朝向，可以估计检测到的交通信号的位置。
作为示例，可以基于车辆(或者车辆的传感器)的位置来估计交通信号的位置。例如，可以对于获得目标区域信息的时刻确定车辆的GPS坐标以及前进方向或行进方向。车辆的位置和行进方向可与区域的道路线路图相关联，并且可以识别该道路线路图上的最近的即将来到的交叉口。交通信号的位置可被确定为是该交叉口的位置。
在另一示例中，可利用三角测量来以3D估计交通信号的位置。为了经由三角测量来以3D估计位置，可以使用检测到的交通信号的两个或更多个图像。例如，可在两个或更多个图像中检测一交通信号(或多个交通信号)。在一些情况中，可以确定第一图像的交通信号是与第二图像中的交通信号相同的交通信号。在近仿射运动和/或高帧速率的情况中，模板跟踪器可用于关联后续图像中的检测到的交通信号。
在帧速率较低(例如，4fps)的情况下，可以使用直接运动补偿。如果对于每个图像已知车辆的确切姿态，则利用描述相机的运动的相机模型来在图像之间对图像之间的俯仰、偏航和滚转的变化进行校正可能是简单明了的。然而，对交通信号的位置的估计可能需要考虑到由于车辆的移动(例如，向前运动)引起的图像之间物体的表观运动。在一个示例中，假定交通灯具有约0.3米的直径。到具有w的真实宽度和在由具有焦距f的相机拍摄的图像中具有表观宽度wa的交通灯的距离d可如下得出：
Figure BDA0001604780000000071
此外，可利用相机模型来计算方向向量X＝[u,v]T，使得交通灯的近似3D位置为：
y＝sin(arctan(-u))d,
z＝sin(arctan(-v))d,
Figure BDA0001604780000000072
继续，如果T1和T2是用于从车辆的帧到局部平滑坐标帧的两个不同时间的4x 4变换矩阵，则交通信号从一个图像到另一个图像的相对运动可被校正为：
Figure BDA0001604780000000081
其中C是从车辆帧到相机坐标帧的变换。在一些示例中，可以进一步调整图像坐标以考虑到径向失真。
在一种情况中，如果来自第一图像的交通信号的经运动校正的位置落在第二图像的交通信号的关联距离内，则有可能检测到的交通信号对应于同一物体。如果确定了第一图像中检测到的交通信号对应于第二图像中检测到的交通信号，则可以使用最小二乘三角测量来基于交通信号在第一和第二图像中的位置以及在获得图像时对于第一和第二图像的相机朝向来估计交通信号的3D位置。
在一些示例中，也可识别交通信号适用的实际车道。例如，一些交通信号可适用于左转或右转车道。这个信息可用于基于车辆的当前车道来确定车辆应当服从哪个(哪些)交通信号。基于估计的交通信号朝向或位置、平均交叉口宽度和平均车道宽度的简单试探可用于作出对交通信号与车道之间的关联的估计。
在一个示例中，交通信号的位置也可被存储在存储器中。任何目标区域信息或其他情境信息(例如，速度、位置、朝向、时间、日期等等)也可与交通信号的位置一起被存储。在一种情况中，存储的信息可用于为一区域更新交通信号的位置的地图。
在方框108，方法100包括确定交通信号的状态。在于目标区域信息中检测到多个交通信号的情况中，可确定与车辆的车道相对应的交通信号的状态。确定交通信号的状态可包括确定交通信号的图像的红、黄、绿物体的图案中的哪个物体被照明。在一种情况中，可以使用成像处理方法来确定红、黄、绿物体的亮度之间的区别以确定具有最高亮度的物体。可以假定具有最高亮度的物体是开启的，例如指示出交通信号的状态。在一个示例中，如果红、黄和绿物体之间的相对区别不清楚，则可以假定黄物体被照明。类似地，对于观察到的明亮绿物体的置信度可随着时间的流逝而被降低，并且如果在预定时间范围内没有再次检测到绿物体则默认假定交通信号是黄色的。
在确定交通信号的3D位置的情况中，可以使用对于交通信号应当出现在后续图像中的何处的预测来确定交通信号的另一图像。例如，基于对相对于3D位置的车辆的位置的估计，预测位置可被投影到车辆的相机的图像帧中。在一个示例中，预测位置可以是选择图像的一部分的轴对齐的定界框。然而，其他示例区域或形状也是可能的，并且预测位置的几何结构可基于交通信号的朝向或几何结构来确定。然后可分析预测位置内的图像部分来确定交通信号的状态。例如，可以处理预测位置来识别颜色明亮的红或绿物体，并且预测位置可随着车辆的位置接近交通信号而变化。
在方框110，方法100包括确定对交通信号的置信度。当作出关于交通信号的存在和随后对于交通信号的状态估计的结论时，车辆的计算系统的处理器可确定对该结论的置信度。作为示例，所确定的置信度可以是：与在没有预期有交通信号的位置中相比，对于在预期有交通信号的位置中检测到交通灯的置信度可以更高。在一种情况中，如果车辆的位置接近交叉口(例如，在交叉口的预定阈值内，例如150米内)，则对于该位置可预期有交通信号。在一种情况中，通过将车辆的位置与环境的地图上的交叉口或节点的位置相比较，可以确定到交叉口的距离。例如，k维树(“k-d树”)可用于组织交叉口的节点以促进最近邻居搜索。
在另一情况中，确定对交通信号的置信度可包括将交通信号的位置与交通信号的一个或多个已知位置相比较。例如，车辆可能够访问存储在车辆本地或远程的交通信号的已知位置的地图。基于车辆的地理位置，可以确定在附近的交通信号的一个或多个已知位置。在一些情况中，k-d树可用于组织交通信号的已知位置以促进最近邻居搜索。
在方框112，方法100包括基于交通信号的状态和对交通信号的置信度来控制自主模式中的车辆。交通信号的状态和/或位置在一些场景中可用于辅助车辆，或者车辆的驾驶员或乘客。
当车辆被用户驾驶时，可以提供关于交通信号的状态的信息。例如，可以提供指出灯为红、黄或绿的视觉或听觉指示。在其他情况中，可以向用户提供指令或警告，例如“踩刹车，红灯了”。也可在交通信号的状态变化之后提供视觉或听觉指示。
当车辆自主运转时，车辆的控制系统可基于交通信号的状态和所确定的置信度来决定车辆的路线。例如，如果在的交通信号的预期位置中对于该交通信号检测到了绿物体，则车辆可穿过交通交叉口。如果在交通信号的非预期区域中对于交通信号检测到了黄物体，则车辆可减小其速度并且确定关于该区域的额外信息以便确认交通信号的存在和估计状态。
从而，示例方法100可使得车辆能够确定在预期位置和/或非预期位置中交通信号的位置和状态。方法100的若干个示例实现方式在下文中联系图2A-5C来描述。
为了说明，描述了若干个示例实现方式。然而，要理解，示例实现方式只是说明性的，而并不欲进行限定。其他示例实现方式也是可能的。
图2A-2C是扫描目标区域的车辆200的示例概念图示。例如，图2A-2C示出了扫描目标区域的车辆200的侧视图和两个透视图。即使对于一位置没有预期有交通信号，车辆200也可扫描目标区域。例如，图2B示出了车辆200扫描不接近交叉口的目标区域，而图2C示出了车辆200扫描接近交叉口的目标区域。在一些示例中，扫描目标区域可使得车辆200能够获得关于交通信号通常位于的区域的类型的目标区域信息。
如图2A所示，车辆200对于即将来到的区域可以扫描地面以上的第一高度202与第二高度204之间的区域。在一个示例中，可以对车辆前方的预定距离(例如，100米)确定地面以上的第一高度202和第二高度204。在一种情况中，第一高度202和第二高度204对于出现在与车辆200的距离小于预定距离处的物体可形成更小的目标区域(例如，更窄的高度范围)，并且对于出现在大于预定距离的距离处的物体可形成更大的目标区域(例如，更高的高度范围)。
在一种情况中，车辆200的成像组件和/或雷达组件可用于获得关于目标区域的目标区域信息。成像组件和雷达组件可安装在后视镜后面或邻近后视镜，使得在车辆200包括驾驶员和/或(一个或多个)乘客的场景中，成像组件或雷达组件最低限度地妨碍驾驶员和/或(一个或多个)乘客的视野。
在一些示例中，也可获得关于目标区域之上、之下和/附近的区域的额外信息。例如，成像组件可以是被配置为捕捉目标区域信息的一个或多个图像的相机，并且这一个或多个图像可包括关于不是目标区域的一部分的区域的信息。在一种情况中，处理组件可分析目标区域信息，同时忽略额外信息。在其他示例中，可以修改相机的视野和/或焦距以使得相机只捕捉关于目标区域的信息。
此外，目标区域信息可包括关于从车辆起的任何距离范围的信息。例如，成像组件的焦点可以是固定的或可变的。在一种情况中，成像组件可包括测距组件，其被配置为检测到视野中的物体的距离并且相应地调整成像组件的焦点。在另一示例中，成像组件的焦点可基于车辆的速度而变化。例如，当速度是第一速度时可在更大的距离检测交通信号，而当速度低于第一速度时可在更短的距离检测交通信号。
图3A-3B是用于控制车辆的示例流程图300和关联状态表314。如图3A所示，最初在方框302，可扫描目标区域。例如，可以扫描交通信号通常位于的一类区域以获得目标区域信息。在一个示例中，在方框304可检测交通信号。例如，目标区域信息可包括指示出交通信号的存在的信息。
在方框306，可确定交通信号的位置。在一种情况中，可基于车辆的位置和/或朝向来确定交通信号的位置，并且交通信号的位置可以是二维位置(例如，由纬度和经度描述的位置)或三维位置(例如，由纬度、经度和地面以上的高度描述的位置)。
此外，根据流程图300，在方框308，可以确定到交通信号的已知位置的最小距离。在一个示例中，可将交通信号的已知位置可存储在k-d树内，并且可执行最近邻居搜索来确定在车辆的位置和/或检测到的交通信号的所确定位置附近的交通信号的已知位置。在一种情况中，可计算车辆的位置与交通信号的已知位置之间的距离，并且可确定最小距离。在另一情况中，可计算检测到的交通信号的所确定位置与交通信号的已知位置之间的距离，并且可确定最小距离。同时，在方框310，可确定检测到的交通信号的状态。
在一个示例中，可以确定最小距离与预定阈值之间的关系(例如，最小距离与预定阈值的接近度或者对于最小距离是大于还是小于预定阈值的判定)。在方框312，基于所确定的关系和所确定的交通信号的状态，可以确定对于车辆的控制命令。图3B所示的示例状态表314描述了可如何确定控制命令的一个示例。
如图3B所示，基于交通信号的状态，以及最小距离和预定阈值之间的关系，可以选择各种控制命令。在一些情况中，最小距离与预定阈值之间的关系可暗示出对于检测到的交通信号的置信度。
在第一情况316中，交通信号的状态可以为红，并且最小距离可大于预定阈值。状态表314示出了可以选择第一控制命令318。第一情况316可暗示出交通信号是非预期的。因此，第一控制命令318指示刹车并且确定关于交通信号的存在和交通信号的随后状态的额外信息。在一个示例中，确定额外信息可涉及监视交通信号的状态以及附近的交通和/或交叉车流的行为。
图4是用于控制车辆的另一示例流程图400。如图所示，在方框402，可以判定是否预期有交通信号。在一个示例中，该判定可基于车辆的位置是否接近交叉口或者先前地图是否暗示在车辆的位置附近(例如在车辆正在行进的方向上)存在交通信号来作出。
基于该判定，如果未预期有交通信号，则在块404，车辆可扫描目标区域以获得目标区域信息。随后，在方框406可判定是否在目标区域信息中检测到交通信号。如果未检测到交通信号，则流程图过程可重启。如果判定检测到交通信号，则在方框408和410可分别确定交通信号的状态和控制命令。
如果在方框402判定预期有交通信号，则车辆在410可扫描目标区域以获得目标区域信息。在一个示例中，目标区域可以就是在方框404扫描的那同一个目标区域。在另一示例中，目标区域可不同于在方框404扫描的目标区域。在在已知位置处预期有交通信号的情况中，在方框410扫描的目标区域可以是围绕该已知位置的区域。
随后，在方框412，判定在目标区域信息中是否检测到交通信号。如果检测到交通信号，则在方框408和410可分别确定交通信号的状态和控制命令。在一个示例中，控制命令对于预期有交通信号的情况和未预期有交通信号的情况可以不同。如果未检测到交通信号，则车辆可减速，并且在方框414可确定额外信息。例如，车辆可确定关于交通和附近的交叉车流的行为的信息或者向车辆的乘客或驾驶员请求更多信息。在方框416，可调整目标区域。例如，可以将目标区域加宽，并且在方框410可以重扫描目标区域。在一些情况中，加宽目标区域可使得能够检测到临时迁移位置的交通信号和或在风中摇摆的交通信号。
图5A-5C是扫描目标区域的车辆500的更多示例概念图示。在一些示例中，车辆500可扫描多个目标区域。如图5A所示，车辆500可扫描第一目标区域502和第二目标区域504。在一种情况中，除了道路上方以外还扫描邻近道路的一个或多个区域可使得能够检测更多交通信号或者除了交通信号以外的物体。例如，可以检测由于人行横道、施工警告、铁路道口而闪烁的交通信号或其他信息。
如图5B所示，在已知关于交通信号的预期位置的更精确信息的情况中，除了目标区域502以外还可扫描子区域506。如图5C所示，在预期交通信号的位置已被移动的情况中，在子区域506内可能检测不到交通信号。然而，扫描更大的目标区域502可促进对新位置中的交通信号的检测。
现在将更详细描述以上示例方法的示例实施例可在其中实现的系统。一般地，示例系统可实现在车辆中或采取车辆的形式。车辆可采取若干种形式，例如包括汽车、轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、挖土机、雪地机动车、休旅车、游乐园车辆、农场设备、施工设备、电车、高尔夫球车、火车和有轨电车。其他车辆也是可能的。
另外，另一示例系统可采取非暂态计算机可读介质的形式，其上存储有程序指令，这些程序指令可被至少一个处理器执行来提供本文描述的功能。示例系统也可采取包括这种其上存储有这种程序指令的非暂态计算机可读介质的车辆或车辆的子系统的形式。
图6根据实施例示出了示例车辆600。具体地，图6示出了车辆600的右侧视图、前视图、后视图和顶视图。虽然车辆600在图6中被示为轿车，但其他实施例是可能的。例如，车辆600可表示卡车、厢式货车、半挂卡车、摩托车、高尔夫球车、越野车或者农场车辆，以及其他示例。如图所示，车辆600包括第一传感器单元602、第二传感器单元604、第三传感器单元606、无线通信系统608和相机610。
第一、第二和第三传感器单元602-606中的每一个可包括全球定位系统传感器、惯性测量单元、无线电检测和测距(radio detection and ranging，RADAR)单元、激光测距仪、光检测和测距(light detection and ranging，LIDAR)单元、相机和声学传感器的任何组合。其他类型的传感器也是可能的。
虽然第一、第二和第三传感器单元602被示为安装在车辆600上的特定位置中，但在一些实施例中，传感器单元602可安装在车辆600上的别处，在车辆600内部或外部。另外，虽然只示出了三个传感器单元，但在一些实施例中，车辆600中可包括更多或更少的传感器单元。
在一些实施例中，第一、第二和第三传感器单元602-606中的一个或多个可包括一个或多个可移动底座，传感器可以可移动地安装在这些底座上。可移动底座可包括例如旋转平台。安装在旋转平台上的传感器可被旋转以使得传感器可获得来自车辆600周围的每个方向的信息。替换地或额外地，可移动底座可包括倾斜平台。安装在倾斜平台上的传感器可在特定的角度和/或方位范围内被倾斜以使得传感器可获得来自各种角度的信息。可移动底座也可采取其他形式。
另外，在一些实施例中，第一、第二和第三传感器单元602-606中的一个或多个可包括一个或多个致动器，其被配置为通过移动传感器和/或可移动底座来调整传感器单元中的传感器的位置和/或朝向。示例致动器包括电机、气动致动器、液压活塞、继动器、螺线管和压电致动器。其他致动器也是可能的。
无线通信系统608可以是被配置为直接地或者经由通信网络来无线地耦合到一个或多个其他车辆、传感器或其他实体的任何系统。为此，无线通信系统608可包括天线和芯片集，用于直接地或经由通信网络与其他车辆、传感器或其他实体通信。一般来说芯片集或无线通信系统608可被布置为根据一个或多个其他类型的无线通信(例如，协议)来通信，例如蓝牙、IEEE 802.11(包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(例如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE)、Zigbee、专用短程通信(dedicated short rangecommunication，DSRC)以及射频识别(radio frequency identification，RFID)通信，等等。无线通信系统608也可采取其他形式。
虽然无线通信系统608被示为位于车辆600的顶盖上，但在其他实施例中，无线通信系统608可以完全或部分地位于别处。
相机610可以是被配置为捕捉车辆600所位于的环境的图像的任何相机(例如，静止相机、视频相机等等)。为此，相机610可被配置为检测可见光，或者可被配置为检测来自光谱的其他部分的光，例如红外或紫外光。其他类型的相机也是可能的。相机610可以是二维检测器，或者可具有三维空间范围。在一些实施例中，相机610可以例如是测距器，其被配置为生成指示出从相机610到环境中的若干个点的距离的二维图像。为此，相机610可使用一个或多个测距技术。例如，相机610可使用结构化光技术，其中车辆600利用预定的光图案——例如网格或棋盘格图案——来照射环境中的物体，并且使用相机610来检测该预定光图案从物体的反射。基于反射的光图案中的失真，车辆600可确定到物体上的点的距离。预定的光图案可包括红外光，或者另一波长的光。作为另一示例，相机610可使用激光扫描技术，其中车辆600发射激光并且扫描环境中的物体上的若干个点。在扫描物体的同时，车辆600使用相机610来对于每个点检测激光从物体的反射。基于激光在每个点处从物体反射所花的时间长度，车辆600可确定到物体上的这些点的距离。作为另一示例，相机610可使用飞行时间技术，其中车辆600发射光脉冲并且使用相机610来检测在物体上的若干个点处光脉冲从物体的反射。具体地，相机610可包括若干个像素，并且每个像素可检测光脉冲从物体上的一点的反射。基于光脉冲在每个点处从物体反射所花的时间长度，车辆600可确定到物体上的这些点的距离。光脉冲可以是激光脉冲。其他测距技术也是可能的，包括立体三角测量、片光三角测量、干涉法以及编码孔径技术，等等。相机610也可采取其他形式。
在一些实施例中，相机610可包括如上所述的被配置为通过移动相机610和/或可移动底座来调整相机610的位置和/或朝向的可移动底座和/或致动器。
虽然相机610被示为安装在车辆600的前挡风玻璃内部，但在其他实施例中，相机610可安装在车辆600上的别处，在车辆600内部或外部。
除了所示出的那些以外，或者取代所示出的那些，车辆600可包括一个或多个其他组件。
图7是根据实施例的示例车辆700的简化框图。车辆700例如可类似于以上联系图6描述的车辆600。车辆700也可采取其他形式。
如图所示，车辆700包括推进系统702、传感器系统704、控制系统706、外围设备708和包括处理器712、数据存储装置714和指令716的计算机系统710。在其他实施例中，车辆700可包括更多、更少或不同的系统，并且每个系统可包括更多、更少或不同的组件。此外，可按任意数目的方式来组合或分割所示出的系统和组件。
推进系统702可被配置成为车辆700提供动力运动。如图所示，推进系统702包括引擎/电机718、能量源720、传动装置722和车轮/轮胎724。
引擎/电机718可以是或者包括内燃引擎、电动机、蒸汽机和斯特林引擎的任何组合。其他电机和引擎也是可能的。在一些实施例中，推进系统702可包括多种类型的引擎和/或电机。例如，气电混合动力车可包括汽油引擎和电动机。其他示例是可能的。
能量源720可以是完全或部分地为引擎/电机718提供动力的能量的来源。也就是说，引擎/电机718可被配置为将能量源720转换成机械能量。能量源720的示例包括汽油、柴油、丙烷或者其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。(一个或多个)能量源720可以额外地或替换地包括燃料箱、电池、电容器和/或飞轮的任何组合。在一些实施例中，能量源720也可以为车辆700的其他系统提供能量。
传动装置722可被配置为把机械动力从引擎/电机718传送到车轮/轮胎724。为此，传动装置722可包括变速箱、离合器、差速器、驱动轴和/或其他元件。在传动装置722包括驱动轴的实施例中，驱动轴可包括被配置为耦合到车轮/轮胎724的一个或多个轴。
车辆700的车轮/轮胎724可配置为各种形式，包括单轮车、两轮车/摩托车、三轮车或者轿车/卡车的四轮形式。其他车轮/轮胎形式也是可能的，例如包括六个或更多个车轮的那些。在任何情况下，车辆700的车轮/轮胎724可被配置为相对于其他车轮/轮胎724差速地旋转。在一些实施例中，车轮/轮胎724可包括固定地附着到传动装置722的至少一个车轮和耦合到车轮的边缘的可与驱动面接触的至少一个轮胎。车轮/轮胎724可包括金属和橡胶的任何组合，或者其他材料的组合。
推进系统702可以额外地或替换地包括除了所示出的那些以外的组件。
传感器系统704可包括被配置为感测关于车辆700所位于的环境的信息的若干个传感器，以及被配置为修改传感器的位置和/或朝向的一个或多个致动器736。如图所示，传感器系统的传感器包括全球定位系统(Global Positioning System，GPS)726、惯性测量单元(inertial measurement unit，IMU)728、RADAR单元730、激光测距仪和/或LIDAR单元732以及相机734。传感器系统704也可包括额外的传感器，包括例如监视车辆700的内部系统的传感器(例如，O2监视器、燃油量表、机油温度，等等)。其他传感器也是可能的。
GPS 726可以是被配置为估计车辆700的地理位置的任何传感器。为此，GPS 726可包括被配置为估计车辆700相对于地球的位置的收发器。GPS 726也可采取其他形式。
IMU 728可以是被配置为基于惯性加速度来感测车辆700的位置和朝向变化的传感器的任何组合。在一些实施例中，传感器的组合可包括例如加速度计和陀螺仪。传感器的其他组合也是可能的。
RADAR单元730可以是被配置为利用无线电信号来感测车辆700所位于的环境中的物体的任何传感器。在一些实施例中，除了感测物体以外，RADAR单元730还可额外地被配置为感测物体的速度和/或前进方向。
类似地，激光测距仪或LIDAR单元732可以是被配置为利用激光来感测车辆700所位于的环境中的物体的任何传感器。具体地，激光测距仪或LIDAR单元732可包括被配置为发射激光的激光源和/或激光扫描仪和被配置为检测激光的反射的检测器。激光测距仪或LIDAR单元732可被配置为在相干(例如，利用外差检测)或非相干检测模式中操作。
相机734可以是被配置为捕捉车辆700所位于的环境的图像的任何相机(例如，静止相机、视频相机，等等)。为此，相机可采取上述任何形式。
传感器系统704可以额外地或替换地包括除了所示出的那些以外的组件。
控制系统706可被配置为控制车辆700及其组件的操作。为此，控制系统706可包括转向单元738、油门740、刹车单元742、传感器融合算法744、计算机视觉系统746、导航或路线控制系统748以及障碍物避免系统750。
转向单元738可以是被配置为调整车辆700的前进方向的机构的任何组合。
油门740可以是被配置为控制引擎/电机718的运转速度并进而控制车辆700的速度的机构的任何组合。
刹车单元742可以是被配置为将车辆700减速的机构的任何组合。例如，刹车单元742可使用摩擦力来减慢车轮/轮胎724。作为另一示例，刹车单元742可将车轮/轮胎724的动能转换为电流。刹车单元742也可采取其他形式。
传感器融合算法744可以是被配置为接受来自传感器系统704的数据作为输入的算法(或者存储算法的计算机程序产品)。该数据可包括例如表示在传感器系统704的传感器处感测的信息的数据。传感器融合算法744可包括例如卡尔曼滤波器、贝叶斯网络或者另外的算法。传感器融合算法744还可被配置为基于来自传感器系统704的数据来提供各种评价，包括例如对车辆700所位于的环境中的个体物体和/或特征的评估、对特定情形的评估和/或基于特定情形对可能影响的评估。其他评价也是可能的。
计算机视觉系统746可以是被配置为处理和分析由相机734捕捉的图像以便识别车辆700所位于的环境中的物体和/或特征的任何系统，所述物体和/或特征包括例如交通信号和障碍物。为此，计算机视觉系统746可使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪或其他计算机视觉技术。在一些实施例中，计算机视觉系统746可以额外地被配置成为环境绘制地图、跟踪物体、估计物体的速度，等等。
导航和路线控制系统748可以是被配置为确定车辆700的驾驶路线的任何系统。导航和路线控制系统748可以额外地被配置为在车辆700处于运转中的同时动态地更新驾驶路线。在一些实施例中，导航和路线控制系统748可被配置为结合来自传感器融合算法744、GPS 726和一个或多个预定地图的数据以为车辆700确定驾驶路线。
障碍物避免系统750可以是被配置为识别、评估和避免或者以其他方式越过车辆700所位于的环境中的障碍物的任何系统。
控制系统706可以额外地或替换地包括除了所示出的那些以外的组件。
外围设备708可被配置为允许车辆700与外部传感器、其他车辆和/或用户交互。为此，外围设备708可包括例如无线通信系统752、触摸屏754、麦克风756和/或扬声器758。
无线通信系统752可采取上述形式中的任何一种。
触摸屏754可被用户用来向车辆700输入命令。为此，触摸屏754可被配置为经由电容感测、电阻感测或者表面声波处理等等来感测用户的手指的位置和移动中的至少一个。触摸屏754可能够感测在与触摸屏表面平行或共面的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏754可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏754也可采取其他形式。
麦克风756可被配置为从车辆700的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器758可被配置为向车辆700的用户输出音频。
外围设备708可以额外地或替换地包括除了所示出的那些以外的组件。
计算机系统710可被配置为向推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个发送数据和从它们接收数据。为此，计算机系统710可以通过系统总线、网络和/或其他连接机构(未示出)通信地链接到推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个。
计算机系统710还可被配置为与推进系统702、传感器系统704、控制系统706和/或外围设备708的一个或多个组件交互并控制这些组件。例如，计算机系统710可被配置为控制传动装置722的操作以提高燃料效率。作为另一示例，计算机系统710可被配置为使得相机734捕捉环境的图像。作为另外一个示例，计算机系统710可被配置为存储并执行与传感器融合算法744相对应的指令。作为又一个示例，计算机系统710可被配置为存储并执行用于在触摸屏754上显示出显示屏的指令。其他示例也是可能的。
如图所示，计算机系统710包括处理器712和数据存储装置714。处理器712可包括一个或多个通用处理器和/或一个或多个专用处理器。就处理器712包括多于一个处理器来说，这种处理器可以单独工作或者组合工作。数据存储装置714进而可包括一个或多个易失性和/或一个或多个非易失性存储组件，例如光、磁和/或有机存储装置，并且数据存储装置714可以全部或部分与处理器712集成。
在一些实施例中，数据存储装置714可包含指令716(例如，程序逻辑)，指令716可被处理器712执行来执行各种车辆功能，包括以上联系图1描述的那些。另外，数据存储装置714可包含对于车辆700的约束760，约束760可采取上述任何形式。数据存储装置714也可包含额外的指令，包括向推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个发送数据、从推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个接收数据、与推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个交互和/或控制推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个的指令。
计算机系统702可以额外地或替换地包括除了所示出的那些以外的组件。
如图所示，车辆700还包括电源710，其可被配置为向车辆700的一些或所有组件提供电力。为此，电源710可包括例如可再充电锂离子或铅酸电池。在一些实施例中，一个或多个电池组可被配置为提供电力。其他电源材料和配置也是可能的。在一些实施例中，电源710和能量源720可一起实现，如一些全电动车中那样。
在一些实施例中，推进系统702、传感器系统704、控制系统706和外围设备708中的一个或多个可被配置为与其各自系统内和/或外的其他组件以互连的方式工作。
另外，除了所示出的那些或者取代所示出的那些，车辆700可包括一个或多个元件。例如，车辆700可包括一个或多个额外的接口和/或电源。其他额外的组件也是可能的。在这种实施例中，数据存储装置714还可包括可被处理器712执行来控制这些额外组件和/或与这些额外组件通信的指令。
此外，虽然每个组件和系统被示为集成在车辆700中，但在一些实施例中，可以利用有线或无线连接将一个或多个组件或系统可移除地安装在车辆700上或者以其他方式(机械地或电气地)连接到车辆700。
车辆700也可采取其他形式。
在一些实施例中，公开的方法可实现为以机器可读格式编码在非暂态计算机可读存储介质上或者其他非暂态介质或制品上的计算机程序指令。图8是示出根据本文给出的至少一些实施例布置的包括用于在计算设备上执行计算机过程的计算机程序的示例计算机程序产品800的概念性部分视图的示意图。
在一个实施例中，利用信号承载介质802来提供示例计算机程序产品800。信号承载介质802可包括一个或多个编程指令804，这些编程指令804在被一个或多个处理器执行时可提供以上参考图1-7描述的功能或功能的部分。
在一些实施例中，信号承载介质802可包含计算机可读介质806，例如但不限于硬盘驱动器、致密盘(Compact Disc，CD)、数字视频盘(Digital VideoDisk，DVD)、数字磁带、存储器，等等。另外，在一些实施例中，信号承载介质802可包含计算机可记录介质808，例如但不限于存储器、读/写(R/W)CD、R/W DVD，等等。此外，在一些实施例中，信号承载介质802可包含通信介质810，例如但不限于数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路，等等)。从而，例如，信号承载介质802可由无线形式的通信介质810来传达。
一个或多个编程指令804可以例如是计算机可执行和/或逻辑实现的指令。在一些示例中，例如图7的计算系统710那样的计算系统可被配置为响应于编程指令804被计算机可读介质806、计算机可记录介质808和/或通信介质810中的一个或多个传达到计算系统710而提供各种操作、功能或动作。
应当理解，本文描述的布置只是用于示例的。这样，本领域技术人员将会明白，可以改为使用其他布置和其他元件(例如，机器、接口、功能、顺序和功能的群组，等等)，并且根据期望的结果可以完全省略一些元件。另外，所描述的元件中的许多是可实现为分立或分布式组件或者可按任何适当的组合和位置与其他组件结合实现的功能实体。
虽然本文已公开了各种方面和实施例，但本领域技术人员将清楚其他方面和实施例。本文公开的各种方面和实施例是用于说明的，而并不打算进行限定，真实和范围和精神由所附权利要求指示。

Claims (20)

1.一种用于控制车辆运动的方法，包括：
确定检测的交通信号的位置；
确定在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置；
确定检测的交通信号的状态；
基于检测的交通信号的确定的状态以及对在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令，其中确定控制命令包括基于确定在检测的交通信号的确定的位置的阈值距离内不存在交通信号的已知位置，输出使用车辆的传感器获得关于检测的交通信号的额外信息的指令；以及
依照确定的控制命令控制车辆的运动。
2.如权利要求1所述的方法，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为红，以及确定在检测的交通信号的确定的位置的阈值距离内不存在交通信号的已知位置来输出指令以刹车并获得关于检测的交通信号的额外信息。
3.如权利要求2所述的方法，
其中，在目标区域中检测检测的交通信号，以及
其中，刹车并获得关于检测的交通信号的额外信息的指令包括重扫描目标区域的指令。
4.如权利要求1所述的方法，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为红，以及确定在检测的交通信号的确定的位置的阈值距离内存在交通信号的已知位置来输出指令以刹车。
5.如权利要求1所述的方法，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为绿，以及确定在检测的交通信号的确定的位置的阈值距离内不存在交通信号的已知位置来输出指令以获得关于检测的交通信号的额外信息。
6.如权利要求1所述的方法，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为绿，以及确定在检测的交通信号的确定的位置的阈值距离内存在交通信号的已知位置来输出指令以保持当前速度。
7.如权利要求1所述的方法，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为未知，以及确定在检测的交通信号的确定的位置的阈值距离内存在交通信号的已知位置来输出指令以减速并获得关于检测的交通信号的额外信息。
8.如权利要求1所述的方法，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为未知，以及确定在检测的交通信号的确定的位置的阈值距离内不存在交通信号的已知位置来输出指令以减速并获得关于检测的交通信号的额外信息。
9.如权利要求1所述的方法，其中，确定在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置包括：使用检测的交通信号的确定的位置以及交通信号数据库来执行搜索以确定交通信号的已知位置。
10.如权利要求9所述的方法，其中，搜索包括最近邻居搜索。
11.如权利要求1所述的方法，还包括：
获得图像；以及
在图像中检测检测的交通信号。
12.一种用于控制车辆运动的控制器，包括：
存储器；
处理器；以及
指令，所述指令存储在存储器中并且可被处理器执行来使控制器执行功能，所述功能包括：
确定检测的交通信号的位置；
确定在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置；
确定检测的交通信号的状态；
基于检测的交通信号的确定的状态以及对在检测的交通信号的确定的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令，其中确定控制命令包括基于确定在检测的交通信号的确定的位置的阈值距离内不存在交通信号的已知位置，输出使用车辆的传感器获得关于检测的交通信号的额外信息的指令；以及
依照确定的控制命令控制车辆的运动。
13.如权利要求12所述的控制器，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为红，以及确定在检测的交通信号的确定的位置的阈值距离内不存在交通信号的已知位置来输出指令以刹车并获得关于检测的交通信号的额外信息。
14.如权利要求12所述的控制器，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为红，以及确定在检测的交通信号的确定的位置的阈值距离内存在交通信号的已知位置来输出指令以刹车。
15.如权利要求12所述的控制器，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为绿，以及确定在检测的交通信号的确定的位置的阈值距离内不存在交通信号的已知位置来输出指令以获得关于检测的交通信号的额外信息。
16.如权利要求12所述的控制器，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为绿，以及确定在检测的交通信号的确定的位置的阈值距离内存在交通信号的已知位置来输出指令以保持当前速度。
17.如权利要求12所述的控制器，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为未知，以及确定在检测的交通信号的确定的位置的阈值距离内存在交通信号的已知位置来输出指令以减速并获得关于检测的交通信号的额外信息。
18.如权利要求12所述的控制器，其中，确定用于车辆的控制命令包括：基于检测的交通信号的确定的状态为未知，以及确定在检测的交通信号的确定的位置的阈值距离内不存在交通信号的已知位置来输出指令以减速并获得关于检测的交通信号的额外信息。
19.一种用于控制车辆运动的方法，包括：
使用车辆检测交通信号；
确定在车辆的位置的阈值距离内是否存在交通信号的已知位置；
确定检测的交通信号的状态；
基于检测的交通信号的确定的状态以及对在车辆的位置的阈值距离内是否存在交通信号的已知位置的确定来确定用于车辆的控制命令，其中确定控制命令包括基于确定在车辆的位置的阈值距离内不存在交通信号的已知位置，输出使用车辆的传感器获得关于检测的交通信号的额外信息的指令；以及
依照确定的控制命令控制车辆的运动。
20.如权利要求19所述的方法，其中，确定在车辆的位置的阈值距离内是否存在交通信号的已知位置包括：使用车辆的位置以及交通信号数据库来执行搜索以确定交通信号的已知位置。
CN201810239045.2A 2012-03-26 2013-02-04 用于控制车辆的运动的方法和控制器 Active CN108482378B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/430,150 2012-03-26
US13/430,150 US9145140B2 (en) 2012-03-26 2012-03-26 Robust method for detecting traffic signals and their associated states
CN201380016416.6A CN104411559B (zh) 2012-03-26 2013-02-04 用于检测交通信号及其关联状态的鲁棒方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380016416.6A Division CN104411559B (zh) 2012-03-26 2013-02-04 用于检测交通信号及其关联状态的鲁棒方法

Publications (2)

Publication Number Publication Date
CN108482378A CN108482378A (zh) 2018-09-04
CN108482378B true CN108482378B (zh) 2021-09-14

Family

ID=49212735

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810239045.2A Active CN108482378B (zh) 2012-03-26 2013-02-04 用于控制车辆的运动的方法和控制器
CN201380016416.6A Active CN104411559B (zh) 2012-03-26 2013-02-04 用于检测交通信号及其关联状态的鲁棒方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380016416.6A Active CN104411559B (zh) 2012-03-26 2013-02-04 用于检测交通信号及其关联状态的鲁棒方法

Country Status (6)

Country Link
US (5) US9145140B2 (zh)
EP (3) EP2830922B1 (zh)
JP (2) JP6270064B2 (zh)
KR (3) KR101839554B1 (zh)
CN (2) CN108482378B (zh)
WO (1) WO2013147994A1 (zh)

Families Citing this family (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169822B2 (en) 2011-12-02 2019-01-01 Spireon, Inc. Insurance rate optimization through driver behavior monitoring
US8510200B2 (en) 2011-12-02 2013-08-13 Spireon, Inc. Geospatial data based assessment of driver behavior
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
JP5960506B2 (ja) * 2012-05-25 2016-08-02 株式会社デンソー 交差点認識装置及び道路種別認識装置
US9234618B1 (en) * 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US20140095061A1 (en) * 2012-10-03 2014-04-03 Richard Franklin HYDE Safety distance monitoring of adjacent vehicles
DE102012110219A1 (de) * 2012-10-25 2014-04-30 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
US8933802B2 (en) 2012-11-05 2015-01-13 Spireon, Inc. Switch and actuator coupling in a chassis of a container associated with an intermodal freight transport system
US9779379B2 (en) 2012-11-05 2017-10-03 Spireon, Inc. Container verification through an electrical receptacle and plug associated with a container and a transport vehicle of an intermodal freight transport system
CA2833985C (en) * 2012-11-19 2020-07-07 Rosemount Aerospace, Inc. Collision avoidance system for aircraft ground operations
DE102012111740A1 (de) * 2012-12-03 2014-06-05 Continental Teves Ag & Co. Ohg Verfahren zur Unterstützung eines eine Ampel detektierenden Ampelphasenassistenten eines Fahrzeugs
US9928738B2 (en) 2013-04-12 2018-03-27 Traffic Technology Services, Inc. Red light warning system based on predictive traffic signal state data
US10008113B2 (en) * 2013-04-12 2018-06-26 Traffic Technology Services, Inc. Hybrid distributed prediction of traffic signal state changes
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
WO2015026823A1 (en) * 2013-08-19 2015-02-26 Gentex Corporation Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
US9779449B2 (en) 2013-08-30 2017-10-03 Spireon, Inc. Veracity determination through comparison of a geospatial location of a vehicle with a provided data
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US20150186991A1 (en) 2013-12-31 2015-07-02 David M. Meyer Creditor alert when a vehicle enters an impound lot
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
DE102014202503A1 (de) * 2014-02-12 2015-08-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
DE102014205953A1 (de) * 2014-03-31 2015-10-01 Robert Bosch Gmbh Verfahren zur Analyse einer Verkehrsumfeldsituation eines Fahrzeugs
CN105023452B (zh) * 2014-04-24 2017-09-29 深圳市赛格导航科技股份有限公司 一种多路交通信号灯信号采集的方法及装置
US9365213B2 (en) * 2014-04-30 2016-06-14 Here Global B.V. Mode transition for an autonomous vehicle
US9550498B2 (en) * 2014-05-13 2017-01-24 Ford Global Technologies, Llc Traffic light anticipation
JP6331811B2 (ja) * 2014-07-18 2018-05-30 日産自動車株式会社 信号機検出装置及び信号機検出方法
FR3024256B1 (fr) * 2014-07-23 2016-10-28 Valeo Schalter & Sensoren Gmbh Detection de feux tricolores a partir d'images
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
US9767366B1 (en) * 2014-08-06 2017-09-19 Waymo Llc Using obstacle clearance to measure precise lateral
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
US9536311B2 (en) * 2014-09-29 2017-01-03 General Electric Company System and method for component detection
KR101737791B1 (ko) * 2014-10-23 2017-05-19 현대모비스 주식회사 교통 표지판 인식 장치 및 그 동작 방법
US9534910B2 (en) * 2014-12-09 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to yield scenarios
DE102015205094A1 (de) * 2015-03-20 2016-09-22 Continental Automotive Gmbh Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US9551788B2 (en) 2015-03-24 2017-01-24 Jim Epler Fleet pan to provide measurement and location of a stored transport item while maximizing space in an interior cavity of a trailer
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
CA2988303C (en) * 2015-06-05 2018-11-13 Nissan Motor Co., Ltd. Traffic signal detection device and traffic signal detection method
MX363873B (es) 2015-06-09 2019-04-05 Nissan Motor Dispositivo de deteccion de señales de trafico y metodo de deteccion de señales de trafico.
WO2017009933A1 (ja) * 2015-07-13 2017-01-19 日産自動車株式会社 信号機認識装置及び信号機認識方法
US9594378B2 (en) * 2015-07-31 2017-03-14 Delphi Technologies, Inc. Variable object detection field-of-focus for automated vehicle control
US9463794B1 (en) 2015-09-04 2016-10-11 Google Inc. Stop sign detection and response
JP6350468B2 (ja) * 2015-09-18 2018-07-04 トヨタ自動車株式会社 運転支援装置
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
US9834218B2 (en) 2015-10-28 2017-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining action at traffic signals
US9881501B2 (en) * 2015-11-02 2018-01-30 Magna Electronics Inc. Driver assistance system with traffic light alert
US10018472B2 (en) 2015-12-10 2018-07-10 Uber Technologies, Inc. System and method to determine traction of discrete locations of a road segment
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US10119827B2 (en) 2015-12-10 2018-11-06 Uber Technologies, Inc. Planning trips on a road network using traction information for the road network
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
KR101951035B1 (ko) * 2016-01-29 2019-05-10 한국전자통신연구원 차량의 자율 주행 시스템 및 그 방법
RU2730790C2 (ru) * 2016-01-29 2020-08-26 Ниссан Мотор Ко., Лтд. Способ управления движением транспортного средства и устройство управления движением транспортного средства
FR3047217B1 (fr) * 2016-02-03 2019-08-16 Valeo Schalter Und Sensoren Gmbh Dispositif de determination de l'etat d'un feu de signalisation, systeme embatque comprenant un tel dispositif, vehicule comprenant un tel systeme et procede de determination associe
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10459087B2 (en) 2016-04-26 2019-10-29 Uber Technologies, Inc. Road registration differential GPS
US10126141B2 (en) * 2016-05-02 2018-11-13 Google Llc Systems and methods for using real-time imagery in navigation
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
JP6786264B2 (ja) 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10852744B2 (en) 2016-07-01 2020-12-01 Uatc, Llc Detecting deviations in driving behavior for autonomous vehicles
DE102016212196A1 (de) * 2016-07-05 2018-01-11 Robert Bosch Gmbh Verfahren zum Auswerten von Sensordaten
DE102016212702A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern zumindest eines Fahrparameters eines Fahrzeugs während einer Fahrt
US9977975B2 (en) * 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
CN107886029B (zh) * 2016-09-30 2020-08-25 比亚迪股份有限公司 定位交通灯背景框的方法、装置及车辆
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
KR102581779B1 (ko) * 2016-10-11 2023-09-25 주식회사 에이치엘클레무브 교차로충돌방지시스템 및 교차로충돌방지방법
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
JP6482739B2 (ja) * 2016-11-01 2019-03-13 三菱電機株式会社 情報提示方法
JP6541119B2 (ja) * 2016-12-05 2019-07-10 パナソニックＩｐマネジメント株式会社 撮像装置
US10276043B2 (en) * 2016-12-22 2019-04-30 GM Global Technology Operations LLC Vehicle system using vehicle-to-infrastructure and sensor information
US10139832B2 (en) * 2017-01-26 2018-11-27 Intel Corporation Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis
DE102017203236A1 (de) * 2017-02-28 2018-08-30 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Detektieren einer Ampelphase für ein Kraftfahrzeug
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
US10437256B2 (en) * 2017-03-23 2019-10-08 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing time sensitive autonomous intersection management
JP2020515966A (ja) * 2017-03-31 2020-05-28 スリーエム イノベイティブ プロパティズ カンパニー 較正情報を有する通路用物品
WO2018223882A1 (en) * 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
US10540895B2 (en) 2017-06-21 2020-01-21 International Business Machines Corporation Management of mobile objects
US10600322B2 (en) 2017-06-21 2020-03-24 International Business Machines Corporation Management of mobile objects
US10504368B2 (en) 2017-06-21 2019-12-10 International Business Machines Corporation Management of mobile objects
US10535266B2 (en) 2017-06-21 2020-01-14 International Business Machines Corporation Management of mobile objects
US10585180B2 (en) 2017-06-21 2020-03-10 International Business Machines Corporation Management of mobile objects
US10546488B2 (en) 2017-06-21 2020-01-28 International Business Machines Corporation Management of mobile objects
US10525903B2 (en) * 2017-06-30 2020-01-07 Aptiv Technologies Limited Moving traffic-light detection system for an automated vehicle
CN107316486A (zh) * 2017-07-11 2017-11-03 湖南星云智能科技有限公司 基于双摄像头的无人驾驶汽车视觉识别系统
CN107393074B (zh) * 2017-07-21 2019-01-18 北京图森未来科技有限公司 实现车辆自动过卡的方法和系统、相关设备
CN109492507B (zh) * 2017-09-12 2022-09-23 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
US11260875B2 (en) 2017-12-07 2022-03-01 Uatc, Llc Systems and methods for road surface dependent motion planning
CN110019627B (zh) * 2017-12-25 2022-04-12 北京京东乾石科技有限公司 识别交通导流线的方法及其系统、计算机系统
DE102018200814B3 (de) * 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
DE102018201374B3 (de) * 2018-01-30 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Absorbervorrichtung für eine Lichtzeichenanlage und Absorbervorrichtungs-Assistenzsystem für ein Fahrzeug
DE102018203353A1 (de) * 2018-03-07 2019-09-12 Bayerische Motoren Werke Aktiengesellschaft Steuereinheit und Verfahren zum Betreiben einer Fahrfunktion an einer Signalisierungsanlage
JP6990137B2 (ja) * 2018-03-28 2022-01-12 本田技研工業株式会社 車両制御装置
US10503760B2 (en) 2018-03-29 2019-12-10 Aurora Innovation, Inc. Use of relative atlas in an autonomous vehicle
US11256729B2 (en) 2018-03-29 2022-02-22 Aurora Operations, Inc. Autonomous vehicle relative atlas incorporating hypergraph data structure
US10521913B2 (en) 2018-03-29 2019-12-31 Aurora Innovation, Inc. Relative atlas for autonomous vehicle and generation thereof
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
US11221240B2 (en) * 2018-04-30 2022-01-11 Ford Global Technologies, Llc Sensor housing drainage
US10909866B2 (en) 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US10140855B1 (en) * 2018-08-24 2018-11-27 Iteris, Inc. Enhanced traffic detection by fusing multiple sensor data
US10852743B2 (en) * 2018-09-07 2020-12-01 GM Global Technology Operations LLC Multimodal multi-technique signal fusion system for autonomous vehicle
CN109035831B (zh) 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
WO2020057754A1 (en) * 2018-09-21 2020-03-26 Toyota Motor Europe Systems and methods for traffic light identification
WO2020079927A1 (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、プログラム及び情報処理方法
JP7326018B2 (ja) * 2018-10-18 2023-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
CN109635639B (zh) * 2018-10-31 2020-06-09 百度在线网络技术（北京）有限公司 交通标识的位置检测方法、装置、设备和存储介质
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
CN109785655B (zh) * 2018-12-11 2020-09-29 北京百度网讯科技有限公司 车辆控制方法、装置、设备、无人驾驶车辆及存储介质
US10339400B1 (en) * 2018-12-18 2019-07-02 Chongqing Jinkang New Energy Automobile Co., Ltd. Traffic light detection using multiple cameras
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
CN111508224A (zh) * 2019-01-30 2020-08-07 奥迪股份公司 交通状态的预测方法、装置、计算机设备和存储介质
CN109829867B (zh) * 2019-02-12 2022-09-09 西南石油大学 一种针对稳定填充的球形收敛样本块修复方法
JP7093738B2 (ja) * 2019-03-08 2022-06-30 本田技研工業株式会社 車両制御装置
JP2020160560A (ja) * 2019-03-25 2020-10-01 本田技研工業株式会社 運転支援装置、運転支援方法、およびプログラム
DE112020002604T5 (de) * 2019-05-29 2022-03-03 Mobileye Vision Technologies Ltd. Systeme und verfahren für die fahrzeugnavigation
JP7268497B2 (ja) 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
DE102019119084A1 (de) * 2019-07-15 2021-01-21 Valeo Schalter Und Sensoren Gmbh Bestimmen eines Signalstatus einer Lichtsignalanlage
JP7088135B2 (ja) 2019-07-23 2022-06-21 トヨタ自動車株式会社 信号表示推定システム
DE102019211100A1 (de) * 2019-07-25 2021-01-28 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Aufbereiten von Daten über eine Ampelanlage
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
KR20210016927A (ko) * 2019-08-06 2021-02-17 현대자동차주식회사 차량 내 장치 및 그의 신호등 정보 제공 방법
US11134201B2 (en) * 2019-08-20 2021-09-28 International Business Machines Corporation Vision assisted driving system using a vertically extendable camera
DE102019215095A1 (de) * 2019-10-01 2021-04-01 Volkswagen Aktiengesellschaft Gütebestimmungsverfahren, Gütebestimmungsvorrichtung, Kraftfahrzeug
CN110794867B (zh) 2019-10-18 2020-10-30 合肥工业大学 通信干扰下无人机编队信息交互拓扑智能决策方法和装置
US11373519B2 (en) * 2019-11-11 2022-06-28 GM Global Technology Operations LLC Traffic signal management for autonomous vehicle operation
WO2021094799A1 (ja) * 2019-11-12 2021-05-20 日産自動車株式会社 信号機認識方法及び信号機認識装置
CN110962847B (zh) * 2019-11-26 2021-10-08 清华大学苏州汽车研究院（吴江） 车道居中辅助自适应巡航的轨迹规划方法和系统
KR20210068223A (ko) * 2019-11-29 2021-06-09 (주)언맨드솔루션 자율주행 주행경로에 필요한 신호등 체계 분석 시스템
US11544936B2 (en) * 2019-12-20 2023-01-03 Zoox, Inc. In-path obstacle detection and avoidance system
CN111079680B (zh) * 2019-12-23 2023-09-19 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
RU2764223C2 (ru) 2019-12-25 2022-01-14 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и система для определения состояния светофора
US20210211568A1 (en) * 2020-01-07 2021-07-08 Motional Ad Llc Systems and methods for traffic light detection
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
US11854212B2 (en) * 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle
US11055998B1 (en) 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
US11288528B2 (en) * 2020-05-12 2022-03-29 Baidu Usa Llc Differentiation-based traffic light detection
US11938939B1 (en) 2020-06-04 2024-03-26 Aurora Operations, Inc. Determining current state of traffic light(s) for use in controlling an autonomous vehicle
US11900689B1 (en) 2020-06-04 2024-02-13 Aurora Operations, Inc. Traffic light identification and/or classification for use in controlling an autonomous vehicle
DE102020208378B3 (de) * 2020-07-03 2021-09-23 Volkswagen Aktiengesellschaft Ampelspurzuordnung aus Schwarmdaten
US11527156B2 (en) * 2020-08-03 2022-12-13 Toyota Research Institute, Inc. Light emitting component-wise traffic light state, signal, and transition estimator
CN112053578A (zh) * 2020-09-15 2020-12-08 福建振杭机器人装备制造有限责任公司 基于机器视觉技术的红绿灯预警方法及其检测装置
EP3968305A1 (en) * 2020-09-15 2022-03-16 Volkswagen Aktiengesellschaft Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function
DE102020126673A1 (de) 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zur Ausgabe von Information in Bezug auf eine Signalisierungseinheit
DE102020126670A1 (de) 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in unterschiedlichen Modi
DE102020126679A1 (de) * 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in Abhängigkeit von einem Vorder-Fahrzeug
CN112504290A (zh) * 2020-11-06 2021-03-16 北京航迹科技有限公司 确定最近道路边界的方法、装置、设备和存储介质
RU2760038C1 (ru) * 2021-06-02 2021-11-22 Олег Борисович Лапшев Способ распознавания дорожных знаков
CN113452904B (zh) * 2021-06-18 2022-11-04 北京三快在线科技有限公司 一种交通信号灯检测方法及装置
US20230044819A1 (en) * 2021-08-04 2023-02-09 Telenav, Inc. Navigation system with mono-camera based traffic sign tracking and positioning mechanism and method of operation thereof
US20230169780A1 (en) * 2021-12-01 2023-06-01 Motional Ad Llc Automatically detecting traffic signals using sensor data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727741A (zh) * 2008-10-30 2010-06-09 爱信艾达株式会社 安全驾驶评价系统以及安全驾驶评价程序
CN101958051A (zh) * 2010-09-15 2011-01-26 浙江中控研究院有限公司 一种交通信号提示系统及方法
WO2011091099A1 (en) * 2010-01-22 2011-07-28 Google Inc. Traffic signal mapping and detection

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59809476D1 (de) 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
JP3646605B2 (ja) 2000-02-23 2005-05-11 株式会社日立製作所 車両走行制御装置
TWI222039B (en) 2000-06-26 2004-10-11 Iwane Lab Ltd Information conversion system
JP3621065B2 (ja) * 2000-12-25 2005-02-16 松下電器産業株式会社 画像検出装置、プログラムおよび記録媒体
US9205849B2 (en) * 2012-05-23 2015-12-08 General Electric Company System and method for inspecting a route during movement of a vehicle system over the route
JP4136529B2 (ja) * 2002-08-12 2008-08-20 パイオニア株式会社 情報処理装置、そのシステム、その方法、そのプログラム、そのプログラムを記録する記録媒体、および、ナビゲーション装置
JP2004171459A (ja) 2002-11-22 2004-06-17 Denso Corp 車両走行支援装置および車両走行支援システム
JP4475015B2 (ja) * 2004-06-01 2010-06-09 トヨタ自動車株式会社 車両周辺監視装置及び車両周辺監視方法
TWI236901B (en) 2004-06-11 2005-08-01 Oriental Inst Technology An apparatus and method for identifying surrounding environment by means of image processing and for outputting the resutls
US7363151B2 (en) * 2004-06-21 2008-04-22 Matsushita Electric Industrial Co., Ltd. Map error information obtaining system and map error information obtaining method
JP4507815B2 (ja) 2004-07-09 2010-07-21 アイシン・エィ・ダブリュ株式会社 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
CA2625895C (en) * 2005-10-14 2016-05-17 Aethon, Inc. Robotic ordering and delivery apparatuses, systems and methods
JP4577655B2 (ja) * 2005-12-27 2010-11-10 アイシン・エィ・ダブリュ株式会社 地物認識装置
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4600357B2 (ja) 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
WO2008038370A1 (en) * 2006-09-28 2008-04-03 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
US9302678B2 (en) 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
US8031062B2 (en) * 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
JP2009257892A (ja) * 2008-04-15 2009-11-05 Sumitomo Electric Ind Ltd 位置特定装置、位置特定システム、位置特定方法及びコンピュータプログラム
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
JP4824728B2 (ja) * 2008-07-31 2011-11-30 富士通テン株式会社 車載装置、ナビゲーションシステム及びその制御方法
US8903574B2 (en) * 2009-10-22 2014-12-02 General Electric Company System and method for vehicle communication, vehicle control, and/or route inspection
US20110182473A1 (en) * 2010-01-28 2011-07-28 American Traffic Solutions, Inc. of Kansas System and method for video signal sensing using traffic enforcement cameras
JP2011180022A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp ステレオカメラの診断方法、およびステレオカメラの診断装置
US20110302214A1 (en) * 2010-06-03 2011-12-08 General Motors Llc Method for updating a database
US8296030B2 (en) * 2010-07-07 2012-10-23 Robert Bosch Gmbh System and method for controlling the engine of a vehicle
JP2012048345A (ja) 2010-08-25 2012-03-08 Denso Corp 車載装置
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
KR101254957B1 (ko) * 2011-07-18 2013-04-16 이흥수 교통 신호 제어 장치 및 방법
JP5712847B2 (ja) * 2011-07-28 2015-05-07 アイシン・エィ・ダブリュ株式会社 信号機増減検出システム、信号機増減検出装置、信号機増減検出方法及びコンピュータプログラム
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US9158980B1 (en) * 2012-09-19 2015-10-13 Google Inc. Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
DE102012110219A1 (de) * 2012-10-25 2014-04-30 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
US9494935B2 (en) * 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
HUE038758T2 (hu) * 2015-09-21 2018-11-28 Urban Software Inst Gmbh Számítógépi rendszer és eljárás forgalmi rendszer monitorozására
US20170350713A1 (en) * 2016-06-02 2017-12-07 Delphi Technologies, Inc. Map update system for automated vehicles
US10650257B2 (en) * 2017-02-09 2020-05-12 SMR Patents S.à.r.l. Method and device for identifying the signaling state of at least one signaling device
US10300894B2 (en) * 2017-03-13 2019-05-28 Denso International America, Inc. Auto-braking system for vehicle and method for auto-braking vehicle
US10699142B2 (en) * 2017-04-20 2020-06-30 GM Global Technology Operations LLC Systems and methods for traffic signal light detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727741A (zh) * 2008-10-30 2010-06-09 爱信艾达株式会社 安全驾驶评价系统以及安全驾驶评价程序
WO2011091099A1 (en) * 2010-01-22 2011-07-28 Google Inc. Traffic signal mapping and detection
CN101958051A (zh) * 2010-09-15 2011-01-26 浙江中控研究院有限公司 一种交通信号提示系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Towards Fully Autonomous Driving: Systems and Algorithms";Jesse Levinson etc;《2011 IEEE Intelligent Vehicles Symposium(IV)》;20110609;第163-168页 *

Also Published As

Publication number Publication date
JP6622265B2 (ja) 2019-12-18
EP4283574A3 (en) 2024-01-10
EP3851351B1 (en) 2023-11-15
EP3851351A2 (en) 2021-07-21
CN104411559A (zh) 2015-03-11
US20170355375A1 (en) 2017-12-14
EP2830922A1 (en) 2015-02-04
CN108482378A (zh) 2018-09-04
US11731629B2 (en) 2023-08-22
KR20180031056A (ko) 2018-03-27
JP2018014124A (ja) 2018-01-25
US9796386B2 (en) 2017-10-24
US20150360692A1 (en) 2015-12-17
EP4283574A2 (en) 2023-11-29
CN104411559B (zh) 2018-04-20
US9145140B2 (en) 2015-09-29
US20230339469A1 (en) 2023-10-26
US10906548B2 (en) 2021-02-02
KR20140130521A (ko) 2014-11-10
EP2830922B1 (en) 2021-04-21
WO2013147994A1 (en) 2013-10-03
KR101839554B1 (ko) 2018-03-19
US20130253754A1 (en) 2013-09-26
US20210039648A1 (en) 2021-02-11
KR20160143885A (ko) 2016-12-14
EP2830922A4 (en) 2015-11-25
EP3851351A3 (en) 2021-11-10
KR101953521B1 (ko) 2019-02-28
JP6270064B2 (ja) 2018-01-31
JP2015518600A (ja) 2015-07-02

Similar Documents

Publication Publication Date Title
US11731629B2 (en) Robust method for detecting traffic signals and their associated states
US11900693B2 (en) Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
US11762386B1 (en) Modifying the behavior of an autonomous vehicle using context based parameter switching
US10181084B2 (en) Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
US9387854B1 (en) Use of environmental information to aid image processing for autonomous vehicles
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
US9261879B2 (en) Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US9261881B1 (en) Filtering noisy/high-intensity regions in laser-based lane marker detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant