CN102792316B - 交通信号的映射和检测 - Google Patents

交通信号的映射和检测 Download PDF

Info

Publication number
CN102792316B
CN102792316B CN201180009746.3A CN201180009746A CN102792316B CN 102792316 B CN102792316 B CN 102792316B CN 201180009746 A CN201180009746 A CN 201180009746A CN 102792316 B CN102792316 B CN 102792316B
Authority
CN
China
Prior art keywords
traffic signals
traffic
image
yellow
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180009746.3A
Other languages
English (en)
Other versions
CN102792316A (zh
Inventor
纳撒尼尔·费尔菲尔德
克里斯托弗·厄姆森
赛巴斯蒂安·特龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giant Holdings Ltd
Waymo LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN102792316A publication Critical patent/CN102792316A/zh
Application granted granted Critical
Publication of CN102792316B publication Critical patent/CN102792316B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)

Abstract

系统和方法提供识别交通灯的三维位置的地图。可以从两个或更多个图像自动推断交通灯的方位、位置和方向。该地图接着可以用于帮助机器人车辆或者人工驾驶者识别交通信号(540)的位置和状态。

Description

交通信号的映射和检测
相关申请的交叉引用
本申请要求2010年6月21日提交的名称为交通信号的映射和检测的申请No.12/819,575的权益，该申请要求2010年1月22日提交的美国临时申请No.61/297,468的权益，其全部内容通过参照包括于此。
技术领域
本发明大体上涉及构建交通信号的地图。特别地，这些地图可以用于执行实时交通信号检测。
背景技术
机器人车辆的关键部件是使车辆在驾驶时感知和了解它的周围事物的感知系统。人们已经处理了驾驶问题以使感知更容易，例如，由涂在道路上的线界定的车道，在十字路口用于指示优先级的交通灯，刹车灯和转弯信号，都被意欲用于简化感知任务。机器人可以使用这些驾驶辅助物，但是在很多情况下，它们能够使用替代的传感方式(例如雷达或者激光雷达)取代视觉。除了这些其他的传感方式，机器人通常还可以改变(leverage)现有的地图以简化在线感知。使用现有的包括停止标志、速度限制、车道等的地图，机器人车辆可以大大简化其对估计其相对于地图的位置(定位)及处理动力障碍物(例如其他车辆)(感知)的问题的车载感知需求。
交通信号是对机器人车辆的主要挑战。做出过努力以通过广播播放交通灯状态，但是这需要对基础设施的重大投资。虽然机器人通常可以使用主动传感器，例如雷达或者激光雷达，以感知它们的周围事物，交通信号的状态只能被视觉地感知。尽管由于户外条件的变化，任何视觉任务都可以是具有挑战性的，但是已经将交通灯设计得高度可见。
发明内容
本发明大体上涉及构建交通信号的地图。特别地，这些地图可以用于进行交通信号的状态的实时检测。
本发明的一个方面提供一种用于确定交通信号的三维位置的方法。该方法包括：接收多个图像，多个图像中的每个图像与地理位置和方向信息相关联；通过计算机选择多个图像中的与接近交通十字路口的地理位置相关联的一个或多个图像；对每个所选择的图像，通过计算机识别所选择的图像中的红色、黄色和绿色物体；基于两个或更多个所选择的图像的地理位置和方向信息，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体；基于(1)所识别的两个或更多个所选择的图像之间的关联和(2)两个或更多个所选择的图像的地理位置和方向信息，确定交通信号的三维位置；和将交通信号的三维位置存储在计算机可访问的存储器中。
如此处所论述的，不同的特征可以在任何实施例中以任何组合使用。例如，该方法包括生成包括交通信号的三维位置的地图。
在另一个示例中，通过一个或多个照相机采集多个图像中的每个，每个照相机与车辆相关联。可选地，一个或多个照相机中的每一个安装在车辆上。可选地，基于通过地理方位(position)设备确定的照相机的地理位置和方向信息，生成与每个图像相关联的地理位置和方向信息。
在另一个示例中，通过激光定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，通过GPS定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，通过惯性定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，地理位置信息是GPS纬度和经度坐标。
在另一个示例中，在多个图像中的每个图像由一个或多个照相机采集并且每个照相机与车辆相关联的情况下，一个或多个照相机中的每个照相机与被设置以避免交通信号灯的饱和的增益和快门速度相关联。
在另一个示例中，在多个图像中的每个图像由一个或多个照相机采集并且每个照相机与车辆关联的情况下，多个图像中的每个图像通过网络从一个或多个照相机中的每一个上传至计算机。
在另一个示例中，在多个图像中的每个图像由一个或多个照相机采集并且每个照相机与车辆关联的情况下，一个或多个照相机中的每个照相机被定位以最低程度地阻碍车辆的驾驶者的视线。
在另一个示例中，所识别的红色、黄色和绿色物体具有与交通信号对应的合适尺寸和宽高比。在再进一步的示例中，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于两个或更多个所选择的图像的被识别的物体之间的关联距离的。
在另一个示例中，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于交通信号的物理维度的。
在另一个示例中，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于所选择的图像之间的直接运动补偿的，其中，每个所选择的图像由安装在移动车辆上的照相机拍摄。
在另一个示例中，该方法包括：基于直接运动补偿，将所选择的图像中的被识别的红色、黄色和绿色物体识别作为物体而不是作为交通信号灯。
在另一个示例中，该方法包括：基于已确定的特定的交通信号的三维位置和通过十字路口的车道的地图的比较，确定与特定的交通信号相关联的车道。
在另一个示例中，在该方法包括生成包括交通信号的三维位置的地图的情况下，该方法包括：将该地图下载至车辆的第二个计算机。
在另一个示例中，在该方法包括生成包括交通信号的三维位置的地图的情况下，该方法包括：将该地图下载至客户端设备。
在另一个示例中，在该方法包括生成包括交通信号的三维位置的地图的情况下，该方法包括：从客户端设备接收地理位置，并且基于所接收的地理位置，将地图的一部分传输至客户端设备。
本发明的另一个方面提供一种用于确定交通信号的三维位置的设备。该设备包括：处理器和存储器。处理器配置用于：接收多个图像，多个图像中的每个图像与地理位置和方向信息相关联；选择多个图像中的与接近交通十字路口的地理位置相关联的一个或多个图像；对每个所选择的图像，识别所选择的图像中的红色、黄色和绿色物体；基于两个或更多个所选择的图像的地理位置和方向信息，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体；基于(1)所识别的两个或更多个所选择的图像之间的关联和(2)两个或更多个所选择的图像的地理位置和方向信息，确定交通信号的三维位置；和将交通信号的三维位置存储在设备可访问的存储器中。
如此处所论述的，不同的特征可以在任何实施例中以任何组合使用。例如，处理器配置用于生成包括交通信号的三维位置的地图。
在另一个示例中，多个图像中的每个由一个或多个照相机采集，每个照相机与车辆相关联。可选地，一个或多个照相机中的每一个安装在车辆上。可选地，基于通过地理方位设备确定的照相机的地理位置和方向，生成与每个图像相关联的地理位置和方向信息。
在另一个示例中，通过激光定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，通过GPS定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，通过惯性定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，地理位置信息是GPS纬度和经度坐标。
在另一个示例中，在多个图像中的每一个由一个或多个照相机采集的情况下，一个或多个照相机中的每一个与被设置以避免交通信号灯的饱和的增益和快门速度相关联。
在另一个示例中，在多个图像中的每一个由一个或多个照相机采集的情况下，多个图像中的每个图像通过网络从一个或多个照相机中的每一个上传至设备。
在另一个示例中，在多个图像中的每一个由一个或多个照相机采集的情况下，一个或多个照相机中的每一个被定位以最低程度地阻碍车辆的驾驶者的视线。
在另一个示例中，所识别的红色、黄色和绿色物体具有与交通信号对应的合适尺寸和宽高比。
在另一个示例中，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于两个或更多个所选择的图像的被识别的物体之间的关联距离的。
在另一个示例中，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于交通信号的物理维度的。
在另一个示例中，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于所选择的图像之间的直接运动补偿的，其中，每个所选择的图像由安装在移动车辆上的照相机拍摄。
在另一个示例中，处理器进一步配置用于：基于直接运动补偿，将所选择的图像中的被识别的红色、黄色和绿色物体识别作为物体而不是作为交通信号灯。
在另一个示例中，处理器进一步配置用于：基于已确定的特定的交通信号的三维位置和通过十字路口的车道的地图的比较，确定与特定的交通信号相关联的车道。
在另一个示例中，处理器进一步配置用于：将地图下载至与车辆相关联的第二个设备。
在另一个示例中，处理器进一步配置用于：将地图下载至客户端设备。
在另一个示例中，在处理器配置用于生成包括交通信号的三维位置的地图的情况下，处理器进一步配置用于：从客户端设备接收地理位置，并且基于所接收的地理位置，将地图的一部分传输至客户端设备。
本发明的另一个方面提供一种用于确定交通信号的状态的方法，该方法包括：重复确定客户端设备的当前位置；基于客户端设备的当前位置和交通信号的三维位置的地图的比较，确定交通信号的边界的估算位置；采集估算位置的图像；对每个所采集的图像，通过客户端设备识别在交通信号的估算位置的边界内的红色、黄色和绿色物体；以及基于所识别的物体的颜色确定交通信号的状态。
如此处所论述的，不同的特征可以在任何实施例中以任何组合使用。例如，图像由客户端设备的照相机采集。
在另一个示例中，通过基于激光的定位设备确定客户端设备的当前位置。在另一个示例中，通过激光定位设备确定客户端设备的当前位置。
在另一个示例中，通过GPS定位设备确定客户端设备的当前位置。
在另一个示例中，通过惯性定位设备确定客户端设备的当前位置。
在另一个示例中，在图像由客户端设备的照相机采集的情况下，照相机与被设置以避免交通信号灯的饱和的增益和快门速度相关联。
在另一个示例中，在图像由客户端设备的照相机采集的情况下，该方法包括：从客户端设备的存储器访问交通信号的三维位置的地图。
在另一个示例中，所识别的红色、黄色和绿色物体具有与交通信号对应的合适尺寸和宽高比。
在另一个示例中，确定交通信号的状态是基于在估算位置的边界内的所识别的物体的位置的。
在另一个示例中，估算位置的边界与维度相关，并且该维度大于交通信号的维度。
在另一个示例中，该方法包括：基于客户端设备的当前位置和通过十字路口的交通车道的地图的比较，确定与客户端设备相关联的交通车道。
可选地，确定交通信号的边界的估算位置是基于与客户端设备相关联的交通车道的。
在另一个示例中，该方法包括：通过网络从计算机请求交通信号的三维位置的地图，该请求包括客户端设备的当前位置。
在另一个示例中，该方法包括：通过网络从计算机接收交通信号的三维位置的地图。
在另一个示例中，该方法包括：确定交通信号的状态是否已经从默认状态改变。可选地，如果在交通信号的估算位置的边界内没有被识别的物体，该方法包括：确定交通信号的状态为默认状态。可选地，默认状态为黄色灯。可选地，默认状态为红色灯。
在另一个示例中，该方法包括：将交通信号的状态传输至与车辆相关联的计算机。
在另一个示例中，该方法包括：如果灯的状态是红色或黄色，则使车辆减速。在另一个示例中，该方法包括：可听地识别交通信号的状态。
在另一个示例中，该方法包括：基于交通信号的状态提供驾驶指令。
在另一个示例中，客户端设备包括电子显示器，且该方法进一步包括识别电子显示器上的交通信号的状态。
本发明的另一个方面提供一种用于确定交通信号的三维位置的设备。该设备包括：处理器和存储器，存储器包括用于存储次级资源文件的第一部分。处理器配置用于：重复确定客户端设备的当前位置；基于客户端设备的当前位置和交通信号的三维位置的地图的比较，确定交通信号的边界的估算位置；采集估算位置的图像；对每个所采集的图像，通过客户端设备识别在交通信号的估算位置的边界内的红色、黄色和绿色物体；以及基于所识别的物体的颜色确定交通信号的状态。
如此处所论述的，不同的特征可以在任何实施例中以任何组合使用。例如，该设备包括用于采集估算位置的图像的照相机。
在另一个示例中，通过激光定位设备确定客户端设备的当前位置。
在另一个示例中，该设备包括基于激光的定位设备，且通过激光定位设备确定客户端设备的当前位置。
在另一个示例中，该设备包括基于GPS的定位设备，且通过GPS定位设备确定客户端设备的当前位置。
在另一个示例中，该设备包括基于惯性的定位设备，且通过惯性定位设备确定客户端设备的当前位置。
在另一个示例中，照相机与被设置以避免交通信号灯的饱和的增益和快门速度相关联。
在另一个示例中，处理器配置用于：从客户端设备的存储器访问交通信号的三维位置的地图。
在另一个示例中，所识别的红色、黄色和绿色物体具有与交通信号对应的合适尺寸和宽高比。
在另一个示例中，处理器基于在估算位置的边界内的所识别的物体的位置，确定交通信号的状态。
在另一个示例中，估算位置的边界与维度相关，该维度大于交通信号的维度。
在另一个示例中，处理器进一步配置用于：基于客户端设备的当前位置和通过十字路口的交通车道的地图的比较，确定与客户端设备相关联的交通车道。
在另一个示例中，处理器基于与客户端设备相关联的交通车道，确定交通信号的边界的估算位置。
在另一个示例中，处理器进一步配置用于：通过网络从计算机请求交通信号的三维位置的地图，该请求包括客户端设备的当前位置。
在另一个示例中，处理器确定交通信号的边界的估算位置，且处理器进一步配置用于：通过网络从计算机接收交通信号的三维位置的地图。
在另一个示例中，处理器进一步配置用于：确定交通信号的状态是否已经从默认状态改变。可选地，处理器进一步配置用于：如果在交通信号的估算位置的边界内没有被识别的物体，确定交通信号的状态为默认状态。可选地，默认状态为黄色灯。可选地，默认状态为红色灯。
在另一个示例中，处理器进一步配置用于：将交通信号的状态传输至与车辆相关联的计算机。
在另一个示例中，处理器进一步配置用于：如果灯的状态是红色或黄色，则使车辆减速。在另一个示例中，处理器进一步配置用于：可听地识别交通信号的状态。
在另一个示例中，处理器进一步配置用于：基于交通信号的状态提供驾驶指令。
在另一个示例中，该设备安装在车辆上。
在另一个示例中，该设备为便携式设备。在另一个示例中，该设备包括电子显示器，且处理器进一步配置用于识别电子显示器上的交通信号的状态。
本发明的另一个方面提供一种用于确定交通信号的状态的方法。该方法包括：重复确定客户端设备的当前位置；基于客户端设备的当前位置和交通信号的三维位置的地图的比较，确定交通信号的边界的估算位置；采集估算位置的图像；对每个所采集的图像，通过客户端设备识别在交通信号的估算位置的边界内的红色、黄色和绿色物体；以及基于所识别的物体的颜色确定交通信号的状态。
如此处所论述的，不同的特征可以在任何实施例中以任何组合使用。例如，定位设备是激光定位设备。
在另一个示例中，定位设备是GPS定位设备。
在另一个示例中，定位设备是惯性定位设备。
在另一个示例中，该方法包括将照相机定位在车辆上以直接面对车辆前方。
在另一个示例中，该方法包括将照相机定位在后视镜的右方。
在另一个示例中，该方法包括定位照相机以限制驾驶者的视场的障碍。
在另一个示例中，存储器是照相机的本地存储器。
在另一个示例中，地理位置被定义为GPS纬度和经度坐标。
在另一个示例中，该方法进一步包括：接收多个图像和相关联的地理位置和方向信息；选择多个图像中的与接近交通十字路口的地理位置相关联的一个或多个图像；对每个所选择的图像，识别所选择的图像中的红色、黄色和绿色物体；基于两个或更多个所选择的图像的地理位置和方向信息识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体；基于(1)所识别的两个或更多个所选择的图像之间的关联和(2)两个或更多个所选择的图像的地理位置和方向信息，确定交通信号的三维位置；和将交通信号的三维位置存储在计算机可访问的存储器中。可选地，该方法包括：生成包括交通信号的三维位置的地图。
在另一个示例中，在该方法包括识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体的情况下，所识别的红色、黄色和绿色物体具有与交通信号对应的合适尺寸和宽高比。
在另一个示例中，在该方法包括识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体的情况下，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于两个或更多个所选择的图像的被识别的物体之间的关联距离的。
在另一个示例中，在该方法包括识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体的情况下，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于交通信号的物理维度的。
在另一个示例中，在该方法包括识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体的情况下，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于所选择的图像之间的直接运动补偿的。
在另一个示例中，在该方法包括识别所选择的图像中的红色、黄色和绿色物体的情况下，该方法包括：基于直接运动补偿，将所选择的图像中的被识别的红色、黄色和绿色物体识别作为物体而不是作为交通信号灯。
在另一个示例中，在该方法包括识别所选择的图像中的红色、黄色和绿色物体的情况下，该方法包括：基于已确定的特定的交通信号的三维位置和通过十字路口的车道的地图的比较，确定与特定的交通信号相关联的车道。
本发明的又另一个方面提供一种用于采集交通信号的图像的设备。该设备包括：车辆；具有为避免交通信号灯的饱和而设置的增益和快门速度的照相机，照相机安装至车辆；定位设备；与车辆耦合的处理器；和包括用于存储图像的第一部分的存储器。处理器配置用于从照相机接收图像；确定与所接收的图像中的每个图像相关联的地理位置；将图像、地理位置和关联存储在存储器中；和通过网络将图像、地理位置和关联传输至计算机。
如此处所论述的，不同的特征可以在任何实施例中以任何组合使用。例如，照相机被定位在车辆上以直接面对车辆前方。在另一个示例中，照相机被定位在后视镜的右方。在另一个示例中，照相机被定位以限制驾驶者的视场的障碍。在另一个示例中，存储器是照相机的本地存储器。
本发明的再另一个方面提供一种客户端设备，该客户端设备包括处理器和计算机。计算机包括存储器和处理器。处理器配置用于接收多个图像，多个图像中的每个图像与地理位置和方向信息相关联；选择多个图像中的与接近交通十字路口的地理位置相关联的一个或多个图像；对每个所选择的图像，识别所选择的图像中的红色、黄色和绿色物体；基于两个或更多个所选择的图像的地理位置和方向信息，识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体；基于(1)所识别的两个或更多个所选择的图像之间的关联和(2)两个或更多个所选择的图像的地理位置和方向信息，确定交通信号的三维位置；生成交通信号的三维位置的地图；从客户端设备接收对地图的一部分的请求，该请求识别地理位置；基于所识别的地理位置，识别地图的相关部分；和将地图的相关部分传输至客户端设备。第二设备的处理器配置用于重复确定客户端设备的当前位置；传输包括客户端设备的当前位置的请求；接收地图的相关部分；基于客户端设备的当前位置和所接收的地图的相关部分的比较，确定交通信号的边界的估算位置；采集估算位置的图像；对每个所采集的图像，识别在交通信号的估算位置的边界内的红色、黄色和绿色物体；以及基于在交通信号的估算位置的边界内的所识别的物体的颜色确定交通信号的状态。
如此处所论述的，不同的特征可以在任何实施例中以任何组合使用。例如，多个图像中的每一个由一个或多个照相机采集，每个照相机与车辆相关联。
在另一个示例中，基于通过与相关联的车辆相关联的地理方位设备确定的照相机的地理位置和方向，生成与多个图像中的每个图像相关联的地理位置和方向信息。
在另一个示例中，通过激光定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，通过GPS定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，通过惯性定位设备确定与每个图像相关联的地理位置和方向信息。
在另一个示例中，地理位置信息是GPS纬度和经度坐标。在另一个示例中，在多个图像中的每一个由一个或多个照相机采集的情况下，一个或多个照相机中的每一个与被设置以避免交通信号灯的饱和的增益和快门速度相关联。
在另一个示例中，在多个图像中的每一个由一个或多个照相机采集的情况下，多个图像中的每个图像通过网络从一个或多个照相机中的每一个上传至计算机。
在另一个示例中，在多个图像中的每一个由一个或多个照相机采集的情况下，每个照相机被定位以最低程度地阻碍车辆的驾驶者的视线。
在另一个示例中，通过计算机的处理器识别的红色、黄色和绿色物体具有与交通信号对应的合适尺寸和宽高比。
在另一个示例中，通过计算机的处理器识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于两个或更多个所选择的图像的被识别的物体之间的关联距离的。
在另一个示例中，通过计算机的处理器识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于交通信号的物理维度的。
在另一个示例中，通过计算机的处理器识别两个或更多个所选择的图像中的相关联的红色、黄色和绿色物体是基于所选择的图像之间的直接运动补偿的。
在另一个示例中，第一计算机的处理器进一步配置用于基于直接运动补偿，将所选择的图像中的被识别的红色、黄色和绿色物体识别作为物体而不是作为交通信号灯。
在另一个示例中，第一计算机的处理器进一步配置用于基于已确定的特定的交通信号的三维位置和通过十字路口的车道的地图的比较，确定与特定的交通信号相关联的车道。
在另一个示例中，客户端设备包括电子显示器，且客户端设备的处理器进一步配置用于识别电子显示器上的交通信号的状态。
在另一个示例中，通过激光定位设备确定客户端设备的当前位置。在另一个示例中，通过GPS定位设备确定客户端设备的当前位置。
在另一个示例中，通过惯性定位设备确定客户端设备的当前位置。
在另一个示例中，通过客户端设备的客户端照相机采集所采集的图像。
在另一个示例中，客户端照相机与被设置以避免交通信号灯的饱和的增益和快门速度相关联。
在另一个示例中，客户端设备的处理器进一步配置用于将所接收的地图的部分存储在客户端设备存储器中，且从存储器访问所接收的部分。
在另一个示例中，通过客户端设备的处理器识别的红色、黄色和绿色物体具有与交通信号对应的合适尺寸和宽高比。
在另一个示例中，确定交通信号的状态是基于在估算位置的边界内的所识别的物体的位置的。
在另一个示例中，估算位置的边界与维度相关，且该维度大于交通信号的维度。
在另一个示例中，客户端设备进一步配置用于：基于客户端设备的当前位置和通过十字路口的交通车道的地图的比较，确定与客户端设备相关联的交通车道。可选地，客户端设备的处理器进一步配置用于：基于与客户端设备相关联的交通车道，确定交通信号的边界的估算位置。
在另一个示例中，客户端设备的处理器进一步配置用于：确定交通信号的状态是否已经从默认状态改变。
在另一个示例中，客户端设备的处理器进一步配置用于：如果在交通信号的估算位置的边界内没有被识别的物体，确定交通信号的状态为默认状态。可选地，默认状态为黄色灯。可选地，默认状态为红色灯。
在另一个示例中，客户端设备进一步配置用于：将交通信号的状态传输至与车辆相关联的计算机。
在另一个示例中，客户端设备的处理器进一步配置用于：如果灯的状态是红色或黄色，发送指令以使车辆减速。
在另一个示例中，客户端设备包括一个或多个扬声器，且客户端设备的处理器进一步配置用于可听地识别交通信号的状态。
在另一个示例中，客户端设备的处理器进一步配置用于：基于交通信号的状态提供驾驶指令。
附图说明
图1A为根据本发明的一个方面的系统的功能图。
图1B为根据本发明的一个方面的系统的示意图。
图2为根据本发明的一个方面的流程图。
图3为根据本发明的一个方面的交通信号和灯的示例性图像。
图4为根据本发明的一个方面的流程图。
图5为根据本发明的一个方面的交通十字路口的示意图。
图6为根据本发明的一个方面的实验数据的示例性柱状图。
图7为根据本发明的一个方面的实验数据的示例性混淆矩阵。
具体实施方式
本发明的方面、特征和优点将在通过参考以下示例性实施例的描述和附图考虑时被理解。不同附图中的相同标号可以标识相同或类似的元件。而且，以下描述不是限制性的，本发明的范围由所附权利要求及其等同物限定。
具有固定曝光和光圈的照相机可以被直接校准以采集交通灯彩色信号电平的图像。交通灯的方位、位置和方向可以从这样的图像中的两个或更多个自动推断。这种信息接着用于生成识别交通灯的三维位置的地图。这些交通灯的三维地图可以允许客户端设备预料和预测交通灯。
如图1A和图1B所示，根据本发明的一个方面的系统100包括计算机110，计算机110包括处理器120、存储器130和其他典型地存在于通用计算机中的部件。
存储器130存储处理器120可访问的信息，包括：可以被处理器120执行或者以其他方式被处理器120使用的指令132和数据134。存储器130可以是能够存储处理器可访问的信息的任何类型，包括计算机可读介质，或者存储可以在电子设备的帮助下可以被读取的数据的其他介质，例如硬盘驱动器、车载存储器、ROM、RAM、DVD或者其他光盘，以及其他可写和只读存储器。系统和方法可以包括上述的不同的组合，从而指令和数据的不同部分存储在不同类型的介质上。
指令132可以是将由处理器直接地(例如机器代码)或间接地(例如脚本)执行的任何指令集。例如，指令可以作为计算机代码存储在计算机可读介质上。就此而言，在此处可以互换地使用术语“指令”和“程序”。指令可以以目标代码形式存储以被处理器直接处理，或者以包括根据需要被解释或预先被编译的脚本或独立源代码模块的集合的任何其他计算机语言的形式存储。下面更详细地说明指令的功能、方法和例程。
可以根据指令132通过处理器120检索、存储或者修改数据134。例如，尽管系统和方法不受任何特定的数据结构限制，数据可以作为具有多个不同字段和记录、XML文档或者平面文件的表格存储在计算机寄存器中的关系数据库中。数据也可以任何计算机可读格式被格式化。仅作为进一步举例，图像数据可以作为包括像素网格的位图以及用于绘制图形的计算机指令存储，该像素网格按照压缩的或未压缩的无损的(例如BMP)或有损的(例如JPEG)、和基于位图的或基于矢量的(例如SVG)格式存储。数据可以包括足以识别相关信息的任何信息，例如，数字、描述性文本、私有代码、对存储在相同存储器或不同存储器(包括其他网络位置)的其他区域中的数据的引用，或者通过函数用于计算相关数据的信息。
处理器120可以是任何常规的处理器，例如来自IntelCorporation或AdvancedMicroDevice的处理器，可选地，处理器可以是专用设备例如ASIC。尽管图1功能性地说明了在相同块内的处理器和存储器，本领域普通技术人员应该理解处理器和存储器可以实际包括可以或不可以存储在相同的物理外壳内的多个处理器和存储器。例如，存储器可以是硬盘驱动器或者位于数据中心的服务器群的其他存储介质。相应地，对处理器或计算机的引用可以理解为包括对可以或不可以平行操作的处理器或计算机或存储器的集合的引用。
计算机110可以位于网络150的一个节点，且能够直接地和间接地与网络的其他节点通信。例如，计算机110可以包括万维网服务器，万维网服务器能够通过网络150与客户端设备170-72通信，以使服务器110使用网络150传输和显示信息给用户或者以其他方式提供信息给用户，例如图1B中的人191或192。服务器110还可以包括多个计算机，多个计算机为了接收、处理和传输数据至客户端设备的目的与网络中不同节点交换信息。在这种情况下，客户端设备典型地仍位于网络中与包括服务器110的计算机不同的节点。
网络150以及服务器110与客户端设备之间的中间节点可以包括各种配置和使用各种协议，各种协议包括互联网、万维网、内联网、虚拟专用网络、局域以太网、使用一个或多个公司私有通信协议的私有网络、蜂窝和无线网络(例如WiFi)、即时消息、HTTP和SMTP、以及上述的各种组合。尽管图1-2中仅显示出几个计算机，应当理解，典型的系统可以包括大量被连接的计算机。
每个客户端设备可以与服务器110类似地配置，具有处理器120、存储器和指令132。每个客户端设备170-172可以是意欲被人191-192使用的设备，且具有所有通常使用的与计算机有关的部件，例如中央处理器(CPU)、存储例如网页浏览器的数据162和指令的存储器(例如RAM和内部硬盘驱动器)、电子显示器164(例如具有屏幕的监视器、小型LCD触摸屏、投影仪、电视机、计算机打印机或者任何其他可操作以显示信息的电子设备)、以及用户输入166(例如鼠标、键盘、触摸屏和/或麦克风)。客户端设备还可以包括照相机176、地理方位部件178、一个或多个扬声器174、网络接口设备、以及所有用于将这些元件彼此连接的部件。
尽管每个客户端设备170-172可以包括全尺寸的个人计算机，它们可选地包括能够或不能够通过诸如互联网的网络与服务器无线交换数据的移动设备。仅作为举例，客户端设备172可以是安装在车辆上的设备或者与车辆连接，以使客户端设备172可以与车辆的计算机交换信息。在另一个示例中，客户端设备171可以是可无线使能的PDA或者能够通过互联网获取信息的蜂窝式电话。用户可以使用小键盘(在黑莓电话的情况下)、袖珍键盘(在典型的手机的情况下)或者触摸屏(在PDA的情况下)输入信息。的确，根据在此处描述的系统和方法的客户端设备可以包括能够处理指令和将数据传输至人和其他计算机和从人和其他计算机传输数据的任何设备，其他计算机包括通用设备、无本地存储能力的网络计算机等。
客户端设备还可以包括地理方位部件以确定设备的地理位置和方向。例如，客户端设备170可以包括GPS接收器以确定设备的纬度、经度和/或高度方位。也可以使用其他的位置系统例如基于激光的定位系统，惯性辅助的GPS或者基于照相机的定位系统。另外，地理方位部件也可以包括用于基于客户端设备171处接收的其他信号确定设备位置的软件，其他信号是例如如果客户端设备是手机，在手机的天线处从一个或多个蜂窝塔接收的信号。
客户端设备171还可以包括其他特征，例如加速计、陀螺仪或者其他加速设备168以确定设备朝向的方向。仅作为举例，加速设备可以确定其相对于重力方向或者与其垂直的平面的俯仰角、偏航角或者坡角(或者其改变)。就此而言，可以理解客户端设备提供的在此列出的位置和方向数据可以自动地提供给用户、服务器或者两者。
返回至图1A，数据134可以包括图像数据例如交通信号的图像。图像可以与包括拍摄图像时的车辆或者照相机的方位、位置和方向的各种信息相关联。图像信息还可以与指示图像中的交通信号的方位和位置的标记相关联。这些标记可以通过各种方法生成。例如，用于生成标记图像的一个方法是使用一组人工贴标。但是，当需要对典型的城市环境中的高密度灯工作时，人工贴标可能显得相对较慢。而且，即使是最好的人工贴标也不总是能够进行精确贴标。在以下更详细地描述的另一个示例中，通过使用交通信号分类器140自动生成标记。
图像数据134还可以包括与其他图像的关联。例如，在两个不同图像中的两个标记识别相同的交通信号的情况下，这些标记(或者图像)可以彼此相关联。如以下更详细地描述的，图像之间的这些标记和关联可以用于生成识别交通信号的估算的三维位置的交通信号地图138。
例如，可以通过手动驾驶装备有照相机和诸如GPS、惯性和/或激光系统的导航系统的车辆通过十字路口，并且精确采集打有时间戳的激光测距和照相机图像而采集这些图像。车辆(例如车辆180-181)可以使用各种类型的以各种配置安装的照相机182以采集交通信号灯图像。例如，将PointGreyGrasshopper5MP照相机定位以直接面对前方，且安装在后视镜的右方，以最低程度地阻碍驾驶者的视场。可以为照相机选择特定的兴趣区，例如具有带有30度视场的固定透镜的照相机的2040×1080区域。例如，照相机可以被校准以能够当以55MPH的速度行驶时在150m处检测交通信号，以确保合理的制动距离。
车辆180-181或者照相机182还可以包括如上所述的地理方位部件178。地理方位部件可以用于识别拍摄特定图像时照相机或车辆的地理位置、方向和方位。
车辆180-181可以记录被服务器110使用的图像。图像和相关联的信息可以通过网络150从车辆上传至服务器110或者直接载入服务器110。
为了在夜晚采集交通信号灯的图像，可以设置增益和快门速度以避免交通灯(特别是明亮的基于LED的绿色灯)的饱和。即使在白天也可以使用这些设置生成相对暗的图像。
以下将详细描述图2所描述的实施例200。应当理解不需要以下述的精确顺序进行操作。相反，各步骤可以不同的顺序或者同时操作。
如图2的框210所示，通过服务器110接收图像数据。接着，在框220，服务器筛选图像获得最相关的图像，即可能包括交通灯的图像。通常地，将交通信号定位在十字路口，从而可以使用地理空间查询以摒弃当没有十字路口有可能可见时拍摄的图像。
辨别当车辆接近十字路口时拍摄图像与这组图像之后，图像被分类和标记，如框230和240所示。服务器110可以使用寻找鲜明地着色的红色、黄色和绿色的具有合适的尺寸和宽高比的斑点的交通信号分类器，并且接着将这些斑点用作用于位置估算过程的暂时的交通信号标记。尽管结合具有一组红色、黄色和绿色灯的典型的垂直交通信号描述本发明，应当理解该特定的结构仅仅用作举例。交通信号可以具有变化的几何结构(geometry)和有时甚至复杂的几何结构，并且本发明可以任何数量的这些另外的几何结构操作。
图3描述了交通信号的人工标记的示例。对于每个正例，可以生成八个另外的反例。如果新生成的例子与正例重叠，例如，在两个交通信号非常靠近在一起的情况下，可以摒弃新生成的示例。
标记步骤的输出可以是大量标记，但是没有关于哪个标记属于哪个交通信号的信息。估算物体的三维位置需要不同图像中的至少两个标记，并且如果有更多的图像可用，通常将会改善位置估算。然而，为了识别包括相同主题(例如特定的交通信号)的两个或更多个图像，图像的标记必须彼此相关联。如果与那些图像相关联的标记落入彼此的关联距离之内，则两个图像可以是相关联的。例如，每个标记可以具有直径d。如果两个标记的中心在彼此的相对小的距离(例如d或者10d)内，这些标记可以彼此相关联。在另一个示例中，如果两个标记重叠，这些标记可以是相关联的。可以在图像序列中的标记之间确定关联，一旦已经进行位置估算在三维物体之间确定关联，或者通过使用结合二种类型的关联的迭代法确定关联。
为了识别关联，服务器可以做出一些关于图示的交通信号的类型的推断。例如，通过假设信号具有标准的垂直的红色-黄色-绿色结构(到目前为止最常见的配置)来推断交通信号的全尺寸。这些全尺寸的交通信号标记可以使产生来自具有改变的颜色的交通信号的相关联标记变得更简单。
图像之间的标记关联可以通过各种方式进行。例如，在近仿射运动和/或高帧速率的情况下，可以使用模板跟踪器将一个图像中的标记与下一个图像中的标记相关联。在另一个示例中，在照相机帧速率是低的，例如4fps，并且物体运动可以充分投影的情况下，可以使用直接运动补偿。
如上所述，对于每个图像而言，精确的照相机位姿或者方位/位置/方向是已知的。如果照相机安装在移动车辆上，在几秒钟的时间期间在该位姿上的累计误差可以是相对低的，例如行驶距离的1％。在一些示例中，可以通过离线优化方法改进车辆的位置估算，以产生0.15m以内位置精度。
返回至图2的框250，服务器110可以使用直接运动补偿以识别不同图像中的标记之间的关联。由于坡角、俯仰角和偏航角的变化产生的物体的视运动可以是一直向前的，以使用本征照相机模式校正，但是物体位置的有些估算是必要的，以校正由于车辆的向前运动产生的物体的视运动。物体在图像中的视位置将它的位置限制在沿着光线的某处，通过假设物体是具有特定维度的交通信号能够对物体的距离作粗略的估算。在由焦距为fu的照相机拍摄的图像中到具有实际宽度w和视宽度的物体的距离d为：
d ≈ w ~ 2 tan ( w ~ 2 fu )
方向矢量X＝[u，v]T可以通过使用照相机模式校正径向畸变进行计算，并且物体的粗略的三维位置为：
y＝sin(arctan(-u))d，
z＝sin(arctan(-v))d，
x = d 2 - y 2 - z 2 .
如果T1和T2是两次不同的从车辆的帧到本地平滑的坐标帧的4×4的变换矩阵，并且C是从车辆帧到照相机帧的变换，则从一个图像到另一个图像的物体的相对运动可以校正为：
x ^ 2 = CT 2 T 1 - 1 C - 1 x 1
畸变图像坐标可以通过使用照相机的本征模式进行计算。如上所述，如果标记落在彼此的关联距离内，则两个图像中的交通信号的两个标记可以是相关联的。因此，标记的长序列可以是相关联的，表明它们全部与特定交通信号的图像相关联。
在一些示例中，标记可以与其他类型的物体(例如另一个车辆的尾灯)相对应。在这些情况下，粗略的距离估算和随后的运动补偿将是不正确的，被不正确地分类为交通信号的物体之间的标记关联的可能性会降低。这还可以允许服务器筛选出伪标记。
如果运动校正过的标记与另一个标记重叠，很有可能是这些标记与相同的物体相对应。可以从对应标记的序列估算物体的三维位置。
如框260所示，服务器110可以使用关联以确定交通信号的三维位置。具体地，基于两个或更多个图像中关联的标记可以估算三维物体的位姿。例如，可以使用最优的三角测量方法，但是，该方法可以应用于最多三个标记，当相同的交通信号有很多个标记时该方法可能不太有用。在另一个示例中，可以通过使用线性三角测量和直接线性转换、最小二乘法估算位姿。
使用最小二乘法，每个被临时分类的图像标记可以与图像坐标相关联。使用照相机的本征模式校正径向畸变等，可以将这些图像坐标转换为方向矢量x。
估算三维点X以使对每个标记方向矢量xi和照相机投影矩阵Pi，
xi＝PiX
可以将这些方程式合并入以下形式：
AX＝0
这是X的线性方程式。为了消除投影几何学中固有的同质比例因子，对于特定的物体，可以从图像标记{x1，x2，...}的每一个的交叉乘积组合3nx4的矩阵A：
A = [ x 1 ] × HP 1 [ x 2 ] × HP 2 . . .
其中，交叉乘积矩阵为：
[ x ] × = 0 - 1 - u 1 0 - v u v 0
和
H = 1 0 0 0 0 1 0 0 0 0 1 0
对A进行奇异值分解，其中A＝U∑VT，X的解为与A的最小奇异值或者A的最右值相对应的分解的(de-homogenized)奇异矢量。
信号的方向可以估算为所有用于估算交通信号位置的图像标记的平均车辆航向的反方位航向。
上述生成的信息可以用于生成描述交通信号的三维位置和几何结构的地图信息，如框270所示。地图信息的精度可以受照相机的非本征参数(即表示相对于车辆的坐标帧的照相机的位置和方向的变换)的影响。假设非本征参数的合理的初始估算，通过使用坐标下降法求取交通信号的二次投影结果的最小值校准这些参数：
在此，Xe是通过映射流水线使用非本征参数e估算的交通信号位置。可以使用类似的过程以估算通过照相机拍摄图像的时候和将图像传输至计算机的时候之间的时间延迟(尽管还可以使用硬件时间戳)。该时间延迟可以随照相机帧速率和Firewire总线调度分配而改变，但是对于给定的配置，它也可以在百分之几秒内是稳定的。对于标准的径向透镜模型，可以使用棋盘格角点提取过程校准照相机的确定透镜畸变的本征参数。
交通信号也可以识别到它们应用的实际车道。例如，有些交通信号可以仅应用于仅左转或右转车道。该信息可以表示为交通信号和通过十字路口的不同的允许的路线之间的关联。可以使用基于估算的交通信号方向和平均十字路口宽度的简单的试探法以对这些关联作出估算。接着可以人工地验证这些估算。这对于复杂的多车道十字路口特别必要。
可以持续增加新标记并且使用新标记优化分类器。可以使用各种优化方法，包括网格搜索和爬山算法。例如，在网格搜索中，参数空间的每个轴可以是离散的，并且评估这些离散坐标的所有组合。粗糙的网格可以提供对待优化的空间的结构深入的了解。
尽管将图2的步骤描述为通过使用单个中心服务器计算机的过程，可以将图像分布在一组计算机上以使每个计算机载入一小组图像至RAM，然后根据那些缓存图像的当前优化器状态重复评估分类器。例如对一组10000个图像，通过几百个计算机在一秒钟内评估特定的分类器配置。这允许使用迭代爬山算法，例如坐标上升(coordinateascent)以在很短的时间期间内优化分类器。通过将待评估的所有状态在单个优化器步骤中批处理可以使进一步的并行化成为可能。如果有更多的自动生成的负例，正例的执行结果的权重可以是10倍高。
一旦生成了地图信息，可以使用该信息帮助机器人车辆或驾驶者。可以使用交通信号地图识别和解释交通信号(红色、黄色或者绿色)。图4描述了该过程的示例性流程图400。如框410所示，客户端设备持续地确定客户端设备相对于交通信号地图的相关部分的位置。例如，车载或者便携式设备可以直接访问交通信号地图或者可以基于设备(或车辆)的位置从服务器请求或者自动接收地图的部分。
接着，客户端设备确定它是否向十字路口(或交通信号)移动，如框420所示。如果客户端设备正接近十字路口，客户端设备可以基于客户端设备的位置和交通信号地图预测交通信号在十字路口的三维位置，如框430所示。
使用车辆位姿和交通信号地图，可以对关于何时交通灯应该可见以及何处它们应该出现在图像帧中作出预测。可以从GPS、基于激光的定位系统、惯性辅助GPS、基于照相机的定位系统或者还识别海拔的激光雷达定位系统中的一种或多种估算车辆或者设备相对于交通灯地图的位置。可以使用kd树或者S2球面几何单元以及包括车辆方向和交通信号方向的简单的可视性模型预测附近灯的位置。然后使用照相机模型将预测出的位置投影至图像帧作为轴对齐边界框。可以基于如地图信息所描述的交通信号的几何结构确定边界框的几何结构。考虑到预测中的不准确性，在一个示例中，可以将边界框在每个轴中制作得比实际预测大3倍。
在框440和450，客户端设备可以使用照相机采集图像且使用分类器检测这些图像中的红色、黄色或绿色斑点。
客户端设备可以使用如上所述的分类器在每个预测的边界框内寻找合适尺寸的鲜明地着色的红色、黄色和绿色斑点。可以使用交通灯的几何结构区别不同类型的灯。例如，如果特定的交通信号具有绿色灯，可以使用交通信号的近似的位置、形状和设计确定绿色灯是指左转弯箭头还是指掉头灯。对每个交通信号，结果是一组可能的分类，其可以用于识别交通信号的状态。
如果在框460在预测的位置内没有相关的斑点被检测到，在框480客户端设备可以假设交通信号的默认状态。客户端设备可以假设默认状态例如黄色灯。选择黄色作为默认状态可以作为安全机制，由于黄色表明需要车辆减速。可以假设，当接近十字路口时为了继续对交通信号的状态分类，使车辆减速几乎总是安全的。如果没有新的类别，客户端设备可以确定交通信号的状态没有改变并且灯仍然是黄色的。
另外，客户端设备也可以选择预测的边界框内几何学上最高的类别。例如，在窗口(例如给定的边界框)中，可能有几个被检测到的灯。客户端设备可以确定最高的物理灯与交通信号相对应。这可以防止物体的错误分类，物体例如常常恰好在绿色灯之下但是正好在预测的边界框(参见图5的“禁止行走”标志550)内的橙色的人行横道灯。
返回至图4的框470，如果有相关的斑点被分类器检测到，客户端设备可以确定交通信号是否有某种状态改变。如果没有状态改变，在框480，客户端设备可以再次假设交通信号的默认状态。如果有某种状态改变，在框490，客户端设备可以确定改变的类型。最终，在框495，确定交通信号的状态并且准备将交通信号的状态用于帮助车辆或者用户。
交通信号的状态和位置接着用于帮助驾驶者或者机器人汽车。在由人驾驶的车辆内使用设备的情况下，设备可以提供关于交通信号的状态的信息。例如，设备可以提供可视的或可听的指示：灯是红色的、黄色的或绿色的，例如“灯是黄色的”。在另一个示例中，设备可以提供可听的指令或者警告，例如“使用刹车，灯是红色的”或者“灯是红色的，停止车辆”。在另一个示例中，设备可以指示正确的灯(例如左转信号)不是绿色的。使用设备对车辆发出应当使用刹车的指令。如果设备与导航系统结合使用，可以包括另外的指示，例如“在下一个十字路口停止，灯是红色的”。
在图5的示例中，车辆510的驾驶者接近十字路口。驾驶者对于交通信号540的视线可能被车辆520限制或者完全遮挡。车辆510内的客户端设备可以确定交通信号在照相机拍摄的图像中是可见的，并且可以确定，例如，交通信号灯545(黄色灯)照亮。客户端设备可以通过，例如，使用可视的或可听的信号，说明“减速，灯是黄色的”或者指示车辆的计算机需要使用刹车，将该信息传递给驾驶者。如果客户端设备不能识别交通信号的状态，设备可以使用默认状态并且再次提供某个可视的或可听的信号给用户。在另一个示例中，可以由于交通信号的红灯而使车辆停止。当灯变为绿色时，客户端设备可以识别交通信号的状态的改变并且提供该信息给驾驶者或车辆的计算机。在接收到该信息后，驾驶者或计算机可以，例如，开始加速车辆。
在进一步的示例中，车辆可以在特定的路线上行驶，并且客户端设备可以使用其位置确定通过十字路口的行驶车道。基于该信息，客户端设备可以确定哪个与十字路口相关联的交通信号与预期路线相关，并且对车辆的计算机或者用户更新相关交通信号的状态。
当车辆自动操作时，设备可以通过确定在预测的边界框内没有检测到红色或黄色的灯并且必须检测到至少一个绿色灯，而决定通过十字路口的特定的路径。应当理解的是，虽然在十字路口通常有多个语义上相同的灯，设备仅有必要识别这些灯中的一个以确定是否通过。
图6是在沿着城市街道和公路实验行驶32km，并且使用设备控制汽车通过十字路口过程中预测的和检测到的灯的距离柱状图。在这个示例中，当设备开始预测交通信号应当是可见的时候，检测到交通信号在200m处。因此即使在车辆中的设备和交通信号之间有障碍物的情况下(参见图5和上述相关联的描述)，也可预测交通信号。
图7描述了实验行驶阶段的交通信号混淆矩阵。该矩阵包括从每个正例的8个近邻生成的负例。地面实况中不包括黄色信号例子。
以下的表1包括来自交通信号混淆矩阵的真正(truepositive)(tp)、真负(truenegative)(tn)、假正(falsepositive)(fp)和假负(falsepositive)(fn)。
表1
基于表1，实验设备的精度是99％(851/859＝0.99)，虽然调用(recall)是62％(851/1387＝0.62)。由于将图像传输至实验设备有大约0.12秒的等待时间，主要经历大约0.2秒的等待时间。基于照相机的带宽限制，检测流水线的帧速率是4Hs。主要由于图像的高分辨率，处理器负载小于单个CPU(中央处理单元)的25％。在照相机安装在被风挡刮水器扫过的区域后面的情况下，实验设备在夜晚和有中雨的工作状态最好。
尽管如上所述当传输或接收信息时获得一定优势，本发明的方面不局限于信息传输的任何特定方式。例如，在一些方面，可以通过介质诸如光盘或者便携式驱动器发送信息。在其他方面，可以非电子格式传输信息和手动地将信息输入至系统。进一步地，尽管指出有些功能发生在服务器上而其他功能发生在客户端，该系统和方法的各个方面可以通过具有单个处理器的单个计算机实现。
进一步地应当理解所描述的以及如图所示的数据的样本值、类型和配置仅用于说明的目的。就此而言，根据本发明的方面的系统和方法可以包括不同的物理属性、数据值、数据类型和配置，并且可以在不同的时间由不同的实体提供和接收(例如，可以从不同的源预提议和提供一些值)。
因为在不脱离由权利要求所限定的发明的情况下可以使用以上所论述的这些变化和其他变化和特征的组合，应当通过说明的方式而不是通过对由权利要求所限定的发明的限制的方式理解示例性实施例的上述描述。还应当理解的是，本发明示例(以及用短语“诸如”、“例如”、“包括”等等表达的从句)的提供不应当解释为将本发明限制为特定的示例，相反，这些示例仅仅意欲说明多个可能的方面的一些方面。
除非清楚地相反声明，给定实施例、替代方案或者示例中的每个特征可以在此处用于任何其他的实施例、替代方案或者示例。例如，在此处用于确定与照相机或特定的图像相关联的地理位置和方向的任何技术可以用于任何配置中。在此处发送或识别交通信号的位置或者交通信号的状态的每种方式可以用于任何配置中。
工业适用性
本申请大体上涉及构建交通信号的地图。另外，这些地图可以用于进行实时交通信号检测。

Claims (32)

1.一种用于确定交通信号的三维位置的方法，所述方法包括：
接收多个图像，所述多个图像中的每个图像与地理位置和方向信息相关联；
通过计算机选择所述多个图像中的与接近交通十字路口的地理位置相关联的一个或多个图像；
对每个所选择的图像，通过所述计算机识别所选择的图像中的红色、黄色和绿色物体；
基于所识别的鲜明着色的红色、黄色和绿色物体生成交通信号标记组；
基于两个或更多个所选择的图像的所述地理位置和方向信息，识别所述两个或更多个所选择的图像中的相关联的标记；
过滤所述交通信号标记组以移除与交通信号灯以外的物体相对应的鲜明着色的红色、黄色或绿色物体的标记；
基于(1)所识别的相关联的标记，(2)过滤后的交通信号标记组和(3)所述两个或更多个所选择的图像的所述地理位置和方向信息，确定交通信号的三维位置；和
将所述交通信号的三维位置存储在所述计算机可访问的存储器中。
2.如权利要求1所述的方法，进一步包括：生成包含所述交通信号的三维位置的地图。
3.如权利要求2所述的方法，其中，通过一个或多个照相机采集所述多个图像中的每个图像，每个照相机与车辆相关联。
4.如权利要求3所述的方法，其中，所述一个或多个照相机中的每一个安装在所述车辆上。
5.如权利要求3所述的方法，其中，基于通过地理方位设备确定的所述照相机的地理位置和方向信息，生成与每个图像相关联的所述地理位置和方向信息。
6.如权利要求1所述的方法，其中，通过激光定位设备确定与每个图像相关联的所述地理位置和方向信息。
7.如权利要求1所述的方法，其中，通过GPS定位设备确定与每个图像相关联的所述地理位置和方向信息。
8.如权利要求1所述的方法，其中，通过惯性定位设备确定与每个图像相关联的所述地理位置和方向信息。
9.如权利要求1所述的方法，其中，所述地理位置信息是GPS纬度和经度坐标。
10.一种用于确定交通信号的三维位置的设备，所述设备包括：
接收模块，配置用于接收多个图像，其中，所述多个图像中的每个图像与地理位置和方向信息相关联；
选择模块，配置用于选择所述多个图像中的与接近交通十字路口的地理位置相关联的一个或多个图像；
第一识别模块，配置用于对每个所选择的图像，识别所选择的图像中的红色、黄色和绿色物体；
生成模块，配置用于基于所识别的鲜明着色的红色、黄色和绿色物体生成交通信号标记组；
第二识别模块，配置用于基于两个或更多个所选择的图像的所述地理位置和方向信息，识别所述两个或更多个所选择的图像中的相关联的标记；
过滤模块，配置用于过滤所述交通信号标记组以移除与交通信号灯以外的物体相对应的鲜明着色的红色、黄色或绿色物体的标记；
第一确定模块，配置用于基于(1)所识别的相关联的标记，(2)过滤后的交通信号标记组和(3)所述两个或更多个所选择的图像的所述地理位置和方向信息，确定交通信号的三维位置；和
存储模块，配置用于将所述交通信号的三维位置存储在所述设备可访问的存储器中。
11.如权利要求10所述的设备，其中，所述多个图像中的每一个由一个或多个照相机采集，每个照相机与车辆相关联，并且每个照相机具有各自的被设置以避免交通信号灯的饱和的增益和快门速度。
12.如权利要求10所述的设备，其中，所述多个图像中的每一个由一个或多个照相机采集，每个照相机与车辆关联，并且所述多个图像中的每个图像通过网络从所述一个或多个照相机中的每一个上传至所述设备。
13.如权利要求10所述的设备，其中，所述多个图像中的每一个由一个或多个照相机采集，每个照相机与车辆关联，并且每个所述照相机被定位以最低程度地阻碍所述车辆的驾驶者的视线。
14.如权利要求10所述的设备，其中，所识别的红色、黄色和绿色物体具有与交通信号对应的合适尺寸和宽高比。
15.如权利要求10所述的设备，其中，识别所述两个或更多个所选择的图像中的相关联的所述红色、黄色和绿色物体是基于所述两个或更多个所选择的图像的被识别的物体之间的关联距离的。
16.如权利要求10所述的设备，其中，识别所述两个或更多个所选择的图像中的相关联的所述红色、黄色和绿色物体是基于交通信号的物理维度的。
17.如权利要求10所述的设备，其中，识别所述两个或更多个所选择的图像中的相关联的所述红色、黄色和绿色物体是基于所选择的图像之间的直接运动补偿的，其中，每个所选择的图像由安装在移动车辆上的照相机拍摄。
18.如权利要求17所述的设备，进一步包括：
第三识别模块，配置用于：基于所述直接运动补偿，将所选择的图像中的所述被识别的红色、黄色和绿色物体识别作为物体而不是作为交通信号灯。
19.如权利要求10所述的设备，进一步包括：
第二确定模块，配置用于基于已确定的特定的交通信号的三维位置和通过十字路口的车道的地图的比较，确定与所述特定的交通信号相关联的车道。
20.一种用于确定交通信号的状态的方法，所述方法包括：
重复确定客户端设备的当前位置；
基于所述客户端设备的当前位置和交通信号的三维位置的地图的比较，确定所述交通信号的边界的估算位置；
采集所述估算位置的图像；
对每个所采集的图像，通过所述客户端设备识别在所述交通信号的估算位置的边界内的红色、黄色和绿色物体；
基于所识别的鲜明着色的红色、黄色和绿色物体生成交通信号标记组；
基于两个或更多个所采集的图像的地理位置和方向信息，识别所述两个或更多个所采集的图像中的相关联的标记；
过滤所述交通信号标记组以移除在所述交通信号的估算位置的边界内的与交通信号灯以外的物体相对应的鲜明着色的红色、黄色或绿色物体的标记；以及
基于过滤后的交通信号标记组和所识别的相关联的标记确定所述交通信号的状态。
21.如权利要求20所述的方法，进一步包括确定所述交通信号的状态是否已经从默认状态改变。
22.如权利要求20所述的方法，其中，如果在所述交通信号的估算位置的边界内没有被识别的物体，确定所述交通信号的状态为默认状态。
23.如权利要求21所述的方法，其中，所述默认状态为黄色灯。
24.如权利要求22所述的方法，其中，所述默认状态为红色灯。
25.如权利要求20所述的方法，进一步包括将所述交通信号的状态传输至与车辆相关联的计算机。
26.如权利要求20所述的方法，进一步包括可听地识别所述交通信号的状态。
27.如权利要求20所述的方法，进一步包括基于所述交通信号的状态提供驾驶指令。
28.一种用于确定交通信号的三维位置的设备，所述设备包括：
第一确定模块，配置用于重复确定客户端设备的当前位置；
第二确定模块，配置用于基于所述客户端设备的当前位置和交通信号的三维位置的地图的比较，确定所述交通信号的边界的估算位置；
采集模块，配置用于采集所述估算位置的图像；
第一识别模块，配置用于对每个所采集的图像，通过所述客户端设备识别在所述交通信号的估算位置的边界内的红色、黄色和绿色物体；
生成模块，配置用于基于所识别的鲜明着色的红色、黄色和绿色物体生成交通信号标记组；
第二识别模块，配置用于基于两个或更多个所采集的图像的地理位置和方向信息，识别所述两个或更多个所采集的图像中的相关联的标记；
过滤模块，配置用于基于直接运动补偿过滤所述交通信号标记组以移除所述交通信号的估算位置的边界内的与交通信号灯以外的物体相对应的鲜明着色的红色、黄色或绿色物体的标记；以及
第一确定模块，配置用于基于过滤后的交通信号标记组和所识别的相关联的标记确定所述交通信号的状态。
29.如权利要求28所述的设备，进一步包括：显示设备和第三识别模块，所述第三识别模块配置用于识别所述显示设备上的所述交通信号的状态。
30.如权利要求28所述的设备，进一步包括：操纵模块，配置用于基于所述状态操纵车辆。
31.一种用于采集交通信号的图像的方法，所述方法包括：
设置照相机的增益和快门速度以避免交通信号灯的饱和；
将所述照相机安装在车辆上；
操作所述车辆通过交通十字路口；
采集所述交通十字路口的多个图像；
基于定位设备将地理位置和方向信息与所述多个图像的每个相关联；
将所述多个图像和相关联的地理位置存储在存储器中；和
通过网络将所述多个图像和相关联的地理位置传输至计算机；
基于所识别的鲜明着色的红色、黄色和绿色物体生成交通信号标记组；
基于两个或更多个所选择的图像的所述地理位置和方向信息，识别所述两个或更多个所选择的图像中的相关联的标记；
基于直接运动补偿过滤所述交通信号标记组以移除所选择的图像中与交通信号灯以外的物体相对应的鲜明着色的红色、黄色或绿色物体的标记；
基于(1)所识别的相关联的标记，(2)过滤后的交通信号标记组和(3)所述两个或更多个所选择的图像的所述地理位置和方向信息，确定交通信号的三维位置；和
将所述交通信号的三维位置存储在所述计算机可访问的存储器中。
32.如权利要求31所述的方法，进一步包括：基于已确定的特定的交通信号的三维位置和通过十字路口的车道的地图的比较，确定与所述特定的交通信号相关联的车道。
CN201180009746.3A 2010-01-22 2011-01-20 交通信号的映射和检测 Expired - Fee Related CN102792316B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US29746810P 2010-01-22 2010-01-22
US61/297,468 2010-01-22
US12/819,575 2010-06-21
US12/819,575 US8559673B2 (en) 2010-01-22 2010-06-21 Traffic signal mapping and detection
PCT/US2011/021797 WO2011091099A1 (en) 2010-01-22 2011-01-20 Traffic signal mapping and detection

Publications (2)

Publication Number Publication Date
CN102792316A CN102792316A (zh) 2012-11-21
CN102792316B true CN102792316B (zh) 2016-05-18

Family

ID=43983606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180009746.3A Expired - Fee Related CN102792316B (zh) 2010-01-22 2011-01-20 交通信号的映射和检测

Country Status (6)

Country Link
US (3) US8559673B2 (zh)
EP (1) EP2526508B1 (zh)
JP (3) JP6006641B2 (zh)
KR (1) KR101534056B1 (zh)
CN (1) CN102792316B (zh)
WO (1) WO2011091099A1 (zh)

Families Citing this family (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2443418B1 (en) * 2009-06-16 2018-12-05 TomTom North America Inc. Methods and systems for creating digital street network database
US9566982B2 (en) 2009-06-16 2017-02-14 Tomtom North America, Inc. Methods and systems for generating a horizon for use in an advanced driver assistance system (ADAS)
US8948794B2 (en) 2011-03-14 2015-02-03 Nokia Corporation Methods and apparatuses for facilitating provision of a map resource
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
JP5386539B2 (ja) * 2011-05-12 2014-01-15 富士重工業株式会社 環境認識装置
US9031948B1 (en) 2011-07-06 2015-05-12 Shawn B. Smith Vehicle prediction and association tool based on license plate recognition
US8768009B1 (en) 2011-07-26 2014-07-01 Shawn B. Smith Locating persons of interest based on license plate recognition information
WO2013060323A1 (de) * 2011-10-28 2013-05-02 Conti Temic Microelectronic Gmbh Gitterbasiertes umfeldmodell für ein fahrzeug
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
DE102012006708A1 (de) * 2012-03-29 2012-10-18 Daimler Ag Kraftfahrzeug, mit dem eine optimale Durchschnittsgeschwindigkeit zum Erreichen eines grünen Lichtzeichens einer Lichtzeichenanlage empfangbar ist
US8761991B1 (en) 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US10068157B2 (en) * 2012-05-10 2018-09-04 Apple Inc. Automatic detection of noteworthy locations
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
US8793046B2 (en) 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US10163348B2 (en) 2012-08-01 2018-12-25 Toyota Jidosha Kabushiki Kaisha Drive assist device
US9158980B1 (en) 2012-09-19 2015-10-13 Google Inc. Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
US9720412B1 (en) 2012-09-27 2017-08-01 Waymo Llc Modifying the behavior of an autonomous vehicle using context based parameter switching
US9214021B2 (en) * 2012-10-09 2015-12-15 The Boeing Company Distributed position identification
US8855904B1 (en) * 2012-10-10 2014-10-07 Google Inc. Use of position logs of vehicles to determine presence and behaviors of traffic controls
GB201219742D0 (en) 2012-11-02 2012-12-12 Tom Tom Int Bv Methods and systems for generating a horizon for use in an advanced driver assistance system (adas)
CN103065465B (zh) * 2012-12-26 2016-07-06 招商局重庆交通科研设计院有限公司 基于物联网和动态3d gis的交通管理系统及其方法
CN103101497A (zh) * 2013-01-25 2013-05-15 深圳市保千里电子有限公司 汽车摄像系统及其视角与车速同步变化的数据处理方法
JP5962850B2 (ja) * 2013-04-04 2016-08-03 日産自動車株式会社 信号認識装置
CN104280036B (zh) * 2013-07-05 2017-11-17 北京四维图新科技股份有限公司 一种交通信息的检测与定位方法、装置及电子设备
DE102013220662A1 (de) * 2013-10-14 2015-04-16 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von Verkehrssituationen beim Betrieb eines Fahrzeugs
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US9150220B2 (en) 2013-12-04 2015-10-06 Mobileye Vision Technologies Ltd. Systems and methods for mimicking a leading vehicle
CN103729863B (zh) * 2013-12-06 2016-05-25 南京金智视讯技术有限公司 基于自主学习的交通信号灯全自动定位识别的方法
CN111199218A (zh) 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制系统、和图像分析系统
DE102014202503A1 (de) * 2014-02-12 2015-08-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt
US9142127B1 (en) 2014-04-29 2015-09-22 Maxwell Consulting, LLC Systems and methods for traffic guidance nodes and traffic navigating entities
DE102014209281A1 (de) * 2014-05-16 2015-11-19 Robert Bosch Gmbh Verfahren und System zum Ermitteln zumindest einer straßenbezogenen Information
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
US9558411B1 (en) 2014-08-29 2017-01-31 Google Inc. Plane estimation for contextual awareness
DE102014013829A1 (de) 2014-09-23 2016-03-24 Daimler Ag Verfahren zur Kennzeichnung von Bildbereichen
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
CN104494598B (zh) * 2014-11-23 2017-03-29 北京联合大学 一种用于智能车辆的路口行驶控制方法
EP3032454B1 (en) * 2014-12-10 2018-09-26 Honda Research Institute Europe GmbH Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US9551591B2 (en) * 2015-03-03 2017-01-24 Verizon Patent And Licensing Inc. Driving assistance based on road infrastructure information
CN104851288B (zh) * 2015-04-16 2017-02-22 宁波中国科学院信息技术应用研究院 一种交通灯定位方法
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US10023231B2 (en) 2015-08-12 2018-07-17 Madhusoodhan Ramanujam Parking autonomous vehicles
US10220705B2 (en) 2015-08-12 2019-03-05 Madhusoodhan Ramanujam Sharing autonomous vehicles
US9805605B2 (en) 2015-08-12 2017-10-31 Madhusoodhan Ramanujam Using autonomous vehicles in a taxi service
US9805519B2 (en) 2015-08-12 2017-10-31 Madhusoodhan Ramanujam Performing services on autonomous vehicles
US10005464B2 (en) * 2015-08-27 2018-06-26 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation at multi-stop intersections
CN106503011A (zh) * 2015-09-07 2017-03-15 高德软件有限公司 一种地图数据处理方法及装置
US11295612B2 (en) 2015-10-20 2022-04-05 Stc, Inc. Systems and methods for roadway management including feedback
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9878664B2 (en) 2015-11-04 2018-01-30 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
US10496766B2 (en) 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9804599B2 (en) 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
US10334050B2 (en) 2015-11-04 2019-06-25 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9958864B2 (en) 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US10745003B2 (en) 2015-11-04 2020-08-18 Zoox, Inc. Resilient safety system for a robotic vehicle
US9517767B1 (en) 2015-11-04 2016-12-13 Zoox, Inc. Internal safety systems for robotic vehicles
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
US9802661B1 (en) 2015-11-04 2017-10-31 Zoox, Inc. Quadrant configuration of robotic vehicles
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9494940B1 (en) 2015-11-04 2016-11-15 Zoox, Inc. Quadrant configuration of robotic vehicles
US10000124B2 (en) 2015-11-04 2018-06-19 Zoox, Inc. Independent steering, power, torque control and transfer in vehicles
US11283877B2 (en) 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9916703B2 (en) 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US10248119B2 (en) 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9746853B2 (en) * 2015-11-30 2017-08-29 Nissan North America, Inc. Traffic signal timing estimation using a support vector regression model
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US10119827B2 (en) 2015-12-10 2018-11-06 Uber Technologies, Inc. Planning trips on a road network using traction information for the road network
US10018472B2 (en) 2015-12-10 2018-07-10 Uber Technologies, Inc. System and method to determine traction of discrete locations of a road segment
CN105608417B (zh) * 2015-12-15 2018-11-06 福州华鹰重工机械有限公司 交通信号灯检测方法及装置
US10126135B2 (en) 2015-12-15 2018-11-13 Nissan North America, Inc. Traffic signal timing estimation using an artificial neural network model
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US10460600B2 (en) 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10343620B2 (en) * 2016-04-22 2019-07-09 Uber Technologies, Inc. External sensor assembly for vehicles
US10459087B2 (en) 2016-04-26 2019-10-29 Uber Technologies, Inc. Road registration differential GPS
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US9891628B2 (en) * 2016-06-06 2018-02-13 GM Global Technology Operations LLC Sensor-based association of traffic control devices to traffic lanes for autonomous vehicle navigation
US10474162B2 (en) 2016-07-01 2019-11-12 Uatc, Llc Autonomous vehicle localization using passive image data
KR101729444B1 (ko) * 2016-07-04 2017-04-24 강래호 신호등 정보 획득 장치 및 방법
US11322018B2 (en) 2016-07-31 2022-05-03 NetraDyne, Inc. Determining causation of traffic events and encouraging good driving behavior
US9977975B2 (en) 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
JP6402756B2 (ja) * 2016-09-21 2018-10-10 トヨタ自動車株式会社 運転支援装置
US10115305B2 (en) 2016-09-30 2018-10-30 Nissan North America, Inc. Optimizing autonomous car's driving time and user experience using traffic signal information
US10366286B2 (en) * 2016-12-13 2019-07-30 Google Llc Detection of traffic light signal changes
US10139832B2 (en) * 2017-01-26 2018-11-27 Intel Corporation Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
US10423162B2 (en) 2017-05-08 2019-09-24 Nio Usa, Inc. Autonomous vehicle logic to identify permissioned parking relative to multiple classes of restricted parking
US10525903B2 (en) * 2017-06-30 2020-01-07 Aptiv Technologies Limited Moving traffic-light detection system for an automated vehicle
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10839303B2 (en) * 2017-08-21 2020-11-17 Sap Se Automatic detection and correction of license plate misidentification
EP3687863A4 (en) 2017-09-29 2020-12-02 Netradyne, Inc. MULTIPLE EXPOSURE EVENT DETERMINATION
EP3695666B1 (en) 2017-10-12 2023-11-29 Netradyne, Inc. Detection of driving actions that mitigate risk
US11260875B2 (en) 2017-12-07 2022-03-01 Uatc, Llc Systems and methods for road surface dependent motion planning
CN111492366A (zh) * 2017-12-21 2020-08-04 华为技术有限公司 一种信息检测方法及移动设备
US11022971B2 (en) 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
US10994748B2 (en) 2018-02-28 2021-05-04 Nissan North America, Inc. Transportation network infrastructure for autonomous vehicle decision making
GB201804194D0 (en) 2018-03-15 2018-05-02 Blue Vision Labs Uk Ltd Urban Environmrnt labeling
US10503760B2 (en) 2018-03-29 2019-12-10 Aurora Innovation, Inc. Use of relative atlas in an autonomous vehicle
US11256729B2 (en) 2018-03-29 2022-02-22 Aurora Operations, Inc. Autonomous vehicle relative atlas incorporating hypergraph data structure
US10521913B2 (en) 2018-03-29 2019-12-31 Aurora Innovation, Inc. Relative atlas for autonomous vehicle and generation thereof
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
EP3784989B1 (en) * 2018-05-15 2024-02-14 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation
DE102018210125A1 (de) * 2018-06-21 2019-12-24 Volkswagen Aktiengesellschaft Zuordnung von Ampel zu zugehörigen Fahrstreifen
US10373502B1 (en) 2018-07-26 2019-08-06 Fca Us Llc Techniques for detecting multiple turn lane driving scenarios and suppressing blind spot monitoring warnings
US11138350B2 (en) 2018-08-09 2021-10-05 Zoox, Inc. Procedural world generation using tertiary data
EP3841516A1 (en) * 2018-08-22 2021-06-30 Starship Technologies OÜ Method and system for traffic light signal detection and usage
CN109271892A (zh) * 2018-08-30 2019-01-25 百度在线网络技术（北京）有限公司 一种物体识别方法、装置、设备、车辆和介质
CN109035831B (zh) * 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
US20200082561A1 (en) * 2018-09-10 2020-03-12 Mapbox, Inc. Mapping objects detected in images to geographic positions
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
CN112740220A (zh) * 2018-09-21 2021-04-30 丰田自动车欧洲公司 用于交通灯识别的系统和方法
WO2020076959A1 (en) * 2018-10-09 2020-04-16 Stc, Inc. Systems and methods for traffic priority systems
JP7172441B2 (ja) 2018-10-25 2022-11-16 トヨタ自動車株式会社 進行可能方向検出装置及び進行可能方向検出方法
JP7044038B2 (ja) 2018-11-21 2022-03-30 トヨタ自動車株式会社 地図情報システム
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
CA3133343A1 (en) 2019-03-13 2020-09-17 Stc, Inc. Protected right turn
US11010641B2 (en) 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device
US10957066B2 (en) 2019-03-19 2021-03-23 General Electric Company Systems and methods for locating humans using dynamic field robotic-sensor network of human robot team
DE102019211100A1 (de) * 2019-07-25 2021-01-28 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Aufbereiten von Daten über eine Ampelanlage
CN110687514B (zh) * 2019-10-16 2022-03-15 电子科技大学 一种非线性判别学习真假目标一维距离像特征提取方法
US11390300B2 (en) * 2019-10-18 2022-07-19 Uatc, Llc Method for using lateral motion to optimize trajectories for autonomous vehicles
DE102019130947A1 (de) * 2019-11-15 2021-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Zuordnen einer Verkehrsampel zu einer entsprechenden Fahrspur
US20210211568A1 (en) * 2020-01-07 2021-07-08 Motional Ad Llc Systems and methods for traffic light detection
US11854212B2 (en) * 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle
US11568651B2 (en) * 2020-03-23 2023-01-31 Pony Ai Inc. System and method for localization of traffic signs
AU2021247092A1 (en) 2020-03-28 2022-10-20 Deka Products Limited Partnership System and method for intersection management by an autonomous vehicle
CN111597986B (zh) * 2020-05-15 2023-09-29 北京百度网讯科技有限公司 用于生成信息的方法、装置、设备和存储介质
US11900689B1 (en) 2020-06-04 2024-02-13 Aurora Operations, Inc. Traffic light identification and/or classification for use in controlling an autonomous vehicle
US11938939B1 (en) 2020-06-04 2024-03-26 Aurora Operations, Inc. Determining current state of traffic light(s) for use in controlling an autonomous vehicle
US11527156B2 (en) * 2020-08-03 2022-12-13 Toyota Research Institute, Inc. Light emitting component-wise traffic light state, signal, and transition estimator
US11935309B2 (en) 2020-08-25 2024-03-19 Ford Global Technologies, Llc Determining traffic light labels and classification quality from infrastructure signals
TWI793454B (zh) * 2020-09-30 2023-02-21 緯創資通股份有限公司 交通狀態顯示系統及其相關交通狀態顯示方法
US11681780B2 (en) 2020-09-30 2023-06-20 Nissan North America, Inc. Annotation and mapping for vehicle operation in low-confidence object detection conditions
CN112489466B (zh) * 2020-11-27 2022-02-22 恒大新能源汽车投资控股集团有限公司 交通信号灯识别方法和装置
US11767028B2 (en) 2020-12-11 2023-09-26 Aptiv Technologies Limited Change detection criteria for updating sensor-based reference maps
US11562572B2 (en) 2020-12-11 2023-01-24 Argo AI, LLC Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps
US11731630B2 (en) 2021-04-27 2023-08-22 Ford Global Technologies, Llc Methods and systems for asserting right of way for traversing an intersection
JP7494809B2 (ja) 2021-06-29 2024-06-04 株式会社デンソー 支援装置、支援方法、支援プログラム
US12008819B2 (en) 2021-08-04 2024-06-11 Telenav, Inc. Navigation system with mono-camera based traffic sign tracking and positioning mechanism and method of operation thereof
DE102021128785A1 (de) * 2021-11-05 2023-05-11 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Ermittlung der Entfernung eines Lichtsignalgebers
US20230169780A1 (en) * 2021-12-01 2023-06-01 Motional Ad Llc Automatically detecting traffic signals using sensor data
CN115116250B (zh) * 2022-06-20 2023-08-25 广州小鹏汽车科技有限公司 交通灯信息显示方法及其装置、车辆和存储介质
US20240029559A1 (en) * 2022-07-21 2024-01-25 GM Global Technology Operations LLC Augmented reality display for traffic signal awareness
CN115294766B (zh) * 2022-07-31 2023-06-23 东风汽车集团股份有限公司 虚拟红绿灯构建方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1220182A2 (en) * 2000-12-25 2002-07-03 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
WO2007102065A1 (en) * 2006-03-06 2007-09-13 Toyota Jidosha Kabushiki Kaisha Image processing system and method

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4814765A (en) * 1987-06-12 1989-03-21 Econolite Control Products, Inc. Method and apparatus for displaying the status of a system of traffic signals
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
US5633629A (en) * 1995-02-08 1997-05-27 Hochstein; Peter A. Traffic information system using light emitting diodes
JP4800455B2 (ja) * 1999-02-19 2011-10-26 富士通株式会社 車速計測方法および装置
JP2001052297A (ja) * 1999-08-06 2001-02-23 Fujitsu Ltd 安全走行支援装置、その方法及び記録媒体
JP3621065B2 (ja) * 2000-12-25 2005-02-16 松下電器産業株式会社 画像検出装置、プログラムおよび記録媒体
JP3994858B2 (ja) * 2002-11-15 2007-10-24 松下電器産業株式会社 ナビゲーション装置
JP2005004516A (ja) * 2003-06-12 2005-01-06 Nec Commun Syst Ltd 進路確認システム
JP4253275B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 車両制御システム
JP4483305B2 (ja) * 2004-01-16 2010-06-16 トヨタ自動車株式会社 車両周辺監視装置
JP2005216086A (ja) * 2004-01-30 2005-08-11 Nissan Motor Co Ltd 運転支援装置
US20050187701A1 (en) * 2004-02-23 2005-08-25 Baney Douglas M. Traffic communication system
JP2005346287A (ja) * 2004-06-01 2005-12-15 Denso Corp 画像認識方法および装置
JP4423114B2 (ja) * 2004-06-02 2010-03-03 アルパイン株式会社 ナビゲーション装置およびその交差点案内方法
JP4507815B2 (ja) * 2004-07-09 2010-07-21 アイシン・エィ・ダブリュ株式会社 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP2006131055A (ja) * 2004-11-04 2006-05-25 Denso Corp 車両走行制御装置
JP4595759B2 (ja) * 2005-09-09 2010-12-08 株式会社デンソー 環境認識装置
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US7573402B2 (en) * 2005-08-25 2009-08-11 Herbert William J Dual laser beam guidance and parking device
JP2007263737A (ja) * 2006-03-28 2007-10-11 Clarion Co Ltd ナビゲーション装置、方法及びプログラム
JP2007320458A (ja) * 2006-06-01 2007-12-13 Toyota Motor Corp 車間距離制御装置
JP4600357B2 (ja) * 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
JP4241834B2 (ja) * 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置
WO2008130219A1 (en) * 2007-04-19 2008-10-30 Tele Atlas B.V. Method of and apparatus for producing road information
JP4915281B2 (ja) * 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 信号機検出装置、信号機検出方法及びプログラム
CN201153280Y (zh) * 2008-01-28 2008-11-19 中兴通讯股份有限公司 一种具有红绿灯识别功能的手机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1220182A2 (en) * 2000-12-25 2002-07-03 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
WO2007102065A1 (en) * 2006-03-06 2007-09-13 Toyota Jidosha Kabushiki Kaisha Image processing system and method

Also Published As

Publication number Publication date
EP2526508B1 (en) 2018-04-04
US20110182475A1 (en) 2011-07-28
JP2017004558A (ja) 2017-01-05
JP2018013497A (ja) 2018-01-25
JP6006641B2 (ja) 2016-10-12
US20140016826A1 (en) 2014-01-16
JP2013518298A (ja) 2013-05-20
EP2526508A1 (en) 2012-11-28
JP6494719B2 (ja) 2019-04-03
KR20120118478A (ko) 2012-10-26
KR101534056B1 (ko) 2015-07-06
US8559673B2 (en) 2013-10-15
WO2011091099A1 (en) 2011-07-28
US20140185880A1 (en) 2014-07-03
CN102792316A (zh) 2012-11-21
US8712104B2 (en) 2014-04-29
US8818043B2 (en) 2014-08-26
JP6230673B2 (ja) 2017-11-15

Similar Documents

Publication Publication Date Title
CN102792316B (zh) 交通信号的映射和检测
US11874119B2 (en) Traffic boundary mapping
US20210294346A1 (en) Object Action Classification For Autonomous Vehicles
KR102503572B1 (ko) 자율 주행 차량들에 대한 자동화된 성능 검사들
CN105976606A (zh) 一种智能城市交通管理平台
KR102565573B1 (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
US11481579B2 (en) Automatic labeling of objects in sensor data
US11496707B1 (en) Fleet dashcam system for event-based scenario generation
US20230046289A1 (en) Automatic labeling of objects in sensor data
KR20220073472A (ko) V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법
US20230031130A1 (en) Open door reconstruction for sensor simulation
CN114503177A (zh) 信息处理装置、信息处理系统和信息处理方法
US11932242B1 (en) Fleet dashcam system for autonomous vehicle operation
US11685408B1 (en) Driving difficulty heat maps for autonomous vehicles
Li Ros-Based Sensor Fusion and Motion Planning for Autonomous Vehicles: Application to Automated Parkinig System
Marginean et al. Cooperative application for lane change maneuver on smart mobile devices
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
US20230373529A1 (en) Safety filter for machine learning planners
WO2024081423A1 (en) Simulated smart pedestrians
Du et al. Integration of Computer Vision and IOT Into an Automatic Driving Assistance System for “Electric Vehicles”
KR20240059020A (ko) 이동 객체의 상대적 위치 변환을 통한 입체적 음향 알람 서비스 제공 방법 및 그를 위한 장치 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170707

Address after: California, USA

Patentee after: Weimo Co.,Ltd.

Address before: California, USA

Patentee before: Giant Holdings Ltd.

Effective date of registration: 20170707

Address after: California, USA

Patentee after: Giant Holdings Ltd.

Address before: California, USA

Patentee before: Google Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160518