CN111094095B - 自动地感知行驶信号的方法、装置及运载工具 - Google Patents

自动地感知行驶信号的方法、装置及运载工具 Download PDF

Info

Publication number
CN111094095B
CN111094095B CN201880040513.1A CN201880040513A CN111094095B CN 111094095 B CN111094095 B CN 111094095B CN 201880040513 A CN201880040513 A CN 201880040513A CN 111094095 B CN111094095 B CN 111094095B
Authority
CN
China
Prior art keywords
signal
travel
candidate
vehicle
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880040513.1A
Other languages
English (en)
Other versions
CN111094095A (zh
Inventor
秦宝星
A·维贾亚林格姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/490,599 external-priority patent/US20180299893A1/en
Priority claimed from US15/490,694 external-priority patent/US20180300566A1/en
Priority claimed from US15/490,616 external-priority patent/US10643084B2/en
Priority claimed from US15/490,682 external-priority patent/US10650256B2/en
Application filed by Motional AD LLC filed Critical Motional AD LLC
Priority to CN202111004387.4A priority Critical patent/CN113665570A/zh
Publication of CN111094095A publication Critical patent/CN111094095A/zh
Application granted granted Critical
Publication of CN111094095B publication Critical patent/CN111094095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed

Abstract

本申请涉及自动地感知行驶信号的方法、装置及运载工具。根据本申请的方法包括：接收与运载工具相关联的传感器的视场的图像；在所述图像中标识候选行驶信号；确定候选行驶信号是否与在当前时刻要针对运载工具作出的驾驶决策相关；并且根据候选行驶信号与在当前时刻要针对运载工具作出的驾驶决策相关的确定，向运载工具的驾驶员警告候选行驶信号的信号状态；从而提高安全和驾驶性能，并减少驾驶员和乘客的焦虑。

Description

自动地感知行驶信号的方法、装置及运载工具
相关申请的交叉引用
本申请要求于2017年4月18号提交的美国申请序列第15/490,694号、于2017年4月18号提交的美国申请序列第15/490,599号、于2017年4月18号提交的美国申请序列第15/490,616号以及于2017年4月18号提交的美国申请序列第15/490,682号的权益，上述申请中的每一个的公开均通过引用以其全文并入本文。
技术领域
本申请涉及自动感知行驶信号的技术领域。
背景技术
交通灯以及其他类型的行驶信号通常被用于控制或以其它方式影响正在例如道路网络上驾驶的车辆的行为。提供此类行驶信号的一个目的在于减少事故。
发明内容
本文档中描述的技术使得行驶信号感知自动化。该技术能够促进自主驾驶或者协助手动驾驶。
这些方面、特征以及实现的其他优点如下。减少了事故以及碰撞。减少了交通堵塞。提升了驾驶员性能。减少了驾驶员以及乘客的焦虑。
在一个方面，实现包括方法，该方法包括：(a)在从传感器的信号中得出的图像中标识行驶信号的表示，(b)确定行驶信号的表示与真实的行驶信号之间的对应性，并且(c)估计真实的行驶信号的信号状态。该方法可包括在图像中标识另一行驶信号的表示并且确定其他行驶信号对应于真实的行驶信号的表示。标识行驶信号的表示可包括基于饱和度或亮度或这两者分析图像的像素。标识行驶信号的表示可包括基于像素确定边缘并且基于该边缘生成形状。可基于下述标准中的一个或多个标识行驶信号的表示：边缘、形状、凸度、大小以及实心度。标识行驶信号的表示可基于将行驶信号的表示的特性匹配至预先限定的标准。标识行驶信号的表示可基于概率地对预先限定的标准进行建模。
一些实现包括基于下述中的一个或多个确定对应性：先前标识的行驶信号、行驶信号形状、行驶信号颜色、行驶信号位置、行驶信号配置、道路网络、所述车辆的位置以及所述车辆的路线。确定对应性可包括使用与行驶信号相关联的先验信息。先验信息可以包括下述中的一个或多个：形状、大小、颜色、位置以及配置。确定对应性可包括使用先验信息生成行驶信号的图像。图像可包括鸟瞰视图或视觉传感器的视场或这两者。确定对应性可包括计算分类分数。分类分数可包括和行驶信号相关联的测量的数据与和行驶信号相关联的先验信息之间的差的加权和。确定对应性可包括基于与行驶信号相关联的测量的数据以及先验信息的算法分析计算分类分数。在一些应用中，算法分析可包括(1)创建行驶信号与已知的真实的行驶信号之间的对应性；(2)计算与对应性相关联的似然分数；并且(3)使用不同的对应性组迭代(1)和(2)，直至标识出与最佳的对应性组相关联的最佳似然分数。迭代可以包括下述中的一个或多个：随机化搜索、穷举搜索、线性编程以及动态编程。
实现可包括基于状态转变信息估计信号状态。转变信息包括颜色、形状、闪烁模式或它们的组合。估计信号状态可基于两个或更多个行驶信号的一致性。估计信号状态是基于行驶信号在行驶信号配置内的位置。估计信号状态可包括基于先前估计的信号状态进行的时间滤波。
实现可包括基于估计的信号状态生成警告。
实现可包括基于估计的信号状态控制车辆的操纵。
在另一方面，实现包括方法，该方法包括：(a)使车辆在道路上自主地驾驶，(b)自动地检测行驶信号并且估计该行驶信号的信号状态，并且(c)基于信号状态自动地控制车辆的操纵。检测行驶信号可包括在从传感器的信号中得出的图像中标识行驶信号的表示。标识行驶信号的表示可包括基于饱和度或亮度或这两者分析图像的像素。标识行驶信号的表示可包括基于像素确定边缘并且基于该边缘生成形状。可基于下述标准中的一个或多个标识行驶信号的表示：边缘、形状、凸度、大小以及实心度。标识行驶信号的表示可基于将行驶信号的表示的特性匹配至预先确定的标准。标识行驶信号的表示可基于通过概率分布对预先限定的标准进行建模并且推断概率分数。
实现可包括检测行驶信号，包括确定行驶信号的表示与真实的行驶信号之间的对应性。基于下述中的一个或多个确定对应性：先前标识的行驶信号、行驶信号形状、行驶信号颜色、行驶信号位置、行驶信号配置、道路网络、所述车辆的位置以及所述车辆的路线。确定对应性可包括使用与行驶信号相关联的先验信息。先验信息可以包括下列各项中的一个或多个：形状、大小、颜色、位置以及配置。确定对应性可包括使用先验信息生成行驶信号的先验图像。先验图像可包括鸟瞰视图或视觉传感器的视场或这两者。确定对应性可包括计算分类分数。分类分数可包括和行驶信号相关联的测量的数据与和行驶信号相关联的先验信息之间的差的加权和。确定对应性可包括使用与行驶信号相关联的测量的数据以及先验信息的算法分析计算分类分数。算法分析可包括：(1)创建行驶信号与已知的真实的行驶信号之间的对应性；(2)计算与对应性相关联的似然分数；并且(3)使用不同的对应性组迭代(1)和(2)，直至标识出与最佳的对应性组相关联的最佳似然分数。迭代可以包括下列各项中的一个或多个：随机化搜索、穷举搜索、线性编程以及动态编程。
实现可包括使用状态转变信息估计信号状态。转变信息可包括颜色、形状、闪烁模式或它们的组合。估计信号状态可基于两个或更多个行驶信号的一致性。估计信号状态可基于行驶信号在行驶信号配置内的位置。估计信号状态可包括基于先前估计的信号状态进行的时间滤波。
实现可包括基于估计的信号状态生成警告。
在另一方面，实现包括方法，该方法包括：(a)接收与车辆相关联的传感器的视场的图像，(b)在该图像中标识候选行驶信号，(c)确定该候选行驶信号与车辆的行驶相关，并且(d)向车辆的驾驶员警告行驶信号的信号状态。标识候选行驶信号可包括基于饱和度或亮度或这两者分析图像的像素。标识候选行驶信号可包括基于像素确定边缘并且基于该边缘生成形状。可基于下述标准中的一个或多个标识候选行驶信号：边缘、形状、凸度、大小以及实心度。标识候选行驶信号可基于将候选行驶信号的特性匹配至预先限定的标准。标识候选行驶信号可基于概率地对预先限定的标准进行建模。
确定候选行驶信号与车辆的行驶相关的实现可基于下述中的一个或多个：先前标识的行驶信号、行驶信号形状、行驶信号颜色、行驶信号位置、行驶信号配置、道路网络、所述车辆的位置以及车辆的路线。确定候选行驶信号与车辆的行驶相关可包括使用与候选行驶信号相关联的先验信息。先验信息可以包括下列各项中的一个或多个：形状、大小、颜色、位置以及配置。确定候选行驶信号与车辆的行驶相关可包括使用先验信息生成行驶信号的先验图像。先验图像可包括鸟瞰视图或视觉传感器的视场或这两者。确定候选行驶信号与车辆的行驶相关可包括计算分类分数。分类分数可包括和候选行驶信号相关联的测量的数据与和候选行驶信号相关联的先验信息之间的差的加权和。确定候选行驶信号与车辆的行驶相关可包括基于与候选行驶信号相关联的测量的数据以及先验信息的算法分析计算分类分数。算法分析可包括(1)创建候选行驶信号与已知的真实的行驶信号之间的对应性；(2)计算与对应性相关联的似然分数；并且(3)使用不同的对应性组迭代(1)和(2)，直至标识出与最佳的对应性组相关联的最佳似然分数。迭代可以包括下列各项中的一个或多个：随机化搜索、穷举搜索、线性编程以及动态编程。
确定候选行驶信号与车辆的行驶相关的实现可包括估计信号状态，包括使用信号转变信息。转变信息可包括颜色、形状、闪烁模式或它们的组合。确定候选行驶信号与车辆的行驶相关可包括基于两个或者更多个行驶信号的一致性估计信号状态。确定候选行驶信号与车辆的行驶相关可包括基于在行驶信号配置内行驶信号的位置估计信号状态。确定候选行驶信号与车辆的行驶相关可包括使用基于先前估计的信号状态进行的时间滤波来估计信号状态。确定真实的行驶信号与车辆的行驶相关可包括确定该真实的行驶信号是否影响车辆的驾驶决策。确定真实的行驶信号与车辆的行驶相关可基于车辆的路线。
在另一方面，实现包括装置，该装置包括：(a)图像处理器，该图像处理器被配置成用于接收从传感器的信号中得出的图像并且将信号处理应用至该图像以在该图像中标识行驶信号的表示，(b)分类器，该分类器被配置成用于接收来自图像处理器的标识行驶信号的表示的信息并且对行驶信号的表示进行分类，(c)估计器，该估计器被配置成用于估计行驶信号的信号状态，以及(d)输出模块，用于基于估计的信号状态生成警报或控制车辆的操纵或这两者。
分类器被配置成用于将行驶信号的表示分类为真实的行驶信号或不是真实的行驶信号。
图像处理器可被配置成用于基于饱和度或亮度或这两者分析图像的像素。图像处理器可被配置成用于基于像素确定边缘并且基于该边缘生成形状。图像处理器可被配置成用于基于下述中的一个或多个标识行驶信号的表示：边缘、形状、凸度、大小以及实心度。图像处理器可基于将行驶信号的表示的特性匹配至预先确定的标准以标识行驶信号的表示。图像处理器可基于概率地对预先限定的标准进行建模来标识行驶信号的表示。
在实现中，分类器可基于下述中的一个或多个分类表示：先前标识的行驶信号、行驶信号形状、行驶信号颜色、行驶信号位置、行驶信号配置、道路网络、所述车辆的位置以及车辆的路线。分类器可使用与行驶信号相关联的先验信息分类表示。先验信息可以包括下列各项中的一个或多个：形状、大小、颜色、位置以及配置。分类器可使用先验信息生成行驶信号的先验图像以分类表示。先验图像可包括鸟瞰视图或视觉传感器的视场中的图像或这两者。分类器可通过计算分类分数以分类表示。计算分类分数可包括计算和行驶信号相关联的测量的数据与和行驶信号相关联的先验信息之间的差的加权和。计算分类分数可基于与行驶信号相关联的测量的数据以及先验信息的算法分析。算法分析可包括：(1)创建行驶信号与已知的真实的行驶信号之间的对应性；(2)计算与对应性相关联的似然分数；并且(3)使用不同的对应性组迭代(1)和(2)，直至标识出与最佳的对应性组相关联的最佳似然分数。迭代可以包括下列各项中的一个或多个：随机化搜索、穷举搜索、线性编程以及动态编程。
实现可包括估计器通过使用状态转变信息估计信号状态。转变信息可包括颜色、形状、闪烁模式或它们的组合。估计器可基于两个或者更多个行驶信号的一致性估计信号状态。估计器可基于在行驶信号配置内行驶信号的位置估计信号状态。估计器可通过基于先前估计的信号状态进行的时间滤波来估计信号状态。
实现可包括输出模块生成视觉警告或音频警告或这两者。输出模块可生成具有车辆的路线的地图。
这些和其他的方面、特征和实现可以表达为方法、装置、系统、部件、程序产品、经营商业的方法、用于执行功能的装置或步骤、以及在其他方式中。
根据包括权利要求的以下描述，这些和其他方面、特征和实现方式将变得显而易见。
附图说明
图1A是车辆系统的框图。
图1B是车辆信号感知的系统的框图。
图2示出了相对于车辆内的参考帧的传感器。
图3示出了具有多个行驶信号的示例性道路。
图4示出图像处理器的示例。
图5示出了行驶信号分类器的示例。
图6A以及图6B示出了行驶信号的示例。
图7、图8A以及图8B示出了传感器图像与先验信息之间的映射。
图9以及图10示出了候选行驶信号的分类。
图11示出了行驶信号的转变状态。
图12示出了使用交通流以估计行驶信号的信号状态。
图13示出了行驶信号感知系统的分析流程的示例。
图14示出了移动设备上的实现的示例。
具体实施方式
除其他方面之外，本文档中描述的技术通过例如对例如使用车辆车载传感器获取的行驶信号的图像应用图像处理以感知(例如，检测有关其的信息)行驶信号。图像处理可包括：在捕获的图像中提取候选行驶信号；将候选行驶信号分类为真实的行驶信号；并且随后在真实的行驶信号中标识相关的行驶信号。同样估计了行驶信号的状态。可将该技术(我们有时称其为行驶信号感知系统)集成至车辆系统中。车辆系统可包括单个电子设备(例如，GPS设备、移动电话以及移动计算设备)或在单个电子设备中实现。该技术可促进手动驾驶以及自动驾驶车辆的更为安全的驾驶决策。
在本文档中广泛地使用术语“车辆”以包括具有手动驾驶能力或自主驾驶能力或这两者的任何车辆。车辆可以以自主模式或人为操作模式或它们的组合(例如，人类引导的自主模式或机器辅助的手动模式)来驾驶。本文档中描述的技术可与由SAEInternational’s standard J3016:Taxonomy and Definitions for Terms Related toOn-Road Motor Vehicle Automated Driving Systems(SAE国际标准J3016：与道路机动车辆自动驾驶系统相关的术语的分类和定义)(其以其全文通过引用并入本文)限定的任何自主级别(例如，不具有自动化的0级、具有驾驶辅助1级、具有部分自动化的2级、具有条件自动化的3级、具有高度自动化的4级以及具有完全自动化的5级)的任何车辆组合。
广泛地使用术语“感知”以包括大小、形状、距离、配置、取向、编组、数字、文本、颜色、操作状态或其他特性或它们的组合的识别、标识或导出。
广泛地使用术语“行驶信号”以包括例如提供车辆的驾驶行为的可视指示或车辆的驾驶中要考虑的任何驾驶状况。可见指示可携带相对于行为或状况的任何程度的批准(authority)，包括告知、建议(advising/suggesting)、鼓励、要求、或授权行为或对于状况的注意。
广泛地使用术语“真实的行驶信号”以包括已知存在的任何行驶信号。有关真实的行驶信号的信息可从数据源(例如，数据库或道路地图或这两者)获取，或从基于由车辆获取的数据的先验分析的真实的行驶信号的指示获取，或从这两者获取。
广泛地使用术语“相关的行驶信号”以包括例如与车辆的驾驶决策(例如，前进、减速或停车)或其他活动相关或对其有用的任何行驶信号。
车辆系统
如图1A中所示，车辆10的典型活动是安全并且可靠地手动或者自主地驾驶通过环境12至目的位置14，同时避开车辆、行人、骑自行车者和其他障碍物16并遵守道路的规则(例如，操作规则或驾驶偏好)。车辆自主地执行该活动的能力通常被称为自主驾驶能力。
车辆的驾驶通常由技术18以及20的阵列(例如，硬件、软件以及存储的以及实时的数据)来支持，在本文将该阵列统称为车辆系统22。在一些实现中，技术中的一个或一些或全部由车辆车载。在一些情况下，该技术中的一种或一些或所有位于另一位置，诸如在服务器处(例如，在云计算基础设施中)。车辆系统的组件可包括以下中的一个或多个或全部(以及其他)。
1.存储器32，该存储器32用于存储机器指令以及各种类型的数据。
2.一个或多个传感器24，该一个或多个传感器24用于测量或推断或者测量并且推断车辆的状态和状况，诸如，车辆的位置、线速度和角速度和加速度、以及前进方向(heading)(即车辆的前端的取向)。例如，此类传感器可包括，但不限于：GPS；惯性测量单元，该惯性测量单元测量车辆线性加速度和角速率；单独的车轮速度传感器，用于测量或估算单个车轮滑移率；单独的车轮制动压力或制动扭矩传感器；发动机扭矩或单独的车轮扭矩传感器；以及方向盘角度和角速率传感器。
3.一个或多个传感器26，该一个或多个传感器26用于测量车辆的环境的属性。例如，此类传感器可包括，但不限于：激光雷达；雷达；可见光、红外和/或热光谱中的单目或立体摄像机；超声传感器；飞行时间(TOF)深度传感器；以及温度和雨水传感器。
4.一个或多个设备28，该一个或多个设备28用于通信其他车辆的状态和条件的所测量或所推断或所测量以及所推断的属性，诸如位置、线性速度和角速度、线性加速度和角加速度、以及线性前进方向和角前进方向。这些设备包括车辆到车辆(V2V)和车辆到基础设施(V2I)通信设备以及用于通过点对点或自组织网络或通过这两者进行无线通信的设备。设备可以跨电磁频谱(包括无线电和光通信)或其他介质(例如，声学通信)进行操作。
5.一个或多个数据源30，该一个或多个数据源30用于提供关于环境12的历史或实时或预测的信息、或它们中的任何两个或更多个的组合，包括例如交通拥堵更新以及天气条件。此类数据可以被存储在车辆上的存储器存储单元32上，或者经由无线通信从远程数据库34传送至车辆。
6.一个或多个数据源36，该一个或多个数据源36用于提供从GIS数据库提取的数字道路地图数据，潜在地包括一项各项中的一项或多项：道路几何属性的高精度地图；描述道路网络连接属性的地图；描述道路物理属性的地图(诸如，机动车道和非机动车道的数量、车道宽度、车道交通方向、车道标记类型和位置)；以及描述道路特征(诸如，人行横道、交通标志或者各种类型的其他行驶信号(例如，停止，让行)、以及交通信号或者各种类型的其他行驶信号(例如，红黄绿指示器、闪烁的黄色或红色指示器、或右转或左转箭头)的空间位置的地图。此类数据可以被存储在车辆上的存储器存储单元32上，或者通过无线通信从远程定位的数据库传送至车辆，或其二者的组合。
7.一个或多个数据源38，该一个或多个数据源38用于在一天的类似时间提供关于先前已沿本地路段行驶的车辆的驾驶属性(例如，典型的速度和加速度概况)的历史信息。此类数据可以被存储在车辆上的存储器存储单元32上，或者通过无线通信从远程定位的数据库34传送至车辆，或其二者的组合。
8.一个或多个计算机系统40，该一个或多个计算机系统40位于车辆上，用于执行算法以用于基于实时传感器数据和先验信息在线(即，在AV上实时的)生成控制动作(例如，进程42)，从而允许车辆执行其手动或自主或该两种驾驶能力。
9.一个或多个接口设备44(例如，显示器、鼠标、跟踪点、键盘、触摸屏、扬声器、生物统计读取器以及姿势读取器)，该一个或多个接口设备耦合至计算机系统40以用于向车辆的乘员提供各种类型的信息以及警报并且接收来自车辆的乘员的输入。耦合可以是无线的或有线的。可以将接口设备中的任何两个或更多个集成到单个中。
10.一个或多个无线通信设备46，该一个或多个无线通信设备46用于将数据从远程定位的数据库34传送至车辆，并且将车辆传感器数据或与驾驶性能相关的数据传送至远程定位的数据库34。
11.功能设备以及车辆特征48，该功能设备以及AV特征48被装备成用于从计算机系统接收用于驱动(例如，转向、加速、减速、档位选择)和用于辅助功能(例如，转向指示器激活)的命令并按照该命令行动。
图1B示出了行驶信号感知系统的示例。车辆车载的一个或多个传感器122(例如，激光雷达、雷达、GPS接收器、超声传感器、飞行时间(TOF)深度传感器、温度传感器、速度传感器以及雨水传感器)收集信号124并且经由网络接口101将其传送至计算设备100，其可以是独立装置或是车辆系统的组件。网络接口101可以是无线的或者是有线的或其二者。例如，GPS传感器记录在道路网络上驾驶的车辆的当前位置；或者速度传感器记录该车辆以及其他车辆的速度。车辆车载的视觉传感器132(例如，能够记录可见光、红外和/或热光谱中的场景的单目或立体视频相机)收集图像或视频134并且经由网络接口101将其传送至计算设备100。计算设备100可接收来自一个或多个车辆外数据源(例如，传感器142、视觉传感器144、或数据库146、或它们的组合)的数据148，该一个或多个车辆外数据源安装在例如基础设施、服务器、另一车辆或建筑物上。
计算设备100可包括处理器102和存储器104。行驶信号感知系统可使用信号以及数据(124、134以及148)以执行与感知行驶信号相关联的活动。当信号以及数据到达计算设备100时，网络接口101通过数据总线110将信号以及数据传递至处理器102以用于分析。在一些情况下，信号以及数据存储在存储器104中、数据存储106中、或在数据库108中或存储在它们的组合中。
可由图像处理器112处理图像或视频134以提取图像中的候选行驶信号。分类器114将候选行驶信号分类为真实的行驶信号。估计器116被用于估计分类的行驶信号的当前状态。图像处理器112、分类器114或估计器116或它们的组合可由硬件设备(例如，现场可编程门阵列或集成电路)实现、或由通过通用处理器102执行的一个或多个软件模块实现、或由它们的组合实现。在数据分析期间，由处理器(102、112、114或116)在较早时间t-1生成的输出160可作为在较后时间t用于分析的先验信息的一部分被反馈至计算设备100。先验信息可被存储在存储器104、数据存储106、或数据库108或它们的组合中。由处理器(102、112、114或116)生成的输出170可被传送至远程数据库146，其将在较后时间t被车辆或另一车辆用作先验信息。
计算设备100的输出可在显示器182上可视化，或通过扬声器184创建为音频信号，或其二者。输出可包括在地图上重叠的检测到的行驶信号、或有关检测到的真实的行驶信号的视觉警报或音频警报或该两种警报。在一些实现中，输出包括命令186以控制车辆的加速、转向或制动。
在一些实现中，车载传感器相对于附接至该车辆的一个或多个参照的位置(包括位置以及角度)是预先知道的(例如，通过自动校准)。例如，参考图2，位于车辆200的车顶上的视觉传感器202的位置或者位于车辆200的内部天花板上的视觉传感器202的位置是预先测量的，并且该位置是相对于一个或多个特定位置参照的，例如，前保险杠210的边缘的中点211、或后保险杠212的边缘的中点213、或车辆上或车辆中的任何其他点或标签。
图3示出了在道路网络上驾驶的车辆300，并且场景350是图2中视觉传感器的视场的示例图像。传感器的位置与参照之间的关系的确定在理解相对于视觉传感器202的视场的车辆的形式的取向以及方向是重要的。在一些情况下，当相对于参照的视觉传感器的位置不确定时(由于，例如，硬件或软件中的错误、校准中的故障、位置移位、或不清楚的参照点的选择、或这些中的两个或更多个的组合)，该技术利用概率模型以及统计推断以确定视觉传感器的位置，并且该位置可由概率分布函数描述以供后续使用。
在图像350中示出的行驶信号312通常占据像素的区域352而不是整个图像，由此应用图像处理以在图像中定位行驶信号。行驶信号可以比背景对象(例如，道路354、人行道356、车辆、行人、树木、动物或建筑物)更亮，但是比一些对象(例如，太阳、来自玻璃的光反射、金属或镜子)更暗。可以以像素的饱和度以及亮度信息的形式确定亮度以及暗度。参考图4，图像处理器400可将获取的图像从RGB表示402转换为HSL(色调-饱和度-亮度)表示404，也被称为HSV(色调-饱和度-值)。随后，图像处理器400可滤除406具有低于下限或高于上限或其两者的饱和度以及亮度的值的像素。具有低于上限或者高于下限或这两者的饱和度或者亮度或它们的组合的像素被保留以用于额外处理。
图像中的亮像素或亮像素的区域可能不全部与行驶信号对应，但是可能由于(除其他外)其他车辆上的灯、路灯、建筑物灯、反射、太阳或月亮。由于行驶信号通常具有某些形状(例如，圆形、正方形、菱形以及箭头形状)，从它们中获取的像素也通常在图像中呈现相似的形状。换言之，图像中的亮区域呈现亮度或颜色中的急剧的值变化，并且边界的形状也是有用的信息。由此，图像处理可执行边缘滤波，其识别具有像素值的急剧变化的对象的边缘。边缘滤波408能够分离出可能在图像中的对象。可在RGB图像或HSL图像上执行边缘滤波，其可能已经或尚未经过饱和度以及亮度滤波。
由于图像包括离散化域，不是直线的真实的边缘(例如，曲线或圆形边界)可由图像中的一个或多个线段表示。因此，由边缘滤波识别的对象可以是多边形。边缘滤波的输出可包括零个、一个或多个多边形。当存在至少一个多边形时，则测试每一个多边形以查看其是否可被视作候选行驶信号。测试标准可包括但不限于下述中的任何两个或更多个的中的一个或组合：
1.凸部以及形状。如果车辆在特定的位置处并且具有特定的取向(例如，基于道路地图中或数据库中或其二者中的信息)，则可以期望行驶信号在图像中出现。此类信号可已知具有特定形状(例如，圆形或正方形)，并且从行驶信号中捕获的像素的图像强度可期望形成该已知的形状(或其版本)。例如，圆形行驶信号通常在图像中作为圆形或椭圆形出现。在很大程度上，行驶信号的形状是凸出的，由此图像处理评估多边形的凸部(或凹部)。具有低凸部(或高凹部)的多边形与较高凸部的多边形相比，其表示行驶信号的可能性更低。
在另一方面，通过寻找一个最下的椭圆以捕获(trap)多边形，该多边形可近似为椭圆。此类椭圆的短轴与长轴的比值可被用作圆度的度量。比值越接近1，多边形越可能是圆形。理论上，完美的圆形具有精确等于1的比值，并且多边形具有0到1之间的比值。因此，比值高于阈值的任何多边形被视作圆形，并且因此可能被考虑为候选行驶信号。
2.尺寸。表示行驶信号的多边形不应当小于阈值或大于阈值。例如，过大的多边形(例如，覆盖图像的一半)可(与真实的信号相比)更可能与非常靠近车辆的视觉传感器的对象对应(例如，在该车辆前方的另一汽车的尾灯)。相似地，过小的多边形可能与过远并且因此可忽略的行驶信号对应，或可以是光的杂散源或可以是图像中的噪声。
3.实心度(Solidness)。表示不是箭头或者转向灯的行驶信号的多边形通常具有实心的颜色或亮度。例如，可通过多边形内不存在任何其他较小的多边形来测量该多边形的实心度。换言之，在其内包含另一多边形的任何多边形可能不具有作为候选行驶信号的资格。
基于先验信息430(例如，数据库、地图或先前分析的数据或它们的组合)，可以将上述标准中的两个或更多个中的一个或组合编码为一个或多个模板420。可基于模板匹配410评估上述标准中的一个或多个。通过模板匹配意味着将一个或多个标准的值与由模板中的一个或多个预先限定的这些标准的值的特定值或范围相比较。行驶信号感知系统可为每一个标准创建一个或多个模板420、或创建编码两个或更多个标准的单个模板或这两者。模板可取决于地理区域。标准的模板可包括平均值以及偏差值。形状的模板可包括平均形状以及偏差形状。标准的模板可包括多个标准的模板值，例如，实心度的模板可包括下述中的一个或多个：HSL空间或RGB色彩空间中的色彩分布、形状、尺寸。
上述标准中的一个或多个的模板匹配410可基于加权和。例如，每一个标准可由等级(scale)表示，例如，0到10之间，并且与模板的匹配给出了表示匹配程度的数字分数。该技术进一步将权重指派至不同的标准的分数，并且加权和可被用于确定例如多边形是否是合资格的候选行驶信号。
上述标准中的一个或多个的模板匹配410可基于贝叶斯推断。例如，每一个标准均由在模板中的一个或多个中限定的概率分布函数表示。这些标准可一起形成联合概率分布。随后将贝叶斯推断应用至多边形以确定多边形满足标准的概率。具有通过阈值的概率的多边形被确定为合资格的候选行驶信号。
最后，图像处理器400在图像中标识零个、一个或多个候选行驶信号并且存储有关它们在图像中的位置的信息。我们将这称为从图像中“提取”候选行驶信号。
行驶信号分类
参考图5，当候选行驶信号502由图像处理器提取出时，行驶信号分类器500可在候选行驶信号与真实的行驶信号之间构建对应模型504并且计算分类分数505。基于分类分数505，行驶信号分类器500可在候选行驶信号中标识真实的行驶信号506并且从真实的交通信号中选择相关的行驶信号508。候选行驶信号可以不是真实的行驶信号，因为它是假阳性(false positive)的。在一些情况下，当真实的行驶信号与在当前时刻做出驾驶决策有关时，它可以被考虑为车辆的相关的行驶信号。例如，在距离车辆过远处(例如，超过500米)检测到的行驶信号并不影响当前的驾驶决策并且可能被考虑为不相关。
图3示出了示例，其中车辆300在笔直的道路上驾驶，沿着道路每隔100米安装了三个行驶信号312、314以及316。车辆300可仅需要将最靠近的行驶信号312标识为相关的行驶信号，因为当前时刻的车辆300必须遵守该行驶信号312。在一些实现中，分类器可不仅考虑最靠近的行驶信号312而且也考虑将要遇到的下一行驶信号314等。一个原因可能是为了增强行驶信号分类或信号估计或这两者的准确度。另一原因可以是最靠近的行驶信号312可能被例如树木或一件施工装备部分地阻挡，并且来自更远的交通信号314或316的信息可被用于推断最靠近的行驶信号312的相关性。在这些情况下，交通信号312以及314被视作相关的行驶信号。这些原理可被应用至额外的交通信号以及各种类型的交通信号。
在分类步骤506以及508之后，行驶信号分类器可生成一个或多个真实的并且相关的分类的行驶信号521作为输出525。在一些情况下，可以跳过相关的行驶信号的确定，并且生成分类的真实的行驶信号522作为输出525。
分类的真实的行驶信号532或相关的行驶信号531或这两者可被反馈至相关性模型504并且作为先验信息540的一部分存储以供后续分析。
在一些实现中，分类真实的行驶信号506可包括访问作为先验信息540的一部分的额外数据(例如，道路地图或数据库或传感器数据)。先验信息540可包括下述中的任何两个或更多个中的一个或组合：
1.自我车辆的位置。在道路上的车辆的位置以及方向可基于数据库、道路地图数据、或一个或多个传感器(例如，GPS传感器)或它们的组合确定。传感器可以是车载或者车辆外的。车辆外传感器可以是安装在例如另一车辆上或基础设施上或这两者上的传感器。使用从任何数据源或从任何传感器或从这两者获取的数据以推断车辆的位置。然而，当位置不确定时(例如，由于硬件或软件中的错误、校准中的故障、到数据库的连接故障、位置移位或它们的组合)，该技术利用概率建模以及统计推断以确定车辆的位置。
2.形状。在一些实例中，行驶信号可包括下述形状中的一个或多个或它们的组合。图6A示出了行驶信号的一些示例，诸如左转箭头652、U形转弯箭头654、实心圆形灯656、右转箭头658或它们的组合。一些实现可通过使用概率分布函数建模形状来考虑可能的形状不确定性。
3.颜色。行驶信号可展现不同的颜色以及它们的组合，例如，红色、琥珀色、绿色或白色。在一些情况下，可在特定的地理区域中使用其他颜色。一些实现可通过使用概率分布函数建模颜色来考虑可能的颜色不确定性。
4.位置以及配置。行驶信号的位置(例如，在道路上的位置、面朝的方向、配置取向、距离地面的距离或它们的组合)可被编码至道路地图数据中。进一步地，行驶信号可展示各种配置。例如，图6A示出了水平地组织的行驶信号602、垂直地组织的行驶信号604以及L形的行驶信号606。配置以及它们的尺寸(例如，宽度、长度、高度、深度或它们的组合)可被包括在先验信息中。一些实现可通过使用概率分布函数建模位置或配置来考虑它们中可能的不确定性。
5.道路网络。道路地图或数据库可包括安装行驶信号的位置(例如，交叉口、分叉、合并道路以及人行横道)。进一步地，由行驶信号控制的允许的穿过方向(例如，直行、右转、左转、U形转弯以及它们的组合)可被包括在先验信息中。例如，参考图6B，仅当右转行驶信号610被照亮时，由车辆600在交叉口处进行的右转才可被允许。
6.先前分类的行驶信号。可在一段时间内执行行驶信号分类。参考图5，先前确定的行驶信号531或532可被包括在先验信息540中以供之后使用。
在一些实现中，真实的行驶信号的图像或特定环境中的另一可见特征被捕获或者合成，并且其之后被视作先验图像。在一些应用中，先验图像包括下述中的一个或多个中的在先前时刻的图像：车辆位置、行驶信号颜色、行驶信号形状、行驶信号位置、行驶信号配置以及道路网络。先验图像可基于车辆的视觉传感器的视场生成，或基于鸟瞰视图生成。在一些情况下，在视觉传感器视场与鸟瞰视图之间执行变换。例如，有关行驶信号(例如，位置、高度、大小、形状以及颜色)的信息可已经在地图上注释，该地图是基于鸟瞰视图，并且在该地图上执行变换以在视觉传感器的视场中生成先验图像。
从鸟瞰视图生成车辆视觉传感器的视场中的先验图像(或反之亦然)可依赖下述中的一个或多个：(1)基于道路地图数据的真实的行驶信号在全局参考帧中的位置(包括取向)；(2)基于道路地图数据以及连续更新的传感器数据的车辆在全局参考帧中的位置(包括取向)；以及(3)视觉传感器在车辆的参考帧中的位置(包括取向)。这些位置中的任一个可以从数据源中确定地知道或者可以概率地建模。
图7示出了示例，其中从车辆的视觉传感器获取的图像700被处理并且检测到两个候选行驶信号702以及704。先验信息(例如，数据库、注释以及传感器数据)可被用于生成包括道路地图的先验图像710，其中可以已经注释了真实的行驶信号715的特性(例如，位置、大小、形状、颜色以及配置)。视觉传感器的视场中的图像700可被变换为与先验图像710对齐的鸟瞰视图，从而得到鸟瞰图像720。在该变换中，图像700被变换为多边形721，并且候选行驶信号702以及704的图像被分别变换为点722以及724。通过将变换的候选行驶信号722以及724与注释中的真实的行驶信号725的已知位置(例如，基于阈值方案或概率推理方法)相比较，分类器确定候选行驶信号722是真实的行驶信号但是候选行驶信号724为假阳性。
相似地，可在车辆的视觉传感器的视场中生成先验图像。具有真实的行驶信号的已知特性的先验信息可被变换为视场，以便于确定将预期哪种出行信号或出行信号将是什么样子。例如，图8A示出了从数据库中获取并且表示车辆的附近区域的地图800。根据数据库或根据另一数据源，在附近区域中的真实的行驶信号802并且它的信息(例如，位置、形状、颜色以及配置)是已知的。地图800可被变换为视觉传感器的视场中的先验信息810，并且真实的行驶信号812可在先验图像810中合成。先验图像810可被用于将候选行驶信号分类为真实的行驶信号。当将先验图像810与候选行驶信号822以及824的图像820相比较，分类可确定候选行驶信号824与真实的行驶信号812对应并且候选行驶信号822为假阳性。
在一些实现中，先验图像的生成可包括下述因素中的一个或多个：
1.视场。在一些情况下，视觉传感器具有固定的视场，则传感器仅能够观察视觉传感器所瞄准的方向中的空间的有限的部分。视场通常在垂直以及水平角范围中执行，例如，120度或150度的水平范围以及30、45或60度垂直范围。因此，先验图像的一部分可以在当前视场的外部，并且应当被忽略，因为在视场外部的任何出行信号无法由视觉传感器观察到。
2.形状。如果车辆的取向与行驶信号的信令表面不平行，例如是圆形的行驶信号可以在先验图像中作为椭圆形呈现。例如，图8B示出了正在驶向交叉口的车辆850，并且面朝形状为圆形的两个行驶信号852以及854。在车辆的视觉传感器的视场860中，行驶信号854可呈现为圆形形状864，但是行驶信号852可呈现为椭圆形形状862。当在先验图像中示出的行驶信号从行驶信号的真实的形状偏差超过阈值时，在先验图像中的行驶信号可被忽略，因为它可能对应例如道路上的另一行驶方向或可能过远或可能与车辆无关。该技术可在变换的先验图像中设置行驶信号的小半径与大半径的比值的下限，并且丢弃具有低于该下限的比值的行驶信号。
3.大小。当行驶信号距离车辆较远时(例如，远于10米、20米、30米、40米、50米、100米、200米、300米、400米、500米或1000米)，它在先验图像中的存在可能变得较小。在许多情况下，遥远的行驶信号与车辆的驾驶决策无关，所以可应用先验图像中的行驶信号的大小的下限以滤除无关的行驶信号。
鉴于已经从图像处理中标识行驶信号，故可基于先验信息在它们中分类真实的行驶信号。使用先验信息，分类可包括评估M个候选行驶信号(表示为C1、…、CM)与在先验信息中注释的N个真实的行驶信号(标识为T1、…、TN)之间的对应性。通常来讲，候选行驶信号的数量M大于真实的行驶信号的数量N，因为候选行驶信号可包括真实的行驶信号以及假阳性(例如，街灯、制动灯、尾灯、前灯、照亮的出租车标志、倒车灯、雾灯、太阳光、反射以及建筑物灯)。可创建对应性指示符Fm＝n以指示候选行驶信号Cm与真实的行驶信号Tn对应。在一些情况下，对应性指示符可反映无对应性(例如，Fm＝0)。可创建并且存储收集了所有对应性指示符Fm的对应性向量F＝[F1、F2、...、FM]以供后续使用。
在一些实现中，候选行驶信号Cm可与测量的数据相关联(例如，在道路网络上的车辆的位置、路线、行驶信号形状、行驶信号颜色、行驶信号位置以及配置或它们的组合)，表示为Dm。可创建并且存储收集了所有单独测量的数据向量D＝[D1、D2、…、DM]以供后续使用。
可通过测量的数据D与先验信息之间的差的加权和计算图5中的分类分数505。具有低于加权和的阈值的分类分数的候选行驶信号Cm可被分类为真实的行驶信号Tn。例如，当在道路网络上的候选行驶信号的位置距在先验信息中编码的真实的行驶信号的距离小于1、2、3、4或5米时，候选行驶信号是真实的行驶信号的可能性很高。在另一示例中，如果候选行驶信号被测量为在地面上方0.8米、但是先验信息指示靠近候选行驶信号的位置的真实的行驶信号高度约为6米，则该候选行驶信号可能是假阳性。
在一些实现中，可通过如下描述的贝叶斯推断算法计算分类分数505。
1.初始化。算法可初始化对应性向量F＝[F1、F2、...、FM]。
2.似然函数。分类分数可以是从概率分布函数p(F|D)得出的似然函数L(F,D)。在一些情况下，由随机变量e表示测量噪声或潜在的测量误差，并且似然函数变为L(F,D,e)。
3.优化。优化方法可被采用以标识最优似然函数。在一些实现中，优化可使用线性编程，或动态编程。一种方法可以在每一个搜索步骤中交换两个指示符；例如，在之后的搜索步骤中使用的随机向量(例如，F＝[1,3,2,4])可交换在先前的搜索步骤中使用的随机向量(例如，F＝[1,2,3,4])中的两个对应性指示符。
在一些实现中，优化可依赖于随机化搜索；例如，该优化随机地播种(seed)一个或多个可能的对应性向量F，并且从可能的对应性向量中得出最优对应性向量。在一些情况下，播种可取决于在先前时刻t-1执行的最优解决方案。
在一些实现中，使用了穷举搜索，例如，检查了所有可能的对应性向量的可能性，并且基于最佳可能性确定了最佳对应性向量。
在一些实现中，在道路上的行驶可由面朝相同的交通方向的两个或多个行驶信号控制。例如，图10示出了在车辆1000的交通方向中行驶是由行驶信号1010以及1020同时地控制的。在一些情况下，该技术可将两个或更多个行驶信号视作群组以分类候选行驶信号。例如，行驶信号Tn以及Tn及可作为交通控制的群组一同操作，并给候选行驶信号Cm、Cm作可被考虑为群组，其被视作优化中的约束。
在图5中对相关的行驶信号进行分类508的一些实现中，相关性可基于车辆的移动方向、车辆的路线、车辆可到达的距离(例如，5米内、10米内、50米内、100米内或200米内)、或车辆可达到行驶信号的时间间期(例如，1秒内、5秒内、10秒内、20秒内、30秒内、1分钟内或5分钟内)或它们的组合。由于并不是所有真实的行驶信号都是与例如车辆的驾驶决策相关的，故从真实的行驶信号中分类相关的行驶信号。例如，在图9中，除了车辆900的驾驶方向930之外，行驶信号感知系统还可标识面朝驾驶方向922的真实的行驶信号912，并且行驶信号912被分类为无关。无关系分类可以基于以下各项中一项或多项：
1.位置。距离车辆过远(例如，远于10米、20米、30米、40米、50米、100米、200米、300米、400米、500米或1000米)的行驶信号可以是无关的。距离的测量可基于在图像中行驶信号的大小。
2.形状。不面对车辆的驾驶方向的行驶信号可在图像中具有变形的形状。在图8B的示例中，可将变形为椭圆形形状862的圆形行驶信号852考虑为无关。
3.路线信息。分类相关的行驶信号可包括使用路线信息。在一些实现中，该技术使用先验信息(例如，道路地图数据)以及车辆的当前路线以标识车辆将会首先遇到的相关的行驶信号。在图9中，车辆900在具有分叉的道路上行驶。车辆的视觉传感器可捕获控制交通引导至两个分支的行驶信号910以及912，并且图像处理可使得两个行驶信号910以及912称为候选行驶信号。然而，基于车辆的当前路线920，行驶信号912被视作无关并且行驶信号910被保留以供后续考虑。
在一些实现中，两个或更多个特征可被用于相关性分类。参考图6B，左转信号620并不控制车辆600的驾驶方向，因此分类可使用路线信息以确定无关性。此外，左转信号360的形状(例如，向左指的箭头)可被考虑为无关的形状，并且由此行驶信号620可被分类为无关。
在一些实现中，可交换图5中对真实的行驶信号506进行分类以及对相关的行驶信号508进行分类的顺序。例如，在图9中示出的场景中，分类器可确定行驶信号912附近的任何候选行驶信号都是无关的，并且随后标识与真实的行驶信号910对应的候选行驶信号。在计算方面，在先验信息中注释的N个真实的行驶信号T1、…、TN可被分类为相关或者无关，导致R≤N个相关的行驶信号是N个真实的行驶信号的子集。真实的并且相关的行驶信号T1、…、TR随后被用于执行行驶信号分类。
信号状态估计
行驶信号改变其信号状态(例如，颜色或形状或亮度或实心度、或它们的组合)以影响车辆的操作，例如，以控制交通。一旦标识出真实的并且相关的行驶信号，该技术估计该行驶信号的信号状态。由于各种原因(例如，视觉传感器中的失真)，行驶信号的信号状态可能无法准确地在图像中捕获。例如，红色的行驶信号可在图像中呈现为琥珀色的行驶信号；圆形的行驶信号可在图像中呈现为正方形。
信号状态估计可基于两个或更多个行驶信号的一致性。在一些情况下，面朝相同的交通方向的两个或更多个行驶信号可同时地示出相同的信号状态。在此类情况下，该技术可将两个或者更多个行驶信号作为群组而不是单独地估计，并且将行驶信号的信号状态约束为相同的。例如，在图10中，行驶信号1010以及1020同时地控制交通，并且它们的信号状态在估计过程中被约束为相同的。
信号状态估计可包括评估信号状态在行驶信号配置内的位置。图11示出了水平地配置的行驶信号的示例。在第一状态1110处，最左位置处的停止信号(例如，红色)1112在交通信号配置中被照亮。在第二状态1120处，最右位置处的前进信号(例如，绿色)1122被照亮。在第三状态1130处，中间位置处的减速信号(例如，琥珀色)1132被照亮。因此，该技术可使用有关在行驶信号配置中的转变的信号状态的位置的知识以估计当前信号状态。在一些实现中，信号状态的位置并非确定地知道，并且可通过概率分布函数以建模位置信息。
信号状态估计可包括评估车辆附近的交通流。车辆附近的当前交通流的速度可由一个或多个车载传感器、或一个或多个车辆外传感器、或另一数据源或它们的组合以确定。参考图12，车辆1200、1202以及1204在行驶信号1210以及1220的影响下移动。由于车辆1200、1202以及1204具有相似的速度，或具有在速度的范围内的速度，故行驶信号1210以及1220的在由图像表示的时刻的信号状态可能处于前进状态(例如，绿色)。相反，如果由行驶信号1230控制的另一车辆1206仍保持停止，则可能行驶信号1230的信号处于停止状态(例如，红色)。
在一些实现中，当沿着车辆的行驶的方向的交通流正在减速，则很有可能控制交通流的行驶信号正在从前进状态(例如，绿色)变为减速状态(例如，琥珀色)或变为停止状态(例如，红色)。当交通流已停止但是开始向前移动时，很有可能控制该交通流的行驶信号正在从停止状态(例如，红色)变为前进状态(例如，绿色)。相似地，除了车辆的面朝方向的交通流的速度，另一方向中的交通流的速度也可被用于信号状态估计。例如，在交叉口处，与车辆的面朝方向垂直的交通流正在移动，则很有可能面朝车辆的行驶信号处于停止状态(例如，红色)。
信号状态估计可使用有关预期的状态专版的信息，诸如颜色或形状或实心度、或它们的组合。例如，行驶信号的颜色可以循环序列改变：红色→绿色→琥珀色→红色，或红色→绿色→红色。在一些情况下，行驶信号的形状可以循环序列改变：实心圆形→箭头→实心圆形，或实心圆形→正方形→实心圆形。在一些实现中，行驶信号的实心度可以循环序列改变：实心→闪烁→实心。可以从数据库或地图数据或先验图像知道可能的转变，并且它们可被视作先验信息的一部分。在一些实现中，有关可能的转变的知识并不是确定的，故概率地建模可能的转变。
信号状态估计可包括时间滤波。当在先前时刻t-1的行驶信号已经被估计时，先前估计的状态可用作基于贝叶斯推断估计之后时刻t的行驶信号的先验信息。例如，让St-1表示行驶信号在时刻t-1的状态；则可通过基于当前测量的数据Dt以及过去的状态St-1评估概率p(St|Dt,St-1)以估计时刻t的状态St。时间滤波可包括隐马尔可夫模型，其考虑下述中的一个或多个：转变、对应性、行驶信号配置中的地点、交通流以及先前估计的状态。
工作流
图13示出了在本文档中描述的技术的示例性工作流。可从一个或多个视觉传感器1301获取图像，并且图像处理1320输出零个、一个或多个候选行驶信号1340。可从其他传感器1302获取数据，并且从来自分类1350以及估计1360的先前分析的结果的数据源收集先验信息1303。从传感器数据或先验信息或这两者收集或计算与行驶信号相关联的各种测量1330。使用变量测量1330或先验信息1303或这两者将候选行驶信号分类为真实的行驶信号1350。处理分类的行驶信号以估计它们的信号状态1360。信号状态估计可利用先前分析的信号状态、变量测量1330、先验信息1303或它们的组合。
在一些实现中，当已经检测到真实的行驶信号并且估计了其信号状态时，该技术可生成音频警报、视觉警报或相应地该两种警报。例如，当估计了停止信号(例如，红色)或减速信号(例如，琥珀色)时，可生成警报以警告乘员。当确定了行驶信号中的转变状况(例如，从停止信号到前进信号、或从前进信号到减速信号、或从前进信号到停止信号、或从减速信号到停止信号)时，可生成警报以警告乘员遵守行驶信号的规则。
在一些实现中，当车辆正在以自主模式或组合的自主以及人为操作模式(例如，人类引导的自主模式或机器辅助的手动模式)来驾驶时，该技术可结合行驶信号检测以及信号状态估计的结果以控制车辆的操纵1380以响应于交通信号。例如，当估计了减速信号(例如，琥珀色)或停止信号(例如，红色)或前进信号(例如，绿色)时，该技术可让车辆减速或让车辆停止或允许车辆前进。当确定了行驶信号中的转变状况(例如，从停止信号到前进信号、或从前进信号到减速信号、或从前进信号到停止信号、或从减速信号到停止信号)时，该技术可控制车辆相应地响应于该转变状况。
行驶信号感知系统的实现可基于硬件或软件或这两者。例如，该技术可通过车辆系统中的电子装置实现。在一些情况下，行驶信号感知系统的特征中的一些或全部可被容纳至其他设备中，诸如与车辆中的驾驶员或乘客相关联的移动设备。图14示出了示例性设备1400。该设备可被安装在例如车辆1401的仪表板上。该设备可包括或连接至视觉传感器(例如，相机)1410，其被设置为朝向车辆1401的前部。设备1400可示出描绘了车辆1401的轨迹1404的地图视图1402。当其通电时，设备1400可持续地执行行驶信号感知。当车辆1401正在靠近例如在交叉口处的行驶信号1460时，设备1400可更新地图视图1452以示出更新的轨迹1454以及检测到的行驶信号1460。地图视图1452可示出行驶信号1460的状态1462(例如，“停止”)。
在一些实现中，该设备可包括音频组件1420(例如，扬声器)。可通过声音来通知检测到的行驶信号1460，例如，“检测到行驶信号”。信号状态1462可以用声音来言语表达(verbalize)，例如，“停车”。
其他实现也在权利要求的范围内。

Claims (63)

1.一种用于自动感知行驶信号的方法，所述方法包括：
(a)接收与运载工具相关联的传感器的视场的图像，
(b)在所述图像中标识候选行驶信号，
(c)确定所述候选行驶信号是否与在当前时刻要针对所述运载工具作出的驾驶决策相关，其中确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的驾驶决策相关包括：在与所述候选行驶信号对应的路线的先前穿过期间使用与所述候选行驶信号相关联的先验信息生成真实的行驶信号的先验图像，其中，生成所述真实的行驶信号的所述先验图像包括：
访问表示所述运载工具的附近区域的道路地图，
访问有关所述附近区域中的行驶信号的信息，所述行驶信号包括真实的行驶信号，并且
将所述道路地图变换为所述传感器的视场中的所述先验图像，包括在所述先验图像中合成所述真实的行驶信号，并且
(d)根据所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的驾驶决策相关的确定，向所述运载工具的驾驶员警告所述候选行驶信号的信号状态。
2.根据权利要求1所述的用于自动感知行驶信号的方法，其特征在于，标识所述候选行驶信号包括基于饱和度或亮度或这两者分析所述图像的像素。
3.根据权利要求1所述的用于自动感知行驶信号的方法，其中标识所述候选行驶信号包括基于像素确定边缘并且基于所述边缘生成形状。
4.根据权利要求3所述的用于自动感知行驶信号的方法，其特征在于，标识所述候选行驶信号是基于下述标准中的一个或多个：边缘、形状、凸度、大小以及实心度。
5.根据权利要求1所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在当前时刻要针对所述运载工具作出的驾驶决策相关是基于下述中的一个或多个：先前标识的行驶信号、行驶信号形状、行驶信号颜色、行驶信号位置、行驶信号配置、道路网络、所述运载工具的位置以及所述运载工具的路线。
6.根据权利要求1所述的用于自动感知行驶信号的方法，其特征在于，所述先验信息包括下述中的一个或多个：形状、大小、颜色、定位、位置以及配置。
7.根据权利要求1所述的用于自动感知行驶信号的方法，其特征在于，所述先验信息包括所述候选行驶信号被分类为所述真实的行驶信号，其中，所述分类包括计算分类分数。
8.根据权利要求7所述的用于自动感知行驶信号的方法，其特征在于，所述分类分数包括和所述候选行驶信号相关联的测量的数据与和所述候选行驶信号相关联的先验信息之间的差的加权和。
9.根据权利要求7所述的用于自动感知行驶信号的方法，其特征在于，基于与所述候选行驶信号相关联的测量的数据以及所述先验信息的算法分析来计算所述分类分数。
10.根据权利要求9所述的用于自动感知行驶信号的方法，其特征在于，所述算法分析包括：(1)创建所述候选行驶信号与已知的真实的行驶信号之间的对应性；(2)计算与所述对应性相关联的似然分数；并且(3)使用不同的对应性组迭代(1)和(2)，直至标识出与最佳的对应性组相关联的最佳似然分数。
11.根据权利要求1所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：使用状态转变信息估计所述信号状态。
12.根据权利要求11所述的用于自动感知行驶信号的方法，其特征在于，所述状态转变信息包括颜色、形状、闪烁模式或它们的组合。
13.根据权利要求1所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：基于两个或更多个行驶信号的一致性估计所述信号状态。
14.根据权利要求1所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：基于行驶信号在行驶信号配置内的位置估计所述信号状态。
15.根据权利要求1所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：使用基于先前估计的信号状态进行的时间滤波估计所述信号状态。
16.一种用于自动感知行驶信号的方法，所述方法包括：
(a)接收与运载工具相关联的传感器的视场的图像，
(b)在所述图像中标识候选行驶信号，
(c)确定所述候选行驶信号是否与在当前时刻要针对所述运载工具作出的驾驶决策相关，其中确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的驾驶决策相关包括：在与所述候选行驶信号对应的路线的先前穿过期间使用与所述候选行驶信号相关联的先验信息生成真实的行驶信号的先验图像，其中，所述先验图像包括与所述运载工具相关联的所述传感器的视场与对应于所述运载工具的鸟瞰视图之间的变换，并且
(d)根据所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的驾驶决策相关的确定，向所述运载工具的驾驶员警告所述候选行驶信号的信号状态。
17.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，标识所述候选行驶信号包括基于饱和度或亮度或这两者分析所述图像的像素。
18.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，标识所述候选行驶信号包括基于像素确定边缘并且基于所述边缘生成形状。
19.根据权利要求18所述的用于自动感知行驶信号的方法，其特征在于，标识所述候选行驶信号是基于下述标准中的一个或多个：边缘、形状、凸度、大小以及实心度。
20.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在当前时刻要针对所述运载工具作出的驾驶决策相关是基于下述中的一个或多个：先前标识的行驶信号、行驶信号形状、行驶信号颜色、行驶信号位置、行驶信号配置、道路网络、所述运载工具的位置以及所述运载工具的路线。
21.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，所述先验信息包括下述中的一个或多个：形状、大小、颜色、定位、位置以及配置。
22.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，所述先验信息包括所述候选行驶信号被分类为所述真实的行驶信号，其中，所述分类包括计算分类分数。
23.根据权利要求22所述的用于自动感知行驶信号的方法，其特征在于，所述分类分数包括和所述候选行驶信号相关联的测量的数据与和所述候选行驶信号相关联的先验信息之间的差的加权和。
24.根据权利要求22所述的用于自动感知行驶信号的方法，其特征在于，基于与所述候选行驶信号相关联的测量的数据以及所述先验信息的算法分析来计算所述分类分数。
25.根据权利要求24所述的用于自动感知行驶信号的方法，其特征在于，所述算法分析包括(1)创建所述候选行驶信号与已知的真实的行驶信号之间的对应性；(2)计算与所述对应性相关联的似然分数；并且(3)使用不同的对应性组迭代(1)和(2)，直至标识出与最佳的对应性组相关联的最佳似然分数。
26.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：使用状态转变信息估计所述信号状态。
27.根据权利要求26所述的用于自动感知行驶信号的方法，其特征在于，所述状态转变信息包括颜色、形状、闪烁模式或它们的组合。
28.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：基于两个或更多个行驶信号的一致性估计所述信号状态。
29.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：基于行驶信号在行驶信号配置内的位置估计所述信号状态。
30.根据权利要求16所述的用于自动感知行驶信号的方法，其特征在于，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：使用基于先前估计的信号状态进行的时间滤波估计所述信号状态。
31.一种用于自动感知行驶信号的装置，所述装置包括：
(a)图像处理器，所述图像处理器被配置成用于接收从传感器的信号得出的图像并且将信号处理应用至所述图像以将所述图像中的行驶信号的表示标识为候选行驶信号，
(b)分类器，所述分类器被配置成用于接收来自所述图像处理器的信息，所述信息标识所述候选行驶信号；并且用于确定所述候选行驶信号是否与在当前时刻要针对运载工具作出的驾驶决策相关，其中，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：在与所述候选行驶信号对应的路线的先前穿过期间使用与所述候选行驶信号相关联的先验信息生成真实的行驶信号的先验图像，其中生成所述真实的行驶信号的所述先验图像包括：
访问表示所述运载工具的附近区域的道路地图，
访问有关所述附近区域中的行驶信号的信息，所述行驶信号包括真实的行驶信号，并且
将所述道路地图变换为所述传感器的视场中的所述先验图像，包括在所述先验图像中合成所述真实的行驶信号，
(c)估计器，所述估计器被配置成用于根据所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关的确定估计所述候选行驶信号的信号状态，以及
(d)输出模块，所述输出模块基于估计的信号状态生成警报或控制所述运载工具的操纵或这两者。
32.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述分类器被配置成用于将所述候选行驶信号分类为真实的行驶信号或不是真实的行驶信号。
33.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述图像处理器被配置成用于基于饱和度或亮度或这两者分析所述图像的像素。
34.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述图像处理器被配置成用于基于像素确定边缘并且基于所述边缘生成形状。
35.根据权利要求34所述的用于自动感知行驶信号的装置，其特征在于，所述图像处理器被配置成用于基于下述标准中的一个或多个标识所述候选行驶信号：边缘、形状、凸度、大小以及实心度。
36.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述分类器确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关是基于下述中的一个或多个：先前标识的行驶信号、行驶信号形状、行驶信号颜色、行驶信号位置、行驶信号配置、道路网络、所述运载工具的位置以及运载工具的路线。
37.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述先验信息包括下述中的一个或多个：形状、大小、颜色、定位、位置以及配置。
38.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述先验信息包括所述候选行驶信号被分类为所述真实的行驶信号，其中，所述分类包括计算分类分数。
39.根据权利要求38所述的用于自动感知行驶信号的装置，其特征在于，计算所述分类分数包括计算和所述候选行驶信号相关联的测量的数据与和所述候选行驶信号相关联的所述先验信息之间的差的加权和。
40.根据权利要求38所述的用于自动感知行驶信号的装置，其中计算所述分类分数是基于与所述候选行驶信号相关联的测量的数据以及所述先验信息的算法分析。
41.根据权利要求40所述的用于自动感知行驶信号的装置，其特征在于，所述算法分析包括(1)创建所述候选行驶信号与已知的真实的行驶信号之间的对应性；(2)计算与所述对应性相关联的似然分数；并且(3)使用不同的对应性组迭代(1)和(2)，直至标识出与最佳的对应性组相关联的最佳似然分数。
42.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述估计器通过使用状态转变信息估计所述信号状态。
43.根据权利要求42所述的用于自动感知行驶信号的装置，其特征在于，所述状态转变信息包括颜色、形状、闪烁模式或它们的组合。
44.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述估计器基于两个或者更多个行驶信号的一致性估计所述信号状态。
45.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述估计器基于行驶信号在行驶信号配置内的位置估计所述信号状态。
46.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述估计器通过基于先前估计的信号状态进行的时间滤波估计所述信号状态。
47.根据权利要求31所述的用于自动感知行驶信号的装置，其特征在于，所述输出模块生成视觉警告或音频警告或这两者。
48.一种运载工具，包括：
(a)图像处理器，所述图像处理器被配置成用于接收从传感器的信号得出的图像并且将信号处理应用至所述图像以将所述图像中的行驶信号的表示标识为候选行驶信号，
(b)分类器，所述分类器被配置成用于接收来自所述图像处理器的信息，所述信息标识所述候选行驶信号；并且用于确定所述候选行驶信号是否与在当前时刻要针对所述运载工具作出的驾驶决策相关，其中，确定所述候选行驶信号与在当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：在与所述候选行驶信号对应的路线的先前穿过期间使用与所述候选行驶信号相关联的先验信息生成真实的行驶信号的先验图像，其中生成所述真实的行驶信号的所述先验图像包括：
访问表示所述运载工具的附近区域的道路地图，
访问有关所述附近区域中的行驶信号的信息，所述行驶信号包括真实的行驶信号，并且
将所述道路地图变换为所述传感器的视场中的所述先验图像，包括在所述先验图像中合成所述真实的行驶信号，
(c)估计器，所述估计器被配置成用于根据所述候选行驶信号与在当前时刻要针对所述运载工具作出的所述驾驶决策相关的确定估计所述候选行驶信号的信号状态，以及
(d)输出模块，所述输出模块基于估计的信号状态生成警报或控制所述运载工具的操纵或这两者。
49.一种用于自动感知行驶信号的装置，所述装置包括：
(a)图像处理器，所述图像处理器被配置成用于接收从传感器的信号得出的图像并且将信号处理应用至所述图像以将所述图像中的行驶信号的表示标识为候选行驶信号，
(b)分类器，所述分类器被配置成用于接收来自所述图像处理器的信息，所述信息标识所述候选行驶信号；并且用于确定所述候选行驶信号是否与在当前时刻要针对运载工具作出的驾驶决策相关，其中，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：在与所述候选行驶信号对应的路线的先前穿过期间使用与所述候选行驶信号相关联的先验信息生成真实的行驶信号的先验图像，其中所述先验图像包括与所述运载工具相关联的所述传感器的视场与对应于所述运载工具的鸟瞰视图之间的变换，
(c)估计器，所述估计器被配置成用于根据所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关的确定估计所述候选行驶信号的信号状态，以及
(d)输出模块，所述输出模块基于估计的信号状态生成警报或控制所述运载工具的操纵或这两者。
50.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述分类器被配置成用于将所述候选行驶信号分类为真实的行驶信号或不是真实的行驶信号。
51.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述图像处理器被配置成用于基于饱和度或亮度或这两者分析所述图像的像素。
52.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述图像处理器被配置成用于基于像素确定边缘并且基于所述边缘生成形状。
53.根据权利要求52所述的用于自动感知行驶信号的装置，其特征在于，所述图像处理器被配置成用于基于下述标准中的一个或多个标识所述候选行驶信号：边缘、形状、凸度、大小以及实心度。
54.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述分类器确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关是基于下述中的一个或多个：先前标识的行驶信号、行驶信号形状、行驶信号颜色、行驶信号位置、行驶信号配置、道路网络、所述运载工具的位置以及运载工具的路线。
55.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述先验信息包括下述中的一个或多个：形状、大小、颜色、定位、位置以及配置。
56.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述先验信息包括所述候选行驶信号被分类为真实的行驶信号，其中，所述分类包括计算分类分数。
57.根据权利要求56所述的用于自动感知行驶信号的装置，其特征在于，计算所述分类分数包括计算和所述候选行驶信号相关联的测量的数据与和所述候选行驶信号相关联的所述先验信息之间的差的加权和。
58.根据权利要求56所述的用于自动感知行驶信号的装置，其中计算所述分类分数是基于与所述候选行驶信号相关联的测量的数据以及所述先验信息的算法分析。
59.根据权利要求58所述的用于自动感知行驶信号的装置，其特征在于，所述算法分析包括(1)创建所述候选行驶信号与已知的真实的行驶信号之间的对应性；(2)计算与所述对应性相关联的似然分数；并且(3)使用不同的对应性组迭代(1)和(2)，直至标识出与最佳的对应性组相关联的最佳似然分数。
60.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述估计器通过使用状态转变信息估计所述信号状态，所述状态转变信息包括颜色、形状、闪烁模式或它们的组合。
61.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述估计器基于下述中的至少一个估计所述信号状态：两个或更多个行驶信号的一致性；行驶信号在行驶信号配置中的位置；或基于先前估计的信号状态进行的时间滤波。
62.根据权利要求49所述的用于自动感知行驶信号的装置，其特征在于，所述输出模块生成视觉警告或音频警告或这两者。
63.一种运载工具，包括：
(a)图像处理器，所述图像处理器被配置成用于接收从传感器的信号得出的图像并且将信号处理应用至所述图像以将所述图像中的行驶信号的表示标识为候选行驶信号，
(b)分类器，所述分类器被配置成用于接收来自所述图像处理器的信息，所述信息标识所述候选行驶信号；并且用于确定所述候选行驶信号是否与在当前时刻要针对所述运载工具作出的驾驶决策相关，其中，确定所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关包括：在与所述候选行驶信号对应的路线的先前穿过期间使用与所述候选行驶信号相关联的先验信息生成真实的行驶信号的先验图像，其中所述先验图像包括与所述运载工具相关联的所述传感器的视场与对应于所述运载工具的鸟瞰视图之间的变换，
(c)估计器，所述估计器被配置成用于根据所述候选行驶信号与在所述当前时刻要针对所述运载工具作出的所述驾驶决策相关的确定估计所述候选行驶信号的信号状态，以及
(d)输出模块，所述输出模块基于估计的信号状态生成警报或控制所述运载工具的操纵或这两者。
CN201880040513.1A 2017-04-18 2018-04-18 自动地感知行驶信号的方法、装置及运载工具 Active CN111094095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111004387.4A CN113665570A (zh) 2017-04-18 2018-04-18 自动地感知行驶信号的方法、装置及运载工具

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US15/490,616 2017-04-18
US15/490,599 US20180299893A1 (en) 2017-04-18 2017-04-18 Automatically perceiving travel signals
US15/490,694 US20180300566A1 (en) 2017-04-18 2017-04-18 Automatically perceiving travel signals
US15/490,616 US10643084B2 (en) 2017-04-18 2017-04-18 Automatically perceiving travel signals
US15/490,682 2017-04-18
US15/490,682 US10650256B2 (en) 2017-04-18 2017-04-18 Automatically perceiving travel signals
US15/490,599 2017-04-18
US15/490,694 2017-04-18
PCT/US2018/028083 WO2018195150A1 (en) 2017-04-18 2018-04-18 Automatically perceiving travel signals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111004387.4A Division CN113665570A (zh) 2017-04-18 2018-04-18 自动地感知行驶信号的方法、装置及运载工具

Publications (2)

Publication Number Publication Date
CN111094095A CN111094095A (zh) 2020-05-01
CN111094095B true CN111094095B (zh) 2021-09-07

Family

ID=63856852

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880040513.1A Active CN111094095B (zh) 2017-04-18 2018-04-18 自动地感知行驶信号的方法、装置及运载工具
CN202111004387.4A Pending CN113665570A (zh) 2017-04-18 2018-04-18 自动地感知行驶信号的方法、装置及运载工具

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111004387.4A Pending CN113665570A (zh) 2017-04-18 2018-04-18 自动地感知行驶信号的方法、装置及运载工具

Country Status (3)

Country Link
EP (1) EP3612424A4 (zh)
CN (2) CN111094095B (zh)
WO (1) WO2018195150A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110126817B (zh) * 2018-12-16 2023-01-06 魔门塔(苏州)科技有限公司 一种自适应任意点与固定点间泊车或召回的方法及系统
DE102019119084A1 (de) * 2019-07-15 2021-01-21 Valeo Schalter Und Sensoren Gmbh Bestimmen eines Signalstatus einer Lichtsignalanlage
KR20210071456A (ko) * 2019-12-06 2021-06-16 현대자동차주식회사 교차로 신호 예측 시스템 및 그 방법
CN111968391B (zh) * 2020-08-07 2021-08-17 武汉中海庭数据技术有限公司 一种基于贝叶斯分类的交通灯和道路关联方法
CN112026756B (zh) * 2020-08-31 2021-08-06 重庆长安汽车股份有限公司 基于跟踪目标的危险目标选择方法、系统及车辆
DE102020126675A1 (de) * 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion im Anschluss an einem Anfahrvorgang
CN115223148B (zh) * 2022-09-20 2023-04-18 毫末智行科技有限公司 一种车辆的自动控制方法、装置、车辆、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102765365A (zh) * 2011-05-06 2012-11-07 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
WO2016020718A1 (en) * 2014-08-07 2016-02-11 Hitachi Automotive Systems, Ltd. Method and apparatus for determining the dynamic state of a vehicle
CN105976402A (zh) * 2016-05-26 2016-09-28 同济大学 一种单目视觉里程计的真实尺度获取方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2784722A1 (en) * 2004-07-26 2014-10-01 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
DE102008036681A1 (de) * 2008-01-11 2009-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen einer Übereinstimmung einer Position mit einer Referenzposition
US8411966B2 (en) * 2009-03-10 2013-04-02 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Estimation of image relations from point correspondences between images
US9070305B1 (en) * 2010-01-22 2015-06-30 Google Inc. Traffic light detecting system and method
JP2011192177A (ja) * 2010-03-16 2011-09-29 Toyota Motor Corp 前方状況予測装置
US8831849B2 (en) 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US8761991B1 (en) * 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
KR101499520B1 (ko) * 2013-05-02 2015-03-18 현대오트론 주식회사 사용자 경험 데이터의 학습을 통한 신호등의 신호 변경 예측 시스템 및 방법
US9550498B2 (en) * 2014-05-13 2017-01-24 Ford Global Technologies, Llc Traffic light anticipation
CN106251664A (zh) * 2016-09-19 2016-12-21 重庆邮电大学 一种基于dsrc的交通灯编码与状态识别系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102765365A (zh) * 2011-05-06 2012-11-07 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
WO2016020718A1 (en) * 2014-08-07 2016-02-11 Hitachi Automotive Systems, Ltd. Method and apparatus for determining the dynamic state of a vehicle
CN105976402A (zh) * 2016-05-26 2016-09-28 同济大学 一种单目视觉里程计的真实尺度获取方法

Also Published As

Publication number Publication date
CN113665570A (zh) 2021-11-19
EP3612424A1 (en) 2020-02-26
WO2018195150A1 (en) 2018-10-25
CN111094095A (zh) 2020-05-01
EP3612424A4 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
US11727799B2 (en) Automatically perceiving travel signals
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
US10650256B2 (en) Automatically perceiving travel signals
US11685360B2 (en) Planning for unknown objects by an autonomous vehicle
US11400925B2 (en) Planning for unknown objects by an autonomous vehicle
US20210356962A1 (en) Planning autonomous motion
US20180299893A1 (en) Automatically perceiving travel signals
US10234864B2 (en) Planning for unknown objects by an autonomous vehicle
US20180300566A1 (en) Automatically perceiving travel signals
CN113228040A (zh) 多级对象行进方向估计
KR102565573B1 (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
CN116529783A (zh) 用于构建机器学习模型的数据的智能选择的系统和方法
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
CN116724214A (zh) 用于生成用于自主车辆的导航的感兴趣区域的车道级地图的方法和系统
JP7380904B2 (ja) 情報処理装置、情報処理方法、および、プログラム
CN116229407A (zh) 用于运载工具的方法、运载工具和存储介质
EP3454269A1 (en) Planning autonomous motion
US20240028035A1 (en) Planning autonomous motion
CN117184123A (zh) 基于顺应先验对具有不确定测量的道路行为体进行状态识别

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Massachusetts, USA

Applicant after: Dynamic ad Ltd.

Address before: Massachusetts, USA

Applicant before: NUTONOMY Inc.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20201216

Address after: Massachusetts, USA

Applicant after: Dynamic ad Co.,Ltd.

Address before: Massachusetts, USA

Applicant before: Dynamic ad Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant