CN107077782A - 自适应和/或自主交通控制系统和方法 - Google Patents
自适应和/或自主交通控制系统和方法 Download PDFInfo
- Publication number
- CN107077782A CN107077782A CN201480082536.0A CN201480082536A CN107077782A CN 107077782 A CN107077782 A CN 107077782A CN 201480082536 A CN201480082536 A CN 201480082536A CN 107077782 A CN107077782 A CN 107077782A
- Authority
- CN
- China
- Prior art keywords
- traffic
- input
- neuron
- identification
- decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
- G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/042—Detecting movement of traffic to be counted or controlled using inductive or magnetic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了自适应和/或自主交通控制的系统和方法。该说明性实施方案提供了一种交通信息的处理方法。此外,该方法可以包括接收与交叉口相关联的车流量数据,使用神经网络技术来识别交通类型和/或交通状态,并使用该技术以一个经验信息公式来处理/确定/记忆最佳交通流决策。该方案还可能包括通过神经网络技术使用最佳交通流决策以得到高效交通流。
Description
技术领域
本发明总体上是指交通控制,具体涉及到自适应和/或自主交通控制的系统和方法。
背景技术
神经网络技术已经发展了几十年,其中通过使用模拟大脑功能的软件或电路来解决实时计算的问题已得到解决。人类大脑包含大约1000亿个神经元。大约30亿个神经元专用于视觉皮层,只是大脑的几个感觉输入来源之一。使用神经网络技术的小到中等人工智能系统已经成功地用于许多现实应用中,诸如用于工业过程分类或质量控制功能的模式识别,以及实时导航和躲避碰撞系统,其结果已达到或超过人类的能力。例如,DARPA已研究出使用神经网络技术的自主车辆,旨在穿过广阔的危险沙漠地形或通过城市道路。
人脑和人工神经网络都能存储记住的视觉图像、其他感觉输入及其相关序列并根据那些感觉输入来进行实时预测(即决策)。如同具有比人类更小的脑部的其他适应性强的动物一样,适度大小的人工神经网络系统可以在有些工作上表现的很好,前提是这些工作与“大脑”尺寸相匹配。交通信号灯控制器在现代社会中发挥着重要作用,并且对于新兴的神经网络技术而言,是一个很好的技术挑战。
目前,量产的实用性固态设备为许多现实问题提供了经济的解决方案。当前的和已提出的固态技术,例如闪存和忆阻器设备,提供了极高密度的、模拟的、非易失性存储元件,非常适合于构建高密度固态模拟神经网络设备。具有40亿个晶体管或更大尺寸的典型闪存阵列可以产生具有400万或更多个神经元的神经网络设备。虽然人类大脑能够进行令人难以置信的复杂模式识别和预测,但具有少得多的神经元的人工智能系统却可以完成重要的现实世界任务。当前,固态神经网络设备通过利用诸如借助集成数字信号处理(DSP)模块减小输入数据流的大小等技术,可以缩小人类和人工神经网络技术之间的差距。
人工模拟神经网络具备识别引擎,通常采用K-最近邻(KNN)或径向基函数(RBF)非线性分类器,或两者同时采用。虽然KNN分类在仅寻求与识别模式最接近的匹配的应用中是有用的,但是RBF分类凭借其“是,不,或不确定”的输出状态在交通控制应用中显得尤为有用。除了具有这种DSP和分类模块之外,当前的固态设备还可以通过互连实现更大的、多层的神经网络。因此,本发明的内容可以利用现有技术,或者利用具有更大神经元容量的未来设备,或者利用具有本文描述的所有技术的未来完全集成的固态设备来实现。
此处所提的系统和方法的某些优点对具有自驾经验的读者而言是显而易见的。其中,目前的车辆传感器对驶入车辆的识别并不准确,迫使交通流在交通信号灯改变之前中断。或者,如将要提出的,旨在提供预先交通流量信息的传感器不能完全理解驾驶员意图,导致当前交通灯控制系统做出了不正确的决策。虽然混合动力汽车技术可以通过捕获车辆停止时可能失去的能量来提高效率,但其在调节交通流量以最大化总吞吐量、最小化累积的车辆等待时间方面更有效。车辆等待时间等于乘客等待时间,因此改善的交通流量可以使得燃油经济性和驾驶员生产率等方面得到改进。本发明的创新包括能够提供综合的交通控制系统功能,例如各种特征和各方面功能的完全实现。
其他方面和与总体系统性能相关的创新相一致,而这些总体性能由通过神经网络进行的实时、并行识别和交通流决策选择而决定的。与人类观察者或交警一样,交通流需求的一个全面、总体的图像产生通过交叉路口的最佳交通流的即时决定。因此,根据一些实施方式,神经网络的中间层级聚集这样的总图片,并根据该图片选择特定的最佳交通信控配时。通过一个完全集成固态装置的系统,可以实现比现有的基于数字处理器实现算法的系统好的多的性能。
发明内容
本发明的各方面可以包括或涉及用于提供对要求通过交叉口的所有类型的交通的高精度识别的系统和方法,以添加和改善对这种交通的识别,优化通过交叉口的优先流量,和/或适应新的交通类型、技术、优先级和/或交通流需求。在一些实施方式中,神经网络阵列可以用于存储识别的交通对象及其交通流模式,使得能够由本地交通信号控制器进行自主交通流控制而不使用系统范围内的、中心同步或静态的预定数字控制算法。
缺点可以根据本发明的各方面通过提供用于交通信号灯的改进的控制系统和方法来克服,这将能对驶入交通的类型和意图做出更好的决定,同时通过人工智能方式,以具有实时自适应学习能力和可升级性的基于控制器的神经网络的形式,来减少初始安装和长期升级成本。
因此,与本发明的一个或多个方面相关的优点包括具有优于数字控制系统固定算法的、能够优化交通流控制的实时自适应能力。
根据一些实施方式,可以通过没有外部人工干预或与附近系统的定时同步的自主操作来实现更多的优势。
与其它实施方式相关的优点包括为传输到自主信号灯的所有类型的交通流提供更优的信号控制检测以及更优的交通流性能。
本发明其它进一步的优点包括设计和方法,这将能够把本文所述的能力以最低成本、高性能、固态的方式实现。
本发明的系统和方法的另外的优点依赖采纳数字逻辑功能的新兴低成本神经网络阵列的大小来实现,以通过消除数字组件成本和数字处理延迟以最低成本来提高性能。
本发明的其它方面可以结合本文所述和/或通过所附说明书,附图和权利要求书提供的附加实施方式来看到。
附图说明
通过结合附图,阅读以下对本发明的更具体的描述,将更好地理解本发明的上述内容、其它方面、特征和优点,其中:
图1是与本文所述发明的一个或多个方面相一致的具有说明性的系统框架图。
图2是与本文所述发明的一个或多个方面相一致的公共交通信号灯布置和传感器阵列。
图3图解了具备先前系统限制的典型信号灯的结构。
图4表示能反映本发明一个或多个方面有效功能的交通信控配时示意图。
图5表示能反映本发明一个或多个方面有效功能的另一交通信控配时示意图。
图6详细描述交通对象分类、交通类型分类、单个和成组交通对象当前状态分类以及交通系统网络输入集合,并可用在与本发明的一个或多个方面相一致的神经网络系统训练算法中。
图7描绘与本发明的一个或多个方面相一致的、用于初始系统配置的说明性过程的流程图。
图8描绘与本发明的一个或多个方面相一致的神经网络阵列训练流程图。
图9描绘与本发明的一个或多个方面相一致的说明性系统的启动和运行的操作流程图。
图10A-10B分别是与本发明的一个或多个方面相一致、由神经网络执行的更高级别的识别处理的结构图和流程图。
具体实施方式
现在将详细介绍本发明,其示例在附图中给出。以下描述中阐述的实施方式并不表示与所要求保护的发明相一致的所有实例。相反,它们仅仅是与本发明相关的某些方面相一致的一些示例。本文已尽可能地在整个附图中使用相同的附图标记来指代相同或相似的部分。
图1显示了包括所有主要功能元素、主要输入源和状态/控制输出目的地的系统结构图。根据一些实施方式,由虚线102包围的元素代表一组完整的组件/功能,通过这些组件/功能,本发明的各方面可以在几个集成度的一个中实现。一些当前技术可以用于实现多芯片固态实施中,而新兴的高密度固态神经网络设备可以实现更高的集成度,未来实施中可使用单片固态设备。
本文所述系统可以利用本地输入/输出[I/O]模块104来实现,本地输入/输出[I/O]模块104将单向或双向信号数据或控制信号发送到交通控制系统的本地传感器和设备中。模块104可以包括模数(A/D)转换器,使系统所得的所有输入可以用数值表示,包括来自模拟传感器的那些输入数据。同步系统过程还可以包括多个系统时钟106。例如,微处理器108和数字信号处理[DSP]元件110的核心处理元件可以在最高频率下操作,而主存储器(112,114)和系统数据总线周期116可以更慢,通常是这些核心处理器频率的几倍。进而,实时图像捕获频率通常可匹配神经网络识别引擎或分类器118的周期时间,比那些先前处理的周期时间要低。可以是这种类型的时钟的几倍,或者它们可以作为数据集或“上下文”的函数被门控到本地I/O模块的特定寄存器,对于该数据集或“上下文”,训练特定的神经元集合来识别。例如,神经网络识别从所有方向进入交叉口的交通,使得不同的“上下文”可以用于在交通流之间进行区分,特别是在俯视摄像机监视控制多个方向的情况下。当不同交通方向的传感器阵列只有一个时,可能还需要其他“上下文”。因此,在典型的交叉口,神经网络可以针对传感器阵列的每个数据捕获周期运行4个识别周期,每个方向一个。最后,可使用系统时钟的一些可编程计数通过可编程定时器模块120输入到可编程定序器逻辑122来改变信号灯的定时。附加的时钟序列可以使I/O与独立的外部系统同步,例如具有用于应急响应车辆(ERV)和高占用车辆[HOVs]的标准化的“高优先级”信号控制协议的无线电通信。由可编程定序器逻辑122的输出所指挥的外部电源和开关继电器124驱动交通信号灯126的各个透镜灯。
可以根据需要加入数字信号处理(DSP)模块110,也可以减小视频和其他传感输入的大小以匹配输入到神经网络阵列的寄存器的数据的大小。数字域存储器可以包括可编程非易失性存储器112中的一个或两者(例如闪存),和诸如静态RAM的动态工作存储器114。固件可以被配置为包含用于微处理器的系统监控代码的控制代码,用于优化神经网络阵列性能的训练软件,和/或系统控制数据参数,诸如写入可编程定时器模块120数据值。分类器逻辑118可以用于神经网络阵列128的输出,并且在本申请中,可以是最适合于交通对象识别和交通流控制决策的径向基函数(RBF)类型。神经网络训练过程可以配置额外的神经元作为新的训练样本,同时调整与样本相关的要被识别的对象的距离或“影响场”,使得每个神经元仅识别对其进行训练的特定样本。零距离意味着新输入数据和存储向量之间的精确匹配。分配给相同“上下文”的所选择的一组神经元可以为学习对象、模式或决策的预定类别定义一个“识别引擎”。在给定的上下文中,特定于神经元或该上下文的神经元集合的子集的训练被分配一个“类别”,以在该类别内区别于其他对象、模式或决策。训练多个不同的神经元以产生随着要学习的对象的数量和所需的识别结果的精确度而变化的识别结果。
在一些说明性实施方法中,有效RBF分类器输出可以被分为3类:“已识别的”,某些具有学习距离,即神经元的影响场,用于一个或多个所有属于特定类别的神经元,这里指定为“Match 1”;“不确定的”,可能与指定为“Match 2”的不同类别的2个或更多个神经元的存储向量匹配;或“未知的”,即在该上下文中所有当前训练的神经元不能识别的输入向量。当在交通信控区域中没有活动时,即当没有什么可识别时,也将出现未知的结果。Match 1和Match 2是相关联的,其可以用于触发中断或返回到微处理器以发动交通信控配时或定时的改变。可编程互连逻辑130用于选通与微处理器作用的匹配,主要是最高级交通优化决策。
神经元可以被训练来识别呈现给他们的任何向量。通常,这些向量在系统数据总线上同时呈现给层级的大多数或所有神经元,即从视频输入识别单个交通对象。正如人类的大脑,然而,可以训练其他神经元识别序列。可配置的I/O 134能够训练序列。来自特定神经元的分类器逻辑输出可以以可编程速率(即作为一个或多个系统时钟的函数建立的速率)采样输出各种低级神经元,并且可以存储在可配置I/O中的移位寄存器中。这样,来自那些神经元的分类器结果序列可以被组装成可用于神经网络分层结构的较高层中的神经元的输入向量。神经元输入向量可以作为字节序列加载,直到达到神经元实现的最大向量大小。某些较高级神经元可以通过可编程互连逻辑进行连接,以识别来自较低级神经元的交通状态,例如在识别对象的相对速度或分组的情况下。可配置I/O可以包括用于这种较高级神经元的数据缓冲器,用于组装来自并行的多个较低级神经元的输出数据。
用于训练神经网络阵列的常见方法是反向传播,其中在权重中,对特定神经元的单独输入由迭代过程确定,该迭代过程产生用于识别结果或决定的输出,它们由对象、环境状态或决策的正确识别的原型样本所定义。训练数据集,包括被肯定识别和被拒绝的计数器样本的有效向量,都可以在训练过程被呈现给神经网络。在其结束时,训练具有适当影响场的适当数量的神经元以识别应用所需的对象、模式和决策。因此,训练数据集的设计和优先权重对系统的性能至关重要。
先前已经提出了模糊逻辑和基于神经网络的系统作为交通灯控制器的决策引擎。类似地,神经网络训练算法本身被很好地记录,因此这里不讨论。然而,本文中的系统和方法包括与配置非常大的神经网络阵列相关的系统级能力。其中,具有这种大容量的系统和方法可以涉及或支持以下各项中的一个或多个:个体下层神经元的训练特异性;可使用更高级神经网络层增强系统能力的附加类别的识别;和/或支持系统的定制、优化和低成本升级能力的架构。本文的系统和方法提供的另一个显著能力是通过为此目的保留备用神经元来实时地利用全系统功能重新训练个体识别引擎的能力。
与决策优先权权重相关的考虑,特征和功能可以是当前创新的显著方面,这将在随后的附图和表中部分描述。根据某些实例,神经网络阵列的优点是并行处理,使得特定输入向量同时被该分层级中的所有神经元处理,使得唯一识别结果出现在一个识别引擎周期内,远远快于通过数字计算的方法。神经网络阵列的最低阶元素的这种立即识别可以对交通对象类型进行实时分类。类似地,神经网络阵列的更高级中的交通流模式的实时识别,通过聚合进入或存在于特定交通信号灯的相关交通控制范围内的交通对象的当前状态来产生对特定交通状况的识别。可以训练其他中间水平的神经网络阵列以相对于本地交通区域和任何更宽的中央交通网络系统的需要来识别唯一的个体特征、分组的交通对象和附近的输入交通。神经网络分级的最高级别可接收由可编程互连逻辑130选通的用于选择的选定低级神经元的输出,当适当训练的神经网络在当前条件与特定决策之间产生匹配时,可用于选择特定的最佳交通流决策。该决定是一个或多个最高级神经元的触发或“Match1”分类,与一个特定的可编程定序器逻辑子序列入口点和可编程定时器模块数据集相关联。微处理器108可以从存储在固件112中的系统控制数据检索这些定序器入口点和定时器模块数据,并且可以将这些数据写入可编程定序器逻辑112和可编程定时器模块110的输入寄存器中。在一些简单的系统中,可编程定时器和定序器可以软件程序实现,其输出结果存储在微处理器寄存器中,其被写入连接到信号灯电源和开关电路(124)的简单的外部硬件锁存器。
现有的神经网络架构提供并行向量输入;可以识别下一个可用的或准备好的神经元的回滚方法;和在给定层级中和本发明中都有用的神经元之间的信号传播。早期的实现方法可以使用较小的神经网络阵列的组合来实现最小的所需层次级别和大小,但是这样的方法不具有通过可编程逻辑(诸如利用本文的系统和方法)进行无限重构的非常大的神经元阵列的升级灵活性。与本发明相一致的直接可编程互连可以通过使所有网络层级并行操作来提高性能。
本地输入包括传感器阵列140,传感器阵列140可以包括在提供交通信号灯观察点的交通灯处的各种更新类型的传感器,预先存在的输入(如人行横道按钮和重量或感应线圈车辆传感器142),以及/或其他数据捕获设备(如也可以用作交通违章记录设备的偏移视频摄像机144)。
本地I/O模块104可以被配置为处理数字和模拟信号,并且具有足够的备用信道,其可以被分配给未来的设备以支持升级。这些信道中的一些是双向的,使得控制命令可以发送回特定设备,例如视频记录模块。
根据定义,系统总线116是双向的(如图1所示),可以将微处理器108、数字存储器(112,114)与通信接口132、可编程互连逻辑130、神经元分类器逻辑输出118、可编程定时器模块120和可编程定序器逻辑122连接起来。
可编程互连逻辑130可以被配置为将所需数量的神经元分配给两个或更多个分级级别中的每一个,以配置它们之间的互连。可编程性可以升级以改进神经元分配和层次,因为开发改进的流量控制方法被不需要硬件改变。可编程到可编程互连逻辑130中的另一功能是连接从神经网络阵列检测到的“匹配”和微处理器108,用于改变交通灯序列和定时。
类似地,可编程排序器逻辑122可以被配置在为每个正交交叉路口特定的行车道和信号灯配置定制的初始交通信号灯设施中。样本序列在随后的附图中讨论。可编程定时器模块参数的默认初始值与序列一起在初始信号灯安装时配置的。这提供了在传感器阵列装置、微处理器控制或神经网络阵列功能失效的情况下的“FailSafe”操作。与本发明一致的交通信号灯可以根据默认条件程序的定时和信号灯序列以与许多现有交通信号灯相同的方式继续操作到可编程定时器模块120和可编程定序器逻辑122中。
如前所述,关于本发明的其他特征,神经元阵列互连逻辑、定时器模块和定序器逻辑的可编程性具有可升级性,但没有对基本信号灯控制器的任何硬件进行更改。
可编程定序器逻辑的当前和下一状态表可用于将状态传送到类似的相邻车辆灯光控制器150,以如本发明中所描述的或者与进入的交通对象车辆交互通信的交通流优化。
通信接口模块132可以是可配置的,以提供变化的功能。它可以为所有远程输入和输出提供接口。例如,如前所述,附近的类似交通灯控制器150的交通对象和交通对象组的当前状态和状况可以用于优化在该特定交通信号灯处的交通流量控制。同样,信号灯定序器和较高级组交通对象位置和速度的当前状态信息的输出对类似的相邻交通灯控制器是有用的,用于在每个交通信号灯位置处优化交通控制。因此,每个交通灯控制器以完全自主的方式操作,同时与较大交通中的其他类似控制器协调控制网络系统。代替交通控制网络信号灯阵列的固定信号控制协调,每个交通信号灯控制器可以配置有用于接收和处理关于对本地和附近交通流状态的多样性的认识的信息的组件,并且用于做出最佳的自主决策,用于特定站点的交通控制信令。
通信接口模块132可以被配置为到远程命令中心152的导管,用于实现本地站点的本地系统升级或系统范围的控制。在一些实施中,中央交通流控制算法可以指示最佳的系统范围的交通控制需求,迫使本地交通信号灯序列进入特定状态。因此,来自中央网络宽命令中心的该通信接口允许通过中央命令抢占本地系统。根据需要,正常的自主操作可以通过初始设置和来自远程命令中心152的周期性更新来优化。这些包括通过在最低分层级中重新训练或训练新神经元来改变传感器到特定神经元的配置;经由对可编程互连逻辑130的更新对神经元到神经元连接的配置的改变;将更新的外部获取的训练下载到RAM 114中以直接编程到特定神经元128中;将新的训练算法下载到系统固件112;使用下载的训练算法在该特定交叉点处启动训练会话;和/或写入到可编程定序器逻辑122中的序列和定时集合的改变,并且固件112控制用于可编程定时器模块的数据120,等等。
本方案可以包括一个外部无线电天线阵列,并且可以被设计为捕获特定控制器可能需要的所有相关通信协议的频率,包括用于标准化ERV和HOV通信的宽带数据通信(例如WiFi)和频率。类似地,系统的通信接口模块可以包括用于诸如WiFi的所需标准化数据通信接口的数字逻辑。本系统还可以被配置为使微处理器免于监视专用信号。如前所述,一组系统时钟定时可以用于将来自无线电天线阵列的数据捕获,与诸如ERV和HOV请求的专用信号的定时同步。数据可以直接馈送到比被训练以检测由ERV或HOV发送的信号抢占请求的唯一序列的神经元更高的级别。通过神经网络识别这样一个独特的信号,可能会产生一个唯一的中断请求微处理器,然后开始用于验证和执行抢占请求的任何所需的认证过程。类似地,被训练来识别感觉输入神经网络的任何组合,可以用于触发由微处理器108监督的专用控制序列的中断。
系统的本地非易失性数字存储器112可以存储用于优化神经网络学习的训练算法软件。如前所述,通信接口132可以中继来自远程命令中心的命令,以根据当地交通流量条件的变化,继续学习或重新优化交通流量。通过相同的接口,改进的训练算法可以在任何时间下载到非易失性数字存储器112。此外,通过在远程站点的类似控制器的仿真获得的训练,可以通过微处理器108以局部阵列中特定神经元的特定模拟加权的形式,直接下载到神经网络阵列。类似地,远程模拟站点处的交通流量控制决策可以被下载为神经网络阵列层级的更高级中的适当神经元的模拟加权。因此,本文中的系统和方法可以在任何时间点基于在本地站点获取的新学习或从远程位置训练上传的学习进行升级,而无需本地控制器的硬件改变。
由微处理器108执行的基本固件可以启动编程到可编程序列器122中的默认交通信号灯控制序列,以在感觉阵列或神经网络控制故障的情况下提供故障保护操作。在这种故障的情况下,甚至可以由微处理器监测预先存在的传感器,诸如常规车辆传感器(如,感应/环路传感器,重量传感器等),使得与当前的常规交通信号灯可以在FailSafe模式下实现。这样的FailSafe模式还可以用于基本启动操作或者每当没有交通活动时检测。
图2展示了用于具有带有交通传感器阵列202的专用左转车道的双车道公路的典型交通灯配置,其与本发明具有一致性。如图所示,在这种情况下的常规交通信号灯204具有标准化的红色、黄色和绿色信号灯,其下方具有绿色左转指示灯。其他常规部件是在用于行人过路处的灯杆处的重量或感应线圈车辆传感器206和机械开关208。重量传感器可以是物理重量测量装置,但是最常见的传统实施方式是“感应线圈”,其对包含铁磁材料的运输物体的简单阈值检测是二值化的,即存在或不存在。这些通常需要被校准,并遗漏一些交通对象,且显然不能检测到缺乏导电(例如铁)材料的交通。如果电感的模拟值被直接感测并且呈现为二值化,则电感可以提供感测由在传感器处检测到的导电材料的近似重量的替代装置。包括在附图中的其它符号仅用于概念上的理解,而非提供详细的机械表示。可以包括水平悬架臂的左侧210和右侧212的视频摄像机,并且可以提供用于识别交通对象位置和距离的理想视差视频输入。或者,单个正面摄像机已足够用于大多数目的。标记为“俯视视频”214的另一相机可以提供用于识别行人和/或潜在交通信号灯违章者的附加数据输入。具有足够宽的角度,这样的相机可以捕获所有方向的行车交通,并且可能消除对其他视频相机的需要。如前所述,包括无线电天线阵列204以捕获到达和来自交通灯的所有标准化数据通信和特定无线电信号捕获和传输。作为用于专门的抢先信号控制的无线电信令的替代,特定的音频模式,例如来自ERV的警笛,可被感测为可由神经网络识别的附加数据类型,如图1中的音频传感器216所示。本系统可以设计成具有足够的备用神经元容纳来自各种源的另外的感觉输入,如由图2中表示捕获红外线[IR]或其他电磁光谱218的符号。附加光谱的捕获可用于检测较高水平的交通特性,例如估计任何给定车辆中的乘客数量。类似地,提供可靠的车辆距离和速度数据的雷达单元220是可以配置的,但是应当注意,如在别处所描述的,雷达单元的这种增加的成本可以通过更简单的感觉输入和相对车辆位置和速度的更高级神经网络识别之间的组合来消除。除了速度和距离计算,雷达单元可用于改进的交通对象分类。与IR或其他光谱传感器输入一起,由进入的交通对象返回的唯一雷达信号可用于在黑暗或恶劣天气条件下将它们分类。多个神经元可以被分配给由不同传感器在不同条件下识别的交通对象类的每个唯一“匹配”。彻底的实验将产生关于任何给定交通控制环境的性能与成本的传感器阵列和神经网络容量的最佳配置。
图2中的另一个符号表示后视摄像机位置222。如现有技术中所述,这通常用于附加数据捕获,以用于交通信号违规检测和记录。这种摄像机安装的另一个目的是处理其中局部交通信号灯区域的可见性被升高的路面区域或其他物理障碍物阻碍的情况。在这些情况下,改进的交通信号灯控制器的传感器输入以更低的成本产生比传统传感器(例如巷道嵌入式感应传感器)更大的交通流。
本发明的独特性是可以利用在许多情况下优于常规巷道嵌入式感应传感器206的任何和所有视频捕获设备。本发明在针对摩托车和自行车出行者的检测中是远远优先的,传统的传感器通常检测不出这些人。对已学习的视频图像的神经网络识别能为交通控制系统提供这些交通信号灯用户的高可信度识别。虽然当代思维可以继续为这种类型的交通指定最低的优先级,但是正在进行整体燃料经济性的措施将激发为这种类型的交通提供最有效的交通控制的愿望。本系统和方法的优越的扩展的交通对象识别通过放置使交通交叉路口最大化,并且最小化所有交通对象的交通停止,包括那些没有被传统传感器检测到的交通。
图3显示了在城市地区中更常见的另一个典型的交通灯配置302,其在每个方向上具有两个或更多个交通车道和专用左转车道。专用左转车道信号灯304通常仅包括与置于直通车道(306,308)上的标准信号灯相同的红黄色和绿色以及方向的左转箭头,因此提供特定于左转车道交通的交通控制命令。如图3所示,现有的常规交通交叉口装备有以显著的初始成本嵌入在道路中的重量或感应线圈传感器,更不用说修改或修复这种传感器所需的大量持续成本。基本交通流预测能力通过放置额外的这样的传感器来提供,所述额外的传感器在距离交通灯一定距离处偏移,足以触发信号灯序列进行更改以适应驶入交通。先前描述的几个较新的交通传感器可以以远低于当前现有技术那样需要道路重建时所产生的成本在交叉口处安装。
该图还表示了本发明各方面的优点,如由中心贯穿车道中的车辆320所示,其左转向信号灯闪烁。由于已经触发了最远距离的偏移电感式传感器310,交通灯状态改变为绿色,允许交通在车辆的两个贯穿方向上通过交叉口,只要在假定车辆320将直接行进通过交叉口的过程中没有检测到来自正交方向的竞争交通。在当前系统中,直到车辆320穿过左转车道传感器310才检测到驾驶员左转的意图。在这种情况下,现有技术的这种标准交通流决定是错误的。完全遵从此驾驶员的意图需要识别驾驶员进行左转的信号,在启动其他三个方向上直行交通红色(停止)指示灯的同时启动具有绿色左转箭头的信控配时或同时允许该左转车道和与其相对的左转车道通行本发明可以适应这种驾驶员意图的交通信号灯序列启动和更高级神经网络识别,以在这种情况下通过将转向信号指示并入存储在较低级神经元对象识别中的集合交通对象中来做出最佳交通流量决定。该交通信号控制能力的另外的好处是让出行者使用他们的车辆转向信号指示灯来向交通控制系统和他们的驾驶员发出他们的意图。而放置远处传感器(316,318)目的改变交通信号灯状态,在没有神经网络识别驾驶员意图的情况下会做出错误的决定。由于实时识别和决策,神经网络选择最优交通流量控制在车辆的状态被识别为具有左转指示灯闪烁之后立即进行判定。
图4给出了可以被编程到交通信号灯控制器的可编程定序器逻辑中若干交通信控配时中的一个,并且描述了图2所示的拥有一个直行和一个左转专用道的交叉口的信控序列。值“1”表示左栏中指示的交通信号灯为“ON”的状态,其中左转箭头[左转红色、左转黄色、左转绿色]实际上可以表示占据单个交通灯的第四或最低位置的左转箭头灯的不同状态,如图2中先前所示。
图4描述了首先允许来自两个相反方向的左转交通的开始,随后是停止沿正交方向的交通的那些相同方向上的直行[直线]交通。它应该被视为两个独立的序列,其可以标记为“左”和“两个”。状态1和10可以被描述为“ALL STOP”状态,在一些实施方法中,状态1是基本状态,可以启动信控配时。程序交通灯序列器可存储任何特定交通信号灯和方向组合所需的所有有用信控配时。用于该方向的该相同交叉点的交通的其他序列的示例包括:a)交换这些子序列以允许“两个直行”,随后是“两个左边”,b)单一左转和来自一个方向的直行交通,随后是“两个直行”,可能后面是单个左转和来自另一个方向的直行交通,或c)这些的子集,所有这些都配置在现有现有交通信控配时系统中。前面提到的“FailSafe”模式可以使用完整的子序列集合,确保来自所有方向的所有交通车道被给予最小指定的绿灯时间。一些时间间隔被编程为“ALL STOP”状态作为所有编程的子序列之间的边界,使得任何子序列可以在任何其它子序列之后被选择,并且使得信号灯可以在紧急情况下保持在“ALLSTOP”中。
与本发明的一个或多个方面一致的优点是学习和识别来自汇聚在交叉口上的所有方向的详细的交通流模式集合并且用于管理最佳交通流,通过使用特定的神经网络训练产生最佳的交通流结果(例如最小车辆等待时间,最大车辆通过量,最大乘客加权通过量或车辆吨位通过量)。对神经网络的较高层进行训练的独特交通模式识别产生独特的输出,系统使用该输出来选择序列和可编程定时器基值,微处理器加载到定序器和定时器中。
图5给出了图1所示的多车道交叉口中典型的另一组交通信控配时。这里,状态#1和#12是基本的“ALL STOP”状态,并且序列可以标记为“单一左转和直行”,随后是“相反的左转和直行”,状态#13指示第三子序列的开始,来自两个相邻正交方向之一的“左转和直行”命令。这些不是详细的子序列集合,并且仅被用于说明特定交通车道和信号灯情况的重点序列。还可以从基本“ALL STOP”状态中选择任何子序列,从而产生针对面向交叉口中的每个方向的所有信号灯启动整体序列的能力,以获得最佳的总交通流量。状态#3表示在该箭头透镜的黄色“注意”状态之前的闪烁的绿色左转箭头,用于向该左转车道中的驾驶员提供下一状态警告,如现有技术中所述。类似地,状态#7表示在相同方向上的直通车道的圆形绿色透镜在改变为黄色“注意”状态之前也闪烁。当前的创新可通过训练增加新的安全水平用于速度和距离识别的更高级神经元,由此可以实时更新可编程定时器值以修改用于冲突避免的信号灯定时。相同的预测可以用于交通信号灯违章检测和报告。在现有技术中已经描述了避免碰撞和交通违章检测,但是本发明的实现在配置用于这种检测的高容量神经网络和最小芯片固态实现方面是独特的,提高了超过现有数字计算方法的性能。
图6根据说明性系统和方法列出了作为四个层级神经元层的函数的神经网络训练数据的示例。这绝不是具体的具体实施;相反,它仅作为一个例子,提供插图和讨论的目的。需要传感器阵列数据收集和神经网络识别能力的详细特性来定义有效的和最佳的配置。在这样配备的系统中,非常大尺寸的神经网络可以存储足够多的单一的车辆图像向量,以较高百分比精确匹配[Match 1]识别当前使用道路的车辆。对于这种应用更常见和足够有用的是汽车工业中通常使用的车辆的分类,例如轿车、卡车或SUV。特定类型车辆的详细分类,如混合动力车或电动车[EV]可用于在更高的神经网络层级水平的交通控制决策。类似地,摩托车和自行车的高置信度识别通过训练层1的神经元来实现。本发明在这方面是有足够优势的,所有这些高效率的交通出行方式都可以影响交通流决策。如前所述,音频或频率特定的无线电信号可以被层1的神经元输入和识别,以启动覆盖ERV或HOW的交通信号灯序列的优先级。可以采用多层1神经元来识别每个进入的交通对象的相对位置以及对象本身的识别或者与训练为识别特定交通对象类型的其他神经元结合。
为了达到多个交通对象类型的距离和位置识别的目的,神经元训练可以在视频传感器内具有若干不同的字段,其中训练不同的神经元以识别这些特定位置中的任何数量的交通对象类别。这些神经元被分配给相同的上下文,形成用于识别特定对象类别(位置和距离)的“识别引擎”。如图2所示的来自右和左或立体的相机的视频数据流对于位置和距离的识别特别有用。
将其他神经元组分配给其他识别引擎或上下文,以及用于详细交通对象识别的上下文中的特定类别。将显著不同的交通对象类型(例如私家车、商用车和自行车)分离成单独的识别引擎或上下文可能是有用的,因为这可以有助于更高级别的交通流决策优先化。因为相对视频输入字段的大小,可能有用的是将唯一的神经元分配给小交通对象(例如自行车)的各种组群的大小。例如,可以训练网络来识别三个自行车组对象:单独骑车者,两个新的骑自行车者或者三个或更多个的组。这可以是用于识别骑自行车者的最佳方法,全部在层1分层结构内,与在较高的神经网络层中聚集交通对象组相反,如在较大交通对象的情况下。这图解了将神经元分配给特定识别任务所需的实验和判断。
对于给定的识别上下文和交通对象类别,控制系统可以输入各种类型的传感器输入。例如,如前所述,除了高度精确的位置信息之外,雷达阵列还可以提供唯一的交通对象特征。这些雷达数据可以作为大输入向量的一部分与视频和其他传感器输入结合地输入到神经网络阵列,或者它们可以被分别馈送到具有相同上下文和类别的其他专用神经元中,可以随所选择的输入传感器阵列或神经网络阵列的大小而变化。如前所述,对于每个进入的交通方向具有分配给专用神经元组的单独的上下文可能是有用的。
尽管车辆的位置可以隐含在特定的学习过的交通对象识别神经元中,但是可以训练单独的神经元以识别与对象无关的位置,即,在用于距离和位置的专门上下文中分组。当任何类型的交通对象被识别为接近交通信号灯的特定区域时,这些神经元可以被训练以发射。通过累积位置数据,可以训练更高级神经元以识别接近交通的相对速度,以便于作出及时的交通流决策。类似地,多个车道之间的位置对于更高级别的决策是有价值的。附加的传感器输入还可以识别车辆占用。对进入交通的高占用状态的识别可以基于乘客而不仅仅是车辆来优先和优化交通流量。可以训练其他神经元来识别车辆转向信号的活动状态,如前所述,可以通过更好地理解驾驶员的意图来改善交通流。
在该示例中的层2神经元训练通常涉及识别多个交通对象的特征或其与交通交叉口和附近车辆的关系。研究已经表明,当车辆被分组成“队”,现有技术描述了特定的交通信号控制器,其被强制排列形成并相应地调节交通流。本发明在这方面是优越的,因为层2识别自动检测自发形成的排可以给予交通信号优先级。类似地,从附近交叉口识别车辆组特征可以在更宽区域上优化交通流量决策。在层1中识别的交通的序列可以在多个信控周期上累积,以生成交通对象等待时间和相对距离以及驶入交通的速度的识别。当单个行人的速度和位置被识别为处于危险中时,顶部摄像机可以观察到行人流量并调整信号定时,如现有技术中所述。如前所述,交通对象组的识别也可以被发送到附近的类似控制器以优化更大区域上的交通流。本发明的各方面的独特优点是所有类似的控制器自主地操作而没有复杂的、低效率的定时和序列或集中控制,同时仍然利用来自更宽的交通区域的信息。
层3识别的样本包括诸如多个传入交通对象的平均速度、总等待时间或累积乘客占用率的更高级别模式。还可以包括来自诸如中央网络范围控制站的高级输入。这是在该样本中识别各种传入交通的组合的最高识别等级。基于这些聚合流量交通识别的高级优先级排序可以纳入训练,以调节来自各个方向的交通流量。
此外,根据该说明性实施方案,可以基于来自所有较低分级层的输入来训练层4神经元以识别最佳交通流决策。可编程互连逻辑130可以路由从特定神经元路由到用于神经元的特定层可配置I/O的数据。可编程定序器122和定时器模块120的当前状态信息还可以为检测潜在交通违规者或交通碰撞的层4神经元提供关键输入。用于层4神经元的训练算法可以寻求最佳交通流决策,从而产生用于所有交通对象的最小等待时间和最大总交通吞吐量。对编程到定序器中的每个子序列训练一个或多个层4神经元。类似地,每个子序列可以具有两个或更多个定时集合,每个定时集合训练为识别最佳定时决定的一个或多个第4层神经元,包括当检测到交通灯违章者时的“ALL STOP”状态中的定时保持,防止交通事故。微处理器108加载用于特定交通信号灯子序列的适当命令和分配给特定第4层神经元的可编程计时器的值,从而实现最佳交通流决策。
如前所述,训练可以强制交通流量决策,其优化交叉口的乘客吞吐量,这在许多城市环境中是优选的。或者,培训可能强制决策,优化了燃料经济性,在是工业区优选。例如,大型拖拉机-拖车钻机,司机是唯一的乘客,在通过一些交叉点可以给予优先权,以避免停车浪费燃料。具有讽刺意味的是,在这些区域中,更有效的运输模式,例如自行车,摩托车,混合动力车,电动汽车或甚至多座客车,可能被停运,以便促进更高的总重量车辆的更高乘客吞吐量。因此,高级别交通流决策训练是每个自主式信号灯控制器特定的。只要将额外的感觉输入或车辆类别添加到系统或当交通流优先级改变时,训练就可以更新。交通灯控制器由此适应了本地交通区域随时间的需要,而不需要对控制器本身进行硬件修改。
此外,在其他实现中,训练(训练算法)可以强制决策,其优化特定方向上的交通流。例如,训练可以作为特定时序机制的函数来操作,诸如作为定时序机制和/或可变时序机制的函数改变加权/操作的时序机制。此外,交叉点可以具有在一个或多个方向或车道上是定时控制,在其他方向或车道是可变的。
图7逐步总结说明了与本文创新性一致的初始系统配置的过程流程。图7中描绘了包括各种可选方面的代表性四步骤过程,但是没有示出过程决策分支。图7包括在左侧示出的可以以多种方式实现的各种主要元件,而在右侧的虚线框内示出其他更可选元件,表示根据各种实施方式的详细步骤,使用在本发明的公开的时间框架中可用的硬件和软件。
根据图7的示例性实施方式,初始步骤可以包括处理系统架构信息,702。可以包括各种手动和/或计算机化信息分析的这种处理的期望输出或结果可以包括具有交通交叉口信号灯的工作定义和用于神经网络阵列实现的传感器硬件和/或一般计划,以使得此外,在一些实施方式中,这些参数可以在本发明的范围之外被建模,其中系统架构的定义以一些标准化格式被递送,因此系统架构信息的这种处理被示出为是可选的。此过程流程的详细步骤显示在右侧,从定义交通灯序列和该特定交通灯配置的相关定时器值开始。接下来是传感器阵列装置的清楚的表征和分配,其中感测装置的能力被量化并映射到将训练神经网络的识别上下文和类别。用于识别交通对象的细节和类别受到神经网络实现的大小的限制,并且可以包括任何或所有先前描述的特性,包括可能影响优先化的交通对象的细节,例如小汽车或多座客车的指定。除了识别各个交通对象及其相关类别之外,可以分配其他神经元组以检测相对于交叉点的距离和位置。还可以分配其他神经元以识别定制的小汽车/多座客车优先级输入。
训练最高级神经元层以检测交通对象状态,例如车辆分组和速度。这需要并行地定义层级神经元层之间的互连。例如,可以在连续的神经网络识别周期上聚集交通对象和特定距离/位置区域的检测,以识别个体或群交通对象速度和停止的交通对象的等待时间。作为交通对象或组的位置改变所需的周期数的函数而形成的信息可以被提供作为用于这些交通对象状态分类的神经网络识别引擎的输入。被配置为在识别周期的变化范围上聚集较低级别识别的不同神经元产生对不同类别的交通对象速度和等待时间的识别。
最高级神经元层可以被配置为识别来自较低层的输入向量,导致表示特定交通流决策的分类输出。分配给这些任务的这些神经元的数量可以根据交通灯序列的数量和交通信号灯的特定硬件配置所需的相关时序来分配。
处理系统架构信息702的最后方面可涉及分配储备神经元集合,其可用于使得能够添加或升级到系统硬件或用于在使用当前神经网络训练集合的交通灯控制器的实时操作期间重新训练神经元集合。
配置系统架构的说明性步骤704可以以多种方式实现,包括涉及包含系统软件和逻辑配置的硬件系统以及掩码可编程逻辑器件的配置。右侧所示的一个示例性实现包括将这种配置写入如本发明的优选实施例中的可编程硬件中。系统固件可以被下载到诸如用于可编程序列器,可配置I/O,可编程互连逻辑,DSP配置,系统时钟控制器和/或通信接口模块的非易失性存储器和可编程逻辑中。解码特定标准化通信接口或定制ERV/HOV信号可以通过微处理器执行的固件或通信接口模块内的可编程逻辑来实现。
神经网络训练的过程706可以通过下载外部获取的训练,或通过特定本地系统所需的现场学习,或两者的组合来实现。在现场需要的实时神经网络训练可以涉及对多个神经元的连续训练,直到每个目标交通对象,交通对象状态和最佳决策被充分区别于替代分类来识别。训练过程可以迭代,即,直到实现所需元素的所有目标识别,并且拒绝所有计数器示例。在一些实现中,当假定训练集完成时,可以通过以“失败安全”模式运行交通灯控制器来验证系统,同时收集关于最高级神经元层的自主决策的数据。这些结果可以与“正确”训练示例进行比较,并且可以重复训练直到这些数据匹配。
在神经网络训练之后,可以执行自主操作启动过程,708。可在此过程中执行的各种可选步骤可包括最初检查传感器阵列,通信模块,基本信号灯定序器和/或定时器功能的适当功能中的一个或多个。接下来,系统可以以“失效安全”模式重新启动,例如,在一些预定的启动时间之后,可以启用由神经网络确定的自主交通决策流控制。
这里,整个示例性系统架构可以首先定义特定于交通灯配置的灯序列和定时器模块数据集的完整集合。接下来,可以捕获和存储来自传感器阵列的所有输入的完整训练数据集。必须定义每个流量对象类,流量组,位置和距离区域的上下文和类别标签,然后定义流量状态识别,例如流入流量速度和停止流量的个别和累积等待时间。在较低级神经元的输出向较高级神经元提供输入的情况下,所需的I/O配置可以被编程到可编程I/O PLA中,因为神经元分层级之间的相关联的层间连接也可以被编程到可编程互连逻辑PLA。最高神经网络层可以具有分配给由每个可编程定序器入口点和相关联的可编程定时器数据集的矩阵表示的每个交通流决策的一个或多个神经元。可以在每个神经网络层内分配每个交通对象所需的神经元的数量,交通状态和交通流决策,以及在正常实况操作期间为实时训练选择的所有识别或决策过程的多个保留的神经元。此外,DSP模块可以被配置为转换输入数据流以匹配神经网络输入向量大小。通信模块可以被配置用于标准网络通信协议和/或用于检测特定的高优先级ERV或HOV信号。在某些实现中,时钟发生器的PLA可以被编程用于每个专用定时信号,从基本处理器和系统总线时钟速率到用于神经网络识别引擎,可编程定序器定时输入,DSP的各种定时,通信模块,以及不同交通传感器设备的各种数据捕获周期。
在交通交叉路口与已知现有实施方案的交叉路口紧密匹配的情况下,可将来自这些远程位置的一些或所有神经网络训练数据集直接编程到神经网络阵列中。否则,可以在当前交通灯控制系统的特定交叉点处完成神经元训练。同样,一旦完成整个神经网络的完全训练,交通控制系统可以开始以默认“失效安全”模式操作,同时为由顶层神经元层指示的交通流量决定收集数据,使得可以验证预期功能。在系统验证之后,交通控制系统可以被设置为根据神经网络训练在完全自主模式下操作。
图8是用于神经网络阵列训练的说明性处理流程的图。来自交通传感器阵列的训练数据集可以首先经历初始层训练802,其中它们被呈现给最低层神经元,其可以被训练以识别每个定义的交通对象,交通对象组和/或位置/距离区。在识别处理步骤804中,可以恢复未被识别或分类的数据806以用于进一步处理,而针对诸如与重新认识模式相关联的存储和处理的二级处理810传递经过认知的数据808。可以激活所需数量的神经元,直到完成这些识别的完整集合。对于大多数交通流决策具有重叠的各种神经元的影响场可能是足够的,这可以产生匹配2或不确定的分类,因为任何交通对象的识别,特别是在独奏交通对象的情况下,仍然可以产生正确的交通流量决策。识别的准确性由相对于待识别的示例输入向量的数量的可用神经元的数量确定。
在最低层神经元被训练之后,它们被设置为正常操作识别模式(见810),并呈现他们训练的相同训练数据集,而下一较高神经元级被置于训练模式,称为中间层训练下一级神经元被逐渐激活和训练814,816,直到学习该级别的定义的分类集合818.当存在多于一个这样的层时,对于每个中间层迭代该过程820,822,824。在最后一个中间层被处理826之后,这些层被置于用于训练最高神经元层828的识别模式。用于训练较低层的相同示例输入可以在训练最高层时再次使用,但是在一些实施方式中培训可以集中在最高级别的交通流量决策上。诸如训练软件的这样的训练组件可以使用教导神经元的加权来选择使得总体交通吞吐量最大化并且使交通对象等待时间最小化的灯序列和定时,但是也可以使用其他考虑,例如车辆类别或乘客占用率来优先化特定交通对象如前所述。此外,实际车辆等待时间的观察数据可以由微处理器监视并且用于在每次通过时改变训练软件上的训练输入,直到对于任何给定交通模式达到最小值。产生这样的最优解的交通灯序列和定时可以被选择为“正确”决策,并且被训练在特定交通状况下发射的神经元的位置可以是由微处理器解码以选择该特定序列和定时的信息。对于代表交通流决定的可编程定序器和可编程定时器设置的每个组合,可以激活和训练830一个或多个顶层神经元。这里,例如,这种训练可能需要经由迭代/循环过程832来处理,以为每个优先级输入和序列/定时选项提供完整,唯一的决策集。最后,每个上下文的每个训练数据集,识别引擎,在每个神经网络分级层内可以存储836,诸如在系统固件中或在离线远程位置,并且可以执行最终验证测试。一旦该处理完成,则该数据可用于随后的系统维护或用于在其它位置处的类似系统中。
图9是描绘与本文的创新的一个或多个方面一致的示例性系统启动和操作特征的说明性软件流程图。在图1的示例性曲线图中。如图9所示,系统在初始加电和系统引导902之后在失效保险模式904中启动。在传感器阵列和通信模块的成功诊断测试之后,可以启用神经网络识别906。可编程互连逻辑可以被配置为在908和916仅将来自最高级交通流决策神经元的匹配1/2标志路由到微处理器。首先扫描匹配1或识别的分类,从最高优先级决定908开始,例如由ERV或HOV特殊信号或来自远程命令中心的交通流方向产生的那些。当然,分配给用于检测潜在冲突的上下文的神经元可以包括在这些要监视的最高优先级Match 1分类中。其他匹配1分类是直接发起到可编程定序器和定时器的特定最佳交通流决策。当决定由神经元910,920确认时,可以加载相关联的可编程定序器和定时器设置912,922。微处理器可以在926和928处扫描标记的不确定匹配2分类(918)。在两个或更多个神经元指示相同交通流决定930的情况下,加载相关联的可编程序列器和定时器设置932.否则,微处理器确定该决定与当前交通信号状态最相容并且实现该决定,因为不确定分类意味着任一解码是可接受的。与处理某一匹配1解除一样,控制软件然后可以分支回到扫描新的匹配1判决906。
图10A-10B分别是根据本文的创新的一个或多个方面的由神经网络执行的高级别识别处理的图和流程图。图10A是示出交通交叉口附近的示例性交通状况的图,其示出了示例性的更高级识别方面。图10B阐述了这种较高级识别处理的说明性的一般化过程。参考图10B,这种一般化过程可以包括获得位置数据1032(例如使用分配给的低级神经元来获取位置信息:将对象识别为存在于引导区内),执行这种数据的聚集1034(例如,通过更高级神经元在多个分类周期上识别高级神经元以识别模式或信息,诸如被监视位置区域内的交通对象的布置和/或相对速度),并且在多个分类循环1036上进一步处理聚合信息(例如,阴性阳离子和/或来自多个中间级神经元的多个分类周期内的最高级神经元的相对速度状态以识别全局交通状态和/或相关联的最优交通流决策)。
返回到图10A的说明性实现,字母数字阵列1002表示早先在交通信号灯1004附近描述的位置区域。交通对象组1006表示交通对象的自组织“排(platoon)”,例如车队的汽车或其他车辆。在该图中,其示出了图1的一般化过程的一个详细示例。如图10B所示,可以训练特定的下层神经元来识别交通对象存在于每个位置区域中,其在该图中由从A1到A6到N1到N4的坐标指定。交通排1006在区域N2,M1,L3,K1和J2中具有交通对象。可以将一些较低级的神经元分配给特定交通对象类型识别,但是其他低级神经元可以被分配给任何类型的检测对象存在于特定区域中。高级神经元将这些识别聚合成交通对象组和状态的识别。例如,如果在区域N2中示出的交通对象在直线上继续前行,则在连续的神经网络分类周期中识别出已经通过区域M2,L2,K2,J2等。该过程中消耗的识别周期的数量可直接转化为车辆速度。此外,可以训练特定神经元以识别特定速度范围,这又可以向甚至更高级神经元提供输入,包括交通流决策,碰撞避免或交通灯违规预测。
在一些具体实施中,可以训练其他组的神经元检测一种或多种大小的交通对象组,当用高层神经元处理交通流决策时,交通对象组将优先于单个交通对象。类似地,同样可以训练其他组的神经元识别停止交通流。例如,由于高层神经元检测到交通对象在一个或多个神经网络分类周期中占据了相同位置区,交通组1008,1010和1012可以被识别为停止的交通,其中周期的总数与交通对象等待时间成比例。不同组的神经元可以被训练以识别任何重要模式,因此在这个示例中,可以将一组额外的神经元分配来识别累积等待时间,即停止的交通对象数乘以它们的停止时间。对于整个神经网络而言,最小化累积等待时间可能是一个重要训练输入,因此在相似平均等待时间条件下基于检测到的等待交通对象数量,一组被正确训练的最高水平交通流控制神经元集合应在本示例中识别出这些交通组应当按照1008、1010、1012的顺序排列。个体交通对象1014、1016和1018可以为它们各自方向的交通流增加优先级权重,但是与本发明一致的神经网络训练算法可能会将它们的优先级排在较低水平,其中原因有两点:1)个体交通对象相比交通对象组拥有较小权重,以及2)这三个交通对象都在右侧车道中并可能在不需要改变交通信号灯的情况下使用右转车道直接通过交叉口。交通对象1020和1022通常与交通流决策无关。事实上,在一些具体实施中可以忽略离开交叉口车道的所有交通对象位置区,包括该示例中N3-N4到I3-I4区和A5-6到C5-6区。因此,在非常多交通场景中可以被排除的这些相同区域可能对于检测危险“异常”情况会非常有用,例如车辆逆行。
此外,针对于一些具体实施方式,用于解释被低级别神经元层识别的数据的最高级神经网络层可以识别一个特定的交通流优化决策。在这种情况下,由任何相同的前置状态或“全停”状态所选择的下一个交通流序列应当是一个允许交通组1008左转和交通组1006直行的序列。
另外,除了上面阐述的特定组件和/或电路之外,本发明可以通过不同的或完全不同的组件来实现。就与本发明相关联或体现本发明的这些其它组件(例如,电路,计算,处理组件等)和/或计算机可读介质而言,例如,本发明可以构建在许多通用或专用目的计算系统或配置。可适用于本发明的各种示例性计算系统,环境和/或配置包括但不限于各种钟相关电路,诸如个人计算机、服务器或服务器计算设备内的路由/连接部件、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、智能电话、消费电子设备、网络电脑、其他现有计算机平台、包括一个或多个的上述系统或设备的分布式计算环境等。
在一些情况下,本发明创新可以经由包括例如与电路相关联地执行程序模块中的逻辑和/或逻辑指令来实现。一般来说,程序模块可能包括执行特定任务或实施特定控制、延迟或指令的例程、程序、均衡器、分配器、数据结构等。本发明还可以在分布式电路设置的上下文中实现,其中电路通过通信总线、电路或链路连接。在分布式设置中,控制/指令可以从包括内存存储设备的本地和远程计算机存储介质发生。
本文中的创新电路和组件可能包括和/或利用一种或多种类型的计算机可读介质。计算机可读介质可以是驻留在这些电路和/或计算组件上的、与其相关联的、或可以由这些电路和/或计算组件访问的任何可用介质。作为示例而非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现诸如计算机可读指令、数据结构、程序模块或其他数据信息储存的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储器、磁带、磁盘存储器或其他磁存储设备或可用于存储所需信息并可由计算组件访问的任何其它介质。通信介质可能包括计算机可读指令、数据结构、程序模块或体现本发明功能的其他数据。此外,通信介质可以包括诸如有线网络或直接有线连接的有线介质以及诸如声学、RF、红外和其它无线介质的无线介质。任何上述的组合也包括在计算机可读介质的范围内。
在本说明书中,术语部件、模块、设备等可能指可以以各种方式实现的任何类型的逻辑或功能电路、框和/或过程。例如,各种电路和/或块的功能可以彼此组合成任何其他数量的模块。每个模块甚至可以被实现为存储在有形存储器(例如,随机存取存储器、只读存储器、CD-ROM存储器、硬盘驱动器)上的软件程序,并由中央处理单元读取以实现本发明的功能。或者,模块可以包括通过传输载波发送到通用计算机或处理/图形硬件的编程指令。此外,模块可以被实现为实现本发明创新所包含功能的硬件逻辑电路。最后,可以使用提供期望的性能和成本的专用指令(SIMD指令)、现场可编程逻辑阵列或其任何混合来实现模块。
如本文所公开的,与本发明一致的实现和特征可以通过计算机硬件、软件和/或固件来实现。例如,本文公开的系统和方法可以以各种形式实施,包括例如数据处理器即拥有数据库、数字电子电路、固件、软件或它们的组合的计算机。而且,一些文中公开的实施方式描述了诸如软件、系统和方法等与本发明一致的组件可以用硬件、软件和/或固件的任意组合来实现。此外,上述提到的本发明创新特征和其它方面和原理可以在多种环境中实现。这样的环境和相关应用可能会根据本发明被特别地构造出,用于执行各种过程和操作,或者它们可能包括一个通用计算机或由代码选择性地激活或重新配置以提供必要功能的计算平台。本文所公开的过程不固有的与任何特定的计算机、网络、架构、环境或其他装置相关,并且可以通过硬件、软件和/或固件的适当组合来实现。例如,各种通用机器可以与根据本发明教导编写的程序一起使用,或者可以更方便地构造专用装置或系统以执行所需的方法和技术。
这里描述的方法和系统的内容(诸如逻辑)可以被实现为任意多类型电路中的程序功能,包括可编程逻辑器件(“PLDs”),诸如现场可编程门阵列(“FPGAs”)、可编程逻辑设备(“PAL”)、电子可编程逻辑和记忆设备及基于标准单元的设备,以及应用中的特别集成电路。其他实施可能包括:记忆设备、带有记忆的微控制器(诸如EEPROM)、嵌入式微处理器、固件、软件等。此外,各方面可以体现在具有基于软件的电路仿真、离散逻辑(顺序和组合)、定制设备、模糊(神经)逻辑、量子设备以及任何上述设备类型的混合。底层器件技术可以提供各种组件类型,例如像互补金属氧化物半导体(“CMOS”)双极技术的金属氧化物半导体场效应晶体管(“MOSFET”)技术、像射极耦合逻辑(“ECL”)的双极晶体技术、高分子技术(如硅共轭高分子和金属共轭高分子结构)、混合模拟和数字等。
还应当注意,本文公开的各种逻辑和/或功能在其行为、寄存器传送、逻辑组件和/或其它特性的术语方面,可以使用任意数量的硬件、固件和/或在多种机器可读或计算机可读介质中实现的数据和/或指令的组合来实现。其中可以实现这种格式化数据和/或指令的计算机可读介质包括但不限于各种形式(如光、磁或半导体存储介质)的非易失性存储介质和通过无线、光学或有线信令媒体或其任何组合来传送这些格式数据和/或指令的载波。通过载波传送这些格式数据和/或指令的示例包括但不限于通过一个或多个数据传输协议(例如,HTTP,FTP,SMTP等)在因特网和/或其它计算机网络上传输(上传,下载,电子邮件等)。
除非上下文明确要求,否则在整个说明书和权利要求书中,词语“包含”、“包括”等应以包括的意义来理解,而不是排他性或穷举性的意思;也就是说,在“包括但不限于”的意义上。使用单数或复数的词也分别包括复数或单数。另外,词语“在此”,“下文”,“以上”,“以下”和类似含义的词语指本申请作为整体,而不是本申请的任何特定部分。当词“或”被用于对两个或更多个项目的列表的引用,该单词涵盖该单词的以下所有解释:列表中的任何项目、列表中的所有项目以及列表中的项目的任何组合。
尽管本发明的某些目前优选的实施方式已经在本文中进行了实际描述,但是对于本发明所属领域的技术人员来说显而易见的是,可在不脱离本发明精神和范围的情况下对在此描述的具体实施进行变化和修改。因此,本发明旨在仅限于所附权利要求和适用的法律规则所要求的范围。
Claims (72)
1.一种用于处理交通信息的方法,所述方法包括:
接收关于与交叉口相关联的车辆的行驶的数据;
使用神经网络技术来识别交通类型;
使用神经网络技术来识别交通状态;
使用神经网络技术来记忆作为先前经验的函数的最佳交通流决策;以及
使用神经网络技术通过识别最优交通流决策来实现高效的交通流。
2.一种用于提供对所有类型的交通的高度精确的视觉识别的方法,所述方法包括:
处理交通交叉路口硬件以确定可能的灯序列和/或流量控制决策,并且定义要根据在可用神经元之间分配的特征而分配的所需神经元的范围;
构建配置系统架构;
初始化神经网络训练;以及
执行自主运行启动。
3.根据权利要求1所述的方法,还包括为神经网络识别和/或控制优化的执行视频图像处理。
4.根据权利要求1或权利要求3或本发明其他创新所述的方法,还包括使用现有基础设施增强所述交通类型识别。
5.根据权利要求4或本文其他权利要求所述的方法,其中来自行人过马路请求按钮(208)的输入被锁存到本地I/O逻辑(104)内的寄存器中,该输入被送入到处理/识别行人等待时间的神经网络阵列(128)中。
6.根据权利要求5所述的方法中,通过使用所述请求按钮输入来增强由主要视频输入来检测的交通类型识别。
7.根据权利要求4或本文其他权利要求所述的方法中,来自感应传感器(206)的输入被锁存到本地I/O逻辑(104)内的寄存器中,该输入被送入到识别相关联车辆等待时间的神经网络阵列(128)中。
8.根据权利要求7所述的方法中,通过使用感应传感器输入来增强由主视频输入来检测交通类型识别。
9.根据权利要求1或本发明其它创新所述的方法,还包括在视频传感器和传统物理基础设施输入之上使用一个多传感器阵列的输入来增强交通类型识别。
10.根据权利要求9所述的方法中,所述系统包括一个在交叉口已有基本视频捕捉的输入之外还提供多个输入向量的传感器阵列。
11.根据权利要求9或10所述的方法中,其他传感器输入包括一个交通雷达输入以提供增强的多种数据类型传输能力。
12.根据权利要求11所述的方法中,所述交通雷达输入包括:
被检测交通对象独立于不利天气或光照条件的的详细雷达信号,用于识别车辆位置和类型;以及
到达交通对象速度的雷达度量;
其中对于更高级别的信号灯控制决定增强了交通流的预测,包括输入交通的优先化和冲突避免信号灯保持。
13.根据权利要求9或10所述的方法中,其它传感器输入包括一个红外交通输入以提供增强的多种数据类型传输能力。
14.根据权利要求13所述的方法中,所述红外交通输入包括:
被检测交通对象独立于不利天气或光照条件的详细红外特征,用于识别车辆位置和类型;以及
对应用于较高层交通流量决策中的车辆承载率的检测;
并且其中所述方法还包括:
给予乘客加权的到达交通优先权。
15.根据权利要求1或本发明其他创新所述的方法,还包括:
处理新的传感器输入;
重新训练先前部署的神经元以利用新的传感器;
其中通过适配其识别以利用所述新输入来增强对交通类型的识别。
16.根据权利要求1或本发明其他创新所述的方法,还包括:
处理新的传感器输入;
利用最初系统包含有的额外、预留的神经元能力;
其中预留的神经元能力随后被训练来利用新的输入。
17.根据权利要求16所述的方法还包括:
通过先前的和来自于新传感输入的新增识别的组合提高识别特异性。
18.根据权利要求1或本发明其他创新所述的方法,还包括:
通过处理来自扩展的传感输入数据以检测小/轻量交通,其中所述系统被配置为适应所述小/轻量交通;以及
将该交通纳入更高级别交通流控制决策中。
19.根据权利要求1或本发明其他创新所述的方法,还包括:
利用/部署2层或更多层的神经网络神经元存储元件以用于独特的识别、分类和/或交通流决策任务。
20.根据权利要求19所述的方法中,所述的独特识别包括从低层向高层的输送。
21.根据权利要求20所述的方法中,在从低层到高层的步骤中,被分配的神经元是被:
训练以合计到达的交通对象总数;以及
训练以在固定时间序列上识别位置,最终识别相对速度。
22.根据权利要求19所述的方法中,所述的分类包括将合计交通信息编译为分配给第一层数据神经元的函数,包括以下各项中的一个或多个:
处理每个区域内交通的权重/差异;
处理关于车辆占用的数据,和/或
使用所有这些输入的复合加权用于更高层的交通流决策。
23.根据权利要求19所述的方法中,所述交通流决策包括来自附近与本地控制器中层交通状态识别类似的交通控制器状态信息输入,所述中层交通状态识别在较高层被组合以优化在本地交通信号灯处的交通流决策。
24.根据权利要求1或19或本发明其它创新所述的方法中,神经网络识别层次的更高层被用于确定相对交通对象和行人的位置和速度,以选择最佳信号灯序列,并使用神经网络识别周期序列消除数字处理延迟和相关成本。
25.根据权利要求24或其他权利要求所述的方法中,所述神经网络识别周期序列包括以下一个或多个的处理:
使用一个或多个传感器类型识别在距交通信号灯特定距离范围处指定目标区域中的交通,以识别存在于特定区域中的对象;
利用训练为识别特定区域中的多交通对象的其他神经元;
利用中层神经元从那些将特定区域占据识别为特定时间采样观察率函数的较低层区域识别神经元接收识别输入;
利用高层神经元接收来自中层神经元的输入,通过特定区域内的交通对象的占用状态与观察周期的数量组合产生相对交通对象速度的识别;
利用高层神经元接收来自中层神经元的输入,其中在多个观察周期上特定区域内交通对象的占用状态被识别为静态交通“等待”情况,应用多个训练为识别特定区间“等待”时间的多个神经元进行识别;和/或
利用最高层神经元,其将这些速度、距离和“等待”时间识别与来自相对或相邻交通方向和/或附近的类似交通控制器的类似状态的识别结合,以识别最佳交通流量控制决策。
26.根据权利要求1或19或本发明其他创新所述的方法,还包括:
使用更高层级别神经网络识别层级来识别车辆总重量级别和/或占用率,以基于燃料经济性和/或乘客加权交通流通过量优化交通流。
27.根据权利要求26或本文其他权利要求所述的方法中,所述使用步骤涉及一个或多个处理序列,包括:
基本交通对象类型的中间神经元识别和包括红外成像或感应回路/车辆重量传感器的增强输入,产生可识别为属于特定二级子类的车辆类型的增强分类;和/或
高层神经元被训练以识别最优交通流控制决策
其中这种特定的第二级被给予较高的决策权重,使其子资源优先于其它交通对象类型。
28.根据权利要求1或权利要求19或本发明其他创新所述的方法中,神经网络识别被部署以识别各种标准化高优先级车辆信号类型,用于发起所需授权和优先交通流决策。
29.根据权利要求28所述的方法中,通过将专用于已知优先车辆传输协议的感应输入检测信号发送到其专门的神经元来启动所需的授权,所述专用神经元的正识别启动特定信号灯改变所述优先车辆的优先通过。
30.一种用于提供对交通流的实时适应的方法,包括:
处理从附近控制器接收的信息;以及
通过处理附近控制器信息和本地交通流信息来实现在特定交通信号灯站点处的主动神经网络训练。
31.根据权利要求30或本发明其他创新所述的方法中,可以经由通信网络远程地启用或禁用用于适应的系统训练。
32.根据权利要求30或本发明其他创新所述的方法中,通过不同、远程位置获取的训练结果可以上传以改进在当前位置的识别或交通控制决策。
33.根据权利要求30或本发明其它创新所述的方法中,训练算法本身已被优化用于识别交通对象和待优化的特定地点交通流模式。
34.根据权利要求33或本发明其他创新所述的方法中,所述训练算法作为特定时序机制的函数操作,例如以商业交通通过量、累积车辆占有率和/或燃料经济性的函数来改变加权/操作的时序机制。
35.根据权利要求33或本发明其他创新所述的方法中,所述训练算法作为特定时序机制的函数来操作,例如以保守时序机制和/或激进时序机制的函数改变加权/执行的时序机制。
36.一种用于提供系统鲁棒性和低成本可升级性的方法,其中可编程序列发生器的基本硬件逻辑可以被修改以适应不同的交通灯配置或灯序列,并包含有简单的“故障安全”序列在传感器阵列组件发生部分或灾难性故障的情况下作为控制器的默认值。
37.一种系统,包括:
一个使用数字处理器实现交通控制的交通灯控制器;
一个在由处理器执行的软件中实现的神经网络子系统;
存储器;
通信输入/输出电路[模拟和/或数字];和/或
多个传感器输入;
其中所述系统包括足够的余量以通过添加附加输入、交通对象识别训练信息/子部件和/或控制决策训练信息/子部件来扩展和/或升级控制器。
38.一种控制交通信号灯处交通的方法,包括:
用一个处理器构建一个交通灯控制器;
利用由所述处理器执行的神经网络软件组件在不需要特定神经网络硬件的条件下实现神经网络子系统;
在存储器中存储交通信息、神经网络软件、系统操作软件和/或动态数据;
利用输入/输出电路来实现传感器和交通灯控制器的通信;以及
处理来自多个传感器输入的信息;并且
通过添加附加输入、交通对象识别训练信息/子部件和/或控制决策训练信息/子部件来提供足够的余量以扩展和/或升级控制器。
39.根据权利要求37所述的系统或权利要求38所述的方法或本文其他权利要求所述的发明中,所述神经网络子系统(118/128/134)被实施为小到中等尺寸的固态神经网络设备的互连阵列。
40.根据权利要求37所述的系统或权利要求38所述的方法或本文其他权利要求所述的发明中,所述神经网络子系统(118/128/134)是具有实现所述交通灯控制器架构和/或可编程互连逻辑的单芯片固态装置。
41.根据权利要求37所述的系统或权利要求38所述的方法或本文其他权利要求所述的发明中,存储、数字逻辑、传感器输入、通信和神经网络子系统的硬件/能力一起实现为单体固态设备。
42.根据权利要求37所述的系统或权利要求38所述的方法或本文其他权利要求所述的发明中,高级别神经网络识别层级被部署以基于车辆优先级、乘客容量和/或尺寸/重量使乘客优先通过交叉口。
43.根据权利要求42或本文其他权利要求所述的发明中,提供了跨越所有交通类型的乘客加权交通流量和/或最大燃料经济性的改进。
44.根据权利要求37所述的系统或权利要求38所述的方法或本文其他权利要求所述的发明中,在没有数字处理延迟和相关联成本的情况下实现预测交通信号灯违章和发起动作的能力,包括信号灯抢灯和被预测违章视频记录。
45.根据权利要求37所述的系统或权利要求38所述的方法或本文其它权利要求所述的发明中,通过训练额外、保留的较高级神经元存储元件的能力来提供廉价的升级路径,用于学习额外、优化的交通流决策。
46.根据权利要求37所述的系统或权利要求38所述的方法或本文其他权利要求所述的发明中,所述系统或方法能够在不使用车辆和信号灯之间通信/传输的情况下识别驾驶员意图。
47.根据权利要求37所述的系统或权利要求38所述的方法或本文其他权利要求所述的发明中,包括数字逻辑和/或通信设备以提供当前和下一状态信息的输出,给类似的附近控制器使用。
48.根据权利要求37所述的系统或权利要求38所述的方法或本文其他权利要求所述的发明中,包括数字逻辑以提供当前和下一状态信息的输出和/或警告,被配置有能向/从交通标志和/或警告装置传输信息的车载通信装置所利用。
49.一种交通灯控制系统,包括:
一个执行代码的微处理器108,其中所述代码包括系统监控代码、用于神经网络仿真的软件、用于神经网络的训练软件和/或系统控制数据值;
一个可编程逻辑阵列(PLA),包括:
可编程定序器逻辑122,其被配置为处理在PLA中布置存储的交通灯序列;以及
可重新编程的逻辑,以具有零成本改变交通灯配置的函数为表征;
其中单独的信号灯子序列可由微处理器选择。
50.根据权利要求49所述的系统中,所述代码和/或控制数据参数中的一些或全部存储在诸如固件112的非易失性存储器中。
51.根据权利要求49所述的系统中,所述交通灯序列存储在PLA中。
52.根据权利要求49所述的系统中,所述信号灯时间值由系统控制数据值确定。
53.根据权利要求49所述的系统,还包括可编程定时器模块120,其被配置为使用一个或多个交通灯子序列的信号灯时间值,其中微处理器108被配置为将交通信息读取并写入所述可编程定时器模块120的输入寄存器中。
54.根据权利要求49所述的系统,还包括本地输入/输出模块104,其被配置为提供传输到和来自与系统总线116的数字数据。
55.根据权利要求49所述的系统,还包括被配置为将外部模拟输入转换为数字形式的嵌入式模数(A/D)转换器,其中来自现有基础设施和/或较低成本传感器的模拟输入被转换成可由微处理器和/或神经网络处理的格式的数字数据。
56.根据权利要求49所述的系统,还包括一个或多个数字信号处理器110,其被配置为将输入数据流减小到适于神经网络处理的大小。
57.根据权利要求49所述的系统,还包括通信接口模块132,其被配置为处理到一个或多个外部位置的数据输入和输出。
58.根据权利要求57所述的系统中,所述一个或多个外部位置包括相邻的交通灯150和/或远程命令中心152。
59.根据权利要求49所述的系统,还包括系统时钟模块106,其被配置为生成在一个或多个系统过程中被利用的时钟定时信息,包括用于微处理器108的高速时钟,用于DSPs 110的时钟,用于系统固件112和/或RAM 114存储器的时钟,用于系统总线116的时钟,和/或用于同步专用ERV/HOV信号的时钟。
60.根据权利要求59所述的系统中,所述ERV/HOV信号包括通过通信接口模块132路由的和/或通过传感器阵列140以模拟形式捕获的ERV/HOV信号中的一个或多个,例如特定的音频和/或视频信令。
61.根据权利要求59或权利要求60所述的系统中,所述系统被配置为根据所建立的行业标准发出/产生/处理时钟定时信息以同步专用ERV/HOV信号。
62.根据权利要求60或权利要求61所述的系统中,所述系统被配置为使得用于到所述神经网络阵列的输入数据的时钟与所述特定神经网络实现的识别和分类周期时间匹配。
63.根据权利要求49或本发明其它创新的系统中,神经网络阵列128和/或其分类器逻辑118被实现为离散固态神经网络设备的阵列。
64.根据权利要求60或本文其他权利要求的发明所述的系统中,所述离散神经网络设备的阵列通过以下中的一个或多个来扩充:
一个被配置为在特定层级神经元互连之间提供可编程互连的可编程逻辑阵列(PLA)130;
一个配置I/O模块134,其聚集较低级神经元输出的序列以由神经网络阵列128的层级的较高级中的神经元识别。
65.根据权利要求61所述的系统中,可编程逻辑阵列能够实现定制和零成本可升级性以及选择由分类器逻辑118检测的哪些“匹配”识别被门控到微处理器108以用于改变交通灯序列或配时方案的能力。
66.根据权利要求49或本文其它权利要求的发明所述的系统中,神经网络阵列128、可编程互连逻辑130、可配置I/O 134和/或分类器逻辑118被实现为单片固态子系统。
神经网络和118/124/134/130被实现为SSD。
67.根据权利要求49或本文其它权利要求的发明所述的系统中,一组关键系统功能102被实现为具有足够的备用设备子组件和神经元容量的单片固态设备,以允许系统可升级而无需对基本交通灯控制器进行硬件改变。
所有功能在一个设备中
68.根据权利要求49或本文其它权利要求的发明所述的系统中,先前训练的神经元集合主动提供全系统功能,同时实时训练一个或多个保留的神经元集合以学习附加或修订的对象或模式识别和交通流决策。
69.根据权利要求49或本文其它权利要求的发明所述的系统中,保留一个或多个神经元集合以便于当系统使用先前训练的神经元集合以全功能操作时实时地学习新的识别和交通流决策。
70.一种用于处理交通信息的方法,所述方法包括:
接收与某交叉口相关联的车辆行驶数据;
使用神经网络技术识别交通类型和/或交通状态;
使用神经网络技术以经验信息的函数形式处理/确定/记忆最佳交通流决策;以及
使用神经网络技术通过识别最优交通流决策来实现高效的交通流。
71.一种用于提供对所有类型交通高精确视觉识别的方法,所述方法包括:
接收关于通过某交叉口的车辆乘客(可能包括自行车和/或行人等)数据;
使用神经网络技术识别交通类型;
使用神经网络技术识别交通状态;
使用神经网络技术以先前经验的函数形式记忆最佳交通流决策;以及
使用神经网络技术通过识别最优交通流决策来实现高效的交通流。
72.一种用于提供对所有类型交通高精确视觉识别的方法,所述方法包括:
处理交叉路口硬件以确定可能的信号灯序列和/或流量控制决策,并以一个可用神经元特征的方程定义所需分配的神经元的范围(702);
构建配置系统架构(704);
初始化神经网络训练(706);以及
执行自主运行启动(706)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2014/049839 WO2016022108A1 (en) | 2014-08-06 | 2014-08-06 | Systems and methods involving features of adaptive and/or autonomous traffic control |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107077782A true CN107077782A (zh) | 2017-08-18 |
Family
ID=55264243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480082536.0A Pending CN107077782A (zh) | 2014-08-06 | 2014-08-06 | 自适应和/或自主交通控制系统和方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107077782A (zh) |
WO (1) | WO2016022108A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110602031A (zh) * | 2018-06-13 | 2019-12-20 | 罗伯特·博世有限公司 | 用于处理通信网络中的异常的方法和设备 |
CN110719131A (zh) * | 2018-07-11 | 2020-01-21 | 法雷奥照明公司 | 用于车辆的光无线通信系统 |
CN110796580A (zh) * | 2020-01-03 | 2020-02-14 | 中科寒武纪科技股份有限公司 | 智能交通系统管理方法及相关产品 |
CN111936884A (zh) * | 2018-02-14 | 2020-11-13 | 森田公司 | 离线检测器 |
CN111985386A (zh) * | 2020-08-17 | 2020-11-24 | 清华大学 | 一种基于计划行为理论的行人违章穿行行为辨识方法 |
WO2021042401A1 (en) * | 2019-09-07 | 2021-03-11 | Beijing Didi Infinity Technology And Development Co., Ltd. | Method and device for traffic light control |
US20210097436A1 (en) * | 2019-10-01 | 2021-04-01 | Kelley S. Weiland | Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms |
CN113284338A (zh) * | 2021-04-23 | 2021-08-20 | 东南大学 | 机动车紧急避让无灯控人行横道对交通流影响的计算方法 |
CN113819910A (zh) * | 2019-09-29 | 2021-12-21 | 百度在线网络技术(北京)有限公司 | 车辆导航中高架桥区识别方法及其装置 |
CN115035731A (zh) * | 2022-06-15 | 2022-09-09 | 东南大学 | 一种基于车辆组群的智能网联队列合流方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110494902A (zh) * | 2017-02-03 | 2019-11-22 | 西门子交通有限责任公司 | 用于管理地理位置中的交通的系统、设备和方法 |
US20210065543A1 (en) * | 2017-12-31 | 2021-03-04 | Axilion Ltd. | Method, Device, and System of Traffic Light Control Utilizing Virtual Detectors |
US20200372793A1 (en) * | 2017-12-31 | 2020-11-26 | Axilion Ltd. | Method, Device, and System of Dynamic Allocation of Traffic Resources |
CN110969275B (zh) * | 2018-09-30 | 2024-01-23 | 杭州海康威视数字技术股份有限公司 | 交通流量预测方法、装置、可读存储介质及电子设备 |
GB2583747B (en) * | 2019-05-08 | 2023-12-06 | Vivacity Labs Ltd | Traffic control system |
CN111488821B (zh) * | 2020-04-08 | 2023-09-01 | 北京百度网讯科技有限公司 | 用于识别交通信号灯倒计时信息的方法及装置 |
US11748999B2 (en) | 2020-07-13 | 2023-09-05 | Beijing Jingdong Qianshi Technology Co., Ltd. | System and method for recognizing intersection by autonomous vehicles |
CN113257008B (zh) * | 2021-05-12 | 2022-06-21 | 兰州交通大学 | 基于深度学习的行人流量动态控制系统及方法 |
EP4307270A1 (en) * | 2022-07-14 | 2024-01-17 | Kapsch TrafficCom AG | Method and server for controlling traffic lights |
CN116913097B (zh) * | 2023-09-14 | 2024-01-19 | 江西方兴科技股份有限公司 | 一种交通状态预测方法及系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5448484A (en) * | 1992-11-03 | 1995-09-05 | Bullock; Darcy M. | Neural network-based vehicle detection system and method |
US5668717A (en) * | 1993-06-04 | 1997-09-16 | The Johns Hopkins University | Method and apparatus for model-free optimal signal timing for system-wide traffic control |
US6418371B1 (en) * | 1998-02-27 | 2002-07-09 | Mitsubishi International Gmbh | Traffic guidance system |
US20090048750A1 (en) * | 1997-10-22 | 2009-02-19 | Intelligent Technologies International, Inc. | Vehicle-Traffic Control Device Communication Techniques |
CN101739828A (zh) * | 2009-11-18 | 2010-06-16 | 大连理工大学 | 结合路面交通与天气状态的城市交通区域拥塞判定方法 |
CN101847320A (zh) * | 2010-05-18 | 2010-09-29 | 徐苏云 | 路口交通控制系统和方法 |
CN101981605A (zh) * | 2008-02-06 | 2011-02-23 | 哈顿交通管理有限公司 | 交通控制系统 |
CN102124505A (zh) * | 2008-06-13 | 2011-07-13 | Tmt服务和供应(股份)有限公司 | 交通控制系统和方法 |
CN102306452A (zh) * | 2011-08-25 | 2012-01-04 | 哈尔滨工业大学 | 城市道路单个交叉口人车感应控制方法 |
CN103077617A (zh) * | 2012-12-24 | 2013-05-01 | 南京航空航天大学 | 基于计算机视觉的人行横道智能交通灯监管系统及方法 |
CN103136938A (zh) * | 2013-01-24 | 2013-06-05 | 江苏怡和科技股份有限公司 | 行人过街通道交通信号智能控制系统 |
CN103236162A (zh) * | 2013-04-11 | 2013-08-07 | 江苏大学 | 一种基于视频分析的信号交叉口通行能力分析方法 |
CN103383817A (zh) * | 2013-07-31 | 2013-11-06 | 银江股份有限公司 | 一种基于效用的交叉路口交通信号控制方法 |
CN103646555A (zh) * | 2013-11-22 | 2014-03-19 | 深圳卓智达时代通信有限公司 | 一种交通灯的控制方法及其系统 |
-
2014
- 2014-08-06 WO PCT/US2014/049839 patent/WO2016022108A1/en active Application Filing
- 2014-08-06 CN CN201480082536.0A patent/CN107077782A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5448484A (en) * | 1992-11-03 | 1995-09-05 | Bullock; Darcy M. | Neural network-based vehicle detection system and method |
US5668717A (en) * | 1993-06-04 | 1997-09-16 | The Johns Hopkins University | Method and apparatus for model-free optimal signal timing for system-wide traffic control |
US20090048750A1 (en) * | 1997-10-22 | 2009-02-19 | Intelligent Technologies International, Inc. | Vehicle-Traffic Control Device Communication Techniques |
US6418371B1 (en) * | 1998-02-27 | 2002-07-09 | Mitsubishi International Gmbh | Traffic guidance system |
CN101981605A (zh) * | 2008-02-06 | 2011-02-23 | 哈顿交通管理有限公司 | 交通控制系统 |
CN102124505A (zh) * | 2008-06-13 | 2011-07-13 | Tmt服务和供应(股份)有限公司 | 交通控制系统和方法 |
US20110205086A1 (en) * | 2008-06-13 | 2011-08-25 | Tmt Services And Supplies (Pty) Limited | Traffic Control System and Method |
CN101739828A (zh) * | 2009-11-18 | 2010-06-16 | 大连理工大学 | 结合路面交通与天气状态的城市交通区域拥塞判定方法 |
CN101847320A (zh) * | 2010-05-18 | 2010-09-29 | 徐苏云 | 路口交通控制系统和方法 |
CN102306452A (zh) * | 2011-08-25 | 2012-01-04 | 哈尔滨工业大学 | 城市道路单个交叉口人车感应控制方法 |
CN103077617A (zh) * | 2012-12-24 | 2013-05-01 | 南京航空航天大学 | 基于计算机视觉的人行横道智能交通灯监管系统及方法 |
CN103136938A (zh) * | 2013-01-24 | 2013-06-05 | 江苏怡和科技股份有限公司 | 行人过街通道交通信号智能控制系统 |
CN103236162A (zh) * | 2013-04-11 | 2013-08-07 | 江苏大学 | 一种基于视频分析的信号交叉口通行能力分析方法 |
CN103383817A (zh) * | 2013-07-31 | 2013-11-06 | 银江股份有限公司 | 一种基于效用的交叉路口交通信号控制方法 |
CN103646555A (zh) * | 2013-11-22 | 2014-03-19 | 深圳卓智达时代通信有限公司 | 一种交通灯的控制方法及其系统 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111936884A (zh) * | 2018-02-14 | 2020-11-13 | 森田公司 | 离线检测器 |
CN110602031B (zh) * | 2018-06-13 | 2024-01-09 | 罗伯特·博世有限公司 | 用于处理通信网络中的异常的方法和设备 |
CN110602031A (zh) * | 2018-06-13 | 2019-12-20 | 罗伯特·博世有限公司 | 用于处理通信网络中的异常的方法和设备 |
CN110719131A (zh) * | 2018-07-11 | 2020-01-21 | 法雷奥照明公司 | 用于车辆的光无线通信系统 |
WO2021042401A1 (en) * | 2019-09-07 | 2021-03-11 | Beijing Didi Infinity Technology And Development Co., Ltd. | Method and device for traffic light control |
CN113819910A (zh) * | 2019-09-29 | 2021-12-21 | 百度在线网络技术(北京)有限公司 | 车辆导航中高架桥区识别方法及其装置 |
US20210097436A1 (en) * | 2019-10-01 | 2021-04-01 | Kelley S. Weiland | Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms |
CN110796580B (zh) * | 2020-01-03 | 2020-05-08 | 中科寒武纪科技股份有限公司 | 智能交通系统管理方法及相关产品 |
CN110796580A (zh) * | 2020-01-03 | 2020-02-14 | 中科寒武纪科技股份有限公司 | 智能交通系统管理方法及相关产品 |
CN111985386A (zh) * | 2020-08-17 | 2020-11-24 | 清华大学 | 一种基于计划行为理论的行人违章穿行行为辨识方法 |
CN113284338A (zh) * | 2021-04-23 | 2021-08-20 | 东南大学 | 机动车紧急避让无灯控人行横道对交通流影响的计算方法 |
CN115035731A (zh) * | 2022-06-15 | 2022-09-09 | 东南大学 | 一种基于车辆组群的智能网联队列合流方法 |
CN115035731B (zh) * | 2022-06-15 | 2023-05-16 | 东南大学 | 一种基于车辆组群的智能网联队列合流方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2016022108A1 (en) | 2016-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107077782A (zh) | 自适应和/或自主交通控制系统和方法 | |
US20200402392A1 (en) | Systems and methods involving features of adaptive and/or autonomous traffic control | |
US11480972B2 (en) | Hybrid reinforcement learning for autonomous driving | |
US11919512B2 (en) | Path prediction for a vehicle | |
US20220171390A1 (en) | Discrete Decision Architecture for Motion Planning System of an Autonomous Vehicle | |
CN108292474B (zh) | 派遣和维护自主车辆的车队的协调 | |
JP6731819B2 (ja) | 移動体軌道予測システム | |
US20230124864A1 (en) | Graph Representation Querying of Machine Learning Models for Traffic or Safety Rules | |
US20230242160A1 (en) | Systems and Methods for Detecting Actors with Respect to an Autonomous Vehicle | |
CN110214264A (zh) | 具有施加的责任约束的导航系统 | |
CN110402371A (zh) | 用于利用感测不确定性导航的系统和方法 | |
KR20200016949A (ko) | 자율 주행을 위한 항법 정보의 융합 프레임워크(fusion framework) 및 배치 정렬(batch alignment) | |
KR20190107071A (ko) | 규칙 기반 항법 | |
US20200134494A1 (en) | Systems and Methods for Generating Artificial Scenarios for an Autonomous Vehicle | |
EP3278317A1 (en) | Method and electronic device | |
US20210278852A1 (en) | Systems and Methods for Using Attention Masks to Improve Motion Planning | |
TW201923662A (zh) | 基於關注提議進行視訊動作定位 | |
US11834069B2 (en) | Systems and methods for selecting trajectories based on interpretable semantic representations | |
US11615702B2 (en) | Determining vehicle path | |
TW202020748A (zh) | 遞迴多保真度行為預測 | |
JPWO2019106789A1 (ja) | 処理装置及び処理方法 | |
Yao et al. | Physics-aware learning-based vehicle trajectory prediction of congested traffic in a connected vehicle environment | |
CN109147387A (zh) | 信息处理装置和程序 | |
Gupta et al. | Lstm based real-time smart parking system | |
CN112970030A (zh) | 交通灯检测的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |