CN115565388A - 基于多通道车辆检测与立体特征标注的交通灯控制方法 - Google Patents
基于多通道车辆检测与立体特征标注的交通灯控制方法 Download PDFInfo
- Publication number
- CN115565388A CN115565388A CN202211222380.4A CN202211222380A CN115565388A CN 115565388 A CN115565388 A CN 115565388A CN 202211222380 A CN202211222380 A CN 202211222380A CN 115565388 A CN115565388 A CN 115565388A
- Authority
- CN
- China
- Prior art keywords
- network
- traffic
- road
- feature
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000002372 labelling Methods 0.000 title claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 23
- 210000002569 neuron Anatomy 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000007500 overflow downdraw method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002779 inactivation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 239000004642 Polyimide Substances 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 229920001721 polyimide Polymers 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 abstract description 4
- 238000007794 visualization technique Methods 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
- G08G1/081—Plural intersections under common control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
- G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于多通道车辆检测与立体特征标注的交通灯控制方法，属于车辆检测和交通灯控制领域，该方法包括利用车辆检测模型采集交叉路口车辆信息；在重要的路段和交叉口引入时空双维度的道路拥堵重要性系数，形成路网交通流立体特征标注；建立基于模糊神经网络的交通灯控制系统，将得到的区域路网交通状态拥挤指数作为模糊神经网络的输入，获得预测出的交通灯控制信息。本发明提供的基于多通道车辆检测与立体特征标注的交通灯控制方法，考虑多路口、多车道、车辆时空分布情况对交通灯控制的影响因素，通过神经网络技术来进行模糊信息处理，并自动提取模糊规则以及生成模糊隶属函数，为观察和研究网络交通状态的演化提供了可视化方法。
Description
技术领域
本发明属于车辆检测和交通灯控制领域，具体来说，尤其涉及一种基于多通道车辆检测与立体特征标注的交通灯控制方法。
背景技术
随着机动车规模的不断增长，全球越来越多的城市出现交通超负荷运行的问题，这在早晚高峰时段尤为明显。目前城市交通灯控制主要有三种途径：(1)定时控制系统，每个交通灯控制设备已设置好每个相位执行的顺序和时长，不考虑车流的动态变化；(2)车辆驱动信号控制，通过路口安装的感应设备来动态决定某一相位执行时长的增加或是减少，相比较于定时控制系统已考虑车辆的动态流量；(3)交通灯自适应控制，通过当前路网路口车辆的交通状态动态自适应的管理调配应执行相位和时长。在自适应交通灯控制系统中考虑机器学习和人工智能技术可进一步改善系统的有效性。传统的信号灯控制方法中固定的周期时长、固定的相位顺序以及固定的相位占比，不具有响应交通路况变化的能力，往往导致绿灯时间的浪费和低下的通行效率。并且，部分智能交通灯控制系统也未曾对交通拥堵信息进行深入挖掘和分析，无法满足控制系统对低时延和高可靠性等要求；且在考虑评判交通状态等级的因素时，大多停留在二维平面道路上车辆排队的拥堵特征，着重对空间上常发性拥堵路段进行研究分析，而忽视了时间维度上常发性拥堵路段对交通灯控制的影响，对道路中信息的汇总和分析呈现单一化、平面化等特点。
研究城市主干道车辆检测模型并实时、准确地执行车辆检测任务，有利于车路云协同下的交通信号优化与协调，从而提升路网整体运行效率。近年来，以卷积神经网络为代表的深度学习逐步成为车辆检测领域的热门研究方法，已有研究包括：基于候选框的卷积神经网络(RCNN)、Fast RCNN以及Faster RCNN等方法；基于回归的YOLO(you-only-look-once)和ResNet50等方法。候选框检测方案是两阶段方法，检测精度较高，但资源要求也高；回归检测方案是单阶段方法，算法执行速度快，但存在特征融合不充分、模型连续工作的鲁棒性会变差等问题。同时，现有检测框架通常先将输入图像编码为低分辨率表示，然后从编码的低分辨率表示中恢复高分辨率表示。然而，路网车辆的高速移动性，高分辨率表示对于位置敏感的车辆检测至关重要。高分辨率网络(high resolution network，HRNet)采用并行支路结构，学习过程中一直保持高分辨率表征，支持不同分辨率特征之间进行多尺度融合，有利于提取目标关键点特征以及实现小目标识别等。
发明内容
针对上述存在的问题，本发明提供了一种基于多通道车辆检测与立体特征标注的交通灯控制方法，通过考虑多路口、多车道、车辆时空分布情况对交通灯控制的影响因素，采用神经网络技术来进行模糊信息处理，模糊神经网络自适应信号配时根据信号交叉口实时交通通行状况对信号配时策略做出动态调整，以期在满足车辆通行需求的前提下尽量减少信号交叉口的通行延误，最终实现信号交叉口内整个社会出行成本最低的目标。
本发明为解决上述技术问题采用的技术方案如下：
基于多通道车辆检测与立体特征标注的交通灯控制方法，具体包括如下步骤：
步骤a、利用车辆检测模型进行特征检测，采集交叉路口车辆信息；
步骤b、基于步骤a中收集到的交叉路口车辆信息对三维平面道路上车辆拥堵状态进行分析，添加路网中各路段和交叉口的重要性权重系数，得到区域路网交通状态拥挤指数，形成路网交通流立体特征标注；
步骤c、建立基于模糊神经网络的交通灯控制系统，将步骤b得到的区域路网交通状态拥挤指数作为模糊神经网络的输入，计算得出一段时间内区域路网交通拥堵状态与交通灯控制结果的对应关系，获得预测出的交通灯控制信息，实现多路段全局自适应信号控制。
进一步地，所述车辆检测模型为多通路高分辨率网络与注意力机制融合的车辆检测模型，该模型分为路网感知层、训练网络层和特征输出层，其中所述路网感知层采用摄像头与雷达传感器的联合配置，在零光照和各种天气条件下全天候运行，实现车辆检测、车道线识别、车辆分布和时间记录特征检测功能；并将收集到的道路信息传递至特征输出层，提取出各监控路口的数字化信息作为训练网络层的输入；
在高分辨率网络中融合注意力机制的特征融合方法为在网络特征融合连接处利用特征连接权重和权重阈值对并行网络结构中的多条相邻网络通路进行多分辨率特征融合，获得高分辨率并行网络模块，其中权重阈值为超参数，特征连接权重为可学习的权重参数；在网络模型训练过程中，所述特征连接权重依据反向传输的损失进行自适应学习以表达当前特征图对网络的影响程度。
进一步地，为高分辨率网络引入跳跃连接的特征融合方法，利用跳跃连接对所述并行网络结构中的每条网络通路中对称位置的特征图进行跨层特征融合。
进一步地，所述高分辨率并行网络模块中特征图的多分辨率特征融合具体步骤为，设高分辨率并行网络模块中p+1条网络通路中第q+1个卷积层的特征图为Feature(p+1)(q+1)，其中，p＝1,2,…,R，q＝1,2,…,Qp，R为高分辨率级联网络模块中网络通路的总数，Qp为第p条网络通路中卷积层的总个数，则Feature(p+1)(q+1)的多分辨率特征融合步骤如下：
步骤a1、获取特征图Featurepq、Featurep(q+1)和Featurep(q+2)，并获取与特征图对应的特征连接权重Wpq、Wp(q+1)和Wp(q+2)；
其中，Featurepq表示高分辨率并行网络模块中第p条网络通路中第q个卷积层的特征图，Featurep(q+1)表示第p条网络通路中第q+1个卷积层的特征图，Featurep(q+2)表示第p条网络通路中第q+2个卷积层的特征图，Wpq表示Featurepq对应的特征连接权重，Wp(q+1)表示Featurep(q+1)对应的特征连接权重，Wp(q+2)表示Featurep(q+2)对应的特征连接权重；
步骤a2、依次将特征连接权重Wpq、Wp(q+1)、Wp(q+2)与权重阈值K比较，获得连接活性参数；以特征连接权重Wpq的连接活性参数
为例：
根据连接活性参数进行多分辨率特征融合，得出：
当某个特征连接权重低于权重阈值，则该特征连接权重对应的特征图将连接失活，在后续的多分辨率特征融合中不需要融合连接失活的特征图。
进一步地，所述车辆检测模型的特征提取部分使用跨阶段残差块替换特征提取网络中的传统残差块，特征融合部分引入空间金字塔池化，将局部区域特征与全局区域特征融合，充分融合利用不同深度网络层提取到的特征信息；
对输入图像进行图像预处理与车道线检测操作后，采用基于中值的背景提取方法，将各帧图像与计算得到背景图像相减，并且对相减后的图像再进行二值化处理；然后对提取出来的背景图像使用背景差分算法来提取视频前景车辆目标；提取到视频前景车辆目标后，对图像进一步分割，处理成单车道图像，然后使用投影特征对单车道图像进行特征提取工作；提取到单车道特征后，使用K-近邻算法对单车道特征向量进行分类，以获取最终检测结果，从而为下一步计算智能交通灯控制方案提供决策依据；
其中，所述对图像的二值化处理的表达式如下所示：
其中x,y是对应图像的坐标点，B(x,y)是通过背景提取获得的背景帧，Ii(x,y)表示图像序列中的第i帧图像，Di(x,y)表示第i帧上点(x,y)差分的结果。若两幅图像在此点上差异大于阈值T，结果为1，若差异小于阈值T，则结果为0。
进一步地，所述步骤b中添加路网中各路段和交叉口的重要性权重系数得到区域路网交通状态拥挤指数的过程具体包括：
采用图论的方法表示路网，将路网抽象为带权有向图，将交叉口抽象为路网中的节点，相邻节点之间的路段抽象为边；由交叉口及路段组成的区域路网模型可描述为:G＝{I,L}；其中，I表示区域路网中交叉口集合，I＝{I1,I2,…In}，In表示区域路网交叉口集合中第n个交叉口，L＝{lij|lij＝(Ii,Ij)；i,j＝1,2,…,n,i≠j}代表相邻节点间路段集合；lij表示存在一条从路口Ii到路口Ij的路段，其长度为lij；
步骤b1、首先建立路段和交叉口的交通状态模型，再进行计算整合成区域路网整体的交通状态矩阵；
所述路段交通状态模型如下：
其中，
为路段Lij的交通状态值，
为路段Lij的最高限速，vij为路段Lij的平均速度，qij为实测流量，Cij为通行能力，α、β为模型参数，α+β＝1且α,β∈[0,1]；当路段实际流量较小时，车辆间的干扰较小，运行速度大，交通状态较好，路段状态值也越小，反之同理；
所述交叉口交通状态模型如下：
其中，Pi I为交叉口i的交通状态值；饱和度R为交叉口实际交通量与通行能力之比，其公式为：
其中R为交叉口进口道饱和度，Q、C分别为进口道的实际交通流量和通行能力，S为信号相位饱和流量，c为信号周期时长，g为有效绿灯时间；Ri为交叉口关键路段入口道最大饱和度；mi为交叉口i的关键路段数；
根据区域路网拓扑结构可得出表征实际路网物理连接关系的节点邻接矩阵A(G)mn，元素由如下公式表示：
其中，aij＝1时表明交叉口i和j存在实际通行路段，反之不存在或禁行；
通过在不同路段上采集的交通参数，可计算不同路段、交叉口在[tk,tk+1]时间段的交通状态值；在邻接矩阵基础上结合路段交通状态构成路网邻接交通状态矩阵，记为A(P)＝{pij(t)}，其中pij(t)可由如下公式表示；
其中pij(t)表示t时刻路网中不同路段交通状态指数；若pij(t)＝∞表示路段不存在或禁行；
步骤b2、考虑单位长度上的通行能力，使用空间重要性系数来体现常发性拥堵路段和交叉口在路网中的空间分布状态，所述路段及交叉口的空间重要性系数如下：
其中，
和
为关键系数，取值范围为[0,1]；mi为交叉口所管辖路段；
利用拥堵时间百分比反映交通路网拥堵出现的频率及程度，定义时间重要性系数为城市路网在一天中某一时间段内发生某一拥堵程度的频率系数，针对不同时间段路网交通评判拥堵的标准不统一，因此需要根据城市真实情况选取不同的交通拥堵阈值γ。若道路路段拥堵等级ft(lij)大于交通拥堵阈值，则表示处于拥堵状态，反之则处在畅通状态。各路段应满足如下条件：
其中，ft(lij)用以判断在统计天数内第t个时间段内路段lij的拥堵状态，Grat(lij)表示为统计天数内第t个时间段内单一路段拥堵等级，Fij(t)表示路段lij状态为拥堵的频率总数，N为总时间段数；
利用时段拥堵时长比来表示时间重要性系数，路段时间重要性系数
和交叉口时间重要性系数
如下：
其中，F(t)为所有路段状态为拥堵的频率总和；
综合上述路段和交叉口的时间重要性系数、空间重要性系数两者对区域路网交通状态的影响，进行归一化整理，得出路网交通状态权重模型；路段权重模型
和交叉口权重模型
公式如下：
通过区域路网中对路段和交叉口的时空重要性权重模型的分析，路段权重系数矩阵WL(t)和交叉口权重向量WI(t)如下：
WI(t)＝(w1 w2…wn)
步骤b3、在区域路网整体的交通状态矩阵的基础上考虑路段、交叉口时空重要性权重，则区域路网状态模型如下：
其中，P(G)为区域路网交通状态矩阵；元数PIij(t)为路网单元的交通状态，当i≠j时，PIij(t)为路表示路段的交通状态指标，当i＝j时，PIij(t)表示交叉口的状态指标，当PIij(t)＝∞时，表示不存在Lij路段。PIij(t)值反映了路段或交叉口拥挤程度，值越大表示越拥挤；
计算区域路网整体的交通状态拥挤指数PI的值：
其中，PI为区域路网交通状态拥挤指数，用来表示路网中子区域交通拥挤状态的程度；通过分析可知，PI值越大路网越拥挤；PI值越小表明整个路网交通比较畅通；λ为模型参数，取值为[0,1]。
进一步地，在所述模糊神经网络结构中添加序列标识符和序列定位器两个模块得到自组织模糊神经网络模型，其中所述序列标识符模块用于接受序列的初始样本，以在不同的学习序列中识别序列模式，所述序列定位器用于定位序列中的当前状态，并将两个部分作为模糊规则的输入进而计算被识别序列的下一个样本；所述自组织模糊神经网络模型包括鉴别层、序列模糊层、存储层、样本模糊层、模糊规则层、规范化层和输出层，并设置开关S1、S2、S3管理该模型，所述各结构层具体功能如下：
鉴别层：用于计算每个序列的鉴别标识号，该层接受交通状态序列的T个序列样本，当x(t)是第t时刻的输入量，第p个神经元输出表示为：
其中，在T个样本后，第p个神经元的输出为
序列模糊层：用于接收包含鉴别层所有输出信息的向量，并为鉴别层中不同标识号定义多元模糊集，序列模糊层的第p个神经元输出表示为：
其中，c1p是第p个模糊集中心的向量，∑1为包含每个输入维度模糊集宽度的对角矩阵；
存储层：该层的每个神经元都是一个具有不同时间常数的离散低通滤波器，λp＝p/(p+1)，输出为包含序列当前样本和d个先前样本的向量，公式如下：
样本模糊层：原理与序列模糊层相似，神经元输出公式如下：
模糊规则层：该层的每个神经元代表一个模糊规则，基于样本模糊层的输出应用T-Norm算子来计算隶属度，第p个模糊规则的隶属函数定义为：
其中，μp是当前序列对第p个模糊规则的隶属度及其对应模糊规则的当前位置。
规范化层：对计算出的隶属度进行归一化操作，该层第p个神经元的输出如下：
其中，φp是当前序列对第p个模糊规则的归一化隶属度及其对应模糊规则的当前位置，R为模糊规则个数。
输出层：该层输出为输入向量与权重向量W的内积，权值向量作为后件参数，网络的最终输出如下：
o(7)＝y(t)＝x(t+1)＝WT·o(6)
在学习过程中，开关S1闭合，S2断开，对于前T个序列样本开关S3闭合，模型输入为原始的序列样本x(t)；在接受到T个样本后开关S1和S3断开，S2闭合，模型以存储层的输出作为模糊集层的第一个模糊集中心，基于全局信息定位序列的当前位置，并组合模糊规则得到预测样本。
将步骤b得到的区域路网交通状态拥挤指数基于时间参数序列化，作为模糊神经网络模型的输入，根据时间参数学习特定时间段的序列规律，并将该序列规律应用于具有自适应功能的模糊神经网络，得出对应路段、交叉口或区域路段的交通拥堵状态预测值，基于此，针对上述得到的交通拥堵状态预测值获得预测出的交通灯控制信息。
进一步地，所设定的自组织模糊神经网络模型的模糊控制规则为：所设定的自组织模糊神经网络模型的模糊控制规则为：以“交通流立体特征状态信息”和“时空重要性等级信息”作为交通灯控制系统的输入，以“交通灯控制”作为交通灯控制系统的输出；所述交通流立体特征状态信息模糊包括“很畅通、畅通、拥挤、很拥挤”4种状态，所述时空重要性等级信息包含“很低、低、高、很高”4种状态，二者共同构成总计16种输入状态，基于自适应信号控制系统通过模糊神经网络控制算法实现其对应的信号控制规则，可得到“很短、短、中等、长、很长”5种状态的交通灯控制。
进一步地，所述模糊隶属函数采用三角形隶属函数，其函数形式如下所示：
其中，具体形式和分布由参数[a,b,c]决定，要求a≤b≤c，参数值根据专家经验打分给出。
本发明的技术方案能产生以下的技术效果：
1.本发明提供的基于多通道车辆检测与立体特征标注的交通灯控制方法，考虑多路口、多车道、车辆时空分布情况对交通灯控制的影响因素，通过神经网络技术来进行模糊信息处理，并自动提取模糊规则以及生成模糊隶属函数，基于此再添加序列标识符和序列定位器两个模块，提出一种具有自组织、学习性的模糊神经网络模型，以实现习惯性任务序列的学习和预测功能，为观察和研究网络交通状态的演化提供了可视化方法，能提高交通灯控制系统的可靠性和自主学习适应能力；
2.本发明针对模型的不均衡性和扁平性，将宏观路网交通状态评价与微观交通参量相结合，定义一种新的路网交通状态系数，考虑路段和交叉口的时空拥堵状态定义时空重要性权重系数，在此基础上建立立体化的区域交通状态模型，对具有立体特征标注特点的区域路网的交通状态进行分析和评价；
3.本发明设计的多通路高分辨率网络结构，研究多监测点分布式视频的集中训练、校正与验证方法，集成注意力机制与跳跃连接操作的特征融合方法，通过特征连接权重自学习实现多尺度特征的高效融合，使得网络在向前传播时可以快速融合上下文信息，并在损失方向传播时可以进行无损传播，能加速网络收敛，实现多尺度特征的深度融合；
4.本发明在特征提取阶段使用跨阶段残差块替换特征提取网络中的传统残差块，在特征融合部分引入空间金字塔池化，加强不同深度网络层对局部和区域特征的充分融合，进一步提升了车道线检测性能。
附图说明
图1为本发明所述的多通路高分辨率wangluo与注意力机制融合的车辆检测模型；
图2为本发明的融合注意力机制的特征融合方法示意图；
图3为本发明实施例所述的车道线识别优化处理框架；
图4为本发明实施例所述的具有自组织、学习性的模糊神经网络模型。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及对应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本实施例中基于多通道车辆检测与立体特征标注的交通灯控制方法，包含以下步骤：
步骤一，通过车辆检测模型实现特征检测功能
本实施例中，为改善道路交通监测和保证智能网联交通系统的安全、可靠与稳定运行，所述车辆检测模型为多通路高分辨率网络与注意力机制融合的车辆检测模型，如图1所示，该模型分为路网感知层、训练网络层和特征输出层，其中所述路网感知层采用摄像头与雷达传感器的联合配置，保证在零光照和各种天气条件下全天候运行，实现车辆检测、车道线识别、车辆分布和时间记录等特征检测功能；并将通过路网感知层收集到的道路信息传递至特征输出层，提取出各监控路口的数字化信息作为训练网络层的输入；该车辆检测模型采用多通路的高分辨率网络的结构设计，保留高分辨率特征并保障识别准确率；并为高分辨率网络引入跳跃连接的特征融合方法，利用跳跃连接对所述并行网络结构中的每条网络通路中对称位置的特征图进行跨层特征融合。
在高分辨率网络中融合注意力机制的特征融合方法为在网络特征融合连接处利用特征连接权重和权重阈值对并行网络结构中的多条相邻网络通路进行多分辨率特征融合，获得高分辨率并行网络模块，其中权重阈值为超参数，特征连接权重为可学习的权重参数；
融合注意力机制的特征融合方法如图2所示，其在网络特征融合连接处利用特征连接权重和权重阈值对并行网络结构中的多条相邻网络通路进行多分辨率特征融合，获得高分辨率并行网络模块。其中，权重阈值为超参数，特征连接权重为可学习的权重参数。在网络模型训练过程中，特征连接权重可以依据反向传输的损失进行自适应学习以表达当前特征图对网络的影响程度(即重要性)，从而可以输出信息更多、鲁棒性更强的多尺度特征。
设高分辨率并行网络模块中p+1条网络通路中第q+1个卷积层的特征图为Feature(p+1)(q+1)，其中，p＝1,2,…,R，q＝1,2,…,Qp，R为高分辨率级联网络模块中网络通路的总数，Qp为第p条网络通路中卷积层的总个数，则Feature(p+1)(q+1)的多分辨率特征融合步骤如下：
1)获取特征图Featurepq、Featurep(q+1)和Featurep(q+2)，并获取与特征图对应的特征连接权重Wpq、Wp(q+1)和Wp(q+2)。其中，Featurepq表示高分辨率并行网络模块中第p条网络通路中第q个卷积层的特征图，Featurep(q+1)表示第p条网络通路中第q+1个卷积层的特征图，Featurep(q+2)表示第p条网络通路中第q+2个卷积层的特征图Wpq表示Featurepq对应的特征连接权重，Wp(q+1)表示Featurep(q+1)对应的特征连接权重，Wp(q+2)表示Featurep(q+2)对应的特征连接权重。
2)依次将特征连接权重Wpq、Wp(q+1)、Wp(q+2)与权重阈值K比较，获得连接活性参数。以特征连接权重Wpq的连接活性参数
为例：
根据连接活性参数进行多分辨率特征融合，得出：
当某个特征连接权重低于权重阈值，则该特征连接权重对应的特征图将连接失活，在后续的多分辨率特征融合中不需要融合连接失活的特征图。因此，通过特征连接权重和权重阈值可以达到稀疏网络的效果，减少过拟合情况。
车道线检测过程可分为四个步骤：(1)图像预处理；(2)特征提取；(3)特征融合；(4)目标识别。为进一步地提升车道线检测性能，所述车辆检测模型的特征提取部分使用跨阶段残差块替换特征提取网络中的传统残差块，特征融合部分引入空间金字塔池化，将局部区域特征与全局区域特征融合，充分融合利用不同深度网络层提取到的特征信息；
如图3所示为车道线识别优化处理框架，首先选取数据集中的训练集，对训练集中的车道线数据进行图像预处理，经过预处理后，可以消除图像存在的无关干扰因素，将处理后统一形式的图像作为整个训练网络的输入。在对输入图像进行图像预处理与车道线检测操作后，采用基于中值的背景提取方法，将各帧图像与计算得到背景图像相减，并且对相减后的图像再进行二值化处理；然后对提取出来的背景图像使用背景差分算法来提取视频前景车辆目标；提取到视频前景车辆目标后，对图像进一步分割，处理成单车道图像，然后使用投影特征对单车道图像进行特征提取工作；提取到单车道特征后，由于智能交通灯控制方案中的各个方向上的车流量状况共有5种：非常少(VS)、少(S)、正常(N)、多(R)和非常多(VR)，这就要求基于视频的道路车流量检测算法检测出的结果也需要分为5类，因此使用K-近邻算法对单车道特征向量进行分类，以获取最终检测结果，从而为下一步计算智能交通灯控制方案提供决策依据；其中，所述对图像的二值化处理的表达式如下所示：
式中x,y是对应图像的坐标点，B(x,y)是通过背景提取获得的背景帧，Ii(x,y)表示图像序列中的第i帧图像，Di(x,y)表示第i帧上点(x,y)差分的结果。若两幅图像在此点上差异大于阈值T，结果为1，若差异小于阈值T，则结果为0。
将提取后的特征送至改进后的金字塔网络进行特征融合，融合后特征图送入yolo层进行训练，达到训练次数后停止迭代，并生成最终的车道线检测模型。将测试集图像输入同一网络，调用训练所得到的车道线检测模型对测试集中的图像进行车道线检测，并输出车道线检测结果。
步骤二，将步骤一中收集到的交叉路口车辆信息作为各个区域路网的交通拥堵状态数据，对三维平面道路上车辆拥堵状态进行分析，添加路网中各路段和交叉口的重要性权重系数，得到区域路网交通状态拥挤指数，形成路网交通流立体特征标注
利用步骤一中车道线检测模型划分出各车道边框，结合雷达传感器和视频检测技术识别出各车道车辆分布情况，并添加路网中各路段和交叉口的重要性权重系数，实现路网交通流立体化特征标注的呈现方式；所述添加路网中各路段和交叉口的重要性权重系数得到区域路网交通状态拥挤指数，形成路网交通流立体特征标注的过程具体包括：
本实施例采用图论的方法表示路网，将路网抽象为带权有向图，将交叉口抽象为路网中的节点，相邻节点之间的路段抽象为边；由交叉口及路段组成的区域路网模型可描述为:G＝{I,L}；其中，I表示区域路网中交叉口集合，I＝{I1,I2,…In}，In表示区域路网交叉口集合中的第n个交叉口，L＝{lij|lij＝(Ii,Ij)；i,j＝1,2,…,n,i≠j}代表相邻节点间路段集合；lij表示存在一条从路口Ii到路口Ij的路段，其长度为lij；
步骤21、首先建立路段和交叉口的交通拥堵状态模型，再进行计算整合成区域路网的整体交通状态矩阵；
所述路段交通拥堵状态模型如下：
其中，
为路段Lij的交通状态值，
为路段Lij的最高限速，vij为路段Lij的平均速度，qij为实测流量，Cij为通行能力，α、β为模型参数，α+β＝1且α,β∈[0,1]；当路段实际流量较小时，车辆间的干扰较小，运行速度大，交通状态较好，路段状态值也越小，反之同理；
所述交叉口交通拥堵状态模型如下：
其中，Pi I为交叉口i的交通状态值；饱和度R为交叉口实际交通量与通行能力之比，其公式为：
其中R为交叉口进口道饱和度，Q、C分别为进口道的实际交通流量和通行能力，S为信号相位饱和流量，c为信号周期时长，g为有效绿灯时间；Ri为交叉口关键路段入口道最大饱和度；mi为交叉口i的关键路段数；
根据区域路网拓扑结构可得出表征实际路网物理连接关系的节点邻接矩阵A(G)mn，元素由如下公式表示：
其中，aij＝1时表明交叉口i和j存在实际通行路段，反之不存在或禁行；
通过在不同路段上采集的交通参数，可计算不同路段、交叉口在[tk,tk+1]时间段的交通状态值；在邻接矩阵基础上结合路段交通状态构成路网邻接交通状态矩阵，记为A(P)＝{pij(t)}，其中pij(t)可由如下公式表示；
其中pij(t)表示t时刻路网中不同路段交通状态指数；若pij(t)＝∞表示路段不存在或禁行；
步骤22、考虑单位长度上的通行能力，使用空间重要性系数来体现常发性拥堵路段和交叉口在路网中的空间分布状态，所述路段及交叉口的空间重要性系数如下：
其中，
和
为关键系数，取值范围为[0,1]；mi为交叉口所管辖路段；
除了在空间维度上需要重视常发性拥堵路段和交叉口，时间维度的常发性拥堵情况同样不可忽视，充分掌握城市道路网在空间和时间下的整体运行状况，有利于准确地规划交通灯控制策略，从而提高道路通行能力，缓解道路拥堵。基于此，利用拥堵时间百分比反映交通路网拥堵出现的频率及程度，定义时间重要性系数为城市路网在一天中某一时间段内发生某一拥堵程度的频率系数，由于针对不同时间段路网交通评判拥堵的标准不统一，因此需要根据城市真实情况选取不同的交通拥堵阈值γ。若道路路段拥堵等级ft(lij)大于交通拥堵阈值，则表示处于拥堵状态，反之则处在畅通状态。各路段应满足如下条件：
其中，ft(lij)用以判断在统计天数内第t个时间段内路段lij的拥堵状态，Grat(lij)表示为统计天数内第t个时间段内单一路段拥堵等级，Fij(t)表示路段lij状态为拥堵的频率总数，N为总时间段数；
利用时段拥堵时长比来表示时间重要性系数，路段时间重要性系数
和交叉口时间重要性系数
如下：
其中，F(t)为所有路段状态为拥堵的频率总和；
综合上述路段和交叉口的时间重要性系数、空间重要性系数两者对区域路网交通状态的影响，进行归一化整理，得出路网交通状态权重模型；路段权重模型
和交叉口权重模型
公式分别如下：
通过区域路网中对路段和交叉口的时空重要性权重模型的分析，路段权重系数矩阵WL(t)和交叉口权重向量WI(t)如下：
WI(t)＝(w1 w2…wn)
步骤23、在步骤21所得到的区域路网的整体交通状态矩阵的基础上考虑路段、交叉口时空重要性权重，则区域路网状态模型如下：
其中，P(G)为区域路网交通状态矩阵；元数PIij(t)为路网单元的交通状态，当i≠j时，PIij(t)表示路段的交通状态指标，当i＝j时，PIij(t)表示交叉口的状态指标，当PIij(t)＝∞时，表示不存在Lij路段；PIij(t)值反映了路段或交叉口拥挤程度，值越大表示越拥挤；
计算区域路网整体的交通状态拥挤指数PI的值：
其中，PI为区域路网交通状态拥挤指数，用来表示路网中子区域交通拥挤状态的程度；通过分析可知，PI值越大路网越拥挤；PI值越小表明整个路网交通比较畅通；λ为模型参数，取值为[0,1]。
各路段和交叉口的交通拥堵状态模型可以反映整个网络中交通流的拥堵和分布情况，从中可以推断交通流的主要来源情况以及流向。时空重要性系数权重模型是基于时间和空间两个维度进行建模分析得到的，能够结合丰富的交通信息资源得到整个网络中交通流分布随时间和空间的变化情况，立体化地展示区域路网的交通时空状态情况。最后，结合以上两部分信息计算得到区域路网下整体的交通状态矩阵信息，同时兼顾宏观路网交通拥堵状态评价与微观交通参量两个方面，为观察和研究区域路网交通状态的演化提供了全面可视化方法。
步骤三，建立基于模糊神经网络的交通灯控制系统，将区域路网交通状态拥挤指数作为模糊神经网络的输入，计算得出一段时间内区域路网交通拥堵状态与交通灯控制结果的对应关系，获得预测出的交通灯控制信息，实现多路段全局自适应信号控制。
模糊神经网络自适应控制利用设置在路段或交叉口的检测器实时采集交通数据，并根据实时采集的数据实施联机最优控制。为体现更优化的信号配时策略，本实施例取“交通流立体特征状态信息”和“时空重要性等级信息”作为控制系统的输入，取“交通灯控制”(实现该参量值最小为信号配时系统的控制目标)作为控制系统的输出。将交通流立体特征状态信息模糊包括“很畅通、畅通、拥挤、很拥挤”等4种状态，时空重要性等级信息包含“很低、低、高、很高”等4种状态，二者共同构成总计16种输入状态。基于自适应信号控制系统通过模糊神经网络控制算法实现其对应的信号控制规则，可得到“很短、短、中等、长、很长”等5种状态的交通灯控制。
模糊神经网络通过学习尽可能多的车辆通行状态信息而获得车辆自适应控制规则的基本信息，进而实现多路段全局自适应信号控制。根据模糊控制规则设定的一般规律与信号控制可能出现基本通行情况，本实施例设定自适应信号配时的模糊控制规则如表1所示：
表1自组织模糊神经网络模型的模糊控制规则
采用三角形隶属函数进行交通状态分析，其函数形式如下所示：
其中，具体形式和分布由参数[a,b,c]决定，要求a≤b≤c，参数值一般根据专家经验打分给出。
区域路网交通状态拥挤指数PI根据时间段的变化而变化，视其为一段序列数据。因此本实施例在所述模糊神经网络结构中添加序列标识符和序列定位器两个模块得到自组织模糊神经网络模型，其中所述序列标识符模块用于接受序列的初始样本，以在不同的学习序列中识别序列模式，所述序列定位器用于定位序列中的当前状态，并将两个部分作为模糊规则的输入进而计算被识别序列的下一个样本。如图4所示，所述自组织模糊神经网络模型包括鉴别层、序列模糊层、存储层、样本模糊层、模糊规则层、规范化层和输出层，并设置开关S1、S2、S3管理该模型，所述各结构层具体功能如下：
鉴别层：用于计算每个序列的鉴别标识号，该层接受交通状态序列的T个序列样本，当x(t)是第t时刻的输入量，第p个神经元输出表示为：
其中，在T个样本后，第p个神经元的输出为
序列模糊层：用于接收包含鉴别层所有输出信息的向量，并为鉴别层中不同标识号定义多元模糊集，序列模糊层的第p个神经元输出表示为：
其中，c1p是第p个模糊集中心的向量，∑1为包含每个输入维度模糊集宽度的对角矩阵；
存储层：该层的每个神经元都是一个具有不同时间常数的离散低通滤波器，λp＝p/(p+1)，输出为包含序列当前样本和d个先前样本的向量，公式如下：
样本模糊层：原理与序列模糊层相似，神经元输出公式如下：
模糊规则层：该层的每个神经元代表一个模糊规则，基于样本模糊层的输出应用T-Norm算子来计算隶属度，第p个模糊规则的隶属函数定义为：
其中，μp是当前序列对第p个模糊规则的隶属度及其对应模糊规则的当前位置。
规范化层：对计算出的隶属度进行归一化操作，该层第p个神经元的输出如下：
其中，φp是当前序列对第p个模糊规则的归一化隶属度及其对应模糊规则的当前位置，R为模糊规则个数。
输出层：该层输出为输入向量与权重向量W的内积，权值向量作为后件参数，网络的最终输出如下：
o(7)＝y(t)＝x(t+1)＝WT·o(6)
基于以上7层结构构建出的自组织模糊神经网络模型序列具有动态学习特性，在学习过程中，开关S1闭合，S2断开，对于前T个序列样本开关S3闭合，模型输入为原始的序列样本x(t)；在接受到T个样本后开关S1和S3断开，S2闭合，模型以存储层的输出作为模糊集层的第一个模糊集中心，基于全局信息定位序列的当前位置，并组合模糊规则得到预测样本。
将区域路网交通状态数据基于时间参数序列化，作为自组织模糊神经网络模型的输入，根据时间参数学习特定时间段的序列规律，并将该序列规律应用于具有自适应功能的模糊神经网络，得出对应路段、交叉口或区域路段的交通拥堵状态预测值；针对上述得到的交通拥堵状态预测值获得预测出的交通灯控制信息。
上述仅为本发明的优选实施例，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。
Claims (10)
1.基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，具体包括如下步骤：
步骤a、利用车辆检测模型进行特征检测，采集交叉路口车辆信息；
步骤b、基于步骤a中收集到的交叉路口车辆信息对三维平面道路上车辆拥堵状态进行分析，添加路网中各路段和交叉口的重要性权重系数，得到区域路网交通状态拥挤指数，形成路网交通流立体特征标注；
步骤c、建立基于模糊神经网络的交通灯控制系统，将步骤b得到的区域路网交通状态拥挤指数作为模糊神经网络的输入，计算得出一段时间内区域路网交通拥堵状态与交通灯控制结果的对应关系，获得预测出的交通灯控制信息。
2.根据权利要求1所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，所述车辆检测模型为多通路高分辨率网络与注意力机制融合的车辆检测模型，该模型分为路网感知层、训练网络层和特征输出层，其中所述路网感知层采用摄像头与雷达传感器的联合配置，在零光照和各种天气条件下全天候运行，用于实现车辆检测、车道线识别、车辆分布和时间记录特征检测功能，并将收集到的道路信息传递至特征输出层，提取出各监控路口的数字化信息作为训练网络层的输入；
在高分辨率网络中融合注意力机制的特征融合方法为在网络特征融合连接处利用特征连接权重和权重阈值对并行网络结构中的多条相邻网络通路进行多分辨率特征融合，获得高分辨率并行网络模块，其中权重阈值为超参数，特征连接权重为可学习的权重参数；在网络模型训练过程中，所述特征连接权重依据反向传输的损失进行自适应学习以表达当前特征图对网络的影响程度。
3.根据权利要求2所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，为高分辨率网络引入跳跃连接的特征融合方法，利用跳跃连接对所述并行网络结构中的每条网络通路中对称位置的特征图进行跨层特征融合。
4.根据权利要求2所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，所述高分辨率并行网络模块中特征图的多分辨率特征融合具体步骤为：设高分辨率并行网络模块中p+1条网络通路中第q+1个卷积层的特征图为Feature(p+1)(q+1)，其中，p＝1,2,…,R，q＝1,2,…,Qp，R为高分辨率级联网络模块中网络通路的总数，Qp为第p条网络通路中卷积层的总个数，则Feature(p+1)(q+1)的多分辨率特征融合步骤如下：
步骤a1、获取特征图Featurepq、Featurep(q+1)和Featurep(q+2)，并获取与特征图对应的特征连接权重Wpq、Wp(q+1)和Wp(q+2)；
其中，Featurepq表示高分辨率并行网络模块中第p条网络通路中第q个卷积层的特征图，Featurep(q+1)表示第p条网络通路中第q+1个卷积层的特征图，Featurep(q+2)表示第p条网络通路中第q+2个卷积层的特征图，Wpq表示Featurepq对应的特征连接权重，Wp(q+1)表示Featurep(q+1)对应的特征连接权重，Wp(q+2)表示Featurep(q+2)对应的特征连接权重；
步骤a2、依次将特征连接权重Wpq、Wp(q+1)、Wp(q+2)与权重阈值K比较，获得连接活性参数；以特征连接权重Wpq的连接活性参数
为例：
根据连接活性参数进行多分辨率特征融合，得出：
当某个特征连接权重低于权重阈值，则该特征连接权重对应的特征图将连接失活，在后续的多分辨率特征融合中不需要融合连接失活的特征图。
5.根据权利要求3所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，所述车辆检测模型的特征提取部分使用跨阶段残差块替换特征提取网络中的传统残差块，特征融合部分引入空间金字塔池化，将局部区域特征与全局区域特征融合，充分融合利用不同深度网络层提取到的特征信息；
对输入图像进行图像预处理与车道线检测操作后，采用基于中值的背景提取方法，将各帧图像与计算得到背景图像相减，并且对相减后的图像再进行二值化处理；然后对提取出来的背景图像使用背景差分算法来提取视频前景车辆目标；提取到视频前景车辆目标后，对图像进一步分割，处理成单车道图像，然后使用投影特征对单车道图像进行特征提取工作；提取到单车道特征后，使用K-近邻算法对单车道特征向量进行分类，以获取最终检测结果；
其中，所述对图像的二值化处理的表达式如下所示：
其中x,y是对应图像的坐标点，B(x,y)是通过背景提取获得的背景帧，Ii(x,y)表示图像序列中的第i帧图像，Di(x,y)表示第i帧上点(x,y)差分的结果；若两幅图像在此点上差异大于阈值T，结果为1，若差异小于阈值T，则结果为0。
6.根据权利要求5所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，所述步骤b中添加路网中各路段和交叉口的重要性权重系数得到区域路网交通状态拥挤指数的过程具体包括：
采用图论的方法表示路网，将路网抽象为带权有向图，将交叉口抽象为路网中的节点，相邻节点之间的路段抽象为边；由交叉口及路段组成的区域路网模型可描述为:G＝{I,L}；其中，I表示区域路网中交叉口集合，I＝{I1,I2,…In}，In表示区域路网交叉口集合中第n个交叉口，L＝{lij|lij＝(Ii,Ij)；i,j＝1,2,…,n,i≠j}代表相邻节点间路段集合；lij表示存在一条从路口Ii到路口Ij的路段，其长度为lij；
步骤b1、首先建立路段和交叉口的交通状态模型，再进行计算整合成区域路网整体的交通状态矩阵；
所述路段交通状态模型如下：
其中，
为路段Lij的交通状态值，
为路段Lij的最高限速，vij为路段Lij的平均速度，qij为实测流量，Cij为通行能力，α、β为模型参数，α+β＝1且α,β∈[0,1]；当路段实际流量较小时，车辆间的干扰较小，运行速度大，交通状态较好，路段状态值也越小，反之同理；
所述交叉口交通状态模型如下：
其中，Pi I为交叉口i的交通状态值；饱和度R为交叉口实际交通量与通行能力之比，其公式为：
其中R为交叉口进口道饱和度，Q、C分别为进口道的实际交通流量和通行能力，S为信号相位饱和流量，c为信号周期时长，g为有效绿灯时间；Ri为交叉口关键路段入口道最大饱和度；mi为交叉口i的关键路段数；
根据区域路网拓扑结构可得出表征实际路网物理连接关系的节点邻接矩阵A(G)mn，元素由如下公式表示：
其中，aij＝1时表明交叉口i和j存在实际通行路段，反之不存在或禁行；
通过在不同路段上采集的交通参数，可计算不同路段、交叉口在[tk,tk+1]时间段的交通状态值；在邻接矩阵基础上结合路段交通状态构成路网邻接交通状态矩阵，记为A(P)＝{pij(t)}，其中pij(t)可由如下公式表示；
其中pij(t)表示t时刻路网中不同路段交通状态指数；若pij(t)＝∞表示路段不存在或禁行；
步骤b2、考虑单位长度上的通行能力，使用空间重要性系数来体现常发性拥堵路段和交叉口在路网中的空间分布状态，所述路段及交叉口的空间重要性系数如下：
其中，
和
为关键系数，取值范围为[0,1]；mi为交叉口所管辖路段；
利用拥堵时间百分比反映交通路网拥堵出现的频率及程度，定义时间重要性系数为城市路网在一天中某一时间段内发生某一拥堵程度的频率系数，针对不同时间段路网交通评判拥堵的标准不统一，因此需要根据城市真实情况选取不同的交通拥堵阈值γ；若道路路段拥堵等级ft(lij)大于交通拥堵阈值，则表示处于拥堵状态，反之则处在畅通状态；各路段应满足如下条件：
其中，ft(lij)用以判断在统计天数内第t个时间段内路段lij的拥堵状态，Grat(lij)表示为统计天数内第t个时间段内单一路段拥堵等级，Fij(t)表示路段lij状态为拥堵的频率总数，N为总时间段数；
利用时段拥堵时长比来表示时间重要性系数，路段时间重要性系数
和交叉口时间重要性系数
如下：
其中，F(t)为所有路段状态为拥堵的频率总和；
综合上述路段和交叉口的时间重要性系数、空间重要性系数两者对区域路网交通状态的影响，进行归一化整理，得出路网交通状态权重模型；路段权重模型
和交叉口权重模型
公式如下：
通过区域路网中对路段和交叉口的时空重要性权重模型的分析，路段权重系数矩阵WL(t)和交叉口权重向量WI(t)如下：
步骤b3、在步骤b1得到的区域路网整体的交通状态矩阵的基础上考虑路段、交叉口时空重要性权重，则区域路网状态模型如下：
其中，P(G)为区域路网交通状态矩阵；元数PIij(t)为路网单元的交通状态，当i≠j时，PIij(t)表示路段的交通状态指标，当i＝j时，PIij(t)表示交叉口的状态指标，当PIij(t)＝∞时，表示不存在Lij路段；PIij(t)值反映了路段或交叉口拥挤程度，值越大表示越拥挤；
计算区域路网整体的交通状态拥挤指数PI的值：
其中，PI为区域路网交通状态拥挤指数，用来表示路网中子区域交通拥挤状态的程度；通过分析可知，PI值越大路网越拥挤；PI值越小表明整个路网交通比较畅通；λ为模型参数，取值为[0,1]。
7.根据权利要求1所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，在所述模糊神经网络结构中添加序列标识符和序列定位器两个模块得到自组织模糊神经网络模型，其中所述序列标识符模块用于接受序列的初始样本，以在不同的学习序列中识别序列模式，所述序列定位器模块用于定位序列中的当前状态，并将两个部分作为模糊规则的输入进而计算被识别序列的下一个样本。
8.根据权利要求7所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，所述自组织模糊神经网络模型包括鉴别层、序列模糊层、存储层、样本模糊层、模糊规则层、规范化层和输出层，并设置开关S1、S2、S3管理该模型，所述各结构层具体功能如下：
(1)鉴别层：用于计算每个序列的鉴别标识号，该层接受交通状态序列的T个序列样本，当x(t)是第t时刻的输入量，第p个神经元输出表示为：
其中，在T个样本后，第p个神经元的输出为
(2)序列模糊层：用于接收包含鉴别层所有输出信息的向量，并为鉴别层中不同标识号定义多元模糊集，序列模糊层的第p个神经元输出表示为：
其中，c1p是第p个模糊集中心的向量，∑1为包含每个输入维度模糊集宽度的对角矩阵；
(3)存储层：该层的每个神经元都是一个具有不同时间常数的离散低通滤波器，λp＝p/(p+1)，输出为包含序列当前样本和d个先前样本的向量，公式如下：
(4)样本模糊层：原理与序列模糊层相似，神经元输出公式如下：
(5)模糊规则层：该层的每个神经元代表一个模糊规则，基于样本模糊层的输出应用T-Norm算子来计算隶属度，第p个模糊规则的隶属函数定义为：
其中，μp是当前序列对第p个模糊规则的隶属度及其对应模糊规则的当前位置；
(6)规范化层：对计算出的隶属度进行归一化操作，该层第p个神经元的输出如下：
其中，φp是当前序列对第p个模糊规则的归一化隶属度及其对应模糊规则的当前位置，R为模糊规则个数；
(7)输出层：该层输出为输入向量与权重向量W的内积，权值向量作为后件参数，网络的最终输出如下：
o(7)＝y(t)＝x(t+1)＝WT·o(6)
在学习过程中，开关S1闭合，S2断开，对于前T个序列样本开关S3闭合，模型输入为原始的序列样本x(t)；在接受到T个样本后开关S1和S3断开，S2闭合，模型以存储层的输出作为模糊集层的第一个模糊集中心，基于全局信息定位序列的当前位置，并组合模糊规则得到预测样本；
将步骤b得到的区域路网交通状态拥挤指数基于时间参数序列化，作为模糊神经网络模型的输入，根据时间参数学习特定时间段的序列规律，并将该序列规律应用于具有自适应功能的模糊神经网络，得出对应路段、交叉口或区域路段的交通拥堵状态预测值，基于此，针对上述得到的交通拥堵状态预测值获得预测出的交通灯控制信息。
9.根据权利要求8所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，所设定的自组织模糊神经网络模型的模糊控制规则为：以“交通流立体特征状态信息”和“时空重要性等级信息”作为交通灯控制系统的输入，以“交通灯控制”作为交通灯控制系统的输出；所述交通流立体特征状态信息模糊包括“很畅通、畅通、拥挤、很拥挤”，所述时空重要性等级信息包含“很低、低、高、很高”，二者共同构成总计16种输入状态，最终得到“很短、短、中等、长、很长”5种状态的交通灯控制。
10.根据权利要求8所述的基于多通道车辆检测与立体特征标注的交通灯控制方法，其特征在于，所述模糊隶属函数采用三角形隶属函数，其函数形式如下所示：
其中，具体形式和分布由参数[a,b,c]决定，要求a≤b≤c，参数值根据专家经验打分给出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211222380.4A CN115565388A (zh) | 2022-10-08 | 2022-10-08 | 基于多通道车辆检测与立体特征标注的交通灯控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211222380.4A CN115565388A (zh) | 2022-10-08 | 2022-10-08 | 基于多通道车辆检测与立体特征标注的交通灯控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115565388A true CN115565388A (zh) | 2023-01-03 |
Family
ID=84745277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211222380.4A Pending CN115565388A (zh) | 2022-10-08 | 2022-10-08 | 基于多通道车辆检测与立体特征标注的交通灯控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115565388A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116386338A (zh) * | 2023-06-06 | 2023-07-04 | 广州铭创通讯科技有限公司 | 一种基于图像数据处理的城市停车场中车辆离场控制方法 |
-
2022
- 2022-10-08 CN CN202211222380.4A patent/CN115565388A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116386338A (zh) * | 2023-06-06 | 2023-07-04 | 广州铭创通讯科技有限公司 | 一种基于图像数据处理的城市停车场中车辆离场控制方法 |
| CN116386338B (zh) * | 2023-06-06 | 2023-08-15 | 广州铭创通讯科技有限公司 | 一种基于图像数据处理的城市停车场中车辆离场控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109147331B (zh) | 一种基于计算机视觉的道路拥堵状态检测方法 | |
| Yan et al. | Spatial-temporal chebyshev graph neural network for traffic flow prediction in iot-based its | |
| CN111583639B (zh) | 一种道路交通拥堵预警方法及系统 | |
| George et al. | Traffic prediction using multifaceted techniques: A survey | |
| Ashifuddin Mondal et al. | Intelligent traffic congestion classification system using artificial neural network | |
| Kumaran et al. | Queuing theory guided intelligent traffic scheduling through video analysis using Dirichlet process mixture model | |
| CN114913447B (zh) | 基于场景识别的警务智慧指挥室系统及方法 | |
| CN115565388A (zh) | 基于多通道车辆检测与立体特征标注的交通灯控制方法 | |
| CN118262516A (zh) | 一种基于多种注意力神经网络的车辆交通预测方法及系统 | |
| CN117456730A (zh) | 一种基于自适应部分注意力扩散图卷积神经网络的交通流量预测方法 | |
| CN117334040A (zh) | 一种跨域路侧感知多车辆关联方法及系统 | |
| Zou et al. | Traffic flow video image recognition and analysis based on multi-target tracking algorithm and deep learning | |
| CN116386020A (zh) | 多源数据融合的高速公路收费站出口流量预测方法及系统 | |
| Tejima et al. | Mm-aqi: A novel framework to understand the associations between urban traffic, visual pollution, and air pollution | |
| Chen et al. | Research on pedestrian intrusion detection in static scenes | |
| Ode et al. | Ai-Based Traffic Controller Using Computer Vision | |
| Dabboussi et al. | Data-Driven Methods and Challenges for Intelligent Transportation Systems in Smart Cities | |
| CN116311950B (zh) | 路径选择方法和基于虚实融合技术的v2x测试系统 | |
| ALzubaidy et al. | Implementing deep learning and CNNs for vehicle detection to alleviate highway traffic congestion | |
| Priyono et al. | Application of LVQ Neural Network in Real–Time Adaptive Traffic Signal Control | |
| Bhosale et al. | Automatic Video Traffic Surveillance System with Number Plate Character Recognition Using Hybrid Optimization-Based YOLOv3 and Improved CNN | |
| CN112348243B (zh) | 三维路网下交通拥堵识别方法 | |
| Srinivas et al. | Traffic Prediction Using a Wide Range of Techniques: A Review | |
| Shleymovich et al. | Check for updates Object Detection in Images Using Deep Learning to Build Simulation Models | |
| Tynchenko et al. | An intelligent approach for creation of control systems for road sections with pedestrian crossings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |