CN115240413A - 一种复杂环境下道路交通状态识别装置及方法 - Google Patents
一种复杂环境下道路交通状态识别装置及方法 Download PDFInfo
- Publication number
- CN115240413A CN115240413A CN202210840624.9A CN202210840624A CN115240413A CN 115240413 A CN115240413 A CN 115240413A CN 202210840624 A CN202210840624 A CN 202210840624A CN 115240413 A CN115240413 A CN 115240413A
- Authority
- CN
- China
- Prior art keywords
- road traffic
- image
- model
- layer
- traffic state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000005540 biological transmission Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 2
- 238000011002 quantification Methods 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006698 induction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Abstract
本发明公开了一种复杂环境下道路交通状态识别装置及方法，该识别装置包括有视频采集模块、数据传输模块、云服务器；所述视频采集模块用于采集道路交通视频信息；所述数据传输模块用于传输采集的道路交通图像信息，并进行编解码等初步处理；所述云服务器用于接收道路交通图像信息，对其进行计算分析，得出道路交通状态这一识别结果；所述云服务器通过接收数据传输模块传输的道路交通图像信息，并运行道路交通状态识别模型，计算分析道路交通状态识别结果。本发明从道路交通图像角度出发，构建道路交通状态识别模型，取代人工判读，达到智能识别道路交通状态的目的。
Description
技术领域
本发明属于计算机视觉与交通工程的技术领域，具体涉及一种复杂环境下道路交通状态识别装置及方法。
背景技术
随着人们的出行需求增加，汽车保有量急速提升，城市路网的拥堵成为目前常见的交通问题。根据交通运输部发布的数据显示，路网拥堵会带来一系列的经济损失，因此如何解决交通拥堵问题成为了学术界关心的热点问题。
目前常见的缓解路网拥堵方法有两大类，第一类方法包括新建道路、拓宽路面、规划潮汐车道、设置专用车道等，这些方法从源头出发解决拥堵问题，但其需要从城市规划层面落地实施，存在涉及面广、利益牵涉多、实施进度慢、成本难以控制等不利因素；第二类方法包括信号灯配时优化、主/辅路流量控制、路径诱导、可变限速控制等，这些方法从交通疏导的方面着手，具有一定的成效，但是并没有与智慧城市深度融合，存在孤立的被动式缓解交通拥堵的缺陷。
随着智能交通系统(Intelligent Transportation System，ITS)在交通运输领域的不断应用，可以结合现代智能技术对城市交通做到智慧诱导、智慧引导、智慧疏导，最大程度利用当前已有的道路资源。目前在ITS系统中，已有地磁感应线圈和微波检测器等方法识别交通拥堵，如专利申请201810963651.9公开了一种物联网下的ITS新模型及其构建方法和智能交通系统，在ITS现有的逻辑框架和物理模型基础上，建立了物联网环境下的ITS结构模型，形成完善综合的智能交通体系架构，并以新环境下智能交通系统架构评价框架为标准，利用层次分析法和多属性决策法对新体系架构进行验证和分析；得到优于现有ITS的物联网环境下的智能交通系统架构。以车辆的车速、识别车型、统计车流量和路面占用率等交通信息作为测试对象进行节点设计，对节点进行传感器选择和整合，分别设计子节点和主节点。不但可以收集路段的交通信息，而且还能够通过模块告知驾驶员如何改道、绕行，达到了信息的双向流通，提高交通管理效率和质量。但ITS存在造价高昂，维护不便等缺点。部分学者提出采用视频监控技术，通过交通摄像头监测道路交通拥堵状态，如专利申请202010686378.7公开了一种面向不同智能化等级的城市轨道交通列车运行控制系统。系统包括运行控制单元和调度指挥单元，其中运行控制单元按照列车全过程，功能上包括：列车测速定位、起动、速度防护、间隔防护、进站停车、车门和安全门自动打开/关闭、移动授权计算、障碍物检测、故障处理等；调度指挥单元，功能上包括：运行图生成、各类控制命令下达、列车实时状态显示和监测、环境设备状态监测及故障报警等功能。
然而，这同样需要大量的人力成本，并且人工操作员会存在疲劳、判断失误等问题。此外，在室外工作场合下，雨天等不利环境因素会对成像效果产生影响，导致识别准确率下降。为了解决这一问题，通常需要对采集到的雨天道路交通视频信息进行去雨处理，即图像降噪处理。
总之，现有方法或者施工量大，在效费比上有所欠缺，或者与未来城市发展规划贴合不够紧密，无法实现信息融合。
发明内容
为解决上述问题，本发明的首要目的在于提供一种复杂环境下道路交通状态识别装置及方法，该装置及方法能够克服现有的人力和造价的浪费，节约资源。
本发明的另一目的在于提供一种复杂环境下道路交通状态识别装置及方法，该装置及方法结合目前大数据、云计算、人工智能手段，基于深度学习技术，从道路交通图像角度出发，构建道路交通状态识别模型，取代人工判读，达到智能识别道路交通状态的目的。
本发明的再一目的在于提供一种复杂环境下道路交通状态识别装置及方法，该装置及方法一方面，着重考虑到雨天等复杂环境因素的情况，首先进行了图像去雨降噪处理；另一方面，在交通状态识别时，又能够使用第一步已经去雨降噪后的图像，进而可以完成道路交通状态识别任务，使得识别结果更加准确。
为实现上述目的，本发明的技术方案如下。
一种复杂环境下道路交通状态识别装置，该识别装置包括有视频采集模块、数据传输模块、云服务器；
所述视频采集模块用于采集道路交通视频信息；
所述数据传输模块用于传输采集的道路交通图像信息，并进行编解码等初步处理；
所述云服务器用于接收道路交通图像信息，对其进行计算分析，得出道路交通状态这一识别结果；
其中，所述数据传输模块包括专用短程通信技术DSRC通信模块、长期演进(LongTerm Evolution-Vehicle,LET-V)通信模块，用于与其他车辆进行车-车V2V通信、与路侧设备进行车-基础设施V2I通信；所述V2X通信模块以消息的方式进行发送和接收，消息格式满足V2X通信标准协议；
所述云服务器通过接收数据传输模块传输的道路交通图像信息，并运行道路交通状态识别模型，计算分析道路交通状态识别结果。
一种复杂环境下道路交通状态识别方法，该方法包括以下步骤：
S1：道路交通状态量化指标的确定；
S2：道路交通状态数据集构建；
S3：复杂环境下道路交通状态识别模型的建立；
S4：复杂环境下道路交通状态识别模型的训练；
S5：数据传输；
S6：图像预处理；
S7：计算道路交通状态；
S8：结果展示；
所述S1包括以下步骤：
S101：对于道路交通状态可以将其转化为道路交通占有率这一指标进行量化，其特征在于采用如下模型：
其中，Va表示每个车辆的平均投影面积，Ra表示道路的面积。
所述S2包括以下步骤：
S201：按照道路交通占有率这一指标进行数据集构建，数据集包括3类道路交通状态数据，由3类图片构成，分别是畅通，缓行，拥堵；
S202：收集道路交通状态图像数据；
S203：进行数据集样本均衡处理，通过改变对比度和亮度，改变饱和度等图像处理方式，扩充小样本数据量；
S204：通过增加高斯模糊，高斯噪声，添加背景噪声方式，扩充小样本数据量；
S205：采用旋转0、90、180、360度等图像变换方式，扩充小样本数据量；
S206：设置训练集与验证集的比例，按照4：1的比例，将数据集分为模型的训练集和测试集。
所述步骤S3具体包括以下步骤：
S301：首先对雨天图像进行建模，模型如下：
X＝Xdetail+Xbase
上式中，X表示受到雨天环境影响的图像，Xdetail表示只保留雨条纹和物体结构信息的细节层，Xbase表示基础层；
S302：图像预处理，采用低通滤波器，提取出有雨图像中的雨条纹信息；
S303：将雨条纹信息作为模型第一部分的输入，采用残差神经网络学习其特征；
S304：模型第一部分输出估计的雨条纹信息Xrain_streak；
S305：将有雨图像X与雨条纹信息Xrain_streak相加，可得复原后的清晰图像，公式如下：derain_image＝X+Xrain_streak，
其中，derain_image表示清晰图像，X表示有雨图像，Xrain_streak表示雨条纹信息；
S306：将清晰图像作为模型第二部分的输入；
S307：第二部分模型的第一层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S308：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S309：第二部分模型的第二层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S310：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S311：第二部分模型的第三层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S312：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S313：第二部分模型的第四层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S314：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S315：第二部分模型的第五层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S316：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S317：将五层多尺度卷积层进行特征抽取之后的结果，输入两层全连接层；
S318：最后通过归一化指数函数(softmax)层输出道路交通状态识别结果。
所述步骤S4具体包括以下步骤：
S401：针对模型第一部分，采用去顶高斯分布设置模型初始参数，学习率初始设置为0.0001，训练次数设置为2000次，批次大小设置为16；
S402：采用随机梯度下降SDG优化器，以及自适应梯度下降法；
S403：训练完成时，保存模型超参数；
S404：针对模型第二部分，采用去顶高斯分布设置模型初始参数，学习率初始设置为0.0001，训练次数设置为2000次，批次大小设置为16；
S405：采用随机梯度下降SDG优化器，以及自适应梯度下降法；
S406：训练完成时，保存模型超参数。
所述步骤S5具体包括以下步骤：
S501：基于数据传输模块，采用LTE-V2X/NR-V2X通信技术，间隔5秒传输一次道路交通图像信息；
S502：采用base64.b64encoded方法对图像进行编码；
S503：采用request方法上传至云服务器。
所述步骤S6具体包括以下步骤：
S601：云服务器接收上传的道路交通图像信息；
S602：根据接受图像的时间，对图像文件进行命名存储；
S603：对图像文件进行图像预处理操作，提取出感兴趣(region of interest,ROI)区域。
进一步，所述步骤S7具体包括以下步骤：
S701：模型加载已经训练好的超参数；
S702：模型加载已经存储在云服务器中的道路交通图像；
S703：将预处理后的图像信息输入模型的第一部分，首先对图像进行去雨降噪处理，经过图像复原，得到清晰的道路交通图像信息；
S704：将清晰化后的道路交通图像进一步输入模型的第二部分，对其进行道路交通状态识别，生成道路交通状态识别结果。
为了降低雨天等复杂环境因素对模型识别准确度的影响，将复杂环境下道路交通状态识别模型分为图像去雨降噪模型与道路交通状态识别模型两个部分。在此基础上，对两个子模型分别进行训练，然后将两者相互融合。
本发明结合目前大数据、云计算、人工智能手段，基于深度学习技术，从道路交通图像角度出发，构建道路交通状态识别模型，取代人工判读，达到智能识别道路交通状态的目的。
并且，通过道路交通图像信息，在不破坏道路的前提下，使得交通管理部门能够灵活获取道路交通拥堵状态，为提高雨天交通拥堵状态识别的效率提供新思路；通过计算机视觉的方式对交通拥堵状态进行识别，避免先期投入大、后期维护困难、人员疲劳和误报的缺点，可以为降低交通拥堵状态识别的成本提供新方法；降低雨天环境因素的影响可以得到更清晰的道路交通图像信息，避免对交通拥堵状态识别的干扰，有效提升道路交通拥堵状态识别的鲁棒性。
附图说明
图1是本发明所实现的功能流程图。
图2为本发明所实现的道路交通状态数据集构建流程图。
图3为本发明所实现的复杂环境下道路交通状态识别模型建立的流程图。
图4为本发明所实现的复杂环境下道路交通状态识别模型训练的流程图。
图5为本发明所实现的数据传输流程图。
图6为本发明所实现的图像预处理流程图。
图7为本发明所实现的道路交通状态计算流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面将结合附图，对本发明的优选实施进行详细的描述。
如图1所示，为本发明提供的一种复杂环境下的道路交通状态识别方法流程图，包括：
步骤S1：对道路交通状态进行量化，采用道路交通占有率描述道路交通状态，其特征如下：
其中，Va表示每个车辆的平均投影面积，Ra表示道路的面积。
在所述步骤S1中：道路交通状态与道路交通占有率直接相关，道路交通状态随着道路上车辆数量的增减而变化，因此可以将道路交通状态估算问题转化为道路交通状态分类问题。
步骤S2：建立道路交通状态数据集，用于训练道路交通状态识别模型；
步骤S3：建立道路交通状态识别模型，用于识别道路交通状态；
步骤S4：对道路交通状态识别模型进行训练，得到训练好的超参数；
步骤S5：采用LTE-V2X/NR-V2X通信技术，将道路交通图像信息编码传输至云服务器；
步骤S6：首先接收数据传输模块上传的图像信息，之后按照接收的时间对图像进行命名存储，最后对其进行图像预处理；
步骤S7：计算道路交通状态。
道路交通状态数据集构建如图2，其执行步骤如下所示：
S201：根据道路交通占有率这一指标将道路交通状态分为3类，分别是畅通、缓行和拥堵
S202：收集道路交通状态图像数据，建立数据集，数据集由3类图像构成，包括畅通、缓行和拥堵3类数据；
S203：考虑到每一类的数据样本量可能不同，因此进行数据集样本均衡处理。将小样本图像数据通过改变对比度、亮度和饱和度等方式，扩充数据量；
S204：将小样本图像数据通过增加高斯模糊、高斯噪声等背景噪声方式，扩充小样本数据量；
S205：将小样本图像数据通过旋转0度、90度、180度和360度等图像变换方式，扩充小样本数据量；
S206：设置训练集与验证集的比例，按照4：1的比例，将数据集分为模型的训练集和测试集；
复杂环境下道路交通状态识别模型建立如图3，其执行步骤如下所示：
S301：首先对雨天图像进行建模，模型如下：
X＝Xdetail+Xbase
上式中，X表示受到雨天环境影响的图像，Xdetail表示只保留雨条纹和物体结构信息的细节层，Xbase表示基础层；
S302：图像预处理，采用低通滤波器，提取出有雨图像中的雨条纹信息；
S303：将雨条纹信息作为模型第一部分的输入，采用残差神经网络学习其特征；
S304：模型第一部分输出估计的雨条纹信息Xrain_streak；
S305：将有雨图像X与雨条纹信息Xrain_streak相加，可得复原后的清晰图像，公式如下：derain_image＝X+Xrain_streak，
其中，derain_image表示清晰图像，X表示有雨图像，Xrain_streak表示雨条纹信息；
S306：将清晰图像作为模型第二部分的输入；
S307：第二部分模型的第一层网络为多尺度卷积层，其中设置四个大小不同的卷积核，第一个卷积核大小设置为1x1，卷积跨步设置为1；第二个卷积核大小设置为3×3，卷积跨步设置为1；第三个卷积核大小设置为5×5，卷积跨步设置为1；第四个卷积核大小设置为7×7，卷积跨步设置为1；
S308：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并convresult1＝concat(conv1×1,conv3×3,conv5×5,conv1×1)，最后再进行池化操作，池化结果作为下一层网络的输入；
S309：第二部分模型的第二层网络为多尺度卷积层，其中设置四个大小不同的卷积核，第一个卷积核大小设置为1x1，卷积跨步设置为1；第二个卷积核大小设置为3×3，卷积跨步设置为1；第三个卷积核大小设置为5×5，卷积跨步设置为1；第四个卷积核大小设置为7×7，卷积跨步设置为1；
S310：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并convresult2＝concat(conv1×1,conv3×3,conv5×5,conv1×1)，最后再进行池化操作，池化结果作为下一层网络的输入；
S311：第二部分模型的第三层网络为多尺度卷积层，其中设置四个大小不同的卷积核，第一个卷积核大小设置为1x1，卷积跨步设置为1；第二个卷积核大小设置为3×3，卷积跨步设置为1；第三个卷积核大小设置为5×5，卷积跨步设置为1；第四个卷积核大小设置为7×7，卷积跨步设置为1；
S312：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并convresult3＝concat(conv1×1,conv3×3,conv5×5,conv1×1)，最后再进行池化操作，池化结果作为下一层网络的输入；
S313：第二部分模型的第四层网络为多尺度卷积层，其中设置四个大小不同的卷积核，第一个卷积核大小设置为1x1，卷积跨步设置为1；第二个卷积核大小设置为3×3，卷积跨步设置为1；第三个卷积核大小设置为5×5，卷积跨步设置为1；第四个卷积核大小设置为7×7，卷积跨步设置为1；
S314：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并convresult4＝concat(conv1×1,conv3×3,conv5×5,conv1×1)，最后再进行池化操作，池化结果作为下一层网络的输入；
S315：第二部分模型的第五层网络为多尺度卷积层，其中设置四个大小不同的卷积核，第一个卷积核大小设置为1x1，卷积跨步设置为1；第二个卷积核大小设置为3×3，卷积跨步设置为1；第三个卷积核大小设置为5×5，卷积跨步设置为1；第四个卷积核大小设置为7×7，卷积跨步设置为1；
S316：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并convresult5＝concat(conv1×1,conv3×3,conv5×5,conv1×1)，最后再进行池化操作；
S317：将五层多尺度卷积层进行特征抽取之后的结果convresult5，输入两层全连接层；
S318：最后通过归一化指数函数(softmax)层输出道路交通状态识别结果。
复杂环境下道路交通状态识别模型训练如图4，其执行步骤如下所示：
S401：针对模型第一部分，采用去顶高斯分布设置模型初始参数，学习率初始设置为0.0001，训练次数设置为2000次，批次大小设置为16；
S402：采用随机梯度下降SDG优化器，以及自适应梯度下降法；
S403：训练完成时，保存模型超参数；
S404：针对模型第二部分，采用去顶高斯分布设置模型初始参数，学习率初始设置为0.0001，训练次数设置为2000次，批次大小设置为16；
S405：采用随机梯度下降SDG优化器，以及自适应梯度下降法；
S406：训练完成时，保存模型超参数；
数据传输如图5，其执行步骤如下所示：
S501：基于数据传输模块，采用LTE-V2X/NR-V2X通信技术，间隔5秒传输一次道路交通图像信息；
S502：采用base64.b64encoded方法对图像进行编码；
S503：采用request方法上传至云服务器；
图像预处理如图6，其执行步骤如下所示：
S601：云服务器接收上传的道路交通图像信息；
S602：根据接收图像的时间，对图像文件进行命名存储，避免名称重复；
S603：对图像文件进行图像预处理操作，提取出感兴趣(region of interest,ROI)区域；
道路交通状态计算如图7，其执行步骤如下所示：
S701：模型加载已经训练好的超参数；
S702：模型加载已经存储在云服务器中的道路交通图像；
S703：将预处理后的图像信息输入模型的第一部分，首先对图像进行去雨降噪处理，经过图像复原，得到清晰的道路交通图像信息；
S704：将清晰化后的道路交通图像进一步输入模型的第二部分，对其进行道路交通状态识别，生成道路交通状态识别结果；
总之，本发明结合目前大数据、云计算、人工智能手段，基于深度学习技术，从道路交通图像角度出发，构建道路交通状态识别模型，取代人工判读，达到智能识别道路交通状态的目的。
并且，通过道路交通图像信息，在不破坏道路的前提下，使得交通管理部门能够灵活获取道路交通拥堵状态，为提高雨天交通拥堵状态识别的效率提供新思路；通过计算机视觉的方式对交通拥堵状态进行识别，避免先期投入大、后期维护困难、人员疲劳和误报的缺点，可以为降低交通拥堵状态识别的成本提供新方法；降低雨天环境因素的影响可以得到更清晰的道路交通图像信息，避免对交通拥堵状态识别的干扰，有效提升道路交通拥堵状态识别的鲁棒性。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种复杂环境下道路交通状态识别装置，其特征在于该识别装置包括有视频采集模块、数据传输模块、云服务器；
所述视频采集模块用于采集道路交通视频信息；
所述数据传输模块用于传输采集的道路交通图像信息，并进行编解码等初步处理；
所述云服务器用于接收道路交通图像信息，对其进行计算分析，得出道路交通状态这一识别结果；
其中，所述数据传输模块包括专用短程通信技术DSRC通信模块、长期演进通信模块，用于与其他车辆进行车-车V2V通信、与路侧设备进行车-基础设施V2I通信；所述V2X通信模块以消息的方式进行发送和接收，消息格式满足V2X通信标准协议；
所述云服务器通过接收数据传输模块传输的道路交通图像信息，并运行道路交通状态识别模型，计算分析道路交通状态识别结果。
2.一种复杂环境下道路交通状态识别方法，该方法包括以下步骤：
S1：道路交通状态量化指标的确定；
S2：道路交通状态数据集构建；
S3：复杂环境下道路交通状态识别模型的建立；
S4：复杂环境下道路交通状态识别模型的训练；
S5：数据传输；
S6：图像预处理；
S7：计算道路交通状态；
S8：结果展示；
所述S1包括以下步骤：
S101：对于道路交通状态可以将其转化为道路交通占有率这一指标进行量化，其特征在于采用如下模型：
其中，Va表示每个车辆的平均投影面积，Ra表示道路的面积；
所述S2包括以下步骤：
S201：按照道路交通占有率这一指标进行数据集构建，数据集包括3类道路交通状态数据，由3类图片构成，分别是畅通，缓行，拥堵；
S202：收集道路交通状态图像数据；
S203：进行数据集样本均衡处理，通过改变对比度和亮度，改变饱和度等图像处理方式，扩充小样本数据量；
S204：通过增加高斯模糊，高斯噪声，添加背景噪声方式，扩充小样本数据量；
S205：采用旋转0、90、180、360度等图像变换方式，扩充小样本数据量；
S206：设置训练集与验证集的比例，按照4：1的比例，将数据集分为模型的训练集和测试集；
所述步骤S3具体包括以下步骤：
S301：首先对雨天图像进行建模，模型如下：
X＝Xdetail+Xbase
上式中，X表示受到雨天环境影响的图像，Xdetail表示只保留雨条纹和物体结构信息的细节层，Xbase表示基础层；
S302：图像预处理，采用低通滤波器，提取出有雨图像中的雨条纹信息；
S303：将雨条纹信息作为模型第一部分的输入，采用残差神经网络学习其特征；
S304：模型第一部分输出估计的雨条纹信息Xrain_streak；
S305：将有雨图像X与雨条纹信息Xrain_streak相加，可得复原后的清晰图像，公式如下：derain_image＝X+Xrain_streak，
其中，derain_image表示清晰图像，X表示有雨图像，Xrain_streak表示雨条纹信息；
S306：将清晰图像作为模型第二部分的输入；
S307：第二部分模型的第一层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S308：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S309：第二部分模型的第二层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S310：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S311：第二部分模型的第三层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S312：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S313：第二部分模型的第四层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S314：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S315：第二部分模型的第五层网络为多尺度卷积层，由多个不同尺度的卷积核组成，用来抽取不同层次的特征信息；
S316：经过多尺度卷积层进行特征抽取后，将其提取出的特征进行合并，最后再进行池化操作，池化结果作为下一层网络的输入；
S317：将五层多尺度卷积层进行特征抽取之后的结果，输入两层全连接层；
S318：最后通过归一化指数函数(softmax)层输出道路交通状态识别结果。
3.如权利要求2所述的复杂环境下道路交通状态识别方法，其特征在于所述步骤S4具体包括以下步骤：
S401：针对模型第一部分，采用去顶高斯分布设置模型初始参数，学习率初始设置为0.0001，训练次数设置为2000次，批次大小设置为16；
S402：采用随机梯度下降SDG优化器，以及自适应梯度下降法；
S403：训练完成时，保存模型超参数；
S404：针对模型第二部分，采用去顶高斯分布设置模型初始参数，学习率初始设置为0.0001，训练次数设置为2000次，批次大小设置为16；
S405：采用随机梯度下降SDG优化器，以及自适应梯度下降法；
S406：训练完成时，保存模型超参数。
4.如权利要求2所述的复杂环境下道路交通状态识别方法，其特征在于所述步骤S5具体包括以下步骤：
S501：基于数据传输模块，采用LTE-V2X/NR-V2X通信技术，间隔5秒传输一次道路交通图像信息；
S502：采用base64.b64encoded方法对图像进行编码；
S503：采用request方法上传至云服务器。
5.如权利要求2所述的复杂环境下道路交通状态识别方法，其特征在于所述步骤S6具体包括以下步骤：
S601：云服务器接收上传的道路交通图像信息；
S602：根据接受图像的时间，对图像文件进行命名存储；
S603：对图像文件进行图像预处理操作，提取出感兴趣区域。
6.如权利要求2所述的复杂环境下道路交通状态识别方法，其特征在于所述步骤S7具体包括以下步骤：
S701：模型加载已经训练好的超参数；
S702：模型加载已经存储在云服务器中的道路交通图像；
S703：将预处理后的图像信息输入模型的第一部分，首先对图像进行去雨降噪处理，经过图像复原，得到清晰的道路交通图像信息；
S704：将清晰化后的道路交通图像进一步输入模型的第二部分，对其进行道路交通状态识别，生成道路交通状态识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210840624.9A CN115240413A (zh) | 2022-07-18 | 2022-07-18 | 一种复杂环境下道路交通状态识别装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210840624.9A CN115240413A (zh) | 2022-07-18 | 2022-07-18 | 一种复杂环境下道路交通状态识别装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115240413A true CN115240413A (zh) | 2022-10-25 |
Family
ID=83672540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210840624.9A Pending CN115240413A (zh) | 2022-07-18 | 2022-07-18 | 一种复杂环境下道路交通状态识别装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115240413A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166314A (zh) * | 2018-09-29 | 2019-01-08 | 河北德冠隆电子科技有限公司 | 基于全方位跟踪检测雷达的路况感知设备及车路协同系统 |
| CN110503070A (zh) * | 2019-08-29 | 2019-11-26 | 电子科技大学 | 基于航拍图像目标检测处理技术的交通自动化监测方法 |
| CN112289059A (zh) * | 2020-10-22 | 2021-01-29 | 中电智能技术南京有限公司 | 一种车路协同道路交通系统 |
| CN113160078A (zh) * | 2021-04-09 | 2021-07-23 | 长安大学 | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 |
-
2022
- 2022-07-18 CN CN202210840624.9A patent/CN115240413A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166314A (zh) * | 2018-09-29 | 2019-01-08 | 河北德冠隆电子科技有限公司 | 基于全方位跟踪检测雷达的路况感知设备及车路协同系统 |
| CN110503070A (zh) * | 2019-08-29 | 2019-11-26 | 电子科技大学 | 基于航拍图像目标检测处理技术的交通自动化监测方法 |
| CN112289059A (zh) * | 2020-10-22 | 2021-01-29 | 中电智能技术南京有限公司 | 一种车路协同道路交通系统 |
| CN113160078A (zh) * | 2021-04-09 | 2021-07-23 | 长安大学 | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 刘扬;: "基于残差聚集网的恶劣天气环境下图像清晰化处理", 指挥控制与仿真, no. 02, 10 April 2020 (2020-04-10) * |
| 李继琰;罗磊;徐晨;周晖;董蓉;: "基于视频的苏通大桥高精度车流量检测系统", 中国交通信息化, no. 04, 15 April 2016 (2016-04-15) * |
| 杨展霁: "雨天环境下的交通拥堵状态识别与实验", 中国优秀硕士学位论文全文数据库, 15 February 2021 (2021-02-15), pages 19 - 22 * |
| 靳明;单飞;蒋雨波;: "基于大数据的公路监控智能视频分析系统的构建", 电子设计工程, no. 04, 20 February 2020 (2020-02-20) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109147331B (zh) | 一种基于计算机视觉的道路拥堵状态检测方法 | |
| CN111583639B (zh) | 一种道路交通拥堵预警方法及系统 | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| CN108710875A (zh) | 一种基于深度学习的航拍公路车辆计数方法及装置 | |
| CN114693615A (zh) | 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 | |
| CN111079640B (zh) | 一种基于自动扩增样本的车型识别方法及系统 | |
| WO2023207437A1 (zh) | 一种基于动态轨迹流的场景流数字孪生方法及系统 | |
| CN103258427A (zh) | 基于信息物理网络的城市快速路交通实时监控系统与方法 | |
| CN111458721B (zh) | 一种暴露垃圾的识别定位方法、装置及系统 | |
| CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
| CN110991523A (zh) | 一种面向无人驾驶车辆检测算法性能的可解释性评估方法 | |
| CN112329533A (zh) | 一种基于图像分割的局部路面附着系数估计方法 | |
| CN109086803A (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 | |
| Li et al. | A novel evaluation method for pavement distress based on impact of ride comfort | |
| CN113450573A (zh) | 基于无人机图像识别的交通监测方法和交通监测系统 | |
| CN115830265A (zh) | 一种基于激光雷达的自动驾驶运动障碍物分割方法 | |
| CN112668375B (zh) | 景区内游客分布分析系统及方法 | |
| CN114971166A (zh) | 一种轻量化道路路面服务质量巡检系统 | |
| CN110909607B (zh) | 一种智慧地铁运营中客流感知的装置系统 | |
| CN117152617A (zh) | 一种城市洪涝识别方法及系统 | |
| Basalamah et al. | Deep learning framework for congestion detection at public places via learning from synthetic data | |
| Dong et al. | Pixel-level intelligent segmentation and measurement method for pavement multiple damages based on mobile deep learning | |
| CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| CN115170783A (zh) | 一种使用街景图像的快速公路路面裂缝检测方法 | |
| CN115240413A (zh) | 一种复杂环境下道路交通状态识别装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |