CN113095159A - 一种基于cnn的城市道路交通状况分析方法 - Google Patents
一种基于cnn的城市道路交通状况分析方法 Download PDFInfo
- Publication number
- CN113095159A CN113095159A CN202110310422.9A CN202110310422A CN113095159A CN 113095159 A CN113095159 A CN 113095159A CN 202110310422 A CN202110310422 A CN 202110310422A CN 113095159 A CN113095159 A CN 113095159A
- Authority
- CN
- China
- Prior art keywords
- size
- image
- road
- default
- convolution kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003909 pattern recognition Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于CNN的城市道路交通状况分析方法，其特征在于，包括如下步骤：步骤一、获取所要分析的道路视频；步骤二、对所获取的道路视频进行处理，得到道路状况的图片；步骤三、对获取的道路状况的图片进行处理；步骤四、对获取的道路状况的图片进行分析，得到该道路的道路状况；该基于CNN的城市道路交通状况分析方法，对采集到的道路视频分帧处理为图片，再对图片进行识别，从而达到分析视频中的车辆信息，达到从视频中识别车辆信息的目的，能够更准确的提供用户前方道路信息，让用户即时根据前方道路信息更改自己的行车路线，能够及时避免交通拥堵状况的发生，减少在出行路途中所花费的时间。
Description
技术领域
本发明属于医疗或美容产品技术领域，具体涉及一种基于CNN的城市道路交通状况分析方法。
背景技术
近几十年之间随着中国的高速发展，城市中车辆数量急剧增加，由于城市原有交通规划有部分不合理的地方，导致交通拥堵，车辆违章停放成为人们日常出行必须面对的问题。这不仅仅会给人们带来经济上的损失，还可能会威胁人们的出行安全。伴随着互联网的高速发展以及人工智能技术的日益成熟，现代科技已经能够识别图像中物体的信息，图像识别技术也逐渐应用在城市交通道路状况分析。在应用市场上各种出行App也加入了道路状况分析功能，但是大多数软件都存在诸多弊端，比如部分App只能够识别图片中的车辆，而无法得到视频中的车辆信息，例如当前交通路口许多车辆等候红灯，分析结果为交通拥堵，但是当绿灯车辆开动时，交通路口马上会变为不拥堵状态，图片中的依然可能会存在许多车辆，给用户显示的结果依然可能是交通拥堵。这样会造成用户得到的信息会发生误差，无法准确获取前方道路信息，会影响用户出行计划甚至出行安全，给用户带来诸多不便。
发明内容
本发明为了解决用户出行由于无法及时了解前方道路信息而遭遇交通拥堵的问题，给用户来更好的体验，免除错误信息给用户到来的烦恼。
为此，本发明提供了一种基于CNN的城市道路交通状况分析方法，其特征在于，包括如下步骤：
步骤一、获取所要分析的道路视频；
步骤二、对所获取的道路视频进行处理，得到道路状况的图片；
步骤三、对获取的道路状况的图片进行处理；
步骤四、对获取的道路状况的图片进行分析，得到该道路的道路状况。
进一步的，所述步骤三中对获取的道路状况的图片进行处理包括滤波处理和均衡化处理。
进一步的，所述图片的滤波处理的过程是：采用3*3的矩阵，里面有9个像素点，对9个像素进行排序，然后将9个像素的中值赋为矩阵的中心点；
g(x，y)＝median[f(x-1，y-1)+f(x，y-1)+f(x+1，y-1)+f(x-1，y)+f(x，y)+f(x+1，y)+f(x-1，y+1)+f(x，y+1)+f(x+1，y+1)](1)
其中f(x，y)是大小为300x300x3的输入图像，采用尺寸为3*3的二维模板在图像上滑动，通过从图像中的二维模板取出奇数个数据进行排序，用排序后的中值取代要处理的数据，得到大小为300x300x3的输出图像g(x，y)。
进一步的，所述图片的均衡化处理的过程是：
第一步，计算原始图像的灰度直方图Nk，N(0)＝3，即输出图像g(x，y)中灰度级为0的像素个数是3，分别得出n(1)，n(2)，n(3)，……的个数，设为m；
第二步，计算输出图像g(x，y)的像素总个数N＝300*300*3＝270000；
第三步，计算原始图像的灰度分布频率
pr(k)＝nk/N＝nk/270000，k＝0，1，2，3…… (2)；
其中，K指代像素点的灰度值；
第四步，计算原始图像的灰度积累分布频率
第五步，将归一化的Sk乘以L-1再四舍五入，以使得均衡化后的图像灰度级与归一化前的原始图像一致，其中，L代表灰度级，L＝256；图像像素点的灰度值范围为0～L-1(L-1＝255)；
第六步，根据上述运算，最终得到增强后的图像G(x，y)。
进一步的，所述步骤四中对获取的道路状况的图片进行分析的过程是：通过使用COCO数据集对SSD检测模型进行训练，得到训练模型；然后将经过处理后的图片输入训练模型，进行特征提取和模式识别，输出图像中车辆坐标，通过对输出坐标数量进行统计得到图像中的车辆数量；并将车辆坐标输入到图像处理模块，将图像中的车辆标识出来，实现检测图像中的车辆的功能。
进一步的，所述将经过处理后的图片输入训练模型，进行特征提取和模式识别，输出图像中车辆坐标，通过对输出坐标数量进行统计得到图像中的车辆数量的过程是：
一.输入图像
输入图像G(x，y)大小为300x300x3；
二.特征提取
(1)首先输入G(x，y)大小为300x300x3，经过两次通道数为64的卷积操作，卷积核大小为3x3，再经过2x2最大池化，输出G1(x，y)大小为150x150x64的特征层；
(2)经过两次通道数为128的卷积操作，卷积核大小为3x3，再经过2x2最大池化，输出G2(x，y)大小为75x75x128的特征层；
(3)经过三次通道数为256的卷积操作，卷积核大小为3x3，再经过2x2最大池化，输出G3(x，y)大小为38x38x256的特征层；
(4)经过三次通道数为512的卷积操作，卷积核大小为3x3，再经过2x2最大池化，输出G4(x，y)大小为19x19x512的特征层；
(5)再经过三次通道数为512的卷积操作，卷积核大小为3x3，得到输出特征层G5(x，y)；
(6)对输出图像G5(x，y)进行一次步长为1的最大池化，得到输出特征层G6(x，y)；
(7)经过一次通道数为1024的卷积操作，得到输出特征层G7(x，y)；
(8)将G7(x，y)首先进行一次通道数为256的卷积操作，卷积核大小为1，然后再进行一次通道数为256的卷积操作，卷积核大小为2，步长为2，得到大小为10x10x512的特征层G8(x，y)；
(9)对G8(x，y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3，步长为2的卷积操作，得到大小为5x5x256的特征层G9(x，y)；
(10)对G9(x，y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3的卷积操作，得到大小为3x3x256的特征层G10(x，y)；
(11)对G10(x，y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3的卷积操作，得到大小为1x1x256的特征层G11(x，y)；
三.分类预测与回归预测
对步骤二得到的G3(x，y)、G7(x，y)、G8(x，y)、G9(x，y)、G10(x，y)、G11(x，y)有效特征层进行分类预测与回归预测；其中G3(x，y)的先验框数量为4、G7(x，y)的先验框数量为6、G8(x，y)的先验框数量为6、G9(x，y)的先验框数量为6、G10(x，y)的先验框数量为4、G11(x，y)的先验框数量为4；
1.生成default boxes：输入图像大小为300x300x3，对G3(x，y)生成defaultboxes，计算网格中心，求default boxs的短边，求default boxs的长边，获取正方形default boxes，获取长方形default boxes，最后对获取的default boxs进行reshape，此处[-1，4]中-1指所有default boxs，4指default boxs的4个参数，乘300方便绘制defaultboxes；检测模型一共可预测的default boxs数量为：
38x38x4+19x19x6+10x10x6+5x5x6+3x3x4+1x1x4＝8732
至此，获取了计算所需的default boxs。
2.预测
a.获取预测图片数量：1
b.对先验框进行解码，取回归预测前两位的内容乘先验框的w和h再加上先验框的中心，就是调整后的先验框的中心；
将回归预测后两位的结果乘先验框的w和h就是调整后先验框的w和h通过上述步骤确定调整后先验框的位置；
c.检测模型采用卷积对特征图G3(x，y)、G7(x，y)、G8(x，y)、G9(x，y)、G10(x，y)、G11(x，y)提取检测结果；
用3x3的卷积核进行卷积，每个default boxes生成19中confidence(训练数据集采用了COCO数据集前18类，再加上背景，总共19类)，输出回归用的localization；
d.将不同特征图获得的先验框结合起来，通过非极大线性抑制与IOU去除掉一部分重叠或者不正确的先验框，其中IOU的计算结果如下：
寻找与每一个ground truth box有最大J(A，B)的default box，生成最终的先验框，即检测结果，其中，IOU指代预测模型的bbox(先验框)和Ground Ttuth之间的交并比，A指代先验框，B指代Ground Truth(标注数据)。
本发明的有益效果：本发明提供的这种基于CNN的城市道路交通状况分析方法，对采集到的道路视频分帧处理为图片，再对图片进行识别，从而达到分析视频中的车辆信息，达到从视频中识别车辆信息的目的，能够更准确的提供用户前方道路信息，让用户即时根据前方道路信息更改自己的行车路线，能够及时避免交通拥堵状况的发生，减少在出行路途中所花费的时间。
以下将结合实施例对本发明做进一步详细说明。
附图说明
图1为基于CNN的城市道路交通状况分析方法的示意图。
图2车辆检测的流程示意意图。
图3为预测流程示意图。
图4为检测结果生产流程示意图。
图5为道路状况数据分析流程示意图。
具体实施方式
进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“对齐”、“重叠”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例1
本方法是基于Python实现系统功能，以python3.7为系统运行环境。系统运行时首先将准备的数据集进行训练，数据集包含了行人、自行车、汽车、交通指示灯等类。然后将获取的视频处理为图片编号保存，通过调用Tensorflow识别车辆并标记将车辆数量信息赋予matched变量，同过对matched变量进行比较判断，得到当前交通路口路况信息输出在控制台，通过以上步骤，明确了城市道路分析系统的实现步骤，完成了从视频中获取车辆数量并对车辆数量进行分析从而将路况信息呈现给用户的功能。
基于CNN的城市道路交通状况分析方法，包括如下步骤：
步骤一、获取所要分析的道路视频；
步骤二、对所获取的道路视频进行处理，得到道路状况的图片；
步骤三、对获取的道路状况的图片进行处理；
步骤四、对获取的道路状况的图片进行分析，得到该道路的道路状况。是将车辆识别模块得到的数据值进行判，如图5所示，为判断道路拥堵的情况示意图。
进一步的，所述步骤三中对获取的道路状况的图片进行处理包括滤波处理和均衡化处理。
进一步的，所述图片的滤波处理的过程是：采用3*3的矩阵，里面有9个像素点，对9个像素进行排序，然后将9个像素的中值赋为矩阵的中心点；
g(x，y)＝median[f(x-1，y-1)+f(x，y-1)+f(x+1，y-1)+f(x-1，y)+f(x，y)+f(x+1，y)+f(x-1，y+1)+f(x，y+1)+f(x+1，y+1)](1)
其中f(x，y)是大小为300x300x3的输入图像，采用尺寸为3*3的二维模板在图像上滑动，通过从图像中的二维模板取出奇数个数据进行排序，用排序后的中值取代要处理的数据，得到大小为300x300x3的输出图像g(x，y)。
进一步的，所述图片的均衡化处理的过程是：
第一步，计算原始图像的灰度直方图Nk，N(0)＝3，即输出图像g(x，y)中灰度级为0的像素个数是3，分别得出n(1)，n(2)，n(3)，……的个数，设为m；
灰度直方图是一个大小为256的数组，数组下标为0～255，分别代表了图像采量化之后0～255的每个灰度级。计算灰度直方图，通过遍历图像的每个像素点，统计0～255每个灰度级在图像中出现的次数，统计后的归一化的频率为这个数组对应下标的元素取值。计算输入图像g(x,y)的直方图，得到灰度直方图Nk。
第二步，计算输出图像g(x，y)的像素总个数N＝300*300*3＝270000；
第三步，计算原始图像的灰度分布频率
pr(k)＝nk/N＝nk/270000，k＝0，1，2，3…… (2)；
第四步，计算原始图像的灰度积累分布频率
第五步，将归一化的Sk乘以L-1再四舍五入，以使得均衡化后的图像灰度级与归一化前的原始图像一致，其中，L代表灰度级，L＝256；图像像素点的灰度值范围为0～L-1(L-1＝255)；
第六步，根据上述运算，最终得到增强后的图像G(x，y)。
进一步的，所述步骤四中对获取的道路状况的图片进行分析的过程是：通过使用COCO数据集对SSD检测模型进行训练，得到训练模型；然后将经过处理后的图片输入训练模型，进行特征提取和模式识别，输出图像中车辆坐标，通过对输出坐标数量进行统计得到图像中的车辆数量；并将车辆坐标输入到图像处理模块，将图像中的车辆标识出来，实现检测图像中的车辆的功能。
进一步的，所述将经过处理后的图片输入训练模型，进行特征提取和模式识别，输出图像中车辆坐标，通过对输出坐标数量进行统计得到图像中的车辆数量的过程是：
一.输入图像
输入图像G(x,y)大小为300x300x3。
二.特征提取
(1)首先输入G(x,y)大小为300x300x3,经过两次通道数为64的卷积操作，卷积核大小为3x3,再经过2x2最大池化，输出G1(x,y)大小为150x150x64的特征层；
输入300x300x3->
Conv1_1 300,300,64->
Conv1_2 300,300,64->
Pooling1 150,150,64->
(2)经过两次通道数为128的卷积操作，卷积核大小为3x3,再经过2x2最大池化，输出G2(x,y)大小为75x75x128的特征层；
Conv2_1 150,150,128->
Conv2_2 150,150,128->
Pooling2 75,75,128->
(3)经过三次通道数为256的卷积操作，卷积核大小为3x3,再经过2x2最大池化，输出G3(x,y)大小为38x38x256的特征层；
Conv3_1 75,75,256->
Conv3_2 75,75,256->
Conv3_3 75,75,256->
Pooling3 38,38,256->
(4)经过三次通道数为512的卷积操作，卷积核大小为3x3,再经过2x2最大池化，输出G4(x,y)大小为19x19x512的特征层；
Conv4_1 38,38,512->
Conv4_2 38,38,512->
Conv4_3 38,38,512->
Pooling4 19,19,512->
(5)再经过三次通道数为512的卷积操作，卷积核大小为3x3,得到输出特征层G5(x,y)；
Conv5_1 19,19,512->
Conv5_2 19,19,512->
Conv5_3 19,19,512->
(6)对输出图像G5(x,y)进行一次步长为1的最大池化，得到输出特征层；
G6(x,y)
Pooling5 19x19x512
(7)经过一次通道数为1024的卷积操作，得到输出特征层G7(x,y)；
Conv6_1 19x19x1024->
(8)将G7(x,y)首先进行一次通道数为256的卷积操作,卷积核大小为1，然后再进行一次通道数为256的卷积操作，卷积核大小为2，步长为2，得到大小为10x10x512的特征层G8(x,y)；
Conv7_1 10x10x512->
(9)对G8(x,y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3，步长为2的卷积操作，得到大小为5x5x256的特征层G9(x,y)；
Conv8_1 5x5x256->
(10)对G9(x,y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3的卷积操作，得到大小为3x3x256的特征层G10(x,y)；
Conv9_1 3x3x256->
(11)对G10(x,y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3的卷积操作，得到大小为1x1x256的特征层G11(x,y)；
Conv10_1 1x1x256->
三.分类预测与回归预测
对步骤二得到的G3(x,y)、G7(x,y)、G8(x,y)、G9(x,y)、G10(x,y)、G11(x,y)有效特征层进行分类预测与回归预测。其中G3(x,y)的先验框数量为4、G7(x,y)的先验框数量为6、G8(x,y)的先验框数量为6、G9(x,y)的先验框数量为6、G10(x,y)的先验框数量为4、G11(x,y)的先验框数量为4。
先验框内部包含有物体和物体的种类
Num priors x 4先验框的调整参数为4，先验框的位置与先验框的宽高
Num priors x 4的卷积用于预测该特征层上每一个网格点上每一个先验框的变化情况。
Num priors x num_classes的卷积用于预测该特征层上每一个网格点上每一个预测框对应的种类。
1.生成default boxes
输入图像大小为300x300x3
Min_dim:300
Min_sizes:[30,60,111,162,213,264]
Max_sizes:[60,111,162,213,264,315]
Steps:[8,16,32,64,100,300]
M:2
f_k＝Min_dim/steps
3.1.1对G3(x,y)生成default boxs
f_k_1＝300/8＝37.5
计算网格中心
cx＝(j+0.5)/f_k_1
cy＝(i+0.5)/f_k_2
求default boxs的短边
s_k＝30/300
mean为获得的default boxs
求default boxs的长边
s_k_long＝sqrt(s_k*(30/300))
获取正方形default boxs
mean_1＝[cx,cy,s_k,s_k]
mean_2＝[cx,cy,s_k_long,s_k_long]
获取长方形default boxs
mean_3＝[cx,cy,s_k*sqrt(M),s_k/sqrt(M)]
mean_4＝[cx,cy,s_k/sqrt(M),s_k*sqrt(M)]
最后对获取的default boxs进行reshape
mean＝reshape(mean,[-1,4])*300
此处[-1,4]中-1指所有default boxs，4指default boxs的4个参数，乘300方便绘制default boxs。
检测模型一共可预测的default boxs数量为：
38x38x4+19x19x6+10x10x6+5x5x6+3x3x4+1x1x4＝8732
至此，获取了计算所需的default boxs。
2.预测
a.获取预测图片数量：1
b.对先验框进行解码，取回归预测前两位的内容乘先验框的w和h再加上先验框的中心，就是调整后的先验框的中心。
将回归预测后两位的结果乘先验框的w和h就是调整后先验框的w和h
通过上述步骤确定调整后先验框的位置
c.检测模型采用卷积对特征图G3(x,y)、G7(x,y)、G8(x,y)、G9(x,y)、G10(x,y)、G11(x,y)提取检测结果。
用3x3的卷积核进行卷积，每个default boxes生成19中confidence(训练数据集采用了COCO数据集前18类，再加上背景，总共19类)，输出回归用的localization。
d.将不同特征图获得的先验框结合起来，通过非极大线性抑制与IOU去除掉一部分重叠或者不正确的先验框，其中IOU的计算结果如下：
寻找与每一个ground truth box有最大J(A,B)的default box。生成最终的先验框，即检测结果其中，IOU指代预测模型的bbox(先验框)和Ground Ttuth之间的交并比，A指代先验框，B指代Ground Truth(标注数据)。
以G3(x，y)为例：
分类回归：对G3(x，y)大小为38x38x256进行一次归一化和卷积，生成[1,num_class*num_priorbox,layer_height,layer_width]大小的特征层用于softmax分类目标(num_class是目标类别，本实验目标类别为19)
回归预测：对G3(x，y)大小为38x38x256经过一次归一化和卷积操作，生成[1,4*num_priorbox,layer_height,layer_width]大小的特征层用于bounding box regression(即每个点一组[dx,dy,dw,dh])。用来预测目标位置。
G7(x,y)、G8(x,y)、G9(x,y)、G10(x,y)、G11(x,y)与处理方式G3(x，y)相同。
如图5所示，通过SSD检测模型获得输入图像G(x,y)中的车辆数量m:
(1)当m<10，输出前方道路通畅；
(2)当10<m<＝15,输出前方道路较为通畅；
(3)当15<m<＝20,输出前方道路较为拥堵；
(4)当20<m<＝25,输出前方道路拥堵；
(5)当m>＝25,输出建议绕行。
综上所述，这种基于CNN的城市道路交通状况分析方法，对采集到的道路视频分帧处理为图片，再对图片进行识别，从而达到分析视频中的车辆信息，达到从视频中识别车辆信息的目的，能够更准确的提供用户前方道路信息，让用户即时根据前方道路信息更改自己的行车路线，能够及时避免交通拥堵状况的发生，减少在出行路途中所花费的时间。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (6)
1.一种基于CNN的城市道路交通状况分析方法，其特征在于，包括如下步骤：
步骤一、获取所要分析的道路视频；
步骤二、对所获取的道路视频进行处理，得到道路状况的图片；
步骤三、对获取的道路状况的图片进行处理；
步骤四、对获取的道路状况的图片进行分析，得到该道路的道路状况。
2.如权利要求1所述的一种基于CNN的城市道路交通状况分析方法，其特征在于：所述步骤三中对获取的道路状况的图片进行处理包括滤波处理和均衡化处理。
3.如权利要求2所述的一种基于CNN的城市道路交通状况分析方法，其特征在于：所述图片的滤波处理的过程是：采用3*3的矩阵，里面有9个像素点，对9个像素进行排序，然后将9个像素的中值赋为矩阵的中心点；
g(x，y)＝median[f(x-1，y-1)+f(x，y-1)+f(x+1，y-1)+f(x-1，y)+f(x，y)+f(x+1，y)+f(x-1，y+1)+f(x，y+1)+f(x+1，y+1)] (1)
其中f(x，y)是大小为300x300x3的输入图像，采用尺寸为3*3的二维模板在图像上滑动，通过从图像中的二维模板取出奇数个数据进行排序，用排序后的中值取代要处理的数据，得到大小为300x300x3的输出图像g(x，y)。
4.如权利要求2所述的一种基于CNN的城市道路交通状况分析方法，其特征在于：所述图片的均衡化处理的过程是：
第一步，计算原始图像的灰度直方图Nk，N(0)＝3，即输出图像g(x，y)中灰度级为0的像素个数是3，分别得出n(1)，n(2)，n(3)，……的个数，设为m；
第二步，计算输出图像g(x，y)的像素总个数N＝300*300*3＝270000；
第三步，计算原始图像的灰度分布频率
pr(k)＝nk/N＝nk/270000，k＝0，1，2，3…… (2)；
其中，K指代像素点的灰度值；
第四步，计算原始图像的灰度积累分布频率
第五步，将归一化的Sk乘以L-1再四舍五入，以使得均衡化后的图像灰度级与归一化前的原始图像一致，其中，L代表灰度级，L＝256；图像像素点的灰度值范围为0～L-1(L-1＝255)；
第六步，根据上述运算，最终得到增强后的图像G(x，y)。
5.如权利要求1所述的一种基于CNN的城市道路交通状况分析方法，其特征在于：所述步骤四中对获取的道路状况的图片进行分析的过程是：通过使用COCO数据集对SSD检测模型进行训练，得到训练模型；然后将经过处理后的图片输入训练模型，进行特征提取和模式识别，输出图像中车辆坐标，通过对输出坐标数量进行统计得到图像中的车辆数量；并将车辆坐标输入到图像处理模块，将图像中的车辆标识出来，实现检测图像中的车辆的功能。
6.如权利要求5所述的一种基于CNN的城市道路交通状况分析方法，其特征在于：所述将经过处理后的图片输入训练模型，进行特征提取和模式识别，输出图像中车辆坐标，通过对输出坐标数量进行统计得到图像中的车辆数量的过程是：
一.输入图像
输入图像G(x，y)大小为300x300x3；
二.特征提取
(1)首先输入G(x，y)大小为300x300x3，经过两次通道数为64的卷积操作，卷积核大小为3x3，再经过2x2最大池化，输出G1(x，y)大小为150x150x64的特征层；
(2)经过两次通道数为128的卷积操作，卷积核大小为3x3，再经过2x2最大池化，输出G2(x，y)大小为75x75x128的特征层；
(3)经过三次通道数为256的卷积操作，卷积核大小为3x3，再经过2x2最大池化，输出G3(x，y)大小为38x38x256的特征层；
(4)经过三次通道数为512的卷积操作，卷积核大小为3x3，再经过2x2最大池化，输出G4(x，y)大小为19x19x512的特征层；
(5)再经过三次通道数为512的卷积操作，卷积核大小为3x3，得到输出特征层G5(x，y)；
(6)对输出图像G5(x，y)进行一次步长为1的最大池化，得到输出特征层G6(x，y)；
(7)经过一次通道数为1024的卷积操作，得到输出特征层G7(x，y)；
(8)将G7(x，y)首先进行一次通道数为256的卷积操作，卷积核大小为1，然后再进行一次通道数为256的卷积操作，卷积核大小为2，步长为2，得到大小为10x10x512的特征层G8(x，y)；
(9)对G8(x，y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3，步长为2的卷积操作，得到大小为5x5x256的特征层G9(x，y)；
(10)对G9(x，y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3的卷积操作，得到大小为3x3x256的特征层G10(x，y)；
(11)对G10(x，y)进行一次通道数为128，卷积核大小为1的卷积操作，再进行一次通道数为256，卷积核大小为3的卷积操作，得到大小为1x1x256的特征层G11(x，y)；
三.分类预测与回归预测
对步骤二得到的G3(x，y)、G7(x，y)、G8(x，y)、G9(x，y)、G10(x，y)、G11(x，y)有效特征层进行分类预测与回归预测；其中G3(x，y)的先验框数量为4、G7(x，y)的先验框数量为6、G8(x，y)的先验框数量为6、G9(x，y)的先验框数量为6、G10(x，y)的先验框数量为4、G11(x，y)的先验框数量为4；
1.生成default boxes：输入图像大小为300x300x3，对G3(x，y)生成default boxes，计算网格中心，求default boxs的短边，求default boxs的长边，获取正方形default boxes，获取长方形default boxes，最后对获取的default boxs进行reshape，此处[-1，4]中-1指所有default boxs，4指default boxs的4个参数，乘300方便绘制default boxes；检测模型一共可预测的default boxs数量为：
38x38x4+19x19x6+10x10x6+5x5x6+3x3x4+1x1x4＝8732
至此，获取了计算所需的default boxs。
2.预测
a.获取预测图片数量：1
b.对先验框进行解码，取回归预测前两位的内容乘先验框的w和h再加上先验框的中心，就是调整后的先验框的中心；
将回归预测后两位的结果乘先验框的w和h就是调整后先验框的w和h通过上述步骤确定调整后先验框的位置；
c.检测模型采用卷积对特征图G3(x，y)、G7(x，y)、G8(x，y)、G9(x，y)、G10(x，y)、G11(x，y)提取检测结果；
用3x3的卷积核进行卷积，每个default boxes生成19中confidence(训练数据集采用了COCO数据集前18类，再加上背景，总共19类)，输出回归用的localization；
d.将不同特征图获得的先验框结合起来，通过非极大线性抑制与IOU去除掉一部分重叠或者不正确的先验框，其中IOU的计算结果如下：
寻找与每一个ground truth box有最大J(A，B)的default box，生成最终的先验框，即检测结果，其中，IOU指代预测模型的bbox(先验框)和Ground Ttuth之间的交并比，A指代先验框，B指代Ground Truth(标注数据)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110310422.9A CN113095159A (zh) | 2021-03-23 | 2021-03-23 | 一种基于cnn的城市道路交通状况分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110310422.9A CN113095159A (zh) | 2021-03-23 | 2021-03-23 | 一种基于cnn的城市道路交通状况分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113095159A true CN113095159A (zh) | 2021-07-09 |
Family
ID=76669183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110310422.9A Pending CN113095159A (zh) | 2021-03-23 | 2021-03-23 | 一种基于cnn的城市道路交通状况分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113095159A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730881A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的交通拥堵视觉检测系统 |
| CN109147331A (zh) * | 2018-10-11 | 2019-01-04 | 青岛大学 | 一种基于计算机视觉的道路拥堵状态检测方法 |
| CN109740463A (zh) * | 2018-12-21 | 2019-05-10 | 沈阳建筑大学 | 一种车载环境下的目标检测方法 |
| CN110096981A (zh) * | 2019-04-22 | 2019-08-06 | 长沙千视通智能科技有限公司 | 一种基于深度学习的视频大数据交通场景分析方法 |
| WO2020206861A1 (zh) * | 2019-04-08 | 2020-10-15 | 江西理工大学 | 基于YOLO v3的针对交通枢纽关键物体的检测方法 |
| US20210012649A1 (en) * | 2018-03-29 | 2021-01-14 | Nec Corporation | Information processing apparatus, road analysis method, and non-transitory computer readable medium storing program |
| CN112257609A (zh) * | 2020-10-23 | 2021-01-22 | 重庆邮电大学 | 一种基于自适应关键点热图的车辆检测方法及装置 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
-
2021
- 2021-03-23 CN CN202110310422.9A patent/CN113095159A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730881A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的交通拥堵视觉检测系统 |
| US20210012649A1 (en) * | 2018-03-29 | 2021-01-14 | Nec Corporation | Information processing apparatus, road analysis method, and non-transitory computer readable medium storing program |
| CN109147331A (zh) * | 2018-10-11 | 2019-01-04 | 青岛大学 | 一种基于计算机视觉的道路拥堵状态检测方法 |
| CN109740463A (zh) * | 2018-12-21 | 2019-05-10 | 沈阳建筑大学 | 一种车载环境下的目标检测方法 |
| WO2020206861A1 (zh) * | 2019-04-08 | 2020-10-15 | 江西理工大学 | 基于YOLO v3的针对交通枢纽关键物体的检测方法 |
| CN110096981A (zh) * | 2019-04-22 | 2019-08-06 | 长沙千视通智能科技有限公司 | 一种基于深度学习的视频大数据交通场景分析方法 |
| CN112257609A (zh) * | 2020-10-23 | 2021-01-22 | 重庆邮电大学 | 一种基于自适应关键点热图的车辆检测方法及装置 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
Non-Patent Citations (2)
| Title |
|---|
| 张杏蔓;鲁工圆;: "基于视频图像分析的地铁列车车辆拥挤度识别方法研究", 交通运输工程与信息学报, no. 03 * |
| 王思雨;TANVIR AHMAD;: "一种基于YOLO的交通目标实时检测方法", 计算机与数字工程, no. 09 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103473950B (zh) | 一种停车场车位监控方法 | |
| CN106599792B (zh) | 一种手部驾驶违规行为的检测方法 | |
| EP3806064A1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| CN113673420B (zh) | 一种基于全局特征感知的目标检测方法及系统 | |
| CN111626277B (zh) | 一种基于治超站交调指标分析的车辆跟踪方法及装置 | |
| CN110956081B (zh) | 车辆与交通标线位置关系的识别方法、装置及存储介质 | |
| CN112330593A (zh) | 基于深度学习网络的建筑物表面裂缝检测方法 | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN112712057A (zh) | 交通信号识别方法、装置、电子设备及存储介质 | |
| CN111382658B (zh) | 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法 | |
| CN113723377A (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN112651293B (zh) | 一种公路违法设摊事件视频检测方法 | |
| CN101369312B (zh) | 检测图像中交叉口的方法和设备 | |
| CN112395962A (zh) | 数据增广方法及装置、物体识别方法及系统 | |
| CN112613434A (zh) | 道路目标检测方法、装置及存储介质 | |
| Mahersatillah et al. | Unstructured road detection and steering assist based on hsv color space segmentation for autonomous car | |
| CN112053407B (zh) | 一种交通执法影像中基于ai技术的车道线自动检测方法 | |
| CN113435370A (zh) | 一种基于图像特征融合获取车辆排队长度的方法及装置 | |
| CN113158954A (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
| CN116052090A (zh) | 图像质量评估方法、模型训练方法、装置、设备及介质 | |
| CN114511832B (zh) | 车道线分析方法、装置、电子设备及存储介质 | |
| CN113095159A (zh) | 一种基于cnn的城市道路交通状况分析方法 | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |