CN110796360A - 一种固定型交通检测源多尺度数据融合方法 - Google Patents
一种固定型交通检测源多尺度数据融合方法 Download PDFInfo
- Publication number
- CN110796360A CN110796360A CN201911015876.2A CN201911015876A CN110796360A CN 110796360 A CN110796360 A CN 110796360A CN 201911015876 A CN201911015876 A CN 201911015876A CN 110796360 A CN110796360 A CN 110796360A
- Authority
- CN
- China
- Prior art keywords
- traffic
- data
- module
- scale
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000000611 regression analysis Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000001276 controlling effect Effects 0.000 claims 1
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于交通技术领域，公开了一种固定型交通检测源多尺度数据融合方法，所述固定型交通检测源多尺度数据融合系统包括：交通图像采集模块、交通图像处理模块、交通测速模块、交通流量监测模块、主控模块、数据融合模块、交通参数计算模块、行人识别模块、交通运行预测模块、警报模块、显示模块。本发明通过交通流量监测模块在低空遥感视频里对检测到的不同车辆实现准确跟踪，实时统计不同类型的车辆在道路交通流量中的数量，快速、准确的监控道路交通流量；同时，通过数据融合模块在各分辨率数据下，按照尺度的不同对数据进行分类整理、补充，确保了数据的一致性、有序性和完整性。
Description
技术领域
本发明属于交通技术领域，尤其涉及一种固定型交通检测源多尺度数据融合方法。
背景技术
交通运输在社会生产中分为生产过程的运输和流通过程的运输。交通的生产活动是实现人和物的位移及信息传输，运输产品是以人公里和吨公里计量，邮电产品是以信息量和距离计量。交通生产设施有固定设施和流动设施之分。固定设施有线路、港、站、场、台等，流动设施指车、船、飞机等。然而，现有交通不能准确的监控道路交通流量；同时，交通数据融合不完整。
综上所述，现有技术存在的问题是：现有交通不能准确的监控道路交通流量；同时，交通数据融合不完整。
发明内容
针对现有技术存在的问题，本发明提供了一种固定型交通检测源多尺度数据融合方法。
本发明是这样实现的，一种固定型交通检测源多尺度数据融合系统包括：
交通图像采集模块、交通图像处理模块、交通测速模块、交通流量监测模块、主控模块、数据融合模块、行人识别模块、交通运行预测模块、警报模块、显示模块；
交通图像采集模块，与主控模块连接，用于通过摄像器采集交通视频数据；
交通图像处理模块，与主控模块连接，用于通过图像处理程序对获取的交通图像进行处理；
交通测速模块，与主控模块连接，用于通过车辆测速器测量车辆行驶速度；
交通流量监测模块，与主控模块连接，用于监测交通流量数据；
主控模块，与交通视频采集模块、交通测速模块、交通流量监测模块、数据融合模块、交通参数计算模块、行人识别模块、交通运行预测模块、警报模块、显示模块连接，用于通过单片机控制各个模块正常工作；
数据融合模块，与主控模块连接，用于通过数据处理程序对采集的数据进行融合处理；
交通参数计算模块，与主控模块连接，用于通过采集的相关数据计算交通道路占有率以及流量与速度比率；
行人识别模块，与主控模块连接，用于通过识别程序根据采集的视频对行人进行人脸识别；
交通运行预测模块，与主控模块连接，用于通过预测程序基于检测到的相关道路占有率、流量及速度比率进行交通运行状况的预测；
警报模块，与主控模块连接，用于通过警报器根据监测违法交通行为进行及时警报；
显示模块，与主控模块连接，用于通过显示器显示采集的交通视频、车辆行驶速度、交通流量、道路占有率、流量与速度比率、识别信息、预测结果。
本发明的另一目的在于提供一种固定型交通检测源多尺度数据融合方法包括以下步骤：
步骤一，利用摄像器采集交通视频数据；利用车辆测速器测量车辆行驶速度；监测交通流量数据；
步骤二，利用图像处理程序对获取的交通图像进行处理；利用数据处理程序对采集的数据进行融合处理；通过采集的相关数据计算交通道路占有率以及流量与速度比率；
步骤三，利用识别程序根据采集的视频对行人进行人脸识别；
步骤四，通过预测程序基于检测到的相关道路占有率、流量及速度比率进行交通运行状况的预测；
步骤五，利用警报器根据监测违法交通行为进行及时警报；
步骤六，通过显示器显示采集的交通视频、车辆行驶速度、交通流量、道路占有率、流量与速度比率、识别信息、预测结果。
进一步，所述交通流量监测模块监测方法如下：
(1)通过交通图像采集模块采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；
(2)多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；
(3)将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。
进一步，所述通过交通图像采集模块采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集具体包括：
通过已搭载4K超清摄像头的无人机以低空悬停的方式在选定的交通监控路段采集大量高峰时段的道路交通视频数据；
将采集后的道路交通视频数据置于存储卡中，对视频进行分帧操作，并将每一帧分割为尺寸相同的小块图像进行车辆位置及类别的标注，建立基于深度神经网络的训练及测试数据集。
进一步，所述多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置具体包括：
多尺度卷积神经网络根据训练及测试数据集获取包含分类信息的特征提取层，通过卷积和池化操作过滤图像噪声，提取较大表征意义的特征作为输出图像的基础特征；
多尺度卷积神经网络根据训练及测试数据集获取目标检测特征提取层，初始化一系列大小和形状各异的检测框，比较每个检测框与用户标定的检测框之间的差异，同时计算车辆属于某个具体车型类别的概率。
进一步，所述数据融合模块融合方法如下：
1)将获取的所有交通数据按不同的时空分辨率分成若干组，每组数据具有相同尺度范围和相同尺度单位，即同一时空分辨率；
2)对每组内的交通数据进行整理，所述整理包括不同来源交通数据格式、单位、数值的统一；
3)将不同组的数据的尺度范围变换为所需尺度范围；将不同组的数据的尺度单位变换为所需尺度单位；
4)将所有组的数据进行融合，构造具有相同时空分辨率的交通数据。
进一步，所述步骤2)中，还包括缺失交通数据的插补以及不同类型交通数据的关联；所述不同类型交通数据的关联是指将相互关联的两套交通数据叠加或者根据两套交通数据的相关性进行数据转化。
进一步，所述步骤2)中，所述形式整理具体包括：
交通数据格式统一，确定一种便于后续处理的数据格式，将不同呈现方式的交通数据统一为相同呈现方式；
交通数据单位统一，将不同数据单位进行转换，转变成同一单位的交通数据；
交通数据边界统一，比较已有数据边界与所需数据边界范围，对已有交通数据边界进行扩大或缩小，并最终达到数据边界一致；
交通数据数值统一，根据数据来源的可靠性，对数值进行选择或者加工，以确定最终数值。
进一步，所述交通数据数值统一包括如下方法：
第一，评估交通数据来源的可靠性，选择来源可靠性高的数据；
第二，确定不同来源交通数据的权重，对各来源交通数据进行加权求和。
进一步，所述缺失交通数据插补的方法包括线性内插法和回归分析法：
当缺失交通数据位于已有数据范围内，通过线性内插法或回归分析法进行缺失数据补充；当缺失交通数据超出已有数据范围，通过回归分析法进行缺失数据补充。
进一步，所述步骤3)中，包括尺度范围扩大及尺度范围缩小，包括尺度单位扩大及尺度单位缩小。
所述交通图像处理模块的图像处理方法包括以下步骤：
第一步，利用待检测图片进行不同尺度的缩放，构造一个图像金字塔；
第二步，基于所述图像金字塔得到的训练图像，利用统计学聚类方法获取一组覆盖大多数样本尺度的多尺度检测模板；
第三步，在上述多尺度检测模板的基础上，进行尺度自适应的目标上下文构建；
第四步，根据目标上下文构建的结果，进行多尺度深度特征融合，得到多尺度特征图；
第五步，根据上述多尺度特征图，进行基于软判决的非极大值抑制，实现图像中多尺度特征融合的目标检测；
所述第一步中，为了使得检测网络利用一个或几个有限大小的检测框，能够对图像中不同大小的目标都能完整紧凑地进行框选采样，需要对原始图像进行多尺度缩放、使得原始目标经过多次缩放增加其被检测框完整紧凑框选的概率，将原始图片通过按比例缩放成L个不同分辨率大小的图片，从而构造一个分辨率由高到低的图像金字塔；
所述利用统计学聚类方法获取一组覆盖大多数样本尺度的多尺度检测模板，是指:基于K-medoids聚类方法，并利用杰卡德距离作为聚类评价指标，对训练数据集中目标按不同的宽高值及宽高比进行聚类，形成一组K个聚类中心的宽高比，作为覆盖绝大部分宽高比例的目标模板。
所述进行尺度自适应的目标上下文构建，是指:将CNN网络卷积层输出的特征图上每个点的感受野，作为候选目标框；感受野相对于模板框多出的部分，即作为目标框的上下文，用来辅助目标的检测识别；
所述进行尺度自适应的目标上下文构建，最终得到一个上下文信息随目标尺度变化而变化的检测模型，即:小尺度目标将获得更大的上下文信息，而大尺度目标的上下文信息较少，从而满足不同尺度的目标对上下文信息的不同需求；
所述进行多尺度深度特征融合，是指:将CNN不同卷积层输出的特征图，选出M层进行融合，用于构造多尺度特征金字塔。
本发明的优点及积极效果为：本发明通过交通流量监测模块在低空遥感视频里对检测到的不同车辆实现准确跟踪，实时统计不同类型的车辆在道路交通流量中的数量，快速、准确的监控道路交通流量；同时，通过数据融合模块在各分辨率数据下，按照尺度的不同对数据进行分类整理、补充，确保了数据的一致性、有序性和完整性；而且，本发明通过时间或空间的升、降尺度，将不同时空分辨率的数据统一至所需尺度范围和尺度单位，达到相互融合的目的。
附图说明
图1是本发明实施例提供的固定型交通检测源多尺度数据融合方法流程图。
图2是本发明实施例提供的固定型交通检测源多尺度数据融合系统结构框图。
图2中：1、交通图像采集模块；2、交通图像处理模块；3、交通测速模块；4、交通流量监测模块；5、主控模块；6、数据融合模块；7、交通参数计算模块；8、行人识别模块；9、交通运行预测模块；10、警报模块；11、显示模块。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
如图1所示，本发明实施例提供的固定型交通检测源多尺度数据融合方法包括以下步骤：
S101，利用摄像器采集交通视频数据；利用车辆测速器测量车辆行驶速度；监测交通流量数据。
S102，利用图像处理程序对获取的交通图像进行处理；利用数据处理程序对采集的数据进行融合处理；通过采集的相关数据计算交通道路占有率以及流量与速度比率。
S103，利用识别程序根据采集的视频对行人进行人脸识别。
S104，通过预测程序基于检测到的相关道路占有率、流量及速度比率进行交通运行状况的预测。
S105，利用警报器根据监测违法交通行为进行及时警报。
S106，通过显示器显示采集的交通视频、车辆行驶速度、交通流量、道路占有率、流量与速度比率、识别信息、预测结果。
如图2所示，本发明实施例提供的固定型交通检测源多尺度数据融合系统包括：交通图像采集模块1、交通图像处理模块2、交通测速模块3、交通流量监测模块4、主控模块5、数据融合模块6、交通参数计算模块7、行人识别模块8、交通运行预测模块9、警报模块10、显示模块11；
交通图像采集模块1，与主控模块5连接，用于通过摄像器采集交通视频数据；
交通图像处理模块2，与主控模块5连接，用于通过图像处理程序对获取的交通图像进行处理；
交通测速模块3，与主控模块5连接，用于通过车辆测速器测量车辆行驶速度；
交通流量监测模块4，与主控模块5连接，用于监测交通流量数据；
主控模块5，与交通图像采集模块1、交通图像处理模块2、交通测速模块3、交通流量监测模块4、数据融合模块6、行人识别模块7、交通运行预测模块8、警报模块9、显示模块10连接，用于通过单片机控制各个模块正常工作；
数据融合模块6，与主控模块5连接，用于通过数据处理程序对采集的数据进行融合处理；
交通参数计算模块7，与主控模块5连接，用于通过采集的相关数据计算交通道路占有率以及流量与速度比率；
行人识别模块8，与主控模块5连接，用于通过识别程序根据采集的视频对行人进行人脸识别；
交通运行预测模块9，与主控模块5连接，用于通过预测程序基于检测到的相关道路占有率、流量及速度比率进行交通运行状况的预测；
警报模块10，与主控模块5连接，用于通过警报器根据监测违法交通行为进行及时警报；
显示模块11，与主控模块5连接，用于通过显示器显示采集的交通视频、车辆行驶速度、交通流量、识别信息、预测结果。
交通参数计算模块，与主控模块连接，用于通过采集的相关数据计算交通道路占有率以及流量与速度比率；
交通运行预测模块，与主控模块连接，用于通过预测程序基于检测到的相关道路占有率、流量及速度比率进行交通运行状况的预测；
显示模块，与主控模块连接，用于通过显示器显示采集的交通视频、车辆行驶速度、交通流量、道路占有率、流量与速度比率、识别信息、预测结果。
本发明实施例提供的交通流量监测模块3监测方法如下：
(1)通过交通图像采集模块采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；
(2)多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；
(3)将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。
本发明实施例提供的通过交通图像采集模块采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集具体包括：
通过已搭载4K超清摄像头的无人机以低空悬停的方式在选定的交通监控路段采集大量高峰时段的道路交通视频数据；
将采集后的道路交通视频数据置于存储卡中，对视频进行分帧操作，并将每一帧分割为尺寸相同的小块图像进行车辆位置及类别的标注，建立基于深度神经网络的训练及测试数据集。
本发明实施例提供的多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置具体包括：
多尺度卷积神经网络根据训练及测试数据集获取包含分类信息的特征提取层，通过卷积和池化操作过滤图像噪声，提取较大表征意义的特征作为输出图像的基础特征；
多尺度卷积神经网络根据训练及测试数据集获取目标检测特征提取层，初始化一系列大小和形状各异的检测框，比较每个检测框与用户标定的检测框之间的差异，同时计算车辆属于某个具体车型类别的概率。
本发明实施例提供的数据融合模块5融合方法如下：
1)将获取的所有交通数据按不同的时空分辨率分成若干组，每组数据具有相同尺度范围和相同尺度单位，即同一时空分辨率；
2)对每组内的交通数据进行整理，所述整理包括不同来源交通数据格式、单位、数值的统一；
3)将不同组的数据的尺度范围变换为所需尺度范围；将不同组的数据的尺度单位变换为所需尺度单位；
4)将所有组的数据进行融合，构造具有相同时空分辨率的交通数据。
本发明实施例提供的步骤2)中，还包括缺失交通数据的插补以及不同类型交通数据的关联；所述不同类型交通数据的关联是指将相互关联的两套交通数据叠加或者根据两套交通数据的相关性进行数据转化。
本发明实施例提供的步骤2)中，所述形式整理具体包括：
交通数据格式统一，确定一种便于后续处理的数据格式，将不同呈现方式的交通数据统一为相同呈现方式；
交通数据单位统一，将不同数据单位进行转换，转变成同一单位的交通数据；
交通数据边界统一，比较已有数据边界与所需数据边界范围，对已有交通数据边界进行扩大或缩小，并最终达到数据边界一致；
交通数据数值统一，根据数据来源的可靠性，对数值进行选择或者加工，以确定最终数值。
本发明实施例提供的交通数据数值统一包括如下方法：
第一，评估交通数据来源的可靠性，选择来源可靠性高的数据；
第二，确定不同来源交通数据的权重，对各来源交通数据进行加权求和。
本发明实施例提供的缺失交通数据插补的方法包括线性内插法和回归分析法：
当缺失交通数据位于已有数据范围内，通过线性内插法或回归分析法进行缺失数据补充；当缺失交通数据超出已有数据范围，通过回归分析法进行缺失数据补充。
本发明实施例提供的步骤3)中，包括尺度范围扩大及尺度范围缩小，包括尺度单位扩大及尺度单位缩小。
本发明实施例提供的交通图像处理模块2的图像处理方法包括以下步骤：
第一步，利用待检测图片进行不同尺度的缩放，构造一个图像金字塔；
第二步，基于所述图像金字塔得到的训练图像，利用统计学聚类方法获取一组覆盖大多数样本尺度的多尺度检测模板；
第三步，在上述多尺度检测模板的基础上，进行尺度自适应的目标上下文构建；
第四步，根据目标上下文构建的结果，进行多尺度深度特征融合，得到多尺度特征图；
第五步，根据上述多尺度特征图，进行基于软判决的非极大值抑制，实现图像中多尺度特征融合的目标检测。
本发明实施例提供的第一步中，为了使得检测网络利用一个或几个有限大小的检测框，能够对图像中不同大小的目标都能完整紧凑地进行框选采样，需要对原始图像进行多尺度缩放、使得原始目标经过多次缩放增加其被检测框完整紧凑框选的概率，将原始图片通过按比例缩放成L个不同分辨率大小的图片，从而构造一个分辨率由高到低的图像金字塔。
本发明实施例提供的所述利用统计学聚类方法获取一组覆盖大多数样本尺度的多尺度检测模板，是指:基于K-medoids聚类方法，并利用杰卡德距离作为聚类评价指标，对训练数据集中目标按不同的宽高值及宽高比进行聚类，形成一组K个聚类中心的宽高比，作为覆盖绝大部分宽高比例的目标模板。
本发明实施例提供的所述进行尺度自适应的目标上下文构建，是指:将CNN网络卷积层输出的特征图上每个点的感受野，作为候选目标框；感受野相对于模板框多出的部分，即作为目标框的上下文，用来辅助目标的检测识别。
本发明实施例提供的所述进行尺度自适应的目标上下文构建，最终得到一个上下文信息随目标尺度变化而变化的检测模型，即:小尺度目标将获得更大的上下文信息，而大尺度目标的上下文信息较少，从而满足不同尺度的目标对上下文信息的不同需求。
本发明实施例提供的所述进行多尺度深度特征融合，是指:将CNN不同卷积层输出的特征图，选出M层进行融合，用于构造多尺度特征金字塔。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
Claims (10)
1.一种固定型交通检测源多尺度数据融合系统，其特征在于，所述固定型交通检测源多尺度数据融合系统包括：
交通图像采集模块、交通图像处理模块、交通测速模块、交通流量监测模块、主控模块、数据融合模块、行人识别模块、交通运行预测模块、警报模块、显示模块；
交通图像采集模块，与主控模块连接，用于通过摄像器采集交通视频数据；
交通图像处理模块，与主控模块连接，用于通过图像处理程序对获取的交通图像进行处理；
交通测速模块，与主控模块连接，用于通过车辆测速器测量车辆行驶速度；
交通流量监测模块，与主控模块连接，用于监测交通流量数据；
主控模块，与交通视频采集模块、交通测速模块、交通流量监测模块、数据融合模块、交通参数计算模块、行人识别模块、交通运行预测模块、警报模块、显示模块连接，用于通过单片机控制各个模块正常工作；
数据融合模块，与主控模块连接，用于通过数据处理程序对采集的数据进行融合处理；
交通参数计算模块，与主控模块连接，用于通过采集的相关数据计算交通道路占有率以及流量与速度比率；
行人识别模块，与主控模块连接，用于通过识别程序根据采集的视频对行人进行人脸识别；
交通运行预测模块，与主控模块连接，用于通过预测程序基于检测到的相关道路占有率、流量及速度比率进行交通运行状况的预测；
警报模块，与主控模块连接，用于通过警报器根据监测违法交通行为进行及时警报；
显示模块，与主控模块连接，用于通过显示器显示采集的交通视频、车辆行驶速度、交通流量、道路占有率、流量与速度比率、识别信息、预测结果。
2.一种如权利要求1所述的固定型交通检测源多尺度数据融合方法，其特征在于，所述固定型交通检测源多尺度数据融合方法包括以下步骤：
步骤一，利用摄像器采集交通视频数据；利用车辆测速器测量车辆行驶速度；监测交通流量数据；
步骤二，利用图像处理程序对获取的交通图像进行处理；利用数据处理程序对采集的数据进行融合处理；通过采集的相关数据计算交通道路占有率以及流量与速度比率；
步骤三，利用识别程序根据采集的视频对行人进行人脸识别；
步骤四，通过预测程序基于检测到的相关道路占有率、流量及速度比率进行交通运行状况的预测；
步骤五，利用警报器根据监测违法交通行为进行及时警报；
步骤六，通过显示器显示采集的交通视频、车辆行驶速度、交通流量、道路占有率、流量与速度比率、识别信息、预测结果。
3.如权利要求1所述固定型交通检测源多尺度数据融合系统，其特征在于，所述交通流量监测模块监测方法如下：
(1)通过交通图像采集模块采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；
(2)多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；
(3)将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。
4.如权利要求3所述固定型交通检测源多尺度数据融合系统，其特征在于，所述通过交通图像采集模块采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集具体包括：
通过已搭载4K超清摄像头的无人机以低空悬停的方式在选定的交通监控路段采集大量高峰时段的道路交通视频数据；
将采集后的道路交通视频数据置于存储卡中，对视频进行分帧操作，并将每一帧分割为尺寸相同的小块图像进行车辆位置及类别的标注，建立基于深度神经网络的训练及测试数据集。
5.如权利要求3所述固定型交通检测源多尺度数据融合系统，其特征在于，所述多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置具体包括：
多尺度卷积神经网络根据训练及测试数据集获取包含分类信息的特征提取层，通过卷积和池化操作过滤图像噪声，提取较大表征意义的特征作为输出图像的基础特征；
多尺度卷积神经网络根据训练及测试数据集获取目标检测特征提取层，初始化一系列大小和形状各异的检测框，比较每个检测框与用户标定的检测框之间的差异，同时计算车辆属于某个具体车型类别的概率。
6.如权利要求1所述固定型交通检测源多尺度数据融合系统，其特征在于，所述数据融合模块融合方法如下：
1)将获取的所有交通数据按不同的时空分辨率分成若干组，每组数据具有相同尺度范围和相同尺度单位，即同一时空分辨率；
2)对每组内的交通数据进行整理，所述整理包括不同来源交通数据格式、单位、数值的统一；
3)将不同组的数据的尺度范围变换为所需尺度范围；将不同组的数据的尺度单位变换为所需尺度单位；
4)将所有组的数据进行融合，构造具有相同时空分辨率的交通数据；
所述步骤2)中，还包括缺失交通数据的插补以及不同类型交通数据的关联；所述不同类型交通数据的关联是指将相互关联的两套交通数据叠加或者根据两套交通数据的相关性进行数据转化；
所述步骤2)中，所述形式整理具体包括：
交通数据格式统一，确定一种便于后续处理的数据格式，将不同呈现方式的交通数据统一为相同呈现方式；
交通数据单位统一，将不同数据单位进行转换，转变成同一单位的交通数据；
交通数据边界统一，比较已有数据边界与所需数据边界范围，对已有交通数据边界进行扩大或缩小，并最终达到数据边界一致；
交通数据数值统一，根据数据来源的可靠性，对数值进行选择或者加工，以确定最终数值；
所述步骤3)中，包括尺度范围扩大及尺度范围缩小，包括尺度单位扩大及尺度单位缩小。
7.如权利要求6所述固定型交通检测源多尺度数据融合系统，其特征在于，
所述缺失交通数据插补的方法包括线性内插法和回归分析法：
当缺失交通数据位于已有数据范围内，通过线性内插法或回归分析法进行缺失数据补充；当缺失交通数据超出已有数据范围，通过回归分析法进行缺失数据补充
所述交通数据数值统一包括如下方法：
第一，评估交通数据来源的可靠性，选择来源可靠性高的数据；
第二，确定不同来源交通数据的权重，对各来源交通数据进行加权求和。
8.如权利要求1所述固定型交通检测源多尺度数据融合系统，其特征在于，所述交通图像处理模块的图像处理方法包括以下步骤：
第一步，利用待检测图片进行不同尺度的缩放，构造一个图像金字塔；
第二步，基于所述图像金字塔得到的训练图像，利用统计学聚类方法获取一组覆盖大多数样本尺度的多尺度检测模板；
第三步，在上述多尺度检测模板的基础上，进行尺度自适应的目标上下文构建；
第四步，根据目标上下文构建的结果，进行多尺度深度特征融合，得到多尺度特征图；
第五步，根据上述多尺度特征图，进行基于软判决的非极大值抑制，实现图像中多尺度特征融合的目标检测。
9.如权利要求8所述固定型交通检测源多尺度数据融合系统，其特征在于，所述第一步中，为了使得检测网络利用一个或几个有限大小的检测框，能够对图像中不同大小的目标都能完整紧凑地进行框选采样，需要对原始图像进行多尺度缩放、使得原始目标经过多次缩放增加其被检测框完整紧凑框选的概率，将原始图片通过按比例缩放成L个不同分辨率大小的图片，从而构造一个分辨率由高到低的图像金字塔；
所述利用统计学聚类方法获取一组覆盖大多数样本尺度的多尺度检测模板，是指:基于K-medoids聚类方法，并利用杰卡德距离作为聚类评价指标，对训练数据集中目标按不同的宽高值及宽高比进行聚类，形成一组K个聚类中心的宽高比，作为覆盖绝大部分宽高比例的目标模板。
10.如权利要求8所述固定型交通检测源多尺度数据融合系统，其特征在于，所述进行尺度自适应的目标上下文构建，是指:将CNN网络卷积层输出的特征图上每个点的感受野，作为候选目标框；感受野相对于模板框多出的部分，即作为目标框的上下文，用来辅助目标的检测识别；
所述进行尺度自适应的目标上下文构建，最终得到一个上下文信息随目标尺度变化而变化的检测模型，即:小尺度目标将获得更大的上下文信息，而大尺度目标的上下文信息较少，从而满足不同尺度的目标对上下文信息的不同需求；
所述进行多尺度深度特征融合，是指:将CNN不同卷积层输出的特征图，选出M层进行融合，用于构造多尺度特征金字塔。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911015876.2A CN110796360A (zh) | 2019-10-24 | 2019-10-24 | 一种固定型交通检测源多尺度数据融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911015876.2A CN110796360A (zh) | 2019-10-24 | 2019-10-24 | 一种固定型交通检测源多尺度数据融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110796360A true CN110796360A (zh) | 2020-02-14 |
Family
ID=69441105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911015876.2A Pending CN110796360A (zh) | 2019-10-24 | 2019-10-24 | 一种固定型交通检测源多尺度数据融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110796360A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985295A (zh) * | 2020-06-05 | 2020-11-24 | 深圳市金溢科技股份有限公司 | 一种电动自行车行为识别方法、系统、工控机及摄像头 |
| CN112649798A (zh) * | 2020-12-31 | 2021-04-13 | 哈尔滨工程大学 | 水声目标弱线谱软判决被动探测方法 |
| CN113192330A (zh) * | 2021-04-26 | 2021-07-30 | 上海德衡数据科技有限公司 | 基于多智能体的车辆管理方法、管理系统、设备及介质 |
| CN114168670A (zh) * | 2021-12-03 | 2022-03-11 | 苏州博士创新技术转移有限公司 | 一种产业生态大数据整合方法、系统及云平台 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH064795A (ja) * | 1992-06-17 | 1994-01-14 | Hitachi Ltd | 交通状況監視方法と装置および交通流監視制御システム |
| JP2011192069A (ja) * | 2010-03-15 | 2011-09-29 | Kddi R & D Laboratories Inc | 車両交通監視装置およびプログラム |
| CN103927879A (zh) * | 2014-04-17 | 2014-07-16 | 国通道路交通管理工程技术研究中心有限公司 | 一种监管重点运输车辆违法的系统及方法 |
| CN106781449A (zh) * | 2017-02-21 | 2017-05-31 | 青岛智能产业技术研究院 | 路口行人过街综合管理控制系统 |
| CN107798425A (zh) * | 2017-10-16 | 2018-03-13 | 中国科学院地理科学与资源研究所 | 一种基于大数据的时空混淆暴露度评估系统及方法 |
| CN107992623A (zh) * | 2017-12-22 | 2018-05-04 | 南京大学 | 多尺度环境数据融合方法 |
| CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与系统 |
| WO2018153211A1 (zh) * | 2017-02-22 | 2018-08-30 | 中兴通讯股份有限公司 | 获取交通路况信息的方法及装置、计算机存储介质 |
| CN108831161A (zh) * | 2018-06-27 | 2018-11-16 | 深圳大学 | 一种基于无人机的交通流量监测方法、智能系统及数据集 |
| CN109766743A (zh) * | 2018-11-21 | 2019-05-17 | 汪明智 | 一种智能仿生警察系统 |
-
2019
- 2019-10-24 CN CN201911015876.2A patent/CN110796360A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH064795A (ja) * | 1992-06-17 | 1994-01-14 | Hitachi Ltd | 交通状況監視方法と装置および交通流監視制御システム |
| JP2011192069A (ja) * | 2010-03-15 | 2011-09-29 | Kddi R & D Laboratories Inc | 車両交通監視装置およびプログラム |
| CN103927879A (zh) * | 2014-04-17 | 2014-07-16 | 国通道路交通管理工程技术研究中心有限公司 | 一种监管重点运输车辆违法的系统及方法 |
| CN106781449A (zh) * | 2017-02-21 | 2017-05-31 | 青岛智能产业技术研究院 | 路口行人过街综合管理控制系统 |
| WO2018153211A1 (zh) * | 2017-02-22 | 2018-08-30 | 中兴通讯股份有限公司 | 获取交通路况信息的方法及装置、计算机存储介质 |
| CN107798425A (zh) * | 2017-10-16 | 2018-03-13 | 中国科学院地理科学与资源研究所 | 一种基于大数据的时空混淆暴露度评估系统及方法 |
| CN107992623A (zh) * | 2017-12-22 | 2018-05-04 | 南京大学 | 多尺度环境数据融合方法 |
| CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与系统 |
| CN108831161A (zh) * | 2018-06-27 | 2018-11-16 | 深圳大学 | 一种基于无人机的交通流量监测方法、智能系统及数据集 |
| CN109766743A (zh) * | 2018-11-21 | 2019-05-17 | 汪明智 | 一种智能仿生警察系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985295A (zh) * | 2020-06-05 | 2020-11-24 | 深圳市金溢科技股份有限公司 | 一种电动自行车行为识别方法、系统、工控机及摄像头 |
| CN112649798A (zh) * | 2020-12-31 | 2021-04-13 | 哈尔滨工程大学 | 水声目标弱线谱软判决被动探测方法 |
| CN113192330A (zh) * | 2021-04-26 | 2021-07-30 | 上海德衡数据科技有限公司 | 基于多智能体的车辆管理方法、管理系统、设备及介质 |
| CN114168670A (zh) * | 2021-12-03 | 2022-03-11 | 苏州博士创新技术转移有限公司 | 一种产业生态大数据整合方法、系统及云平台 |
| CN114168670B (zh) * | 2021-12-03 | 2022-12-27 | 苏州博士创新技术转移有限公司 | 一种产业生态大数据整合方法、系统及云平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107576960B (zh) | 视觉雷达时空信息融合的目标检测方法及系统 | |
| CN110796360A (zh) | 一种固定型交通检测源多尺度数据融合方法 | |
| CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
| CN111458721B (zh) | 一种暴露垃圾的识别定位方法、装置及系统 | |
| CN106650913A (zh) | 一种基于深度卷积神经网络的车流密度估计方法 | |
| Bo et al. | Particle pollution estimation from images using convolutional neural network and weather features | |
| CN108389421B (zh) | 基于图像再识别的停车场精确诱导系统及方法 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN111832489A (zh) | 一种基于目标检测的地铁人群密度估计方法及系统 | |
| CN113592905B (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
| CN114170448A (zh) | 一种视觉感知算法的评测方法及装置 | |
| CN109935080A (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
| CN113155173A (zh) | 感知性能评测方法、装置、电子装置和存储介质 | |
| CN113255589A (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
| CN114898319B (zh) | 基于多传感器决策级信息融合的车型识别方法及系统 | |
| CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
| CN109086803A (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN113867410A (zh) | 一种无人机航拍数据的采集模式识别方法和系统 | |
| CN111178178B (zh) | 结合区域分布的多尺度行人重识别方法、系统、介质及终端 | |
| CN112686111B (zh) | 基于注意力机制多视角自适应网络的交警手势识别方法 | |
| CN110909656A (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN117763423A (zh) | 一种基于深度学习的智能汽车激光雷达点云异常检测方法 | |
| CN116597404B (zh) | 基于多源传感器融合的可持续道路异常检测方法与系统 | |
| CN112924037A (zh) | 基于图像配准的红外体温检测系统及检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |