CN108831161A - 一种基于无人机的交通流量监测方法、智能系统及数据集 - Google Patents
一种基于无人机的交通流量监测方法、智能系统及数据集 Download PDFInfo
- Publication number
- CN108831161A CN108831161A CN201810674498.8A CN201810674498A CN108831161A CN 108831161 A CN108831161 A CN 108831161A CN 201810674498 A CN201810674498 A CN 201810674498A CN 108831161 A CN108831161 A CN 108831161A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unmanned plane
- traffic
- traffic flow
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无人机的交通流量监测方法、智能系统及数据集，所述方法包括：采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。本发明通过在低空遥感视频里对检测到的不同车辆实现准确跟踪，实时统计不同类型的车辆在道路交通流量中的数量，快速、准确的监控道路交通流量。
Description
技术领域
本发明涉及城市基于无人机的交通流量监测技术领域，尤其涉及一种基于无人机的交通流量监测方法、智能系统及数据集。
背景技术
城市交通流量监测对于道路交通的发展及管理有着举足轻重的作用，然而目前应用广泛的监控手段诸如道路摄像头、感应线圈、红外线、超声波等，普遍存在监测参数单一、覆盖范围小、易受遮挡干扰、和可靠性等局限，对于交通流量监测系统的精度及功能多样性产生了诸多不利影响；近年来，随着无人机及传感器集成技术的快速发展，交通信息的采集也从传统的地面平台扩展到低空平台，搭载高清摄像头的无人机为交通监控领域带来了新的数据采集方式，并可以解决传统监测方式位置固定、监测方式单一、数据质量低等缺陷；然而，使用无人机拍摄的低空遥感视频包含了丰富的道路交通信息以及种类繁杂的背景噪声，也对传统的交通流量分析方法提出了新的挑战；因此，为低空遥感视频提供新的图像与视频信号处理方法对于交通流量监测系统的发展和完善具有重大意义。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术上述缺陷，本发明提供一种基于无人机的交通流量监测方法、智能系统及数据集，旨在通过在低空遥感视频里对检测到的不同车辆实现准确跟踪，实时统计不同类型的车辆在道路交通流量中的数量，快速、准确的监控道路交通流量。
本发明解决技术问题所采用的技术方案如下：
一种基于无人机的交通流量监测方法，其中，所述基于无人机的交通流量监测方法包括：
采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；
多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；
将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。
所述的基于无人机的交通流量监测方法，其中，所述采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集具体包括：
通过已搭载4K超清摄像头的无人机以低空悬停的方式在选定的交通监控路段采集大量高峰时段的道路交通视频数据；
将采集后的道路交通视频数据置于存储卡中，对视频进行分帧操作，并将每一帧分割为尺寸相同的小块图像进行车辆位置及类别的标注，建立基于深度神经网络的训练及测试数据集。
所述的基于无人机的交通流量监测方法，其中，所述多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置具体包括：
多尺度卷积神经网络根据训练及测试数据集获取包含分类信息的特征提取层，通过卷积和池化操作过滤图像噪声，提取较大表征意义的特征作为输出图像的基础特征；
多尺度卷积神经网络根据训练及测试数据集获取目标检测特征提取层，初始化一系列大小和形状各异的检测框，比较每个检测框与用户标定的检测框之间的差异，同时计算车辆属于某个具体车型类别的概率。
所述的基于无人机的交通流量监测方法，其中，所述多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整需要进行网络参数优化，所述网络参数优化如下：
给定网络的类别损失函数Lloca(δ，p，g)和Lconf(δ，C)，则整个卷积神经网络的损失函数L(δ，c，p，g)表示为：
其中，是匹配到的检测框，Lloca(δ，p，g)通过计算预测的检测框与真实的检测框之间的L1标准化差值，Lconf(δ，c)定义为多标签分类问题中的损失函数，权重γ控制两种不同损失函数在总损失函数中的占比。
所述的基于无人机的交通流量监测方法，其中，基于观测概率的特征融合策略包括乘性融合和加性融合，在目标状态给定的条件下，并假设目标的各种观测是条件独立的，那么n种特征的乘性融合表示为：
相对的，n种特征的乘性融合可以表示为：
其中，θi是一个权重参数，表示第i个特征所对应的观测概率的权值，并满足
所述的基于无人机的交通流量监测方法，其中，假定n种观测特征是条件独立的前提下，将每种特征的观测概率加上一个均匀分布，并做归一化处理，再取其乘积：
其中，λi表示特征i对应的不确定性，Φ(x)代表一个离散的均匀分布；
λi越小，特征i对应的不确定性越小，即其在观测概率中所占的信息比重越大；
不同特征乘性融合和加性融合结果的集成，同时利用不同特征的不确定性调节其在观测概率中所占的比重，建立一个自适应的特征融合框架。
所述的基于无人机的交通流量监测方法，其中，所述将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果具体包括：
将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理；
对视频中的运动车辆进行跟踪，在得到各类型车辆的跟踪信息后，获取直观的道路交通流量监测信息。
所述的基于无人机的交通流量监测方法，其中，在得到融合特征的基础上，通过贝叶斯估计的方法来对视频中的运动车辆进行跟踪，考虑如下时间变化状态：
xt＝ft(xt-1，ξt)；
其中，xt是目标在时刻t的状态向量，ξt是观测噪声，跟踪的目的是递归地估计目标的状态：
zt＝ht(xt，et)；
其中，Zt是状态xt的观测值，et是观测噪声，从贝叶斯估计的角度来看，跟踪问题看作是在给定观察序列{z1：t}的前提下递归估计目标状态{xt}，也即构造目标状态的后验概率分布p(xt|z1：t)，求解的过程分为预测和更新，并根据遥感视频帧的连续性将原本复杂的积分运算转化为对有限样本点的求和运算，即后验概率分布p(xt|z1：t)表示为：
其中，N是粒子数目，wtj是时刻t第i个粒子的权值，满足δ代表狄拉克函数；
在算法的实现过程中，选取矩形框来描述目标状态x，x＝[xc，yc，w，h，θ]，其中，xc，yc，w，h和θ分别是矩形的中心坐标、宽度、长度和偏转角。
一种智能系统，其中，所述智能系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于无人机的交通流量监测程序，所述基于无人机的交通流量监测程序被所述处理器执行时实现如上所述的基于无人机的交通流量监测方法的步骤。
一种数据集，其中，所述数据集存储有基于无人机的交通流量监测程序，所述基于无人机的交通流量监测程序被处理器执行时实现如上所述基于无人机的交通流量监测方法的步骤。
本发明公开了一种基于无人机的交通流量监测方法、智能系统及数据集，所述方法包括：采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。本发明通过在低空遥感视频里对检测到的不同车辆实现准确跟踪，实时统计不同类型的车辆在道路交通流量中的数量，快速、准确的监控道路交通流量。
附图说明
图1是本发明基于无人机的交通流量监测方法的较佳实施例的流程图；
图2是本发明基于无人机的交通流量监测方法的较佳实施例中步骤S10的流程图；
图3是本发明基于无人机的交通流量监测方法的较佳实施例中道路车辆检测与车型识别的算法流程示意图；
图4是本发明基于无人机的交通流量监测方法的较佳实施例中步骤S20的流程图；
图5是本发明基于无人机的交通流量监测方法的较佳实施例中车辆跟踪和流量监测的算法流程示意图；
图6是本发明基于无人机的交通流量监测方法的较佳实施例中以早高峰为例的时刻表的发车间隔分布示意图；
图7为本发明智能系统的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于无人机的交通流量监测方法，如图1所示，一种基于无人机的交通流量监测方法，应用于智能系统,其中，所述基于无人机的交通流量监测方法包括以下步骤：
步骤S10、采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集。
具体过程请参阅图2，其为本发明提供的基于无人机的交通流量监测方法中步骤S10的流程图。
如图2所示，所述步骤S10包括：
S11、通过已搭载4K超清摄像头的无人机以低空悬停的方式在选定的交通监控路段采集大量高峰时段的道路交通视频数据；
S12、将采集后的道路交通视频数据置于存储卡中，对视频进行分帧操作，并将每一帧分割为尺寸相同的小块图像进行车辆位置及类别的标注，建立基于深度神经网络的训练及测试数据集。
具体地，本发明选定某市(例如深圳市)的几个重点交通监控路段以无人机低空悬停的方式采集大量高峰时段的道路交通视频数据，其中，无人机飞行高度为126米，视频分辨率为4K(3840X 2160)，帧率为30帧/秒，之后对视频进行分帧操作，并将每一帧分割为尺寸相同的小块图像(如512X 512)进行车辆位置及类别的标注，最后建立深度神经网络的训练及测试数据集。
参见附图3，本发明在车辆检测与车型识别方面包括视频数据获取、图像分割、位置检测与类型识别、检测结果与过滤几个步骤，实施的基本流程为：
本发明选定的几个重点交通监控路段以无人机低空悬停的方式采集大量高峰时段的道路交通视频数据，将采集到的高清视频数据进行标注，建立深度神经网络的训练及测试数据集；实现多尺度神经网络得到的训练数据对网络进行参数学习和权重调整，使其能够快速准确地定位不同类型的车辆在交通视频中的位置；将车辆检测的结果使用本发明中的多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪大量不同类型的车辆，并给出各种类型车辆的实时流量结果。
步骤S20、多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置。
具体的过程请参阅图4，其为本发明提供的基于无人机的交通流量监测方法中步骤S20的流程图。
如图4所示，所述步骤S20包括：
S21、多尺度卷积神经网络根据训练及测试数据集获取包含分类信息的特征提取层，通过卷积和池化操作过滤图像噪声，提取较大表征意义的特征作为输出图像的基础特征；
S22、多尺度卷积神经网络根据训练及测试数据集获取目标检测特征提取层，初始化一系列大小和形状各异的检测框，比较每个检测框与用户标定的检测框之间的差异，同时计算车辆属于某个具体车型类别的概率。
具体地，考虑到低空遥感视频的高分辨率(如3840X 2160)特性，对于给定的视频帧，首先将原始图像分割为一个小尺寸的子图像集(如512X 512)，然后分别将该图像集里的每一幅子图像送入训练好的多尺度卷积神经网络中获取预测的车辆位置和对应的车辆类型，并且记录各个子图在原尺寸图像的相对位置,视频帧的整体检测和识别结果可以通过合并在子图像集上得到的所有结果而得到。
具体来讲，多尺度网络主体主要由两部分构成，第一部分是包含分类信息的特征提取层,给定一副输入图像,将其送入一个在大型图像数据集上预训练过的分类模型(pre-trained model)，通过卷积(Convolution)和池化(Pooling)操作过滤图像噪声，提取较大表征意义的特征作为输出图像的基础特征；第二部分是目标检测特征提取层,在预训练的网络模型之后新增若干新的卷积层(convolutional layer)和全局平均池化层(globalaverage pooling layer),之后在所有网络层中选择几个不同尺度的网络层输出的特征来表征各个大小和形状的车辆,在每一个不同尺度的特征层中，首先初始化一系列大小和形状各异的检测框，之后通过比较每个检测框(predicted bounding box)与用户标定的检测框(ground-truth bounding box)之间的差异，同时计算车辆属于某个具体车型类别的概率。
因此，网络参数的优化也分为两部分：一方面通过参数调整优化预测的检测框的位置使其更加接近真值，另一方面使得检测框所属的车型类别预测更为准确,给定网络的类别损失函数Lloca(δ，p，g)和Lconf(δ，c)，整个卷积神经网络的损失函数(loss function)可以表示为：
其中,是匹配到的检测框，Lloca(δ，p，g)通过计算预测的检测框与真实的检测框之间的L1标准化差值，Lconf(δ，c)定义为多标签分类问题中的损失函数，权重γ控制两种不同损失函数在总损失函数中的占比。
再次，本发明根据粒子滤波中出现的几种情况来定义特征不确定性的度量,同时，在特征加性和乘性融合模型的基础之上，设计出了新的基于自适应特征融合的车辆跟踪算法。一般来讲，基于观测概率的特征融合策略主要有乘性融合(product rule)和加性融合(sum rule),在目标状态给定的条件下，并假设目标的各种观测是条件独立的，那么n种特征的乘性融合表示为：
相对的，n种特征的乘性融合可以表示为：
其中，θi是一个权重参数，表示第i个特征所对应的观测概率的权值，并满足
如图5所示，在对车辆进行跟踪的过程中，针对不同的道路交通场景，每个尺度的特征对目标位置的估计的准确度是不一样的。因此，在设计特征融合方法之前，首先要对各个特征在跟踪过程中的不确定性进行有效的度量。一般来讲，各个特征在各时刻的分布总体表现为可以分为四种情况：a)粒子空间分布很聚集，并且经加权求和后目标位置估计的方差很小；经过重采样后优秀粒子被大量复制为下一步的跟踪提供好的条件，则该特征在跟踪中的不确定性最低；b)粒子空间分布同样很聚集，但是观测到的概率值在粒子上分布均匀，特征鉴别能力较差，则粒子的不确定性高于a)中描述的情况；c)粒子空间位置很发散，目标位置估计的方差很大，同时观测到的概率值集中在少数几个粒子上，则特征鉴别能力较高，在跟踪上的不确定性高于a)中描述的情形；d)粒子空间位置很发散，并且在加权求和之后目标位置估计的方差依然很大，同时观测到的概率值在粒子上分布均匀，特征鉴别能力较差，这样的特征的跟踪中的不确定性最大。根据上述情况，我们可以使用特征对目标位置的方差来进行车辆跟踪中不确定性的度量：
其中，表示t+1时刻第i种特征的不确定性，σt是t时刻所有粒子在空间位置上的方差，表示粒子在跟踪空间上分布的离散程度，σ越大粒子的空间分布越发散，表时刻t第i种特征下所有粒子观测概率的熵，表示观测概率值在粒子上的分散程度，越大，则在次特征下观测概率值在粒子上的分布越均匀。
以上两种特征融合策略有各自的优势，同时也有相应的不足，本发明为了克服其各自的缺陷，设计出一种基于特征不确定性的自适应特征融合策略。在假定n种观测特征是条件独立的前提下，将每种特征的观测概率加上一个均匀分布，并做归一化处理，再取其乘积：
其中，λi表示特征i对应的不确定性，Φ(x)代表一个离散的均匀分布，上式中的特征融合算法可以理解为不同特征乘性融合和加性融合结果的集成，同时利用不同特征的不确定性调节其在观测概率中所占的比重，从而建立一个自适应的特征融合框架。
在得到融合特征的基础之上，拟使用贝叶斯估计的方法来对视频中的运动车辆进行跟踪，从这个角度看，跟踪问题可以看作是在给定观察序列{z1：t}的前提下递归估计目标状态{xt}，也即构造目标状态的后验概率分布p(xt|z1：t)；求解的过程分为预测和更新，并根据遥感视频帧的连续性将原本复杂的积分运算转化为对有限样本点(一些连续帧的车辆位置检测结果)的求和运算，即后验概率分布p(xt|z1：t)可以表示为：
其中，N是粒子数目，wtj是时刻t第i个粒子的权值，满足δ代表狄拉克函数。在算法的实现过程中，选取矩形框来描述目标状态x，x＝[xc，yc，w，h，θ]，其中，xc，yc，W，h和θ分别是矩形的中心坐标、宽度、长度和偏转角。
步骤S30、将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。
具体的过程请参阅图6，其为本发明提供的基于无人机的交通流量监测方法中步骤S30的流程图。
如图6所示，所述步骤S30包括：
S31、将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理；
S32、对视频中的运动车辆进行跟踪，在得到各类型车辆的跟踪信息后，获取直观的道路交通流量监测信息。
在得到各类型车辆的跟踪信息后，就可以得到直观的道路交通流量信息，为基于无人机的交通流量监测系统的打造提供了完整的解决方案，最后，在得到车辆跟踪结果的基础上，通过实时统计不同类型的车辆在道路交通流量中的数量变化打造出精确的道路基于无人机的交通流量监测系统。
本发明从无人机获取的高清低空遥感交通视频出发，围绕道路车辆识别和智能车辆行为分析两个主要问题，首先设计多尺度特征算子用于表征不同大小和类型的车辆，并建立相应的多尺度卷积神经网络将车辆位置检测和车型识别集成于同一网络模型中，从而建立精准、高效的一体化车辆检测与车型识别模型；其次研究基于多尺度融合特征和贝叶斯粒子滤波的多目标跟踪算法，在低空遥感视频里对检测到的不同车辆实现准确跟踪；最后研究车辆分类计数算法，打造出快速、准确的智能基于无人机的交通流量监测解决方案。
进一步地，如图7所示，基于上述基于无人机的交通流量监测方法，本发明还相应提供了一种智能系统，所述智能系统包括处理器10、存储器20及显示器30。图7仅示出了智能系统的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能系统的内部存储单元，例如智能系统的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能系统的外部存储设备，例如所述智能系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所智能系统的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能系统的应用软件及各类数据，例如所述安装智能系统的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于无人机的交通流量监测程序40，该基于无人机的交通流量监测程序40可被处理器10所执行，从而实现本申请中基于无人机的交通流量监测方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于无人机的交通流量监测方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智能系统的信息以及用于显示可视化的用户界面。所述智能系统的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于无人机的交通流量监测程序40时实现以下步骤：
采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；
多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；
将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。
本发明还提供一种数据集，其中，所述数据集存储有基于无人机的交通流量监测程序，所述基于无人机的交通流量监测程序被处理器执行时实现所述基于无人机的交通流量监测方法的步骤；具体如上所述。
综上所述，本发明提供一种基于无人机的交通流量监测方法、智能系统及数据集，所述方法包括：采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。本发明通过在低空遥感视频里对检测到的不同车辆实现准确跟踪，实时统计不同类型的车辆在道路交通流量中的数量，快速、准确的监控道路交通流量。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的数据集中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的数据集可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于无人机的交通流量监测方法，其特征在于，所述基于无人机的交通流量监测方法包括：
采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集；
多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置；
将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果。
2.根据权利要求1所述的基于无人机的交通流量监测方法，其特征在于，所述采集交通监控路段的道路交通视频数据，将采集到的高清视频数据进行标注，建立基于深度神经网络的训练及测试数据集具体包括：
通过已搭载4K超清摄像头的无人机以低空悬停的方式在选定的交通监控路段采集大量高峰时段的道路交通视频数据；
将采集后的道路交通视频数据置于存储卡中，对视频进行分帧操作，并将每一帧分割为尺寸相同的小块图像进行车辆位置及类别的标注，建立基于深度神经网络的训练及测试数据集。
3.根据权利要求1所述的基于无人机的交通流量监测方法，其特征在于，所述多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整，定位不同类型的车辆在交通视频中的位置具体包括：
多尺度卷积神经网络根据训练及测试数据集获取包含分类信息的特征提取层，通过卷积和池化操作过滤图像噪声，提取较大表征意义的特征作为输出图像的基础特征；
多尺度卷积神经网络根据训练及测试数据集获取目标检测特征提取层，初始化一系列大小和形状各异的检测框，比较每个检测框与用户标定的检测框之间的差异，同时计算车辆属于某个具体车型类别的概率。
4.根据权利要求3所述的基于无人机的交通流量监测方法，其特征在于，所述多尺度神经网络根据训练及测试数据集对网络进行参数学习和权重调整需要进行网络参数优化，所述网络参数优化如下：
给定网络的类别损失函数Lloca(δ，p，g)和Lconf(δ，c)，则整个卷积神经网络的损失函数L(δ，c，p，g)表示为：
其中，是匹配到的检测框，Lloca(δ，p，g)通过计算预测的检测框与真实的检测框之间的L1标准化差值，Lconf(δ，c)定义为多标签分类问题中的损失函数，权重γ控制两种不同损失函数在总损失函数中的占比。
5.根据权利要求4所述的基于无人机的交通流量监测方法，其特征在于，基于观测概率的特征融合策略包括乘性融合和加性融合，在目标状态给定的条件下，并假设目标的各种观测是条件独立的，那么n种特征的乘性融合表示为：
相对的，n种特征的乘性融合可以表示为：
其中，θi是一个权重参数，表示第i个特征所对应的观测概率的权值，并满足
6.根据权利要求5所述的基于无人机的交通流量监测方法，其特征在于，假定n种观测特征是条件独立的前提下，将每种特征的观测概率加上一个均匀分布，并做归一化处理，再取其乘积：
其中，λi表示特征i对应的不确定性，Φ(x)代表一个离散的均匀分布；
λi越小，特征i对应的不确定性越小，即其在观测概率中所占的信息比重越大；
不同特征乘性融合和加性融合结果的集成，同时利用不同特征的不确定性调节其在观测概率中所占的比重，建立一个自适应的特征融合框架。
7.根据权利要求1所述的基于无人机的交通流量监测方法，其特征在于，所述将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理，同时跟踪不同类型的车辆，得到各种类型车辆的实时流量监测结果具体包括：
将车辆检测的结果使用多特征融合算法及贝叶斯粒子滤波算法进行处理；
对视频中的运动车辆进行跟踪，在得到各类型车辆的跟踪信息后，获取直观的道路交通流量监测信息。
8.根据权利要求7所述的基于无人机的交通流量监测方法，其特征在于，在得到融合特征的基础上，通过贝叶斯估计的方法来对视频中的运动车辆进行跟踪，考虑如下时间变化状态：
xt＝ft(xt-1，ξt)；
其中，xt是目标在时刻t的状态向量，ξt是观测噪声，跟踪的目的是递归地估计目标的状态：
zt＝ht(xt，et)；
其中，zt是状态xt的观测值，et是观测噪声，从贝叶斯估计的角度来看，跟踪问题看作是在给定观察序列{z1：t}的前提下递归估计目标状态{xt}，也即构造目标状态的后验概率分布p(xt|z1：t)，求解的过程分为预测和更新，并根据遥感视频帧的连续性将原本复杂的积分运算转化为对有限样本点的求和运算，即后验概率分布p(xt|z1：t)表示为：
其中，N是粒子数目，wtj是时刻t第i个粒子的权值，满足δ代表狄拉克函数；
在算法的实现过程中，选取矩形框来描述目标状态x，x＝[xc，yc，w，h，θ]，其中，xc，yc，w，h和θ分别是矩形的中心坐标、宽度、长度和偏转角。
9.一种智能系统，其特征在于，所述智能系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于无人机的交通流量监测程序，所述基于无人机的交通流量监测程序被所述处理器执行时实现如权利要求1-8任一项所述的基于无人机的交通流量监测方法的步骤。
10.一种数据集，其特征在于，所述数据集存储有基于无人机的交通流量监测程序，所述基于无人机的交通流量监测程序被处理器执行时实现如权利要求1-8任一项所述基于无人机的交通流量监测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810674498.8A CN108831161A (zh) | 2018-06-27 | 2018-06-27 | 一种基于无人机的交通流量监测方法、智能系统及数据集 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810674498.8A CN108831161A (zh) | 2018-06-27 | 2018-06-27 | 一种基于无人机的交通流量监测方法、智能系统及数据集 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108831161A true CN108831161A (zh) | 2018-11-16 |
Family
ID=64138974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810674498.8A Pending CN108831161A (zh) | 2018-06-27 | 2018-06-27 | 一种基于无人机的交通流量监测方法、智能系统及数据集 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108831161A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657614A (zh) * | 2018-12-19 | 2019-04-19 | 沈阳天择智能交通工程有限公司 | 航拍道路交通事故现场勘查中道路及车辆自动识别方法 |
| CN109785621A (zh) * | 2019-02-02 | 2019-05-21 | 重庆港力环保股份有限公司 | 一种依托大数据的道路交通噪声智能优化控制方法 |
| CN109815831A (zh) * | 2018-12-28 | 2019-05-28 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆朝向获取方法及相关装置 |
| CN110033479A (zh) * | 2019-04-15 | 2019-07-19 | 四川九洲视讯科技有限责任公司 | 基于交通监控视频的交通流参数实时检测方法 |
| CN110097076A (zh) * | 2019-03-25 | 2019-08-06 | 中国地质大学（武汉） | 一种基于gpu架构的矢量道路网络匹配并行计算方法及装置 |
| CN110796360A (zh) * | 2019-10-24 | 2020-02-14 | 吉林化工学院 | 一种固定型交通检测源多尺度数据融合方法 |
| CN111081033A (zh) * | 2019-11-21 | 2020-04-28 | 北京百度网讯科技有限公司 | 车辆朝向角确定的方法及装置 |
| CN111739283A (zh) * | 2019-10-30 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 一种基于聚类的路况计算方法、装置、设备及介质 |
| CN111898501A (zh) * | 2020-07-17 | 2020-11-06 | 东南大学 | 一种针对拥堵路段的无人机在线航拍车辆识别及统计方法 |
| CN112016393A (zh) * | 2020-07-21 | 2020-12-01 | 华人运通(上海)自动驾驶科技有限公司 | 车辆参数获取方法、装置、设备和存储介质 |
| WO2021073528A1 (zh) * | 2019-10-18 | 2021-04-22 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 一种无人艇智能决策方法及系统 |
| CN112820109A (zh) * | 2021-01-15 | 2021-05-18 | 林安齐 | 一种道路巡检安全预警方法及系统 |
| CN113192330A (zh) * | 2021-04-26 | 2021-07-30 | 上海德衡数据科技有限公司 | 基于多智能体的车辆管理方法、管理系统、设备及介质 |
| CN113450573A (zh) * | 2020-03-25 | 2021-09-28 | 重庆翼动科技有限公司 | 基于无人机图像识别的交通监测方法和交通监测系统 |
| CN117152692A (zh) * | 2023-10-30 | 2023-12-01 | 中国市政工程西南设计研究总院有限公司 | 基于视频监控的交通目标检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339655A (zh) * | 2008-08-11 | 2009-01-07 | 浙江大学 | 基于目标特征和贝叶斯滤波的视觉跟踪方法 |
| CN103065293A (zh) * | 2012-12-31 | 2013-04-24 | 中国科学院东北地理与农业生态研究所 | 相关性加权的遥感影像融合方法及该融合方法的融合效果评价方法 |
| CN108171752A (zh) * | 2017-12-28 | 2018-06-15 | 成都阿普奇科技股份有限公司 | 一种基于深度学习的海面船只视频检测与跟踪方法 |
-
2018
- 2018-06-27 CN CN201810674498.8A patent/CN108831161A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339655A (zh) * | 2008-08-11 | 2009-01-07 | 浙江大学 | 基于目标特征和贝叶斯滤波的视觉跟踪方法 |
| CN103065293A (zh) * | 2012-12-31 | 2013-04-24 | 中国科学院东北地理与农业生态研究所 | 相关性加权的遥感影像融合方法及该融合方法的融合效果评价方法 |
| CN108171752A (zh) * | 2017-12-28 | 2018-06-15 | 成都阿普奇科技股份有限公司 | 一种基于深度学习的海面船只视频检测与跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| JIASONG ZHU等: "Bidirectional Long Short-Term Memory Network for Vehicle Behavior Recognition", 《REMOTE SENSING》 * |
| WEI LIU 等: "SSD: Single Shot MultiBox Detector", 《COMPUTER VISION – ECCV 2016》 * |
| 刘明华: "复杂环境下基于多特征融合的目标跟踪关键技术研究", 《CNKI博士学位论文全文库》 * |
| 顾鑫 等: "基于不确定性度量的多特征融合跟踪", 《自动化学报》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657614A (zh) * | 2018-12-19 | 2019-04-19 | 沈阳天择智能交通工程有限公司 | 航拍道路交通事故现场勘查中道路及车辆自动识别方法 |
| CN109657614B (zh) * | 2018-12-19 | 2023-02-03 | 沈阳天择智能交通工程有限公司 | 航拍道路交通事故现场勘查中道路自动识别方法 |
| CN109815831B (zh) * | 2018-12-28 | 2021-03-23 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆朝向获取方法及相关装置 |
| CN109815831A (zh) * | 2018-12-28 | 2019-05-28 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆朝向获取方法及相关装置 |
| CN109785621A (zh) * | 2019-02-02 | 2019-05-21 | 重庆港力环保股份有限公司 | 一种依托大数据的道路交通噪声智能优化控制方法 |
| CN110097076A (zh) * | 2019-03-25 | 2019-08-06 | 中国地质大学（武汉） | 一种基于gpu架构的矢量道路网络匹配并行计算方法及装置 |
| CN110033479A (zh) * | 2019-04-15 | 2019-07-19 | 四川九洲视讯科技有限责任公司 | 基于交通监控视频的交通流参数实时检测方法 |
| CN110033479B (zh) * | 2019-04-15 | 2023-10-27 | 四川九洲视讯科技有限责任公司 | 基于交通监控视频的交通流参数实时检测方法 |
| WO2021073528A1 (zh) * | 2019-10-18 | 2021-04-22 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 一种无人艇智能决策方法及系统 |
| CN110796360A (zh) * | 2019-10-24 | 2020-02-14 | 吉林化工学院 | 一种固定型交通检测源多尺度数据融合方法 |
| CN111739283B (zh) * | 2019-10-30 | 2022-05-20 | 腾讯科技（深圳）有限公司 | 一种基于聚类的路况计算方法、装置、设备及介质 |
| CN111739283A (zh) * | 2019-10-30 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 一种基于聚类的路况计算方法、装置、设备及介质 |
| CN111081033B (zh) * | 2019-11-21 | 2021-06-01 | 北京百度网讯科技有限公司 | 车辆朝向角确定的方法及装置 |
| CN111081033A (zh) * | 2019-11-21 | 2020-04-28 | 北京百度网讯科技有限公司 | 车辆朝向角确定的方法及装置 |
| CN113450573A (zh) * | 2020-03-25 | 2021-09-28 | 重庆翼动科技有限公司 | 基于无人机图像识别的交通监测方法和交通监测系统 |
| CN111898501A (zh) * | 2020-07-17 | 2020-11-06 | 东南大学 | 一种针对拥堵路段的无人机在线航拍车辆识别及统计方法 |
| CN111898501B (zh) * | 2020-07-17 | 2022-04-05 | 东南大学 | 一种针对拥堵路段的无人机在线航拍车辆识别及统计方法 |
| CN112016393A (zh) * | 2020-07-21 | 2020-12-01 | 华人运通(上海)自动驾驶科技有限公司 | 车辆参数获取方法、装置、设备和存储介质 |
| CN112820109A (zh) * | 2021-01-15 | 2021-05-18 | 林安齐 | 一种道路巡检安全预警方法及系统 |
| CN113192330A (zh) * | 2021-04-26 | 2021-07-30 | 上海德衡数据科技有限公司 | 基于多智能体的车辆管理方法、管理系统、设备及介质 |
| CN117152692A (zh) * | 2023-10-30 | 2023-12-01 | 中国市政工程西南设计研究总院有限公司 | 基于视频监控的交通目标检测方法及系统 |
| CN117152692B (zh) * | 2023-10-30 | 2024-02-23 | 中国市政工程西南设计研究总院有限公司 | 基于视频监控的交通目标检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108831161A (zh) | 一种基于无人机的交通流量监测方法、智能系统及数据集 | |
| CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| US10984532B2 (en) | Joint deep learning for land cover and land use classification | |
| CN111598030B (zh) | 一种航拍图像中车辆检测和分割的方法及系统 | |
| CN105069472B (zh) | 一种基于卷积神经网络自适应的车辆检测方法 | |
| CN110059558A (zh) | 一种基于改进ssd网络的果园障碍物实时检测方法 | |
| CN105760849B (zh) | 基于视频的目标对象行为数据获取方法及装置 | |
| CN113240688A (zh) | 一种一体化洪涝灾害精准监测预警方法 | |
| CN101493943B (zh) | 一种粒子滤波跟踪方法和跟踪装置 | |
| CN104320617A (zh) | 一种基于深度学习的全天候视频监控方法 | |
| CN108182416A (zh) | 一种无人机监控场景下的人体行为识别方法、系统及装置 | |
| CN114241511B (zh) | 一种弱监督行人检测方法、系统、介质、设备及处理终端 | |
| CN110533100A (zh) | 一种基于机器学习进行cme检测和跟踪的方法 | |
| CN110287798A (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
| CN109543617A (zh) | 基于yolo目标检测技术的智能车辆运动路况信息的检测方法 | |
| CN106384359A (zh) | 运动目标跟踪方法和电视 | |
| Huang et al. | Structural defect detection technology of transmission line damper based on UAV image | |
| Zhao et al. | Vehicle counting in very low-resolution aerial images via cross-resolution spatial consistency and Intraresolution time continuity | |
| Lu et al. | An efficient network for multi-scale and overlapped wildlife detection | |
| Cushman et al. | Landscape metrics, scales of resolution | |
| CN108257148A (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 | |
| CN114429596A (zh) | 一种流量统计方法、装置、电子设备及存储介质 | |
| Mantini et al. | Camera Tampering Detection using Generative Reference Model and Deep Learned Features. | |
| CN113096079B (zh) | 图像分析系统及其构建方法 | |
| Li et al. | [Retracted] PointLAE: A Point Cloud Semantic Segmentation Neural Network via Multifeature Aggregation for Large‐Scale Application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181116 |