CN113537170A - 一种交通路况智能监测方法和计算机可读存储介质 - Google Patents

一种交通路况智能监测方法和计算机可读存储介质 Download PDF

Info

Publication number
CN113537170A
CN113537170A CN202111083635.9A CN202111083635A CN113537170A CN 113537170 A CN113537170 A CN 113537170A CN 202111083635 A CN202111083635 A CN 202111083635A CN 113537170 A CN113537170 A CN 113537170A
Authority
CN
China
Prior art keywords
target
detected
road condition
representing
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111083635.9A
Other languages
English (en)
Inventor
黄文艺
宋士佳
王博
孙超
王文伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Automotive Research Institute of Beijing University of Technology
Original Assignee
Shenzhen Automotive Research Institute of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Automotive Research Institute of Beijing University of Technology filed Critical Shenzhen Automotive Research Institute of Beijing University of Technology
Priority to CN202111083635.9A priority Critical patent/CN113537170A/zh
Publication of CN113537170A publication Critical patent/CN113537170A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种交通路况智能监测方法和计算机可读存储介质，本发明采用了端到端的基于卷积神经网络的深度学习方法，极大增加了目标检测效率，泛能能力较强，能在不同环境背景下对目标进行检测，具有检测鲁棒性，直接输出目标的姿态信息和运动信息，无需人工设计算子。同时预训练的分类器能够以不同非正常交通情况的样本作为训练样本，得到能识别不同交通情况的分类模型。

Description

一种交通路况智能监测方法和计算机可读存储介质
技术领域
本发明涉及图像目标检测技术领域，具体涉及一种交通路况智能监测方法和计算机可读存储介质。
背景技术
随着社会进步与发展，汽车拥有量与日俱增。随之引发的交通拥堵严重、非法行驶、交通事故等非正常交通路况愈发频繁。为了预防和实时监测非正常路况的发生，对交通路况的在线分析越来越受到重视。
基于智能交通系统的快速发展，精准的与高适应性地智能路况监测系统受到很多学者的关注。目前，比较主流的交通事故监测方法包括：轨迹分析和运动分析。但是两种方法的主要目的都是构建正常情况下的交通运动模型，而不是直接在视频中捕捉发生的交通事故。轨迹分析方法通过使用目标轨迹建立正常的车辆轨迹模型，从而来检测异常事件，虽然这个方法取得了很大的成就，但是在不好的光照环境和复杂的交通环境等条件下快速地获得精确的车辆轨迹仍然是一个很大的难题。运动分析方法主要是通过分析整个视频帧来提取时间和空间上的特征来描述特定的目标信息。与轨迹分析方法相比，运动分析方法有着更好的能力去适应不同的交通环境，在单个事件的检测上有着很好的表现。
然而基于传统的图像运动分析法存在检测速度慢，精度低等不利于实时监测的缺陷。同时交通事故只是非正常路况中的其中一类，对路况的监测还包含：逆行、闯红灯、酒驾式行驶、拥堵等不同类别的工况。因此在提升基于运动分析法的路况监测精度和速度的前提下，还应多考虑如果对不同非正常路况进行识别。
发明内容
为解决上述技术问题，本申请提出一种交通路况智能监测方法和计算机可读存储介质。
根据第一方面，一种实施例中提供一种交通路况智能监测方法，包括：
获取监控视频流；
对所述监控视频流的每一帧进行目标检测与姿态估计，得到目标的姿态信息；
对检测到的目标进行跟踪与预测，得到目标的运动信息；
根据所述目标的姿态信息和运动信息构造全局交通流特征向量；
将所述全局交通流特征向量代入预训练的分类器中，得到当前交通路况。
在一实施例中，所述对所述监控视频流的每一帧进行目标检测与姿态估计，得到目标的姿态信息，包括：
使用R3Det检测器对所述监控视频流中的车辆目标进行检测，得到目标的2D框和朝向角，并通过透视原理得到目标在世界坐标系下的真实位置。
在一实施例中，所述R3Det检测器采用基于深度学习神经网络的单级目标检测器RetinaNet，所述RetinaNet包括主干网络和分类与回归子网络。
在一实施例中，在基于所述RetinaNet的旋转目标检测中，网络的输出参数采用（x，y，w，h，θ）表示具有方向的检测到的目标框，其中，（x，y）为检测到的目标框的中心坐标；w为检测到的目标框的长度；h为检测到的目标框的宽度；θ为检测到的目标框的角度，θ的取值范围为[-π/2，0]，表示检测到的目标框的长边与x轴的锐角夹角；
在所述回归子网络中，预测的网络的输出参数均为偏移量，所述预测的网络的输出为：
t x =(x-x a )/w a ，t y =(y-y a )/h a ，
t w = log(w/w a )，t h = log(h/h a )，t θ =θ–θ a ，
t x ’=(x’-x a )/w a ，t y ’=(y’-y a )/h a ，
t w ’= log(w’/w a )，t h ’= log(h’/h a )，t θ ’=θ’–θ a ；
其中，（x，y，w，h，θ）表示检测到的目标框；（x a ，y a ，w a ，h a ，θ a ）表示预设目标框；（x’，y’，w’，h’，θ’）表示预测目标框。
在一实施例中，所述回归子网络的损失包括位置损失和类别损失，损失函数的定义如下：
Figure 100002_DEST_PATH_IMAGE001
其中，N表示锚点的数目；t n ’是一个二元值，对于前景区域取1，对于背景区域取0；v nj ’表示预测的偏移量；v nj 表示真实目标框信息；t n 表示目标的类别标识；p n 表示用sigmoid函数计算的多类别概率分布；超参数c 1 ，c 2 分别代表两类损失权重，且默认值为1；L cls 和L reg 分别用Focal Loss和smooth L1 Loss计算。
在一实施例中，所述对检测到的目标进行跟踪与预测，得到目标的运动信息包括：
使用DeepSort算法对检测到的目标框的位置、ReID和置信度进行跟踪与预测；
所述置信度用于对检测到的目标框的筛选，所述目标框的位置和所述ReID用于对跟踪器的匹配计算。
在一实施例中，所述DeepSort算法使用8维状态空间（x，y，r，h，x’’，y’’，r’’，h’’）作为物体状态的观测模型；其中，（x，y）为检测到的目标框的中心坐标；r为检测到的目标框的宽高比；h为检测到的目标框的宽度；（x’’，y’’，r’’，h’’）为（x，y，r，h）对应在图像坐标上的速度；
所述DeepSort算法使用标准卡尔曼滤波方法进行更新与预测。
在一实施例中，所述DeepSort算法采用匈牙利匹配算法进行检测器与追踪器的匹配；
所述DeepSort算法使用级联匹配，使得检测器优先匹配消失时间短的跟踪器。
在一实施例中，所述预训练的分类器通过如下方法得到：
收集非正常交通路况样本；
对所述非正常交通路况样本给出人为判定作为非正常交通路况样本的标签，包括逆行、事故、闯红灯、停车、拥堵或正常中的一者或多者；
提取所述非正常交通路况样本中的车辆目标的位置、朝向、速度和轨迹作为训练样本；
以K-SVM作为分类模型进行模型训练，使模型精度达到一定阈值，得到所述预训练的分类器。
根据第二方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如本申请任一项实施例中所述的方法。
据上述实施例的交通路况智能监测方法，采用了端到端的基于卷积神经网络的深度学习方法，极大增加了目标检测效率，泛能能力较强，能在不同环境背景下对目标进行检测，具有检测鲁棒性，直接输出目标的姿态信息和运动信息，无需人工设计算子。同时预训练的分类器能够以不同非正常交通情况的样本作为训练样本，得到能识别不同交通情况的分类模型。
附图说明
图1为一种实施例中交通路况智能监测方法的流程图；
图2为一种实施例中交通路况智能监测方法的预训练的分类器的训练流程图；
图3为一种实施例中交通路况智能监测系统的功能结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
现有的交通路况检测方案为对监控视频序列的每一帧图像使用金字塔Lucas-Kanade光流法构建光流场；基于光流场，分析视频帧全局的交通流特性，根据由光流场定义的速度流、加速度流，定义描述交通流特性的描述子，其后，根据视频帧序列构建高斯模型，并设定阈值；基于光流场，分析视频帧局部的车辆运动特性，定义局部方向图的概念并计算其能量，其后，根据视频帧序列构建高斯模型，并设定阈值；构造事故检验模型，检验交通事故是否发生。这种方法采用光流法对目标检测与跟踪计算量大且耗时长，无法满足实时性，而且光流法对光线敏感，容易造成目标丢失导致无法追踪，同时该方法需要大量的人工设计定义算法，缺乏算法的泛化能力，也只能检测当前是否有事故，不能对多类非正常交通情况进行分类检测。因此，该方法不能满足现今对交通路况的在线分析的需求。
通过人为经验可以大致认为，非正常路况可由不同的车辆位置、速度、朝向角以及在特定时间范围内的轨迹进行分类。比如连续追尾事故，可以通过同一车道的车辆车速为零，同一车道车辆位置很近，相邻车道车速缓慢等判别条件来基本判断。因此本发明采用深度学习方法与匹配滤波方法提取交通流中各个车辆的运动属性作为分类特征，旨在解决在高速路上基于视频流自动检测摄像头范围内的逆行、闯红灯、停车、拥堵、交通事故等非正常交通情况。
本发明以车辆的朝向角与轨迹作为对于实时交通路况判别的关键特征。采用深度学习算法提取目标车辆的位置、速度和朝向角等信息作为关键特征，同时采用匹配与滤波算法对目标进行跟踪，得到目标跟踪轨迹作为关键特征，构造两类特征作为路况判别关键特征。然后采用核支持向量机作为分类器，以路况中车辆目标的关键特征作为输入，以人为判定的路况作为输出结果训练支持向量机模型，最后将实时路况监控视频流输入模型即可得到实时路况结果。
下面通过具体实施例来对本发明进行说明。
实施例一：
人为判断当前路况类别可从车流的轨迹（与失控、酒驾等路况相关）、车辆的朝向角（与变道、超车等路况相关）、车辆的速度（与拥堵、超速等路况相关）、位置（与追尾、撞车等路况相关）等特征来判断，因此本申请充分利用这些特征并基于一种端到端的算法提取这些特征，最后基于分类器对实时交通路况进行分类。
请参考图1，本发明一实施例中提供一种交通路况智能监测方法，包括步骤S110-S150，下面具体说明。
步骤S110：获取监控视频流。通过路端摄像头获取监控视频流。
步骤S120：对监控视频流的每一帧进行目标检测与姿态估计，得到目标的姿态信息。
在一实施例中，使用R3Det（Refined Single-Stage Detector）检测器对监控视频流中的车辆目标进行检测，得到目标的2D框和朝向角，并通过透视原理得到目标在世界坐标系下的真实位置。
R3Det检测器采用目前最先进的基于深度学习神经网络的单级目标检测器RetinaNet，RetinaNet包括主干网络和分类与回归子网络。其主干网络为残差网络（ResNet）和空间金字塔网络(FPN, feature pyramid networks)，其中ResNet适用于图像在不同尺度下的特征提取，FPN适用于对不同尺度下的特征进行融合。对于不同尺度的特征，FPN的每一层都连接分类和回归子网，用于预测目标类别与位置。同时RetinaNet网络还利用Focal Loss来解决在训练过程车辆类别不平衡引起的问题，大大提高了单级目标检测的精度。
在一实施例中，在基于RetinaNet的旋转目标检测中，网络的输出参数采用（x，y， w，h，θ）表示具有方向的检测到的目标框，其中，（x，y）为检测到的目标框的中心坐标；w为检测到的目标框的长度；h为检测到的目标框的宽度；θ为检测到的目标框的角度，θ的取值范围为[-π/2，0]，表示检测到的目标框的长边与x轴的锐角夹角；
在回归子网络中，预测的网络的输出参数均为偏移量，预测的网络的输出为：
t x =(x-x a )/w a ，t y =(y-y a )/h a ，
t w = log(w/w a )，t h = log(h/h a )，t θ =θ–θ a ，
t x ’=(x’-x a )/w a ，t y ’ =(y’-y a )/h a ，
t w ’= log(w’/w a )，t h ’= log(h’/h a )，t θ ’=θ’–θ a ；
其中，（x，y，w，h，θ）表示检测到的目标框；（x a ，y a ，w a ，h a ，θ a ）表示预设目标框；（x’，y’，w’，h’，θ’）表示预测目标框。
回归子网络的损失包括位置损失和类别损失，损失函数的定义如下：
Figure 807278DEST_PATH_IMAGE001
其中，N表示锚点（anchor）的数目；t n ’是一个二元值，对于前景区域取1，对于背景区域取0，也即只对目标框回归；v nj ’表示预测的偏移量；v nj 表示真实目标框信息；t n 表示目标的类别标识；p n 表示用sigmoid函数计算的多类别概率分布；超参数c 1 ，c 2 分别代表两类损失权重，且默认值为1；L cls 和L reg 分别用Focal Loss和smooth L1 Loss计算。
在一实施例中，R3Det检测器可用基于yolo算法进行改进得到的可以检测旋转目标框的模型代替，相应地，先验框和损失函数需要重新设计。
步骤S130：对检测到的目标进行跟踪与预测，得到目标的运动信息。
在一实施例中，使用DeepSort算法对检测到的目标进行跟踪，得到目标的速度与轨迹。使用DeepSort算法对检测到的目标框的位置、ReID和置信度进行跟踪与预测，置信度用于对检测到的目标框的筛选，目标框的位置和ReID用于对跟踪器的匹配计算。
DeepSort算法使用8维状态空间（x，y，r，h，x’’，y’’，r’’，h’’）作为物体状态的观测模型；其中，（x，y）为检测到的目标框的中心坐标；r为检测到的目标框的宽高比；h为检测到的目标框的宽度；（x’’，y’’，r’’，h’’）为（x，y，r，h）对应在图像坐标上的速度。DeepSort算法使用标准卡尔曼滤波方法进行更新与预测。
DeepSort算法采用匈牙利匹配算法进行检测器与追踪器的匹配。匈牙利匹配算法构建代价矩阵，代价矩阵由对运动模型和外观模型的匹配度加权得到，代价矩阵如下所示：
Figure 100002_DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE003
表示第i个检测器与第j个跟踪器的马氏距离；
Figure 301582DEST_PATH_IMAGE004
表示第i个检测器和第j个跟踪器的特征向量余弦距离；检测器与跟踪器的特征向量分别为检测器目标框内图像和跟踪器目标框内图像输入固定网络模型后得到的一维向量。
同时，DeepSort算法使用级联匹配，使得检测器优先匹配消失时间短的跟踪器。
在实现了目标匹配与跟踪后，可得到目标的运动信息，一实施例中，目标的运动信息包括目标的ID、位置、速度和轨迹参数中的一者或多者。
在一实施例中，DeepSort跟踪算法可用KCF（Kernel Correlation Filter）算法代替。
步骤S140：根据目标的姿态信息和运动信息构造全局交通流特征向量。
步骤S150：将全局交通流特征向量代入预训练的分类器中，得到当前交通路况。如图2所示，在一实施例中，预训练的分类器通过步骤S151-S157得到，下面具体说明。
步骤S151：收集非正常交通路况样本。
步骤S153：对非正常交通路况样本给出人为判定作为非正常交通路况样本的标签。非正常交通路况样本的标签包括逆行、事故、闯红灯、停车、拥堵或正常中的一者或多者。
步骤S155：提取非正常交通路况样本中的车辆目标的ID、位置、朝向、速度和轨迹作为训练样本。
步骤S157：以K-SVM作为分类模型进行模型训练，使模型精度达到一定阈值，得到预训练的分类器。在一实施例中，K-SVM可用K近邻算法代替。
将实时的目标检测结果输入至预训练的分类器中即可得到当前交通路况。
本实施例中，将实时的监控流视频代入至由R3Det+DeeoSort+K-SVM构造的端到端的算法模型中，即可推理得到实时交通路况信息。
实施例二：
如图3所示，本申请一实施例中提供一种交通路况智能监测系统，如实施例一中所述的交通路况智能监测方法可制作为一个功能软件包，并部署在路端边缘计算平台20上，通过安装在路端的高分辨率摄像头10提供的实时监控视频流作为输入，路端边缘计算平台20计算得到实时交通路况信息并发送至云控平台30。
依照上述实施例的交通路况智能监测方法和交通路况智能监测系统，使用普通摄像头作为传感器即可获取实时样本，价格低廉、可使用环境广、使用寿命长，且只需要对摄像头进行合理标定，该方法适用于任何高速公路或城市快速路场景，应用场景丰富，若需要对特定路况进行检测，只需要重新训练分类器即可。同时该方法采用了端到端的基于卷积神经网络的深度学习方法，极大增加了目标检测效率，泛能能力较强，能在不同环境背景下对目标进行检测，具有检测鲁棒性，直接输出目标的姿态信息和运动信息，无需人工设计算子。同时预训练的分类器能够以不同非正常交通情况的样本作为训练样本，得到能识别不同交通情况的分类模型。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种交通路况智能监测方法，其特征在于，包括：
获取监控视频流；
对所述监控视频流的每一帧进行目标检测与姿态估计，得到目标的姿态信息；
对检测到的目标进行跟踪与预测，得到目标的运动信息；
根据所述目标的姿态信息和所述目标的运动信息构造全局交通流特征向量；
将所述全局交通流特征向量代入预训练的分类器中，得到当前交通路况。
2.如权利要求1所述的交通路况智能监测方法，其特征在于，所述对所述监控视频流的每一帧进行目标检测与姿态估计，得到目标的姿态信息，包括：
使用R3Det检测器对所述监控视频流中的车辆目标进行检测，得到目标的2D框和朝向角，并通过透视原理得到目标在世界坐标系下的真实位置。
3.如权利要求2所述的交通路况智能监测方法，其特征在于，所述R3Det检测器采用基于深度学习神经网络的单级目标检测器RetinaNet，所述RetinaNet包括主干网络和分类与回归子网络。
4.如权利要求3所述的交通路况智能监测方法，其特征在于，在基于所述RetinaNet的旋转目标检测中，网络的输出参数采用（x，y，w，h，θ）表示具有方向的检测到的目标框，其中，（x，y）为检测到的目标框的中心坐标；w为检测到的目标框的长度；h为检测到的目标框的宽度；θ为检测到的目标框的角度，θ的取值范围为[-π/2，0]，表示检测到的目标框的长边与x轴的锐角夹角；
在所述回归子网络中，预测的网络的输出参数均为偏移量，所述预测的网络的输出为：
t x =(x-x a )/w a ，t y =(y-y a )/h a ，
t w = log(w/w a )，t h = log(h/h a )，t θ =θ–θ a ，
t x ’=(x’-x a )/w a ，t y ’=(y’-y a )/h a ，
t w ’= log(w’/w a )，t h ’= log(h’/h a )，t θ ’=θ’–θ a ；
其中，（x，y，w，h，θ）表示检测到的目标框；（x a ，y a ，w a ，h a ，θ a ）表示预设目标框；（x’，y’，w’，h’，θ’）表示预测目标框。
5.如权利要求4所述的交通路况智能监测方法，其特征在于，所述回归子网络的损失包括位置损失和类别损失，损失函数的定义如下：
Figure DEST_PATH_IMAGE001
其中，N表示锚点的数目；t n ’是一个二元值，对于前景区域取1，对于背景区域取0；v nj ’表示预测的偏移量；v nj 表示真实目标框信息；t n 表示目标的类别标识；p n 表示用sigmoid函数计算的多类别概率分布；超参数c 1 ，c 2 分别代表两类损失权重，且默认值为1；L cls 和L reg 分别用Focal Loss和smooth L1 Loss计算。
6.如权利要求1所述的交通路况智能监测方法，其特征在于，所述对检测到的目标进行跟踪与预测，得到目标的运动信息包括：
使用DeepSort算法对检测到的目标框的位置、ReID和置信度进行跟踪与预测；
所述置信度用于对检测到的目标框的筛选，所述目标框的位置和所述ReID用于对跟踪器的匹配计算。
7.如权利要求6所述的交通路况智能监测方法，其特征在于，所述DeepSort算法使用8维状态空间（x，y，r，h，x’’，y’’，r’’，h’’）作为物体状态的观测模型；其中，（x，y）为检测到的目标框的中心坐标；r为检测到的目标框的宽高比；h为检测到的目标框的宽度；（x’’，y’’，r’’，h’’）为（x，y，r，h）对应在图像坐标上的速度；
所述DeepSort算法使用标准卡尔曼滤波方法进行更新与预测。
8.如权利要求7所述的交通路况智能监测方法，其特征在于，所述DeepSort算法采用匈牙利匹配算法进行检测器与追踪器的匹配；
所述匈牙利匹配算法构建代价矩阵，所述代价矩阵由对运动模型和外观模型的匹配度加权得到，所述代价矩阵如下所示：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示第i个检测器与第j个跟踪器的马氏距离；
Figure DEST_PATH_IMAGE004
表示第i个检测器和第j个跟踪器的特征向量余弦距离；所述检测器与跟踪器的特征向量分别为检测器目标框内图像和跟踪器目标框内图像输入固定网络模型后得到的一维向量；
所述DeepSort算法使用级联匹配，使得检测器优先匹配消失时间短的跟踪器。
9.如权利要求1所述的交通路况智能监测方法，其特征在于，所述预训练的分类器通过如下方法得到：
收集非正常交通路况样本；
对所述非正常交通路况样本给出人为判定作为非正常交通路况样本的标签，所述非正常交通路况样本的标签包括逆行、事故、闯红灯、停车、拥堵或正常中的一者或多者；
提取所述非正常交通路况样本中的车辆目标的位置、朝向、速度和轨迹作为训练样本；
以K-SVM作为分类模型进行模型训练，使模型精度达到一定阈值，得到所述预训练的分类器。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的方法。
CN202111083635.9A 2021-09-16 2021-09-16 一种交通路况智能监测方法和计算机可读存储介质 Pending CN113537170A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083635.9A CN113537170A (zh) 2021-09-16 2021-09-16 一种交通路况智能监测方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083635.9A CN113537170A (zh) 2021-09-16 2021-09-16 一种交通路况智能监测方法和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113537170A true CN113537170A (zh) 2021-10-22

Family

ID=78093273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083635.9A Pending CN113537170A (zh) 2021-09-16 2021-09-16 一种交通路况智能监测方法和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113537170A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114023062A (zh) * 2021-10-27 2022-02-08 河海大学 一种基于深度学习和边缘计算的交通流信息监测方法
CN115497303A (zh) * 2022-08-19 2022-12-20 招商新智科技有限公司 一种复杂检测条件下的高速公路车速检测方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751782A (zh) * 2009-12-30 2010-06-23 北京大学深圳研究生院 一种基于多源信息融合的十字路口交通事件自动检测系统
KR20170000778A (ko) * 2015-06-24 2017-01-03 주식회사 엔알피시스템 차량 사고 감지장치 및 이를 이용한 긴급 콜 시스템
CN108960069A (zh) * 2018-06-05 2018-12-07 天津大学 一种用于单阶段物体检测器的增强上下文的方法
CN110516535A (zh) * 2019-07-12 2019-11-29 杭州电子科技大学 一种基于深度学习的老鼠活跃度检测方法和系统、及卫生评估方法
CN111063140A (zh) * 2019-12-24 2020-04-24 齐鲁工业大学 一种交通事故检测预警报警系统
CN111260628A (zh) * 2020-01-15 2020-06-09 北京林业大学 基于视频图像的大型苗圃苗木数量统计方法及电子设备
CN111860282A (zh) * 2020-07-15 2020-10-30 中国电子科技集团公司第三十八研究所 地铁断面客流量统计和行人逆行检测方法及系统
CN111931582A (zh) * 2020-07-13 2020-11-13 中国矿业大学 基于图像处理的高速公路交通事件检测方法
CN112288770A (zh) * 2020-09-25 2021-01-29 航天科工深圳（集团）有限公司 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN112668440A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于平衡样本回归损失的sar舰船目标检测方法
CN112966587A (zh) * 2021-03-02 2021-06-15 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法及相关设备
CN113160274A (zh) * 2021-04-19 2021-07-23 桂林电子科技大学 一种基于YOLOv4的改进DeepSort目标检测跟踪方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751782A (zh) * 2009-12-30 2010-06-23 北京大学深圳研究生院 一种基于多源信息融合的十字路口交通事件自动检测系统
KR20170000778A (ko) * 2015-06-24 2017-01-03 주식회사 엔알피시스템 차량 사고 감지장치 및 이를 이용한 긴급 콜 시스템
CN108960069A (zh) * 2018-06-05 2018-12-07 天津大学 一种用于单阶段物体检测器的增强上下文的方法
CN110516535A (zh) * 2019-07-12 2019-11-29 杭州电子科技大学 一种基于深度学习的老鼠活跃度检测方法和系统、及卫生评估方法
CN111063140A (zh) * 2019-12-24 2020-04-24 齐鲁工业大学 一种交通事故检测预警报警系统
CN111260628A (zh) * 2020-01-15 2020-06-09 北京林业大学 基于视频图像的大型苗圃苗木数量统计方法及电子设备
CN111931582A (zh) * 2020-07-13 2020-11-13 中国矿业大学 基于图像处理的高速公路交通事件检测方法
CN111860282A (zh) * 2020-07-15 2020-10-30 中国电子科技集团公司第三十八研究所 地铁断面客流量统计和行人逆行检测方法及系统
CN112288770A (zh) * 2020-09-25 2021-01-29 航天科工深圳（集团）有限公司 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN112668440A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于平衡样本回归损失的sar舰船目标检测方法
CN112966587A (zh) * 2021-03-02 2021-06-15 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法及相关设备
CN113160274A (zh) * 2021-04-19 2021-07-23 桂林电子科技大学 一种基于YOLOv4的改进DeepSort目标检测跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FATHI MAHDI ELSIDDIG HAROUN ET AL: "Detection and Monitoring of Power Line Corridor From Satellite Imagery Using RetinaNet and K-Mean Clustering", 《 IEEE ACCESS 》 *
MINGMING ZHU ET AL: "Arbitrary-Oriented Ship Detection Based on RetinaNet for Remote Sensing Images", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
杨德明: "车联网背景下基于深度学习的目标检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
王立颖等: "基于运动姿态采集的车辆交通事故数据分析与应用", 《中国人民公安大学学报( 自然科学版)》 *
陆林东等: "基于三维语义包围框的车辆事故检测方法研究", 《计算机与数字工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114023062A (zh) * 2021-10-27 2022-02-08 河海大学 一种基于深度学习和边缘计算的交通流信息监测方法
CN115497303A (zh) * 2022-08-19 2022-12-20 招商新智科技有限公司 一种复杂检测条件下的高速公路车速检测方法及系统

Similar Documents

Publication Publication Date Title
WO2021170030A1 (zh) 一种用于目标追踪的方法、设备及系统
Ammar et al. Aerial images processing for car detection using convolutional neural networks: Comparison between faster r-cnn and yolov3
Gurghian et al. Deeplanes: End-to-end lane position estimation using deep neural networksa
Fang et al. Road-sign detection and tracking
US8447139B2 (en) Object recognition using Haar features and histograms of oriented gradients
Mallikarjuna et al. Traffic data collection under mixed traffic conditions using video image processing
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN109284705B (zh) 一种交通监控视频的异常检测方法
Mahlisch et al. A multiple detector approach to low-resolution FIR pedestrian recognition
CN111507160B (zh) 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
CN110619279A (zh) 一种基于跟踪的路面交通标志实例分割方法
Rodríguez et al. An adaptive, real-time, traffic monitoring system
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
CN110443138A (zh) 基于车载毫米波雷达联合svm和cnn多目标分类方法
CN113537170A (zh) 一种交通路况智能监测方法和计算机可读存储介质
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
Gomaa et al. Real-time algorithm for simultaneous vehicle detection and tracking in aerial view videos
Singh et al. Vehicle detection and accident prediction in sand/dust storms
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN116109950A (zh) 一种低空域反无人机视觉检测、识别与跟踪方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
Swathy et al. Survey on vehicle detection and tracking techniques in video surveillance
Bourja et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
CN114241373A (zh) 一种端到端的车辆行为检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022