CN108345894B - 一种基于深度学习和熵模型的交通事件检测方法 - Google Patents

一种基于深度学习和熵模型的交通事件检测方法 Download PDF

Info

Publication number
CN108345894B
CN108345894B CN201710045525.0A CN201710045525A CN108345894B CN 108345894 B CN108345894 B CN 108345894B CN 201710045525 A CN201710045525 A CN 201710045525A CN 108345894 B CN108345894 B CN 108345894B
Authority
CN
China
Prior art keywords
entropy
event
traffic
model
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710045525.0A
Other languages
English (en)
Other versions
CN108345894A (zh
Inventor
赵英
麻越
江龙
邓家勇
郑全新
王亚涛
张磊
黄刚
郭俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tongfang Software Co Ltd
Original Assignee
Beijing Tongfang Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tongfang Software Co Ltd filed Critical Beijing Tongfang Software Co Ltd
Priority to CN201710045525.0A priority Critical patent/CN108345894B/zh
Publication of CN108345894A publication Critical patent/CN108345894A/zh
Application granted granted Critical
Publication of CN108345894B publication Critical patent/CN108345894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习和熵模型的交通事件检测方法，涉及智能交通技术领域。本发明基于深度学习和熵模型的交通事件检测方法的步骤为：1）训练用于交通事件分类的卷积神经网络模型：2）根据所述的卷积神经网络模型对输入的视频流图像或视频子段进行事件类别分类：3)根据所述事件分类结果，计算一段事件内的熵值：4）根据所述熵值，判断是否发生交通事件。同现有技术相比，本发明根据不同事件概率与熵值大小、稳定性的正反比关系，计算可信度参数。从视频图像的全局和局部特征入手，分析图像的突变情况，借助CNN的优点和方法以及熵值模型检测突变的特性，检测交通事件的发生，对于具有突变性质的交通事件，有着速度快、检测准的特点。

Description

一种基于深度学习和熵模型的交通事件检测方法
技术领域
本发明涉及智能交通技术领域，特别是基于深度学习和熵模型的交通事件检测方法。
背景技术
基于视频分析的交通事件检测方法由于其检测速度快且检测信息丰富，在国内外正逐渐成为研究热点。自20世纪90年代中期以来，美、英、日等国开始研究基于图像处理的快速自动事件检测系统，模拟人工判别交通异常的方法来实现事件的快速检测，此类传统方法通常是从视频图像中检测车辆，跟踪运动车辆，提取如速度变化率、位置、面积、方向等特征，根据这些特征模型能够判断交通事件。技术点包括运动目标检测、车辆检测、目标跟踪等。
浅层学习是机器学习的第一次浪潮，20世纪80年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perceptron），但实际是种只含有一层隐层节点的浅层模型。
20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。
深度学习是机器学习的第二次浪潮，2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。
当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。多层的好处是可以用较少的参数表示复杂的函数。
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。
目前，深度学习已经成为机器学习领域的一个新兴领域。在过去几年中，深度学习技术的发展已经对信号和信息过程领域产生广泛的影响，并将继续影响到机器学习和人工智能的其它关键领域。
卷积神经网络(CNN)是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点，是深度学习常用的一种模型。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
CNN是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目以提高一般前向BP算法的训练性能。CNN作为一个深度学习架构提出是为了最小化数据的预处理要求。在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征，例如定向边缘或者角点。
1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptivefield)的概念，1984年日本学者Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。
通常神经认知机包含两类神经元，即承担特征抽取的S-元和抗变形的C-元。S-元中涉及两个重要参数，即感受野与阈值参数，前者确定输入连接的数目，后者则控制对特征子模式的反应程度。许多学者一直致力于提高神经认知机的性能的研究：在传统的神经认知机中，每个S-元的感光区中由C-元带来的视觉模糊量呈正态分布。如果感光区的边缘所产生的模糊效果要比中央来得大，S-元将会接受这种非正态模糊所导致的更大的变形容忍性。我们希望得到的是，训练模式与变形刺激模式在感受野的边缘与其中心所产生的效果之间的差异变得越来越大。为了有效地形成这种非正态模糊，Fukushima提出了带双C-元层的改进型神经认知机。
Van Ooyen和Niehuis为提高神经认知机的区别能力引入了一个新的参数。事实上，该参数作为一种抑制信号，抑制了神经元对重复激励特征的激励。多数神经网络在权值中记忆训练信息。根据Hebb学习规则，某种特征训练的次数越多，在以后的识别过程中就越容易被检测。也有学者将进化计算理论与神经认知机结合，通过减弱对重复性激励特征的训练学习，而使得网络注意那些不同的特征以助于提高区分能力。上述都是神经认知机的发展过程，而卷积神经网络可看作是神经认知机的推广形式，神经认知机是卷积神经网络的一种特例。
卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。如图1所示，CNN特征提取的流程：输入图像通过三个可训练的滤波器和可加偏置进行卷积，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。
一般地，C层为特征提取层，每个神经元的输入与前一层的局部感受也相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。
此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数，降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层（C-层）都紧跟着一个用来求局部平均与二次提取的计算层（S-层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。
总之，卷积网络的核心思想是：将局部感知、权值共享（或者权值复制）以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性，并使得训练时间和计算复杂度大大降低。
熵值模型的计算通常是在一种概率分布模型的基础上完成的，当概率分布越集中，那么熵值的计算结果就越小，概率分布越分散，商值越大。通常利用熵值模型的这一特性，分析熵值的大小和一段时间的熵值的变化趋势来分析模型的突变情况。
现有技术中，基于图像处理和模拟人工判别交通异常的检测方法还存在如下不足：受到图像质量、场景多样化、摄像头焦距、遮挡、粘连等因素的干扰，往往在检测环节会受到严重的影响，造成交通事件的错检漏检。传统算法在上述这些场景的应用会受到很大的限制。
现有技术中的深度学习也存在一些不足：只依赖于深度学习的方法，在样本库的构建、网络模型的设计、训练方法、网络参数、分类方法上都面临着挑战，而且传统的静态图像做为样本库的训练模型只能获取图像的静态特征。交通事件的检测往往需要时间域上的动态特征分析，因此单纯的依赖深度学习的方法在交通事件的检测上存在着准确率低、误检漏检多的问题。
发明内容
针对上述现有技术中存在的不足，本发明的目的是提供一种基于深度学习和熵模型的交通事件检测方法。它从视频图像的全局和局部特征入手，分析图像的突变情况，借助CNN的优点和方法以及熵值模型检测突变的特性，检测交通事件的发生，对于具有突变性质的交通事件，有着速度快、检测准的特点。
为了达到上述发明目的，本发明的技术方案以如下方式实现：
一种基于深度学习和熵模型的交通事件检测方法，其方法步骤为：
1）训练用于交通事件分类的卷积神经网络模型：
收集不同类型的交通事件图像或视频段素材，根据不同事件进行分类编号。再将样本传入卷积神经网络模型，卷积神经网络中的样本集是由形如：（输入向量，理想输出向量）的向量对构成，经过向前传播和向后传播两个阶段完成对网络参数的训练。
训练算法主要包括四步，这四步被分为两个阶段：
第一阶段，向前传播阶段：
a）从样本集中取一个样本(X,Yp)，将X输入网络；
b）计算相应的实际输出Op；
在此阶段，信息从输入层经过逐级的变换，传送到输出层；这个过程也是网络在完成训练后正常运行时执行的过程；在此过程中，网络执行的是计算，即是输入与每层的权值矩阵相点乘，得到最后的输出结果：
Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））
第二阶段，向后传播阶段：
a)计算实际输出Op与相应的理想输出Yp的差；
b）按极小化误差的方法反向传播调整权矩阵；
2）根据所述的卷积神经网络模型对输入的视频流图像或视频子段进行事件类别分类：
输入视频流图像或子段到卷积神经网络模型中，提取每帧图像或子段的卷积神经网络特征并按照事件类别分类，得到每帧图像或子段的分类结果。
3)根据所述事件分类结果，计算一段事件内的熵值：
熵值的计算包括时间和空间两个方面；空间上，在单帧图像上获取相应的全局及局部特征，将提取出来的特征按照某种分类方式进行分类，根据分类情况得到所有聚类的概率分布，并由熵值计算公式获得当前帧或视频子段空间上的熵值。
时间上，结合每一帧或每一段视频的卷积神经网络特征分类，分析一段时间内的所有帧图像或视频子段的事件分类结果，根据结果分布获得每种交通事件的概率分布，并由此计算一段时间内时间上的熵值。
4）根据所述熵值，判断是否发生交通事件：
根据时间、空间上的熵值和一段时间上的事件类型分布来分析交通事件，具体步骤为：
设(i=1,…n)为多帧图像或子段的空间熵值序列，为时间域事件概率分布的熵值；
（1）空间域熵值大小分析：以(i=1,…n)的均值来分析其稳定程度：
（2）空间域熵值稳定趋势分析：以(i=1,…n)的方差来分析其稳定程度：
（3）时间域熵值分析：
（4）根据、Var、及事件类型构造事件发生的可信度参数，并判断事件发生。可定义有关、Var的正比、反比系数：
根据不同事件概率与熵值大小、稳定性的正反比关系，计算可信度参数。
在上述交通事件检测方法中，所述卷积神经网络模型具体为多类分类器，以及是通过多个交通事件样本预先训练得到的。
在上述交通事件检测方法中，所述时间域上熵值判断方法为事件分布越集中，熵值越小，事件的可能性越大。
在上述交通事件检测方法中，所述空间域上熵值判断方法为熵值越大，发生事件的可能性越大。
本发明由于采用了上述方法步骤，能根据时空分布熵的全局突变及深度学习的分类结果，准确检测出大范围的交通事故(如交通拥堵事件)的发生及持续时间。能根据时空分布熵的局部突变及深度学习的分类结果，检测出局部范围交通事件(如撞车、着火事件)的发生及持续时间。因此，本发明相较于现有方法的优点有：
1、 利用静态信息、动态信息、全局特征、局部特征判断交通事件的发生，克服了因图像质量、大面积粘连等不利因素的影响。
2、 利用空间、时间熵值的大小、趋势分析来检测突变，根据突变检测交通事件，具有准确度高、误检率低、检测速度快的优势。
3、 根据时空熵值的均值、方差及事件可能性构建可信度参数，采用联合判断的机制检测交通事件，能够有效降低误检率。
下面结合附图和具体实施方式对本发明作进一步说明。
说明书附图
图1为CNN特征提取的流程图；
图2为本发明的方法流程图；
图3为本发明实施例中以矢量场全局特征为例的熵值计算过程图；
图4为本发明实施例中以时间域上事件的概率分布的熵值计算过程图。
具体实施方式
参看图2，本发明基于深度学习和熵模型的交通事件检测方法的方法步骤为：
1）训练用于交通事件分类的卷积神经网络模型：
卷积神经网络模型具体为多类分类器，以及是通过多个交通事件样本预先训练得到的。收集不同类型的交通事件图像或视频段素材，根据不同事件进行分类编号。再将样本传入卷积神经网络模型，卷积神经网络中的样本集是由形如：（输入向量，理想输出向量）的向量对构成，经过向前传播和向后传播两个阶段完成对网络参数的训练。
训练算法主要包括四步，这四步被分为两个阶段：
第一阶段，向前传播阶段：
a）从样本集中取一个样本(X,Yp)，将X输入网络；
b）计算相应的实际输出Op。
在此阶段，信息从输入层经过逐级的变换，传送到输出层；这个过程也是网络在完成训练后正常运行时执行的过程；在此过程中，网络执行的是计算，即是输入与每层的权值矩阵相点乘，得到最后的输出结果：
Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））
第二阶段，向后传播阶段：
a) 计算实际输出Op与相应的理想输出Yp的差；
b) 按极小化误差的方法反向传播调整权矩阵。
2）根据所述的卷积神经网络模型对输入的视频流图像或视频子段进行事件类别分类：
输入视频流图像或子段到卷积神经网络模型中，提取每帧图像或子段的卷积神经网络特征并按照事件类别分类，得到每帧图像或子段的分类结果。
3)根据所述事件分类结果，计算一段事件内的熵值：
熵值的计算包括时间和空间两个方面；空间上，在单帧图像上获取相应的全局及局部特征，将提取出来的特征按照某种分类方式进行分类。全局特征为速度场或者矢量场，局部特征为某个对象的速度。根据分类情况得到所有聚类的概率分布，并由熵值计算公式获得当前帧或视频子段空间上的熵值。
时间上，结合每一帧或每一段视频的卷积神经网络特征分类，分析一段时间内的所有帧图像或视频子段的事件分类结果，根据结果分布获得每种交通事件的概率分布，并由此计算一段时间内时间上的熵值。
4）根据所述熵值，判断是否发生交通事件：
根据时间、空间上的熵值和一段时间上的事件类型分布来分析交通事件，具体步骤为：
设(i=1,…n)为多帧图像或子段的空间熵值序列，为时间域事件概率分布的熵值。
（1）空间域熵值大小分析：以(i=1,…n)的均值来分析其稳定程度：
（2）空间域熵值稳定趋势分析，熵值越大，发生事件的可能性越大，以(i=1,…n)的方差来分析其稳定程度：
（3）时间域熵值分析：事件分布越集中，熵值越小，事件的可能性越大：
（4）根据、Var、及事件类型构造事件发生的可信度参数，并判断事件发生。可定义有关、Var的正比、反比系数：
根据不同事件概率与熵值大小、稳定性的正反比关系，计算可信度参数。
实施例一：
大规模的交通拥堵事件，空间上的全局特征提取的是速度场，那么速度场分布比较集中。空间熵值较小且连续多帧熵值平稳，因此均值、方差Var都较小。交通拥堵事件的概率与熵值大小、稳定性成反比，因此选取均值、方差Var的反比系数。时间上，一段时间内，大部分视频帧或子段被CNN网络识别成拥堵事件类型；时间上，事件类型的分布集中在拥堵类别上，时间域熵值较小，事件可能性较大。构造可信度参数：
实施例二：
局部撞车事件，选取一段视频子段当中某一特定对象上的特征点连续多帧速度做为时间域局部特征，那么连续多帧的速度会出现大小和方向上的散乱分布。局部时间熵值较大，且不稳定，因此均值、方差Var都较大。局部撞车事件的概率与熵值大小、稳定性成正比，因此选取均值、方差Var的正比系数。时间上，大部分视频帧或子段被CNN网络识别成撞车事件类型，时间上事件类型的分布集中在撞车事件类别上，时间域熵值较小，事件可能性较大。构造可信度参数：
结合空间、时间上的熵值的联合判断，以及深度学习的分类结果来构造可信度参数，可信度参数较大时，交通事件的可能性很大，并且联合判断的机制能有效降低交通事件的误报率。
本发明方法的优势在于：
1、不需要对各种车辆和人员进行视频识别的情况下，能够迅速判断交通事件。
本发明技术方案通过卷积神经网络算法深度学习静态信息、动态信息、全局特征、局部特征，来判断交通事件的发生，克服了因视频图像质量差、大面积车辆粘连等不利因素造成的影响。
本发明通过等特征点，获得点的速度，进而计算熵值，并根据熵值的突变进行交通事件的检测和报警。
交通事件是异常事件，具有的特征是明显区别于正常交通车流的。熵值的突变，意味着交通状态发生了突变，从而意味着发生了一次新的交通事件。
2、降低系统的复杂度，快速识别与报警。
本发明方法不需要选择海量的视频特征，不需要实现精确的目标分类和识别，不需要采集海量的轨迹样本，不需要构建复杂的视频事件库，不需要对交通事件的上下文信息进行智能辨识，不需要构建丰富的语义库，从而降低了系统的复杂度，并进而降低了应用成本。
3、在夜间场景、雨雪等天气下，也可以较好应用。
由于本发明采用的Harris特征角点，具备旋转不变性, 因此角点几乎不受光照条件的影响，在夜间场景、雨雪等天气下，也可以较好应用。
以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡属于按照本技术方案进行显而易见的修改或者替换，并不使相应技术方案的本质脱离本发明技术方案，均属于本发明的保护范围。如以下替代方案：
1、本发明结合深度学习的CNN模型的技术方案可替换为结合其他深度学习模型或者机器学习的方案。
2、本发明利用时间、空间熵值的信息分析交通事件的方法可替换为只依赖时间域或者空间域的熵值信息。
3、本发明利用局部、全局特征计算熵值的方案可替换为只利用局部或者全局特征计算熵值。
本发明利用熵值信息构建可信度参数的方法可替换为构建其他数学模型描述交通事件发生的可能性的方法。

Claims (4)

1.一种基于深度学习和熵模型的交通事件检测方法，其方法步骤为：
1）训练用于交通事件分类的卷积神经网络模型：
收集不同类型的交通事件图像或视频段素材，根据不同事件进行分类编号；再将样本传入卷积神经网络模型，卷积神经网络中的样本集是由形如：（输入向量，理想输出向量）的向量对构成，经过向前传播和向后传播两个阶段完成对网络参数的训练；
训练算法主要包括四步，这四步被分为两个阶段：
第一阶段，向前传播阶段：
a）从样本集中取一个样本(X,Yp)，将X输入网络；
b）计算相应的实际输出Op；
在此阶段，信息从输入层经过逐级的变换，传送到输出层；这个过程也是网络在完成训练后正常运行时执行的过程；在此过程中，网络执行的是计算，即是输入与每层的权值矩阵相点乘，得到最后的输出结果：
Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））
第二阶段，向后传播阶段：
计算实际输出Op与相应的理想输出Yp的差；
按极小化误差的方法反向传播调整权矩阵；
2）根据所述的卷积神经网络模型对输入的视频流图像或视频子段进行事件类别分类：
输入视频流图像或子段到卷积神经网络模型中，提取每帧图像或子段的卷积神经网络特征并按照事件类别分类，得到每帧图像或子段的分类结果；
3)根据所述事件分类结果，计算一段事件内的熵值：
熵值的计算包括时间和空间两个方面；空间上，在单帧图像上获取相应的全局及局部特征，将提取出来的特征按照某种分类方式进行分类，根据分类情况得到所有聚类的概率分布，并由熵值计算公式获得当前帧或视频子段空间上的熵值；
时间上，结合每一帧或每一段视频的卷积神经网络特征分类，分析一段时间内的所有帧图像或视频子段的事件分类结果，根据结果分布获得每种交通事件的概率分布，并由此计算一段时间内时间上的熵值；
4）根据所述熵值，判断是否发生交通事件：
根据时间、空间上的熵值和一段时间上的事件类型分布来分析交通事件，具体步骤为：
设(i=1,…n)为多帧图像或子段的空间熵值序列，为时间域事件概率分布的熵值；
（1）空间域熵值大小分析：以(i=1,…n)的均值来分析其稳定程度：
（2）空间域熵值稳定趋势分析：以(i=1,…n)的方差来分析其稳定程度：
（3）时间域熵值分析：
（4）根据、Var、及事件类型构造事件发生的可信度参数，并判断事件发生；可定义有关、Var的正比、反比系数：
根据不同事件概率与熵值大小、稳定性的正反比关系，计算可信度参数。
2.如权利要求1所述基于深度学习和熵模型的交通事件检测方法，其特征在于，所述卷积神经网络模型具体为多类分类器，以及是通过多个交通事件样本预先训练得到的。
3.如权利要求2所述基于深度学习和熵模型的交通事件检测方法，其特征在于，所述时间域上熵值判断方法为事件分布越集中，熵值越小，事件的可能性越大。
4.如权利要求3所述基于深度学习和熵模型的交通事件检测方法，其特征在于，所述空间域上熵值判断方法为熵值越大，发生事件的可能性越大。
CN201710045525.0A 2017-01-22 2017-01-22 一种基于深度学习和熵模型的交通事件检测方法 Active CN108345894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710045525.0A CN108345894B (zh) 2017-01-22 2017-01-22 一种基于深度学习和熵模型的交通事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710045525.0A CN108345894B (zh) 2017-01-22 2017-01-22 一种基于深度学习和熵模型的交通事件检测方法

Publications (2)

Publication Number Publication Date
CN108345894A CN108345894A (zh) 2018-07-31
CN108345894B true CN108345894B (zh) 2019-10-11

Family

ID=62974713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710045525.0A Active CN108345894B (zh) 2017-01-22 2017-01-22 一种基于深度学习和熵模型的交通事件检测方法

Country Status (1)

Country Link
CN (1) CN108345894B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291771B (zh) * 2018-12-06 2024-04-02 西安宇视信息科技有限公司 对池化层特征优化的方法及装置
CN109784254B (zh) * 2019-01-07 2021-06-25 中兴飞流信息科技有限公司 一种车辆违规事件检测的方法、装置和电子设备
CN109887281B (zh) * 2019-03-01 2021-03-26 北京云星宇交通科技股份有限公司 一种监控交通事件的方法及系统
US11949711B2 (en) * 2019-07-08 2024-04-02 Caci International, Inc. Systems and methods for securing information
US20210383534A1 (en) * 2020-06-03 2021-12-09 GE Precision Healthcare LLC System and methods for image segmentation and classification using reduced depth convolutional neural networks
CN112907503B (zh) * 2020-07-24 2024-02-13 嘉兴学院 基于自适应卷积神经网络的南美白对虾品质检测方法
CN112651379B (zh) * 2021-01-12 2022-07-08 杭州像素元科技有限公司 一种基于深度学习的单车道拥堵检测方法
CN113158835A (zh) * 2021-03-31 2021-07-23 华南理工大学 一种基于深度学习的交通事故智能检测方法
CN112906664B (zh) * 2021-04-06 2023-02-24 昭通亮风台信息科技有限公司 一种基于神经网络的隧道内异常事件检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077423B (zh) * 2011-10-25 2015-09-30 中国科学院深圳先进技术研究院 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法
CN104268528B (zh) * 2014-09-28 2017-10-17 中智科创机器人有限公司 一种人群聚集区域检测方法和装置
CN105809954B (zh) * 2014-12-30 2018-03-16 清华大学 交通事件检测方法以及系统

Also Published As

Publication number Publication date
CN108345894A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN108345894B (zh) 一种基于深度学习和熵模型的交通事件检测方法
CN108875674B (zh) 一种基于多列融合卷积神经网络的驾驶员行为识别方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
Wu et al. Recent advances in video-based human action recognition using deep learning: A review
CN108229338B (zh) 一种基于深度卷积特征的视频行为识别方法
CN110110707A (zh) 人工智能cnn、lstm神经网络动态识别系统
CN104281853B (zh) 一种基于3d卷积神经网络的行为识别方法
Chen et al. Research on recognition of fly species based on improved RetinaNet and CBAM
CN109815867A (zh) 一种人群密度估计和人流量统计方法
CN110717389B (zh) 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
Li et al. Sign language recognition based on computer vision
CN106529578A (zh) 一种基于深度学习的车辆品牌型号精细识别方法与系统
CN110135513A (zh) 一种基于深度学习的焊接机器人的焊缝识别方法
CN104517103A (zh) 一种基于深度神经网络的交通标志分类方法
Wang et al. A cognitive memory-augmented network for visual anomaly detection
Balasubramanian et al. Analysis of facial emotion recognition
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN111723667A (zh) 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置
Zhao et al. Cbph-net: A small object detector for behavior recognition in classroom scenarios
CN110674774A (zh) 一种改进的深度学习人脸面部表情识别方法及系统
Wang et al. Vehicle type classification via adaptive feature clustering for traffic surveillance video
CN113688761A (zh) 一种基于图像序列的行人行为类别检测方法
Chen Research on convolutional neural network image recognition algorithm based on computer big data
Wang et al. Deep neural networks in video human action recognition: A review
Mobahi et al. An improved deep learning solution for object detection in self-driving cars

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100083 29 Floor, Block A, Tongfang Science and Technology Plaza, Wangzhuang Road, Haidian District, Beijing

Applicant after: Beijing Tongfang Software Co., Ltd.

Address before: 100083 29 Floor, Block A, Tongfang Science and Technology Plaza, Wangzhuang Road, Haidian District, Beijing

Applicant before: Beijing Tongfang software Limited by Share Ltd

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant