CN101794383B - 基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法 - Google Patents
基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法 Download PDFInfo
- Publication number
- CN101794383B CN101794383B CN201010122692A CN201010122692A CN101794383B CN 101794383 B CN101794383 B CN 101794383B CN 201010122692 A CN201010122692 A CN 201010122692A CN 201010122692 A CN201010122692 A CN 201010122692A CN 101794383 B CN101794383 B CN 101794383B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- state
- hmm
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000000513 principal component analysis Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000002715 modification method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241000282341 Mustela putorius furo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
基于隐马尔科夫模型(HMM)的拥塞交通场景的视频车辆检测方法，属于基于视频的智能交通车辆检测领域。本发明利用基于虚拟线圈的方法和HMM，利用车流固有的特征来解决拥塞场景下的视频车辆检索问题。将区域内图像划分为车头、车身和路面三种状态；利用Haar小波变换和主成份分析(PCA)和多元判决分析(MDA)等进行特征提取；对模型进行训练；对状态序列进行修正，从而改善方法的检测效率；对得到的状态序列进行分析，通过寻找序列中的“车头-车身”段来达到车辆检测的目标。本发明利用HMM来描述车流的特征，解决了拥塞条件下车辆视频检测问题；整个方法实现容易，结构简单，很适合于实时应用。
Description
技术领域
基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法涉及通过在交通场景视频中设置合适的虚拟线圈，然后利用方法分析虚拟线圈内图像的变化来达到车辆检测的目的，属于基于视频的智能交通车辆检测领域。
背景技术
视频车辆检测技术可以分为两类：基于区域检测的方法和基于跟踪的方法。虚拟线圈的方法是一种典型的基于区域检测的方法，这类方法通过检测视频的特定区域的图像变化来实现车辆检测，由于在选择检测区域的时候就加上了人的先验知识，且实际处理的区域相对于整个视频区域要小得多，方法的效率很高，适于实时应用，但这类方法的稳定性较弱，很容易受极端条件的影响(如交通拥塞，车辆变道等)；基于跟踪的方法需要在整个视频区域内搜索目标，并对目标进行跟踪，因此可适应各种极端条件下的车辆检测，但是相对于基于区域检测的方法，这类方法的复杂度要大得多，不适于实时应用。
以下的文章和专利文献，基本覆盖了该领域主要的背景技术。为了交待出技术的发展过程，让它们时间顺序排列，并逐个介绍文献的主要贡献以及缺点。
P.G.Michalopoulos，“Vehicle Detection Video through Image Processing：TheAutoscope System”，IEEE Trans.vehicular technology，vol.40，no.1，pp.21-29，February 1991.该文献最早介绍了一个完整的基于视频的车辆检测系统，并比较了不同检测技术的优缺点。
A.Chatziioanou，S.L.M.Hockaday，S.Kaighn，L.Ponce，“Video Image ProcessingSystems：Applications in Transportation”，IEEE Proc.Vehicle Nayigation andInformation Systems，pp.17-20，Augest1995.该文献系统的介绍了视频处理技术在交通系统中的应用。
Zengjia Yan，“Video-based Traffic Flow Detection：A Review and Introduction ofVTD System”，PRIP’2007.该文献介绍了一个典型的基于虚拟线圈的视频车辆检测系统，该系统在大多数场景下工作良好，但在拥塞交通场景下系统的检测性能下降明显。
Yang Zuguang，“Tracking Ground Vehicles in Heavy-traffic Video by GroupingTracks of Vehicle Corners”，Intelligent Transportation Systems Conference，2007.ITSC 2007.IEEE，Sept.30 2007-Oct.3 2007 Page(s)：396-399.该文献介绍了一种基于角点跟踪的视频车辆检测方法，该方法能在一定程度上解决拥塞场景下的车辆检测问题，但是基方法复杂度比较高，影响了其在实际系统中的应用。
发明内容
本发明针对当前的大多数视频车辆检测技术面临的计算复杂度较高以及在拥塞交通场景下检测率低的问题，提出了一种基于HMM的拥塞条件下的视频车辆检测方法，该方法一方面利用了基于虚拟线圈的方法的计算复杂度低的优点，另一方面利用HMM对车流进行建模从而改进了拥塞交通场景下车辆的检测率。
基于隐马尔科夫模型(HMM)的拥塞交通场景的视频车辆检测方法，其用HMM来对车流进行描述，利用车流固有的特征来解决拥塞场景下的视频车辆检索问题，该方法实现步骤如下：
步骤一：特征提取；
采用“三状态”的划分，将区域内图像划分为三种状态：车头、车身和路面；
利用Haar小波变换来突出显示图像中的利于车辆检测的特征，对变换后的图像进行了向量化，每幅图像将变为一个向量；
使用主成份分析(PCA)和多元判决分析(MDA)选择一个低维的特征空间，将图像向量在该特征空间中的投影作为图像的特征：首先使用PCA提取训练图像向量集的主成份，称这个主成分空间为PCA子空间，该空间的维数一般取15到20之间；然后对训练的图像进行分类，分为车头、车身及路面三类，对每类图像对应的向量集，首先求其在之前得到的PCA子空间中的投影，然后利用MDA求得PCA子空间中最有利于分开三类数据的方向，称该子空间(方向)为MDA子空间；对于三个类别来说，MDA子空间为2维的；两次投影操作将图像由高维的向量映射为二维的向量，两次投影的投影矩阵可以合并为一个矩阵，接下来用该矩阵与图像向量直接相乘得到图像的特征；
步骤二：模型训练；
采用HMM对状态序列进行建模，使用EM方法对HMM进行训练：
初始化状态先验分布、状态转移概率及观测分布：在初始化状态转移矩的时候，除了图3中用箭头标出的状态转移关系外，其余状态转移概率设为0；状态先验分布及观测分布利用人工分类过的训练数据(三个类别的图像示例如图2所示)直接进行初始化；
步骤三：车辆检测；
由步骤二得到的特征空间计算观测图像序列的特征向量，然后根据训练得到的HMM通过Viterbi方法计算得到观测图像序列对应的状态序列，最后对得到的状态序列进行分析，通过寻找序列中的“车头-车身”段来达到车辆检测的目标；在对状态序列进行分析前，也可以首先对状态序列进行修正，从而改善方法的检测效率。
本发明利用HMM来描述车流的特征，很好地解决了拥塞条件下车辆视频检测的难题；由于方法以HMM为核心，而HMM具有很多现成的实现，因此整个方法的实现很容易；还有就是方法的结构简单，除了训练模型的时候需要相对多的计算资源外，大部份时间该方法的执行效率都很高，很适合于实时应用。
附图说明
图1本发明总体流程图。
图2为输入图像示例。
图3为EM方法中采样的HMM的结构示意图。
图4为“训练方法”的流程图。
图5为“检测方法”的流程图。
图6为虚拟线圈的设置示意图。
图7为训练图像集在特征空间内的投影。
图8为测试图像集在特征空间内的投影。
图9为未经过校正的状态序列示意图(截取了其中帧长为2000的一段)。
图10为经过校正的状态序列示意图(截取了其中帧长为2000的一段)。
具体实施方式
本发明是一种基于虚拟线圈的方法，将虚拟线圈中的图像分为“车头”，“车身”及“路面”三种状态(类别)，并用HMM对状态序列进行建模，HMM良好的数学性质使得我们可以方便的得到状态序列，通过分析状态序列便可以实现车辆检测，而三状态的划分使得方法可以处理拥塞交通场景下的车辆检测。图1本发明总体流程图，方法在横向上分为三部份，依次包括特征空间的训练、HMM模型的训练以及车辆的检测。其中特征空间的训练依次包括Haar小波变换、PCA空间的训练、MDA空间的训练三个步骤；HMM的训练依次包括Haar小波变换、特征提取、EM方法三个步骤；车辆检测部份依赖于前两部份训练的结果，依次包括Haar小波变换、特征提取、状态提取、状态修正，车辆检测五个步骤。方法的实现步骤如下：
步骤一：(特征提取)传统的检测方法将检测区域分为两种状态：有车和无车，在拥塞场景上很容易出现前后车粘连，从而导致无法正确的检测车辆。于是方法采用“三状态”的划分，图2为输入图像示例，其中图a为路面示例，可以看到路面的纹理比较简单，但会受车辆阴影的影响；图b为车头示例，相对其它两类来说，车头的纹理要复杂得多；图c为车身示例，其纹理的复杂度间于车头和路面之间，且和车头一样具有一定的对称性。如图2所示，将区域内图像划分为三种状态：车头、车身和路面，这样的划分能够很好的处理拥塞场景下的车辆粘连问题。
原始图像特征维数过高，且包含大量冗余信息，方法首先利用Haar小波变换来突出显示图像中的利于车辆检测的特征，为了便于处理，还对变换后的图像进行了向量化，这样每幅图像将变为一个向量。
接下来方法使用PCA+MDA来选择一个低维的特征空间，并将图像向量在该特征空间中的投影作为图像的特征。首先使用PCA提取训练图像向量集的主成份，我们称这个主成分空间为PCA子空间，该空间的维数一般取15到20之间。然后对训练的图像进行手工的分类，分为车头、车身及路面三类，对每类图像对应的向量集，首先求其在之前得到的PCA子空间中的投影，然后利用MDA求得PCA子空间中最有利于分开三类数据的方向，我们称该子空间(方向)为MDA子空间。对于三个类别来说，MDA子空间为2维的。两次投影操作将图像由高维的向量映射为二维的向量，两次投影的投影矩阵可以合并为一个矩阵，接下来便可以用该矩阵与图像向量直接相乘来得到图像的特征了。
步骤二：(模型训练)方法采用HMM来对状态序列进行建模，接下来需要对HMM进行训练，HMM的训练可采用EM方法，方法中采样的HMM的结构如图3所示。图3为EM方法中采样的HMM的结构示意图，其中H表示车头的状态，B表示车身状态，R表示路面状态，箭头表示不同状态间的转移关系。不难看出，由于车流特殊的结构关系，R状态只会跳转到R状态及H状态，H状态只会跳转到H状态及B状态，而B状态可以跳转到任何状态，特别是B状态跳转到H状态对应了路面拥塞的条件下的情况。使用EM方法时需要初始化状态先验分布、状态转移概率及观测分布。在初始化状态转移矩的时候，除了图3所示的状态转移外，其余状态转移概率将设为0，这是因为车辆的状态转移关系是有一定规律的，例如车头的下一状态一定是车头或车身，而车身的下一状态可以是车身或路面(非粘连时)或者是车头(粘连时)，且EM方法保证了状态转移矩阵中为0的项训练后仍为零，从而保证了逻辑的一致性。状态先验分布及观测分布可以利用人工分类过的训练数据直接进行初始化。
图4为“训练方法”的流程图，其过程包括：(1)利用Haar小波变换对训练图像集进行变换，并对图像进行向量化；(2)利用PCA计算整个训练集向量的主成分；(3)将训练图像人工划分为三类(车头，车身，路面)，并对每一类用PCA计算主成分；(4)利用MDA计算特征子空间；(5)通过计算出的特征空间计算训练图像特征；(6)用特征序列通过EM方法对HMM进行训练；
步骤三：(车辆检测)首先由前面得到的特征空间计算观测图像序列的特征向量，然后根据训练得到的HMM通过Viterbi方法计算得到观测图像序列对应的状态序列，最后对得到的状态序列进行分析，通过寻找序列中的“车头-车身”段来达到车辆检测的目标。在对状态序列进行分析前，也可以首先对状态序列进行修正，从而改善方法的检测效率。
图5为“检测方法”的流程图，其过程包括：(1)对测试图像集进行变换及向量化；(2)通过计算出的特征空间计算测试图像特征；(3)用Viterbi方法对特征序列进行解码，得到状态序列；(4)对状态序列进行较正；(5)对状态序列进行分析，并实现车辆检测。
图6为一个实例虚拟线圈的设置示意图。在一段时长1小时的拥塞场景视频上测试，视频帧率为30fps，检测区域的大小为110×20。实际线圈在设置的时候以正好能将车头框住为准，稍微的大一点或小一点对方法效果影响不大。
图7为该实例训练图像集在特征空间内的投影，其中车头用“+”号表示，车身用“*”号表示，路面用“.”号表示。
图8为测试图像集在特征空间内的投影，其中车头用“+”号表示，车身用“*”号表示，路面用“.”号表示。
图9为未经过校正的状态序列示意图(截取了其中帧长为2000的一段)，上面的线描述了viterbi解码得到的状态序列，下面的线描述了人工标注的状态序列，可以看到方法对车辆的检测结果与人工标记的结果相当的接近，而且即使在车辆拥塞的条件下(前车的车身和后车的车头相连)，方法也可以很好的完成车辆的检测工作。最后统计得到的车辆检测率为99.5％。
图10为经过校正的状态序列示意图(截取了其中帧长为2000的一段)，上面的线描述了对viterbi解码得到的状态序列进行修正后的状态序列，下面的线描述了人工标注的状态序列。修正的依据是车辆本身的速度和加速有限，因此车身的状态持续的时间不会很长，当viterbi解码后得到的车身序列过短时，将前车与后车进行合并。实际中，随着应用场景的不同，可采用的修正方法也有不同。
Claims (3)
1.基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法，其特征在于，该方法实现步骤如下：
步骤一：特征提取；
将区域内图像划分为三种状态：车头、车身和路面；
利用Haar小波变换来突出显示图像中车辆检测的特征，对变换后的图像进行向量化，每幅图像变为一个向量；
使用主成份分析(PCA)和多元判决分析(MDA)选择特征空间，将图像向量在该特征空间中的投影作为图像的特征：
首先使用PCA提取训练图像向量集的主成份，称这个主成份空间为PCA子空间，该空间的维数取15到20之间；然后对训练的图像进行分类：车头、车身、路面三类，对每类图像对应的向量集，求其在之前得到的PCA子空间中的投影，利用MDA求得PCA子空间中最有利于分开三类数据的方向，称该子空间为MDA子空间；对于三个类别来说，MDA子空间为2维的；两次投影操作将图像由高维的向量映射为二维的向量，两次投影的投影矩阵合并为一个矩阵，接下来用该矩阵与图像向量直接相乘得到图像的特征；
步骤二：模型训练；
采用HMM对状态序列进行建模，使用EM方法对HMM进行训练：
初始化状态先验分布、状态转移概率及观测分布：在初始化状态转移矩阵的时候，除了路面状态跳转到路面状态及车头状态，车头状态跳转到车头状态及车身状态，车身状态跳转到车身状态、车头状态及路面状态外，其余状态转移概率设为0；状态先验分布及观测分布利用人工分类过的训练数据直接进行初始化；
步骤三：车辆检测；
由步骤一得到的特征空间计算观测图像序列的特征向量，然后根据训练得到的HMM通过Viterbi方法计算得到观测图像序列对应的状态序列，最后对得到的状态序列进行分析，通过寻找序列中的“车头-车身”段来达到车辆检测的目标。
2.根据权利要求1所述的基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法，其特征在于，在步骤三中对状态序列进行分析前，对状态序列进行修正。
3.根据权利要求2所述的基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法，其特征在于，所述对状态序列进行修正方法为：当viterbi解码后得到的车身序列过短时，将前车与后车进行合并。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010122692A CN101794383B (zh) | 2010-03-12 | 2010-03-12 | 基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010122692A CN101794383B (zh) | 2010-03-12 | 2010-03-12 | 基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101794383A CN101794383A (zh) | 2010-08-04 |
| CN101794383B true CN101794383B (zh) | 2012-10-10 |
Family
ID=42587065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010122692A Expired - Fee Related CN101794383B (zh) | 2010-03-12 | 2010-03-12 | 基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101794383B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102568200B (zh) * | 2011-12-21 | 2015-04-22 | 辽宁师范大学 | 车辆行驶状态实时判别的方法 |
| CN102737510B (zh) * | 2012-07-03 | 2014-05-21 | 浙江大学 | 一种基于移动智能终端的实时交通路况采集方法 |
| CN103870837B (zh) * | 2014-02-25 | 2017-08-04 | 奇瑞汽车股份有限公司 | 一种检测待检测区域内是否存在车辆的方法和装置 |
| CN104091444B (zh) * | 2014-07-03 | 2016-03-30 | 四川省交通科学研究所 | 一种基于周期分量提取技术的短时交通流量预测方法 |
| CN104408924B (zh) * | 2014-12-04 | 2016-06-01 | 深圳北航新兴产业技术研究院 | 一种基于耦合隐马尔可夫模型的城市道路异常交通流检测方法 |
| CN110046719A (zh) * | 2019-03-20 | 2019-07-23 | 北京物资学院 | 一种自行车状态诊断方法与装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09237357A (ja) * | 1996-02-29 | 1997-09-09 | Shinko Seisakusho Co Ltd | 通行車両監視システム |
| US7113079B2 (en) * | 2003-10-28 | 2006-09-26 | Oakland University | System and method for detecting a collision using a continuous mode hidden Markov model |
| CN101334845B (zh) * | 2007-06-27 | 2010-12-22 | 中国科学院自动化研究所 | 一种基于轨迹序列分析和规则归纳的视频行为识别方法 |
-
2010
- 2010-03-12 CN CN201010122692A patent/CN101794383B/zh not_active Expired - Fee Related
Non-Patent Citations (3)
| Title |
|---|
| Weiming Hu et al..A Survey on Visual Surveillance of Object Motion and Behaviors.《IEEE TRANSACTIONS ON SYSTEMS,MAN,AND CYBERNETICS-PART C:APPLICATIONS AND REVIEWS》.2004,第34卷(第3期),334-352. * |
| 何毅 等.基于隐马尔科夫度量场模型的车辆检测和跟踪.《上海交通大学学报》.2008,第42卷(第2期),270-273. * |
| 张晖 等.基于视频的车辆检测算法综述.《南京邮电大学学报（自然科学版）》.2007,第27卷(第3期),88-94. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101794383A (zh) | 2010-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Luo et al. | Fast and furious: Real time end-to-end 3d detection, tracking and motion forecasting with a single convolutional net | |
| Zhang et al. | A traffic surveillance system for obtaining comprehensive information of the passing vehicles based on instance segmentation | |
| US12002225B2 (en) | System and method for transforming video data into directional object count | |
| CN101794383B (zh) | 基于隐马尔科夫模型的拥塞交通场景的视频车辆检测方法 | |
| CN102156702B (zh) | 一种由粗到精的视频事件的快速定位方法 | |
| CN110555387B (zh) | 骨架序列中基于局部关节点轨迹时空卷的行为识别方法 | |
| CN101901354B (zh) | 基于特征点分类的监控录像中实时多目标检测与跟踪方法 | |
| Zhang et al. | A longitudinal scanline based vehicle trajectory reconstruction method for high-angle traffic video | |
| Turay et al. | Toward performing image classification and object detection with convolutional neural networks in autonomous driving systems: A survey | |
| CN111104903A (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN101996410A (zh) | 动态背景下的运动目标检测方法及系统 | |
| Xiang et al. | Lightweight fully convolutional network for license plate detection | |
| Fazlali et al. | A versatile multi-view framework for lidar-based 3d object detection with guidance from panoptic segmentation | |
| Yang et al. | A fast and effective video vehicle detection method leveraging feature fusion and proposal temporal link | |
| CN107609509A (zh) | 一种基于运动显著性区域检测的动作识别方法 | |
| Gad et al. | Real-time lane instance segmentation using SegNet and image processing | |
| Xiaomeng et al. | Vehicle detection in traffic monitoring scenes based on improved YOLOV5s | |
| CN113657414B (zh) | 一种物体识别方法 | |
| Park et al. | Keyword-based vehicle retrieval | |
| Liu et al. | Deformable model-based vehicle tracking and recognition using 3-D constrained multiple-Kernels and Kalman filter | |
| Feng et al. | A multibranch object detection method for traffic scenes | |
| Zhao et al. | Drmnet: A multi-task detection model based on image processing for autonomous driving scenarios | |
| Zheng et al. | Deep inference networks for reliable vehicle lateral position estimation in congested urban environments | |
| Guo et al. | An Effective Module CA-HDC for Lane Detection in Complicated Environment | |
| Song et al. | Method of Vehicle Behavior Analysis for Real-Time Video Streaming Based on Mobilenet-YOLOV4 and ERFNET |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121010 Termination date: 20180312 |