CN107742425B - 基于道路监控视频的异常路况快速发现方法 - Google Patents

基于道路监控视频的异常路况快速发现方法 Download PDF

Info

Publication number
CN107742425B
CN107742425B CN201710903579.6A CN201710903579A CN107742425B CN 107742425 B CN107742425 B CN 107742425B CN 201710903579 A CN201710903579 A CN 201710903579A CN 107742425 B CN107742425 B CN 107742425B
Authority
CN
China
Prior art keywords
difference
road condition
pictures
normal road
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710903579.6A
Other languages
English (en)
Other versions
CN107742425A (zh
Inventor
杨卓敏
蔡岗
张森
李小武
邱洪
贾兴无
尤冬海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Traffic Management Research Institute of Ministry of Public Security
Original Assignee
Traffic Management Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Traffic Management Research Institute of Ministry of Public Security filed Critical Traffic Management Research Institute of Ministry of Public Security
Priority to CN201710903579.6A priority Critical patent/CN107742425B/zh
Publication of CN107742425A publication Critical patent/CN107742425A/zh
Application granted granted Critical
Publication of CN107742425B publication Critical patent/CN107742425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于道路监控视频的异常路况快速发现方法，对于监控视频，该方法包括两个指标：正常路况差异范围指标和正常路况运动区域差异频率指标；当根据监控的实时路况计算的差异度矩阵位于正常路况差异范围之外即认为路况异常；当根据监控的实时路况计算的运动区域差异频率超出正常路况运动区域差异频率范围，即认为路况异常。本发明能够快速实时地从监控视频中发现异常路况，计算量小，适合前端嵌入设备与大规模并行计算。

Description

基于道路监控视频的异常路况快速发现方法
技术领域
本发明涉及一种异常路况的快速发现方法，针对道路监控视频，属于视频监控技术领域。
背景技术
近年来，各地公安交管部门、交通部门等公共部门在高速、国省道、城市道路、乡村道路安装部署了大量的视频监控设备，作为道路管控、交通管理的必要设施。其中一项重要应用就是通过视频巡逻确定道路交通状况(简称路况)。实时路况特别是异常路况，是科学组织指挥交通的重要参考信息，也是引导交通参与人交通行为的重要信息。
目前通过道路监控视频提取实时路况的方法，一是定时截取视频关键帧(或拍照)，另一个是通过视频检测交通参数(包括交通流量、车速、排队长度等等)。
前者能提取的只是普通路况，还是需要视频巡逻人员人工排查，需要大量的人力、精力与劳动强度，难以达到通过科技信息化提高交通管理效率的目标。
后者通过交通参数检测能够较准确识别异常路况，快速发现需要的计算量非常大，只有部署大量高性能的服务器才能实现，代价过于高昂很难全面推广。
交通管理与交通引导迫切客观上需要一种高性能、低计算、成本低廉的图像异常路况发现方法。
发明内容
本发明的目的是在于克服现有技术中存在的不足，提供一种基于道路监控视频的异常路况快速发现方法，仅通过图像变化的范围与频率特性来发现异常路况的方法，由于没有识别过程，大幅度降低了计算复杂度和计算量，以适应低算力的前端嵌入式设备或后端海量道路监控视频并行计算的异常路况快速发现。本发明采用的技术方案是：
一种基于道路监控视频的异常路况快速发现方法，对于监控视频，该方法包括两个指标：正常路况差异范围指标和正常路况运动区域差异频率指标；
当根据监控的实时路况计算的差异度矩阵位于正常路况差异范围之外即认为路况异常；
当根据监控的实时路况计算的运动区域差异频率超出正常路况运动区域差异频率范围，即认为路况异常。
进一步地，所述两个指标通过以下方法获得并进行判断；
1、图片差异度计算方法
(1)将监控视频中截取的先后两张图片栅格化，切割为多个的位图；
(2)通过图像差分，判断先后两张图片每对对应位图之间是否存在差异，公式如下：
Figure BDA0001423553550000011
D(x,y)为两个位图之间的差分图像，I(t)和I(t-1)分别为t和t-1时刻的图片，T为差分图像二值化时选取的阈值，D(x,y)＝1表示差异，D(x,y)＝0表示无差异；
(3)整个两张图片各个位置位图差异值的矩阵如下即为整体的差异度矩阵Ei：
Figure BDA0001423553550000021
2、正常路况差异度矩阵获取方法
(1)按照条件分组；
(2)每条件分组获取若干段正常路况监控视频；
(3)截取每段道路监控视频中间隔5～25帧的两张实时路况图片；
(4)以上述计算图片差异度计算方法计算两张图片的差异度，获取差异度矩阵；
(5)每条件分组获取的多段监控视频以同样的方法获取一系列差异度矩阵；该系列差异度矩阵即为正常路况下的差异度矩阵；
3、正常路况差异度指标获取方法
正常路况差异度指标包括正常路况差异范围与正常路况运动区域差异频率两项指标；
(1)正常路况差异范围指标
通过同一监控同一条件下的多路视频获取的一系列差异度矩阵，经过计算可以计算出这个范围：
Figure BDA0001423553550000022
Figure BDA0001423553550000023
其中n为提供的同一条件下视频数量，E为各位图差异度矩阵的总和,T′为阈值，当T′取一个设定的较低阈值时，R为正常路况差异范围；
用上述相同方法，当根据监控的实时路况计算的差异度矩阵如果落在正常路况差异范围R之外，即认为该路况有异常；
当T′调整为一个设定的较高阈值时，可以得到正常路况下视频内变化频繁区域，即运动区域；所述较高阈值大于所述较低阈值；
(2)正常路况运动区域差异频率
对监控视频以固定时间间隔连续截取图片，计算得到一系列差异度，其中每个位图的差异度值为1的比率，就构成了差异频率F：
Figure BDA0001423553550000024
其中n为提供的同一视频以固定时间间隔连续截取图片数，n-1为图片间计算得到的差异矩阵数，Et为差异度矩阵,t表示截取图片时刻，F为差异频率；
结合运动区域，可以计算出正常路况下的运动区域差异频率，同一条件下的监控多段监控视频多次分析后，可以得到运动区域差异频率范围；
用上述相同方法，当根据监控的实时路况计算的差异频率与之比较，是否在正常路况运动区域差异频率范围内，超出范围的即为异常路况。
本发明的优点：本发明能够快速实时地从监控视频中发现异常路况，计算量小，适合前端嵌入设备与大规模并行计算。而且，用户收到预警后人工确定是否异常路况，可反馈到算法修正正常路况差异度指标，从而具有一定自学习能力。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
本发明综合应用图像栅格化、图像差分等图像处理技术，针对每个道路监控视频自动提取图片差异度矩阵，通过多次分析正常路况视频获取的一系列正差异度矩阵，获取正常路况差异度指标。将实际路况的差异度矩阵与正常路况差异度指标比较，以评估是否异常路况。
图片差异度即利用相近时间内同一监控视频中图像具有较高相似性与连续性的原理，截取较短间隔的先后两张图片，计算两张图片的差异度，得到差异度矩阵；
1、图片差异度计算方法
(1)将监控视频中截取的先后两张图片栅格化，切割为多个8*8的位图；
(2)通过图像差分，判断先后两张图片每对对应位图之间是否存在差异，公式如下：
Figure BDA0001423553550000031
D(x,y)为两个位图之间的差分图像，I(t)和I(t-1)分别为t和t-1时刻的图片，T为差分图像二值化时选取的阈值，D(x,y)＝1表示差异，D(x,y)＝0表示无差异；
(3)整个两张图片各个位置位图差异值的矩阵如下即为整体的差异度矩阵Ei：
Figure BDA0001423553550000032
2、正常路况差异度矩阵获取方法
(1)按照气象条件、是否节假日、时间段等条件分组；
(2)每条件分组获取若干段正常路况监控视频；
(3)截取每段道路监控视频中较短间隔(比如5～25帧)的两张实时路况图片；间隔时间为一个经验值，通常由该路段平均车速等因素决定；
(4)以上述计算图片差异度计算方法计算两张图片的差异度，获取差异度矩阵；
(5)每条件分组获取的多段监控视频以同样的方法获取一系列差异度矩阵；该系列差异度矩阵即为正常路况下的差异度矩阵；
3、正常路况差异度指标获取方法
本发明的正常路况差异度指标包括正常路况差异范围与正常路况运动区域差异频率两项指标；
(1)正常路况差异范围指标
正常路况下图像经常变化的区域是有限的，比如车道内；因而差异度矩阵中存在差异(即差异值为1)的必定落在有限的范围内；通过同一监控同一条件下的多路视频获取的一系列差异度矩阵，经过计算可以大致计算出这个范围：
Figure BDA0001423553550000041
Figure BDA0001423553550000042
其中n为提供的同一条件下视频数量，E为各位图差异度矩阵的总和,T′为阈值，当T′取较低阈值时，R为正常路况差异范围；
用上述相同方法，当根据监控的实时路况计算的差异度矩阵如果落在正常路况差异范围R之外，即R＝0处，即认为该路况有异常；
超出正常路况差异范围指标，通常意味着是车道以外，出现车辆、行人等或者出现拥堵导致排队过长等异常状况；
当T′调整为较高阈值时，所述较高阈值大于所述较低阈值，可以得到正常路况下视频内变化频繁区域，通常意味着是车道等频繁出现车辆等运动物体的区域，本文中简称为运动区域指标；
(2)正常路况运动区域差异频率
正常路况下部分栅格位图会有节律的变化，实际反应的是交通对象如汽车以一定速度通过；以固定时间间隔连续截取图片，计算得到一系列差异度，其中每个位图的差异度值为1的比率，就构成了差异频率F：
Figure BDA0001423553550000043
其中n为提供的同一视频以固定时间间隔连续截取图片数，n-1为图片间计算得到的差异矩阵数，Et为差异度矩阵,t表示截取图片时刻，F为差异频率；
结合运动区域指标，可以计算出正常路况下的运动区域差异频率，同一条件下的监控多段监控视频多次分析后，可以得到大致的运动区域差异频率范围；
用上述相同方法，当根据监控的实时路况计算的差异频率与之比较，是否在正常路况运动区域差异频率范围内，超出范围的即为异常路况。通常意味着，机动车占用非机动车道、超速行驶、拥堵(低速行驶)等异常状况。
本发明基本思路：道路监控一般位置、角度固定，正常情况下图像保持某种相似性和连续性，而发生异常路况时图像中某些特征必然会产生明显变化。图像检测时只需要检查这种变化是否在正常范围而无须识别图像中的内容，即可实现异常路况快速发现。由于这种方法省去了识别与行为跟踪过程，大幅度地降低了计算复杂度与计算量。
本发明实施分为算法学习与算法应用两个过程，具体实施过程如下：
1、算法学习
(1)采集正常路况监控视频
需要采集监控摄像机下各种气象条件、各个时间段、节假日等不同条件下的正常路况监控视频，作为算法学习的资源。
在学习阶段为了提高效率可临时增加识别模块加快分析。如判断气象条件与时间段，可以能见度识别模块辅助。判断是否正常路况，则可以用交通参数识别模块辅助判断。交通参数即交通流量、车速、车头时距等，能够判断拥堵等异常路况。
(2)按正常路况指标要求截取图片
选取一段正常路况监控视频截取图片，正常路况差异范围指标要求截取同一视频内两个一组(固定间隔)，多组图片；而正常路况运动区域差异频率指标则是截取多个固定间隔连续图片。
(3)计算差异度矩阵
正常路况差异范围指标在截取的多组图片中，针对每组两张图片计算差异度矩阵；而正常路况运动区域差异频率指标则是在截取的多个连续图片的相邻两个间计算差异度矩阵。
(4)获取正常路况差异范围和运动区域
多个同等条件下的视频，各位图差异度矩阵求和后与较低阈值比较得到的差异度矩阵(完整图片的)就是正常路况差异范围，与较高阈值比较得到的就是正常路况运动区域。
(5)获取正常路况运动区域差异频率
多个同等条件下的视频截取的多个连续图片计算得到的差异矩阵，结合以上计算得到的运动区域，按照指标公式(4)得到正常路况运动区域差异频率。
2、算法应用
(1)获取实时路况监控视频
(2)条件匹配
匹配算法学习时的条件(气象条件、时间段等)获得正常路况差异范围与正常路况运动区域差异频率指标。算法学习时不同条件下得到的指标值不一样，需要匹配条件获得相应指标值。
(3)计算实时路况的差异度矩阵；
(4)匹配正常路况差异范围，自动判断是否异常路况；
(5)匹配正常路况运动区域差异频率，自动判断是否异常路况；
(6)接收异常路况预警，人工判断为正常路况时将视频返回给算法学习。

Claims (4)

1.一种基于道路监控视频的异常路况快速发现方法，其特征在于，对于监控视频，该方法包括两个指标：正常路况差异范围指标和正常路况运动区域差异频率指标；
当根据监控的实时路况计算的差异度矩阵位于正常路况差异范围之外即认为路况异常；
当根据监控的实时路况计算的运动区域差异频率超出正常路况运动区域差异频率范围，即认为路况异常；
所述两个指标通过以下方法获得并进行判断；
1、图片差异度计算方法
(1)将监控视频中截取的先后两张图片栅格化，切割为多个位图；
(2)通过图像差分，判断先后两张图片每对对应位图之间是否存在差异，公式如下：
Figure FDA0002715420830000011
D(x,y)为两个位图之间的差分图像，I(t)和I(t-1)分别为t和t-1时刻的图片，T为差分图像二值化时选取的阈值，D(x,y)＝1表示差异，D(x,y)＝0表示无差异；
(3)整个两张图片各个位置位图差异值的矩阵如下即为整体的差异度矩阵Ei：
Figure FDA0002715420830000012
2、正常路况差异度矩阵获取方法
(1)按照条件分组；
(2)每条件分组获取若干段正常路况监控视频；
(3)截取每段道路监控视频中间隔5～25帧的两张实时路况图片；
(4)以上述图片差异度计算方法计算两张图片的差异度，获取差异度矩阵；
(5)每条件分组获取的多段监控视频以同样的方法获取一系列差异度矩阵；该系列差异度矩阵即为正常路况下的差异度矩阵；
3、正常路况差异度指标获取方法
正常路况差异度指标包括正常路况差异范围与正常路况运动区域差异频率两项指标；
(1)正常路况差异范围指标
通过同一监控同一条件下的多路视频获取的一系列差异度矩阵，经过计算可以计算出这个范围：
Figure FDA0002715420830000021
Figure FDA0002715420830000022
其中n为提供的同一条件下视频数量，E为各位图差异度矩阵的总和,T′为阈值，当T′取一个设定的较低阈值时，R为正常路况差异范围；
用上述正常路况差异度矩阵获取方法相同方法，当根据监控的实时路况计算的差异度矩阵如果落在正常路况差异范围R之外，即R＝0处，即认为该路况有异常；
当T′调整为一个设定的较高阈值时，可以得到正常路况下视频内变化频繁区域，即运动区域；所述较高阈值大于所述较低阈值；
(2)正常路况运动区域差异频率
对监控视频以固定时间间隔连续截取图片，计算得到一系列差异度，其中每个位图的差异度值为1的比率，就构成了差异频率F：
Figure FDA0002715420830000023
其中n为提供的同一视频以固定时间间隔连续截取图片数，n-1为图片间计算得到的差异矩阵数，Et为差异度矩阵,t表示截取图片时刻，F为差异频率；
结合运动区域，可以计算出正常路况下的运动区域差异频率，同一条件下的多段监控视频多次分析后，可以得到运动区域差异频率范围；
用上述计算出正常路况下的运动区域差异频率相同方法，当根据监控的实时路况计算的差异频率与之比较，是否在正常路况运动区域差异频率范围内，超出范围的即为异常路况。
2.如权利要求1所述的基于道路监控视频的异常路况快速发现方法，其特征在于，
所述按照条件分组，通过增加识别模块加快分析。
3.如权利要求1所述的基于道路监控视频的异常路况快速发现方法，其特征在于，
正常路况差异范围指标要求截取同一视频内固定间隔两个一组，多组图片；
正常路况运动区域差异频率指标要求截取多个固定间隔连续图片。
4.如权利要求1所述的基于道路监控视频的异常路况快速发现方法，其特征在于，
对正常路况差异范围指标在截取的多组图片中，针对每组两张图片计算差异度矩阵；而正常路况运动区域差异频率指标则是在截取的多个连续图片的相邻两个间计算差异度矩阵。
CN201710903579.6A 2017-09-29 2017-09-29 基于道路监控视频的异常路况快速发现方法 Active CN107742425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710903579.6A CN107742425B (zh) 2017-09-29 2017-09-29 基于道路监控视频的异常路况快速发现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710903579.6A CN107742425B (zh) 2017-09-29 2017-09-29 基于道路监控视频的异常路况快速发现方法

Publications (2)

Publication Number Publication Date
CN107742425A CN107742425A (zh) 2018-02-27
CN107742425B true CN107742425B (zh) 2021-02-12

Family

ID=61236347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710903579.6A Active CN107742425B (zh) 2017-09-29 2017-09-29 基于道路监控视频的异常路况快速发现方法

Country Status (1)

Country Link
CN (1) CN107742425B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208134A (zh) * 2010-03-31 2011-10-05 中兴智能交通（无锡）有限公司 一种高速公路信息服务的方法和系统
CN102819952A (zh) * 2012-06-29 2012-12-12 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
CN104809732A (zh) * 2015-05-07 2015-07-29 山东鲁能智能技术有限公司 一种基于图像比对的电力设备外观异常检测方法
CN104809874A (zh) * 2015-04-15 2015-07-29 东软集团股份有限公司 一种交通事件检测方法和装置
CN106971567A (zh) * 2017-05-18 2017-07-21 上海博历机械科技有限公司 一种交通路段车辆排队视频检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9477892B2 (en) * 2014-03-26 2016-10-25 Xerox Corporation Efficient method of offline training a special-type parked vehicle detector for video-based on-street parking occupancy detection systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208134A (zh) * 2010-03-31 2011-10-05 中兴智能交通（无锡）有限公司 一种高速公路信息服务的方法和系统
CN102819952A (zh) * 2012-06-29 2012-12-12 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
CN104809874A (zh) * 2015-04-15 2015-07-29 东软集团股份有限公司 一种交通事件检测方法和装置
CN104809732A (zh) * 2015-05-07 2015-07-29 山东鲁能智能技术有限公司 一种基于图像比对的电力设备外观异常检测方法
CN106971567A (zh) * 2017-05-18 2017-07-21 上海博历机械科技有限公司 一种交通路段车辆排队视频检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频的隧道交通事件检测算法研究;胡永;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140515(第5期);22-43 *

Also Published As

Publication number Publication date
CN107742425A (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN109345547B (zh) 基于深度学习多任务网络的交通车道线检测方法及装置
CN106446926A (zh) 一种基于视频分析的变电站工人安全帽佩戴检测方法
Kulkarni et al. Real time vehicle detection, tracking and counting using Raspberry-Pi
CN103902966B (zh) 基于序列时空立方体特征的视频交互事件分析方法及装置
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
KR101788225B1 (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
CN105957356B (zh) 一种基于行人数量的交通控制系统及方法
CN103646544B (zh) 基于云台和相机设备的车辆行为分析识别方法
CN104392461B (zh) 一种基于纹理特征的视频跟踪方法
CN107590500A (zh) 一种基于色彩投影分类的车牌颜色识别方法及装置
CN111753651A (zh) 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN103152558B (zh) 基于场景识别的入侵检测方法
CN106919939B (zh) 一种交通标识牌跟踪识别方法及系统
CN105550710A (zh) 基于非线性拟合的接触网运行异常状态智能检测方法
CN116434159A (zh) 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
CN107452212B (zh) 路口信号灯控制方法及其系统
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN108965804A (zh) 一种用于城市安防的视频结构化技术
CN106778675B (zh) 一种视频图像中目标对象的识别方法和装置
CN107742425B (zh) 基于道路监控视频的异常路况快速发现方法
CN102496030A (zh) 电力监测系统中危险目标的识别方法及装置
Gao Vehicle detection in wide-area aerial imagery: cross-association of detection schemes with post-processings
CN105512633A (zh) 一种电力系统危险目标识别方法及装置
CN107341456B (zh) 一种基于单幅户外彩色图像的天气晴阴分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Yang Zhuomin

Inventor after: Cai Gang

Inventor after: Zhang Sen

Inventor after: Li Xiaowu

Inventor after: Qiu Hong

Inventor after: Jia Xingwu

Inventor after: You Donghai

Inventor before: Yang Zhuomin

Inventor before: Cai Gang

Inventor before: Zhang Sen

Inventor before: Li Xiaowu

Inventor before: Zhang Huichen

Inventor before: You Donghai

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant