CN108335489A - 高速公路车辆行为语义分析及异常行为监控系统及方法 - Google Patents
高速公路车辆行为语义分析及异常行为监控系统及方法 Download PDFInfo
- Publication number
- CN108335489A CN108335489A CN201810197761.9A CN201810197761A CN108335489A CN 108335489 A CN108335489 A CN 108335489A CN 201810197761 A CN201810197761 A CN 201810197761A CN 108335489 A CN108335489 A CN 108335489A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- semantic analysis
- highway
- behavior
- abnormal behaviour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于道路车辆的交通控制系统技术领域,公开了一种高速公路车辆行为语义分析及异常行为监控系统及方法,通过视频检测并跟踪运动车辆目标,实现车速检测及车辆行为语义分析,判别车辆是否有违章行为,再实现违章行为报警的功能;使用多混合高斯模型从视频中检测运动目标,利用卡尔曼滤波跟踪运动车辆目标,得出车辆行驶过程中轨迹及三大运动特征:位置、方向和速度,检测并进行车辆行为语义分析,并结合道路行驶规定判断车辆是否有违章行为,如果车辆违章,则对车辆进行抓拍并进行报警。本发明能够实时、准确地检测高速公路中车辆行车及语义分析,并对车辆的异常行为和违章行为进行报警和抓拍,达到自动检测、快速报警、及时处理的目的。
Description
技术领域
本发明属于道路车辆的交通控制系统技术领域,尤其涉及一种高速公路车辆行为语义分析及异常行为监控系统及方法。
背景技术
目前,业内常用的现有技术是这样的:随着社会的不断发展,汽车逐渐成为人民生活中不可或缺交通工具,汽车为人们的日常出行带来极大便利的同时,也带来了交通拥堵、交通事故等一系列问题。特别是高速公路建设飞速发展,行车速度越来越快,经常发生多车连续相撞的现象,造成多人死亡的特大交通事故也大多发生在高速公路上,这对人们的生命及财产造成了严重的伤害。因此,高速公路上的交通引起了人们的高度关注。随着高速公路监控系统对人们生活的影响越来越大,车速检测系统、车辆行为语义分析系统、车牌识别系统作为高速公路监控系统的一部分显得越来越重要。其中,车牌识别系统在停车场车辆监控、监控违章车辆、高速公路收费监控系统等领域都有十分广泛的应用。车速检测系统在高速公路及城市道路上都有大量应用,对于交通安全、杜绝交通事故等现象起着至关重要的作用。交通行为的自动识别与语义分析作为高速公路监控系统中的关键部分,近年来被世界各国研究机构所重视。在高速公路及城市道路交通监控等实际应用场合,通过对该方向的探究有利于及时发现交通异常行为,并迅速将异常信息发送到控制中心,从而有交管部门及时采取有效措施,防止严重交通事故发生,因此对于维护正常的交通和人民生命及财产安全具有重要意义。到目前为止常用的两种交通行为识别方法主要有两种,其中一种是通过在路面下铺设磁感线圈,这种方法能够成功检测出路面之上的交通流变化以及车辆的超速行驶,但此方法不仅成本非常高,而且会对路面造成严重损坏,且无法检测出车辆逆行、压线等交通违章行为。随着交通科技的迅速发展,传统的线圈方法越来越难以满足当今交通智能监控的需求。近年来发展起的基于视频的交通行为理解方法以其成本低、适用范围广、实时性高、不损坏路面等优点而备受关注,成为了当今高速公路监控系统领域主流的交通行为识别与理解方法。目前,各种各样基于视频的高速公路监控系统层出不穷,但是大部分功能单一,不能够满足高速公路上对于车辆的完全监控,例如:能够检测车辆、监控交通流量的系统,数据只是进行简单地传输和显示,并没有进行数据处理,所以需要花费大量的人力成本在监控上面;能够检测车辆异常行为的系统,却不能抓拍车辆并自动检测识别出车牌号码,需要花费人力成本,无法在检测车辆异常行为的同时对车辆进行控制,系统也不够智能。另外,现有基于视频的高速公路车辆行为语义检测系统大多采用的技术过于复杂,无法实现实时检测;而大部分车牌识别系统中,依然是使用边缘检测和颜色特征进行车牌定位,而面对背景复杂以及车牌颜色各异的情况,就无能为力了。目前,在基于视频及图像的智能交通管理系统领域研究中,华中科技大学的肖意,在《基于最大稳定极值区域的车牌定位与字符分割》研究中,利用最大稳定极值区域法(Maximally Stable ExtremalRegions)进行车牌定位与字符分割,并没有做车牌识别的工作。中南民族大学的徐胜丹,在《基于CNN的车牌识别系统》的研究中,主要针对现有的车牌识别系统在遇到复杂条件,例如暗光、遮挡、多车牌、能见度低等情况时,难以有效地定位并识别车牌,提出了一种基于卷积神经网络的车牌自动识别系统,但只是单纯的车牌识别系统,并不包括对视频图像中的车辆检测、车速检测等工作,无法满足智能交通监控系统的要求。中山大学智能交通研究中心的赵有婷,在《基于视频车辆轨迹模型的交通事件自动检测方法研究》研究中,根据目标的运动轨迹方向信息,将车辆的行驶分解为四种轨迹元素,然后进行建模和行为识别。该方法能够检测出车辆的停驶、逆行等多种交通行为,具有一定的通用性,但是对于多目标遮挡和人车混合状况下行为的识别方面需要进一步完善。2011年,Elangovan Vinayak等通过将实际的交通场景分割为多个不同的区域,并且根据时空属性获取目标的语义特征,最终识别目标行为。该方法适用于人车混合等复杂的交通环境,通用性较强,但却无法成功识别出车辆行驶状态下的行为,因此需要进一步改进。
如果基于视频的高速公路的车辆监控系统能够将车辆行为语义分析系统、车辆异常行为检测系统、车牌识别系统结合起来,利用车辆行为语义分析技术,在检测到违章停车、违章换道、违章超速、违章调头等车辆异常行为时及时报警,并且对违章车辆进行抓拍和车牌识别,利用识别后的车牌号码通过公安车管所和交警查询到车主的电话,在第一时间给车主短信通知提醒,并采取积极有效的措施,从而达到自动检测、快速报警、及时处理的目的,有利于推动智能交通的管理与控制,降低交通事故的发生。
综上所述,现有技术存在的问题是:
(1)目前,各种各样的高速公路监控系统层出不穷,大部分功能单一,能够检测车辆、监控交通流量的系统,数据只是进行简单地传输和显示,并没有进行数据处理,所以需要花费大量的人力成本在监控上面。能够检测车辆异常行为的系统,却不能抓拍车辆并自动检测识别出车牌号码,需要花费人力成本,也不够智能。
(2)智能车辆行为识别和分析,通常使用深度学习等方法进行检测和识别,检测和识别速度不够快,达不到实时的效果。
(3)车辆定位采用简单的边缘检测算法,或者利用车牌颜色特征(一般车牌的底色都是蓝色或黄色),在复杂环境下,或者车牌底色为其他颜色时,就无法准确定位,也无法进行后面的车牌分割、车牌识别工作。
解决上述技术问题的难度和意义:将车辆行为语义分析系统、车辆异常行为检测系统、车牌识别系统结合起来,组成高速公路车辆行为语义分析及异常行为监控系统。在车辆行为语义分析方向,首先采用混合高斯模型结合自适应背景差分法,实现运动车辆的检测,然后将连续多帧图像中的车辆目标提取质心合成车辆运动轨迹,在检测到违章停车、违章换道、违章超速、违章调头等车辆异常行为时及时报警。在车牌识别方向,首先利用最大稳定极值法进行车牌精准定位,再利用霍夫变换检测车牌倾斜角度,对车牌图像旋转进行倾斜矫正,最后将车牌分割后利用提前训练好的车牌识别模型进行车牌识别。高速公路车辆行为语义分析及异常行为检测及方法,能够对高速公路车辆行为语义分析及异常行为检测,并且对违章车辆进行抓拍和车牌识别,利用识别后的车牌号码通过公安车管所和交警查询到车主的电话,在第一时间给车主短信通知提醒,并采取积极有效的措施,从而达到自动检测、快速报警、及时处理的目的,有利于推动智能交通的管理与控制,降低交通事故的发生。
发明内容
针对现有技术存在的问题,本发明提供了一种高速公路车辆行为语义分析及异常行为监控系统及方法。
本发明是这样实现的,一种高速公路车辆行为语义分析及异常行为监控方法,所述高速公路车辆行为语义分析及异常行为监控方法通过视频检测并跟踪运动车辆目标,实现车速检测及车辆行为语义分析,判别车辆是否有违章行为,再实现违章行为报警的功能;使用高斯混合模型从视频中检测运动目标,利用卡尔曼滤波跟踪运动车辆目标,得出车辆行驶过程中轨迹及三大运动特征:位置、方向和速度,检测并进行车辆行为语义分析,并结合道路行驶规定判断车辆是否有违章行为,如果车辆违章,则对车辆进行抓拍并进行报警。
其中,混合高斯背景建模是基于像素样本统计信息的背景表示方法,利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景,然后使用均值偏差(如3σ原则)进行目标像素判断,可以对复杂动态背景进行建模,计算量较大。
进一步,所述高速公路车辆行为语义分析及异常行为监控方法包括以下步骤:
步骤一,建立高斯混合背景模型,初始化变量,指定聚类数目K、数据维度D和均值偏差(如3σ原则),如果像素在所匹配的模式符合背景要求,则该像素属于背景,否则属于前景,得出分离后的前景运动目标车辆。
步骤二:利用卡尔曼滤波使用目标跟踪,首先定义状态方程和预测方程,然后计算运动目标的特征信息,用得到的初始信息初始化卡尔曼滤波器,用卡尔曼滤波器对下一帧中对应的目标区域进行预测,当下一帧到来时,在预测区域内进行目标匹配,如果匹配成功,则更新卡尔曼滤波器。
步骤三,通过目标跟踪得到的运动车辆轨迹,结合运动车辆的速度,与设定好的车辆行为轨迹进行对比匹配分析,得出车辆行为语义,并判断车辆行为是否存在异常现象或存在违章情况。
步骤四,通过图像增强,提高图像对比度,然后利用最大稳定极值区域法(MSER)方法使用一系统灰度阈值对图像进行二值化处理,对于每个阈值得到的二值图像,相应的黑色区域和白色区域,在比较宽的灰度阈值范围内保持形状稳定的区域就是文字的大概位置,可以粗步定位车牌,再利用车牌长宽比一定的特征对车牌进行精确定位,并用方框车牌区域框选出来;
步骤五,如果车牌存在倾斜的情况,则利用霍夫变换检测车牌倾斜角度,对车牌图像旋转进行倾斜矫正,然后利用投影法进行字符分割:对车牌图像进行逐行扫描,统计车牌字符的每列像素点个数,并得到投影图,根据车牌字符像素统计,把车牌分割成单个独立的字符。最后针对车牌识别中车牌字符类别多、背景复杂影响正确识别率的问题,提出了一种基于卷积神经网络(CNN)的车牌字符识别方法:首先对车牌字符图像进行大小归一化、去噪、二值化、细化、字符区域居中等预处理,去除复杂背景,得到简单的字符形状结构;然后,利用所提出的CNN模型对预处理后的车牌字符集进行训练、识别。
进一步,所述高速公路车辆行为语义分析及异常行为监控方法的车辆异常行为检测及语义分析、车速检测方法具体包括:读取视频序列;运动目标检测;提取车辆质心,合成运动轨迹;检测车辆信息并分析车辆行为。
进一步,所述高速公路车辆行为语义分析及异常行为监控方法具体包括:运动车辆检测:利用高斯混合模型将监控视频中的运动目标与背景分离,采用自适应域值分割,得到运动目标的具体区域,并且不断地实时更新背景;
运动车辆跟踪:利用卡尔曼滤波法跟踪运动车辆,通过计算车辆通过固定距离所用的时间车辆的运动速度,再提取车辆目标的质心,合成车辆目标的运动轨迹,得到连续多帧图像序列中车辆目标的运动矢量:包括车辆目标的位置、运动方向和运动速度;
车辆行为语义分析:将车辆目标的运动轨迹与提前设计好的车辆行为运动轨迹进行比较,并结合车辆目标的三大运动矢量,分析得出车辆目标的运动轨迹属于哪种车辆行为;包括车辆正常行驶、倒车、停车、掉头逆行、换道、超车等行为的标准。
高速公路车辆行为语义分析与异常行为监控系统由视频处理、图像处理、数据处理构成,三个模块之间相互独立,又相互关联。视频处理中调用了图像处理的函数,图像处理和视频处理之前必须进行数据处理,最后由数据处理模块呈现结果。
进一步,所述高速公路车辆行为语义分析及异常行为监控方法的图像的车牌识别方法具体包括:获取包含车辆的图像;对图像进行预处理:对比度增强,二值化;车牌定位,从图像中圈出车牌的位置;车牌倾斜矫正;车牌字符分割,将车牌分割成单个字符;车牌识别,将分割成单个字符的车牌一一识别,最后输入识别结果。
本发明的另一目的在于提供一种所述高速公路车辆行为语义分析及异常行为监控方法的高速公路车辆行为语义分析及异常行为监控系统,所述高速公路车辆行为语义分析及异常行为监控系统包括:
视频处理模块,用于通过视频检测并跟踪运动车辆目标,检测出车辆的行动轨迹,实现检测及分析车辆行为语义,其中车辆行为语义单元包括:正常行驶、停车、倒车、变道、超车、逆行、超速,然后判别车辆是否有违章行为,最后实现违章行为报警的功能;
图像处理模块,用于当判别车辆有违章行为后,通过各种图像处理技术实现车牌定位、车牌矫正、车牌字符分割、车牌识别,识别出违章车辆的车牌号码;
数据处理模块,用于实现数据去噪,数据显示和数据监控。
进一步,所述视频处理模块包括:运动目标检测单元、目标跟踪单元、车速检测单元、车辆行为语义分析单元、车辆违章行为判别单元、车辆违章行为报警单元;
所述图像处理模块包括:边缘检测单元、图像增强单元、图像压缩单元、图像分割单元、图像变换单元、车牌定位单元、车牌识别单元。
本发明的另一目的在于提供一种实现所述高速公路车辆行为语义分析及异常行为监控方法的计算机程序。
本发明的另一目的在于提供一种实现所述高速公路车辆行为语义分析及异常行为监控方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述的高速公路车辆行为语义分析及异常行为监控方法。
综上所述,本发明的优点及积极效果为:
1、集车辆速度检测、车辆行为语义分析、车辆异常行为检测和车牌号码识别于一体,现有的高速公路监控系统,车速检测系统、车牌识别系统、车辆行为语义分析系统都是相互独立的,功能单一,而本发明的高速公路监控系统将车辆行为语义分析与车辆号码识别结合起来,更好地实现高速公路上的车辆进行智能化监控。
2、可实现实时检测:本发明中使用简单算法改进而来,从而达到实时检测、快速报警、及时处理的目的。
3、检测准确率高:传统的车牌识别系统中大多使用边缘检测或者利用车辆的颜色特征进行图片定位,使用模板匹配方法进行字符识别,但这些方法受环境、车牌颜色等因素影响严重,一旦车牌定位失败,将直接造成后面字符分割与字符识别的失败。而本发明中利用最大稳定极值区域法(MSER),抓住了车牌由字符组成,且车辆的宽高比固定,这一显著性特征精准定位车牌。针对车牌字符类别多、背景复杂影响正确识别率的问题,提出了一种基于卷积神经网络(CNN)的车牌字符识别方法。实验结果表明,相对卷积神经网络而言卷积神经网络的识别率大约提高了5%。
4、鲁棒性好:现有的车辆行为检测和车牌识别算法只能在道路交通状况、天气状况良好的前提条件下,才有较好的检测效果,而本发明对各种道路状况及天气情况都有很好地迁移性。
综上所述,本发明能够实时、准确地检测高速公路中车辆行车及语义分析,并对车辆的异常行为和违章行为进行报警和抓拍,达到自动检测、快速报警、及时处理的目的。
附图说明
图1是本发明实施例提供的高速公路车辆行为语义分析及异常行为监控系统结构示意图;
图中:1、视频处理模块;2、图像处理模块;3、数据处理模块。
图2是本发明实施例提供的高速公路车辆行为语义分析及异常行为监控方法流程图。
图3是本发明实施例提供的高速公路车辆异常行为检测及语义分析流程图。
图4是本发明实施例提供的视频处理模块的车辆行为语义单元图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供了高速公路车辆行为语义分析与异常行为监控系统的设计方法,以满足高速公路监控系统的数据处理要求,以提高检测准确率,提高检测鲁棒性,减小检测时间,以达到实时检测的要求,一个集车辆速度检测、车辆行为语义分析、车辆异常行为检测和车牌号码识别于一体的高速公路监控系统。
如图1所示,本发明实施例提供的高速公路车辆行为语义分析及异常行为监控系统包括:
视频处理模块1,用于通过视频检测并跟踪运动车辆目标,检测出车辆的行动轨迹,实现检测及分析车辆行为语义,其中车辆行为语义单元包括:正常行驶、停车、倒车、变道、超车、逆行、超速,然后判别车辆是否有违章行为,最后实现违章行为报警的功能。
图像处理模块2,用于当判别车辆有违章行为后,通过各种图像处理技术实现车牌定位、车牌矫正、车牌字符分割、车牌识别,识别出违章车辆的车牌号码后,便于人员进行有针对性地监控。
数据处理模块3,用于实现数据去噪,数据显示和数据监控。
视频处理模块1包括:运动目标检测单元、目标跟踪单元、车速检测单元、车辆行为语义分析单元、车辆违章行为判别单元、车辆违章行为报警单元。
图像处理模块2包括:边缘检测单元、图像增强单元、图像压缩单元、图像分割单元、图像变换单元、车牌定位单元、车牌识别单元。
如图2所示,本发明实施例提供的高速公路车辆行为语义分析及异常行为监控方法包括以下步骤:
S201,建立高斯混合背景模型,初始化变量,指定聚类数目K、数据维度D和均值偏差(如3σ原则),如果像素在所匹配的模式符合背景要求,则该像素属于背景,否则属于前景,得出分离后的前景运动目标车辆。
S202:利用卡尔曼滤波进行目标跟踪,首先定义状态方程和预测方程,然后计算运动目标的特征信息,用得到的初始信息初始化卡尔曼滤波器,用卡尔曼滤波器对下一帧中对应的目标区域进行预测,当下一帧到来时,在预测区域内进行目标匹配,如果匹配成功,则更新卡尔曼滤波器。
S203,通过目标跟踪得到的运动车辆轨迹,结合运动车辆的速度,与设定好的车辆行为轨迹进行对比匹配分析,得出车辆行为语义,并判断车辆行为是否存在异常现象或存在违章情况。
S204,通过图像增强,提高图像对比度,然后利用最大稳定极值区域法(MSER)方法使用一系统灰度阈值对图像进行二值化处理,对于每个阈值得到的二值图像,相应的黑色区域和白色区域,在比较宽的灰度阈值范围内保持形状稳定的区域就是文字的大概位置,可以粗步定位车牌,再利用车牌长宽比一定的特征对车牌进行精确定位,并用方框车牌区域框选出来;
S205,如果车牌存在倾斜的情况,则利用霍夫变换检测车牌倾斜角度,对车牌图像旋转进行倾斜矫正,然后利用投影法进行字符分割:对车牌图像进行逐行扫描,统计车牌字符的每列像素点个数,并得到投影图,根据车牌字符像素统计,把车牌分割成单个独立的字符,利用提前训练好的车牌字符识别模型识别车牌号码,最后将结果呈现出来。
如图3所示,视频处理模块1主要实现高速公路中车辆异常行为检测及语义分析、车速检测功能,具体实现步骤如下:a.读取视频序列;b.运动目标检测;c.提取车辆质心,合成运动轨迹;d.检测车辆信息并分析车辆行为,其中车辆行为语义单元如图4所示:正常行驶、停车、倒车、变道、超车、逆行,具体车辆信息包括车辆型号、车辆颜色、车辆速度;e.违章行为判别,判断第4步中得到的车辆行为是否违章,如果违章则到第f步,反之则回到第a步循环;f.对于违章车辆进行抓拍;g.识别违章车辆的车牌号码;h.监控人员采取措施。
运动车辆检测步骤:利用混合高斯模型将监控视频中的运动目标与背景分离,采用自适应域值分割,得到运动目标的具体区域,并且不断地实时更新背景,提高运动目标检测的鲁棒性,即使在复杂环境下也能准确地检测到运动目标。
运动车辆跟踪步骤:利用卡尔曼滤波法跟踪运动车辆,通过计算车辆通过固定距离所用的时间车辆的运动速度,再提取车辆目标的质心,合成车辆目标的运动轨迹,得到连续多帧图像序列中车辆目标的运动矢量:包括车辆目标的位置、运动方向和运动速度。
车辆行为语义分析步骤:将车辆目标的运动轨迹与提前设计好的车辆行为运动轨迹进行比较,并结合车辆目标的三大运动矢量,分析得出车辆目标的运动轨迹属于哪种车辆行为。其中包括车辆正常行驶、倒车、停车、掉头逆行、换道、超车等行为的标准。
高速公路车辆行为语义分析与异常行为监控系统由视频处理、图像处理、数据处理构成,三个模块之间相互独立,又相互关联。视频处理中调用了图像处理的函数,图像处理和视频处理之前必须进行数据处理,最后由数据处理模块呈现结果。
本发明实施例提供的高速公路车辆行为语义分析及异常行为监控方法具体包括:a.高速公路车辆行为语义分析与异常行为监控系统中的视频处理,主要通过视频检测并跟踪运动车辆目标,实现车速检测及车辆行为语义分析,最后判别车辆是否有违章行为,再实现违章行为报警的功能。主要使用高斯混合模型从视频中检测运动目标,再利用卡尔曼滤波跟踪运动车辆目标,得出车辆行驶过程中轨迹及三大运动特征:位置、方向和速度,检测并进行车辆行为语义分析,并结合道路行驶规定判断车辆是否有违章行为,如果车辆违章,则对车辆进行抓拍并进行报警。b.车辆行为语义分析,具体步骤如下:读取视频序列;运动目标检测;提取车辆质心,合成运动轨迹;检测车辆信息并分析车辆行为,其中车辆信息包括车辆型号、车辆颜色、车辆速度;车辆行为语义单元包括:正常行驶、停车、倒车、变道、超车、逆行;违章行为判别,判断得到的车辆行为是否违章,如果违章则循环;对于违章车辆进行抓拍;识别违章车辆的车牌号码;监控人员采取措施。c.图像的车牌识别方法,主要包含以下几个步骤,获取包含车辆的图像;对图像进行预处理:对比度增强,二值化;车牌定位,从图像中圈出车牌的位置;车牌倾斜矫正;车牌字符分割,将车牌分割成单个字符;车牌识别,将分割成单个字符的车牌一一识别,最后输入识别结果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种高速公路车辆行为语义分析及异常行为监控方法,其特征在于,所述高速公路车辆行为语义分析及异常行为监控方法通过视频检测并跟踪运动车辆目标,实现车速检测及车辆行为语义分析,判别车辆是否有违章行为,再实现违章行为报警的功能;使用多混合高斯模型从视频中检测运动目标,利用卡尔曼滤波跟踪运动车辆目标,得出车辆行驶过程中轨迹及三大运动特征:位置、方向和速度,检测并进行车辆行为语义分析,并结合道路行驶规定判断车辆是否有违章行为,如果车辆违章,则对车辆进行抓拍并进行报警。
2.如权利要求1所述的高速公路车辆行为语义分析及异常行为监控方法,其特征在于,所述高速公路车辆行为语义分析及异常行为监控方法包括以下步骤:
步骤一,通过图像增强,提高图像对比度,通过边缘检测、颜色特征和文字特征等方法粗步定位车牌,再利用车牌特征对车牌进行精确定位,并用方框将车牌区域框选出来;
步骤二,如果车牌存在倾斜的情况,则对车牌进行倾斜矫正操作,然后对车牌进行字符分割,利用提前训练好的车牌字符识别模型识别车牌号码,最后将结果呈现出来。
3.如权利要求1所述的高速公路车辆行为语义分析及异常行为监控方法,其特征在于,所述高速公路车辆行为语义分析及异常行为监控方法的车辆异常行为检测及语义分析、车速检测方法具体包括:读取视频序列;运动目标检测;提取车辆质心,合成运动轨迹;检测车辆信息并分析车辆行为。
4.如权利要求1所述的高速公路车辆行为语义分析及异常行为监控方法,其特征在于,所述高速公路车辆行为语义分析及异常行为监控方法具体包括:
运动车辆检测:利用混合高斯模型将监控视频中的运动目标与背景分离,采用自适应域值分割,得到运动目标的具体区域,并且不断地实时更新背景;
运动车辆跟踪:利用卡尔曼滤波法跟踪运动车辆,通过计算车辆通过固定距离所用的时间车辆的运动速度,再提取车辆目标的质心,合成车辆目标的运动轨迹,得到连续多帧图像序列中车辆目标的运动矢量:包括车辆目标的位置、运动方向和运动速度;
车辆行为语义分析:将车辆目标的运动轨迹与提前设计好的车辆行为运动轨迹进行比较,并结合车辆目标的三大运动矢量,分析得出车辆目标的运动轨迹属于哪种车辆行为;包括车辆正常行驶、倒车、停车、掉头逆行、换道、超车等行为的标准;
高速公路车辆行为语义分析与异常行为监控系统由视频处理、图像处理、数据处理构成,三个模块之间相互独立,又相互关联;视频处理中调用了图像处理的函数,图像处理和视频处理之前必须进行数据处理,最后由数据处理模块呈现结果。
5.如权利要求1所述的高速公路车辆行为语义分析及异常行为监控方法,其特征在于,所述高速公路车辆行为语义分析及异常行为监控方法的图像的车牌识别方法具体包括:获取包含车辆的图像;对图像进行预处理:对比度增强,二值化;车牌定位,从图像中圈出车牌的位置;车牌倾斜矫正;车牌字符分割,将车牌分割成单个字符;车牌识别,将分割成单个字符的车牌一一识别,最后输入识别结果。
6.一种如权利要求1所述高速公路车辆行为语义分析及异常行为监控方法的高速公路车辆行为语义分析及异常行为监控系统,其特征在于,所述高速公路车辆行为语义分析及异常行为监控系统包括:
视频处理模块,用于通过视频检测并跟踪运动车辆目标,检测出车辆的行动轨迹,实现检测及分析车辆行为语义,其中车辆行为语义单元包括:正常行驶、停车、倒车、变道、超车、逆行、超速,然后判别车辆是否有违章行为,最后实现违章行为报警的功能;
图像处理模块,用于当判别车辆有违章行为后,通过各种图像处理技术实现车牌定位、车牌矫正、车牌字符分割、车牌识别,识别出违章车辆的车牌号码;
数据处理模块,用于实现数据去噪,数据显示和数据监控。
7.如权利要求6所述的高速公路车辆行为语义分析及异常行为监控系统,其特征在于,所述视频处理模块包括:运动目标检测单元、目标跟踪单元、车速检测单元、车辆行为语义分析单元、车辆违章行为判别单元、车辆违章行为报警单元;
所述图像处理模块包括:边缘检测单元、图像增强单元、图像压缩单元、图像分割单元、图像变换单元、车牌定位单元、车牌识别单元。
8.一种实现权利要求1~5任意一项所述高速公路车辆行为语义分析及异常行为监控方法的计算机程序。
9.一种实现权利要求1~5任意一项所述高速公路车辆行为语义分析及异常行为监控方法的信息数据处理终端。
10.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-5任意一项所述的高速公路车辆行为语义分析及异常行为监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810197761.9A CN108335489A (zh) | 2018-03-11 | 2018-03-11 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810197761.9A CN108335489A (zh) | 2018-03-11 | 2018-03-11 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108335489A true CN108335489A (zh) | 2018-07-27 |
Family
ID=62929112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810197761.9A Pending CN108335489A (zh) | 2018-03-11 | 2018-03-11 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108335489A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109147340A (zh) * | 2018-08-30 | 2019-01-04 | 平安科技(深圳)有限公司 | 违法停车案件的鉴别方法、装置和计算机设备 |
CN110136449A (zh) * | 2019-06-17 | 2019-08-16 | 珠海华园信息技术有限公司 | 基于深度学习的交通视频车辆违停自动识别抓拍的方法 |
CN110825093A (zh) * | 2019-11-28 | 2020-02-21 | 安徽江淮汽车集团股份有限公司 | 自动驾驶策略生成方法、装置、设备及存储介质 |
CN111027558A (zh) * | 2019-10-23 | 2020-04-17 | 中电科新型智慧城市研究院有限公司 | 一种违章车辆车型及车牌识别的方法 |
CN111274931A (zh) * | 2020-01-19 | 2020-06-12 | 上海眼控科技股份有限公司 | 超车行为的审核方法、装置、计算机设备和存储介质 |
CN111382704A (zh) * | 2020-03-10 | 2020-07-07 | 北京以萨技术股份有限公司 | 基于深度学习的车辆压线违章判断方法、装置及存储介质 |
CN111402612A (zh) * | 2019-01-03 | 2020-07-10 | 北京嘀嘀无限科技发展有限公司 | 一种交通事件通知方法及装置 |
CN111489545A (zh) * | 2019-01-28 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 道路监控方法、装置以及设备、存储介质 |
CN111583670A (zh) * | 2020-05-07 | 2020-08-25 | 西安智文琛软件有限公司 | 一种利用无人机监测超速行车的方法、监测系统及无人机 |
CN111640309A (zh) * | 2020-05-22 | 2020-09-08 | 浙江工贸职业技术学院 | 一种快捷的车辆检测系统 |
CN112507993A (zh) * | 2021-02-05 | 2021-03-16 | 上海闪马智能科技有限公司 | 一种异常驶离的检测方法、系统、电子设备及存储介质 |
CN113409587A (zh) * | 2021-06-16 | 2021-09-17 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
CN113634356A (zh) * | 2021-08-12 | 2021-11-12 | 长春市九台区侬富米业有限公司 | 一种大米和玉米多功能研磨制米面智能系统及方法 |
CN113658436A (zh) * | 2021-08-18 | 2021-11-16 | 刘哲鸣 | 一种基于智慧交通物联网的交通监测系统 |
CN113870304A (zh) * | 2021-12-07 | 2021-12-31 | 江西中业智能科技有限公司 | 异常行为检测与跟踪方法、装置、可读存储介质及设备 |
US11335103B2 (en) * | 2018-11-21 | 2022-05-17 | Honda Motor Co., Ltd. | Evaluation system, evaluation method, and storage medium |
CN114530042A (zh) * | 2021-12-31 | 2022-05-24 | 威海南海数字产业研究院有限公司 | 一种基于物联网技术的城市交通大脑监控系统 |
CN116071688A (zh) * | 2023-03-06 | 2023-05-05 | 台州天视智能科技有限公司 | 一种车辆的行为分析方法、装置、电子设备及存储介质 |
CN117456481A (zh) * | 2023-12-22 | 2024-01-26 | 华南师范大学 | 一种防伪车牌识别方法、系统及终端 |
CN117934555A (zh) * | 2024-03-21 | 2024-04-26 | 西南交通大学 | 基于深度学习的车辆车速识别方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100000313A (ko) * | 2008-06-24 | 2010-01-06 | 주식회사 엔텍 | 어린이 보호구역 내의 통행 위반 차량 검지 시스템 |
CN102547244A (zh) * | 2012-01-17 | 2012-07-04 | 深圳辉锐天眼科技有限公司 | 视频监控方法及系统 |
CN103903449A (zh) * | 2014-04-21 | 2014-07-02 | 闽南师范大学 | 一种基于车牌识别技术的高速公路车辆查找方法 |
CN104506804A (zh) * | 2014-12-22 | 2015-04-08 | 安徽三联交通应用技术股份有限公司 | 一种快速道路上的机动车异常行为监测装置及其方法 |
-
2018
- 2018-03-11 CN CN201810197761.9A patent/CN108335489A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100000313A (ko) * | 2008-06-24 | 2010-01-06 | 주식회사 엔텍 | 어린이 보호구역 내의 통행 위반 차량 검지 시스템 |
CN102547244A (zh) * | 2012-01-17 | 2012-07-04 | 深圳辉锐天眼科技有限公司 | 视频监控方法及系统 |
CN103903449A (zh) * | 2014-04-21 | 2014-07-02 | 闽南师范大学 | 一种基于车牌识别技术的高速公路车辆查找方法 |
CN104506804A (zh) * | 2014-12-22 | 2015-04-08 | 安徽三联交通应用技术股份有限公司 | 一种快速道路上的机动车异常行为监测装置及其方法 |
Non-Patent Citations (3)
Title |
---|
宋耀: "交通监控视频中的车辆异常行为检测", 《电视技术》 * |
尹宏鹏: "智能视频分析的车辆异常行为检测方法", 《重庆大学学报》 * |
赵有婷: "基于视频车辆轨迹模型的交通事件自动检测方法研究", 《中山大学学报》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109147340A (zh) * | 2018-08-30 | 2019-01-04 | 平安科技(深圳)有限公司 | 违法停车案件的鉴别方法、装置和计算机设备 |
US11335103B2 (en) * | 2018-11-21 | 2022-05-17 | Honda Motor Co., Ltd. | Evaluation system, evaluation method, and storage medium |
CN111402612A (zh) * | 2019-01-03 | 2020-07-10 | 北京嘀嘀无限科技发展有限公司 | 一种交通事件通知方法及装置 |
CN111489545A (zh) * | 2019-01-28 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 道路监控方法、装置以及设备、存储介质 |
CN111489545B (zh) * | 2019-01-28 | 2023-03-31 | 阿里巴巴集团控股有限公司 | 道路监控方法、装置以及设备、存储介质 |
CN110136449A (zh) * | 2019-06-17 | 2019-08-16 | 珠海华园信息技术有限公司 | 基于深度学习的交通视频车辆违停自动识别抓拍的方法 |
CN110136449B (zh) * | 2019-06-17 | 2022-05-20 | 珠海华园信息技术有限公司 | 基于深度学习的交通视频车辆违停自动识别抓拍的方法 |
CN111027558A (zh) * | 2019-10-23 | 2020-04-17 | 中电科新型智慧城市研究院有限公司 | 一种违章车辆车型及车牌识别的方法 |
CN110825093B (zh) * | 2019-11-28 | 2021-04-16 | 安徽江淮汽车集团股份有限公司 | 自动驾驶策略生成方法、装置、设备及存储介质 |
CN110825093A (zh) * | 2019-11-28 | 2020-02-21 | 安徽江淮汽车集团股份有限公司 | 自动驾驶策略生成方法、装置、设备及存储介质 |
CN111274931A (zh) * | 2020-01-19 | 2020-06-12 | 上海眼控科技股份有限公司 | 超车行为的审核方法、装置、计算机设备和存储介质 |
CN111382704B (zh) * | 2020-03-10 | 2023-12-15 | 以萨技术股份有限公司 | 基于深度学习的车辆压线违章判断方法、装置及存储介质 |
CN111382704A (zh) * | 2020-03-10 | 2020-07-07 | 北京以萨技术股份有限公司 | 基于深度学习的车辆压线违章判断方法、装置及存储介质 |
CN111583670A (zh) * | 2020-05-07 | 2020-08-25 | 西安智文琛软件有限公司 | 一种利用无人机监测超速行车的方法、监测系统及无人机 |
CN111640309A (zh) * | 2020-05-22 | 2020-09-08 | 浙江工贸职业技术学院 | 一种快捷的车辆检测系统 |
CN112507993A (zh) * | 2021-02-05 | 2021-03-16 | 上海闪马智能科技有限公司 | 一种异常驶离的检测方法、系统、电子设备及存储介质 |
CN113409587A (zh) * | 2021-06-16 | 2021-09-17 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
CN113409587B (zh) * | 2021-06-16 | 2022-11-22 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
CN113634356A (zh) * | 2021-08-12 | 2021-11-12 | 长春市九台区侬富米业有限公司 | 一种大米和玉米多功能研磨制米面智能系统及方法 |
CN113658436A (zh) * | 2021-08-18 | 2021-11-16 | 刘哲鸣 | 一种基于智慧交通物联网的交通监测系统 |
CN113870304A (zh) * | 2021-12-07 | 2021-12-31 | 江西中业智能科技有限公司 | 异常行为检测与跟踪方法、装置、可读存储介质及设备 |
CN114530042A (zh) * | 2021-12-31 | 2022-05-24 | 威海南海数字产业研究院有限公司 | 一种基于物联网技术的城市交通大脑监控系统 |
CN116071688A (zh) * | 2023-03-06 | 2023-05-05 | 台州天视智能科技有限公司 | 一种车辆的行为分析方法、装置、电子设备及存储介质 |
CN117456481A (zh) * | 2023-12-22 | 2024-01-26 | 华南师范大学 | 一种防伪车牌识别方法、系统及终端 |
CN117456481B (zh) * | 2023-12-22 | 2024-05-14 | 华南师范大学 | 一种防伪车牌识别方法、系统及终端 |
CN117934555A (zh) * | 2024-03-21 | 2024-04-26 | 西南交通大学 | 基于深度学习的车辆车速识别方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108335489A (zh) | 高速公路车辆行为语义分析及异常行为监控系统及方法 | |
CN106652465B (zh) | 一种道路异常驾驶行为的识别方法及系统 | |
CN103116987B (zh) | 一种基于监控视频处理的车流统计和违规检测的方法 | |
Tian et al. | Hierarchical and networked vehicle surveillance in its: A survey | |
Tian et al. | Rear-view vehicle detection and tracking by combining multiple parts for complex urban surveillance | |
Tian et al. | Video processing techniques for traffic flow monitoring: A survey | |
Husain et al. | Vehicle detection in intelligent transport system under a hazy environment: a survey | |
Qi et al. | Efficient railway tracks detection and turnouts recognition method using HOG features | |
CN103778786A (zh) | 一种基于显著车辆部件模型的交通违章检测方法 | |
Chetouane et al. | Vision‐based vehicle detection for road traffic congestion classification | |
CN104537841A (zh) | 无牌车辆违章检测方法及其检测系统 | |
CN111597905B (zh) | 一种基于视频技术的公路隧道停车检测方法 | |
Wu et al. | A Real‐Time Embedded Blind Spot Safety Assistance System | |
Wang et al. | Towards detection of abnormal vehicle behavior using traffic cameras | |
CN107705577A (zh) | 一种基于车道线标定车辆违章变道的实时检测方法及系统 | |
Gao et al. | On‐line vehicle detection at nighttime‐based tail‐light pairing with saliency detection in the multi‐lane intersection | |
KR102306789B1 (ko) | 교행 다차로에서의 이상차량 인식방법 및 장치 | |
Nagaraj et al. | Traffic jam detection using image processing | |
Tao et al. | A three-stage framework for smoky vehicle detection in traffic surveillance videos | |
CN114530042A (zh) | 一种基于物联网技术的城市交通大脑监控系统 | |
CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
Hai-Feng et al. | Vehicle abnormal behavior detection system based on video | |
CN110782485A (zh) | 一种车辆变道检测方法及装置 | |
CN112686136B (zh) | 一种对象检测方法、装置及系统 | |
Ge et al. | A real‐time lane detection algorithm based on intelligent CCD parameters regulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180727 |