CN107808392A - 开放场景的安检车辆自动跟踪定位方法及系统 - Google Patents

开放场景的安检车辆自动跟踪定位方法及系统 Download PDF

Info

Publication number
CN107808392A
CN107808392A CN201711046785.6A CN201711046785A CN107808392A CN 107808392 A CN107808392 A CN 107808392A CN 201711046785 A CN201711046785 A CN 201711046785A CN 107808392 A CN107808392 A CN 107808392A
Authority
CN
China
Prior art keywords
frame
car
vehicle
car body
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711046785.6A
Other languages
English (en)
Other versions
CN107808392B (zh
Inventor
何占华
黄吓珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Science And Technology Development Co Ltd (fujian) Technology Development Co Ltd
Original Assignee
China Science And Technology Development Co Ltd (fujian) Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Science And Technology Development Co Ltd (fujian) Technology Development Co Ltd filed Critical China Science And Technology Development Co Ltd (fujian) Technology Development Co Ltd
Priority to CN201711046785.6A priority Critical patent/CN107808392B/zh
Publication of CN107808392A publication Critical patent/CN107808392A/zh
Application granted granted Critical
Publication of CN107808392B publication Critical patent/CN107808392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明涉及开放场景的安检车辆自动跟踪定位方法及系统,包括采集进站车辆视频图像,根据视频图像进行车牌识别得到车牌识别结果;根据车牌识别结果读取数据库中本车牌对应车型信息以及事件发生的相应时间段,车型信息包括车体的颜色和轮廓特征;将所述车体的颜色与目标检测区域的背景颜色比对,选取跟踪算法;根据选取的跟踪算法,逐帧判断车体最下边缘是否出现在地沟正上方监测区域内;若车体最下边缘出现在地沟正上方监测区域内则启动车牌的特征点关键点逐帧匹配跟踪技术,逐帧跟踪车牌位置变动;根据车牌位置变动结果判定车牌中心坐标变动进入特定的阈值,若进入特定的阈值,判定车辆静止,同时启动车灯定位与雨刮运动识别技术进行自动安检。

Description

开放场景的安检车辆自动跟踪定位方法及系统
技术领域
本发明涉及一种适用于全自动化无人值守的车辆安全例检场合,配合基于计算机视觉的车灯定位与雨刮运动检测等技术构成一套完整的全自动车辆安全例检及年检系统方案,尤其涉及一种开放场景的安检车辆自动跟踪定位方法及系统。
背景技术
随着大数据,互联网+,深度机器学习等信息与人工智能技术的发展,为解决日益增长的交通拥堵,负荷与运力资源配置不平衡等矛盾,国家发改委和交通运输部于2016年联合提出了智能交通(ITS)系统的总体框架和发展方案,并强调了智能运输服务系统、智能运输管理系统、智能决策支持系统信息化发展的重要性。而车辆的年检和安全例检作为道路运输安全监管的主要内容,则其信息化和标准化自然成为ITS的重点建设目标。
目前,国内车辆年检的智能化和信息化水平不高,基本属于半自动化状态[3],根据国家规定,机动车必须定期通过尾气检测、汽车外观、车灯、刹车、底盘等检测项目,根据车型及营运性质,一般为一年一次年检或者半年一次年检,而根据交通运输部出台的《汽车客运站营运客车安全例行检查工作规范》规定,客运班线单程营运里程小于800公里的客运班车和往返营运时间不超过24小时的营运班车,实行每日检查一次;客运班线单程营运里程在800公里(含)以上的客运班车和往返营运时间在24小时(含)以上的营运班车,实行每个单程检查一次。因此客运站安全例检的频度和工作量强度远大于汽车年检的强度,根据统计,在节假日高峰期,平均每3分钟都会有1辆车需要安检,每个安检站需要配备3~4名安检员三班倒来进行。
而在设计基于图像识别的全自动车辆安检系统中,针对所有的安全例检项目,除了胎压,扭矩,底盘外,前后车灯和雨刮器等大部分检查项目则是可以采用基于图像识别来全自动进行,并可大大提高安检员的效率。检查结果也可以与相关省市的运政系统对接,提高信息化程度。
目前国内外车辆安全年检和例检的自动化及信息化程度发展现状:当前客运车辆以及农用车辆的安全例检与年检问题主要在于靠人工检测,效率低下,可靠性差且安检人员专业水平高低不一,安检标准不统一[2],因此基于图像识别技术的安全例检具有重大的经济社会效益。
目前国内各大中城市,车辆的安全例检一般是在经营者自身规划的场地进行[3],除了防雨防淋外,并没有对遮光有严格要求,所以周边经常出现不相干的车辆与行人,给车辆轮廓的图像跟踪造成一定的干扰,同时车辆进站后,在录像过程中镜头抖动以及雨天地板坑坑洼洼的倒影也会造成跟踪目标特征突变形成技术难点,另外,车辆视频跟踪与识别作为智能交通信息化的热点,虽然当前有许多相关的文献与发明进行这方面研究[4][5][6],但一般都是关于交通流量的统计和交通事故的分析,其算法侧重于对一般车辆的跟踪,并不适合对具有丰富先验信息的特定车辆进行跟踪及后期对各车灯定位与亮度变化等检查项目的识别。
目标跟踪作为视频分析的热点之一,目前有多种算法,总共包含三个步骤,即运动检测,模型建立或特征提取,模型参数或特征跟踪三个环节。
运动检测方面,常用方法有帧间差分法、光流法、背景减除法,混合高斯模型法等.其中帧间差分能够快速有效地从帧间检测出运动目标,速度快, 且对环境整体光照变化不敏感, 具有较强的自适应性, 能够消除挡风玻璃复杂的背景反光问题。不足之处在于因物体内部灰度分布的均匀性而造成较大空洞,导致无法找到运动目标连通域。
现有技术存在的缺点如下:1)现有的机动车辆安全例检与年检问题主要在于大部分靠人工检测,效率低下,可靠性差且安检人员专业水平高低不一,安检标准不统一,不能实现自动检测;2)检测结果不能信息化,不利于信息的审查管理,责任追踪,也不利于事前预防;3)当前基于计算机视觉的车辆跟踪以及定位技术是关于交通流量的统计和交通事故的分析,其算法侧重于对一般车辆的跟踪,并不适合对具有丰富先验信息的特定车辆进行跟踪及后期对各车灯定位与亮度变化等检查项目的识别;当前车辆跟踪算法不能滤除周边出现不相干的车辆与行人,不能识别司机,和副驾驶等人员的出入和交谈造成的假运动目标,不能克服镜头的抖动造成的跟踪目标中断以及不能克服雨天地板的水坑倒影造成的虚假车辆目标形成的误判。
有鉴于上述的缺陷,本设计人,积极加以研究创新,以期创设一种开放场景的安检车辆自动跟踪定位方法及系统,使其更具有产业上的利用价值。
发明内容
为解决上述技术问题,本发明的目的是提供一种适用于农用运输车,各类工程车,收割机,营运车辆每日例行安全检查以及车辆年检的开放场景的安检车辆自动跟踪定位方法及系统。
本发明的开放场景的安检车辆自动跟踪定位方法,采集进站车辆视频图像,根据视频图像进行车牌识别得到车牌识别结果;
根据车牌识别结果读取数据库中本车牌对应车型信息以及事件发生的相应时间段,所述车型信息包括车体的颜色和轮廓特征;
将所述车体的颜色与目标检测区域的背景颜色比对,选取跟踪算法;
根据选取的跟踪算法,逐帧判断车体最下边缘是否出现在地沟正上方监测区域内;
若车体最下边缘出现在地沟正上方监测区域内则启动车牌的特征点关键点逐帧匹配跟踪技术,逐帧跟踪车牌位置变动;
根据车牌位置变动结果判定车牌中心坐标变动进入特定的阈值,若进入特定的阈值,则判定车辆静止;
若车辆静止,则启动车灯定位与雨刮运动识别技术进行自动安检。
进一步的,将所述车体的颜色与目标检测区域的背景颜色比对,选取跟踪算法的方法为:若车体的颜色与目标检测区域的背景颜色差值大于设定的阈值,则采用车辆颜色直方图分布作为运动目标描述子进行跟踪;若车体的颜色与目标检测区域的背景颜色设在设定误差允许范围之内,则采用帧间差分法与运动历史图算法相结合跟踪算法。
进一步的,采用车辆颜色直方图分布作为运动目标描述子进行跟踪的具体方法为:从数据库读取车体目标颜色直方图模型,
根据上述目标颜色直方图模型反向投影计算当前帧所有像素的目标的概率分布图;
对得到的当前帧目标的概率分布图用camShift通过迭代获取目标的新的位置,求取此目标最下边缘线所在的y值及长度。
进一步的,从数据库读取车体目标颜色直方图模型的计算方法如下:
--------(2.3--1)
其中u为颜色索引,为u在车体直方图里占的概率密度,假如取RGB各16种颜色,故索引值在0~4096之间,假设车体图片大小为300*200,则n取值为60000.为核函数,在此可取高斯核,这个像素所在的直方图区间,为概率归一化系数,取值为:
---------------------(2.3--2)
为各像素相对车体中心(,)的归一化距离:
------(2.3--3)
相应地可以得到当前帧候选目标区域的颜色直方图跟踪模型如下:
--(2.3--4)
其中为矢量,代表候选区域中心位置坐标,其余参数意义同上。
目标模型与当前帧候选区域模型的相似度匹配代价函数通过Bhattacharrya系数相似度来表示,即:
----------(2.3---5)
将上述相似度函数在前一帧的目标物体中心处作泰勒级数展开并令一阶梯度为零可得候选区域中心向目标区域中心的meanshift迭代方程如下:
--(2.3---6)
其中:
---------------------(2.3--7)
-----(2.3--8)
进一步的,所述从数据库读取车体目标颜色直方图模型的计算方法还包括:采用Camshift算法来完成对车体的跟踪,所述Camshift算法步骤为: (1)初始化搜索窗;(2)计算搜索窗的颜色概率分布(反向投影);(3)运行meanshift算法,获得搜索窗新的大小和位置;(4)在下一帧视频图像中用(3)中的值重新初始化搜索窗的大小和位置,再跳转到(2)继续进行;(5)求取此目标最下边缘线所在的y值及长度;(6)判断此边缘线是否出现在地沟正上方监测区域内。
进一步的,采用帧间差分法与运动历史图算法相结合跟踪算法的步骤为:
求取基于帧间差的运动历史图,进行多尺度高斯下采样;
通过形态学滤波去燥,膨胀,腐蚀后求取各运动历史图各连通域最大外接矩形;
逐帧判断车体最下边缘是否出现在地沟正上方监测区域内;
若车体最下边缘出现在地沟正上方监测区域内,则启动车牌的特征点关键点逐帧匹配跟踪技术,逐帧跟踪车牌位置变动。
一种开放场景的安检车辆自动跟踪定位系统,包括网络摄像机,用于采集进站车辆视频图像;
车牌识别模块,用于对采集的车辆视频图像进行车辆跟踪识别及图像处理;
服务器,用于从远程行政管理系统数据库读取车牌相对应的车辆信息。
进一步的,所述网络摄像机设为CCD摄像头或者CMOS摄像头。
进一步的,所述摄像头支持H264视频编码压缩格式,具有至少420线清晰度,并且带有红外夜视功能。
借由上述方案,本发明至少具有以下优点:开放的安检场所中,存在众多不相干的人与物的运动,本发明解决了用传统的跟踪算法则可能出现多个符合目标位置与大小几何特征的运动目标,另一方面,解决了在暴风雨天的情况下,地板水坑的车辆倒影也会形成一个新的合乎条件的运动目标,同时镜头抖动也会在滤波处理后的运动历史图里形成多个连通区域,这些伪目标区域会与真正的车辆轮廓区域形成一个更大的总区域,从而使得传统的运动历史图算法得不到符合目标车辆几何特征的最大连通区域导致跟踪失败退出的问题;经过本发明针对监测区域的针对性选择缩小后,则可以克服了各种行人与路面水坑倒影带来的车体外缘变形带来的干扰,具有较好的实际推广价。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例详细说明如后。
附图说明
图1是本发明开放场景的安检车辆自动跟踪定位方法的流程示意图;
图2是本发明开放场景的安检车辆自动跟踪定位系统示意图;
图3是本发明绿色车体的颜色直方图以及高亮显示的车体反投影直方图;
图4是本发明开放场景的安检车辆自动跟踪定位系统某一时刻对应的运动历史图;
图5是本发明开放场景的安检车辆自动跟踪定位系统改进运动历史图的跟踪效果图
图6是本发明开放场景的安检车辆自动跟踪定位系统设定的理想的车辆目标检测区域;
图7是本发明开放场景的安检车辆自动跟踪定位系统目标区域修正后车体运动历史图;
图8是本发明开放场景的安检车辆自动跟踪定位系统SIFT特征点匹配的车牌定位图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
参见图1,本发明一较佳实施例所述的一种开放场景的安检车辆自动跟踪定位方法,该方法的执行主体参见图2所述的系统示意图,包括:
S1:采集进站车辆视频图像, 该工作由安装在固定位置的CCD摄像头或者CMOS摄像头来完成,要求摄像头支持H264等视频编码压缩格式,具有至少420线清晰度,并且带有红外夜视功能,可以在夜晚采集图像,或者采用IR防雾双玻璃镜头,以提高稳定性和抗干扰能力,并适用于室外工作,另外,为了采集到适用于感观测量的理想的轮胎图像,要求本摄像机具有远程wifi传输功能;
S2:根据视频图像进行车牌识别得到车牌识别结果;其中车牌识别模块安装在安检台上,在车辆进入安检台前预先完成车牌的识别,并反馈给本地服务器程序,触发新的一轮安检车辆的跟踪定位与车顶雨刮识别;
根据车牌识别结果读取数据库中本车牌对应车型信息以及事件发生的相应时间段,所述车型信息包括车体的颜色和轮廓特征;
S3:将所述车体的颜色与目标检测区域的背景颜色比对,选取跟踪算法;根据选取的跟踪算法,逐帧判断车体最下边缘是否出现在地沟正上方监测区域内;
具体将所述车体的颜色与目标检测区域的背景颜色比对,选取跟踪算法的方法为:若车体的颜色与目标检测区域的背景颜色差值大于设定的阈值,则采用车辆颜色直方图分布作为运动目标描述子进行跟踪;
采用车辆颜色直方图分布作为运动目标描述子进行跟踪的具体方法为:从数据库读取车体目标颜色直方图模型,
根据上述目标颜色直方图模型反向投影计算当前帧所有像素的目标的概率分布图;
对得到的当前帧目标的概率分布图用camShift通过迭代获取目标的新的位置,求取此目标最下边缘线所在的y值及长度。
从数据库读取车体目标颜色直方图模型的计算方法如下:
--------(2.3--1)
其中u为颜色索引,为u在车体直方图里占的概率密度,假如取RGB各16种颜色,故索引值在0~4096之间,假设车体图片大小为300*200,则n取值为60000.为核函数,在此可取高斯核,这个像素所在的直方图区间,为概率归一化系数,取值为:
---------------------(2.3--2)
为各像素相对车体中心(,)的归一化距离:
------(2.3--3)
相应地可以得到当前帧候选目标区域的颜色直方图跟踪模型如下:
--(2.3--4)
其中为矢量,代表候选区域中心位置坐标,其余参数意义同上。
目标模型与当前帧候选区域模型的相似度匹配代价函数这里选用Bhattacharrya系数相似度来表示,即:
----------(2.3---5)
为使相似函数最大,将上述相似度函数在前一帧的目标物体中心处作泰勒级数展开并令一阶梯度为零可得候选区域中心向目标区域中心的meanshift迭代方程如下:
--(2.3---6)
其中:
---------------------(2.3--7)
-----(2.3--8)
考虑到车体本身在运动过程中面积变化,将meanshift算法扩展到连续图像序列,并将上一帧的结果,即搜索窗的大小和中心,作为下一帧meanshift算法搜索窗的初始值。如此迭代下去,就可以实现对目标的跟踪,所以这里采用自适应搜索窗口大小的改进版Camshift算法来完成对车体的跟踪。改进后,Camshift算法步骤如下:(1)初始化搜索窗;(2)计算搜索窗的颜色概率分布(反向投影);(3)运行meanshift算法,获得搜索窗新的大小和位置;(4)在下一帧视频图像中用(3)中的值重新初始化搜索窗的大小和位置,再跳转到(2)继续进行;(5)求取此目标最下边缘线所在的y值及长度;(6)判断此边缘线是否出现在地沟正上方监测区域内改进后,针对灰度值与背景相近而颜色分布与背景存在差异的车型在简单背景下能够取得良好的跟踪效果,图3绿色车体的颜色直方图以及高亮显示的车体反投影直方。
若车体的颜色与目标检测区域的背景颜色设在设定误差允许范围之内,则采用帧间差分法与运动历史图算法相结合跟踪算法。具体的采用帧间差分法与运动历史图算法相结合跟踪算法的步骤为:
求取基于帧间差的运动历史图,进行多尺度高斯下采样;求取基于帧间差的运动历史图,进行多尺度高斯下采样,图中每个像素的灰度值表示了该像素最后运动的时刻接近当前帧的程度,灰度值越高,运动发生时刻越新,设为运动历史图像素的灰度值,可以由更新函数计算得出:
式中,为像素的位置及时间,为持续时间,以帧数的形式描述,为衰退参数。为更新条件,可由帧间差、图像差分或光流等多种方法定义,本文采用帧间差法。
其中式中,为视频图像序列第t帧点灰度值,为帧间时间间隔,为亮度阈值,随着视频场景的变化而调整。
由定义,较大的与较小的组合将使运动历史图产生连续的、变化缓慢的梯度分布,而较大的与值较小的组合则会造成离散的阶梯状分布。在实践中,需要根据现场的车辆运动快慢实际情况进行确定合适参数值,以持续时间为0.5秒并去亮度阈值30为例则可得较清晰的车辆轮廓图,如图4所示:
形态学滤波去燥,膨胀,腐蚀后求取各运动历史图各连通域最大外接矩形;
经过帧间差二值图后,运动物体的轮廓边线实际上还是比较细,不能保证完全闭合,求最大连通图时并不能保证得到可靠的外围轮廓,为避免程序误得到运动物体的某个局部的连通子图,程序必须对帧间差二值图做进一步的滤波去噪处理,本文采用先中值滤波,再进行二尺度高斯模板卷积滤波,1/4之一向下采样后再利用形态学溶解操作以达到去孤立噪点并消除连续边缘像素点之间的不连续。最后向上采样,恢复图像,这样便可以得到比较理想的运动车辆轮廓。综合各步骤,在无干扰的理想情况下可得车辆轮廓提取算法效果如图5:
逐帧判断y值最低的运动连通域底边(车体最下边缘)是否出现在地沟正上方监测区域内
经过分析可以发现不管是镜头抖动还是非目标物体干扰,这些物体除了车辆外均不会出现在安检地沟的区域,致使地沟正上方方形区域(如图6中的方框)成为检测车辆是否存在的理想区域,当有车辆进来,必然在此区域产生大于区域宽度的水平线(即运动车体的底边)的历史图块,即使发生了抖动,因为地沟下面的灯区因面积太小所产生的历史图块的底边也会很小,因而形成不了一个横跨区域的水平线。这样便可以以水平线是否存在为目标几何特征判断车辆运动与否并滤除镜头抖动的干扰。图4理想的车辆目标检测区域,因此我们可以将帧间差的运动历史图算法局限在地沟正上方这个理想区域内进行。最后得到此区域的运动车体轮廓如图7:
由图7可以看出,在地沟正上方的狭小目标区域内有3个连通区域。分别对应图6车辆的“航”这个汉字logo,“航”字logo右边的外凸的圆形logo以及车体本身,虽然车体连通区域左边因为像素相似性在帧间差过程中被减为0而产生较大空洞,但是在经过运动持续时间设置后使车体运动外缘产生一定厚度的轮廓线后,我们仍然可以可靠得到车体底边的水平线,判断水平线的长度即可以判断是否有目标车辆的出现及运动状态。从而省去了一般跟踪算法需要的逐帧目标几何特征相似度的匹配搜索与标识,也克服了各种行人与路面水坑倒影带来的车体外缘变形。
若车体最下边缘出现在地沟正上方监测区域内则启动车牌的特征点关键点逐帧匹配跟踪技术,逐帧跟踪车牌位置变动;
根据车牌位置变动结果判定车牌中心坐标变动进入特定的阈值,则判定车辆静止;
在前述检测到车辆进入地沟上方小监测区域后,本发明采用比较稳健的特征点匹配跟踪算法对车牌单独跟踪,下面以车牌的SIFT描述子为例说明,对匹配到的关键点后期再做KNN (或K-mean)聚类分析,将密度较大的区域与孤立的假匹配点滤除,然后再求密度最大区域点集的中心坐标,若变化小于某个阈值认为车辆静止,再结合上述上述的车辆整体图片的特征点几何配准求取车辆轮廓外接矩形的4个点坐标得到车辆大致轮廓。得到车牌匹配到的特征点对后可以作为下一步配准单位变换矩阵的数据源,为找到最优的参数矩阵使得满足该矩阵的数据点个数最多,可利用随机抽样一致性(RANSAC)算法寻找最佳单应性矩阵H,之后将作为匹配模板的车牌特征点集的外围4个边缘角点利用单应性矩阵H可以算出车牌在视频里的对应位置,这样根据每帧车牌位置中心的变动即可确定车辆的运动状态以及车体的轮廓坐标,具体跟踪效果如图8所示。
如图2所示的一种开放场景的安检车辆自动跟踪定位系统,其用于实现上述方法:包括网络摄像机1,用于采集进站车辆视频图像;车牌识别模块2,用于对采集的车辆视频图像进行车辆跟踪识别及图像处理;服务器3,用于从远程行政管理系统5读取车牌相对应的车辆信息;数据库4,用于提取车牌对应车型信息。
本发明必须配套结合后续的车灯图像定位,车灯亮度变化检测以及雨刮运动检测等其他计算机视觉应用技术一起使用,构建一个智能的无人化全自动例行安检系统,本发明的重点在于利用机器视觉和人工智能技术解决目前依赖人工肉眼或者红外,地感线圈等传统传感器判断的车辆静止技术,使得整个过程自动化,精确化,和标准化,提高了稳定性,和统一性,结合当前的智能交通平台时有很大的拓展空间。
本发明在车辆运动物体的静止检测与运动跟踪中除了使用帧间差分法与运动历史图模板的互相结合外,还包括使用其他的运动检测算法如光流法、背景减除法,混合高斯模型法等与运动历史图的结合思想。
本发明在后续的车牌特征点跟踪匹配环节里面,除了例子提到的利用车牌的SIFT特征描述子进行跟踪匹配外,还应包含SURF,ORB,BRISK,FREAK等特征描述子的方案。
本发明必须包含如下发明思路,即针对安检的车辆必须事先每辆采集车牌图片,车灯图片,车体logo图片等大量信息构建先验数据库以便程序运行时实时调出比对匹配。
本发明的工作原理如下:从车辆进站开始,先进行车牌识别,识别后读取数据库相应的车型信息得到车体的颜色并结合当前的时间段的目标监测区域背景颜色确定后续针对这种车型的跟踪定位算法,如果该车车体颜色与地沟正上方的目标监测区域背景颜色相差大于某个阈值则采用车辆颜色直方图分布作为运动目标描述子进行跟踪,如果上述二者相差不大则采用帧间差分法与运动历史图算法相结合,通过时间戳,将不同时刻的帧间差分结果以不同的灰度值累积在运动历史图里,通过形态学的腐蚀膨胀以及运动维持时间设置,可以将运动物体的周边轮廓以一定的厚度完整保留,从而再求最大连通域时便获得完整的运动物体外形轮廓。特征提取方面,本发明采用区域匹配加特征匹配算法跟踪。
模型跟踪方面本发明结合参加例检目标车辆的目标位置的特殊性与目标车辆颜色概率分布,车牌SIFT描述子等可以预先保存在数据库的先验信息来增加限制条件,将运动检测算法的范围局限在可以先验知道的狭小目标区域(即检查地沟正上方处)进行,同时结合鲁棒性强的特征关键点匹配检测用以确认目标位置是否产生变动,从而在复杂开放的安检场景中完成稳健跟踪。
以上所述仅是本发明的优选实施方式,并不用于限制本发明,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。

Claims (9)

1.一种开放场景的安检车辆自动跟踪定位方法,其特征在于:采集进站车辆视频图像,根据视频图像进行车牌识别得到车牌识别结果;
根据车牌识别结果读取数据库中本车牌对应车型信息以及事件发生的相应时间段,所述车型信息包括车体的颜色和轮廓特征;
将所述车体的颜色与目标检测区域的背景颜色比对,选取跟踪算法;
根据选取的跟踪算法,逐帧判断车体最下边缘是否出现在地沟正上方监测区域内;
若车体最下边缘出现在地沟正上方监测区域内则启动车牌的特征点关键点逐帧匹配跟踪技术,逐帧跟踪车牌位置变动;
根据车牌位置变动结果判定车牌中心坐标变动进入特定的阈值,若进入特定的阈值,则判定车辆静止;
若车辆静止,则启动车灯定位与雨刮运动识别技术进行自动安检。
2.根据权利要求1所述的开放场景的安检车辆自动跟踪定位方法,其特征在于:将所述车体的颜色与目标检测区域的背景颜色比对,选取跟踪算法的方法为:若车体的颜色与目标检测区域的背景颜色差值大于设定的阈值,则采用车辆颜色直方图分布作为运动目标描述子进行跟踪;若车体的颜色与目标检测区域的背景颜色在设定误差允许范围之内,则采用帧间差分法与运动历史图算法相结合跟踪算法。
3.根据权利要求2所述的开放场景的安检车辆自动跟踪定位方法,其特征在于:采用车辆颜色直方图分布作为运动目标描述子进行跟踪的具体方法为:从数据库读取车体目标颜色直方图模型,
根据上述目标颜色直方图模型反向投影计算当前帧所有像素的目标的概率分布图;
对得到的当前帧目标的概率分布图用camShift通过迭代获取目标的新的位置,求取此目标最下边缘线所在的y值及长度。
4.根据权利要求3所述的开放场景的安检车辆自动跟踪定位方法,其特征在于:从数据库读取车体目标颜色直方图模型的计算方法如下: --------(2.3--1)
其中u为颜色索引,为u在车体直方图里占的概率密度,假如取RGB各16种颜色,故索引值在0~4096之间,假设车体图片大小为300*200,则n取值为60000.为核函数,在此可取高斯核,这个像素所在的直方图区间,为概率归一化系数,取值为:
---------------------(2.3--2)
为各像素相对车体中心(,)的归一化距离:
------(2.3--3)
相应地可以得到当前帧候选目标区域的颜色直方图跟踪模型如下:
--(2.3--4)
其中为矢量,代表候选区域中心位置坐标,其余参数意义同上。
5.目标模型与当前帧候选区域模型的相似度匹配代价函数通过Bhattacharrya系数相似度来表示,即:
----------(2.3---5)
将上述相似度函数在前一帧的目标物体中心处作泰勒级数展开并令一阶梯度为零可得候选区域中心向目标区域中心的meanshift迭代方程如下:
--(2.3---6)
其中:
---------------------(2.3--7)
-----(2.3--8)
根据权利要求4所述的开放场景的安检车辆自动跟踪定位方法,其特征在于:所述从数据库读取车体目标颜色直方图模型的计算方法还包括:采用Camshift算法来完成对车体的跟踪,所述Camshift算法步骤为: (1)初始化搜索窗;(2)计算搜索窗的颜色概率分布(反向投影);(3)运行meanshift算法,获得搜索窗新的大小和位置;(4)在下一帧视频图像中用(3)中的值重新初始化搜索窗的大小和位置,再跳转到(2)继续进行;(5)求取此目标最下边缘线所在的y值及长度;(6)判断此边缘线是否出现在地沟正上方监测区域内。
6.根据权利要求2所述的开放场景的安检车辆自动跟踪定位方法,其特征在于:采用帧间差分法与运动历史图算法相结合跟踪算法的步骤为:
求取基于帧间差的运动历史图,进行多尺度高斯下采样;
通过形态学滤波去燥,膨胀,腐蚀后求取各运动历史图各连通域最大外接矩形;
逐帧判断车体最下边缘是否出现在地沟正上方监测区域内;
若车体最下边缘出现在地沟正上方监测区域内,则启动车牌的特征点关键点逐帧匹配跟踪技术,逐帧跟踪车牌位置变动。
7.一种开放场景的安检车辆自动跟踪定位系统,其特征在于:包括网络摄像机,用于采集进站车辆视频图像;
车牌识别模块,用于对采集的车辆视频图像进行车辆跟踪识别及图像处理;
服务器,用于从远程行政管理系统数据库读取车牌相对应的车辆信息。
8.根据权利要求7所述的开放场景的安检车辆自动跟踪定位系统,其特征在于:所述网络摄像机设为CCD摄像头或者CMOS摄像头。
9.根据权利要求7所述的开放场景的安检车辆自动跟踪定位系统,其特征在于:所述摄像头支持H264视频编码压缩格式,具有至少420线清晰度,并且带有红外夜视功能。
CN201711046785.6A 2017-10-31 2017-10-31 开放场景的安检车辆自动跟踪定位方法及系统 Active CN107808392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711046785.6A CN107808392B (zh) 2017-10-31 2017-10-31 开放场景的安检车辆自动跟踪定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711046785.6A CN107808392B (zh) 2017-10-31 2017-10-31 开放场景的安检车辆自动跟踪定位方法及系统

Publications (2)

Publication Number Publication Date
CN107808392A true CN107808392A (zh) 2018-03-16
CN107808392B CN107808392B (zh) 2023-04-07

Family

ID=61582989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711046785.6A Active CN107808392B (zh) 2017-10-31 2017-10-31 开放场景的安检车辆自动跟踪定位方法及系统

Country Status (1)

Country Link
CN (1) CN107808392B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648216A (zh) * 2018-04-19 2018-10-12 长沙学院 一种基于光流与深度学习的视觉里程计实现方法和系统
CN109635804A (zh) * 2018-12-06 2019-04-16 北京联合大学 一种基于SIFT和kNN的车牌识别方法及系统
CN110796682A (zh) * 2019-09-25 2020-02-14 北京成峰科技有限公司 运动目标的检测识别方法及检测识别系统
CN111126286A (zh) * 2019-12-22 2020-05-08 上海眼控科技股份有限公司 车辆动态检测方法、装置、计算机设备及存储介质
CN111582231A (zh) * 2020-05-21 2020-08-25 河海大学常州校区 一种基于视频监控的跌倒检测报警系统、方法
CN112183528A (zh) * 2020-09-23 2021-01-05 桂林电子科技大学 目标车辆跟踪的方法及其装置、系统和计算机存储介质
CN112381053A (zh) * 2020-12-01 2021-02-19 连云港豪瑞生物技术有限公司 具有图像跟踪功能的环保监测系统
CN112857746A (zh) * 2020-12-29 2021-05-28 上海眼控科技股份有限公司 一种灯光检测仪的追踪方法、装置、电子设备及存储介质
CN116309729A (zh) * 2023-02-20 2023-06-23 珠海视熙科技有限公司 目标追踪方法、装置、终端、系统及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833117A (zh) * 2010-05-24 2010-09-15 长沙博通电子科技有限公司 智能车辆安全视觉检测装置及运动目标跟踪方法
CN102867417A (zh) * 2012-09-25 2013-01-09 苏州苏迪智能系统有限公司 一种出租车防伪系统及方法
EA201101713A1 (ru) * 2011-12-12 2013-06-28 Открытое Акционерное Общество Научно-Производственное Предприятие "Альфа-Прибор" Автоматизированная система коммерческого осмотра "смотровая вышка"
CN103338325A (zh) * 2013-06-14 2013-10-02 杭州普维光电技术有限公司 基于全景摄像机的车底盘图像采集方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833117A (zh) * 2010-05-24 2010-09-15 长沙博通电子科技有限公司 智能车辆安全视觉检测装置及运动目标跟踪方法
EA201101713A1 (ru) * 2011-12-12 2013-06-28 Открытое Акционерное Общество Научно-Производственное Предприятие "Альфа-Прибор" Автоматизированная система коммерческого осмотра "смотровая вышка"
CN102867417A (zh) * 2012-09-25 2013-01-09 苏州苏迪智能系统有限公司 一种出租车防伪系统及方法
CN103338325A (zh) * 2013-06-14 2013-10-02 杭州普维光电技术有限公司 基于全景摄像机的车底盘图像采集方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648216A (zh) * 2018-04-19 2018-10-12 长沙学院 一种基于光流与深度学习的视觉里程计实现方法和系统
CN109635804A (zh) * 2018-12-06 2019-04-16 北京联合大学 一种基于SIFT和kNN的车牌识别方法及系统
CN110796682A (zh) * 2019-09-25 2020-02-14 北京成峰科技有限公司 运动目标的检测识别方法及检测识别系统
CN111126286A (zh) * 2019-12-22 2020-05-08 上海眼控科技股份有限公司 车辆动态检测方法、装置、计算机设备及存储介质
CN111582231A (zh) * 2020-05-21 2020-08-25 河海大学常州校区 一种基于视频监控的跌倒检测报警系统、方法
CN112183528A (zh) * 2020-09-23 2021-01-05 桂林电子科技大学 目标车辆跟踪的方法及其装置、系统和计算机存储介质
CN112381053A (zh) * 2020-12-01 2021-02-19 连云港豪瑞生物技术有限公司 具有图像跟踪功能的环保监测系统
CN112381053B (zh) * 2020-12-01 2021-11-19 连云港豪瑞生物技术有限公司 具有图像跟踪功能的环保监测系统
CN112857746A (zh) * 2020-12-29 2021-05-28 上海眼控科技股份有限公司 一种灯光检测仪的追踪方法、装置、电子设备及存储介质
CN116309729A (zh) * 2023-02-20 2023-06-23 珠海视熙科技有限公司 目标追踪方法、装置、终端、系统及可读存储介质

Also Published As

Publication number Publication date
CN107808392B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN107808392A (zh) 开放场景的安检车辆自动跟踪定位方法及系统
CN110069986B (zh) 一种基于混合模型的交通信号灯识别方法及系统
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
CN109190444B (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN110544211B (zh) 一种镜头付着物的检测方法、系统、终端和存储介质
CN103886567B (zh) 图像内周期性噪声修补方法
CN106469309A (zh) 车辆监控的方法和装置、处理器、图像采集设备
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN106686280A (zh) 影像修补系统及其方法
Guo et al. Image-based seat belt detection
CN106257490A (zh) 检测行驶车辆信息的方法及系统
Vancea et al. Vehicle taillight detection and tracking using deep learning and thresholding for candidate generation
CN115311241B (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
JP2019106193A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
Magnussen et al. A survey of the inadequacies in traffic sign recognition systems for autonomous vehicles
Dubuisson et al. Object contour extraction using color and motion
Pillai et al. Vehicle type and color classification and detection for amber and silver alert emergencies using machine learning
Helala et al. Road boundary detection in challenging scenarios
Wen et al. A rear-vehicle detection system for static images based on monocular vision
JP6472504B1 (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
CN112052768A (zh) 基于无人机的城市违章停车检测方法、装置及存储介质
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
CN111507196A (zh) 一种基于机器视觉和深度学习的车辆类型识别方法
CN110119769A (zh) 一种基于多模态车辆特征的检测预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant