CN103258433B - 一种交通视频监控中智能车牌清晰显示方法 - Google Patents

一种交通视频监控中智能车牌清晰显示方法 Download PDF

Info

Publication number
CN103258433B
CN103258433B CN201310140442.1A CN201310140442A CN103258433B CN 103258433 B CN103258433 B CN 103258433B CN 201310140442 A CN201310140442 A CN 201310140442A CN 103258433 B CN103258433 B CN 103258433B
Authority
CN
China
Prior art keywords
target
image
vehicle
detecting device
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310140442.1A
Other languages
English (en)
Other versions
CN103258433A (zh
Inventor
宋华军
任鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tianhong Wave Control Electronic Technology Co Ltd
Original Assignee
Qingdao Zhiyong New Material Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Zhiyong New Material Technology Co ltd filed Critical Qingdao Zhiyong New Material Technology Co ltd
Priority to CN201310140442.1A priority Critical patent/CN103258433B/zh
Publication of CN103258433A publication Critical patent/CN103258433A/zh
Application granted granted Critical
Publication of CN103258433B publication Critical patent/CN103258433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种交通视频监控中智能车牌清晰显示方法，它涉及一种交通视频监控中智能车牌清晰显示方法，属于交通监控领域。方法：一、用摄像机实时扫描车流、选定违章的车辆作为训练目标；二、对采用步骤一方式获取的多个训练目标进行初始化训练，获取检测器模型；三、继续用摄像机实时扫描车流、选定违章的车辆作为检测目标，对检测目标的视频的每一帧图像采用跟踪器和检测器并行计算，获取检测目标的位置；四、计算检测目标的大小，控制云台转动和调整焦距，将检测目标放大，来清晰的显示车牌。本发明可用于交通监控领域。

Description

一种交通视频监控中智能车牌清晰显示方法
技术领域
本发明涉及一种交通视频监控中智能车牌清晰显示方法，属于交通监控领域。
背景技术
20世纪80年代以来，随着我国国民经济的迅速发展，机动车辆规模及流量大幅度增加，全国机动车量年均增长15％以上，城市通路里程年均增长7.9％，涉车事件、案件成几何倍数增长，严重危害着人民群众的人身和财产安全，给国家造成了巨大的损失。20世纪90年代，相继开展了车辆识别系统的研究，21世纪始，研发多年的车牌照计算机自动识别技术出现，迅速在国内推广，被广泛应用于闯红灯、卡口、收费站、移动巡查、旅行时间统计等涉车的事件、案件、违规等方面查证，给涉车的违规、违法行为以沉重的打击。在实际交通环境中，通常会因抓拍的车辆成像太小而导致车牌不能识别或者识别精度较低。
发明内容
本发明目的是为了解决实际交通环境中，通常会因抓拍的车辆成像太小而导致车牌不能识别或者识别精度较低的问题，提供了一种交通视频监控中智能车牌清晰显示方法。
本发明所述一种交通视频监控中智能车牌清晰显示方法，该方法包括以下步骤：
步骤一、用摄像机实时扫描车流、选定违章的车辆作为训练目标；
步骤二、对采用步骤一方式获取的多个训练目标进行初始化训练，获取检测器模型；
步骤三、继续用摄像机实时扫描车流、选定违章的车辆作为检测目标，对检测目标的视频的每一帧图像采用跟踪器和检测器并行计算，获取检测目标的位置；
步骤四、计算检测目标的大小，控制云台转动和调整焦距，将检测目标放大，来清晰的显示车牌。
本发明的优点：
1、能够计算车辆大小的变化，并且控制相机对车辆放大。
2、当目标大小发生变化时，跟踪速度稳定。能清晰的显示车牌。
附图说明
图1是本发明所述一种交通视频监控中智能车牌清晰显示方法的总体流程图；
图2是本发明所述一种交通视频监控中智能车牌清晰显示方法的具体流程图；
图3是检测器的工作流程图；
图4是局部搜索示意图。
具体实施方式
具体实施方式一：下面结合图1和图2说明本实施方式，本实施方式所述一种交通视频监控中智能车牌清晰显示方法，该方法包括以下步骤：
步骤一、用摄像机实时扫描车流、选定违章的车辆作为训练目标；
步骤二、对采用步骤一方式获取的多个训练目标进行初始化训练，获取检测器模型；
步骤三、继续用摄像机实时扫描车流、选定违章的车辆作为检测目标，对检测目标的视频的每一帧图像采用跟踪器和检测器并行计算，获取检测目标的位置；
步骤四、计算检测目标的大小，控制云台转动和调整焦距，将检测目标放大，来清晰的显示车牌。
基本过程：首先选中(框出)违章的车辆；然后，让监控系统自主的跟踪(时刻框住)视频中的这个车辆；跟踪过程中计算目标大小，并通过相机控制对目标放大以看清车牌。
本方法有以下两个特点：
1、运用了目标匹配和模型更新一体化的并行机制计算车辆大小的变化，并且控制相机对车辆放大。
2、当目标大小发生变化时，由图3的局部搜索和图4的降采样匹配机制，跟踪速度稳定。
具体实施方式二：本实施方式对实施方式一作进一步说明，步骤一中用摄像机实时扫描车流、选定违章的车辆作为训练目标的过程为：
云台按设定转动位置和放缩倍数带动摄像机动作，实时扫描指定路段的车流，当发现车辆违章后，框选违章的车辆作为训练目标。
云台事先由操作者设定转动位置和放缩倍数，实时扫描指定路段的车流。
当有车辆违章后，由操作者框选违章的车辆(车辆不能小于40x40像素)。根据选定的车辆大小和设定的处理图像的实际目标大小(40-80像素)，对原图像进行下采样，使得下采样后的车辆大小限制在40-80像素，外面的局部搜索窗设定为120x120个像素。即后续输入到算法的图像大小一直是120x120。这样就使算法能达到匀速和实时了。
具体实施方式三：本实施方式对实施方式一或二作进一步说明，步骤二获取检测器模型的过程为：
将训练目标的所在区域分别进行尺度缩放、旋转、增加噪声，组成以随机森林分类器为训练器输入的正样本；
具体过程为：尺度缩放按照15*15大小的原始窗口为基准，以1.2倍进行逐级放大，一直放大到设定的局部搜索窗大小；将目标按照0.1°进行旋转，组成一系列新的选择后的图像；对输入的图像加入方差为5的高斯噪声，最终将生成新的图像序列中，选择出200幅小图像作为训练器的输入正样本，
同时，将训练目标外部区域选择200个窗口的小图像作为负样本，将正负样本输入到随机森林分类器进行学习，获取训练目标的检测器模型。
挑选大量的被跟踪车辆的样本来进行学习和训练，得到一个检测器模型(该模型用于后续目标跟踪中的目标检测)。为了应对车辆运行过程中发生姿态、光照等变化，训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。
具体实施方式四：本实施方式对实施方式一、二或三作进一步说明，步骤三中使用跟踪器和检测器并行计算，获取检测目标的位置的过程为：
跟踪器输出一个检测目标的位置信息及图像，检测器输出多个检测目标的位置信息及图像，若跟踪器输出的图像与检测目标的原始图像的近似度超过80％，则选择跟踪器输出的位置信息作为检测目标的位置信息；
否则，选择检测器输出的多个图像中与检测目标原始图像相似度最大的图像对应的位置信息作为检测目标的位置信息。
对于每帧同时运行跟踪器、检测器，跟踪器预测出一个目标位置信息，而检测器则可能检出多幅图像；决定目标的最终位置时，优先考虑跟踪器所得的结果，即如果跟踪到的图像与最初的目标图像相似度大于某阈值，就接受该跟踪结果；否则，将从检测器的结果中，选用与最初目标相似度最大的图像作为跟踪结果。
具体实施方式五：本实施方式对实施方式四作进一步说明，跟踪器采用光流法对检测目标进行跟踪。
跟踪器采用光流法对目标进行跟踪，运动物体的像素在观测图像上的瞬时运动速度称为光流，由目标与相机的相对运动产生。光流法是一种常用的运动目标检测算法，它根据视频序列中目标与背景的相对运动确定运动物体的位置。
具体实施方式六：下面结合图3和图4说明本实施方式，本实施方式对实施方式四或五作进一步说明，检测器对检测目标的跟踪过程为：
步骤1、对当前帧图像进行预处理，将其缩放处理成设定大小的图像；
步骤2、选取检测目标上一帧图像作为当前帧搜索窗的中心，利用检测器在当前搜索窗内进行检测，输出检测目标的位置信息。
局部搜索：
在跟踪器跟踪目标的同时，利用检测器在局部搜索框内检测目标，这里检测器的核心是初始化目标过程中训练的随机森林分类器。检测器的基本工作流程是：(1)提取未标记样本：用不同尺度的滑动窗口对当前图像遍历取未标记样本；(2)方差滤波：滤除比较平滑的背景样本；(3)样本标记：将满足方差要求的样本输入随机森林分类器分类，得到标记样本；(4)置信度检验：根据当前在线模型，计算正样本的置信度，取置信度大的样本作为目标检测结果。
实际处理的图像分辨率一般会超过768*576个像素，甚至达到1920*1080个像素，如果跟踪过程中直接对整幅图进行检测，速度会比较慢，并且由于多个相似目标存在，会产生跟踪错误。由于目标的运动速率相对于帧频来说较慢，也就是相邻两帧中，目标的变化很小，所以只需要在目标周围的区域中搜素目标，即局部搜索的跟踪方法，示意图如图4。
当前帧的搜索窗中心位置取在上一帧跟踪目标中心，搜索窗的大小则根据目标大小及目标运动状态决定，搜索窗口的大小要保证目标快速运动的情况下目标不会超出当前搜索窗的范围。跟踪运动过程中，目标在视场中的大小会产生变化，相应搜索窗的大小也要随之而改变。采用局部搜索，一方面不会引入过多的、不必要的背景样本，提高了算法的运行速度，另一方面将检测窗口限制在跟踪目标区域，降低了同一检测窗口内出现干扰目标的可能性。
为了适应车辆大小的变化，以及克服试场中存在多个相似车辆导致跟踪错误，提出局部搜索和降采样匹配机制，既能稳定的跟踪目标也能使设计的方法满足目标实时性跟踪要求(跟踪算法运行时间在P3.0G的CPU上小于20ms)。
降采样匹配机制：
在目标跟踪过程中，目标大小会随时发生改变，这也意味着算法所要处理的图像会发生变化。那么，对不同帧图像来说，算法运行的时间很可能不同，这不利于跟踪的实时性。为了解决这一问题，提出了一种图像预处理方法，即对每一帧目标样本进行采样处理。
虽然采集的目标图像大小不一样，但是通过不同下采样比率，总可以使算法处理的图像保持固定。一方面，处理的图像变小，大大加快了算法的速度；另一方面，处理图像固定，保证了算法处理速度的一致性。
由于算法对目标进行了下采样处理，图像变小，可能会丢失一些目标信息，但处理后的图像仍能保持目标的大部分特征，不影响跟踪效果。
具体实施方式七：本实施方式对实施方式一作进一步说明，步骤四中控制云台转动和调整焦距，将检测目标放大至宽度为300像素，来清晰的显示车牌。

Claims (5)

1.一种交通视频监控中智能车牌清晰显示方法，其特征在于，该方法包括以下步骤：
步骤一、用摄像机实时扫描车流、选定违章的车辆作为训练目标；
步骤二、对采用步骤一方式获取的多个训练目标进行初始化训练，获取检测器模型；
步骤三、继续用摄像机实时扫描车流、选定违章的车辆作为检测目标，对检测目标的视频的每一帧图像采用跟踪器和检测器并行计算，获取检测目标的位置；
步骤四、计算检测目标的大小，控制云台转动和调整焦距，将检测目标放大，来清晰的显示车牌；
其中，步骤三中使用跟踪器和检测器并行计算，获取检测目标的位置的过程为：
跟踪器输出一个检测目标的位置信息及图像，检测器输出多个检测目标的位置信息及图像，若跟踪器输出的图像与检测目标的原始图像的近似度超过80％，则选择跟踪器输出的位置信息作为检测目标的位置信息；
否则，选择检测器输出的多个图像中与检测目标原始图像相似度最大的图像对应的位置信息作为检测目标的位置信息；其中检测器对检测目标的跟踪过程为：
步骤1、对当前帧图像进行预处理，将其缩放处理成设定大小的图像；
步骤2、选取检测目标上一帧图像作为当前帧搜索窗的中心，利用检测器在当前搜索窗内进行检测，输出检测目标的位置信息。
2.根据权利要求1所述一种交通视频监控中智能车牌清晰显示方法，其特征在于，步骤一中用摄像机实时扫描车流、选定违章的车辆作为训练目标的过程为：
云台按设定转动位置和放缩倍数带动摄像机动作，实时扫描指定路段的车流，当发现车辆违章后，框选违章的车辆作为训练目标。
3.根据权利要求1所述一种交通视频监控中智能车牌清晰显示方法，其特征在于，步骤二获取检测器模型的过程为：
将训练目标的所在区域分别进行尺度缩放、旋转、增加噪声，组成以随机森林分类器为训练器输入的正样本；
具体过程为：尺度缩放按照15*15大小的原始窗口为基准，以1.2倍进行逐级放大，一直放大到设定的局部搜索窗大小；将目标按照0.1°进行旋转，组成一系列新的选择后的图像；对输入的图像加入方差为5的高斯噪声，最终将生成新的图像序列中，选择出200幅小图像作为训练器的输入正样本，
同时，将训练目标外部区域选择200个窗口的小图像作为负样本，将正负样本输入到随机森林分类器进行学习，获取训练目标的检测器模型。
4.根据权利要求1所述一种交通视频监控中智能车牌清晰显示方法，其特征在于，跟踪器采用光流法对检测目标进行跟踪。
5.根据权利要求1所述一种交通视频监控中智能车牌清晰显示方法，其特征在于，步骤四中控制云台转动和调整焦距，将检测目标放大至宽度为300像素，来清晰的显示车牌。
CN201310140442.1A 2013-04-22 2013-04-22 一种交通视频监控中智能车牌清晰显示方法 Active CN103258433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310140442.1A CN103258433B (zh) 2013-04-22 2013-04-22 一种交通视频监控中智能车牌清晰显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310140442.1A CN103258433B (zh) 2013-04-22 2013-04-22 一种交通视频监控中智能车牌清晰显示方法

Publications (2)

Publication Number Publication Date
CN103258433A CN103258433A (zh) 2013-08-21
CN103258433B true CN103258433B (zh) 2015-03-25

Family

ID=48962313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310140442.1A Active CN103258433B (zh) 2013-04-22 2013-04-22 一种交通视频监控中智能车牌清晰显示方法

Country Status (1)

Country Link
CN (1) CN103258433B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
CN105809972B (zh) * 2016-03-24 2018-08-24 牛力伟 一种停车管理方法及装置、系统
CN109670366A (zh) * 2017-10-13 2019-04-23 神讯电脑(昆山)有限公司 车用摄像装置的车牌辩识方法及车用摄像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964145A (zh) * 2009-07-23 2011-02-02 北京中星微电子有限公司 一种自动车牌识别方法及其系统
CN102214290A (zh) * 2010-04-12 2011-10-12 无锡科利德斯科技有限公司 车牌定位方法及车牌定位模板训练方法
CN202771619U (zh) * 2012-07-18 2013-03-06 中海网络科技股份有限公司 用于违章停车的自动抓拍装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4618062B2 (ja) * 2005-09-07 2011-01-26 住友電気工業株式会社 監視装置、監視システム、および監視方法
US8548201B2 (en) * 2010-09-02 2013-10-01 Electronics And Telecommunications Research Institute Apparatus and method for recognizing identifier of vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964145A (zh) * 2009-07-23 2011-02-02 北京中星微电子有限公司 一种自动车牌识别方法及其系统
CN102214290A (zh) * 2010-04-12 2011-10-12 无锡科利德斯科技有限公司 车牌定位方法及车牌定位模板训练方法
CN202771619U (zh) * 2012-07-18 2013-03-06 中海网络科技股份有限公司 用于违章停车的自动抓拍装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于BP神经网络的车牌字符识别算法研究;欧阳俊，等;《光学与光电技术》;20121010;第10卷(第5期);第67-71页 *

Also Published As

Publication number Publication date
CN103258433A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
Asha et al. Vehicle counting for traffic management system using YOLO and correlation filter
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
TWI448977B (zh) 基於視訊分析的物件計數方法與裝置
CN107133559B (zh) 基于360度全景的运动物体检测方法
CN108776974B (zh) 一种适用于公共交通场景的实时目标跟踪方法
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN104408932A (zh) 一种基于视频监控的酒驾车辆检测系统
CN104268528A (zh) 一种人群聚集区域检测方法和装置
Meshram et al. Traffic surveillance by counting and classification of vehicles from video using image processing
CN117994987B (zh) 基于目标检测技术的交通参数提取方法及相关装置
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN103258433B (zh) 一种交通视频监控中智能车牌清晰显示方法
Yuliandoko et al. Automatic vehicle counting using Raspberry pi and background subtractions method in the sidoarjo toll road
Miller et al. Person tracking in UAV video
Sung et al. Real-time traffic light recognition on mobile devices with geometry-based filtering
Dagvasumberel et al. Railroad near-miss occurrence detection and risk estimation system with data from camera using deep learning
Desai et al. Real-time implementation of Indian license plate recognition system
CN110210324B (zh) 一种道路目标快速检测预警方法和系统
CN103366598B (zh) 一种车辆停靠到位检测系统及检测方法
Emiyah et al. Extracting vehicle track information from unstabilized drone aerial videos using YOLOv4 common object detector and computer vision
Gao et al. Small object detection method based on improved YOLOv5
Liao et al. Multi-scale ship tracking based on maritime monitoring platform
Gu et al. Real-Time Vehicle Passenger Detection Through Deep Learning
CN112465867A (zh) 一种基于卷积神经网络的红外点目标实时检测跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200116

Address after: 314502 ground floor, building 4, No.192 Heng'an Road, Puyuan Town, Tongxiang City, Jiaxing City, Zhejiang Province

Patentee after: Zhejiang Tianhong wave control electronic technology Co., Ltd

Address before: 266580 Qingdao economic and Technological Development Zone, Changjiang Road, No. 66, Shandong

Patentee before: China University of Petroleum (East China)

TR01 Transfer of patent right