CN107316016A - 一种基于Hadoop和监控视频流的车辆轨迹统计方法 - Google Patents
一种基于Hadoop和监控视频流的车辆轨迹统计方法 Download PDFInfo
- Publication number
- CN107316016A CN107316016A CN201710464743.8A CN201710464743A CN107316016A CN 107316016 A CN107316016 A CN 107316016A CN 201710464743 A CN201710464743 A CN 201710464743A CN 107316016 A CN107316016 A CN 107316016A
- Authority
- CN
- China
- Prior art keywords
- video
- vehicle
- license plate
- hadoop
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 238000007619 statistical method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000005192 partition Methods 0.000 claims abstract description 20
- 230000006872 improvement Effects 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 15
- 210000002569 neuron Anatomy 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims description 2
- 230000004807 localization Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 238000011282 treatment Methods 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241001632422 Radiola linoides Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Library & Information Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于Hadoop和监控视频流的车辆轨迹统计方法，该方法经过车辆检测算法、车牌识别算法、分布式视频处理和车辆轨迹统计，首先基于改进后的tiny‑yolo模型对视频帧进行车辆检测定位，结合HSV颜色模型、SVM分类器和文字定位技术从定位到的车辆区域中定位出车牌区域，通过改进后的LeNet‑5模型进行车牌字符识别，将车辆检测和车牌识别的处理算法编译为动态链接库，扩展MapReduce对视频类型格式的支持并在Map中通过JNI接口与动态链接库交互实现对监控视频流的分布式处理，通过Combiner、Partition、Reduce三个阶段对分析结果汇总，最终实现对车辆轨迹的统计和车辆帧的存储，该方法不仅车辆检测和车牌识别算法对复杂环境的适应性强，而且通过JNI接口与MapReduce交互方式在执行效率上更高效。
Description
技术领域
本发明涉及云计算、计算机视觉技术领域，具体是一种基于Hadoop和监控视频流的车辆轨迹统计方法。
背景技术
在车辆网、智能交通迅速发展的环境下，交通监控摄像头的普及促使了视频数据量的指数式增长，如果不能充分挖掘视频数据中的有效信息，必然造成资源浪费，而在交通监控视频中，车辆信息作为主要信息在交通监管、智能交通的发展中发挥重要作用，如何从海量监控数据中充分挖掘车辆信息成为研究热点。而传统的集中式视频处理方式面对海量增长的监控视频数据存在处理能力不足和不可扩展的问题。
近年来，机器学习、深度学习技术因为对数据更好的分类能力在图像处理领域得到广泛研究，并通过大量的研究也证明了其相比于传统算法具有更好的分类效果，在复杂环境下具有更好的适应性和鲁棒性。而城市道路和高速公路都是动态变化的环境，易受天气、光照等环境影响，传统的处理算法往往难以适应天气和光线等条件的变化。
由于Hadoop平台底层机制是由Java实现，而图像处理往往属于计算密集型任务，通过Hadoop对图像的分布式处理，传统采用JavaCV、Hadoop Streaming的方式执行效率并不高效，且MapReduce不支持直接从HDFS读取视频数据，由于FFMPEG不支持HDFS 协议，传统采用FFMPEG将视频在本地切分为帧序列再上传到HDFS，往往会导致额外的I/O开销。
发明内容
本发明的目的在于克服现有技术的不足，而提供一种基于Hadoop和监控视频流的车辆轨迹统计方法，该系统结构简单，统计速度快，适应性好和准确度高，该统计方法计算量小，能够保证在光线充足环境下的执行效率，而且又能保证在复杂环境下车牌定位的准确性，在复杂环境下的适应性强、准确度高。
实现本发明目的的技术方案是：
一种基于Hadoop和监控视频流的车辆轨迹统计方法，具体包括如下步骤：
1）将各场景下的监控视频上传到HDFS，执行Hadoop任务；
2）Hadoop视频数据处理接口从HDFS上读取视频数据初始化Xuggler解码库，Xuggler解码库解析视频数据，得到一系列<key，value>交由Map处理，其中key为视频名_帧号，value为视频帧元数据；
3）Map函数对传入的<key，value>进行分析，具体是通过JNI与动态链接库交互实现对车辆检测定位和车牌识别，通过车辆检测算法从视频帧图像中定位到车辆区域，通过车牌识别算法对定位到的车辆区域进行车牌识别，未定位到车辆区域直接执行下一次<key，value>，将识别到车牌的帧图像以视频名_车牌号_时间戳形式进行命名写回到HDFS进行存储，Map输出<key1，value1>进入Combiner阶段，其中key1为车牌号，value1为封装了初始化统计次数1、时间戳以及视频名的容器对象；
4）Combiner接收当前视频Split中的Map输出，以相同的key1归并Map输出结果为<key1，list<value1>>形式进行处理，引入时间戳和阈值判别来有效避免相同车辆在连续帧中出现带来的统计偏差，如果满足效验条件，行车频次加1，反之，不对行车频次进行累加，Combiner输出<key1，value2>进入Partition阶段，其中key1为车牌号，value2为封装了累计统计次数、视频名的容器对象，Partition阶段根据value2中的视频名进行分区，每个分区对应一个Reduce处理；
5）Reduce接收Partition分配的多个Combiner结果，以相同的key1归并Combiner分析结果为<key1，list<value2>>形式进行处理，对list<value2>中存在相同视频名的value2中的统计次数进行累加并汇总，对不同视频名的value2中的统计次数进行汇总，最终生成新的<key1，value3>，其中key1为车牌号，value3为包含了该车牌号在不同视频名下分别出现次数，汇总结果以文本形式写入到HDFS；
经过上述步骤，完成车辆轨迹统计。
步骤2中，所述的Hadoop视频数据处理接口，是通过结合开源库Xuggler重写Hadoop的记录读取器和Hadoop支持的数据输入输出类型格式，使MapReduce支持对HDFS中的视频类型格式数据的并行处理，具体方法为：
1)重写Hadoop的记录读取器，设计实现RecordReader类的VideoRecordReader类，重写initialize()方法从HDFS上获取视频文件初始化Xuggler解码库，Xuggler解码库将视频文件解码为一系列帧图像，将帧图像作为value，视频名_帧号作为key，重写getCurrentKey()方法、getCurrentValue()方法、nextKeyValue()方法将一系列帧图像以<key:视频名_帧号,value:帧元数据>形式交由Map处理。value为实现了Writable接口的ImageWritable类型，并需要重写Writable接口中的序列化方法和反序列化方法；
2)重写Hadoop输入输出格式，设计VideoInputFormat类和ResultOutputFormat类，VideoInputFormat类继承自FileInputFormat类，VideoInputFormat类中重写creatRecordReader()方法获支持读取视频数据为一系列<key,value>的VideoRecordReader类对象，重写isSplitable()方法，返回flase，不对Block进行逻辑切分，根据默认大小分配Mapper数量。ResultOutputFormat类继承自FileOutputFormat类，并自定义ResultRecordWrite类，重写write()方法，支持将Reduce执行结果中的车牌号、视频名、累计统计次数以Text形式写出到HDFS，支持将Map执行结果中识别到车牌的视频帧图像以Image形式写出到HDFS。
步骤3）中，所述的车辆检测算法，是基于改进后的卷积神经网络tiny-yolo模型实现，tiny-yolo模型是深度学习目标分类算法中具有实时、多类别目标检测定位能力的YOLOv2框架中的一种，该模型包含9个convolution层、6个max-pooling层和一个region层，网络第1层为输入层，接收大小为416x416的RGB图像；第2层到第16层分别为卷积层C1、池化层P1、卷积层C2、池化层P2、卷积层C3、池化层P3、卷积层C4、池化层P4、卷积层C5、池化层P5、卷积层C6、池化层P6、卷积层C7、卷积层C8、卷积层C9。P1~P5的池大小均为2x2，滑动步长为2， P6的池大小为2x2，滑动步长为1，C1~C8分别包含16、32、64、128、256、512、1024、1024个filter，每个filter中的每个像素点与上一层大小为3x3的“感受野”相连，卷积步长为1且均采用Leaky ReLU函数作为激励函数，C9层包含了125个filter，每个filter中的每个像素点与上一层大小为1x1的“感受野”相连，卷积步长为1，采用Linear函数作为激励函数，最后一层为region层，包含了模型支持检测的类别数以及目标所在区域。tiny-yolo模型默认对20种类别进行检测定位，当该模型应用在交通环境下进行车辆检测时，只需要对车辆一种类别进行检测，需要把tiny-yolo中的多类别检测问题转换为针对交通应用场景下车辆的单一类别检测问题，因此需要对tiny-yolo模型中的卷积层C9和region层做相应修改，将region层中支持检测的类别数修改为1，将C9中的filter个数由125修改为30，修改方法参照公式filter = (classes+coords+1)*(NUM)，式中coords值为4，NUM值为5，当classes为1时，filter=(1+4+1)*5=30，将车辆数据集送入修改后的tiny-yolo模型进行训练，训练得到的模型即可用于对视频帧中的车辆的检测定位。
步骤3）中，所述的车牌识别算法，分为车牌定位和字符识别两部分，结合HSV颜色模型、SVM分类器和文字定位技术定位出车牌区域，通过改进后的卷积神经网络LeNet-5模型进行车牌字符识别，车牌定位部分中的文字定位技术由MSER算法、区域生长方法、滑动窗口方法以及改进后的LeNet-5模型训练生成的CNN字符分类器结合实现；
所述的SVM分类器，是将归一化大小的真正车牌区域和候选非车牌区域，标记为是和否两类，提取二值化后的投影特征和HSV空间下的颜色特征，送入SVM分类器中训练，采用RBF核函数将低维特征向量映射到高维来达到更好的分类效果。
所述的卷积神经网络LeNet-5模型，共7层，网络的输入是基于32x32的灰度图，网络层C1是由6个filter组成的卷积层，网络层S2为6个filter组成的池化层，网络层C3是由16个filter组成的卷积层，网络层S4为16个filter组成的池化层，网络层C5是由120个filter组成的卷积层，网络层F6是由84个神经元组成的全连接层。C1、C2、C3中每个filter中的每个像素点与上一层大小为5x5的“感受野”相连，卷积步长为1。S2和S4的池大小均为2x2，滑动步长为2，通过激励函数sigmoid完成下采样操作。最后输出层有10个神经元，每个神经元对应一个字符类别，由径向基函数单元(RBF)组成。LeNet-5模型用于手写数字识别，输出的类别数目为10，中国普遍使用的车牌由31类汉字、24类字母、10类数字组成，因此需要修改输出神经元个数来扩展LeNet-5支持的类别数，本发明使用LeNet-5模型进行车牌字符分类和识别，字符分类主要是判定通过MSER或滑动窗口检测到的区域是否属于汉字/字母/数字中任意一类，识别主要针对车牌字符分割结果进行识别，因此修改输出神经元个数为65用于字符分类，修改神经元为31针对车牌首字符(即汉字)进行识别，修改神经元为34针对车牌数字/字母进行识别。由于在原LeNet-5识别类别数上做了相应的增加，为更充分提取图像特征，增加C5层的filter数目，由120增加到400，来增加整个网络的识别性能。将原模型的池化方式修改为最大值池化，它比原方式能保持更多的纹理信息，将C5层的输出经过激活函数ReLU修正后再送入F6层，将F6层与F7层之间的RBF分类器修改为Softmax回归分类器。
所述的CNN字符分类器，是将车牌字符的灰度图归一化尺寸后送入修改后的LeNet-5模型中进行训练，针对65类汉字/字母/数字、31类汉字、34类字母/数字分别训练三组CNN模型分别标记为CNN65、CNN31、CNN34，训练得到的结果即可用于车牌字符的分类和识别。
步骤4）中，所述的引入时间戳和阈值，阈值根据同一车辆在视频帧中的最大连续帧数n和每帧图像的处理时间t决定，设定为n*t，在Map中针对识别到车牌的视频帧图像赋值一个时间戳并封装在value1中传递给Combiner，Combiner将list<value1>中时间戳进行排序比较相邻两个时间戳之间差值是否大于n*t，如果大于n*t,说明该车辆在同一视频中的非连续帧中出现，对统计结果进行累加，反之，该车辆只是出现在视频中的连续帧中，不对统计结果进行累加。
步骤4）中，所述的在Partition阶段根据value2中的视频名进行分区，具体方法是：按照监控场景所处区域进行划分，如果有X个监控场景都来自A区域，视频名称命名为SceneA_xxx，有Y个监控场景来自B区域，视频名命名为SceneB_xxx，可以把区域A下的X个监控场景下视频流的Combiner结果划分为PartitionA，把区域B下的Y个监控视频流的Combiner结果划分为PartitionB，每个Partition对应一个Reduce去处理，通过分区来增加Reduce的并行性，分担Reduce的计算压力来提高执行效率，且便于针对特定监控区域的视频分析结果进行检索。
有益效果：本发明提供的一种基于Hadoop和监控视频流的车辆轨迹统计方法，基于卷积神经网络tiny-yolo模型，不仅针对复杂环境的适应性强，而且相比于其他卷积神经网络模型具有更快的检测定位速率，将HSV颜色模型定位与文字定位技术相结合并且只针对车辆区域进行车牌定位，有效降低了算法的计算量，不仅能够保证在光线充足环境下的执行效率，而且又能保证在复杂环境下车牌定位的准确性，基于改进后的卷积神经网络LeNet-5模型进行车牌字符识别在复杂环境下的适应性强、准确度高。结合Xuggler开源库扩展MapReduce对视频类型格式的支持，克服了传统采用FFMPEG方式带来的 I/O问题，在Map中通过JNI接口与动态链接库相交互有效保证了Hadoop平台对视频进行分布式计算的执行效率，在Combiner、Partition阶段设计能有效降低Map和Reduce之间的数据传输量，提高集群执行效率。
附图说明
图1为一种基于Hadoop和监控视频流的车辆轨迹统计系统示意图；
图2为Hadoop分布式视频处理的执行流程图；
图3为Map阶段车辆检测和车牌识别算法执行流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步阐述，但不是对本发明的限定。
实施例：
如图1所示，一种基于Hadoop和监控视频流的车辆轨迹统计方法，具体包括如下步骤：
1）将各场景下的监控视频上传到HDFS，执行Hadoop任务；
2）Hadoop视频数据处理接口从HDFS上读取视频数据初始化Xuggler解码库，Xuggler解码库解析视频数据，得到一系列<key，value>交由Map处理，其中key为视频名_帧号，value为视频帧元数据；
3）Map函数对传入的<key，value>进行分析，具体是通过JNI与动态链接库交互实现对车辆检测定位和车牌识别，通过车辆检测算法从视频帧图像中定位到车辆区域，通过车牌识别算法对定位到的车辆区域进行车牌识别，未定位到车辆区域直接执行下一次<key，value>，将识别到车牌的帧图像以视频名_车牌号_时间戳形式进行命名写回到HDFS进行存储，Map输出<key1，value1>进入Combiner阶段，其中key1为车牌号，value1为封装了初始化统计次数1、时间戳以及视频名的容器对象；
4）Combiner接收当前视频Split中的Map输出，以相同的key1归并Map输出结果为<key1，list<value1>>形式进行处理，引入时间戳和阈值判别来有效避免相同车辆在连续帧中出现带来的统计偏差，如果满足效验条件，行车频次加1，反之，不对行车频次进行累加，Combiner输出<key1，value2>进入Partition阶段，其中key1为车牌号，value2为封装了累计统计次数、视频名的容器对象，Partition阶段根据value2中的视频名进行分区，每个分区对应一个Reduce处理；
5）Reduce接收Partition分配的多个Combiner结果，以相同的key1归并Combiner分析结果为<key1，list<value2>>形式进行处理，对list<value2>中存在相同视频名的value2中的统计次数进行累加并汇总，对不同视频名的value2中的统计次数进行汇总，最终生成新的<key1，value3>，其中key1为车牌号，value3为包含了该车牌号在不同视频名下分别出现次数，汇总结果以文本形式写入到HDFS。
具体如下，如图2所示，执行步骤S201，从HDFS中获取视频分片作为Hadoop视频数据处理接口中VideoInputFormat的输入；
执行步骤S202，通过调用VideoRecordReader读取输入视频并初始化Xuggler解码库，Xuggler解码库负责将视频数据解析为一系列<key,value>传递给Map，key为视频名_帧号，value为视频帧元数据；
执行步骤S203，Map接收到记录读取器传递的<key,value>，对value中的视频帧元数据通过JNI接口与动态链接库交互进行图像分析，动态链接库包含了车辆检测算法和车牌识别算法，车辆检测算法基于改进后的卷积神经网络tiny-yolo结合车辆数据集训练实现，先通过车辆检测算法对视频帧元数据进行车辆的检测定位，判断视频帧中是否包含车辆，如果定位不到车辆，则直接执行下一次<key,value>，如果定位到车辆区域，则通过车牌识别算法对定位到的车辆区域进行车牌识别，车牌识别算法分为车牌定位和字符识别两部分，车牌定位结合HSV颜色模型、SVM分类器和文字定位技术实现，文字定位技术由MSER算法、区域生长方法、滑动窗口方法以及改进后的LeNet-5模型结合65类汉字/数字/字母字符灰度图数据集训练生成的CNN65字符分类器相结合实现，其中的SVM分类器通过提取真正车牌区域和候选非车牌区域二值化后的投影特征和HSV空间下的颜色特征，采用RBF核函数训练得到。字符识别部分基于改进后的LeNet-5模型结合31类汉字、34类数字/字母字符灰度图数据集分别训练生成的CNN31、CNN34字符分类器进行字符识别。
将识别到车牌的帧图像跳转至步骤S207，通过ResultOutputFormat以Image形式写回到HDFS，命名为视频名_车牌号_时间戳，Map输出<key1,value1>到Combiner阶段，key1为车牌号，value1为封装了初始化统计次数1、时间戳以及视频名的容器对象。
执行步骤S204，Combiner接收单前视频Split中的Map输出，以相同的key1归并Map输出结果为<key1,list<value1>>形式进行处理，由于同一个key可能对应多个value，即相同的车牌号在视频中被识别出多次，针对此情况采用时间戳和阈值判别来避免在连续帧出现带来的统计偏差，阈值根据同一车辆在视频帧中的最大连续帧数n和每帧图像的处理时间t决定，设定为n*t，在Map中针对识别到车牌的视频帧图像赋值一个时间戳并封装在value1中传递给Combiner，Combiner将list<value1>中时间戳进行排序比较相邻两个时间戳之间差值是否大于n*t，如果大于n*t,说明该车辆在同一视频中的非连续帧中出现，对统计结果进行累加，反之，该车辆只是出现在视频中的连续帧中，不对统计结果进行累加。Combiner输出<key1，value2>到Partition阶段，key1为车牌号，value2为封装了累计统计次数、视频名的容器对象。
执行步骤S205，Partition阶段接收所有Split的Combiner结果，Partition阶段根据value2中的视频名进行分区，其方法为：按照监控场景所处区域进行划分，如果有X个监控场景都来自A区域，视频名称命名为SceneA_xxx，有Y个监控场景来自B区域，视频名命名为SceneB_xxx，可以把区域A下的X个监控场景下视频流的Combiner结果划分为PartitionA，把区域B下的Y个监控视频流的Combiner结果划分为PartitionB，每个Partition对应一个Reduce去处理。通过分区来增加Reduce的并行性，分担Reduce的计算压力来提高执行效率，另一方面，便于针对特定监控区域的视频分析结果进行检索。
执行步骤S206，Reduce接收Partition分配的多个Combiner结果，以相同的key1归并Combiner分析结果为<key1,list<value2>>形式进行处理，对list<value2>中存在相同视频名的value2中的统计次数进行累加并汇总，对不同视频名的value2中的统计次数进行汇总，最终生成新的<key1,value3>，key1为车牌号，value3包含了该车牌号在不同视频名下分别出现次数。
执行步骤S207，将各个Reduce的统计结果以文本形式写回到HDFS。
动态链接库中算法执行的具体流程图如图3所示，首先对传入的帧图像基于tiny-yolo模型训练生成的CNNyolo模型进行车辆检测，判断是否定位到车辆区域，未定位到车辆区域则直接结束对该帧图像的处理，如果定位到车辆区域，从帧图像中提取定位到的车辆区域进行车牌识别。首先通过HSV颜色模型先进行车牌定位，将原始图像从RGB空间转为HSV空间，通过遍历每个像素点判断其H/S/V分量是否落入蓝色、黄色等车牌的颜色区间，将落入车牌颜色区间的像素点判定为白色，即设为255，其他像素点判定为黑色，即设为0，从而将车牌区域从车身区域中分离出来。通过膨胀、腐蚀得到车牌连通域，通过取轮廓方式将车牌区域截取出来。结合车牌的几何特征对截取区域进行初步筛选后生成候选车牌。将生成的候选车牌经过仿射变换、偏斜扭转等处理后归一化尺寸送入训练好的SVM分类器中预测是否为真正车牌，通过垂直投影方法对车牌字符进行分割，如果没有预测出真正车牌或者分割字符数不满足标准车牌字符数7个，采用文字定位技术进行车牌定位，通过MSER算法进行初定位，结合字符布局特点和几何特征排除部分噪声干扰，得到候选字符区域，将剩余的MSER区域归一化大小并转为灰度图后送入训练好的CNN65神经网络模型中，得到每个MSER区域的置信度，置信度越高越代表真正车牌字符，针对一个字符可能检测为多个MSER区域，通过非极大值抑制算法消除冗余MSER区域，只保留置信度最高的MSER区域，根据置信度的高低将MSER区域分为弱种子和强种子，根据字符分布比较集中的特点和强种子分布区域初步定位出车牌大致区域，再根据车牌字符基本排列在同一心线上的特点，通过区域生长方法从弱种子中筛选出代表真正字符的区域，判断定位到的所有种子个数，如果小于7说明存在未被MSER定位到的字符区域，结合字符分布特点和字符尺寸确定滑动范围和滑窗尺寸，针对滑动区域结合CNN65字符分类器和非极大值抑制算法定位出未被MSER定位到的真正字符区域。取出字符区域所在区域即为车牌区域。将定位到的车牌区域通过垂直投影方法进行字符分割后，归一化大小并转为灰度图送入CNN31/CNN34字符分类器中进行字符识别。
Claims (9)
1.一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，具体包括如下步骤：
1）将各场景下的监控视频上传到HDFS，执行Hadoop任务；
2）Hadoop视频数据处理接口从HDFS上读取视频数据初始化Xuggler解码库，Xuggler解码库解析视频数据，得到一系列<key，value>交由Map处理，其中key为视频名_帧号，value为视频帧元数据；
3）Map函数对传入的<key，value>进行分析，具体是通过JNI与动态链接库交互实现对车辆检测定位和车牌识别，通过车辆检测算法从视频帧图像中定位到车辆区域，通过车牌识别算法对定位到的车辆区域进行车牌识别，未定位到车辆区域直接执行下一次<key，value>，将识别到车牌的帧图像以视频名_车牌号_时间戳形式进行命名写回到HDFS进行存储，Map输出<key1，value1>进入Combiner阶段，其中key1为车牌号，value1为封装了初始化统计次数1、时间戳以及视频名的容器对象；
4）Combiner接收单前视频Split中的Map输出，以相同的key1归并Map输出结果为<key1，list<value1>>形式进行处理，引入时间戳和阈值判别来有效避免相同车辆在连续帧中出现带来的统计偏差，如果满足效验条件，行车频次加1，反之，不对行车频次进行累加，Combiner输出<key1，value2>进入Partition阶段，其中key1为车牌号，value2为封装了累计统计次数、视频名的容器对象，Partition阶段根据value2中的视频名进行分区，每个分区对应一个Reduce处理；
5）Reduce接收Partition分配的多个Combiner结果，以相同的key1归并Combiner分析结果为<key1，list<value2>>形式进行处理，对list<value2>中存在相同视频名的value2中的统计次数进行累加并汇总，对不同视频名的value2中的统计次数进行汇总，最终生成新的<key1，value3>，其中key1为车牌号，value3为包含了该车牌号在不同视频名下分别出现次数，汇总结果以文本形式写入到HDFS；
经过上述步骤，完成车辆轨迹统计。
2.根据权利要求1所述的一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，步骤2中，所述的Hadoop视频数据处理接口，是通过结合开源库Xuggler重写Hadoop的记录读取器和Hadoop支持的数据输入输出类型格式，使MapReduce支持对HDFS中的视频类型格式数据的并行处理，具体方法为：
1)重写Hadoop的记录读取器，设计实现RecordReader类的VideoRecordReader类，重写initialize()方法从HDFS上获取视频文件初始化Xuggler解码库，Xuggler解码库将视频文件解码为一系列帧图像，将帧图像作为value，视频名_帧号作为key，重写getCurrentKey()方法、getCurrentValue()方法、nextKeyValue()方法将一系列帧图像以<key:视频名_帧号,value:帧元数据>形式交由Map处理,value为实现了Writable接口的ImageWritable类型，并需要重写Writable接口中的序列化方法和反序列化方法；
2)重写Hadoop输入输出格式，设计VideoInputFormat类和ResultOutputFormat类，VideoInputFormat类继承自FileInputFormat类，VideoInputFormat类中重写creatRecordReader()方法获支持读取视频数据为一系列<key,value>的VideoRecordReader类对象，重写isSplitable()方法，返回flase，不对Block进行逻辑切分，根据默认大小分配Mapper数量;ResultOutputFormat类继承自FileOutputFormat类，并自定义ResultRecordWrite类，重写write()方法，支持将Reduce执行结果中的车牌号、视频名、累计统计次数以Text形式写出到HDFS，支持将Map执行结果中识别到车牌的视频帧图像以Image形式写出到HDFS。
3.根据权利要求1所述的一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，步骤3）中，所述的车辆检测算法，是基于改进后的卷积神经网络tiny-yolo模型实现，tiny-yolo模型是深度学习目标分类算法中具有实时、多类别目标检测定位能力的YOLOv2框架中的一种，该模型包含9个convolution层、6个max-pooling层和一个region层，网络第1层为输入层，接收大小为416x416的RGB图像；第2层到第16层分别为卷积层C1、池化层P1、卷积层C2、池化层P2、卷积层C3、池化层P3、卷积层C4、池化层P4、卷积层C5、池化层P5、卷积层C6、池化层P6、卷积层C7、卷积层C8、卷积层C9;P1~P5的池大小均为2x2，滑动步长为2， P6的池大小为2x2，滑动步长为1，C1~C8分别包含16、32、64、128、256、512、1024、1024个filter，每个filter中的每个像素点与上一层大小为3x3的“感受野”相连，卷积步长为1且均采用Leaky ReLU函数作为激励函数，C9层包含了125个filter，每个filter中的每个像素点与上一层大小为1x1的“感受野”相连，卷积步长为1，采用Linear函数作为激励函数，最后一层为region层，包含了模型支持检测的类别数以及目标所在区域,tiny-yolo模型默认对20种类别进行检测定位，当该模型应用在交通环境下进行车辆检测时，只需要对车辆一种类别进行检测，需要把tiny-yolo中的多类别检测问题转换为针对交通应用场景下车辆的单一类别检测问题，因此需要对tiny-yolo模型中的卷积层C9和region层做相应修改，将region层中支持检测的类别数修改为1，将C9中的filter个数由125修改为30，修改方法参照公式filter = (classes+coords+1)*(NUM)，式中coords值为4，NUM值为5，当classes为1时，filter=(1+4+1)*5=30，将车辆数据集送入修改后的tiny-yolo模型进行训练，训练得到的模型即可用于对视频帧中的车辆的检测定位。
4.根据权利要求1所述的一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，步骤3）中，所述的车牌识别算法，分为车牌定位和字符识别两部分，结合HSV颜色模型、SVM分类器和文字定位技术定位出车牌区域，通过改进后的卷积神经网络LeNet-5模型进行车牌字符识别，车牌定位部分中的文字定位技术由MSER算法、区域生长方法、滑动窗口方法以及改进后的LeNet-5模型训练生成的CNN字符分类器结合实现。
5.根据权利要求4所述的一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，所述的SVM分类器，是将归一化大小的真正车牌区域和候选非车牌区域，标记为是和否两类，提取二值化后的投影特征和HSV空间下的颜色特征，送入SVM分类器中训练，采用RBF核函数将低维特征向量映射到高维来达到更好的分类效果。
6.根据权利要求4所述的一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，所述的卷积神经网络LeNet-5模型，共7层，网络的输入是基于32x32的灰度图，网络层C1是由6个filter组成的卷积层，网络层S2为6个filter组成的池化层，网络层C3是由16个filter组成的卷积层，网络层S4为16个filter组成的池化层，网络层C5是由120个filter组成的卷积层，网络层F6是由84个神经元组成的全连接层;C1、C2、C3中每个filter中的每个像素点与上一层大小为5x5的“感受野”相连，卷积步长为1;S2和S4的池大小均为2x2，滑动步长为2，通过激励函数sigmoid完成下采样操作;最后输出层有10个神经元，每个神经元对应一个字符类别，由径向基函数单元(RBF)组成;LeNet-5模型用于手写数字识别，输出的类别数目为10，中国普遍使用的车牌由31类汉字、24类字母、10类数字组成，因此需要修改输出神经元个数来扩展LeNet-5支持的类别数，本发明使用LeNet-5模型进行车牌字符分类和识别，字符分类主要是判定通过MSER或滑动窗口检测到的区域是否属于汉字/字母/数字中任意一类，识别主要针对车牌字符分割结果进行识别，因此修改输出神经元个数为65用于字符分类，修改神经元为31针对车牌首字符(即汉字)进行识别，修改神经元为34针对车牌数字/字母进行识别;由于在原LeNet-5识别类别数上做了相应的增加，为更充分提取图像特征，增加C5层的filter数目，由120增加到400，来增加整个网络的识别性能;将原模型的池化方式修改为最大值池化，它比原方式能保持更多的纹理信息，将C5层的输出经过激活函数ReLU修正后再送入F6层，将F6层与F7层之间的RBF分类器修改为Softmax回归分类器。
7.根据权利要求4所述的一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，所述的CNN字符分类器，是将车牌字符的灰度图归一化尺寸后送入修改后的LeNet-5模型中进行训练，针对65类汉字/字母/数字、31类汉字、34类字母/数字分别训练三组CNN模型分别标记为CNN65、CNN31、CNN34，训练得到的结果即可用于车牌字符的分类和识别。
8.根据权利要求1所述的一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，步骤4）中，所述的引入时间戳和阈值，阈值根据同一车辆在视频帧中的最大连续帧数n和每帧图像的处理时间t决定，设定为n*t，在Map中针对识别到车牌的视频帧图像赋值一个时间戳并封装在value1中传递给Combiner，Combiner将list<value1>中时间戳进行排序比较相邻两个时间戳之间差值是否大于n*t，如果大于n*t,说明该车辆在同一视频中的非连续帧中出现，对统计结果进行累加，反之，该车辆只是出现在视频中的连续帧中，不对统计结果进行累加。
9.根据权利要求1所述的一种基于Hadoop和监控视频流的车辆轨迹统计方法，其特征在于，步骤4）中，所述的在Partition阶段根据value2中的视频名进行分区，具体方法是：按照监控场景所处区域进行划分，如果有X个监控场景都来自A区域，视频名称命名为SceneA_xxx，有Y个监控场景来自B区域，视频名命名为SceneB_xxx，可以把区域A下的X个监控场景下视频流的Combiner结果划分为PartitionA，把区域B下的Y个监控视频流的Combiner结果划分为PartitionB，每个Partition对应一个Reduce去处理，通过分区来增加Reduce的并行性，分担Reduce的计算压力来提高执行效率，且便于针对特定监控区域的视频分析结果进行检索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710464743.8A CN107316016B (zh) | 2017-06-19 | 2017-06-19 | 一种基于Hadoop和监控视频流的车辆轨迹统计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710464743.8A CN107316016B (zh) | 2017-06-19 | 2017-06-19 | 一种基于Hadoop和监控视频流的车辆轨迹统计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107316016A true CN107316016A (zh) | 2017-11-03 |
| CN107316016B CN107316016B (zh) | 2020-06-23 |
Family
ID=60184201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710464743.8A Expired - Fee Related CN107316016B (zh) | 2017-06-19 | 2017-06-19 | 一种基于Hadoop和监控视频流的车辆轨迹统计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107316016B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886065A (zh) * | 2017-11-06 | 2018-04-06 | 哈尔滨工程大学 | 一种混合字体的数字序列识别方法 |
| CN108416348A (zh) * | 2018-01-29 | 2018-08-17 | 重庆邮电大学 | 基于支持向量机和卷积神经网络的车牌定位识别方法 |
| CN108509912A (zh) * | 2018-04-03 | 2018-09-07 | 深圳市智绘科技有限公司 | 多路网络视频流车牌识别方法及系统 |
| CN108681736A (zh) * | 2018-04-13 | 2018-10-19 | 东华大学 | 一种基于arm微处理器的嵌入式车牌识别系统 |
| CN108681693A (zh) * | 2018-04-12 | 2018-10-19 | 南昌大学 | 基于可信区域的车牌识别方法 |
| CN108765413A (zh) * | 2018-06-08 | 2018-11-06 | 众安信息技术服务有限公司 | 用于图像分类的方法、装置及计算机可读介质 |
| CN108960291A (zh) * | 2018-06-08 | 2018-12-07 | 武汉科技大学 | 一种基于并行化Softmax分类的图像处理方法和系统 |
| CN109063594A (zh) * | 2018-07-13 | 2018-12-21 | 吉林大学 | 基于YOLOv2的遥感图像快速目标检测方法 |
| CN109271984A (zh) * | 2018-07-24 | 2019-01-25 | 广东工业大学 | 一种基于深度学习的多方位车牌定位方法 |
| CN109271991A (zh) * | 2018-09-06 | 2019-01-25 | 公安部交通管理科学研究所 | 一种基于深度学习的车牌检测方法 |
| CN109635666A (zh) * | 2018-11-16 | 2019-04-16 | 南京航空航天大学 | 一种基于深度学习的图像目标快速检测方法 |
| CN109815998A (zh) * | 2019-01-08 | 2019-05-28 | 科大国创软件股份有限公司 | 一种基于yolo算法的ai装维巡检方法及系统 |
| CN110047102A (zh) * | 2019-04-18 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 用于输出信息的方法、装置和系统 |
| CN110378308A (zh) * | 2019-07-25 | 2019-10-25 | 电子科技大学 | 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法 |
| CN111027554A (zh) * | 2019-12-27 | 2020-04-17 | 创新奇智(重庆)科技有限公司 | 商品价签文字精确检测定位系统及定位方法 |
| WO2020125544A1 (zh) * | 2018-12-18 | 2020-06-25 | 华为技术有限公司 | 一种分布式图像分析方法、系统及存储介质 |
| CN111435446A (zh) * | 2019-12-25 | 2020-07-21 | 珠海大横琴科技发展有限公司 | 一种基于LeNet车牌识别方法及装置 |
| CN111539359A (zh) * | 2020-04-28 | 2020-08-14 | 浙江工商大学 | 基于深度学习的违章停车检测方法 |
| US10777076B2 (en) | 2018-09-19 | 2020-09-15 | National Chung-Shan Institute Of Science And Technology | License plate recognition system and license plate recognition method |
| CN114299727A (zh) * | 2021-12-28 | 2022-04-08 | 杭州电子科技大学 | 一种基于物联网和边缘计算的交通流预测系统及云平台 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004042673A2 (en) * | 2002-11-04 | 2004-05-21 | Imperial Vision Ltd. | Automatic, real time and complete identification of vehicles |
| KR20110029927A (ko) * | 2009-09-17 | 2011-03-23 | (주) 알티솔루션 | 모바일 차량번호 자동인식시스템 및 자동인식방법 |
| CN103336959A (zh) * | 2013-07-19 | 2013-10-02 | 西安电子科技大学 | 一种基于gpu多核并行加速的车辆检测方法 |
| CN104464344A (zh) * | 2014-11-07 | 2015-03-25 | 湖北大学 | 一种车辆行驶路径预测方法及系统 |
| CN105160340A (zh) * | 2015-08-31 | 2015-12-16 | 桂林电子科技大学 | 一种车辆品牌识别系统及方法 |
-
2017
- 2017-06-19 CN CN201710464743.8A patent/CN107316016B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004042673A2 (en) * | 2002-11-04 | 2004-05-21 | Imperial Vision Ltd. | Automatic, real time and complete identification of vehicles |
| KR20110029927A (ko) * | 2009-09-17 | 2011-03-23 | (주) 알티솔루션 | 모바일 차량번호 자동인식시스템 및 자동인식방법 |
| CN103336959A (zh) * | 2013-07-19 | 2013-10-02 | 西安电子科技大学 | 一种基于gpu多核并行加速的车辆检测方法 |
| CN104464344A (zh) * | 2014-11-07 | 2015-03-25 | 湖北大学 | 一种车辆行驶路径预测方法及系统 |
| CN105160340A (zh) * | 2015-08-31 | 2015-12-16 | 桂林电子科技大学 | 一种车辆品牌识别系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 李颜: "《基于Hadoop的分布式视频车辆检索方法》", 《电视技术》 * |
| 李颜: "《基于云平台的车牌识别系统设计与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 陈名松: "《基于车辆检测设计与实现的公路照明节能系统》", 《电视技术》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886065A (zh) * | 2017-11-06 | 2018-04-06 | 哈尔滨工程大学 | 一种混合字体的数字序列识别方法 |
| CN108416348A (zh) * | 2018-01-29 | 2018-08-17 | 重庆邮电大学 | 基于支持向量机和卷积神经网络的车牌定位识别方法 |
| CN108509912A (zh) * | 2018-04-03 | 2018-09-07 | 深圳市智绘科技有限公司 | 多路网络视频流车牌识别方法及系统 |
| CN108509912B (zh) * | 2018-04-03 | 2021-09-28 | 深圳市智绘科技有限公司 | 多路网络视频流车牌识别方法及系统 |
| CN108681693B (zh) * | 2018-04-12 | 2022-04-12 | 南昌大学 | 基于可信区域的车牌识别方法 |
| CN108681693A (zh) * | 2018-04-12 | 2018-10-19 | 南昌大学 | 基于可信区域的车牌识别方法 |
| CN108681736A (zh) * | 2018-04-13 | 2018-10-19 | 东华大学 | 一种基于arm微处理器的嵌入式车牌识别系统 |
| CN108960291A (zh) * | 2018-06-08 | 2018-12-07 | 武汉科技大学 | 一种基于并行化Softmax分类的图像处理方法和系统 |
| CN108765413A (zh) * | 2018-06-08 | 2018-11-06 | 众安信息技术服务有限公司 | 用于图像分类的方法、装置及计算机可读介质 |
| CN109063594A (zh) * | 2018-07-13 | 2018-12-21 | 吉林大学 | 基于YOLOv2的遥感图像快速目标检测方法 |
| CN109271984A (zh) * | 2018-07-24 | 2019-01-25 | 广东工业大学 | 一种基于深度学习的多方位车牌定位方法 |
| CN109271991A (zh) * | 2018-09-06 | 2019-01-25 | 公安部交通管理科学研究所 | 一种基于深度学习的车牌检测方法 |
| CN109271991B (zh) * | 2018-09-06 | 2022-03-22 | 公安部交通管理科学研究所 | 一种基于深度学习的车牌检测方法 |
| US10777076B2 (en) | 2018-09-19 | 2020-09-15 | National Chung-Shan Institute Of Science And Technology | License plate recognition system and license plate recognition method |
| CN109635666B (zh) * | 2018-11-16 | 2023-04-18 | 南京航空航天大学 | 一种基于深度学习的图像目标快速检测方法 |
| CN109635666A (zh) * | 2018-11-16 | 2019-04-16 | 南京航空航天大学 | 一种基于深度学习的图像目标快速检测方法 |
| WO2020125544A1 (zh) * | 2018-12-18 | 2020-06-25 | 华为技术有限公司 | 一种分布式图像分析方法、系统及存储介质 |
| CN109815998A (zh) * | 2019-01-08 | 2019-05-28 | 科大国创软件股份有限公司 | 一种基于yolo算法的ai装维巡检方法及系统 |
| CN110047102A (zh) * | 2019-04-18 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 用于输出信息的方法、装置和系统 |
| CN110378308B (zh) * | 2019-07-25 | 2021-07-20 | 电子科技大学 | 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法 |
| CN110378308A (zh) * | 2019-07-25 | 2019-10-25 | 电子科技大学 | 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法 |
| CN111435446A (zh) * | 2019-12-25 | 2020-07-21 | 珠海大横琴科技发展有限公司 | 一种基于LeNet车牌识别方法及装置 |
| CN111027554A (zh) * | 2019-12-27 | 2020-04-17 | 创新奇智(重庆)科技有限公司 | 商品价签文字精确检测定位系统及定位方法 |
| CN111027554B (zh) * | 2019-12-27 | 2023-05-23 | 创新奇智(重庆)科技有限公司 | 商品价签文字精确检测定位系统及定位方法 |
| CN111539359A (zh) * | 2020-04-28 | 2020-08-14 | 浙江工商大学 | 基于深度学习的违章停车检测方法 |
| CN111539359B (zh) * | 2020-04-28 | 2024-04-02 | 浙江工商大学 | 基于深度学习的违章停车检测方法 |
| CN114299727A (zh) * | 2021-12-28 | 2022-04-08 | 杭州电子科技大学 | 一种基于物联网和边缘计算的交通流预测系统及云平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107316016B (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107316016A (zh) | 一种基于Hadoop和监控视频流的车辆轨迹统计方法 | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
| US20230267735A1 (en) | Method for structuring pedestrian information, device, apparatus and storage medium | |
| CN109902806A (zh) | 基于卷积神经网络的噪声图像目标边界框确定方法 | |
| CN111241343A (zh) | 一种道路信息监控与分析检测方法、智慧交通控制系统 | |
| CN112395951B (zh) | 一种面向复杂场景的域适应交通目标检测与识别方法 | |
| CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN111008633A (zh) | 一种基于注意力机制的车牌字符分割方法 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN113888754B (zh) | 一种基于雷达视觉融合的车辆多属性识别方法 | |
| CN111353544A (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
| CN113920468B (zh) | 一种基于跨尺度特征增强的多分支行人检测方法 | |
| CN111611933A (zh) | 文档图像的信息提取方法及系统 | |
| CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
| CN116246059A (zh) | 一种基于改进的yolo多尺度检测的车辆目标识别方法 | |
| CN116052090A (zh) | 图像质量评估方法、模型训练方法、装置、设备及介质 | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
| Qin et al. | The application of attention mechanism in semantic image segmentation | |
| CN110751150A (zh) | 一种基于fpga的二值神经网络车牌识别方法及系统 | |
| CN116129327A (zh) | 一种基于改进YOLOv7算法的红外车辆检测方法 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN113537173B (zh) | 一种基于面部补丁映射的人脸图像真伪识别方法 | |
| Xu et al. | SPNet: Superpixel pyramid network for scene parsing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Chen Mingsong Inventor after: Zhou Yijie Inventor after: Wang Weiguang Inventor after: Dong Shi Inventor after: Zhou Xinling Inventor after: Li Zihan Inventor before: Chen Mingsong Inventor before: Wang Weiguang Inventor before: Dong Shi Inventor before: Zhou Xinling |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200623 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |