CN109492588A - 一种基于人工智能的快速车辆检测与分类方法 - Google Patents

一种基于人工智能的快速车辆检测与分类方法 Download PDF

Info

Publication number
CN109492588A
CN109492588A CN201811342238.7A CN201811342238A CN109492588A CN 109492588 A CN109492588 A CN 109492588A CN 201811342238 A CN201811342238 A CN 201811342238A CN 109492588 A CN109492588 A CN 109492588A
Authority
CN
China
Prior art keywords
vehicle
classification
picture
artificial intelligence
frame images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811342238.7A
Other languages
English (en)
Inventor
徐韶华
李小勇
黎云飞
黎恒
朱其义
周毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Transportation Research and Consulting Co Ltd
Original Assignee
Guangxi Transportation Research and Consulting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Transportation Research and Consulting Co Ltd filed Critical Guangxi Transportation Research and Consulting Co Ltd
Priority to CN201811342238.7A priority Critical patent/CN109492588A/zh
Publication of CN109492588A publication Critical patent/CN109492588A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工智能的快速车辆检测与分类方法，包括以下步骤：步骤一、通过本地摄像机或者网络摄像机视频流的解码与输入，将视频流分割成连续的单帧图像；步骤二、使用灰度纹理特征对步骤一获得的单帧图像中的车辆进行检测，粗选出可能为车辆的区域；步骤三、将步骤二获得的图片的感兴趣区域送入训练好的卷积神经网络进行分类识别，得到车辆的具体分类；步骤四、使用卡尔曼滤波对步骤三识别到的车辆进行跟踪，当连续3帧单帧图像内都检测到同一辆车时，输出该车的分类信息；步骤五、根据步骤四输出的信息统计车流量、车型数据信息。本发明的方法提高了视频流的车辆检测与分类的速度，对硬件要求不高，便于算法的实际应用与推广。

Description

一种基于人工智能的快速车辆检测与分类方法
技术领域
本发明涉人工智能和图像识别，具体是一种基于人工智能的快速车辆分类方法。
背景技术
深度学习是今年来比较热门的技术领域，其中的计算机视觉领域出现了比较多的物体识别与分类方法，其中最常见和效果最好的物体分类网络是卷积神经网络(CNN)，物体识别的算法也大多基于CNN进行扩展，较为成熟的有R-CNN，SPP-Net，Fast RCNN等，这些算法在有限种类的物体的识别与分类上都已基本达到人眼的识别水准。然而这些算法大多停留在研究阶段，在实际的工程项目中使用并不广泛，主要是以下几点原因的限制：首先CNN的训练与运算本身需要消耗大量的硬件资源，而且识别精度的提高往往伴随的是网络的加深与输入数据的扩大，进一步加重了硬件的负担；当需求扩展到物体识别时，本质上也是从待识别的图像上选出1000～2000个区域并进行CNN分类，因此一个较好的物体识别与分类模型往往需要性能强大的GPU进行运算，在处理视频这样的高数据流时硬件成本很大，因此难以推广到实际工程应用中。虽然现在出现了一些针对深度学习算法的硬件计算单元，如TPU等，但是也存在着不开源，供货量少，开发难度大等问题。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种基于人工智能的快速车辆检测与分类方法。
为了解决以上技术问题，本发明采用的技术方案是：一种基于人工智能的快速车辆检测与分类方法，包括以下步骤：
步骤一、通过本地摄像机或者网络摄像机视频流的解码与输入，将视频流分割成连续的单帧图像；
步骤二、使用灰度纹理特征对步骤一获得的单帧图像中的车辆进行检测，粗选出可能为车辆的区域，切割出图片的感兴趣区域；
步骤三、将步骤二获得的图片的感兴趣区域送入训练好的卷积神经网络进行分类识别，得到车辆的具体分类或者直接排除该区域；
步骤四、使用卡尔曼滤波对步骤三识别到的车辆进行跟踪，当连续3帧单帧图像内都检测到同一辆车时，输出该车的分类信息，之后获取的单帧图像不再对该车进行卷积神经网络分类，直至该车离开图像；
步骤五、根据步骤四输出的信息统计车流量、车型数据信息，用于后续处理。
进一步地，所述步骤二中，使用预先训练好的纹理分类器对车辆进行检测，具体步骤为：首先将图像进行灰度化，然后进行纹理特征计算，最后输入训练好参数的分类器，由分类器输出图片的感兴趣区域。
进一步地，所述纹理分类器的参数训练使用opencv的traincascade.exe程序可进行训练，选择HAAR特征、LBP特征或者HOG特征作为纹理分类的特征提取算法，同时选择Boost、AdaBoost或SVM作为分类器。
进一步地，所述步骤三具体为：将步骤二获得的图片的感兴趣区域重采样到64x64像素，保留颜色信息，输入训练好参数的卷积神经网络，通过卷积、池化、全连接等步骤得到车辆的具体类别或者排除该区域。
进一步地，所述步骤四中，使用卡尔曼滤波对步骤三识别到的车辆进行跟踪，具体为：估计出车辆在图片中的具体位置，设车辆在图片上的位置为(u，v)，车辆在图片中的位移分别为du，dv；根据卡尔曼滤波模型，设X＝[u，v，du，dv]，对于某一时刻k，有X(k+1|k)＝AX(k|k)+BU(k)+W(k)，由于每帧之间车辆在位置上是连续的，不可能发生位置上的突变，所以设A＝[1，0，1，0；0，1，0，1；0，0，1，0；0，0，0，1]，B＝0；通过步骤二检测到的车辆位置为测量值，则对于测量值，值有Z(k)+HX(k)+Y(k)，其中H＝[1，0，0，0；0，1，0，0]，由此可以计算出卡尔曼增益与最优估计值并对车辆在图片中的坐标位置进行迭代。
本发明首先使用灰度纹理特征对车辆区域进行区域识别，进一步通过CNN详细分类，最后通过卡尔曼滤波跟踪车辆，算法对于视频流上已检测出的车辆不再用CNN分类。这三种方法大大提高了基于人工智能的视频流的车辆检测与分类的速度，对硬件要求不高，便于算法的实际应用与推广。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示一种基于人工智能的快速车辆分类方法，包括以下步骤：
步骤一、通过本地摄像机或者网络摄像机视频流的解码与输入，可使用1ibvlc或者opencv从视频流获取连续的单帧图像。
步骤二、使用灰度纹理特征对车辆进行检测，该步骤需要预先使用车辆图片进行纹理分类器的参数训练，使用opencv的traincascade.exe程序可进行训练，可根据实际的需求选择HAAR特征，LBP特征或者H0G特征作为纹理分类的特征提取算法，其中LBP特征提取出的特征数据是整型数组因此速度最快，本算法选择LBP纹理特征作为车辆检测算法，同时还可以选择Boost，AdaBoost，SVM作为分类器，其中Boost算法原理是基于多个弱分类器进行多层决策，其特点是容易误判而不容易漏判，因此此算法可以作为粗选车辆区域的算法，误判的区域可由下一层的CNN算法修正掉。输入图像首先进行图像的灰度化，然后进行纹理特征计算，最后输入训练好参数的分类器，由分类器输出图片的ROI。
步骤三、将上述图片的ROI区域送入CNN进行分类识别，该步骤需要预先对CNN进行训练。目前有许多基于CNN的图像识别模型，为了广泛性，这些模型都是基于多分类目标而设计的，整个模型层数多，数据量大，且需要输入的图像分辨率也大。考虑到本应用只需要检测有限的几种车辆种类，可以适当裁剪这些模型的层数和需要输入的图像分辨率，以增加算法的速度，本发明设计并训练了一个输入为64x64x3的7层神经网络。将ROI区域重采样到64x64像素，保留颜色信息(即通道为3)，输入训练好参数的CNN，通过卷积，池化，全连接等操作得到车辆的具体类别或者排除该区域。这里可以根据实际的检测需要修改CNN的层数与部分参数。
步骤四、使用卡尔曼滤波对3识别到的车辆进行跟踪，估计出车辆在图片中的具体位置，设车辆在图片上的位置为(u，v)，车辆在图片中的位移分别为du，dv；根据卡尔曼滤波模型，设X：[u，v，du，dv]，对于某一时刻k，有X(k+1|k)＝AX(k|k)+BU(k)+W(k)，由于每帧之间车辆在位置上是连续的，不可能发生位置上的突变，所以设A＝[1，0，1，0；0，1，0，1；0，0，1，0；0，0，0，1]，B＝0；通过步骤二检测到的车辆位置为测量值，则对于测量值，值有Z(k)+HX(k)+V(k)，其中H＝[1，0，0，0；0，1，0，0]，由此可以计算出卡尔曼增益与最优估计值并对车辆在图片中的坐标位置进行迭代。只需要考虑车辆进入图像的初始几帧的状态，这里考虑连续3帧的图像，当连续3帧内都检测并跟踪到同一辆车时，输出该车的分类信息，之后获取的帧不再对该车进行CNN分类，仅对该车进行卡尔曼滤波跟踪，直到车辆离开图片范围。这里还可以使用MeanShift，CamShift等其他的物体跟踪算法对车辆位置进行估计，只要能实现对同一辆车的位置估计即可。
步骤五、统计车流量，车型数据等信息，等待后续的进一步处理。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (5)

1.一种基于人工智能的快速车辆检测与分类方法，其特征在于，包括以下步骤：
步骤一、通过本地摄像机或者网络摄像机视频流的解码与输入，将视频流分割成连续的单帧图像；
步骤二、使用灰度纹理特征对步骤一获得的单帧图像中的车辆进行检测，粗选出可能为车辆的区域，切割出图片的感兴趣区域；
步骤三、将步骤二获得的图片的感兴趣区域送入训练好的卷积神经网络进行分类识别，得到车辆的具体分类或者直接排除该区域；
步骤四、使用卡尔曼滤波对步骤三识别到的车辆进行跟踪，当连续3帧单帧图像内都检测到同一辆车时，输出该车的分类信息，之后获取的单帧图像不再对该车进行卷积神经网络分类，直至该车离开图像；
步骤五、根据步骤四输出的信息统计车流量、车型数据信息。
2.根据权利要求1所述的基于人工智能的快速车辆检测与分类方法，其特征在于：所述步骤二中，使用预先训练好的纹理分类器对车辆进行检测，具体步骤为：首先将图像进行灰度化，然后进行纹理特征计算，最后输入训练好参数的分类器，由分类器输出图片的感兴趣区域。
3.根据权利要求2所述的基于人工智能的快速车辆检测与分类方法，其特征在于：所述纹理分类器的参数训练使用opencv的traincascade.exe程序可进行训练，选择HAAR特征、LBP特征或者HOG特征作为纹理分类的特征提取算法，同时选择Boost、AdaBoost或SVM作为分类器。
4.根据权利要求1所述的基于人工智能的快速车辆检测与分类方法，其特征在于：所述步骤三具体为：将步骤二获得的图片的感兴趣区域重采样到64x64像素，保留颜色信息，输入训练好参数的卷积神经网络，通过卷积、池化、全连接得到车辆的具体类别或者排除该区域。
5.根据权利要求1所述的基于人工智能的快速车辆检测与分类方法，其特征在于：所述步骤四中，使用卡尔曼滤波对步骤三识别到的车辆进行跟踪，具体为：估计出车辆在图片中的具体位置，设车辆在图片上的位置为(u，v)，车辆在图片中的位移分别为du，dv；根据卡尔曼滤波模型，设X＝[u，v，du，dv]，对于某一时刻k，有X(k+1|k)＝AX(k|k)+BU(k)+W(k)，由于每帧之间车辆在位置上是连续的，不可能发生位置上的突变，所以设A＝[1，0，1，0；0，1，0，1；0，0，1，0；0，0，0，1]，B＝0；通过步骤二检测到的车辆位置为测量值，则对于测量值，值有Z(k)+HX(k)+V(k)，其中H＝[1，0，0，0；0，1，0，0]，由此可以计算出卡尔曼增益与最优估计值并对车辆在图片中的坐标位置进行迭代。
CN201811342238.7A 2018-11-12 2018-11-12 一种基于人工智能的快速车辆检测与分类方法 Pending CN109492588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811342238.7A CN109492588A (zh) 2018-11-12 2018-11-12 一种基于人工智能的快速车辆检测与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811342238.7A CN109492588A (zh) 2018-11-12 2018-11-12 一种基于人工智能的快速车辆检测与分类方法

Publications (1)

Publication Number Publication Date
CN109492588A true CN109492588A (zh) 2019-03-19

Family

ID=65695698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811342238.7A Pending CN109492588A (zh) 2018-11-12 2018-11-12 一种基于人工智能的快速车辆检测与分类方法

Country Status (1)

Country Link
CN (1) CN109492588A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599781A (zh) * 2019-09-23 2019-12-20 潍坊畅讯交通设施工程有限公司 一种智慧化城市的车流统计识别系统
CN110738169A (zh) * 2019-10-11 2020-01-31 深圳前海微众银行股份有限公司 车流量监测方法、装置、设备及计算机可读存储介质
CN110889427A (zh) * 2019-10-15 2020-03-17 同济大学 一种拥堵交通流溯源分析方法
TWI716926B (zh) * 2019-07-05 2021-01-21 所羅門股份有限公司 物件姿態辨識方法及系統與電腦程式產品
CN117576926A (zh) * 2024-01-09 2024-02-20 厦门星纵物联科技有限公司 车辆违规检测方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360499A (zh) * 2011-06-30 2012-02-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法
DE102012104131A1 (de) * 2011-05-13 2012-11-15 Conti Temic Microelectronic Gmbh Automatische anpassung der ansteuerung eines insbesondere für fahrerassistenzsysteme vorgesehenen imagers an äussere einflüsse
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105678214A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 云环境下基于卷积神经网络车型识别的车流量统计方法
CN106599832A (zh) * 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
CN107704833A (zh) * 2017-10-13 2018-02-16 杭州电子科技大学 一种基于机器学习的前方车辆检测与跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012104131A1 (de) * 2011-05-13 2012-11-15 Conti Temic Microelectronic Gmbh Automatische anpassung der ansteuerung eines insbesondere für fahrerassistenzsysteme vorgesehenen imagers an äussere einflüsse
CN102360499A (zh) * 2011-06-30 2012-02-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105678214A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 云环境下基于卷积神经网络车型识别的车流量统计方法
CN106599832A (zh) * 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
CN107704833A (zh) * 2017-10-13 2018-02-16 杭州电子科技大学 一种基于机器学习的前方车辆检测与跟踪方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716926B (zh) * 2019-07-05 2021-01-21 所羅門股份有限公司 物件姿態辨識方法及系統與電腦程式產品
CN110599781A (zh) * 2019-09-23 2019-12-20 潍坊畅讯交通设施工程有限公司 一种智慧化城市的车流统计识别系统
CN110738169A (zh) * 2019-10-11 2020-01-31 深圳前海微众银行股份有限公司 车流量监测方法、装置、设备及计算机可读存储介质
CN110738169B (zh) * 2019-10-11 2023-09-08 深圳前海微众银行股份有限公司 车流量监测方法、装置、设备及计算机可读存储介质
CN110889427A (zh) * 2019-10-15 2020-03-17 同济大学 一种拥堵交通流溯源分析方法
CN117576926A (zh) * 2024-01-09 2024-02-20 厦门星纵物联科技有限公司 车辆违规检测方法、设备及存储介质
CN117576926B (zh) * 2024-01-09 2024-03-12 厦门星纵物联科技有限公司 车辆违规检测方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109492588A (zh) 一种基于人工智能的快速车辆检测与分类方法
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
JP5675229B2 (ja) 画像処理装置及び画像処理方法
US20120274755A1 (en) System and method for human detection and counting using background modeling, hog and haar features
CN110264493A (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN106778474A (zh) 3d人体识别方法及设备
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
AU2020300067B2 (en) Layered motion representation and extraction in monocular still camera videos
US11836944B2 (en) Information processing apparatus, information processing method, and storage medium
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
CN108734200A (zh) 基于bing特征的人体目标视觉检测方法和装置
CN101320477A (zh) 一种人体跟踪方法及其设备
Gürel Development of a face recognition system
CN107886060A (zh) 基于视频的行人自动检测与跟踪方法
Kölsch An appearance-based prior for hand tracking
Li Research on camera-based human body tracking using improved cam-shift algorithm
CN114639117A (zh) 一种跨境特定行人追踪的方法和装置
KR20230117945A (ko) 고객 객체 분석 시스템 및 방법
Badi et al. Feature extraction technique for static hand gesture recognition
Zhao et al. Eye Tracking Based on the Template Matching and the Pyramidal Lucas-Kanade Algorithm
CN111160179A (zh) 一种基于头部分割和卷积神经网络的摔倒检测方法
Kerdvibulvech Hybrid model of human hand motion for cybernetics application
Thazheena et al. A review on face detection under occlusion by facial accessories
Chaw et al. Facial expression recognition using correlation of eyes regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319

RJ01 Rejection of invention patent application after publication