CN112071076A - 一种高速公路车辆唯一标识特征提取方法及系统 - Google Patents

一种高速公路车辆唯一标识特征提取方法及系统 Download PDF

Info

Publication number
CN112071076A
CN112071076A CN202010865408.0A CN202010865408A CN112071076A CN 112071076 A CN112071076 A CN 112071076A CN 202010865408 A CN202010865408 A CN 202010865408A CN 112071076 A CN112071076 A CN 112071076A
Authority
CN
China
Prior art keywords
vehicle
module
data
feature
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010865408.0A
Other languages
English (en)
Inventor
陶杰
郑于海
亓凌
喻锋
胡丹
赵恒�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Original Assignee
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd filed Critical Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority to CN202010865408.0A priority Critical patent/CN112071076A/zh
Publication of CN112071076A publication Critical patent/CN112071076A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于车辆特征提取技术领域，公开了一种高速公路车辆唯一标识特征提取方法及系统，所述高速公路车辆唯一标识特征提取的系统包括：视频数据获取模块、数据预处理模块、中央控制模块、特征提取模型构建模块、模型训练模块、标识特征提取模块、特征融合模块、车辆识别模块、云存储模块、更新显示模块。本发明通过深度学习网络框架对特征提取模型进行训练，在不同阶段根据使用联合训练的损失函数不同，能够提升网络模型的在不同方面的特征提取能力；通过特征向量、车辆属性特征向量与表述性特征共同用于车辆重识别，可以提高车辆识别的准确性；依次递进匹配的方式则在保证高精度的情况下还可以缩短检索时间，适用于大数据量的车辆重识别。

Description

一种高速公路车辆唯一标识特征提取方法及系统
技术领域
本发明属于车辆特征提取技术领域，尤其涉及一种高速公路车辆唯一标识特征提取方法及系统。
背景技术
目前，在智能交通系统的应用中，车辆型号识别是道路监控的重要组成部分。车辆型号识别是根据不同品牌不同系列车辆的车头图像的唯一性进行车辆型号识别。车辆型号识别在城市交通监控、车辆追踪、打击涉车犯罪等领域有着广泛的应用前景。
现有的车辆型号识别方法一般是提取整辆车的图像特征并输入分类器进行识别，该方法虽然包含和车辆各个方面的特征，但是由于车辆往往以各种不同的角度出现在交通监控视频中，这会造成获取的车辆图像变化较大，引入较多的干扰图像，识别精度差。因此，亟需一种新的车辆唯一标识特征提取的方法。
通过上述分析，现有技术存在的问题及缺陷为：现有的车辆型号识别方法中，由于车辆往往以各种不同的角度出现在交通监控视频中，这会造成获取的车辆图像变化较大，引入较多的干扰图像，识别精度差。
发明内容
针对现有技术存在的问题，本发明提供了一种高速公路车辆唯一标识特征提取方法及系统。
本发明是这样实现的，一种高速公路车辆唯一标识特征提取方法，所述高速公路车辆唯一标识特征提取方法，包括：
步骤一，视频数据获取模块通过扫描枪或摄像头获取经过高速公路监控卡口的车辆监控原始视频数据；视频数据获取完成后，数据预处理模块通过数据预处理程序对获取的车辆监控原始视频数据进行预处理，提取车辆的车牌和车标图像；
步骤二，根据预处理完成的视频数据，中央控制模块分别控制视频数据获取模块、数据预处理模块、特征提取模型构建模块、模型训练模块、标识特征提取模块、特征融合模块、车辆识别模块、云存储模块和更新显示模块，协调各个模块的正常运行；
步骤三，特征提取模型构建模块通过模型构建程序构建高速公路车辆特征提取模型；高速公路车辆特征提取模型建立完成后，模型训练模块通过模型训练程序利用大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练；
步骤四，标识特征提取模块通过训练好的特征提取模型从车辆的车牌和车标图像中提取车辆的表述性特征向量和车辆属性特征；特征融合模块通过特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据；
步骤五，车辆识别模块通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别，并得到高速公路车辆的识别结果；云存储模块通过云数据库服务器存储获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果；
步骤六，更新显示模块通过更新程序对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新，并通过高清显示器进行数据的实时显示；
步骤一中，所述通过数据预处理模块利用数据预处理程序对获取的车辆监控原始视频数据进行预处理的方法，包括：
(1)使用三帧差法对车辆监控视频中运动目标进行检测，当判定运动目标为车辆时，获取包含车辆的监控画面；
(2)根据监控画面中车辆的位置信息和尺寸信息截取车辆图像，并对截取的车辆图像进行高斯模糊处理；
(3)针对高斯处理后的图像进行灰度化处理，然后经过Sobel算子提取边缘，获得边缘的图像；
(4)将获得的边缘图像进行二值化、腐蚀膨胀的数学形态处理，然后从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像；
步骤六中，所述更新显示模块对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新的过程为：
将车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果建立数据集合中心，对数据结合中心进行分组，构建映射数据库；
通过数据挖掘算法挖掘出频繁数据项，进行对频繁数据项进行保存分类；
不断重复上述过程，实现数据的更新分类。
进一步，步骤(4)中，所述从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像的方法，包括：
1)在车辆图片中定位车牌，获取车辆的车牌中心坐标和车牌宽度；
2)以车牌的中心位置为参考点，车牌宽度为参考宽度，从车牌中心位置向上下左右分别延伸预设倍数的车牌宽度的距离构成一个矩形，截取矩形范围内的图像作为车牌图像；
4)在车头图像中定位车标，使用车标判别分类器在车牌的上方搜索车标，并用预设宽高比的矩形框截取车标图像。
进一步，步骤三中，所述通过模型训练模块利用模型训练程序并结合大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练的方法，包括：
(I)加载待训练的特征提取模型，并截取预处理后的每张车辆图像的兴趣区，作为特征提取模型训练的基础输入；
(II)根据提取的兴趣区域位置信息，实现兴趣区池化，提取包含车内装饰、环保标识的车辆专属信息的局部特征；
(III)依托于多个损失函数进行分阶段循环迭代训练，每个循环通过误差的反向传播更新网络模型参数，直至满足终止条件，得到最终的特征提取模型。
进一步，步骤四中，所述通过特征融合模块利用特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理的方法，包括：
(a)合并车辆的表述性特征向量和车辆属性特征数据；
(b)将合并后的车辆的表述性特征向量和车辆属性特征数据输入到训练好的特征融合器，通过所述特征融合器对车辆的表述性特征向量和车辆属性特征数据进行特征融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据。
进一步，所述特征融合器为基于反向传播BP神经网络构建的特征融合器，将BP神经网络的输入层和隐藏层作为所述特征融合器。
进一步，步骤五中，所述车辆识别模块通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别过程中，车辆型号分类器的每一种输出结果对应唯一一种车辆的识别结果。
本发明另一目的在于提供一种实施所述高速公路车辆唯一标识特征提取方法的高速公路车辆唯一标识特征提取系统，所述所述高速公路车辆唯一标识特征提取系统包括：
视频数据获取模块、数据预处理模块、中央控制模块、特征提取模型构建模块、模型训练模块、标识特征提取模块、特征融合模块、车辆识别模块、云存储模块、更新显示模块；
视频数据获取模块，与中央控制模块连接，用于通过扫描枪或摄像头获取经过高速公路监控卡口的车辆监控原始视频数据；
数据预处理模块，与中央控制模块连接，用于通过数据预处理程序对获取的车辆监控原始视频数据进行预处理，提取车辆的车牌和车标图像；数据预处理模块利用数据预处理程序对获取的车辆监控原始视频数据进行预处理，使用三帧差法对车辆监控视频中运动目标进行检测，当判定运动目标为车辆时，获取包含车辆的监控画面；根据监控画面中车辆的位置信息和尺寸信息截取车辆图像，并对截取的车辆图像进行高斯模糊处理；针对高斯处理后的图像进行灰度化处理，然后经过Sobel算子提取边缘，获得边缘的图像；将获得的边缘图像进行二值化、腐蚀膨胀的数学形态处理，然后从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像；
中央控制模块，与视频数据获取模块、数据预处理模块、特征提取模型构建模块、模型训练模块、标识特征提取模块、特征融合模块、车辆识别模块、云存储模块、更新显示模块连接，用于通过中央处理器控制所述高速公路车辆唯一标识特征提取的系统各个模块的正常运行；
特征提取模型构建模块，与中央控制模块连接，用于通过模型构建程序构建高速公路车辆特征提取模型；
模型训练模块，与中央控制模块连接，用于通过模型训练程序利用大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练；加载待训练的特征提取模型，并截取预处理后的每张车辆图像的兴趣区，作为特征提取模型训练的基础输入；根据提取的兴趣区域位置信息，实现兴趣区池化，提取包含车内装饰、环保标识的车辆专属信息的局部特征；依托于多个损失函数进行分阶段循环迭代训练，每个循环通过误差的反向传播更新网络模型参数，直至满足终止条件，得到最终的特征提取模型；
标识特征提取模块，与中央控制模块连接，用于通过训练好的特征提取模型从车辆的车牌和车标图像中提取车辆的表述性特征向量和车辆属性特征；
特征融合模块，与中央控制模块连接，用于通过特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据；通过特征融合模块利用特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，合并车辆的表述性特征向量和车辆属性特征数据；将合并后的车辆的表述性特征向量和车辆属性特征数据输入到训练好的特征融合器，通过所述特征融合器对车辆的表述性特征向量和车辆属性特征数据进行特征融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据；
车辆识别模块，与中央控制模块连接，用于通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别，并得到高速公路车辆的识别结果；
云存储模块，与中央控制模块连接，用于通过云数据库服务器存储获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果；
更新显示模块，与中央控制模块连接，用于通过更新程序对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新，并通过高清显示器进行数据的实时显示；其中，实时数据进行更新；将车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果建立数据集合中心，对数据结合中心进行分组，构建映射数据库；通过数据挖掘算法挖掘出频繁数据项，进行对频繁数据项进行保存分类；不断重复上述过程，实现数据的更新分类。
进一步，所述数据预处理模块包括：车辆检测单元，用于通过三帧差法对车辆监控视频中运动目标进行检测，并判定运动目标是否为车辆；模糊处理单元，用于对截取的车辆图像进行高斯模糊处理；边缘图像处理单元，用于对高斯处理后的图像进行灰度化处理，然后经过Sobel算子提取边缘，获得边缘的图像；数学形态处理单元，用于将获得的边缘图像进行二值化、腐蚀膨胀的数学形态处理，并提取轮廓并得到车辆的车牌和车标图像。
本发明另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的高速公路车辆唯一标识特征提取的方法。
本发明另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的高速公路车辆唯一标识特征提取的方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过视频数据获取模块通过扫描枪或摄像头获取经过高速公路监控卡口的车辆监控原始视频数据；数据预处理模块通过数据预处理程序对获取的车辆监控原始视频数据进行预处理，提取车辆的车牌和车标图像；特征提取模型构建模块通过模型构建程序构建高速公路车辆特征提取模型；模型训练模块通过模型训练程序利用大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练；标识特征提取模块通过训练好的特征提取模型从车辆的车牌和车标图像中提取车辆的表述性特征向量和车辆属性特征；特征融合模块通过特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据；车辆识别模块通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别，并得到高速公路车辆的识别结果；云存储模块通过云数据库服务器存储获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果；更新显示模块通过更新程序对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新，并通过高清显示器进行数据的实时显示。
同时本发明提供的高速公路车辆唯一标识特征提取的系统，通过深度学习网络框架对特征提取模型进行训练，在不同阶段根据使用联合训练的损失函数不同，能够提升网络模型的在不同方面的特征提取能力；通过特征向量、车辆属性特征向量与表述性特征共同用于车辆重识别，可以提高车辆识别的准确性；依次递进匹配的方式则在保证高精度的情况下还可以缩短检索时间，适用于大数据量的车辆重识别。相比现有技术，本发明能够同时兼顾车标与车头的图像特征，具有适用范围广、识别准确度高的优点，适用于智能交通系统，尤其适用于车辆追踪、生成交通视频的文本摘要、打击套牌车等应用。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的高速公路车辆唯一标识特征提取系统结构框图；
图中：1、视频数据获取模块；2、数据预处理模块；3、中央控制模块；4、特征提取模型构建模块；5、模型训练模块；6、标识特征提取模块；7、特征融合模块；8、车辆识别模块；9、云存储模块；10、更新显示模块。
图2是本发明实施例提供的高速公路车辆唯一标识特征提取方法流程图。
图3是本发明实施例提供的通过数据预处理模块利用数据预处理程序对获取的车辆监控原始视频数据进行预处理的方法流程图。
图4是本发明实施例提供的从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像的方法流程图。
图5是本发明实施例提供的通过模型训练模块利用模型训练程序并结合大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种高速公路车辆唯一标识特征提取方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的高速公路车辆唯一标识特征提取的系统包括：视频数据获取模块1、数据预处理模块2、中央控制模块3、特征提取模型构建模块4、模型训练模块5、标识特征提取模块6、特征融合模块7、车辆识别模块8、云存储模块9、更新显示模块10。
视频数据获取模块1，与中央控制模块3连接，用于通过扫描枪或摄像头获取经过高速公路监控卡口的车辆监控原始视频数据。
数据预处理模块2，与中央控制模块3连接，用于通过数据预处理程序对获取的车辆监控原始视频数据进行预处理，提取车辆的车牌和车标图像。
中央控制模块3，与视频数据获取模块1、数据预处理模块2、特征提取模型构建模块4、模型训练模块5、标识特征提取模块6、特征融合模块7、车辆识别模块8、云存储模块9、更新显示模块10连接，用于通过中央处理器控制所述高速公路车辆唯一标识特征提取的系统各个模块的正常运行。
特征提取模型构建模块4，与中央控制模块3连接，用于通过模型构建程序构建高速公路车辆特征提取模型。
模型训练模块5，与中央控制模块3连接，用于通过模型训练程序利用大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练。
标识特征提取模块6，与中央控制模块3连接，用于通过训练好的特征提取模型从车辆的车牌和车标图像中提取车辆的表述性特征向量和车辆属性特征。
特征融合模块7，与中央控制模块3连接，用于通过特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据。
车辆识别模块8，与中央控制模块3连接，用于通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别，并得到高速公路车辆的识别结果。
云存储模块9，与中央控制模块3连接，用于通过云数据库服务器存储获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果。
更新显示模块10，与中央控制模块3连接，用于通过更新程序对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新，并通过高清显示器进行数据的实时显示。
本发明实施例提供的数据预处理模块2包括：
车辆检测单元2-1，用于通过三帧差法对车辆监控视频中运动目标进行检测，并判定运动目标是否为车辆。
模糊处理单元2-2，用于对截取的车辆图像进行高斯模糊处理。
边缘图像处理单元2-3，用于对高斯处理后的图像进行灰度化处理，然后经过Sobel算子提取边缘，获得边缘的图像。
数学形态处理单元2-4，用于将获得的边缘图像进行二值化、腐蚀膨胀的数学形态处理，并提取轮廓并得到车辆的车牌和车标图像。
如图2所示，本发明实施例提供的高速公路车辆唯一标识特征提取的方法包括以下步骤：
S101，视频数据获取模块通过扫描枪或摄像头获取经过高速公路监控卡口的车辆监控原始视频数据；视频数据获取完成后，数据预处理模块通过数据预处理程序对获取的车辆监控原始视频数据进行预处理，提取车辆的车牌和车标图像。
S102，根据预处理完成的视频数据，中央控制模块分别控制视频数据获取模块、数据预处理模块、特征提取模型构建模块、模型训练模块、标识特征提取模块、特征融合模块、车辆识别模块、云存储模块和更新显示模块，协调各个模块的正常运行。
S103，特征提取模型构建模块通过模型构建程序构建高速公路车辆特征提取模型；高速公路车辆特征提取模型建立完成后，模型训练模块通过模型训练程序利用大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练。
S104，标识特征提取模块通过训练好的特征提取模型从车辆的车牌和车标图像中提取车辆的表述性特征向量和车辆属性特征；特征融合模块通过特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据。
S105，车辆识别模块通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别，并得到高速公路车辆的识别结果；云存储模块通过云数据库服务器存储获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果。
S106，更新显示模块通过更新程序对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新，并通过高清显示器进行数据的实时显示。
如图3所示，本发明实施例提供的步骤S101中，所述通过数据预处理模块利用数据预处理程序对获取的车辆监控原始视频数据进行预处理的方法，包括：
S201，使用三帧差法对车辆监控视频中运动目标进行检测，当判定运动目标为车辆时，获取包含车辆的监控画面。
S202，根据监控画面中车辆的位置信息和尺寸信息截取车辆图像，并对截取的车辆图像进行高斯模糊处理。
S203，针对高斯处理后的图像进行灰度化处理，然后经过Sobel算子提取边缘，获得边缘的图像。
S204，将获得的边缘图像进行二值化、腐蚀膨胀的数学形态处理，然后从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像。
如图4所示，本发明实施例提供的步骤S204中，所述从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像的方法，包括：
S301，在车辆图片中定位车牌，获取车辆的车牌中心坐标和车牌宽度。
S302，以车牌的中心位置为参考点，车牌宽度为参考宽度，从车牌中心位置向上下左右分别延伸预设倍数的车牌宽度的距离构成一个矩形，截取矩形范围内的图像作为车牌图像。
S303，在车头图像中定位车标，使用车标判别分类器在车牌的上方搜索车标，并用预设宽高比的矩形框截取车标图像。
如图5所示，本发明实施例提供的步骤S103中，所述通过模型训练模块利用模型训练程序并结合大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练的方法，包括：
S401，加载待训练的特征提取模型，并截取预处理后的每张车辆图像的兴趣区，作为特征提取模型训练的基础输入。
S402，根据提取的兴趣区域位置信息，实现兴趣区池化，提取包含车内装饰、环保标识的车辆专属信息的局部特征。
S403，依托于多个损失函数进行分阶段循环迭代训练，每个循环通过误差的反向传播更新网络模型参数，直至满足终止条件，得到最终的特征提取模型。
本发明实施例提供的步骤S104中，所述通过特征融合模块利用特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理的方法，包括：
(a)合并车辆的表述性特征向量和车辆属性特征数据。
(b)将合并后的车辆的表述性特征向量和车辆属性特征数据输入到训练好的特征融合器，通过所述特征融合器对车辆的表述性特征向量和车辆属性特征数据进行特征融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据。
本发明实施例提供的车辆型号分类器的每一种输出结果对应唯一一种车辆的识别结果；所述特征融合器为基于反向传播BP神经网络构建的特征融合器，将BP神经网络的输入层和隐藏层作为所述特征融合器。
本发明实施例提供的S106中，所述更新显示模块对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新的过程为：
将车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果建立数据集合中心，对数据结合中心进行分组，构建映射数据库。
通过数据挖掘算法挖掘出频繁数据项，进行对频繁数据项进行保存分类。
不断重复上述过程，实现数据的更新分类。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种高速公路车辆唯一标识特征提取方法，其特征在于，所述高速公路车辆唯一标识特征提取方法，包括：
步骤一，视频数据获取模块通过扫描枪或摄像头获取经过高速公路监控卡口的车辆监控原始视频数据；视频数据获取完成后，数据预处理模块通过数据预处理程序对获取的车辆监控原始视频数据进行预处理，提取车辆的车牌和车标图像；
步骤二，根据预处理完成的视频数据，中央控制模块分别控制视频数据获取模块、数据预处理模块、特征提取模型构建模块、模型训练模块、标识特征提取模块、特征融合模块、车辆识别模块、云存储模块和更新显示模块，协调各个模块的正常运行；
步骤三，特征提取模型构建模块通过模型构建程序构建高速公路车辆特征提取模型；高速公路车辆特征提取模型建立完成后，模型训练模块通过模型训练程序利用大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练；
步骤四，标识特征提取模块通过训练好的特征提取模型从车辆的车牌和车标图像中提取车辆的表述性特征向量和车辆属性特征；特征融合模块通过特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据；
步骤五，车辆识别模块通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别，并得到高速公路车辆的识别结果；云存储模块通过云数据库服务器存储获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果；
步骤六，更新显示模块通过更新程序对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新，并通过高清显示器进行数据的实时显示；
步骤一中，所述通过数据预处理模块利用数据预处理程序对获取的车辆监控原始视频数据进行预处理的方法，包括：
(1)使用三帧差法对车辆监控视频中运动目标进行检测，当判定运动目标为车辆时，获取包含车辆的监控画面；
(2)根据监控画面中车辆的位置信息和尺寸信息截取车辆图像，并对截取的车辆图像进行高斯模糊处理；
(3)针对高斯处理后的图像进行灰度化处理，然后经过Sobel算子提取边缘，获得边缘的图像；
(4)将获得的边缘图像进行二值化、腐蚀膨胀的数学形态处理，然后从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像；
步骤六中，所述更新显示模块对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新的过程为：
将车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果建立数据集合中心，对数据结合中心进行分组，构建映射数据库；
通过数据挖掘算法挖掘出频繁数据项，进行对频繁数据项进行保存分类；
不断重复上述过程，实现数据的更新分类。
2.如权利要求1所述的高速公路车辆唯一标识特征提取方法，其特征在于，步骤(4)中，所述从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像的方法，包括：
1)在车辆图片中定位车牌，获取车辆的车牌中心坐标和车牌宽度；
2)以车牌的中心位置为参考点，车牌宽度为参考宽度，从车牌中心位置向上下左右分别延伸预设倍数的车牌宽度的距离构成一个矩形，截取矩形范围内的图像作为车牌图像；
4)在车头图像中定位车标，使用车标判别分类器在车牌的上方搜索车标，并用预设宽高比的矩形框截取车标图像。
3.如权利要求1所述的高速公路车辆唯一标识特征提取方法，其特征在于，步骤三中，所述通过模型训练模块利用模型训练程序并结合大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练的方法，包括：
(I)加载待训练的特征提取模型，并截取预处理后的每张车辆图像的兴趣区，作为特征提取模型训练的基础输入；
(II)根据提取的兴趣区域位置信息，实现兴趣区池化，提取包含车内装饰、环保标识的车辆专属信息的局部特征；
(III)依托于多个损失函数进行分阶段循环迭代训练，每个循环通过误差的反向传播更新网络模型参数，直至满足终止条件，得到最终的特征提取模型。
4.如权利要求1所述的高速公路车辆唯一标识特征提取方法，其特征在于，步骤四中，所述通过特征融合模块利用特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理的方法，包括：
(a)合并车辆的表述性特征向量和车辆属性特征数据；
(b)将合并后的车辆的表述性特征向量和车辆属性特征数据输入到训练好的特征融合器，通过所述特征融合器对车辆的表述性特征向量和车辆属性特征数据进行特征融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据。
5.如权利要求4所述的高速公路车辆唯一标识特征提取方法，其特征在于，所述特征融合器为基于反向传播BP神经网络构建的特征融合器，将BP神经网络的输入层和隐藏层作为所述特征融合器。
6.如权利要求1所述的高速公路车辆唯一标识特征提取方法，其特征在于，步骤五中，所述车辆识别模块通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别过程中，车辆型号分类器的每一种输出结果对应唯一一种车辆的识别结果。
7.一种实施如权利要求1-6任意一项所述高速公路车辆唯一标识特征提取方法的高速公路车辆唯一标识特征提取系统，其特征在于，所述所述高速公路车辆唯一标识特征提取系统包括：
视频数据获取模块、数据预处理模块、中央控制模块、特征提取模型构建模块、模型训练模块、标识特征提取模块、特征融合模块、车辆识别模块、云存储模块、更新显示模块；
视频数据获取模块，与中央控制模块连接，用于通过扫描枪或摄像头获取经过高速公路监控卡口的车辆监控原始视频数据；
数据预处理模块，与中央控制模块连接，用于通过数据预处理程序对获取的车辆监控原始视频数据进行预处理，提取车辆的车牌和车标图像；数据预处理模块利用数据预处理程序对获取的车辆监控原始视频数据进行预处理，使用三帧差法对车辆监控视频中运动目标进行检测，当判定运动目标为车辆时，获取包含车辆的监控画面；根据监控画面中车辆的位置信息和尺寸信息截取车辆图像，并对截取的车辆图像进行高斯模糊处理；针对高斯处理后的图像进行灰度化处理，然后经过Sobel算子提取边缘，获得边缘的图像；将获得的边缘图像进行二值化、腐蚀膨胀的数学形态处理，然后从处理后的车辆图片中提取轮廓并得到车辆的车牌和车标图像；
中央控制模块，与视频数据获取模块、数据预处理模块、特征提取模型构建模块、模型训练模块、标识特征提取模块、特征融合模块、车辆识别模块、云存储模块、更新显示模块连接，用于通过中央处理器控制所述高速公路车辆唯一标识特征提取的系统各个模块的正常运行；
特征提取模型构建模块，与中央控制模块连接，用于通过模型构建程序构建高速公路车辆特征提取模型；
模型训练模块，与中央控制模块连接，用于通过模型训练程序利用大规模车辆数据集、深度学习框架和训练策略完成所述特征提取模型的分阶段训练；加载待训练的特征提取模型，并截取预处理后的每张车辆图像的兴趣区，作为特征提取模型训练的基础输入；根据提取的兴趣区域位置信息，实现兴趣区池化，提取包含车内装饰、环保标识的车辆专属信息的局部特征；依托于多个损失函数进行分阶段循环迭代训练，每个循环通过误差的反向传播更新网络模型参数，直至满足终止条件，得到最终的特征提取模型；
标识特征提取模块，与中央控制模块连接，用于通过训练好的特征提取模型从车辆的车牌和车标图像中提取车辆的表述性特征向量和车辆属性特征；
特征融合模块，与中央控制模块连接，用于通过特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据；通过特征融合模块利用特征融合程序利用特征融合器将车辆的表述性特征向量和车辆属性特征数据进行融合处理，合并车辆的表述性特征向量和车辆属性特征数据；将合并后的车辆的表述性特征向量和车辆属性特征数据输入到训练好的特征融合器，通过所述特征融合器对车辆的表述性特征向量和车辆属性特征数据进行特征融合处理，生成车标与车头融合的高速公路车辆唯一标识特征数据；
车辆识别模块，与中央控制模块连接，用于通过识别程序利用车辆判别分类器对车标与车头的融合特征数据进行分类判别，并得到高速公路车辆的识别结果；
云存储模块，与中央控制模块连接，用于通过云数据库服务器存储获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果；
更新显示模块，与中央控制模块连接，用于通过更新程序对获取的车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果的实时数据进行更新，并通过高清显示器进行数据的实时显示；其中，实时数据进行更新；将车辆监控原始视频数据、提取的车辆的车牌和车标图像、高速公路车辆特征提取模型、高速公路车辆唯一标识特征数据以及车辆的识别结果建立数据集合中心，对数据结合中心进行分组，构建映射数据库；通过数据挖掘算法挖掘出频繁数据项，进行对频繁数据项进行保存分类；不断重复上述过程，实现数据的更新分类。
8.如权利要求7所述的高速公路车辆唯一标识特征提取的系统，其特征在于，所述数据预处理模块包括：车辆检测单元，用于通过三帧差法对车辆监控视频中运动目标进行检测，并判定运动目标是否为车辆；模糊处理单元，用于对截取的车辆图像进行高斯模糊处理；边缘图像处理单元，用于对高斯处理后的图像进行灰度化处理，然后经过Sobel算子提取边缘，获得边缘的图像；数学形态处理单元，用于将获得的边缘图像进行二值化、腐蚀膨胀的数学形态处理，并提取轮廓并得到车辆的车牌和车标图像。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～6任意一项所述的高速公路车辆唯一标识特征提取的方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～6任意一项所述的高速公路车辆唯一标识特征提取的方法。
CN202010865408.0A 2020-08-25 2020-08-25 一种高速公路车辆唯一标识特征提取方法及系统 Pending CN112071076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010865408.0A CN112071076A (zh) 2020-08-25 2020-08-25 一种高速公路车辆唯一标识特征提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010865408.0A CN112071076A (zh) 2020-08-25 2020-08-25 一种高速公路车辆唯一标识特征提取方法及系统

Publications (1)

Publication Number Publication Date
CN112071076A true CN112071076A (zh) 2020-12-11

Family

ID=73660024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010865408.0A Pending CN112071076A (zh) 2020-08-25 2020-08-25 一种高速公路车辆唯一标识特征提取方法及系统

Country Status (1)

Country Link
CN (1) CN112071076A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416686A (zh) * 2021-12-06 2022-04-29 广州天长信息技术有限公司 一种车辆设备指纹carid识别系统及识别方法
CN114998770A (zh) * 2022-07-06 2022-09-02 中国科学院地理科学与资源研究所 一种公路标识提取方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160340A (zh) * 2015-08-31 2015-12-16 桂林电子科技大学 一种车辆品牌识别系统及方法
WO2016108327A1 (ko) * 2014-12-30 2016-07-07 광주과학기술원 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
CN106126637A (zh) * 2016-06-23 2016-11-16 东软集团股份有限公司 一种交通工具类别识别方法及装置
CN106650550A (zh) * 2015-10-28 2017-05-10 中通服公众信息产业股份有限公司 一种融合车标与车头图像特征的车辆型号识别方法及系统
CN107729818A (zh) * 2017-09-21 2018-02-23 北京航空航天大学 一种基于深度学习的多特征融合车辆重识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016108327A1 (ko) * 2014-12-30 2016-07-07 광주과학기술원 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
CN105160340A (zh) * 2015-08-31 2015-12-16 桂林电子科技大学 一种车辆品牌识别系统及方法
CN106650550A (zh) * 2015-10-28 2017-05-10 中通服公众信息产业股份有限公司 一种融合车标与车头图像特征的车辆型号识别方法及系统
CN106126637A (zh) * 2016-06-23 2016-11-16 东软集团股份有限公司 一种交通工具类别识别方法及装置
CN107729818A (zh) * 2017-09-21 2018-02-23 北京航空航天大学 一种基于深度学习的多特征融合车辆重识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416686A (zh) * 2021-12-06 2022-04-29 广州天长信息技术有限公司 一种车辆设备指纹carid识别系统及识别方法
CN114998770A (zh) * 2022-07-06 2022-09-02 中国科学院地理科学与资源研究所 一种公路标识提取方法及系统

Similar Documents

Publication Publication Date Title
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
WO2023065395A1 (zh) 作业车辆检测与跟踪方法和系统
CN112215128B (zh) 融合fcos的r-cnn城市道路环境识别方法及装置
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN109101932B (zh) 基于目标检测的多任务及临近信息融合的深度学习方法
CN109753949B (zh) 一种基于深度学习的多视窗交通标志检测方法
CN115049700A (zh) 一种目标检测方法及装置
Jain et al. Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks
CN108875803B (zh) 一种基于视频图像的危化品运输车辆检测与识别方法
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN107103314A (zh) 一种基于机器视觉的套牌车辆检索识别系统
CN109657599B (zh) 距离自适应的车辆外观部件的图片识别方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN112071076A (zh) 一种高速公路车辆唯一标识特征提取方法及系统
CN112700475A (zh) 不同场景下自适应的多目标视频追踪系统
CN114037966A (zh) 高精地图特征提取方法、装置、介质及电子设备
CN108491828B (zh) 一种基于层次的成对相似性PVAnet的停车位检测系统及方法
CN113378857A (zh) 目标检测方法、装置、电子设备及存储介质
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
Pulipalupula et al. Object Detection using You only Look Once (YOLO) Algorithm in Convolution Neural Network (CNN)
CN116266359A (zh) 目标物的跟踪方法、装置、计算机设备和存储介质
Li et al. Feature point extraction and tracking based on a local adaptive threshold
Wang et al. A lightweight high-resolution RS image road extraction method combining multi-scale and attention mechanism
Alomari et al. Smart real-time vehicle detection and tracking system using road surveillance cameras
CN113673288A (zh) 空闲车位检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201211

RJ01 Rejection of invention patent application after publication