CN111680556A - 交通卡口车辆类型的识别方法、装置、设备及存储介质 - Google Patents

交通卡口车辆类型的识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111680556A
CN111680556A CN202010358054.0A CN202010358054A CN111680556A CN 111680556 A CN111680556 A CN 111680556A CN 202010358054 A CN202010358054 A CN 202010358054A CN 111680556 A CN111680556 A CN 111680556A
Authority
CN
China
Prior art keywords
vehicle
target
processing
image
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010358054.0A
Other languages
English (en)
Other versions
CN111680556B (zh
Inventor
吴晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010358054.0A priority Critical patent/CN111680556B/zh
Priority claimed from CN202010358054.0A external-priority patent/CN111680556B/zh
Priority to PCT/CN2020/104804 priority patent/WO2021217924A1/zh
Publication of CN111680556A publication Critical patent/CN111680556A/zh
Application granted granted Critical
Publication of CN111680556B publication Critical patent/CN111680556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域,可应用于智慧交通领域,公开了一种交通卡口车辆类型的识别方法、装置、设备及存储介质,用于提高对车辆进行定位与识别的精准度。该方法包括:通过有效网络算法对目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;对车辆特征信息进行预设的数据处理,得到多个不同尺度的目标车辆特征图;通过目标锚框和匹配算法Giou对目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框和初始坐标;根据车辆特征信息对目标车辆定位框内车辆的类型进行预测,得到预测车辆类型;通过将初始坐标映射到原始交通卡口车辆图像上得到目标车辆,将预测车辆类型确定为目标车辆对应的目标车辆类型。

Description

交通卡口车辆类型的识别方法、装置、设备及存储介质
技术领域
本发明涉及区域提取领域,尤其涉及一种交通卡口车辆类型的识别方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展和计算机视觉原理的广泛应用,利用计算机图像处理技术对目标进行实时跟踪研究越来越热门。对目标进行动态实时跟踪定位的相关技术算法常被应用在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面。
目前,采用一种单阶段目标检测算法对智能化交通系统中车辆图像进行车辆识别,通过特征提取网络对输入图像提取特征,获得特征图,将特征图分成多个网格单元,每个网格单元预测固定数量的边界框,根据边界框对输入图像进行车辆定位,以实现对车辆的识别。
在现有技术中,由于目标边界框的定位不精准和由每个特征网格预测固定数量的候选框在很大程度上减少了候选框的数量,因而,导致了召回率相对较低,从而,导致对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度低。
发明内容
本发明的主要目的在于解决对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的准确度低的问题。
本发明第一方面提供了一种交通卡口车辆类型的识别方法,包括:
获取原始交通卡口车辆图像,将所述原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像;
通过预置的有效网络算法对所述目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;
对所述车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;
通过预置的目标锚框和匹配算法Giou对所述多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及所述目标车辆定位框的初始坐标;
根据所述车辆特征信息对所述目标车辆定位框内车辆的类型进行预测,得到预测车辆类型;
将所述初始坐标映射到所述原始交通卡口车辆图像上,得到目标坐标,并确定所述目标坐标对应的边界框内包含的目标车辆,将所述预测车辆类型确定为所述目标车辆对应的目标车辆类型。
可选的,在本发明第一方面的第一种实现方式中,所述对所述车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图,包括:
对所述车辆特征信息进行第一数据处理,得到第一特征信息,并对所述第一特征信息进行第二数据处理,得到第一尺度车辆特征图,所述第一数据处理包括多层向量卷积运算处理、批归一化处理和激活函数处理,所述第二数据处理包括一层向量卷积运算处理、批归一化处理和激活函数处理;
对所述第一特征信息和所述车辆特征信息进行多次预设数据处理,得到多个不同尺度的候选车辆特征图,所述预设数据处理包括所述第一数据处理、上采样处理、拼接处理和所述第二数据处理;
将所述第一尺度车辆特征图和所述多个不同尺度的候选车辆特征图确定为多个不同尺度的目标车辆特征图,所述多个不同尺度的目标车辆特征图中尺度的种类数量大于3。
可选的,在本发明第一方面的第二种实现方式中,所述对所述第一特征信息和所述车辆特征信息进行多次预设数据处理,得到多个不同尺度的候选车辆特征图,包括:
对所述第一特征信息进行所述第一数据处理和上采样处理,得到第二特征信息;
获取所述第二特征信息的目标特征维度,并通过预置的卷积网络从所述车辆特征信息中获取与所述目标特征维度对应的车辆特征信息;
将所述第二特征信息和与所述目标特征维度对应的车辆特征信息进行拼接处理,得到第三特征信息;
对所述第三特征信息进行所述第一数据处理,得到第四特征信息,并对所述第四特征信息进行所述第二数据处理和一层向量卷积运算处理,得到第二尺度车辆特征图;
对所述车辆特征信息和所述第四特征信息进行多次的所述第一数据处理、上采样处理、拼接处理和所述第二数据处理,得到多个不同尺度的原始车辆特征图;
将所述第二尺度车辆特征图和所述多个不同尺度的原始车辆特征图确定为多个不同尺度的候选车辆特征图。
可选的,在本发明第一方面的第三种实现方式中,所述通过预置的目标锚框和匹配算法Giou对所述多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析之前,还包括:
生成所述多个不同尺度的目标车辆特征图中每个目标车辆特征图的目标车辆边界框,通过预置的匹配算法Giou计算每两个目标车辆边界框之间的交并比差值;
通过预置的聚类算法和所述交并比差值对所述目标车辆边界框的尺寸类型进行聚类,得到预置的目标锚框。
可选的,在本发明第一方面的第四种实现方式中,所述通过预置的目标锚框和匹配算法Giou对所述多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及所述目标车辆定位框的初始坐标,包括:
通过预置的目标锚框和预置参数对所述多个不同尺度的目标车辆特征图进行车辆定位框的类别预测和偏移量预测,得到初始车辆定位框,所述预置参数包括预测类型参数、预测偏移量参数和真实标注参数;
通过所述匹配算法Giou计算所述初始车辆定位框和所述目标锚框之间的度量值,将所述度量值最大的初始车辆定位框确定为目标车辆定位框;
获取与所述目标车辆定位框对应的预置特征网格单元,并读取所述预置特征网格单元的坐标,得到目标车辆定位框的初始坐标。
可选的,在本发明第一方面的第五种实现方式中,所述将所述预测车辆类型确定为所述目标车辆对应的目标车辆类型之后,还包括:
获取所述原始交通卡口车辆图像上预置标签内容中的真实车辆和所述真实车辆的真实车辆类型,以及获取所述真实车辆在所述原始交通卡口车辆图像上预置标注框的真实坐标和真实尺寸,并获取所述目标车辆定位框的目标尺寸;
计算所述真实车辆与所述目标车辆之间的第一误差、所述真实车辆类型与所述目标车辆类型之间的第二误差、所述真实坐标与所述目标坐标之间的第三误差,以及所述目标尺寸与所述真实尺寸之间的第四误差,以及通过所述匹配算法Giou计算所述目标锚框与所述目标车辆定位框之间的匹配度;
根据所述第一误差、所述第二误差、所述第三误差、所述第四误差和所述匹配度生成目标损失函数,所述目标损失函数用于对所述原始交通卡口车辆图像中目标车辆类型的识别进行优化。
可选的,在本发明第一方面的第六种实现方式中,所述获取原始交通卡口车辆图像,将所述原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像,包括:
获取原始交通卡口车辆图像,对所述原始交通卡口车辆图像进行数据预处理,得到预处理交通卡口车辆图像,所述数据预处理包括数据清理处理、数据集成处理、数据变换处理、数据规约处理和图像增强处理;
对所述预处理交通卡口车辆图像进行边缘检测,得到候选交通卡口车辆图像;
将所述候选交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像。
本发明第二方面提供了一种交通卡口车辆类型的识别装置,包括:
第一获取模块,用于获取原始交通卡口车辆图像,将所述原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像;
特征提取模型,用于通过预置的有效网络算法对所述目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;
处理模块,用于对所述车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;
第一预测模块,用于通过预置的目标锚框和匹配算法Giou对所述多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及所述目标车辆定位框的初始坐标;
第二预测模块,用于根据所述车辆特征信息对所述目标车辆定位框内车辆的类型进行预测,得到预测车辆类型;
映射模块,用于将所述初始坐标映射到所述原始交通卡口车辆图像上,得到目标坐标,并确定所述目标坐标对应的边界框内包含的目标车辆,将所述预测车辆类型确定为所述目标车辆对应的目标车辆类型。
可选的,在本发明第二方面的第一种实现方式中,所述处理模块包括:
第一处理单元,用于对所述车辆特征信息进行第一数据处理,得到第一特征信息,并对所述第一特征信息进行第二数据处理,得到第一尺度车辆特征图,所述第一数据处理包括多层向量卷积运算处理、批归一化处理和激活函数处理,所述第二数据处理包括一层向量卷积运算处理、批归一化处理和激活函数处理;
第二处理单元,用于对所述第一特征信息和所述车辆特征信息进行多次预设数据处理,得到多个不同尺度的候选车辆特征图,所述预设数据处理包括所述第一数据处理、上采样处理、拼接处理和所述第二数据处理;
确定单元,用于将所述第一尺度车辆特征图和所述多个不同尺度的候选车辆特征图确定为多个不同尺度的目标车辆特征图,所述多个不同尺度的目标车辆特征图中尺度的种类数量大于3。
可选的,在本发明第二方面的第二种实现方式中,所述第二处理单元具体用于:
对所述第一特征信息进行所述第一数据处理和上采样处理,得到第二特征信息;
获取所述第二特征信息的目标特征维度,并通过预置的卷积网络从所述车辆特征信息中获取与所述目标特征维度对应的车辆特征信息;
将所述第二特征信息和与所述目标特征维度对应的车辆特征信息进行拼接处理,得到第三特征信息;
对所述第三特征信息进行所述第一数据处理,得到第四特征信息,并对所述第四特征信息进行所述第二数据处理和所述一层向量卷积运算处理,得到第二尺度车辆特征图;
对所述车辆特征信息和所述第四特征信息进行多次的所述第一数据处理、上采样处理、拼接处理和所述第二数据处理,得到多个不同尺度的原始车辆特征图;
将所述第二尺度车辆特征图和所述多个不同尺度的原始车辆特征图确定为多个不同尺度的候选车辆特征图。
可选的,在本发明第二方面的第三种实现方式中,所述交通卡口车辆类型的识别装置,还包括:
第一计算模块,用于生成所述多个不同尺度的目标车辆特征图中每个目标车辆特征图的目标车辆边界框,通过预置的匹配算法Giou计算每两个目标车辆边界框之间的交并比差值;
聚类模块,用于通过预置的聚类算法和所述交并比差值对所述目标车辆边界框的尺寸类型进行聚类,得到预置的目标锚框。
可选的,在本发明第二方面的第四种实现方式中,所述第一预测模块具体用于:
通过预置的目标锚框和预置参数对所述多个不同尺度的目标车辆特征图进行车辆定位框的类别预测和偏移量预测,得到初始车辆定位框,所述预置参数包括预测类型参数、预测偏移量参数和真实标注参数;
通过所述匹配算法Giou计算所述初始车辆定位框和所述目标锚框之间的度量值,将所述度量值最大的初始车辆定位框确定为目标车辆定位框;
获取与所述目标车辆定位框对应的预置特征网格单元,并读取所述预置特征网格单元的坐标,得到目标车辆定位框的初始坐标。
可选的,在本发明第二方面的第五种实现方式中,所述交通卡口车辆类型的识别装置,还包括:
第二获取模块,用于获取所述原始交通卡口车辆图像上预置标签内容中的真实车辆和所述真实车辆的真实车辆类型,以及获取所述真实车辆在所述原始交通卡口车辆图像上预置标注框的真实坐标和真实尺寸,并获取所述目标车辆定位框的目标尺寸;
第二计算模块,用于计算所述真实车辆与所述目标车辆之间的第一误差、所述真实车辆类型与所述目标车辆类型之间的第二误差、所述真实坐标与所述目标坐标之间的第三误差,以及所述目标尺寸与所述真实尺寸之间的第四误差,以及通过所述匹配算法Giou计算所述目标锚框与所述目标车辆定位框之间的匹配度;
生成模块,用于根据所述第一误差、所述第二误差、所述第三误差、所述第四误差和所述匹配度生成目标损失函数,所述目标损失函数用于对所述原始交通卡口车辆图像中目标车辆类型的识别进行优化。
可选的,在本发明第二方面的第六种实现方式中,所述第一获取模块具体用于:
获取原始交通卡口车辆图像,对所述原始交通卡口车辆图像进行数据预处理,得到预处理交通卡口车辆图像,所述数据预处理包括数据清理处理、数据集成处理、数据变换处理、数据规约处理和图像增强处理;
对所述预处理交通卡口车辆图像进行边缘检测,得到候选交通卡口车辆图像;
将所述候选交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像。
本发明第三方面提供了一种交通卡口车辆类型的识别设备,包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述指令,以使得所述交通卡口车辆类型的识别设备执行上述的交通卡口车辆类型的识别方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的交通卡口车辆类型的识别方法。
本发明提供的技术方案中,获取原始交通卡口车辆图像和目标交通卡口车辆图像;通过预置的有效网络算法对目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;对车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;通过预置的目标锚框和匹配算法Giou对多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及目标车辆定位框的初始坐标;根据车辆特征信息对目标车辆定位框内车辆的类型进行预测,得到预测车辆类型;将目标坐标映射到原始交通卡口车辆图像上,得到目标坐标,并确定目标坐标对应的边界框内包含的目标车辆,将预测车辆类型确定为目标车辆对应的目标车辆类型。本发明中,通过采用有效网络、多次的向量卷积运算处理、批归一化处理、激活函数处理、拼接处理和匹配算法Giou,增强车辆特征信息的有效性,提高对目标车辆类型检测的召回率,提高对原始交通卡口车辆图像中的目标车辆定位框的定位识别精度,进而提高了对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。
附图说明
图1为本发明实施例中交通卡口车辆类型的识别方法的一个实施例示意图;
图2为本发明实施例中交通卡口车辆类型的识别方法的另一个实施例示意图;
图3为本发明实施例中获取多个不同尺度的目标车辆特征图的一个实施例示意图;
图4为本发明实施例中获取多个不同尺度的候选车辆特征图的一个实施例示意图;
图5为本发明实施例中交通卡口车辆类型的识别装置的一个实施例示意图;
图6为本发明实施例中交通卡口车辆类型的识别装置的另一个实施例示意图;
图7为本发明实施例中交通卡口车辆类型的识别设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种交通卡口车辆类型的识别方法、装置、设备及存储介质,通过采用有效网络、多次的向量卷积运算处理、批归一化处理、激活函数处理、拼接处理和匹配算法Giou,增强车辆特征信息的有效性,提高对目标车辆类型检测的召回率,提高对原始交通卡口车辆图像中的目标车辆定位框的定位识别精度,进而提高了对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中交通卡口车辆类型的识别方法的一个实施例包括:
101、获取原始交通卡口车辆图像,将原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像;
可以理解的是,本发明的执行主体可以为交通卡口车辆类型的识别装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
服务器通过图像缩放函数Resize函数将通过摄像头或其他摄像工具采集到的原始交通卡口车辆图的图像尺寸转换为预设尺寸大小的目标交通卡口车辆图像,例如:通过Resize函数将候选车辆图像的图像尺寸转换为512*512尺寸大小的车辆图像。通过将原始交通卡口车辆图像的图像尺寸转换为预设尺寸,以便于通过预置的有效网络算法EfficientNet有效地对原始交通卡口车辆图像进行特征提取。
作为一种实施方式,原始交通卡口车辆图像存储于区块链中,服务器从区块链中获取原始交通卡口车辆图像。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
102、通过预置的有效网络算法对目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;
服务器调用预置的有效网络算法EfficientNet,通过EfficientNet中的增大网络深度系数和分辨率系数的卷积网络以增大的感受野系数对目标交通卡口车辆图像进行多卷积核的卷积运算处理和子采样处理,得到车辆特征信息。其中,车辆特征信息包括车辆的区域特征信息、形状特征信息和牌照特征信息,区域特征信息为车辆在目标交通卡口车辆图像上的区域位置,形状特征信息包括车辆的整体外廓信息、车头位置信息和车顶特征信息等,牌照特征信息包括牌照的颜色、形状和车牌号的构成特征信息。通过采用有效网络算法EfficientNet对目标交通卡口车辆图像进行特征提取,提高对车辆类型识别的准确率和效率,从而提高对复杂场景中多种尺度、多种分辨率和多种类型的车辆进行快速定位与识别的精准度。
103、对车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;
服务器将车辆特征信息输入预置的特征图生成框架中,该特征图生成框架可包括多层处理框架,每层处理框架包括批归一化层、激活函数层和/或不同层数的卷积层,以及特征融合层,通过该特征图生成框架中的每层处理框架将车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,通过该特征图生成框架可将车辆特征信息融合形成特征金字塔,生成多个不同尺度的目标车辆特征图,以实现能够识别交通卡口车辆图像中较多不同尺度的车辆特征信息,提高原始交通卡口图像中对目标车辆类型检测的召回率,从而提高对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。
104、通过预置的目标锚框和匹配算法Giou对多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及目标车辆定位框的初始坐标;
服务器通过预置的聚类算法结合匹配算法Giou对预置训练图片中的所有真实标注框集合进行聚类处理得到目标锚框anchorbox,在本实施例中,目标锚框anchorbox为15个,每个目标车辆特征图对应3个,有5个目标车辆特征图,预测每个anchorbox对应的所含目标的类别和真实标注框相对目标锚框的偏移量,根据类别和偏移量调整目标锚框位置,从而得到每个车辆特征图的3种不同尺寸的目标车辆定位框坐标,对每个车辆特征图的3种不同尺寸的目标车辆定位框进行筛选,得到需要输出的每个车辆特征图对应目标车辆定位框和目标车辆定位框的初始坐标,或对15个目标车辆定位框进行筛选,得到需要输出的所有车辆特征图对应的目标车辆定位框和目标车辆定位框的初始坐标。其中,可通过以下公式得到目标车辆定位框的初始坐标:bx=σ(tx)+cx,by=σ(ty)+cy
Figure BDA0002474149610000091
Figure BDA0002474149610000092
tx和ty表示每个不同尺度的目标车辆特征图相对于特征图网格的相对坐标,tw和th分别表示每个不同尺度的目标车辆特征图相对于特征图网格的宽与高,σ表示sigmoid激活函数,bx和by表示每个不同尺度的目标车辆特征图的初始坐标,cx和cy表示特征图网格相对每个多种不同尺度的目标车辆特征图的相对坐标,bw和bh表示每个不同尺度的目标车辆特征图的宽和高,pw和ph表示目标锚框的宽和高。通过预置的目标锚框对目标车辆特征图进行预测分析,得到目标车辆定位框和目标车辆定位框的初始坐标,提高车辆图像中对车辆的定位精度。
105、根据车辆特征信息对目标车辆定位框内车辆的类型进行预测,得到预测车辆类型。
服务器调用预置的模型根据目标锚框的尺寸大小和目标锚框对应目标车辆特征图的图像信息对车辆类型进行预测,得到所有目标车辆特征图对应的多种不同的候选车辆类型,在本实施例中,为20种候选车辆类型,计算车辆特征信息和多种不同的候选车辆类型的特征信息之间的相似度,将相似度值最大对应的候选车辆类型作为最终的预测车辆类型。除此之外,还创建预测车辆类型与目标车辆定位框的对应关系,以便于将目标车辆定位框的目标坐标映射到原始交通卡口车辆图像上时,将对应的预测车辆类型标记在目标车辆上。
106、将初始坐标映射到原始交通卡口车辆图像上,得到目标坐标,并确定目标坐标对应的边界框内包含的目标车辆,将预测车辆类型确定为目标车辆对应的目标车辆类型。
服务器获得目标车辆定位框后,将该目标车辆定位框的初始坐标映射到原始交通卡口车辆图像上对应的坐标得到对应的目标坐标,以将目标车辆定位框标记在原始交通卡口车辆图像上,例如:原始交通卡口车辆图像大小为416*416,目标车辆特征图的大小为13*13,坐标为(6,8,2,3),首先将目标车辆特征图的坐标转换成(6,8,6+2,8+3),即(6,8,8,11),然后将坐标(6,8,8,11)映射到原始交通卡口车辆图像中后对应的坐标变成(6*(416/13),8*(416/13),8*(416/13),11*(416/13)),即(192,256,256,352)。获取原始交通卡口车辆图像上映射的坐标在对应的目标车辆,目标车辆定位框内的车辆标有对应的预测车辆类型,因而可通过将初始坐标映射到原始交通卡口车辆图像上,以将目标车辆对应的车辆类型进行识别,得到目标车辆类型,从而实现对原始交通卡口车辆图像的车辆检测和车辆类型识别,提高对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。
本发明实施例中,采用有效网络、向量卷积运算处理、批归一化处理、激活函数处理和拼接处理和匹配算法Giou,增强车辆特征信息的有效性,提高对目标车辆类型检测的召回率,提高对原始交通卡口车辆图像中的目标车辆定位框的定位识别精度,进而提高了对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。本发明可应用于智慧交通领域中,从而推动智慧城市的建设。
请参阅图2,本发明实施例中交通卡口车辆类型的识别方法的另一个实施例包括:
201、获取原始交通卡口车辆图像,将原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像;
具体地,服务器获取原始交通卡口车辆图像,将原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像,可以包括:获取原始交通卡口车辆图像,对原始交通卡口车辆图像进行数据预处理,得到预处理交通卡口车辆图像,数据预处理包括数据清理处理、数据集成处理、数据变换处理、数据规约处理和图像增强处理;对预处理交通卡口车辆图像进行边缘检测,得到候选交通卡口车辆图像;将候选交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像。
服务器对从交通系统中读取采集到的原始交通卡口车辆图像进行数据预处理,该数据预处理包括数据清理处理、数据集成处理、数据变换处理、数据规约处理和图像增强处理,该图像增强处理包括图像随机水平翻转、随机裁剪处理、随机色度处理和饱和度变换处理等,得到预处理交通卡口车辆图像。结合canny算子算法和基于结构化森林的快速边缘检测算法对预处理交通卡口车辆图像进行边缘检测,并将边缘检测所得的结果标记在候选交通卡口车辆图像对应区域上,得到候选交通卡口车辆图像。通过预置的图像缩放函数Resize函数将候选交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像。通过上述操作,保证目标交通卡口车辆图像的质量和便于后续对目标交通卡口车辆图像的检测和分类。
202、通过预置的有效网络算法对目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;
服务器调用预置的有效网络算法EfficientNet,通过EfficientNet中的增大网络深度系数和分辨率系数的卷积网络以增大的感受野系数对目标交通卡口车辆图像进行多卷积核的卷积运算处理和子采样处理,得到车辆特征信息。其中,车辆特征信息包括车辆的区域特征信息、形状特征信息和牌照特征信息,区域特征信息为车辆在目标交通卡口车辆图像上的区域位置,形状特征信息包括车辆的整体外廓信息、车头位置信息和车顶特征信息等,牌照特征信息包括牌照的颜色、形状和车牌号的构成特征信息。通过采用有效网络算法EfficientNet对目标交通卡口车辆图像进行特征提取,提高对车辆类型识别的准确率和效率,从而提高对复杂场景中多种尺度、多种分辨率和多种类型的车辆进行快速定位与识别的精准度。
203、对车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;
具体地,服务器对车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图,可以包括:对车辆特征信息进行第一数据处理,得到第一特征信息,并对第一特征信息进行第二数据处理,得到第一尺度车辆特征图,第一数据处理包括多层向量卷积运算处理、批归一化处理和激活函数处理,第二数据处理包括一层向量卷积运算处理、批归一化处理和激活函数处理;对第一特征信息和车辆特征信息进行多次预设数据处理,得到多个不同尺度的候选车辆特征图,预设数据处理包括第一数据处理、上采样处理、拼接处理和第二数据处理;将第一尺度车辆特征图和多个不同尺度的候选车辆特征图确定为多个不同尺度的目标车辆特征图,多个不同尺度的目标车辆特征图中尺度的种类数量大于3。
服务器对车辆特征信息进行第一数据处理得到第一目标特征信息,对第一目标特征信息进行一层向量卷积运算处理得到第一尺度车辆特征图,将车辆特征信息和第一特征信息进行多次预设数据处理得到3种以上不同尺度的候选车辆特征图(即多个不同尺度的候选车辆特征图),如图3所示。其中,多次预设数据处理中的第二数据处理、上采样处理、拼接处理、所述第一数据处理和一层向量卷积运算处理的组合顺序和操作顺序可不作限定。例如:可将第二数据处理和上采样处理作为一个组合,也可先进行第二数据处理再记性上采样处理。现有技术所生成的车辆特征图的尺度一般为3种,而本发明通过多次的向量卷积运算处理、批归一化处理、激活函数处理和拼接处理所生成的车辆特征图的尺度为3种以上,通过将原有的3种尺度车辆特征图扩展成多于现有3种尺度的车辆特征图,能够识别原始交通卡口车辆图像中较多不同尺度的车辆。通过上述步骤的操作,实现多于现有技术生成的尺寸数量的目标车辆特征图,以使每个特征网格能够不受约束地进行候选框的预测,提高生成目标车辆特征图的准确性和效率,能够有效地识别交通卡口车辆图像中较多不同尺度的目标车辆特征图,从而提高对目标车辆类型检测的召回率。
具体地,服务器对第一特征信息和车辆特征信息进行多次预设数据处理,得到多个不同尺度的候选车辆特征图,包括:对第一特征信息进行第一数据处理和上采样处理,得到第二特征信息;获取第二特征信息的目标特征维度,并通过预置的卷积网络从车辆特征信息中获取与目标特征维度对应的车辆特征信息;将第二特征信息和与目标特征维度对应的车辆特征信息进行拼接处理,得到第三特征信息;对第三特征信息进行第一数据处理,得到第四特征信息,并对第四特征信息进行第二数据处理和一层向量卷积运算处理,得到第二尺度车辆特征图;对车辆特征信息和第四特征信息进行多次的第一数据处理、上采样处理、拼接处理和第二数据处理,得到多个不同尺度的原始车辆特征图;将第二尺度车辆特征图和多个不同尺度的原始车辆特征图确定为多个不同尺度的候选车辆特征图。
本实施例中采用四次的预设数据处理,例如:如图4所示,设第一特征信息为A,车辆特征信息为B,第二特征信息为D,特征维度与目标特征维度对应的车辆特征信息为B1,第三特征信息为E,第四特征信息为F,第二尺度车辆特征图为甲,对A进行第二数据处理得到C,对C进行上采样处理得到D,D的特征维度为128*128*80,由于将两个特征信息进行拼接处理,须要该两个特征信息的特征维度保持一致,而第一数据处理、第二数据处理和一层向量卷积运算处理中的卷积核大小和步长不一致,因而须要通过预置的卷积网络(由多层卷积层构成)从B获取B1,B1的特征维度为128*128*?(?表示最高维不定,可以为任意大小),通过预置的keras.layers.Concatenate()函数拼接D与B1得到E,对E进行第一数据处理得到F,对F进行第二数据处理得到甲;对F进行第二数据处理得到C1,对C1进行上采样处理得到D1,通过预置的卷积块从B中获取特征维度与D1的特征维度对应的B2,通过预置的keras.layers.Concatenate()函数拼接D1与B1得到E1,对E1进行第一数据处理得到F1,对F1进行第二数据处理得到乙;同理可得丙和丁,甲、乙、丙和丁为多个不同尺度的候选车辆特征图。
204、通过预置的目标锚框和匹配算法Giou对多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及目标车辆定位框的初始坐标;
具体地,服务器通过预置的目标锚框和匹配算法Giou对多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及目标车辆定位框的初始坐标之前,还可以包括:生成多个不同尺度的目标车辆特征图中每个目标车辆特征图的目标车辆边界框,通过预置的匹配算法Giou计算每两个目标车辆边界框之间的交并比差值;通过预置的聚类算法和交并比差值对目标车辆边界框的尺寸类型进行聚类,得到预置的目标锚框。
通过预置的匹配算法Giou计算多个不同尺度的目标车辆特征图中每个目标车辆特征图中的两个目标车辆边界框之间的交并比值,计算公式如下:
Figure BDA0002474149610000131
Giou表示交并比差值,I表示两个目标车辆边界框的交集面积,C表示两个目标车辆边界框的最小包围框,U表示两个目标车辆边界框的并集面积。通过distance=1-Giou计算目标车辆边界框离聚类中心的距离,通过预置的kmeans聚类算法和目标车辆边界框离聚类中心的距离进行聚类,得到预置的锚框。通过匹配算法Giou和Kmeans聚类算法获取预置的目标锚框,更能真实地反映预测框与标注框(即两个目标车辆边界框)之间的差异程度,提高车辆图像中对车辆的定位精度,从而提高对复杂场景中多种尺度、多种分辨率和多种类型的车辆进行快速定位与识别的精准度。
具体地,服务器通过预置的目标锚框和匹配算法Giou对多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及目标车辆定位框的初始坐标,可以包括:通过预置的目标锚框和预置参数对多个不同尺度的目标车辆特征图进行车辆定位框的类别预测和偏移量预测,得到初始车辆定位框,预置参数包括预测类型参数、预测偏移量参数和真实标注参数;通过匹配算法Giou计算初始车辆定位框和目标锚框之间的度量值,将度量值最大的初始车辆定位框确定为目标车辆定位框;获取与目标车辆定位框对应的预置特征网格单元,并读取预置特征网格单元的坐标,得到目标车辆定位框的初始坐标。
例如:根据15个目标锚框(每个目标车辆特征图对应3个,有5个目标车辆特征图)的偏移量和类别进行预测,得到15个初始车辆定位框,每个目标车辆特征图对应3个初始车辆定位框,通过预置的匹配算法Giou分计算每个目标车辆特征图对应的3个初始车辆定位框分别与预置的真实标注框的度量值,该度量值的计算公式为:
Figure BDA0002474149610000141
I表示每个目标车辆特征图对应的3个初始车辆定位框中任意一个初始车辆定位框与目标锚框(即预置的真实标注框)的交集面积,C表示每个目标车辆特征图对应的3个初始车辆定位框中任意一个初始车辆定位框与目标锚框的最小包围框,U表示每个目标车辆特征图对应的3个初始车辆定位框中任意一个初始车辆定位框与目标锚框的并集面积,按照度量值从大到小对每个目标车辆特征图对应的3个初始车辆定位框进行排序,将排序第一的初始车辆定位框作为每个目标车辆特征图对应的目标候选车辆定位框,其中也可按照度量值从大到小对15个初始车辆定位框进行排序,将排序第一的初始车辆定位框作为所有目标车辆特征图对应的目标候选车辆定位框,读取目标车辆定位框对应预置特征网格单元的坐标,得到目标车辆定位框的初始坐标。
205、根据车辆特征信息对目标车辆定位框内车辆的类型进行预测,得到预测车辆类型。
服务器调用预置的模型根据目标锚框的尺寸大小和目标锚框对应目标车辆特征图的图像信息对车辆类型进行预测,得到所有目标车辆特征图对应的多种不同的候选车辆类型,在本实施例中,为20种候选车辆类型,计算车辆特征信息和多种不同的候选车辆类型的特征信息之间的相似度,将相似度值最大对应的候选车辆类型作为最终的预测车辆类型。除此之外,还创建车辆类型与目标车辆定位框的对应关系,以便于将目标车辆定位框的目标坐标映射到原始交通卡口车辆图像上时,将对应的车辆类型标记在目标车辆上。
206、将初始坐标映射到原始交通卡口车辆图像上,得到目标坐标,并确定目标坐标对应的边界框内包含的目标车辆,将预测车辆类型确定为目标车辆对应的目标车辆类型;
服务器得到目标车辆定位框后,将该目标车辆定位框的目标坐标映射到原始交通卡口车辆图像上对应的坐标得到对应的目标坐标,以将目标车辆定位框标记在原始交通卡口车辆图像上,例如:原始交通卡口车辆图像大小为416*416,目标车辆特征图的大小为13*13,坐标为(6,8,2,3),首先将目标车辆特征图的坐标转换成(6,8,6+2,8+3),即(6,8,8,11),然后将坐标(6,8,8,11)映射到原始交通卡口车辆图像中后对应的坐标变成(6*(416/13),8*(416/13),8*(416/13),11*(416/13)),即(192,256,256,352)。获取原始交通卡口车辆图像上映射的坐标在对应的目标车辆,目标车辆定位框内的车辆标有对应的预测车辆类型,因而可通过将初始坐标映射到原始交通卡口车辆图像上,以将目标车辆对应的车辆类型进行识别,得到目标车辆类型,从而实现对原始交通卡口车辆图像的车辆检测和车辆类型识别,提高对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。
207、获取原始交通卡口车辆图像上预置标签内容中的真实车辆和真实车辆的真实车辆类型,以及获取真实车辆在原始交通卡口车辆图像上预置标注框的真实坐标和真实尺寸,并获取目标车辆定位框的目标尺寸;
其中,可通过对原始交通卡口车辆图像的真实车辆、对应的真实车辆类型和真实车辆所在框的坐标和尺寸进行人工标注,得到带有真实车辆、真实车辆类型、真实车辆在原始交通卡口车辆图像上对应的预置标注框的真实坐标和真实尺寸大小的预置标签内容的原始交通卡口车辆图像,服务器通过预置的标签提取算法对原始交通卡口车辆图像的预置标签内容进行提取,得到真实车辆和真实车辆的真实车辆类型。通过预置的尺寸读取函数读取目标车辆定位框的尺寸。
208、计算真实车辆与目标车辆之间的第一误差、真实车辆类型与目标车辆类型之间的第二误差、真实坐标与目标坐标之间的第三误差,以及目标尺寸与真实尺寸之间的第四误差,以及通过匹配算法Giou计算目标锚框与目标车辆定位框之间的匹配度;
服务器通过
Figure BDA0002474149610000151
计算得到第一误差,ytrue_obj表示真实车辆,ypredict_obj表示目标车辆,λobj的取值为0或1,0表示目标车辆特征图中的特征网格单元中不存在目标车辆,1表示目标车辆特征图中的特征网格单元中存在目标车辆;通过lossclass=λobj[-(ytrue_classlogypredict_class+(1-ytrue_class)log(1-ypredict_class))]计算第二误差,ytrue_class表示真实车辆类型,ypredict_class表示目标车辆类型;通过
Figure BDA0002474149610000152
计算第三误差,ytrue_x和ytrue_y表示真实坐标,ypredict_x和ypredict_y表示目标坐标;通过
Figure BDA0002474149610000153
计算第四误差,ytrue_w和ytrue_h表示真实尺寸,ypredcit_w和ypredict_h表示目标尺寸。通过
Figure BDA0002474149610000161
计算目标锚框与目标车辆定位框之间的匹配度,I表示目标锚框与目标车辆定位框的交集面积,C表示目标锚框与目标车辆定位框之间的最小包围框,U表示目标锚框与目标车辆定位框之间的并集面积。
209、根据第一误差、第二误差、第三误差、第四误差和匹配度生成目标损失函数,目标损失函数用于对原始交通卡口车辆图像中目标车辆类型的识别进行优化。
其中,目标损失函数包括第一损失函数和第二损失函数,服务器根据第一误差、第二误差、第三误差和第四误差生成第一损失函数loss=min∑lossxy+losswh+lossconfidence+lossclass,根据匹配度生成第二损失函数L=1-Giou,第二损失函数中匹配度越大,代表目标锚框与目标车辆定位框之间的重叠区域越大,进而目标锚框对目标车辆定位框的预测的损失越小。通过目标损失函数不断调整对原始交通卡口车辆图像中目标车辆类型的识别的算法的权重值,直到算法的评估值达到预设阈值,以实现对原始交通卡口车辆图像中目标车辆类型的识别的迭代优化。通过对原始交通卡口车辆图像中目标车辆类型的识别进行迭代优化,提高对原始交通卡口车辆图像中目标车辆类型的识别的精确度,进而提高了对复杂场景中多种尺度、多种分辨率和多种类型的车辆进行快速定位与识别的精准度。
本发明实施例中,在增强车辆特征信息的有效性,提高对目标车辆类型检测的召回率,提高对原始交通卡口车辆图像中的目标车辆定位框的定位识别精度,进而提高了对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度的基础上,通过对原始交通卡口车辆图像中目标车辆类型的识别进行迭代优化,提高对原始交通卡口车辆图像中目标车辆类型的识别的精确度,进而提高了对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。
上面对本发明实施例中交通卡口车辆类型的识别方法进行了描述,下面对本发明实施例中交通卡口车辆类型的识别装置进行描述,请参阅图5,本发明实施例中交通卡口车辆类型的识别装置一个实施例包括:
第一获取模块501,用于获取原始交通卡口车辆图像,将原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像;
特征提取模型502,用于通过预置的有效网络算法对目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;
处理模块503,用于对车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;
第一预测模块504,用于通过预置的目标锚框和匹配算法Giou对多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及目标车辆定位框的初始坐标;
第二预测模块505,用于根据车辆特征信息对目标车辆定位框内车辆的类型进行预测,得到预测车辆类型;
映射模块506,用于将初始坐标映射到原始交通卡口车辆图像上,得到目标坐标,并确定目标坐标对应的边界框内包含的目标车辆,将预测车辆类型确定为目标车辆对应的目标车辆类型。
上述交通卡口车辆类型的识别装置中各个模块的功能实现与上述交通卡口车辆类型的识别方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
本发明实施例中,通过采用有效网络、向量卷积运算处理、批归一化处理、激活函数处理和拼接处理和匹配算法Giou进行预测框与标注框的对比分析,增强车辆特征信息的有效性,提高对目标车辆类型检测的召回率,提高对原始交通卡口车辆图像中的目标车辆定位框的定位识别精度,进而提高了对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。
请参阅图6,本发明实施例中交通卡口车辆类型的识别装置的另一个实施例包括:
第一获取模块501,用于获取原始交通卡口车辆图像,将原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像;
特征提取模型502,用于通过预置的有效网络算法对目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;
处理模块503,用于对车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;
第一预测模块504,用于通过预置的目标锚框和匹配算法Giou对多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及目标车辆定位框的初始坐标;
第二预测模块505,用于根据车辆特征信息对目标车辆定位框内车辆的类型进行预测,得到预测车辆类型;
映射模块506,用于将初始坐标映射到原始交通卡口车辆图像上,得到目标坐标,并确定目标坐标对应的边界框内包含的目标车辆,将预测车辆类型确定为目标车辆对应的目标车辆类型;
第二获取模块507,用于获取原始交通卡口车辆图像上预置标签内容中的真实车辆和真实车辆的真实车辆类型,以及获取真实车辆在原始交通卡口车辆图像上预置标注框的真实坐标和真实尺寸,并获取目标车辆定位框的目标尺寸;
第二计算模块508,用于计算真实车辆与目标车辆之间的第一误差、真实车辆类型与目标车辆类型之间的第二误差、真实坐标与目标坐标之间的第三误差,以及目标尺寸与真实尺寸之间的第四误差,以及通过匹配算法Giou计算目标锚框与目标车辆定位框之间的匹配度;
生成模块509,用于根据第一误差、第二误差、第三误差、第四误差和匹配度生成目标损失函数,目标损失函数用于对原始交通卡口车辆图像中目标车辆类型的识别进行优化。
可选的,处理模块503包括:第一处理单元5031,用于对车辆特征信息进行第一数据处理,得到第一特征信息,并对第一特征信息进行第二数据处理,得到第一尺度车辆特征图,第一数据处理包括多层向量卷积运算处理、批归一化处理和激活函数处理,第二数据处理包括一层向量卷积运算处理、批归一化处理和激活函数处理;第二处理单元5032,用于对第一特征信息和车辆特征信息进行多次预设数据处理,得到多个不同尺度的候选车辆特征图,预设数据处理包括第一数据处理、上采样处理、拼接处理和第二数据处理;确定单元5033,用于将第一尺度车辆特征图和多个不同尺度的候选车辆特征图确定为多个不同尺度的目标车辆特征图,多个不同尺度的目标车辆特征图中尺度的种类数量大于3。
可选的,第二处理单元5032还可以具体用于:对第一特征信息进行第一数据处理和上采样处理,得到第二特征信息;获取第二特征信息的目标特征维度,并通过预置的卷积网络从车辆特征信息中获取与目标特征维度对应的车辆特征信息;将第二特征信息和与目标特征维度对应的车辆特征信息进行拼接处理,得到第三特征信息;对第三特征信息进行第一数据处理,得到第四特征信息,并对第四特征信息进行第二数据处理和一层向量卷积运算处理,得到第二尺度车辆特征图;对车辆特征信息和第四特征信息进行多次的第一数据处理、上采样处理、拼接处理和第二数据处理,得到多个不同尺度的原始车辆特征图;将第二尺寸车辆特征图和多个不同尺度的原始车辆特征图确定为多个不同尺度的候选车辆特征图。
可选的,交通卡口车辆类型的识别装置,还包括:第一计算模块510,用于生成多个不同尺度的目标车辆特征图中每个目标车辆特征图的目标车辆边界框,通过预置的匹配算法Giou计算每两个目标车辆边界框之间的交并比差值;聚类模块511,用于通过预置的聚类算法和交并比差值对目标车辆边界框的尺寸类型进行聚类,得到预置的目标锚框。
可选的,第一预测模块504还可以具体用于:通过预置的目标锚框和预置参数对多个不同尺度的目标车辆特征图进行车辆定位框的类别预测和偏移量预测,得到初始车辆定位框,预置参数包括预测类型参数、预测偏移量参数和真实标注参数;通过匹配算法Giou计算初始车辆定位框和目标锚框之间的度量值,将度量值最大的初始车辆定位框确定为目标车辆定位框;获取与目标车辆定位框对应的预置特征网格单元,并读取预置特征网格单元的坐标,得到目标车辆定位框的初始坐标。
可选的,第一获取模块501还可以具体用于:
获取原始交通卡口车辆图像,对原始交通卡口车辆图像进行数据预处理,得到预处理交通卡口车辆图像,数据预处理包括数据清理处理、数据集成处理、数据变换处理、数据规约处理和图像增强处理;对预处理交通卡口车辆图像进行边缘检测,得到候选交通卡口车辆图像;将候选交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像。
上述交通卡口车辆类型的识别装置中各模块和各单元的功能实现与上述交通卡口车辆类型的识别方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
本发明实施例中,在增强车辆特征信息的有效性,提高对目标车辆类型检测的召回率,提高对原始交通卡口车辆图像中的目标车辆定位框的定位识别精度,进而提高了对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度的基础上,通过对原始交通卡口车辆图像中目标车辆类型的识别进行迭代优化,提高对原始交通卡口车辆图像中目标车辆类型的识别的精确度,进而提高了对复杂场景中多种尺度、分辨率和类型的车辆进行快速定位与识别的精准度。
上面图5和图6从模块化功能实体的角度对本发明实施例中的交通卡口车辆类型的识别装置进行详细描述,下面从硬件处理的角度对本发明实施例中交通卡口车辆类型的识别设备进行详细描述。
图7是本发明实施例提供的一种交通卡口车辆类型的识别设备的结构示意图,该交通卡口车辆类型的识别设备700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)710(例如,一个或一个以上处理器)和存储器720,一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对交通卡口车辆类型的识别设备700中的一系列指令操作。更进一步地,处理器710可以设置为与存储介质730通信,在交通卡口车辆类型的识别设备700上执行存储介质730中的一系列指令操作。
交通卡口车辆类型的识别设备700还可以包括一个或一个以上电源740,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口760,和/或,一个或一个以上操作系统731,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图7示出的交通卡口车辆类型的识别设备结构并不构成对交通卡口车辆类型的识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述交通卡口车辆类型的识别方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种交通卡口车辆类型的识别方法,其特征在于,所述交通卡口车辆类型的识别方法包括:
获取原始交通卡口车辆图像,将所述原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像;
通过预置的有效网络算法对所述目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;
对所述车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;
通过预置的目标锚框和匹配算法Giou对所述多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及所述目标车辆定位框的初始坐标;
根据所述车辆特征信息对所述目标车辆定位框内车辆的类型进行预测,得到预测车辆类型;
将所述初始坐标映射到所述原始交通卡口车辆图像上,得到目标坐标,并确定所述目标坐标对应的边界框内包含的目标车辆,将所述预测车辆类型确定为所述目标车辆对应的目标车辆类型。
2.根据权利要求1所述的交通卡口车辆类型的识别方法,其特征在于,所述对所述车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图,包括:
对所述车辆特征信息进行第一数据处理,得到第一特征信息,并对所述第一特征信息进行第二数据处理,得到第一尺度车辆特征图,所述第一数据处理包括多层向量卷积运算处理、批归一化处理和激活函数处理,所述第二数据处理包括一层向量卷积运算处理、批归一化处理和激活函数处理;
对所述第一特征信息和所述车辆特征信息进行多次预设数据处理,得到多个不同尺度的候选车辆特征图,所述预设数据处理包括所述第一数据处理、上采样处理、拼接处理和所述第二数据处理;
将所述第一尺度车辆特征图和所述多个不同尺度的候选车辆特征图确定为多个不同尺度的目标车辆特征图,所述多个不同尺度的目标车辆特征图中尺度的种类数量大于3。
3.根据权利要求2所述的交通卡口车辆类型的识别方法,其特征在于,所述对所述第一特征信息和所述车辆特征信息进行多次预设数据处理,得到多个不同尺度的候选车辆特征图,包括:
对所述第一特征信息进行所述第一数据处理和上采样处理,得到第二特征信息;
获取所述第二特征信息的目标特征维度,并通过预置的卷积网络从所述车辆特征信息中获取与所述目标特征维度对应的车辆特征信息;
将所述第二特征信息和与所述目标特征维度对应的车辆特征信息进行拼接处理,得到第三特征信息;
对所述第三特征信息进行所述第一数据处理,得到第四特征信息,并对所述第四特征信息进行所述第二数据处理和一层向量卷积运算处理,得到第二尺度车辆特征图;
对所述车辆特征信息和所述第四特征信息进行多次的所述第一数据处理、上采样处理、拼接处理和所述第二数据处理,得到多个不同尺度的原始车辆特征图;
将所述第二尺度车辆特征图和所述多个不同尺度的原始车辆特征图确定为多个不同尺度的候选车辆特征图。
4.根据权利要求1所述的交通卡口车辆类型的识别方法,其特征在于,所述通过预置的目标锚框和匹配算法Giou对所述多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析之前,还包括:
生成所述多个不同尺度的目标车辆特征图中每个目标车辆特征图的目标车辆边界框,通过预置的匹配算法Giou计算每两个目标车辆边界框之间的交并比差值;
通过预置的聚类算法和所述交并比差值对所述目标车辆边界框的尺寸类型进行聚类,得到预置的目标锚框。
5.根据权利要求4所述的交通卡口车辆类型的识别方法,其特征在于,所述通过预置的目标锚框和匹配算法Giou对所述多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及所述目标车辆定位框的初始坐标,包括:
通过预置的目标锚框和预置参数对所述多个不同尺度的目标车辆特征图进行车辆定位框的类别预测和偏移量预测,得到初始车辆定位框,所述预置参数包括预测类型参数、预测偏移量参数和真实标注参数;
通过所述匹配算法Giou计算所述初始车辆定位框和所述目标锚框之间的度量值,将所述度量值最大的初始车辆定位框确定为目标车辆定位框;
获取与所述目标车辆定位框对应的预置特征网格单元,并读取所述预置特征网格单元的坐标,得到目标车辆定位框的初始坐标。
6.根据权利要求1-5中任一项所述的交通卡口车辆类型的识别方法,其特征在于,所述将所述预测车辆类型确定为所述目标车辆对应的目标车辆类型之后,还包括:
获取所述原始交通卡口车辆图像上预置标签内容中的真实车辆和所述真实车辆的真实车辆类型,以及获取所述真实车辆在所述原始交通卡口车辆图像上预置标注框的真实坐标和真实尺寸,并获取所述目标车辆定位框的目标尺寸;
计算所述真实车辆与所述目标车辆之间的第一误差、所述真实车辆类型与所述目标车辆类型之间的第二误差、所述真实坐标与所述目标坐标之间的第三误差,以及所述目标尺寸与所述真实尺寸之间的第四误差,以及通过所述匹配算法Giou计算所述目标锚框与所述目标车辆定位框之间的匹配度;
根据所述第一误差、所述第二误差、所述第三误差、所述第四误差和所述匹配度生成目标损失函数,所述目标损失函数用于对所述原始交通卡口车辆图像中目标车辆类型的识别进行优化。
7.根据权利要求1所述的交通卡口车辆类型的识别方法,其特征在于,所述获取原始交通卡口车辆图像,将所述原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像,包括:
获取原始交通卡口车辆图像,对所述原始交通卡口车辆图像进行数据预处理,得到预处理交通卡口车辆图像,所述数据预处理包括数据清理处理、数据集成处理、数据变换处理、数据规约处理和图像增强处理;
对所述预处理交通卡口车辆图像进行边缘检测,得到候选交通卡口车辆图像;
将所述候选交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像。
8.一种交通卡口车辆类型的识别装置,其特征在于,所述交通卡口车辆类型的识别装置包括:
第一获取模块,用于获取原始交通卡口车辆图像,将所述原始交通卡口车辆图像的图像尺寸转换为预设尺寸,得到目标交通卡口车辆图像;
特征提取模型,用于通过预置的有效网络算法对所述目标交通卡口车辆图像进行车辆特征提取,得到车辆特征信息;
处理模块,用于对所述车辆特征信息进行向量卷积运算处理、批归一化处理、激活函数处理和拼接处理,得到多个不同尺度的目标车辆特征图;
第一预测模块,用于通过预置的目标锚框和匹配算法Giou对所述多个不同尺度的目标车辆特征图中车辆的定位框进行预测分析,得到目标车辆定位框以及所述目标车辆定位框的初始坐标;
第二预测模块,用于根据所述车辆特征信息对所述目标车辆定位框内车辆的类型进行预测,得到预测车辆类型;
映射模块,用于将所述初始坐标映射到所述原始交通卡口车辆图像上,得到目标坐标,并确定所述目标坐标对应的边界框内包含的目标车辆,将所述预测车辆类型确定为所述目标车辆对应的目标车辆类型。
9.一种交通卡口车辆类型的识别设备,其特征在于,所述交通卡口车辆类型的识别设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述交通卡口车辆类型的识别设备执行如权利要求1-7中任意一项所述的交通卡口车辆类型的识别方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述交通卡口车辆类型的识别方法。
CN202010358054.0A 2020-04-29 2020-04-29 交通卡口车辆类型的识别方法、装置、设备及存储介质 Active CN111680556B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010358054.0A CN111680556B (zh) 2020-04-29 交通卡口车辆类型的识别方法、装置、设备及存储介质
PCT/CN2020/104804 WO2021217924A1 (zh) 2020-04-29 2020-07-27 交通卡口车辆类型的识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010358054.0A CN111680556B (zh) 2020-04-29 交通卡口车辆类型的识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111680556A true CN111680556A (zh) 2020-09-18
CN111680556B CN111680556B (zh) 2024-06-07

Family

ID=

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132033A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112329772A (zh) * 2020-11-06 2021-02-05 浙江大搜车软件技术有限公司 车辆部件识别方法、装置、电子装置和存储介质
CN112580665A (zh) * 2020-12-18 2021-03-30 深圳赛安特技术服务有限公司 车款识别方法、装置、电子设备及存储介质
CN112800906A (zh) * 2021-01-19 2021-05-14 吉林大学 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法
CN112966639A (zh) * 2021-03-22 2021-06-15 新疆爱华盈通信息技术有限公司 车辆检测方法、装置、电子设备及存储介质
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784476A (zh) * 2019-01-12 2019-05-21 福州大学 一种改进dsod网络的方法
CN109935080A (zh) * 2019-04-10 2019-06-25 武汉大学 一种交通线路上的车流量实时计算的监测系统及方法
CN110517349A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种基于单目视觉和几何约束的3d车辆目标检测方法
CN110647852A (zh) * 2019-09-27 2020-01-03 集美大学 一种车流量统计方法、终端设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784476A (zh) * 2019-01-12 2019-05-21 福州大学 一种改进dsod网络的方法
CN109935080A (zh) * 2019-04-10 2019-06-25 武汉大学 一种交通线路上的车流量实时计算的监测系统及方法
CN110517349A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种基于单目视觉和几何约束的3d车辆目标检测方法
CN110647852A (zh) * 2019-09-27 2020-01-03 集美大学 一种车流量统计方法、终端设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132033A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112132033B (zh) * 2020-09-23 2023-10-10 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112329772A (zh) * 2020-11-06 2021-02-05 浙江大搜车软件技术有限公司 车辆部件识别方法、装置、电子装置和存储介质
CN112329772B (zh) * 2020-11-06 2024-03-05 浙江大搜车软件技术有限公司 车辆部件识别方法、装置、电子装置和存储介质
CN112580665A (zh) * 2020-12-18 2021-03-30 深圳赛安特技术服务有限公司 车款识别方法、装置、电子设备及存储介质
CN112580665B (zh) * 2020-12-18 2024-04-19 深圳赛安特技术服务有限公司 车款识别方法、装置、电子设备及存储介质
CN112800906A (zh) * 2021-01-19 2021-05-14 吉林大学 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法
CN112966639A (zh) * 2021-03-22 2021-06-15 新疆爱华盈通信息技术有限公司 车辆检测方法、装置、电子设备及存储介质
CN112966639B (zh) * 2021-03-22 2024-04-26 新疆爱华盈通信息技术有限公司 车辆检测方法、装置、电子设备及存储介质
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质
CN113723408B (zh) * 2021-11-02 2022-02-25 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质

Also Published As

Publication number Publication date
WO2021217924A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
Huang et al. Bevdet: High-performance multi-camera 3d object detection in bird-eye-view
CN108564097B (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
CN112200161B (zh) 一种基于混合注意力机制的人脸识别检测方法
CN110458095B (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
US9607228B2 (en) Parts based object tracking method and apparatus
CN113379739B (zh) 超声图像的识别方法、装置、设备及存储介质
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN113239227A (zh) 图像数据结构化方法、装置、电子设备及计算机可读介质
Ma et al. A convolutional neural network method to improve efficiency and visualization in modeling driver’s visual field on roads using MLS data
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN116778137A (zh) 一种基于深度学习的字轮式水表读数的识别方法及装置
Yi et al. Detection and localization for lake floating objects based on CA-faster R-CNN
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
CN113902035A (zh) 一种全方向、任意位数字的水表读数检测与识别方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
WO2021217924A1 (zh) 交通卡口车辆类型的识别方法、装置、设备及存储介质
Gerhardt et al. Neural network-based traffic sign recognition in 360° images for semi-automatic road maintenance inventory
CN111680556B (zh) 交通卡口车辆类型的识别方法、装置、设备及存储介质
CN114821165A (zh) 一种轨道检测图像采集分析方法
CN113808142A (zh) 一种地面标识的识别方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant