CN116189115A - 车型识别方法、电子设备和可读存储介质 - Google Patents
车型识别方法、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN116189115A CN116189115A CN202310442815.4A CN202310442815A CN116189115A CN 116189115 A CN116189115 A CN 116189115A CN 202310442815 A CN202310442815 A CN 202310442815A CN 116189115 A CN116189115 A CN 116189115A
- Authority
- CN
- China
- Prior art keywords
- module
- feature
- features
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 91
- 230000004927 fusion Effects 0.000 claims abstract description 55
- 238000011176 pooling Methods 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种车型识别方法、电子设备和可读存储介质，涉及人工智能技术领域。车型识别模型包括特征分层提取模块、特征金字塔模块和识别结果输出模块，包括：获取待识别图像；通过所述车型识别模型的特征分层提取模块，提取所述待识别图像多个不同层次的特征；利用所述车型识别模型的特征金字塔模块，将所述多个不同层次的特征在不同尺度下进行融合，以得到多个不同尺度下的融合特征；基于所述车型识别模型的识别结果输出模块，利用所述多个不同尺度下的融合特征输出车型的识别结果，因此能够通过该方法对车型进行识别。
Description
技术领域
本申请涉及人工智能技术领域，具体而言，涉及车型识别方法、电子设备和可读存储介质。
背景技术
随着国民经济的快速发展，车辆的保有量也迅速增加，进而导致交通状况不断恶化，诸如交通拥堵、交通事故的发生率逐渐升高。为了改善交通状况，智能交通系统应运而生。在智能交通系统中，诸如货车、轿车、SUV、客车、面包车等不同车型的车辆，调度方式通常并不相同，因此对车辆的车型进行识别至关重要，需要提供对车型进行识别的解决方案。
发明内容
本申请实施例的目的在于提供一种车型识别方法、电子设备和可读存储介质，能够用以识别车型。
本申请实施例第一方面提供了车型识别方法，包括：
获取待识别图像；
通过车型识别模型的特征分层提取模块，提取所述待识别图像多个不同层次的特征；
利用所述车型识别模型的特征金字塔模块，将所述多个不同层次的特征在不同尺度下进行融合，以得到多个不同尺度下的融合特征；
基于所述车型识别模型的识别结果输出模块，利用所述多个不同尺度下的融合特征输出车型的识别结果。
于一实施例中，所述方法还包括：利用训练集、测试集和验证集中的样本，预先生成所述车型识别模型。
于一实施例中，所述方法还包括：
获取车辆行驶的视频数据；
通过对所述视频数据进行分帧处理，以得到多个图像；
对所述的各个图像分别进行标注，以生成多个样本；
将所述的多个样本按照预设数量比，分别添加至训练集、测试集和验证集。
于一实施例中，所述特征分层提取模块包括依次串联的多个特征分层提取子模块；以及，
通过所述车型识别模型的特征分层提取模块，提取所述待识别图像多个不同层次的特征，具体包括：
通过依次串联的各个特征分层提取子模块，分别提取所述待识别图像多个不同层次的特征。
于一实施例中，所述特征分层提取子模块具体包括CSP网络和注意力单元；以及，
通过依次串联的各个特征分层提取子模块，分别提取所述待识别图像多个不同层次的特征，具体包括：
通过依次串联的各个特征分层提取子模块，利用所述特征分层提取子模块中的CSP网络提取相应层次的特征，并利用所述特征分层提取子模块中的注意力单元对所提取的特征进行注意力增强，以提取出所述多个不同层次的特征。
于一实施例中，所述特征分层提取子模块还包括SPP池化网络，用于在利用所述特征分层提取子模块中的注意力单元对所提取的特征进行注意力增强之前，对所述特征进行空间金字塔池化处理。
于一实施例中，所述特征分层提取模块还包括预处理模块；以及，在获取待识别图像之后，所述方法还包括：
利用所述预处理模块对所述待识别图像进行预处理。
于一实施例中，所述车型识别模型的特征金字塔模块具体包括多个融合层；以及，利用所述车型识别模型的特征金字塔模块，将所述多个不同层次的特征在不同尺度下进行融合，以得到多个不同尺度下的融合特征，具体包括：
通过各个融合层分别将对应层次的特征，在所述融合层的预设融合尺度下进行融合，并输出相应的融合特征，以输出所述多个不同尺度下的融合特征。
本申请实施例第二方面提供了一种电子设备，包括：
存储器，用以存储计算机程序；
处理器，用以执行本申请实施例第一方面及其任一实施例的方法。
本申请实施例第三方面提供了一种可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行本申请任意一实施例中的方法。
采用本申请实施例所提供的图像方法，在获取到待识别图像之后，可以通过预设图像识别模型中的全局噪声提取分支网络提取出待识别图像的全局噪声，并且通过预设图像识别模型中的关键区域噪声提取分支网络提取出待识别图像的关键区域噪声，然后该预设图像识别模型中的篡改区域识别主干网络根据该全局噪声和该关键区域噪声，识别出待识别图像中的篡改区域，从而能够用于对图像是否被篡改进行识别。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例所提供的，电子设备的具体结构示意图；
图2为本申请一实施例所提供的，车型识别模型的具体结构示意图；
图3为本申请一实施例所提供的，车型识别方法的具体流程示意图；
图4为本申请一实施例所提供的，车型识别模型的具体结构示意图；
图5为本申请一实施例所提供的，CSPMobileNet的具体结构示意图；
图6为本申请一实施例所提供的，SENet注意力单元的具体结构示意图；
图7为本申请一实施例所提供的，SPP池化网络中空间金字塔的结构的具体结构示意图；
图8为本申请一实施例所提供的，车型识别装置的具体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如前所述，在智能交通系统中，诸如货车、轿车、SUV、客车、面包车等不同车型的车辆，调度方式通常并不相同，因此对车辆的车型进行识别至关重要，需要提供对车型进行识别的解决方案。
有鉴于此，本申请实施例提供一种电子设备。如图1所示为该电子设备1的具体结构示意图。该电子设备1包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12可以通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。
在实际应用中，该电子设备1可以是手机、平板电脑、笔记本电脑、台式电脑或其组成的大型服务器或服务器集群等。
需要说明的是，在本申请实施例所提供的车型识别方法中，通过车型识别模型来识别出待识别图像中车辆的车型，因此可以先对该车型识别模型的结构进行说明。如图2所示为该车型识别模型的模型结构示意图，其中，该车型识别模型包括特征分层提取模块21、特征金字塔模块22和识别结果输出模块23，其中，该特征分层提取模块21用于提取待识别图像多个不同层次的特征；该特征金字塔模块22，用于将该多个不同层次的特征在不同尺度下进行融合，以得到多个不同尺度下的融合特征；该识别结果输出模块23，用于利用该多个不同尺度下的融合特征输出车型的识别结果。
其中，在图像识别的技术领域中，图像的特征分为多个层次，比如包括视觉层次特征、对象层次特征和概念层次特征。视觉层次特征作为底层的特征，通常包括图像的颜色、纹理和形状等特征；对象层次特征作为中间层的特征，通常包括图像的属性特征，该属性特征反映图像中某一对象在某一时刻的状态等；概念层次特征作为高层的特征，反映的是图像表达出的最接近人类理解的含义。因此，越高层的特征所反映出的语义性愈强、分辨能力也越强。
在本申请实施例中，该车型识别模型的特征分层提取模块21，能够用于提取待识别图像多个不同层次的特征，比如提取出该待识别图像底层、中间层和高层的特征，从而利用该多个不同层次的特征来作为识别的基础。
本申请一实施例所提供的车型识别方法，能够通过该方法识别对车型进行识别，该方法部分或全部步骤可由图1所示的电子设备1来执行，比如可以在该电子设备中加载该车型识别模型，进而利用该车型识别模型来识别车型。如图3所示为该方法包括如下步骤：
步骤S31：获取待识别图像。
其中，该待识别图像中含有车辆，需要识别该待识别图像中车辆的车型，该车型比如可以是货车、轿车、SUV、客车、面包车等，也就是说，需要识别该待识别图像所含车辆的车型。
在实际应用中，获取该待识别图像的具体方式可以是，从图像库中获取该待识别图像，比如在智能交通系统中设置图像库，然后将需要识别车型的图像添加至该图像库，进而从该图像库中获取图像，作为该待识别图像。
另一种获取待识别图像的方式可以是，在交通路口路等车辆密集处设置摄像头等设备，进而采集车辆行驶的视频数据，然后对该视频数据进行分帧处理，从而得到多个图像，进而按顺序依次获取这些图像，并分别将这些图像作为待识别图像，来识别其中的车型；当然，在得到多个图像之后，也可以将这些图像先存储至图像库，然后从图像库获取。该方式由于通过摄像头等设备，采集车辆密集处的车辆行驶的视频数据，因此使智能交通系统能够对这些车辆密集处的车辆进行更好的调度。
步骤S32：通过车型识别模型的特征分层提取模块，提取待识别图像多个不同层次的特征。
上述提到了，该车型识别模型的特征分层提取模块，能够用于提取待识别图像多个不同层次的特征，因此通过上述的步骤S31获取到待识别图像之后，在该步骤S32中，可以通过该特征分层提取模块来提取待识别图像多个不同层次的特征。比如，可以将该待识别图像输入至该车型识别模型，进而通过车型识别模型的特征分层提取模块，提取待识别图像多个不同层次的特征。
在实际应用中，该车型识别模型通常可以包括输入层，其中，可以结合如图2所示的车型识别模型，该输入层可以设置于特征分层提取模块之前，并且该输入层与该特征分层提取模块连接。这样，可以通过该车型识别模型中的输入层，将待识别图像输入至该车型识别模型，然后该输入层进一步将待识别图像输入至所连接的特征分层提取模块。
对于该车型识别模型的特征分层提取模块的具体结构，可以结合图2和如图4所示，该特征分层提取模块21包括依次串联的多个特征分层提取子模块211，这些特征分层提取子模块211分别能够用于提取待识别图像多个不同层次的特征，这样，每个特征分层提取子模块211在提取出对应层次的特征之后，一方面可以将该特征输出至该车型识别模型的特征金字塔模块22，以用于进行不同层次的特征的融合，另一方面将该特征输出至下一个串联的特征分层提取子模块211，以用于通过下一个特征分层提取子模块211提取出相应层次的特征。其中，依次串联的特征分层提取子模块211的数量越多时，通常能够提高模型最终的识别准确性，但也会导致模型空间复杂度和时间复杂度的增大，因此综合考虑到准确性以及模型的空间复杂度和时间复杂度的增大，该依次串联的特征分层提取子模块211的数量通常可以为3个、4个或5个。
因此，对于该步骤S32的具体实现方式，可以是通过依次串联的各个特征分层提取子模块211，分别提取该待识别图像多个不同层次的特征。并且，对于各个特征分层提取子模块211还可以进一步包括CSP网络2111和注意力单元2112。
其中，该CSP网络2111可以具体为CSPMobileNet，该CSPMobileNet基于yolov4中Backbone的csp算法所生成，对于该CSPMobileNet的具体结构，可以如图5所示，包括输入网络、多个卷积网络（该卷积网络具体可以为Conv2D1×1）、Add拼接网络、输出网络以及MobileNetV2模块（该MobileNetV2模块具体可以为MobileNetV2_Block）。这样，当CSP网络2111的输入网络接收到，前一特征分层提取子模块211的注意力单元2112所输出的特征之后，通过第一条通道的卷积网络进行1*1的卷积计算，并且通过第二条通道的各个卷积网络和MobileNetV2模块进行处理，并得到该第二条通道输出，然后将两条通道的输出通过Add拼接网络进行Add拼接运算，并将Add拼接运算的结果通过输出网络进行输出，从而输出至该特征分层提取子模块211中的注意力单元2112。
如图5所示，该第二条通道可以包括三个卷积网络和MobileNetV2模块，其中的第一个卷积网络和第二个卷积网络串联，并且第二个卷积网络连接MobileNetV2模块，该MobileNetV2模块的输出和第一个卷积网络的输出进行拼接后，输入至第三个卷积网络。这样前一特征分层提取子模块211的注意力单元2112所输出的特征，被串联的两个卷积网络依次进行卷积运算，并将结果输入至MobileNetV2模块进行处理，该MobileNetV2模块的处理结果与第一个卷积网络的输出进行拼接后，输入至第三个卷积网络，从而通过第三个卷积网络进行卷积运算，得到该第二条通道的输出。
在实际应用中，该注意力单元2112可以具体为SENet注意力单元，对于该SENet注意力单元的具体结构，可以如图6所示，包括输入网络、全池化层（具体可以为Globalpooling）、全连接层、Relu函数激活层、Sigmoid函数激活层以及Scale操作层。这样，同一特征分层提取子模块211中CSP网络2111所输出的特征，通过该注意力单元2112的输入网络进行输入，然后第一条通道直接输入至Scale操作层，第二条通道依次输入至全池化层、全连接层、Relu函数激活层、全连接层和Sigmoid函数激活层进行处理，最后将量条通道的输出通过Scale操作层进行Scale操作，从而得到该特征分层提取子模块211所提取出对应层次的特征。
比如，同一特征分层提取子模块211中CSP网络2111所输出的特征，被注意力单元2112的输入网络所接收，该特征可以为H×W×C的向量（其中C是指channel，即通道数；），在第二条通道上，通过全池化层转化为1×1×C的向量，从而将全局信息压缩到通道描述符中，以获取通道间的信息；然后通过全连接层进一步将该1×1×C的向量降维成1×1×C/r的向量（其中，r为大于1的预设正整数），并进一步利用Relu函数激活层进行Relu函数的激活，从而降低模型的时间复杂度和辅助泛化；在经过Relu函数激活层进行Relu函数的激活之后，进一步将该Relu函数激活层所输出的1×1×C/r的向量通过全池化层转化为1×1×C的向量，然后将该转化得到的1×1×C的向量通过Sigmoid函数激活层，进行Sigmoid函数的激活；最后，通过Scale操作层将该激活后的向量与CSP网络2111所输出的特征进行Scale操作，从而得到该注意力单元2112的输出，也即该特征分层提取子模块211的输出，该输出为该特征分层提取子模块211对应层次的特征，如前所述，该特征一方面输出至特征金字塔模块22，另一方面输出至下一个串联的特征分层提取子模块211。
在实际应用中，各个特征分层提取子模块211除包括CSP网络2111和注意力单元2112之外，还可以进一步包括SPP池化网络，该SPP池化网络设置于CSP网络2111和注意力单元2112之间，从而在利用注意力单元2112对CSP网络2111所提取的特征进行注意力增强之前，先对该特征进行空间金字塔池化(spatial pyramid pooling，SPP)处理，然后再空间金字塔池化处理后的特征输入至注意力单元2112。当然，为了提到效率，可以只在所串联的最后一个特征分层提取子模块211中增设该SPP池化网络，而对于其他的特征分层提取子模块211，可以只包括CSP网络2111和注意力单元2112。
其中，该SPP池化网络中的空间金字塔的结构可以如图7所示，可以包括最大池化为1*1池化核（具体可以为MaxPooling1*1）、最大池化为5*5池化核（具体可以为MaxPooling5*5）、最大池化为9*9池化核（具体可以为MaxPooling9*9）、最大池化为13*13池化核（具体可以为13*13），这样当SPP池化网络的输入层接收到CSP网络2111的输出之后，分别使用最大池化为1*1池化核、最大池化为5*5池化核、最大池化为9*9池化核、最大池化为13*13池化核进行池化，并且对这些不同尺度的池化结果使用concat拼接层中的concat拼接函数进行拼接融合，进而得到该SPP池化网络的输出结果，并将该输出结果输入至注意力单元2112。
需要进一步说明的是，上述提到该特征分层提取模块21包括依次串联的多个特征分层提取子模块211，在实际应用中，如图4所示，该特征分层提取模块21还可以包括预处理模块212，该预处理模块212用于对该待识别图像进行预处理，包括图像的向量化、归一化等，这样使得后续所连接的特征分层提取子模块211，能够提取归一化处理后的待识别图像相应层次的特征。
步骤S33：利用该车型识别模型的特征金字塔模块，将该多个不同层次的特征在不同尺度下进行融合，以得到多个不同尺度下的融合特征。
在通过上述的步骤S32，提取得到待识别图像多个不同层次的特征之后，在该步骤S33中，进一步利用该车型识别模型的特征金字塔模块，来将该多个不同层次的特征在不同尺度下进行融合，从而得到多个不同尺度下的融合特征。
其中，可以结合图2和图4，该车型识别模型的特征金字塔模块22的具体结构如图4所示，该特征金字塔模块22包括多个融合层221，各个融合层221分别用于将对应层次的特征，在该融合层221自身预设融合尺度下进行融合，并分别向识别结果输出模块23输出相应的融合特征。因此，对于该步骤S33的具体实现方式，可以通过各个融合层221分别将对应层次的特征，在该融合层221自身的预设融合尺度下进行融合，并输出相应的融合特征，这样可以分别通过这些融合层221，来向识别结果输出模块23输出该多个不同尺度下的融合特征。
需要说明的是，各个融合层221的具体结构，可以包括concat拼接单元和Sconv处理单元，分别用于对对应层次的特征进行concat函数拼接和至少一次Sconv处理，进而输出该融合层221的融合特征。
对于该特征金字塔模块22中各个融合层221之间的连接关系，可以如图4所示，这些融合层221之间可以形成特征金字塔的连接关系。
步骤S34：基于车型识别模型的识别结果输出模块，利用多个不同尺度下的融合特征输出车型的识别结果。
在通过上述的步骤S33，得到多个不同尺度下的融合特征之后，在该步骤S34中，进一步通过该车型识别模型的识别结果输出模块23，其中，该识别结果输出模块23能够利用多个不同尺度下的融合特征，输出车型的识别结果，其中，该车型的识别结果可以包括所识别出的目标车型以及置信度。
采用本申请实施例所提供的车型识别方法，先获取待识别图像，然后通过车型识别模型的特征分层提取模块，提取该待识别图像多个不同层次的特征，然后利用该车型识别模型的特征金字塔模块，将该多个不同层次的特征在不同尺度下进行融合，从而得到多个不同尺度下的融合特征，然后基于该车型识别模型的识别结果输出模块，利用该多个不同尺度下的融合特征输出车型的识别结果，因此能够利用该方法来识别车型。
需要进一步说明的是，通常还可以采用其他的方式来对车型进行识别，比如第一种方式是利用直方图、哈希特征等方式来识别车型，但该方式了的准确率较低；第二种方式还可以利用诸如RCNN模型、FAST-RCNN模型来识别图像中车辆的车型，但由于这种方式中的RCNN模型、FAST-RCNN模型整体上均是采用two-stage算法，因此在提取图像特征的过程中需要进行候选区域的生成以及对该候选区域的相应处理，导致效率较低，在智能交通系统进行车辆调度等实时性要求较高的场景下难以适用。而本申请中的车型识别模型整体上是基于one-stage算法，并不需要生成候选区域以及对候选区域的处理，相对于第一种方式来说准确率较高，并且相对于第二中方式来说，处理效率较高，因此是综合考虑了准确率和处理效率的技术方案。
对于上述步骤中所提到的车型识别模型，在实际应用中，可以利用训练集、测试集和验证集中的样本，预先生成该车型识别模型。其中，可以预先利用训练集中的样本，对待训练模型进行训练，然后进一步利用测试集中样本对训练得到的模型进行测试，并在测试通过之后，进一步利用验证集中的样本对模型进行验证，在该测试和验证过程中，往往需要结合模型的准确性、鲁棒性、时间复杂度和空间复杂度等技术指标，并在测试和验证结果通过这些技术指标之后，得到所生成的模型，即该车型识别模型。
其中，对于训练集、测试集和验证集中的样本，可以通过如下方式来生成，因此该方法还可以包括：获取车辆行驶的视频数据，比如可以在交通路口路等车辆密集处设置摄像头等设备，进而采集车辆行驶的视频数据，然后对该视频数据进行分帧处理，从而得到多个图像，在得到这些图像之后，可以进一步对各个图像分别进行标注，从而生成多个样本，然后将这些样本按照预设数量比，分别添加至训练集、测试集和验证集。
其中，该预设数量比可以为8:1:1，也就是说将该多个样本按照8:1:1的数量比，分别添加至训练集、测试集和验证集。
另外，对各个图像分别进行标注的方式可以有多种，比如为了提高标注的准确性，可以采用人工标注的方式，包括通过人工识别出图像中的车辆的车型，进而在图像中的车辆周围添加识别框，以及添加标注信息（即该车辆的车型），从而实现该人工标注；当然为了提高标注的效率，还可以采用诸如labelme等标注软件进行标注。
当然，在对该视频数据进行分帧处理，从而得到多个图像之后，并且在对各个图像分别进行标注，从而生成多个样本之前，还可以对该多个图像进行清洗，包括删除这些图像中清晰度较差的图像，从而保留其中清晰度较高的图像，这样更加便于后续对图像的标注，提高标注的效率和准确性。
基于与本申请实施例所提供的车型识别方法相同的发明构思，本申请实施例还提供了一种车型识别装置，对于该装置实施例中的具体内容，如有不清楚之处，可以参考上述的方法实施例，其中，车型识别模型包括特征分层提取模块、特征金字塔模块和识别结果输出模块。如图8所示，该装置80包括图像获取单元801、特征提取单元802、特征融合单元803和识别单元804，其中：该特征提取单元802包括车型识别模型的特征分层提取模块，特征融合单元803包括该车型识别模型的特征金字塔模块，识别单元804包括该车型识别模型的识别结果输出模块，如下所示为该装置80中的各个单元的作用：
图像获取单元801，用于获取待识别图像；
特征提取单元802，用于通过车型识别模型的特征分层提取模块，提取所述待识别图像多个不同层次的特征；
特征融合单元803，用于利用所述车型识别模型的特征金字塔模块，将所述多个不同层次的特征在不同尺度下进行融合，以得到多个不同尺度下的融合特征；
识别单元804，用于基于所述车型识别模型的识别结果输出模块，利用所述多个不同尺度下的融合特征输出车型的识别结果。
采用本申请实施例所提供的装置80，由于该装置80采用与本申请实施例所提供的车型识别方法相同的发明构思，在该方法能够解决技术问题的前提下，该装置40也能够解决技术问题，这里对此不再赘述。
另外，在实际应用中，通过将该装置80与具体硬件设备相结合所取得的技术效果，也在本申请的保护范围之内。比如，在实际应用中，可以将该装置80部署于分布式集群中，此时该装置80中各个不同的单元，可以分别设置于分布式集群中的不同节点。图像获取单元801所设置的节点能够用于获取待识别图像；特征提取单元802由于包括车型识别模型的特征分层提取模块，因此该特征提取单元802所设置的节点，能够通过该特征分层提取模块，来提取待识别图像多个不同层次的特征；特征融合单元803由于包括该车型识别模型的特征金字塔模块，因此该特征融合单元803所设置的节点，能够通过该特征金字塔模块将多个不同层次的特征在不同尺度下进行融合，从而得到多个不同尺度下的融合特征；识别单元804由于包括该车型识别模型的识别结果输出模块，因此该识别单元804所设置的节点，能够通过该识别结果输出模块，利用多个不同尺度下的融合特征输出车型的识别结果，这样将该装置80各个不同的单元分别设置于分布式集群中不同节点，通过这种分布式部署该装置80的方式，能够提高图像识别的效率，进而还能够提高硬件设备的商业价值等。
该装置80还可以包括模型生成单元，用于利用训练集、测试集和验证集中的样本，预先生成所述车型识别模型。
该装置80还可以包括样本生成单元，用于获取车辆行驶的视频数据；通过对所述视频数据进行分帧处理，以得到多个图像；对所述的各个图像分别进行标注，以生成多个样本；将所述的多个样本按照预设数量比，分别添加至训练集、测试集和验证集。
该特征分层提取模块包括依次串联的多个特征分层提取子模块；以及，
特征提取单元802可以具体包括特征提取子单元，用于通过依次串联的各个特征分层提取子模块，分别提取所述待识别图像多个不同层次的特征。
特征分层提取子模块具体包括CSP网络和注意力单元；以及，
特征提取子单元可以具体用于通过依次串联的各个特征分层提取子模块，利用所述特征分层提取子模块中的CSP网络提取相应层次的特征，并利用所述特征分层提取子模块中的注意力单元对所提取的特征进行注意力增强，以提取出所述多个不同层次的特征。
特征分层提取子模块还包括SPP池化网络，用于在利用所述特征分层提取子模块中的注意力单元对所提取的特征进行注意力增强之前，对所述特征进行空间金字塔池化处理。
所述特征分层提取模块还包括预处理模块；该装置80还可以包括预处理单元，用于在获取待识别图像之后，利用所述预处理模块对所述待识别图像进行预处理。
所述车型识别模型的特征金字塔模块具体包括多个融合层；以及，特征融合单元803可以具体包括特征融合子单元，用于通过各个融合层分别将对应层次的特征，在所述融合层的预设融合尺度下进行融合，并输出相应的融合特征，以输出所述多个不同尺度下的融合特征。
本申请实施例还提供了一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现本申请实施例所提供的训练方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供了一种非暂态电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（RandomAccess Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种车型识别方法，其特征在于，包括：
获取待识别图像；
通过车型识别模型的特征分层提取模块，提取所述待识别图像多个不同层次的特征；
利用所述车型识别模型的特征金字塔模块，将所述多个不同层次的特征在不同尺度下进行融合，以得到多个不同尺度下的融合特征；
基于所述车型识别模型的识别结果输出模块，利用所述多个不同尺度下的融合特征输出车型的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用训练集、测试集和验证集中的样本，预先生成所述车型识别模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取车辆行驶的视频数据；
通过对所述视频数据进行分帧处理，以得到多个图像；
对所述的各个图像分别进行标注，以生成多个样本；
将所述的多个样本按照预设数量比，分别添加至训练集、测试集和验证集。
4.根据权利要求1所述的方法，其特征在于，所述特征分层提取模块包括依次串联的多个特征分层提取子模块；以及，
通过所述车型识别模型的特征分层提取模块，提取所述待识别图像多个不同层次的特征，具体包括：
通过依次串联的各个特征分层提取子模块，分别提取所述待识别图像多个不同层次的特征。
5.根据权利要求4所述的方法，其特征在于，所述特征分层提取子模块具体包括CSP网络和注意力单元；以及，
通过依次串联的各个特征分层提取子模块，分别提取所述待识别图像多个不同层次的特征，具体包括：
通过依次串联的各个特征分层提取子模块，利用所述特征分层提取子模块中的CSP网络提取相应层次的特征，并利用所述特征分层提取子模块中的注意力单元对所提取的特征进行注意力增强，以提取出所述多个不同层次的特征。
6.根据权利要求5所述的方法，其特征在于，所述特征分层提取子模块还包括SPP池化网络，用于在利用所述特征分层提取子模块中的注意力单元对所提取的特征进行注意力增强之前，对所述特征进行空间金字塔池化处理。
7.根据权利要求1所述的方法，其特征在于，所述特征分层提取模块还包括预处理模块；以及，在获取待识别图像之后，所述方法还包括：
利用所述预处理模块对所述待识别图像进行预处理。
8.根据权利要求1所述的方法，其特征在于，所述车型识别模型的特征金字塔模块具体包括多个融合层；以及，利用所述车型识别模型的特征金字塔模块，将所述多个不同层次的特征在不同尺度下进行融合，以得到多个不同尺度下的融合特征，具体包括：
通过各个融合层分别将对应层次的特征，在所述融合层的预设融合尺度下进行融合，并输出相应的融合特征，以输出所述多个不同尺度下的融合特征。
9.一种电子设备，其特征在于，包括：
存储器，用以存储计算机程序；
处理器，用以执行如权利要求1至8中任一项所述的方法。
10.一种可读存储介质，其特征在于，包括：程序，当其在电子设备上运行时，使得电子设备可执行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310442815.4A CN116189115A (zh) | 2023-04-24 | 2023-04-24 | 车型识别方法、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310442815.4A CN116189115A (zh) | 2023-04-24 | 2023-04-24 | 车型识别方法、电子设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116189115A true CN116189115A (zh) | 2023-05-30 |
Family
ID=86440647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310442815.4A Pending CN116189115A (zh) | 2023-04-24 | 2023-04-24 | 车型识别方法、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116189115A (zh) |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180330238A1 (en) * | 2017-05-09 | 2018-11-15 | Neurala, Inc. | Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges |
| CN112906647A (zh) * | 2021-03-24 | 2021-06-04 | 杭州鲁尔物联科技有限公司 | 小跨径桥梁载重监测方法、装置、计算机设备及存储介质 |
| CN112990065A (zh) * | 2021-03-31 | 2021-06-18 | 上海海事大学 | 一种基于优化的YOLOv5模型的车辆分类检测方法 |
| CN113841152A (zh) * | 2019-10-10 | 2021-12-24 | 格步计程车控股私人有限公司 | 用于确定道路交叉路口的方法、数据处理装置和计算机程序产品 |
| CN113850134A (zh) * | 2021-08-24 | 2021-12-28 | 中国船舶重工集团公司第七0九研究所 | 一种融合注意力机制相的安全帽佩戴检测方法及系统 |
| CN114005089A (zh) * | 2021-11-10 | 2022-02-01 | 海南大学 | 一种多场景施工的安全帽和反光衣检测方法 |
| CN114038049A (zh) * | 2021-12-14 | 2022-02-11 | 上海智楹机器人科技有限公司 | 一种基于边缘计算的驾驶员行为特征提取及判别方法 |
| CN114119582A (zh) * | 2021-12-01 | 2022-03-01 | 安徽大学 | 一种合成孔径雷达图像目标检测方法 |
| CN114283321A (zh) * | 2021-12-24 | 2022-04-05 | 公安部道路交通安全研究中心 | 一种目标车辆检测方法、装置及计算机 |
| CN114782827A (zh) * | 2022-06-22 | 2022-07-22 | 中国科学院微电子研究所 | 一种基于图像的物体抓取点获取方法和装置 |
| CN114943986A (zh) * | 2022-05-31 | 2022-08-26 | 武汉理工大学 | 基于摄像头画面分割的分区域行人检测照明方法及系统 |
| CN114972321A (zh) * | 2022-06-24 | 2022-08-30 | 西南科技大学 | 一种工件表面缺陷检测方法 |
| CN115100547A (zh) * | 2022-05-17 | 2022-09-23 | 长春理工大学 | 基于ASPP-YOLOv4多尺度融合的无人机图像目标检测方法 |
| CN115205855A (zh) * | 2022-07-08 | 2022-10-18 | 中国人民解放军国防科技大学 | 融合多尺度语义信息的车辆目标识别方法、装置及设备 |
| CN115205604A (zh) * | 2022-08-11 | 2022-10-18 | 淮阴工学院 | 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法 |
| CN115272691A (zh) * | 2022-05-30 | 2022-11-01 | 北京建筑大学 | 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备 |
| CN115294528A (zh) * | 2022-08-11 | 2022-11-04 | 睿云奇智(重庆)科技有限公司 | 一种行人安全监控方法及装置 |
| CN115294650A (zh) * | 2022-08-02 | 2022-11-04 | 浙江工商大学 | 基于多标签图像识别的非机动车骑行人属性识别方法 |
| CN115311518A (zh) * | 2022-08-11 | 2022-11-08 | 创新奇智(南京)科技有限公司 | 一种获取视觉属性信息的方法、装置、介质及电子设备 |
| CN115330594A (zh) * | 2022-07-19 | 2022-11-11 | 上海西虹桥导航技术有限公司 | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 |
| CN115393774A (zh) * | 2022-09-09 | 2022-11-25 | 南京邮电大学 | 一种轻量化的火灾烟雾检测方法、终端设备及存储介质 |
| CN115588117A (zh) * | 2022-10-17 | 2023-01-10 | 华南农业大学 | 基于YOLOv5s-BC的柑橘木虱检测方法及系统 |
| CN115661767A (zh) * | 2022-10-31 | 2023-01-31 | 中国农业大学 | 一种基于卷积神经网络的图像前方车辆目标识别方法 |
-
2023
- 2023-04-24 CN CN202310442815.4A patent/CN116189115A/zh active Pending
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180330238A1 (en) * | 2017-05-09 | 2018-11-15 | Neurala, Inc. | Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges |
| CN113841152A (zh) * | 2019-10-10 | 2021-12-24 | 格步计程车控股私人有限公司 | 用于确定道路交叉路口的方法、数据处理装置和计算机程序产品 |
| CN112906647A (zh) * | 2021-03-24 | 2021-06-04 | 杭州鲁尔物联科技有限公司 | 小跨径桥梁载重监测方法、装置、计算机设备及存储介质 |
| CN112990065A (zh) * | 2021-03-31 | 2021-06-18 | 上海海事大学 | 一种基于优化的YOLOv5模型的车辆分类检测方法 |
| CN113850134A (zh) * | 2021-08-24 | 2021-12-28 | 中国船舶重工集团公司第七0九研究所 | 一种融合注意力机制相的安全帽佩戴检测方法及系统 |
| CN114005089A (zh) * | 2021-11-10 | 2022-02-01 | 海南大学 | 一种多场景施工的安全帽和反光衣检测方法 |
| CN114119582A (zh) * | 2021-12-01 | 2022-03-01 | 安徽大学 | 一种合成孔径雷达图像目标检测方法 |
| CN114038049A (zh) * | 2021-12-14 | 2022-02-11 | 上海智楹机器人科技有限公司 | 一种基于边缘计算的驾驶员行为特征提取及判别方法 |
| CN114283321A (zh) * | 2021-12-24 | 2022-04-05 | 公安部道路交通安全研究中心 | 一种目标车辆检测方法、装置及计算机 |
| CN115100547A (zh) * | 2022-05-17 | 2022-09-23 | 长春理工大学 | 基于ASPP-YOLOv4多尺度融合的无人机图像目标检测方法 |
| CN115272691A (zh) * | 2022-05-30 | 2022-11-01 | 北京建筑大学 | 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备 |
| CN114943986A (zh) * | 2022-05-31 | 2022-08-26 | 武汉理工大学 | 基于摄像头画面分割的分区域行人检测照明方法及系统 |
| CN114782827A (zh) * | 2022-06-22 | 2022-07-22 | 中国科学院微电子研究所 | 一种基于图像的物体抓取点获取方法和装置 |
| CN114972321A (zh) * | 2022-06-24 | 2022-08-30 | 西南科技大学 | 一种工件表面缺陷检测方法 |
| CN115205855A (zh) * | 2022-07-08 | 2022-10-18 | 中国人民解放军国防科技大学 | 融合多尺度语义信息的车辆目标识别方法、装置及设备 |
| CN115330594A (zh) * | 2022-07-19 | 2022-11-11 | 上海西虹桥导航技术有限公司 | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 |
| CN115294650A (zh) * | 2022-08-02 | 2022-11-04 | 浙江工商大学 | 基于多标签图像识别的非机动车骑行人属性识别方法 |
| CN115205604A (zh) * | 2022-08-11 | 2022-10-18 | 淮阴工学院 | 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法 |
| CN115294528A (zh) * | 2022-08-11 | 2022-11-04 | 睿云奇智(重庆)科技有限公司 | 一种行人安全监控方法及装置 |
| CN115311518A (zh) * | 2022-08-11 | 2022-11-08 | 创新奇智(南京)科技有限公司 | 一种获取视觉属性信息的方法、装置、介质及电子设备 |
| CN115393774A (zh) * | 2022-09-09 | 2022-11-25 | 南京邮电大学 | 一种轻量化的火灾烟雾检测方法、终端设备及存储介质 |
| CN115588117A (zh) * | 2022-10-17 | 2023-01-10 | 华南农业大学 | 基于YOLOv5s-BC的柑橘木虱检测方法及系统 |
| CN115661767A (zh) * | 2022-10-31 | 2023-01-31 | 中国农业大学 | 一种基于卷积神经网络的图像前方车辆目标识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| H. LV ET AL: "Multiscale Feature Adaptive Fusion for Object Detection in Optical Remote Sensing Images", 《 IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, pages 1 - 5 * |
| 刘永峰等: "基于改进YOLO＿v3-SPP的无人机图像目标检测系统与实现", 《弹箭与制导学报》, vol. 42, no. 5, pages 32 - 37 * |
| 徐岩等: "基于YOLOV3-tiny的火焰目标检测算法", 《山东科技大学学报（自然科学版）》, vol. 41, no. 6, pages 95 - 103 * |
| 郑伟等: "基于改进YOLOv4 输电线关键部件实时检测方法", 《科学技术与工程》, vol. 21, no. 24, pages 10393 - 10400 * |
| 郑伟等: "基于改进YOLOv4输电线关键部件实时检测方法", 《科学技术与工程》, vol. 21, no. 24, pages 10393 - 10400 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106934397B (zh) | 图像处理方法、装置及电子设备 | |
| CN112380921A (zh) | 一种基于车联网的道路检测方法 | |
| CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
| CN111126514A (zh) | 图像多标签分类方法、装置、设备及介质 | |
| CN113468978B (zh) | 基于深度学习的细粒度车身颜色分类方法、装置和设备 | |
| CN111291812B (zh) | 属性类别的获取方法及装置、存储介质、电子装置 | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN110543838A (zh) | 车辆信息检测的方法及装置 | |
| CN114445430A (zh) | 轻量级多尺度特征融合的实时图像语义分割方法及系统 | |
| CN112749666A (zh) | 一种动作识别模型的训练及动作识别方法与相关装置 | |
| CN114549369A (zh) | 数据修复方法、装置、计算机及可读存储介质 | |
| CN115661767A (zh) | 一种基于卷积神经网络的图像前方车辆目标识别方法 | |
| CN114693963A (zh) | 基于电力数据特征提取的识别模型训练、识别方法及装置 | |
| CN115131634A (zh) | 图像识别方法、装置、设备、存储介质及计算机程序产品 | |
| CN112001258B (zh) | 物流货车准时到站识别方法、装置、设备和存储介质 | |
| CN111339808A (zh) | 车辆碰撞概率预测方法、装置、电子设备及存储介质 | |
| CN112686125A (zh) | 车辆类型的确定方法及装置、存储介质、电子装置 | |
| CN112364864A (zh) | 一种车牌识别方法、装置、电子设备及存储介质 | |
| CN116189115A (zh) | 车型识别方法、电子设备和可读存储介质 | |
| CN116110005A (zh) | 一种人群行为属性的计数方法、系统及产品 | |
| Hamzah et al. | Parking Violation Detection on The Roadside of Toll Roads with Intelligent Transportation System Using Faster R-CNN Algorithm | |
| CN114220078A (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
| CN114495061B (zh) | 一种道路交通标志牌识别方法及装置 | |
| CN114882449B (zh) | 一种基于Car-Det网络模型的车辆检测方法及装置 | |
| CN117036895B (zh) | 基于相机与激光雷达点云融合的多任务环境感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230530 |
|
| RJ01 | Rejection of invention patent application after publication |