CN109657552A - 基于迁移学习实现跨场景冷启动的车型识别装置与方法 - Google Patents

基于迁移学习实现跨场景冷启动的车型识别装置与方法 Download PDF

Info

Publication number
CN109657552A
CN109657552A CN201811366611.2A CN201811366611A CN109657552A CN 109657552 A CN109657552 A CN 109657552A CN 201811366611 A CN201811366611 A CN 201811366611A CN 109657552 A CN109657552 A CN 109657552A
Authority
CN
China
Prior art keywords
vehicle
image
scene
module
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811366611.2A
Other languages
English (en)
Other versions
CN109657552B (zh
Inventor
王洪波
薛茜
崔彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201811366611.2A priority Critical patent/CN109657552B/zh
Publication of CN109657552A publication Critical patent/CN109657552A/zh
Application granted granted Critical
Publication of CN109657552B publication Critical patent/CN109657552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于迁移学习实现跨场景冷启动的车型识别装置与方法，该车型识别装置设有三个组成部件：数据处理单元，网络训练单元和识别应用单元，本发明是在目标域只有少量已标注车型信息的车辆图像数据时，采用迁移学习的域适应方法，减少旧车型识别场景的源域和新车型识别场景的目标域之间的车型识别卷积神经网络模型的参数差异性，实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，实现跨场景冷启动的车型识别。本发明能够用于实际智慧交通工程的初始阶段，在缺乏实际车型识别场景的已标注车型信息的车辆图像数据的条件下，使得卷积神经网络模型在车型识别任务上达到一个较高的准确率，具有较好的应用前景。

Description

基于迁移学习实现跨场景冷启动的车型识别装置与方法
技术领域
本发明涉及一种基于迁移学习实现跨场景冷启动的车型识别装置与方法，属于计算机视觉和图像处理的技术领域。
背景技术
首先介绍与说明本发明所涉及的下述专业术语的含义：
微调(fine-tune)是迁移学习的一种方法：在一个已经训练完成的模型基础上继续训练新任务的模型。通常认为卷积神经网络CNN(Convolutional Neural Network)(若不特别说明，本发明的网络均为卷积神经网络)的前几层只提取通用的底层特征，所以训练新任务的模型时，只需要训练后几层的参数，也就是提取该新任务的特有特征。微调可以加快卷积神经网络的训练速度，在数据集的数量不是很大时，其实现效果非常好。
Imagenet数据集是一个用于图像识别的海量图像数据集，通常的网络模型都拥有在该海量图像数据集上训练好的网络参数，在执行其他任务时，可以在这些训练好的网络参数上再进行微调，以便加快训练速度，提高模型效果。
支持向量机SVM(Support Vector Machine)，作为一种机器学习算法，通常用于解决有监督的分类问题。SVM通过寻找具有最小间隔的样本点，拟合一个可以在分割不同类别样本的超平面来进行分类。SVM实现二分类时，一般是将训练集的数据作为输入，该训练数据集包括两个类别、并且都已经标注信息的数据样本，再对算法不断训练，拟合出一个超平面，即训练好的SVM分类器。该SVM分类器可以对任意一个样本进行判断，判断该样本属于两个类别的其中一个。
目标检测，是采用各种图像处理方法，从给定的一张图像中，分离出图像中的目标与背景，并检测判断目标所属类别以及目标在整张图像中的位置。
随着人工智能和物联网技术的快速发展，智慧城市的研发课题应运而生。其中，智慧交通作为一个重要的公共资源，能够提供交通实时监控、车辆实时管理、旅行信息服务和车辆辅助控制等多种功能。而在车辆实时管理中，通过对道路上监控摄像头中的视频图像进行分析，实现实时的车型识别与分类，进而对车辆数据执行实时统计与分析，就能够有效管理城市车辆的通行状况。此外，车型识别对于车辆重识别(从不同时间与地点分别采集的监控视频中，识别出同一个目标车辆)与车辆追踪也有很大的帮助，对于公共安全与犯罪预防都有重大意义。
车型识别是识别车辆身份，包括车辆品牌，车辆子型号及其具体生产年款。这个课题比较复杂，具有较大难度。因为现在的各种机动车辆的品牌非常繁杂多样，每个品牌里，又有众多子品牌；每个子品牌下还设有多种不同的型号；即使同一型号车型的机动车，如果生产年份不同，也会存在各式各样的差异。粗略估计，目前道路上行驶的机动车辆就有上千种类别的不同车型，因此，要对如此众多车型实现正确识别是个非常棘手的问题。
深度学习是一种目前应用最广的、使用卷积神经网络CNN的图像识别方法。深度学习提供了一种端到端的学习模型：通过SGD(Stochastic Gradient Descent)，RMSprop(Root Mean Square prop)，Adagrad，Adadelta，Adam，Adamax，Nadam等优化方法对卷积神经网络中的参数进行训练优化，训练后的CNN就能够自动提取图像中需要检测的目标特征，并完成对该需要检测的图像中的目标特征的提取和分类。现在，深度学习已经被广泛应用于包括图像识别、目标检测、目标追踪、图像分割等不同应用领域的多种图像处理技术中。目前的深度学习存在一个重要问题，就是对标注数据有很强的依赖，而真实世界存在着海量的无标记的图像数据，如果要对这些无标记图像数据全部实现人工标签的添加，显然是不现实的，必须消耗大量的人力，物力和时间资源。
迁移学习TL(Transfer Learning)是运用已有知识对于不同应用的技术领域、但具有相关特性的问题进行求解的一种机器学习方法，其目标是在相关领域完成知识的迁移，以便能够将在特定数据集上进行训练而获得的相关“知识”成功地运用到新的领域中；也就是用于解决域适应DA(Domain Adaption)问题，实现从源域(source domain，本发明的源域是已有大量标注数据的旧车型识别场景)到目标域(target domain，本发明的目标域是只有少量标注数据的新车型识别场景)的学习迁移的方法。
现在，迁移学习已被广泛应用于很多机器学习和深度学习领域，当从一个应用领域来到另一个应用领域，图像数据分布发生变化时，很多学习模型都需要重新开始使用全新的训练图像对图像数据进行重建和标记。如果采用迁移学习，可以避免大量代价昂贵的图像数据标注操作，减少深度学习模型对标注数据的依赖和减少网络训练开销，能够使得原有的训练图像数据可以在新的应用领域得到很好的适用，同时提高模型的稳定性和泛化能力。
深度学习的域适应方法有很多，常用的有：深度适应网络DAN(Deep AdaptationNetworks)、联合适应网络JAN(Joint Adaptation Networks)等。其中，DAN是将CNN中与学习任务相关的隐藏层映射于再生核希尔伯特空间中，再通过多核优化方法对不同域之间的距离实现最小化。JAN提出一种新的联合分布距离度量关系，利用这种关系泛化深度模型的迁移学习能力，进而适配不同应用领域的图像数据分布，基于AlexNet和GoogLeNet对网络结构实现优化。
参见表1，介绍AlexNet的网络结构及其参数：
网络层 输入维度 卷积核大小 输出维度 参数量
Input 227x227x3 - 227x227x3 0
Conv1 227x227x3 11x11x96 55x55x96 34944
MaxPool1 55x55x96 3x3 27x27x96 0
Norm1 27x27x96 - 27x27x96 0
Conv2 27x27x96 5x5x256 27x27x256 614656
MaxPool2 27x27x256 3x3 13x13x256 0
Norml2 13x13x256 - 13x13x256 0
Conv3 13x13x256 3x3x384 13x13x384 885120
Conv4 13x13x384 3x3x384 13x13x384 1327488
Conv5 13x13x384 3x3x256 13x13x256 884992
MaxPool3 13x13x256 3x3 6x6x256 0
FC6 6x6x256 - 4096 37752832
FC7 4096 - 4096 16781312
FC8 4096 - 1000 4097000
在表1中，input层的输入维度为输入图像的大小，Conv1是第一个卷积层，负责执行卷积运算和提取特征；MaxPool1是第一个最大池化层，用于对输入进行降维处理；Norm1为第一个Batch Normalization层，负责在训练中加快网络收敛速度；FC6代表全连接层6。这个AlexNet网络共有62,378,344个参数。
应用于图像处理、图像识别、目标检测和图像分割等计算机图像处理任务的卷积神经网络CNN是一种前馈神经网络，通常包括用于逐层提取图像特征的卷积层、池化层和全连接层。下面参见图1，介绍一种AlexNet+DAN卷积神经网络的结构组成：
图1中的前三层(conv1,conv2,conv3)参数frozen(参数数值固定，训练时不更新)，对第四层(conv4)和第五层(conv5)的参数进行微调fine-tuning，在全连接层(fc1,fc2,fc3)区分为源域和目标域，通过多核最大均值差异MK-MMD(Multi-kernel MaximumMean Discrepanc)方法计算全连接输出特征的距离，也就是源域和目标域之间的距离，然后通过最小化损失函数进行优化，当损失函数优化到设定阈值时，网络迁移完成。
在车型识别任务中，同样存在着深度学习对标注图像数据的依赖问题。因为现实道路上的视频监控数据中存在着大量的车辆图像，但是这些车辆图像都是未经过标注的，而车型识别任务所需要的车辆标注图像数量至少是百万级的，如此庞大数量的标注操作所需要的人力消耗与时间消耗都是巨大的；这个问题在实际工程中，会严重拖慢工程进度。同时，互联网中存在着大量的车辆图像，大多数来自汽车之家等互联网汽车销售平台，这些图像的分辨率很高，且拍摄角度大多以正面为主，光线良好，图像中的其他物体干扰或遮挡也非常少。然而，在智慧交通的实际车型识别场景中，车辆图像大都来自于监控摄像头，监控摄像头下的车辆图像更加复杂，该车辆图像的像素分辨率也相对较低，加上拍摄角度多样和物体遮挡、以及随着日照情况改变的光线也会发生变化，因此不同的现实车型识别场景中，由于背景、光照等多种因素的影响，不同地区、或同一地点在不同时间的车辆图像也都会存在或多或少的不同差异、有的甚至非常巨大的差异。
通常，在实际工程中，对于每个新的智慧交通项目或课题，即使在系统刚投入运行时，人们也总希望能够在较短时间内就能够达到一个较高的车型识别准确率效果。然而，实际车型识别场景下的标注图像数据都比较少，很难达到很高的识别准确率。因此必须解决一个重要的冷启动问题，即在一个新的缺乏车型图像标注数据的车型识别场景下，如何使用少量的车型图像标注数据，采用卷积神经网络学习模型在车型识别任务上获得一个较好的效果，这个在智慧工程上具有重要实际意义的计算机视觉和图像处理课题就成为业内技术人员关注的新焦点。
发明内容
有鉴于此，本发明的目的是提供一种基于迁移学习实现跨场景冷启动的车型识别装置与方法，本发明是在目标域只有少量车辆图像标注数据时，使用迁移学习的域适应方法来实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，也就是通过减少源域(旧车型识别场景)和目标域(新车型识别场景)之间的差异性，实现冷启动。本发明能够用于实际智慧交通工程的初始阶段，在对应场景中，缺乏有车型标注信息的车辆图像数据的条件下，使得卷积神经网络模型达到一个较高的车型识别准确率。
为了达到上述目的，本发明提供了一种基于迁移学习实现跨场景冷启动的车型识别装置，其特征在于：所述装置是采用迁移学习的域适应方法，减少旧车型识别场景的源域和新车型识别场景的目标域之间的车型识别卷积神经网络模型的参数差异性，实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，也就是实现跨场景冷启动的车型识别；该装置设有三个组成部件：数据处理单元，网络训练单元和识别应用单元；其中：
数据处理单元，负责获取车辆图像数据，并对所获得的车辆图像数据进行分类筛选后，传送给网络训练单元；设有两个组件：车辆图像数据获取模块和车辆图像数据筛选模块；其中：
车辆图像数据获取模块是从互联网中爬取所需的对应车辆图像，或者下载已公开的其他场景的对应车辆图像集，再将该两种车辆图像保存于本地，因该两种车辆图像在获取前均已标注车型信息，故被称为旧场景车辆图像；同时获取当前车型识别场景的设定数量的车辆图像，并对该类车辆图像标注车型信息，并称其为当前场景已标注信息的车辆图像；然后将所获取的该两类车辆图像：旧场景车辆图像和当前场景已标注信息的车辆图像，都传送到车辆图像数据筛选模块；
车辆图像数据筛选模块负责从旧场景车辆图像中，分类筛选出与当前场景已标注信息的车辆图像尽可能相同或相近的车辆图像，用作微调模块的训练图像：先把旧场景车辆图像集合分为两个子集：旧场景支持向量机SVM(Support Vector Machine)训练集和旧场景SVM筛选集；车辆图像数据筛选模块又从当前场景已标注信息的车辆图像中挑选设定数量的车辆图像作为当前场景SVM训练集；然后用旧场景SVM训练集和当前场景SVM训练集的两类车辆图像训练SVM分类器实现二分类：与旧场景图像相似类、即与当前场景图像不相似类，以及与当前场景图像相似类；此外，还对旧场景SVM筛选集中的每张车辆图像进行分类筛选：只筛选保存其中被分类为与当前场景图像相似类的车辆图像，并传输给网络训练单元，作为网络训练单元中的微调模块的训练图像，以使微调模块训练参数更接近于当前车型识别场景中的车型识别模型参数，提高车型识别准确率；
网络训练单元，负责对接收的筛选后的微调模块训练图像以及当前场景已标注信息的车辆图像进行训练，也就是对该卷积神经网络模型中的参数数值在训练过程中继续进行修正，以便能够用作车型识别卷积神经网络模型中的参数；再将更新修正后的训练参数传送给识别应用单元；设有微调模块和迁移学习模块；其中：
微调模块使用卷积神经网络模型，在ImageNet大规模图像识别数据集的预训练模型参数基础上对微调模块训练图像进行训练，以使该卷积神经网络模型能够实现高识别准确率，再将该训练后的卷积神经网络模型各项参数传输给迁移学习模块；
迁移学习模块使用与微调模块相同的卷积神经网络模型和加入域适应方法，基于微调模块输出的卷积神经网络模型各项参数，分别对微调模块训练图像和当前场景已经标注信息的车辆图像再次进行训练，然后将该迁移学习模块训练后的各项参数，输出到识别应用单元；
识别应用单元，作为该装置的关键模块，负责利用来自迁移学习模块的各项参数作为车型识别模块中的卷积神经网络模型的参数，控制和执行当前车型识别场景中的车型识别处理全部操作；设有摄像头，视频流处理模块，车型识别模块和识别结果存储模块；其中：
摄像头负责实时获取所设关卡的道路信息，并将所拍摄的该关卡道路的视频数据流输出给视频流处理模块；
视频流处理模块负责对接收的视频数据流进行分析处理后，将从其中的每帧或抽样帧中截取所有的车辆图像，即当前场景待识别的车辆图像，再输送到车型识别模块；
车型识别模块使用与微调模块相同的卷积神经网络模型和加载迁移学习模块输出的各项参数后，利用该卷积神经网络模型对每帧或抽样帧中截取的车辆图像进行车型识别，判断该车辆所归属的车型品牌、型号和生产年份，最后将该车型识别判断结果传送给识别结果存储模块；
识别结果存储模块负责在其数据库中存储和标记所接收的车辆图像及其车型识别结果，以便用于管理和查询。
为了达到上述目的，本发明还提供了一种基于迁移学习实现跨场景冷启动的车型识别装置的识别车型方法，其特征在于：所述方法包括下列操作步骤：
步骤1，收集车辆图像：数据处理单元的车辆图像数据获取模块从互联网中爬取所需的对应车辆图像，或者下载已公开的其他场景的对应车辆图像数据集，再将这些已标注车型信息的旧场景车辆图像保存于本地；同时获取当前车型识别场景的设定数量的车辆图像，并对这些设定数量车辆图像标注车型信息，生成当前场景已标注信息的车辆图像；
步骤2，利用SVM分类器筛选旧场景车辆图像：车辆图像数据筛选模块先分别从旧场景车辆图像和当前场景已标注信息的车辆图像中随机挑选设定数量的车辆图像，分别用于旧场景SVM训练集和当前场景SVM训练集，利用该两类被挑选出来的车辆图像对SVM分类器进行训练，以便能够使用训练后的该SVM分类器对旧场景SVM筛选集中的每张车辆图像实现二分类：判断每张车辆图像是否属于当前场景图像相似类：若是，则保存该车辆图像，作为微调模块训练图像；否则，丢弃该车辆图像；
步骤3，利用筛选后的微调模块训练图像对神经网络进行微调：微调模块选择一种卷积神经网络模型，并从网上下载该卷积神经网络模型对应的、在ImageNet大规模图像识别数据集上的预训练参数，再将该预训练参数作为卷积神经网络模型的初始参数，对微调模块训练图像进行训练，以使该卷积神经网络模型能够实现高识别准确率，再将该训练后的网络模型各项参数传输给迁移学习模块；
步骤4，利用微调模块训练图像和当前场景已标注信息的车辆图像进行迁移学习：迁移学习模块基于步骤3使用的卷积神经网络模型和添加迁移学习的域适应方法，并加载上述步骤训练后的卷积神经网络模型参数，作为迁移学习训练的参数初始值，再利用微调模块训练图像作为迁移学习的源域数据集，以及当前场景已标注信息的车辆图像作为迁移学习的目标域数据集，对卷积神经网络模型进行训练，以使卷积神经网络模型在目标域数据集上达到较高识别准确率；
步骤5，处理关卡道路上的视频流：视频流处理模块对摄像头拍摄的关卡道路的视频流进行实时或离线处理：从视频流中选取每帧或抽样帧的图像，再用目标检测算法输出每帧或抽样帧的图像中是否存在车辆，若存在车辆，则目标检测算法输出相应帧中所存在车辆的边界框，然后根据边界框从该相应帧中截取车辆图像，即得到当前场景待识别的车辆图像；
步骤6，识别车型：车型识别模块使用与微调模块相同的卷积神经网络模型，加载步骤4中训练后的该卷积神经网络模型参数，将步骤5中截取的当前场景待识别的车辆图像作为卷积神经网络模型的输入，然后进行车型识别处理，输出该车辆图像中的车辆所属车型类别信息，同时将该车辆图像及其对应的车型类别信息存入数据库中，以供管理与查询。
本发明基于迁移学习实现跨场景冷启动的车型识别装置与方法的优点：
本发明车型识别装置可以在一个全新的车型识别场景，即在目标域只有少量标注车型信息的车辆图像数据情况下，使用迁移学习的域适应方法实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，从而减少源域(旧车型识别场景)和目标域(新车型识别场景)之间学习模型参数的差异性，实现冷启动。在车型识别课题上获得一个较好效果，减少对人工标注图像数据量的需求，以节省大量人力、物力、财力和时间成本。
本发明特别适用于实际智慧交通工程的初始阶段，在对应场景缺少具有车型标注信息的车辆图像数据的条件下，本发明方法能够使得卷积神经网络模型达到一个较高的车型识别准确率。而且，本发明的识别装置的结构组成简单易行、创新实用；识别方法的操作步骤简单可靠，容易实现，具有很好的推广应用前景。
附图说明
图1是AlexNet+DAN卷积神经网络的结构组成示意图。
图2是本发明基于迁移学习实现跨场景冷启动的车型识别装置结构组成示意图。
图3是本发明基于迁移学习实现跨场景冷启动的车型识别装置识别车型方法的操作步骤流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
本发明基于迁移学习实现跨场景冷启动的车型识别装置是采用迁移学习的域适应方法，减少旧车型识别场景的源域和新车型识别场景的目标域之间的车型识别卷积神经网络模型的参数差异性，实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，也就是实现跨场景冷启动的车型识别。
参见图2，介绍本发明基于迁移学习实现跨场景冷启动的车型识别装置的结构组成，设有三个组成部件：数据处理单元，网络训练单元和识别应用单元。其中：
(一)数据处理单元，负责获取车辆图像数据，并对所获得的车辆图像数据进行分类筛选；再将所筛选的车辆图像数据输入到网络训练单元，作为训练模块的训练数据集。设有两个组件：车辆图像数据获取模块和车辆图像数据筛选模块。其中：
车辆图像数据获取模块是从互联网中爬取所需的对应车辆图像，或者下载已公开的其他场景的车辆图像集，再将该两种车辆图像保存于本地，因为该两种车辆图像在获取前均是已标注车型信息，故被称为旧场景车辆图像；同时获取当前车型识别场景的设定数量的车辆图像，并对该类车辆图像标注车型信息，并称其为当前场景已标注信息的车辆图像；然后将所获取的该两类车辆图像：旧场景车辆图像和当前场景中已标注信息的车辆图像，都传送到车辆图像数据筛选模块。
车辆图像数据筛选模块负责从旧场景车辆图像中，分类筛选出与当前场景已标注信息的车辆图像尽可能相同或相近的车辆图像，用作微调模块的训练图像：车辆图像数据筛选模块先把旧场景车辆图像集合分为两个子集：旧场景支持向量机SVM(Support VectorMachine)训练集和旧场景SVM筛选集，又从当前场景已标注信息的车辆图像中挑选设定数量的车辆图像作为当前场景SVM训练集；然后用旧场景SVM训练集和当前场景SVM训练集的两类车辆图像训练SVM分类器实现二分类：与旧场景图像相似类(即与当前场景图像不相似类)以及与当前场景图像相似类。此外，还对旧场景SVM筛选集中的每张车辆图像进行分类筛选：将其中被分类为与当前场景图像相似类的车辆图像保存下来，并传输给网络训练单元，作为网络训练单元中的微调模块的训练数据集，以使微调模块训练参数更接近于当前车型识别场景中的车型识别模型参数，提高车型识别模型准确率。
车辆图像数据筛选模块的具体功能及其操作过程是：先从旧场景车辆图像和当前场景中已标注的车辆图像中分别随机挑选设定数量的该两类车辆图像，从旧场景车辆图像中挑选出来的图像集合即为旧场景SVM训练集，旧场景车辆图像中未被挑选出来的图像集合即为旧场景SVM筛选集，从当前场景已标注车辆图像中挑选出来的图像称为当前场景SVM训练集，其中旧场景SVM训练集车辆图像数量不大于旧场景车辆图像数量的五分之一。然后用上述两类被挑选出的图像数据集对SVM分类器进行训练，以使SVM分类器能实现二分类：输入任意一张车辆图像后，就能够判决输出该车辆图像是否属于两类之一：与旧场景图像相似类(即与当前场景图像不相似类)以及与当前场景图像相似类；最后用训练好的SVM分类器对旧场景SVM筛选集中的每一张车辆图像进行分类：检测每张图像是否被分类为与当前场景图像相似类：若是，则保存该图像，这类图像即为微调模块训练图像；否则，丢弃该图像。
(二)网络训练单元，负责对接收的筛选出的微调模块训练图像以及当前场景已标注车辆图像进行训练，也就是对该卷积神经网络模型中的各项参数数值在训练过程中继续进行修正，以便能够用作车型识别卷积神经网络模型中的参数；再将更新修正后的训练参数传送给应用单元。设有微调模块和迁移学习模块。其中：
微调模块使用卷积神经网络模型，在ImageNet大规模图像识别数据集的预训练模型参数基础上对微调模块训练图像进行训练，以使该卷积神经网络模型能够实现高识别准确率，再将该训练后的卷积神经网络模型各项参数传输给迁移学习模块。
迁移学习模块使用与微调模块相同的卷积神经网络模型和加入域适应方法，基于微调模块输出的卷积神经网络模型各项参数，分别对微调模块训练图像和当前场景已标注信息的车辆图像再次进行训练，然后将该迁移学习模块训练后的各项参数，输出到应用单元。
该网络训练单元中的微调模块与迁移学习模块，以及识别应用单元中的车型识别模块都设置和使用相同的一种卷积神经网络模型，所使用的卷积神经网络模型可以为：AlexNet、VGG、ResNet、GoogleNet、MobileNet、DenseNet、SE-Net和DarkNet。
在本发明车型识别装置中，当前场景已标注信息的车辆图像分别应用于两个模块中：在车辆图像数据筛选模块中，被随机挑选出部分车辆图像，用作SVM分类器的训练数据集；而在迁移学习模块中，所有的当前场景已标注信息的车辆图像都被用作迁移学习模块的训练数据集。
(三)识别应用单元，作为该装置的关键模块，负责利用来自迁移学习模块的各项参数作为车型识别模块中的卷积神经网络模型的参数，控制和执行当前车型识别场景中的车型识别处理全部操作。设有摄像头，视频流处理模块，车型识别模块和识别结果存储模块。其中：
摄像头负责实时获取所设关卡的道路信息，并将所拍摄的该关卡道路的视频数据流输出给视频流处理模块；
视频流处理模块负责对接收的视频数据流进行分析处理后，将从其中每一帧或抽样帧中截取出所存在的车辆图像，即当前场景待识别的车辆图像，并输送到车型识别模块。视频流处理模块处理视频数据流的过程是：先提取该视频数据流的每一帧或抽样帧，然后采用目标检测算法检测每一帧或抽样帧中是否存在车辆，若存在车辆，则目标检测算法输出相应帧中所存在的车辆图像，再将该车辆图像输送到车型识别模块进行车型识别，并将车型识别结果存储于识别结果存储模块。
车型识别模块使用与微调模块相同的卷积神经网络模型和加载迁移学习模块输出的各项参数后，利用该卷积神经网络模型对当前场景中待识别的每帧或抽样帧中截取的车辆图像进行车型识别，判断该车辆所归属的车型品牌、型号和生产年份，最后将该车型识别判断结果传送给识别结果存储模块。
识别结果存储模块负责在其数据库中存储和标记所接收的车辆图像及其车型识别结果，以便用于管理和查询。
本发明还提供了基于迁移学习实现跨场景冷启动的车型识别装置的识别车型方法，下面结合本发明利用卷积神经网络模型AlexNet和域适应方法DAN的实施例(参见图3)，介绍该识别方法的下列操作步骤：
步骤1，收集车辆图像：数据处理单元的车辆图像数据获取模块从互联网中下载公开的车辆图像数据集CompCars，将这些车辆图像保存于本地，这些车辆图像在获取前均是已标注车型信息的图像(被称为旧场景车辆图像)；同时还获取设置在某地的交通卡口视频监控下的当前识别场景的车辆图像，并对该当前识别场景的车型图像分别进行车型信息标注，标注后的这类图像即为当前场景已标注信息的车辆图像。
步骤2，利用SVM分类器对旧场景车辆图像进行筛选：车辆图像数据筛选模块先分别从旧场景车辆图像和当前场景已标注信息的的车辆图像中随机挑选设定数量的多张车辆图像，分别用于构成旧场景SVM训练集和当前场景SVM训练集；利用上述两类被挑选出的车辆图像对SVM分类器进行训练，以使该SVM分类器用作二分类器，能够将输入的任意一张车辆图像分类为下面两类之一：与旧场景图像相似类(即与当前场景图像不相似类)以及与当前场景图像相似类；然后用训练好的SVM分类器对旧场景SVM筛选集中的每张车辆图像进行分类：将输出结果与当前场景图像相似类的车辆图像保存下来，作为微调模块的训练图像；而丢弃输出结果与当前场景图像不相似类的车辆图像。
车辆图像数据筛选模块的实施例具体操作步骤如下：首先分别从旧场景车辆图像数据集N中取出数量为m的车辆图像样本，以及从当前场景已标注车辆图像数据集M中随机选择多个(其数量为x)车辆图像样本，作为旧场景SVM训练集H和当前场景SVM训练集K，并且满足再使用挑选出来的车辆图像样本数据集H和数据集K作为输入，训练一个SVM二分类器，用于判断车辆图像样本是否属于下面两类：与旧场景车辆图像相似类(即与当前场景车辆图像不相似类)和与当前场景车辆图像相似类。然后，使用训练好的SVM分类器，对剩余的n-x个旧场景SVM筛选集中的每张车辆图像继续进行分类：如果该车辆图像是与当前场景图像相似类，则将该车辆图像放入集合Q中，生成源域数据集，用于微调模块的训练图像，否则，就将该车辆图像丢弃。
步骤3，利用筛选出的微调模块的训练图像对神经网络进行微调：微调模块使用AlexNet卷积神经网络模型，下载该卷积神经网络模型对应的、在ImageNet大规模图像识别数据集上的预训练参数，并将预训练参数作为卷积神经网络模型的初始参数，用筛选后的微调模块的训练图像进行训练，以使该卷积神经网络模型能够实现高识别准确率，再将该训练后的网络模型各项参数传输给迁移学习模块。
本发明实施例是在谷歌开发的TensorFlow框架平台下构建AlexNet卷积神经网络模型，然后在TensorFlow官网上下载AlexNet卷积神经网络模型在Imagenet数据集上的预训练参数，并将Imagenet预训练参数加载于该AlexNet网络模型中，作为网络参数的初始值，使用源域数据集Q，在微调模块上对所有的网络参数进行训练，以使该AlexNet网络模型在数据集Q上达到一个较高的识别准确率。
步骤4，利用微调模块训练图像和当前场景已标注信息的车辆图像进行迁移学习：迁移学习模块基于步骤3使用的卷积神经网络模型，添加迁移学习的域适应方法：先加载上述步骤训练好的卷积神经网络模型参数，作为迁移学习训练的参数初始值，再利用筛选后的微调模块训练图像作为迁移学习的源域数据集，以及当前识别场景已标注车辆图像作为迁移学习的目标域数据集对卷积神经网络模型络进行训练。
本发明实施例中，该步骤4是将迁移学习中的域适应方法DAN加载训练好的AlexNet网络模型中，生成AlexNet+DAN网络(参见图1所示)，以fine-tune的参数为网络初始参数值，前三层(conv1,conv2,conv3)参数是固定的，训练时不更新参数，对第四层和第五层的参数进行微调，在全连接层(fc1,fc2,fc3)则将源域和目标域的车辆图像分开，通过多核最大均值差异MK-MMD(Multi-kernel Maximum Mean Discrepanc)法来计算全连接输出特征的距离，也就是源域和目标域之间的距离，在微调模块训练图像和当前场景已标注车辆图像上进行训练，然后通过最小化损失函数来进行优化，当损失函数优化到设定的阈值时，完成网络参数的迁移。
步骤5，处理关卡道路上的视频流：视频流处理模块对摄像头拍摄的关卡道路的视频流进行实时或离线处理：从视频流中选取每帧或抽样帧的图像。抽样帧有以下几种抽样方式：按照关键帧抽取，按照时间周期抽取，按照设定帧的数量周期抽取，或者随机抽取，本实施例的抽样帧采用按照关键帧抽取方法，再用目标检测算法检测关键帧中是否存在车辆，若存在车辆，则目标检测算法输出相应帧中所存在车辆的边界框，然后根据边界框从相应关键帧中截取车辆图像，即得到当前场景待识别车辆图像。
步骤6，识别车型：车型识别模块使用与微调模块相同的卷积神经网络模型，加载步骤4中训练好的该卷积神经网络模型参数，将步骤5中截取的当前场景待识别车辆图像作为卷积神经网络模型的输入，就能够进行车型识别处理，输出该车辆图像中的车辆所属车型类别信息，同时将该车辆图像及其对应的车型类别信息传送给识别结果存储模块和存入数据库中，以供管理与查询。
本发明已经进行了实施例的多次应用试验，经过多次实施试验，本发明的车型识别装置与方法的试验结果是成功的，实现了发明目的，有望进一步推广应用。

Claims (8)

1.一种基于迁移学习实现跨场景冷启动的车型识别装置，其特征在于：所述装置是采用迁移学习的域适应方法，减少旧车型识别场景的源域和新车型识别场景的目标域之间的车型识别卷积神经网络模型的参数差异性，实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，也就是实现跨场景冷启动的车型识别；该装置设有三个组成部件：数据处理单元，网络训练单元和识别应用单元；其中：
数据处理单元，负责获取车辆图像数据，并对所获得的车辆图像数据进行分类筛选后，传送给网络训练单元；设有两个组件：车辆图像数据获取模块和车辆图像数据筛选模块；其中：
车辆图像数据获取模块是从互联网中爬取所需的对应车辆图像，或者下载已公开的其他场景的对应车辆图像集，再将该两种车辆图像保存于本地，因该两种车辆图像在获取前均已标注车型信息，故被称为旧场景车辆图像；同时获取当前车型识别场景的设定数量的车辆图像，并对该类车辆图像标注车型信息，并称其为当前场景已标注信息的车辆图像；然后将所获取的该两类车辆图像：旧场景车辆图像和当前场景已标注信息的车辆图像，都传送到车辆图像数据筛选模块；
车辆图像数据筛选模块负责从旧场景车辆图像中，分类筛选出与当前场景已标注信息的车辆图像尽可能相同或相近的车辆图像，用作微调模块的训练图像：先把旧场景车辆图像集合分为两个子集：旧场景支持向量机SVM(Support Vector Machine)训练集和旧场景SVM筛选集；车辆图像数据筛选模块又从当前场景已标注信息的车辆图像中挑选设定数量的车辆图像作为当前场景SVM训练集；然后用旧场景SVM训练集和当前场景SVM训练集的两类车辆图像训练SVM分类器实现二分类：与旧场景图像相似类、即与当前场景图像不相似类，以及与当前场景图像相似类；此外，还对旧场景SVM筛选集中的每张车辆图像进行分类筛选：只筛选保存其中被分类为与当前场景图像相似类的车辆图像，并传输给网络训练单元，作为网络训练单元中的微调模块的训练图像，以使微调模块训练参数更接近于当前车型识别场景中的车型识别模型参数，提高车型识别准确率；
网络训练单元，负责对接收的筛选后的微调模块训练图像以及当前场景已标注信息的车辆图像进行训练，也就是对该卷积神经网络模型中的参数数值在训练过程中继续进行修正，以便能够用作车型识别卷积神经网络模型中的参数；再将更新修正后的训练参数传送给识别应用单元；设有微调模块和迁移学习模块；其中：
微调模块使用卷积神经网络模型，在ImageNet大规模图像识别数据集的预训练模型参数基础上对微调模块训练图像进行训练，以使该卷积神经网络模型能够实现高识别准确率，再将该训练后的卷积神经网络模型各项参数传输给迁移学习模块；
迁移学习模块使用与微调模块相同的卷积神经网络模型和加入域适应方法，基于微调模块输出的卷积神经网络模型各项参数，分别对微调模块训练图像和当前场景已经标注信息的车辆图像再次进行训练，然后将该迁移学习模块训练后的各项参数，输出到识别应用单元；
识别应用单元，作为该装置的关键模块，负责利用来自迁移学习模块的各项参数作为车型识别模块中的卷积神经网络模型的参数，控制和执行当前车型识别场景中的车型识别处理全部操作；设有摄像头，视频流处理模块，车型识别模块和识别结果存储模块；其中：
摄像头负责实时获取所设关卡的道路信息，并将所拍摄的该关卡道路的视频数据流输出给视频流处理模块；
视频流处理模块负责对接收的视频数据流进行分析处理后，将从其中的每帧或抽样帧中截取所有的车辆图像，即当前场景待识别的车辆图像，再输送到车型识别模块；
车型识别模块使用与微调模块相同的卷积神经网络模型和加载迁移学习模块输出的各项参数后，利用该卷积神经网络模型对每帧或抽样帧中截取的车辆图像进行车型识别，判断该车辆所归属的车型品牌、型号和生产年份，最后将该车型识别判断结果传送给识别结果存储模块；
识别结果存储模块负责在其数据库中存储和标记所接收的车辆图像及其车型识别结果，以便用于管理和查询。
2.根据权利要求1所述的车型识别装置，其特征在于：所述网络训练单元中的微调模块与迁移学习模块，以及识别应用单元中的车型识别模块都设置和使用相同的一种卷积神经网络模型，所述卷积神经网络模型的种类包括AlexNet、VGG、ResNet、GoogleNet、MobileNet、DenseNet、SE-Net和DarkNet。
3.根据权利要求1所述的车型识别装置，其特征在于：所述视频流处理模块处理视频数据流的过程是：先提取该视频数据流的每帧或抽样帧的图像，再用目标检测算法检测每帧或抽样帧的图像中是否存在车辆，若存在车辆，则目标检测算法输出相应帧中所存在车辆的边界框，然后根据边界框从相应帧中截取车辆图像，即得到当前场景待识别的车辆图像，再将该车辆图像输送到车型识别模块进行车型识别，并将车型识别结果存储于识别结果存储模块。
4.根据权利要求3所述的车型识别装置，其特征在于：所述抽样帧的抽样方法包括：按照关键帧抽取，按照时间周期抽取，按照设定帧的数量周期抽取，或者随机抽取。
5.根据权利要求1所述的车型识别装置，其特征在于：所述车辆图像数据筛选模块的功能是：先从旧场景车辆图像和当前场景已标注信息的车辆图像中分别随机挑选设定数量该两类车辆图像，其中，从旧场景车辆图像中挑选出来的图像集合构成旧场景SVM训练集，未被挑选出来的图像集合组成旧场景SVM筛选集，而从当前场景已标注信息的车辆图像中挑选出来的图像用作当前场景SVM训练集；再用所述两类被挑选出的车辆图像数据集对SVM分类器进行训练，以使SVM分类器能够对输入的任意一张车辆图像实现二分类：与旧场景车辆图像相似类、即与当前场景车辆图像不相似类，以及与当前场景车辆图像相似类；最后用训练好的SVM分类器对旧场景SVM筛选集中的每张车辆图像进行二分类，判断其是否属于当前场景车辆图像相似类：若是，则保存该车辆图像，用作微调模块的训练图像；否则，丢弃该车辆图像。
6.根据权利要求1所述的车型识别装置，其特征在于：所述当前场景已标注信息的车辆图像分别应用于两个模块：在车辆图像数据筛选模块中，被随机挑选出来的部分车辆图像，用作SVM分类器的训练数据集；而在迁移学习模块中，所有的当前场景已标注信息的车辆图像都被用作迁移学习模块的训练数据集。
7.一种根据权利要求1所述的基于迁移学习实现跨场景冷启动的车型识别装置的识别车型方法，其特征在于：所述方法包括下列操作步骤：
步骤1，收集车辆图像：数据处理单元的车辆图像数据获取模块从互联网中爬取所需的对应车辆图像，或者下载已公开的其他场景的对应车辆图像数据集，再将这些已标注车型信息的旧场景车辆图像保存于本地；同时获取当前车型识别场景的设定数量的车辆图像，并对这些设定数量车辆图像标注车型信息，生成当前场景已标注信息的车辆图像；
步骤2，利用SVM分类器筛选旧场景车辆图像：车辆图像数据筛选模块先分别从旧场景车辆图像和当前场景已标注信息的车辆图像中随机挑选设定数量的车辆图像，分别用于旧场景SVM训练集和当前场景SVM训练集，利用该两类被挑选出来的车辆图像对SVM分类器进行训练，以便能够使用训练后的该SVM分类器对旧场景SVM筛选集中的每张车辆图像实现二分类；判断每张车辆图像是否属于当前场景图像相似类：若是，则保存该车辆图像，作为微调模块训练图像；否则，丢弃该车辆图像；
步骤3，利用筛选后的微调模块训练图像对神经网络进行微调：微调模块选择一种卷积神经网络模型，并从网上下载该卷积神经网络模型对应的、在ImageNet大规模图像识别数据集上的预训练参数，再将该预训练参数作为卷积神经网络模型的初始参数，对微调模块训练图像进行训练，以使该卷积神经网络模型能够实现高识别准确率，再将该训练后的网络模型各项参数传输给迁移学习模块；
步骤4，利用微调模块训练图像和当前场景已标注信息的车辆图像进行迁移学习：迁移学习模块基于步骤3使用的卷积神经网络模型和添加迁移学习的域适应方法，并加载上述步骤训练后的卷积神经网络模型参数，作为迁移学习训练的参数初始值，再利用微调模块训练图像作为迁移学习的源域数据集，以及当前场景已标注信息的车辆图像作为迁移学习的目标域数据集，对卷积神经网络模型进行训练，以使卷积神经网络模型在目标域数据集上达到较高识别准确率；
步骤5，处理关卡道路上的视频流：视频流处理模块对摄像头拍摄的关卡道路的视频流进行实时或离线处理：从视频流中选取每帧或抽样帧的图像，再用目标检测算法输出每帧或抽样帧的图像中是否存在车辆，若存在车辆，则目标检测算法输出相应帧中所存在车辆的边界框，然后根据边界框从该相应帧中截取车辆图像，即得到当前场景待识别的车辆图像；
步骤6，识别车型：车型识别模块使用与微调模块相同的卷积神经网络模型，加载步骤4中训练后的该卷积神经网络模型参数，将步骤5中截取的当前场景待识别的车辆图像作为卷积神经网络模型的输入，然后进行车型识别处理，输出该车辆图像中的车辆所属车型类别信息，同时将该车辆图像及其对应的车型类别信息存入数据库中，以供管理与查询。
8.根据权利要求7所述的方法，其特征在于：所述步骤2中，用作SVM分类器训练的旧场景SVM训练集的车辆图像的数量不大于旧场景车辆图像数量的五分之一。
CN201811366611.2A 2018-11-16 2018-11-16 基于迁移学习实现跨场景冷启动的车型识别装置与方法 Active CN109657552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811366611.2A CN109657552B (zh) 2018-11-16 2018-11-16 基于迁移学习实现跨场景冷启动的车型识别装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811366611.2A CN109657552B (zh) 2018-11-16 2018-11-16 基于迁移学习实现跨场景冷启动的车型识别装置与方法

Publications (2)

Publication Number Publication Date
CN109657552A true CN109657552A (zh) 2019-04-19
CN109657552B CN109657552B (zh) 2022-11-29

Family

ID=66110981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811366611.2A Active CN109657552B (zh) 2018-11-16 2018-11-16 基于迁移学习实现跨场景冷启动的车型识别装置与方法

Country Status (1)

Country Link
CN (1) CN109657552B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210561A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 神经网络的训练方法、目标检测方法及装置、存储介质
CN110427814A (zh) * 2019-06-24 2019-11-08 深圳云天励飞技术有限公司 一种骑行者重识别方法、装置及设备
CN110598801A (zh) * 2019-09-24 2019-12-20 东北大学 一种基于卷积神经网络的车型识别方法
CN110610207A (zh) * 2019-09-10 2019-12-24 重庆邮电大学 一种基于迁移学习的小样本sar图像舰船分类方法
CN110728294A (zh) * 2019-08-30 2020-01-24 北京影谱科技股份有限公司 一种基于迁移学习的跨领域图像分类模型构建方法和装置
CN110991506A (zh) * 2019-11-22 2020-04-10 高新兴科技集团股份有限公司 一种车辆品牌识别方法、装置、设备及存储介质
CN111079640A (zh) * 2019-12-09 2020-04-28 合肥工业大学 一种基于自动扩增样本的车型识别方法及系统
CN111504331A (zh) * 2020-04-29 2020-08-07 杭州环峻科技有限公司 一种由粗到细的全景智能车辆定位方法和装置
CN111582277A (zh) * 2020-06-15 2020-08-25 深圳天海宸光科技有限公司 一种基于迁移学习的车牌识别系统及方法
CN111860046A (zh) * 2019-04-26 2020-10-30 四川大学 一种改进MobileNet模型的人脸表情识别方法
CN112434746A (zh) * 2020-11-27 2021-03-02 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
CN112528921A (zh) * 2020-12-21 2021-03-19 山东雨润环保机械设备有限公司 一种基于机器视觉的施工现场灰尘识别系统及其方法
CN112598071A (zh) * 2020-12-28 2021-04-02 北京市商汤科技开发有限公司 明火识别方法、装置、设备和存储介质
CN113298087A (zh) * 2021-04-29 2021-08-24 上海淇玥信息技术有限公司 图片分类模型冷启动的方法、系统、装置及介质
CN113420824A (zh) * 2021-07-03 2021-09-21 上海理想信息产业（集团）有限公司 针对工业视觉应用的预训练数据筛选及训练方法、系统
CN116395003A (zh) * 2023-06-05 2023-07-07 中国铁道科学研究院集团有限公司通信信号研究所 适用于一站多场的动车段和动车所跨场接发列车管控方法
CN116597286A (zh) * 2023-07-17 2023-08-15 深圳市诚识科技有限公司 一种基于深度学习的图像识别自适应学习方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN107545257A (zh) * 2017-10-20 2018-01-05 深圳市唯特视科技有限公司 一种基于加载预训练卷积网络的自动目标识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN107545257A (zh) * 2017-10-20 2018-01-05 深圳市唯特视科技有限公司 一种基于加载预训练卷积网络的自动目标识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
YU CHEN: "A Method for Special Vehicle Recognition Based on Deep-Transfer Model", 《2016 SIXTH INTERNATIONAL CONFERENCE ON INSTRUMENTATION & MEASUREMENT, COMPUTER, COMMUNICATION AND CONTROL (IMCCC)》 *
ZHANG BAILING: "Reliable Classification of Vehicle Types Based on Cascade Classifier Ensembles", 《 IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
吴宗胜等: "基于深度卷积神经网络的道路场景理解", 《计算机工程与应用》 *
李浩等: "基于深度学习的多角度车辆动态检测方法", 《交通信息与安全》 *
胡鹏等: "一种快速的车型识别方法", 《信息技术与网络安全》 *
许悦雷等: "迁移学习结合难分样本挖掘的机场目标检测", 《西安电子科技大学学报》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860046B (zh) * 2019-04-26 2022-10-11 四川大学 一种改进MobileNet模型的人脸表情识别方法
CN111860046A (zh) * 2019-04-26 2020-10-30 四川大学 一种改进MobileNet模型的人脸表情识别方法
CN110210561A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 神经网络的训练方法、目标检测方法及装置、存储介质
CN110427814A (zh) * 2019-06-24 2019-11-08 深圳云天励飞技术有限公司 一种骑行者重识别方法、装置及设备
CN110728294A (zh) * 2019-08-30 2020-01-24 北京影谱科技股份有限公司 一种基于迁移学习的跨领域图像分类模型构建方法和装置
CN110610207A (zh) * 2019-09-10 2019-12-24 重庆邮电大学 一种基于迁移学习的小样本sar图像舰船分类方法
CN110610207B (zh) * 2019-09-10 2022-11-25 重庆邮电大学 一种基于迁移学习的小样本sar图像舰船分类方法
CN110598801A (zh) * 2019-09-24 2019-12-20 东北大学 一种基于卷积神经网络的车型识别方法
CN110991506A (zh) * 2019-11-22 2020-04-10 高新兴科技集团股份有限公司 一种车辆品牌识别方法、装置、设备及存储介质
CN111079640A (zh) * 2019-12-09 2020-04-28 合肥工业大学 一种基于自动扩增样本的车型识别方法及系统
CN111079640B (zh) * 2019-12-09 2022-03-29 合肥工业大学 一种基于自动扩增样本的车型识别方法及系统
CN111504331A (zh) * 2020-04-29 2020-08-07 杭州环峻科技有限公司 一种由粗到细的全景智能车辆定位方法和装置
CN111504331B (zh) * 2020-04-29 2021-09-14 杭州环峻科技有限公司 一种由粗到细的全景智能车辆定位方法和装置
CN111582277A (zh) * 2020-06-15 2020-08-25 深圳天海宸光科技有限公司 一种基于迁移学习的车牌识别系统及方法
CN112434746A (zh) * 2020-11-27 2021-03-02 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
CN112434746B (zh) * 2020-11-27 2023-10-27 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
CN112528921A (zh) * 2020-12-21 2021-03-19 山东雨润环保机械设备有限公司 一种基于机器视觉的施工现场灰尘识别系统及其方法
CN112598071A (zh) * 2020-12-28 2021-04-02 北京市商汤科技开发有限公司 明火识别方法、装置、设备和存储介质
CN113298087B (zh) * 2021-04-29 2022-11-18 上海淇玥信息技术有限公司 图片分类模型冷启动的方法、系统、装置及介质
CN113298087A (zh) * 2021-04-29 2021-08-24 上海淇玥信息技术有限公司 图片分类模型冷启动的方法、系统、装置及介质
CN113420824A (zh) * 2021-07-03 2021-09-21 上海理想信息产业（集团）有限公司 针对工业视觉应用的预训练数据筛选及训练方法、系统
CN116395003A (zh) * 2023-06-05 2023-07-07 中国铁道科学研究院集团有限公司通信信号研究所 适用于一站多场的动车段和动车所跨场接发列车管控方法
CN116395003B (zh) * 2023-06-05 2023-09-22 中国铁道科学研究院集团有限公司通信信号研究所 适用于一站多场的动车段和动车所跨场接发列车管控方法
CN116597286A (zh) * 2023-07-17 2023-08-15 深圳市诚识科技有限公司 一种基于深度学习的图像识别自适应学习方法及系统
CN116597286B (zh) * 2023-07-17 2023-09-15 深圳市诚识科技有限公司 一种基于深度学习的图像识别自适应学习方法及系统

Also Published As

Publication number Publication date
CN109657552B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN109657552A (zh) 基于迁移学习实现跨场景冷启动的车型识别装置与方法
Lv et al. Generative adversarial networks for parallel transportation systems
CN110189317A (zh) 一种基于深度学习的道路影像智能采集和识别方法
CN109359666A (zh) 一种基于多特征融合神经网络的车型识别方法及处理终端
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN106354735A (zh) 一种图像中目标的检索方法和装置
CN106919902B (zh) 一种基于cnn的车辆识别和轨迹追踪方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN112541508A (zh) 果实分割识别方法及系统、果实采摘机器人
Gyawali et al. Comparative analysis of multiple deep CNN models for waste classification
WO2022062419A1 (zh) 基于非督导金字塔相似性学习的目标重识别方法及系统
CN114638784A (zh) 一种基于fe-yolo的铜管表面缺陷检测方法及装置
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知系统
CN105825233B (zh) 一种基于在线学习随机蕨分类器的行人检测方法
CN113076992A (zh) 一种生活垃圾检测方法及装置
CN114359727A (zh) 基于轻量级优化Yolo v4的茶叶病害识别方法及系统
CN110008853A (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN109829932A (zh) 一种自动前景提取的数据采集方法及装置
CN103177266A (zh) 储藏物害虫智能识别系统
CN110245577A (zh) 目标车辆识别方法、装置及车辆实时监控系统
CN110009045A (zh) 物联网终端的识别方法和装置
CN108280516B (zh) 一种多组卷积神经网络之间互博智能进化的优化方法
CN113139432B (zh) 基于人体骨架和局部图像的工业包装行为识别方法
Yu et al. MobileNet-YOLO v5s: An improved lightweight method for real-time detection of sugarcane stem nodes in complex natural environments
Bedruz et al. Vehicle classification using AKAZE and feature matching approach and artificial neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant