CN111680640A - 一种基于领域迁移的车型识别方法及系统 - Google Patents

一种基于领域迁移的车型识别方法及系统 Download PDF

Info

Publication number
CN111680640A
CN111680640A CN202010528282.8A CN202010528282A CN111680640A CN 111680640 A CN111680640 A CN 111680640A CN 202010528282 A CN202010528282 A CN 202010528282A CN 111680640 A CN111680640 A CN 111680640A
Authority
CN
China
Prior art keywords
image
network
vehicle
daytime
vehicle type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010528282.8A
Other languages
English (en)
Other versions
CN111680640B (zh
Inventor
余烨
陈维笑
杨昌东
路强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010528282.8A priority Critical patent/CN111680640B/zh
Publication of CN111680640A publication Critical patent/CN111680640A/zh
Application granted granted Critical
Publication of CN111680640B publication Critical patent/CN111680640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于领域迁移的车型识别方法及系统，涉及图像识别技术领域。本发明方法为：先对车辆图像进行预处理，并对日间图像进行标定；将日间图像和夜间图像分别传入分解网络进行分解得到各自对应的反射图像和照度图像；基于车辆图像及其分解后的反射图像和照度图像对领域迁移网络进行训练；利用标定后日间图像对车型识别网络进行训练；最后利用训练后的领域迁移网络和车型识别网络对车辆图像进行车型识别得到识别结果。本发明的系统包括预处理单元、网络单元和识别单元，预处理单元和识别单元分别与网络单元连接。本发明目的在于克服现有技术中，夜间车辆图像的车型识别率较低的不足，本发明可以提高对夜间拍摄的车辆图像的车型识别率。

Description

一种基于领域迁移的车型识别方法及系统
技术领域
本发明涉及图像识别技术领域，更具体地说，涉及一种基于领域迁移的车型识别方法及系统。
背景技术
车辆精细识别在智慧城市、智能交通、安防等领域具有十分重要的应用，是计算机视觉领域重要的研究方向。由于夜间环境下光照弱、环境光照复杂，因而夜间车辆图像具有低亮度、低对比度的特点，所包含的可识别视觉信息非常少，且很多时候靠人眼难以识别，因此其标定困难。标定的不准确性会降低夜间车型识别的准确率，从而导致交通安全、案情分析、事故检测难度的增加。
在现有的车型识别技术中，有很多是直接依附于生成对抗网络来进行样本扩增的。例如发明创造名称为：一种基于对抗学习的车辆图像优化方法及系统(申请日：2019年7月30日；申请号：2019106944298)，该方案公开了一种基于对抗学习的车辆图像优化方法及系统，该方法的步骤为：收集不同角度拍摄的车辆图像，将车辆图像划分为标准场景图像和非标准场景图像；对非标准图像进行图像预处理后作为低质量数据集；构建基于生成对抗网络的车辆图像优化模型，模型由生成器、判别器和特征提取器构成；训练基于生成对抗网络的车辆图像优化模型，设置损失函数，采用反向传播计算网络权重梯度并更新车辆图像优化模型参数；车辆图像优化模型训练完成后，保留生成器作为最终的车辆图像优化模型，输入多场景车辆图像，输出优化的标准场景图像。该方案可提升车辆检测识别准确率。但是，该方案的不足之处在于对于夜间拍摄的车辆图像的车型识别率较低。
现有技术中由于夜间图像低亮度、低对比度的特点，使得直接基于生成对抗网络扩充的夜间样本，图像细节信息会出现模糊，甚至改变的情况，图像中噪声增加，同时还会增加其他一些特征，对后续基于样本的特征提取产生不同程度的负面影响。这种影响在样本数据紧缺的情况下会大大降低识别系统后期的有效识别率。
综上所述，如何提高夜间拍摄的车辆图像的车型识别率，是现有技术亟需解决的问题。
发明内容
1.要解决的问题
本发明的目的在于克服现有技术中，夜间车辆图像的车型识别率较低的不足，提供了一种基于领域迁移的车型识别方法及系统，可以提高对夜间拍摄的车辆图像的车型识别率，并且可以对日间拍摄的车辆图像进行识别。
2.技术方案
为了解决上述问题，本发明所采用的技术方案如下：
本发明的一种基于领域迁移的车型识别方法，包括先获取车辆图像，再对车辆图像进行预处理；其中，车辆图像包括日间图像和夜间图像，对日间图像进行标定得到带标签的原始日间图像；再将日间图像和夜间图像分别传入分解网络进行分解，日间图像分解后得到日间反射图像和日间照度图像，夜间图像分解后得到夜间反射图像和夜间照度图像；将日间图像和夜间图像作为一对输入数据，利用该对输入数据及其分解后得到的反射图像和照度图像对领域迁移网络进行训练；再利用带标签的原始日间图像对车型识别网络进行训练；最后利用训练后的领域迁移网络和训练后的车型识别网络对车辆图像进行车型识别得到识别结果。
更进一步地，对车辆图像进行预处理具体过程为：对车辆图像进行归一化处理并对车辆图像进行随机水平翻转；且当车辆图像为单通道时，将车辆图像由单通道变为三通道。
更进一步地，分解网络采用U-net形式结构，且分解网络的最后一层生成六个通道的特征图，第1～3个通道的特征图作为反射图像XR，第4～6个通道的特征图作为照度图像XI。
更进一步地，领域迁移网络包括生成器GT->S、生成器GS->T和判别器，判别器包括局部判别器DSI和全局判别器DS；其中，生成器GT->S根据夜间照度图像XTI并生成对应的日间照度图像X′SI；生成器GS->T根据生成的日间照度图像X′SI生成重建的夜间照度图像X′TI。
更进一步地，领域迁移网络的损失函数L为：
Figure BDA0002534412680000021
式中，λ1、λ2、λ3和λ4为系数；
LGAN建立日间图像和夜间图像之间的映射，
Figure BDA0002534412680000022
其中，XS为日间图像，XT为夜间图像，XTR为夜间反射图像；Pdata(Xs)表示Xs的数据分布，E表示数据分布的数学期望；
Figure BDA0002534412680000023
为局部损失：
Figure BDA0002534412680000024
式中，XSI为日间照度图像；
Lcyc为循环损失：
Figure BDA0002534412680000031
式中，||x-y||1代表x和y的绝对值误差；
Lsem为语义损失：
Figure BDA0002534412680000032
式中，
Figure BDA0002534412680000033
表示求向量x’和y’的均方误差，XSC为重建的日间图像，XTC为重建的夜间图像，f表示特征提取器，φ(x″)表示将x”转化为一维向量；C为特征通道数，W为特征矩阵的宽度，H为特征矩阵的高度。
更进一步地，对车辆图像进行车型识别的具体过程为：先判断车辆图像是否为日间图像；若车辆图像为日间图像，利用车型识别网络对车辆图像进行识别得到识别结果；若车辆图像为夜间图像，先将夜间图像传入领域迁移网络生成得到对应的日间图像，再将日间图像输入车型识别网络进行识别得到识别结果。
更进一步地，将训练后的领域迁移网络和训练后的车型识别网络作为网络模型，并将网络模型部署至服务器，利用网络模型对车辆图像进行车型识别。
本发明的一种基于领域迁移的车型识别系统，采用上述的一种基于领域迁移的车型识别方法。具体地，包括预处理单元、网络单元和识别单元，预处理单元和识别单元分别与网络单元连接；其中，网络单元用于对车辆图像进行分解并对领域迁移网络和车型识别网络进行训练。
更进一步地，网络单元包括分解网络模块、领域迁移网络训练模块和车型识别网络训练模块，分解网络模块和车型识别网络训练模块分别与领域迁移网络训练模块连接。
3.有益效果
相比于现有技术，本发明的有益效果为：
本发明的一种基于领域迁移的车型识别方法，通过分解网络对日间图像和夜间图像进行分解，并利用分解的结果对领域迁移网络进行训练，使得领域迁移网络学习日间图像与夜间图像的映射关系，从而可以根据夜间图像生成对应的日间图像，避免夜间样本不足导致特征提取效果弱化的问题；进一步可以通过训练后的领域迁移网络和车型识别网络对夜间图像的车型进行识别，大大提高了夜间图像的车型识别率。本发明的一种基于领域迁移的车型识别系统，通过识别单元实现了对日间图像的车型识别，并基于网络单元和识别单元实现了对夜间图像车型的高效率识别。
附图说明
图1为本发明的基于领域迁移的车型识别方法的流程示意图；
图2为本发明夜间图像到日间图像的映射学习流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；而且，各个实施例之间不是相对独立的，根据需要可以相互组合，从而达到更优的效果。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例1
结合图1所示，本发明的一种基于领域迁移的车型识别方法，在车辆的夜间图像标签样本少的情况下，通过使用分解网络和领域迁移网络学习日间车辆图像和夜间车辆图像之间的映射，从而实现两者之间的转换，进而可以提高对夜间图像的车型识别率。具体步骤如下：
1)车辆图像的预处理与标定
先获取车辆图像，该车辆图像为各种摄像设备所拍下的车辆图像；值得说明的是，车辆图像包括日间拍摄的图像和夜间拍摄的图像，即车辆图像包括日间图像和夜间图像。
对车辆图像进行预处理；具体地，对车辆图像进行归一化处理；归一化处理指的是将所有车辆图像归一化为标准大小，本实施例中将所有车辆图像的大小归一化为256×256，并在训练前对所有车辆图像进行随机水平翻转增加图像数量。值得注意的是，当车辆图像为单通道时，将车辆图像由单通道变为三通道。此外，如果车辆图像为日间图像，则对日间图像进行标定得到带标签的原始日间图像，即标记日间图像中车辆的类型，本实施例采用人工标定。
2)车辆图像分解
将日间图像和夜间图像分别传入分解网络进行分解，值得说明的是，本发明的分解网络采用U-net形式结构，且分解网络的最后一层生成六个通道的特征图，第1～3个通道的特征图作为反射图像XR，第4～6个通道的特征图作为照度图像XI。，本实施例中输出的特征图大小为256*256*6。第1～3个通道的特征图作为反射图像(256x 256x 3)，第4～6个通道的特征图作为照度图像(256x 256x 3)。
日间图像和夜间图像经分解网络分解后得到各自对应的照度图像和反射图像，其中，日间图像XS分解后得到日间反射图像XSR和日间照度图像XSI，夜间图像XT分解后得到夜间反射图像XTR和夜间照度图像XTI；即反射图像XR包括XSR和XTR，照度图像XI包括XSI和XTI，日间图像和夜间图像及其分解后得到的反射图像和照度图像都将作为领域迁移网络的输入。
3)训练领域迁移网络
将日间图像和夜间图像作为一对输入数据，利用该对输入数据及其分解后得到的照度图像和反射图像对领域迁移网络进行训练，使得领域迁移网络训练学习到两个领域(日间照度图像和夜间照度图像)的映射关系；进一步通过输入夜间照度图像，使得领域迁移网络可以根据夜间照度图像生成对应的日间照度图像，再根据生成的日间照度图像即可得到生成的日间图像。
值得说明的是，为了使模型训练更加充分，不仅学习夜间到日间的映射，还学习日间到夜间的映射，因此，本发明的领域迁移网络包括两个生成器和四个判别器。本发明中“夜间-日间”和“日间-夜间”的映射学习流程相同，结合图2所示，夜间到日间的流程具体为：
两个生成器分别为生成器GT->S和生成器GS->T，生成器GT->S根据夜间照度图像XTI生成对应的日间照度图像X′SI；生成器GS->T根据生成的日间照度图像X′SI生成重建的夜间照度图像X′TI。进一步地，生成的日间照度图像X′SI与夜间反射图像XTR点乘得到生成的日间图像XT->S；重建的夜间照度图像X′TI与夜间反射图像XTR点乘生成重建的夜间图像XTC。本发明的生成器GT->S和生成器GS->T均由卷积层、下采样层、上采样层组成。
夜间到日间映射需要的判别器包括局部判别器DSI和全局判别器DS，局部判别器DSI用于判断输入图像是真实的日间照度图像XSI还是生成的日间照度图像X′SI，全局判别器DS用于判断输入图像是真实的日间图像XS还是生成的日间图像XT->S。
全局判别器DS由卷积层、归一化层、LeakReLU激活函数层组成，生成的日间图像XT->S和真实的日间图像XS作为全局判别器的输入数据，输出数据为是否是真实的日间图像的判别结果。局部判别器构成与全局判别器一致，但是输入数据为照度图像XI的5个随机NxN大小的区域，本实施例中的尺寸是32x32x 3，输出为是否是真实的照度图像的判别结果。
在对领域迁移网络进行具体训练时，将夜间照度图像XTI作为生成器GT->S的输入数据，输出的日间照度图像X′SI大小与夜间照度图像XTI相同。随机抽取生成的日间照度图像X′SI与真实的日间照度图像XSI的M个局部区域作为局部判别器DSI的输入数据训练局部判别器，其中，M为整数。将生成的日间图像XT—>S和真实的日间图像XS作为全局判别器的输入数据训练全局判别器DS，得到是否是生成的日间图像的判定结果。
日间到夜间映射需要的判别器包括局部判别器DTI和全局判别器DT，其训练流程与DSI和DS相同，这里不再重复说明。
此外，领域迁移网络的损失函数L为：
Figure BDA0002534412680000061
式中，λ1、λ2、λ3和λ4为系数；本实施例中λ1和λ3设为1，λ2设为0.5，λ4设为0.1。
LGAN建立日间图像和夜间图像之间的映射，
Figure BDA0002534412680000062
其中，Pdata(Xs)表示Xs的数据分布，E表示数据分布的数学期望，
Figure BDA0002534412680000063
Figure BDA0002534412680000064
为局部对抗损失，
Figure BDA0002534412680000065
用于判断输入的照度图像中的每个局部图像块是真实的照度图像XI还是生成的照度图像X′I：
Figure BDA0002534412680000066
Lcyc为循环损失，Lcyc通过使用L1损失函数约束照度图像之间像素级损失：L1损失函数指的是：
Figure BDA0002534412680000067
Figure BDA0002534412680000068
式中，||x-y||1代表x和y的绝对值误差。此处x表示GT-＞S(GS-＞T(XSI))-XSI或者GS-＞T(GT-＞S(XTI))-XTI；y表示XSI或者XTI。
Lsem为语义损失，Lsem用于保证车辆图像在域转换过程中不损失语义特征，使用日间图像预训练一个车型识别模型，固定其参数，将其作为一个特征提取器。Lsem表示为：
Figure BDA0002534412680000069
Figure BDA00025344126800000610
表示求向量x’和y’的均方误差，x’表示φ(f(XT))或者φ(f(XS))，y’表示φ(f(XTC))或者φ(f(XSC))，XSC为重建的日间图像，XTC为重建的夜间图像，f表示特征提取器，φ(x″)表示将x”转化为一维向量；x”表示f(XT)或f(XTC)或f(XS)或(f(XSC)，C为特征通道数，W为特征矩阵的宽度，H为特征矩阵的高度。
值得说明的是，通过将由夜间照度图像生成的日间照度图像作为生成器GS->T的输入数据,输出重建的夜间照度图像，从而构成“夜间照度图像->日间照度图像->夜间照度图像”的循环，进一步用Lcyc对重建的夜间照度图像与真实的夜间照度图像进行像素级约束。同时，将重建的夜间照度图像与夜间反射图像做点乘得到重建的夜间图像，用Lsem来约束重建的夜间图像与真实的夜间图像的语义信息。
4)训练车型识别网络
利用带标签的原始日间图像对车型识别网络进行训练；本实施例中将ResNet50作为车型识别网络，使用带标签的原始日间图像训练ResNet50，迭代次数设为200。
5)识别车辆图像
利用训练后的领域迁移网络和车型识别网络对车辆图像进行车型识别得到识别结果。对车辆图像进行车型识别的具体过程为：先判断车辆图像是否为日间图像；若车辆图像为日间图像，利用车型识别网络对车辆图像进行识别得到识别结果；若车辆图像为夜间图像，先将夜间图像传入领域迁移网络生成得到对应的日间图像，再将生成的日间图像输入车型识别网络进行识别得到识别结果。
值得说明的是，本发明中将训练后的领域迁移网络和车型识别网络作为网络模型，并将网络模型部署至服务器，利用网络模型对车辆图像进行车型识别。本实施例中将网络模型部署到服务器上，接收从卡口相机拍摄的车辆图像，将车辆图像输入网络模型。通过计算输入的车辆图像直方图，从而判断输入的车辆图像是否为夜间图像，若为夜间图像，则将其输入分解网络后再输入领域迁移网络，得到对应的日间图像，再将生产的日间图像输入至车型识别网络，对其进行识别得到识别结果。
本发明的一种基于领域迁移的车型识别方法，通过分解网络对日间图像和夜间图像进行分解，并利用分解的结果对领域迁移网络进行训练，使得领域迁移网络学习日间图像与夜间图像的映射关系，从而可以根据夜间图像生成对应的日间图像，避免夜间样本不足导致特征提取效果弱化的问题；进一步可以通过训练后的领域迁移网络和车型识别网络对夜间图像的车型进行识别，大大提高了夜间图像的车型识别率。
本发明的一种基于领域迁移的车型识别系统，用于实现上述的一种基于领域迁移的车型识别方法。具体地，本发明的系统包括预处理单元、网络单元以及识别单元，预处理单元和识别单元分别与网络单元连接。值得说明的是，预处理单元用于对车标图像进行归一化处理、随机水平翻转以及对日间图像进行标定。
进一步地，网络训练单元包括分解网络模块、领域迁移网络训练模块和车型识别网络训练模块，分解网络模块和车型识别网络训练模块分别与领域迁移网络训练模块连接。分解网络模块用于对车辆图像进行分解，并将日间图像和夜间图像及其分解结果传入领域迁移网络训练模块，该领域迁移网络训练模块根据传入的日间图像和夜间图像及其分解结果对领域迁移网络进行训练得到训练后的领域迁移网络，车型识别网络训练模块根据标定后得到的带标签的原始日间图像对车型识别网络进行训练得到训练后的车型识别网络。此外，识别单元包括网络模型，用于对输入的车辆图像进行车型识别得到识别结果，具体地，识别单元根据训练后的领域迁移网络和训练后的车型识别网络对车辆图像进行车型识别。
本发明的一种基于领域迁移的车型识别系统，通过网络单元对领域迁移网络进行训练，使得领域迁移网络学习到日间图像与夜间图像的映射关系，从而可以根据训练后的领域迁移网络将夜间图像生成对应的日间图像，进一步可通过训练后车型识别网络对生成的日间图像进行识别，不仅实现了对日间图像的车型识别，且实现了对夜间图像车型的高效率识别。
在上文中结合具体的示例性实施例详细描述了本发明。但是，应当理解，可在不脱离由所附权利要求限定的本发明的范围的情况下进行各种修改和变型。详细的描述和附图应仅被认为是说明性的，而不是限制性的，如果存在任何这样的修改和变型，那么它们都将落入在此描述的本发明的范围内。此外，背景技术旨在为了说明本技术的研发现状和意义，并不旨在限制本发明或本申请和本发明的应用领域。

Claims (10)

1.一种基于领域迁移的车型识别方法，其特征在于，包括：
先获取车辆图像，再对车辆图像进行预处理；其中，车辆图像包括日间图像和夜间图像，对日间图像进行标定得到带标签的原始日间图像；
将日间图像和夜间图像分别传入分解网络进行分解，日间图像分解后得到日间反射图像和日间照度图像，夜间图像分解后得到夜间反射图像和夜间照度图像；
将日间图像和夜间图像作为一对输入数据，利用该对输入数据及其分解后得到的反射图像和照度图像对领域迁移网络进行训练；
利用带标签的原始日间图像对车型识别网络进行训练；
利用训练后的领域迁移网络和训练后的车型识别网络对车辆图像进行车型识别得到识别结果。
2.根据权利要求1所述的一种基于领域迁移的车型识别方法，其特征在于，对车辆图像进行预处理具体过程为：对车辆图像进行归一化处理并对车辆图像进行随机水平翻转；且当车辆图像为单通道时，将车辆图像由单通道变为三通道。
3.根据权利要求1所述的一种基于领域迁移的车型识别方法，其特征在于，分解网络采用U-net形式结构，且分解网络的最后一层生成六个通道的特征图，第1～3个通道的特征图作为反射图像XR，第4～6个通道的特征图作为照度图像XI。
4.根据权利要求1所述的一种基于领域迁移的车型识别方法，其特征在于，领域迁移网络包括生成器GT->S、生成器GS->T和判别器，判别器包括局部判别器DSI和全局判别器DS；其中，生成器GT->S根据夜间照度图像XTI并生成对应的日间照度图像X′SI；生成器GS->T根据生成的日间照度图像X′SI生成重建的夜间照度图像X′TI。
5.根据权利要求4所述的一种基于领域迁移的车型识别方法，其特征在于，领域迁移网络的损失函数L为：
Figure FDA0002534412670000011
式中，λ1、λ2、λ3和λ4为系数；
LGAN建立日间图像和夜间图像之间的映射，
Figure FDA0002534412670000012
其中，XS为日间图像，XT为夜间图像，XTR为夜间反射图像；Pdata(Xs)表示Xs的数据分布，E表示数据分布的数学期望；
Figure FDA0002534412670000013
为局部损失：
Figure FDA0002534412670000021
式中，XSI为日间照度图像；
Lcyc为循环损失：
Figure FDA0002534412670000022
式中，||x-y||1代表x和y的绝对值误差；
Lsem为语义损失：
Figure FDA0002534412670000023
式中，
Figure FDA0002534412670000024
表示求向量x’和y’的均方误差，XSC为重建的日间图像，XTC为重建的夜间图像，f表示特征提取器，φ(x″)表示将x”转化为一维向量；C为特征通道数，W为特征矩阵的宽度，H为特征矩阵的高度。
6.根据权利要求1所述的一种基于领域迁移的车型识别方法，其特征在于，对车辆图像进行车型识别的具体过程为：先判断车辆图像是否为日间图像；若车辆图像为日间图像，利用车型识别网络对车辆图像进行识别得到识别结果；若车辆图像为夜间图像，先将夜间图像传入领域迁移网络生成得到对应的日间图像，再将生成的日间图像输入车型识别网络进行识别得到识别结果。
7.根据权利要求1～6任一项所述的一种基于领域迁移的车型识别方法，其特征在于，将训练后的领域迁移网络和车型识别网络作为网络模型，并将网络模型部署至服务器，利用网络模型对车辆图像进行车型识别。
8.一种基于领域迁移的车型识别系统，其特征在于，采用权利要求1～7任一项所述的一种基于领域迁移的车型识别方法。
9.根据权利要求8所述的一种基于领域迁移的车型识别系统，其特征在于，包括预处理单元、网络单元和识别单元，所述预处理单元和识别单元分别与网络单元连接；其中，网络单元用于对车辆图像进行分解并对领域迁移网络和车型识别网络进行训练。
10.根据权利要求9所述的一种基于领域迁移的车型识别系统，其特征在于，所述网络单元包括分解网络模块、领域迁移网络训练模块和车型识别网络训练模块，分解网络模块和车型识别网络训练模块分别与领域迁移网络训练模块连接。
CN202010528282.8A 2020-06-11 2020-06-11 一种基于领域迁移的车型识别方法及系统 Active CN111680640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010528282.8A CN111680640B (zh) 2020-06-11 2020-06-11 一种基于领域迁移的车型识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010528282.8A CN111680640B (zh) 2020-06-11 2020-06-11 一种基于领域迁移的车型识别方法及系统

Publications (2)

Publication Number Publication Date
CN111680640A true CN111680640A (zh) 2020-09-18
CN111680640B CN111680640B (zh) 2022-04-15

Family

ID=72454542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010528282.8A Active CN111680640B (zh) 2020-06-11 2020-06-11 一种基于领域迁移的车型识别方法及系统

Country Status (1)

Country Link
CN (1) CN111680640B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508080A (zh) * 2020-12-03 2021-03-16 广州大学 基于经验回放的车辆型号识别方法、装置、设备及介质
CN113422928A (zh) * 2021-05-28 2021-09-21 佛山市诚智鑫信息科技有限公司 一种安全监控抓拍方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894847A (zh) * 2016-06-27 2016-08-24 华南理工大学 一种云平台环境下无监督学习的实时公交动态调度系统及方法
US20190065853A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation
CN110458844A (zh) * 2019-07-22 2019-11-15 大连理工大学 一种低光照场景的语义分割方法
CN111079640A (zh) * 2019-12-09 2020-04-28 合肥工业大学 一种基于自动扩增样本的车型识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894847A (zh) * 2016-06-27 2016-08-24 华南理工大学 一种云平台环境下无监督学习的实时公交动态调度系统及方法
US20190065853A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation
CN110458844A (zh) * 2019-07-22 2019-11-15 大连理工大学 一种低光照场景的语义分割方法
CN111079640A (zh) * 2019-12-09 2020-04-28 合肥工业大学 一种基于自动扩增样本的车型识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨昌东等: "基于AT-PGGAN的增强数据车辆型号精细识别", 《中国图象图形学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508080A (zh) * 2020-12-03 2021-03-16 广州大学 基于经验回放的车辆型号识别方法、装置、设备及介质
CN112508080B (zh) * 2020-12-03 2024-01-12 广州大学 基于经验回放的车辆型号识别方法、装置、设备及介质
CN113422928A (zh) * 2021-05-28 2021-09-21 佛山市诚智鑫信息科技有限公司 一种安全监控抓拍方法及系统
CN113422928B (zh) * 2021-05-28 2022-02-18 佛山市诚智鑫信息科技有限公司 一种安全监控抓拍方法及系统

Also Published As

Publication number Publication date
CN111680640B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN112183203B (zh) 一种基于多尺度像素特征融合的实时交通标志检测方法
CN115063573B (zh) 一种基于注意力机制的多尺度目标检测方法
CN111563508A (zh) 一种基于空间信息融合的语义分割方法
CN111539247B (zh) 一种超光谱人脸识别方法、装置、电子设备及其存储介质
CN111369522B (zh) 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN112633220B (zh) 一种基于双向序列化建模的人体姿态估计方法
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN111680640B (zh) 一种基于领域迁移的车型识别方法及系统
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN113052057A (zh) 一种基于改进卷积神经网络的交通标志识别方法
CN112785636A (zh) 一种多尺度增强式的单目深度估计方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN115512206A (zh) 适用于低照度环境下的改进版YOLOv5目标检测方法
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN114926734B (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN115272438A (zh) 一种面向三维场景重建的高精度单目深度估计系统及方法
CN115984846A (zh) 一种基于深度学习的高分辨率图像中小目标的智能识别方法
CN117935088A (zh) 基于全尺度特征感知和特征重构的无人机图像目标检测方法、系统及存储介质
CN117315484A (zh) 一种利用端到端的语义分割网络对高分辨率遥感图像提取光伏面板的方法
CN117351360A (zh) 一种基于注意力机制改进的遥感图像道路提取方法
CN112651329A (zh) 一种双流特征学习生成对抗网络的低分辨率船舶分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant