CN110674689A - 一种基于特征嵌入空间几何约束的车辆再识别方法及系统 - Google Patents

一种基于特征嵌入空间几何约束的车辆再识别方法及系统 Download PDF

Info

Publication number
CN110674689A
CN110674689A CN201910765451.7A CN201910765451A CN110674689A CN 110674689 A CN110674689 A CN 110674689A CN 201910765451 A CN201910765451 A CN 201910765451A CN 110674689 A CN110674689 A CN 110674689A
Authority
CN
China
Prior art keywords
picture
vehicle
network model
target
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910765451.7A
Other languages
English (en)
Other versions
CN110674689B (zh
Inventor
鲁健捷
黄晓峰
殷海兵
贾惠柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN201910765451.7A priority Critical patent/CN110674689B/zh
Publication of CN110674689A publication Critical patent/CN110674689A/zh
Application granted granted Critical
Publication of CN110674689B publication Critical patent/CN110674689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及模式识别领域，特别涉及一种基于特征嵌入空间几何约束的车辆再识别方法及系统。包括：将原始目标数据输入训练好的网络模型，得到目标特征向量；将捕捉到的图片数据输入训练好的网络模型，得到图片特征向量；计算图片特征向量与目标特征向量的距离，选择距离最近的若干图片特征向量对应的图片，即为识别的与原始目标车辆相同的目标车辆。本发明针对车辆再识别中视角变化、光照不均匀、解析度不清楚、遮挡调换车牌等问题，分别从数据、模型、优化方法提出了改进方法。

Description

一种基于特征嵌入空间几何约束的车辆再识别方法及系统
技术领域
本发明涉及模式识别领域，特别涉及一种基于特征嵌入空间几何约束的车辆再识别方法及系统。
背景技术
车辆再识别技术是指通过计算机视觉技术检索不同设想头下的同一车辆。基于车牌的识别是车辆再识别一个最为直接的方式，但真实场景中往往存在一些问题。比如，由于拍摄视角问题，只能拍到汽车侧面；由于光照不均匀、解析度不一致的问题，也会影响车牌识别汽车的鲁棒性；同时也会存在一些故意遮挡、损毁、调换车牌的情况，而这些汽车可能是智能监控系统最关心的一类目标。因此，基于表面特征的再识别技术在完备的城市交通监控系统中是至关重要的。
发明内容
本发明实施例提供了一种基于特征嵌入空间几何约束的再识别方法，针对车辆再识别中视角变化、光照不均匀、解析度不清楚、遮挡调换车牌等问题，分别从数据、模型、优化方法提出了改进方法。
根据本发明实施例的第一方面，一种基于特征嵌入空间几何约束的车辆再识别方法，包括：
将原始目标数据输入训练好的网络模型，得到目标特征向量；
将捕捉到的图片数据输入训练好的网络模型，得到图片特征向量；
计算图片特征向量与目标特征向量的距离，选择距离最近的若干图片特征向量对应的图片，即为识别的与原始目标车辆相同的目标车辆。
所述网络模型的训练包括：
选择目标车辆图片，对目标车辆图片预处理得到训练样本图片；
将训练样本图片和与非目标车辆图片输入到网络模型，对网络模型进行训练。
所述对网络模型进行训练，损失函数为：
Figure BDA0002171784560000021
其中f(iter)为单调递减函数，取值范围为0～1；iter为迭代次数。α为参数；N为训练样本图片数，i为训练样本图片的元素，W表示网络线性层的权重矩阵，k表示训练样本图片标签所在维度，Wk为网络线性层的权重矩阵第k行；n为样本标签总维度，j为样本标签所在维度；θki为Wk和Xi的夹角；||*||为二阶范数；Ia为目标车辆图片；Ip为训练样本图片里在特征空间距离目标车辆图片最远的图片，In为非目标车辆图片库里在特征空间距离目标车辆最近的图片；Dap表示Ia与Ip在特征空间的距离，Das表示Ia与Is在特征空间的距离，m为设置的间隔；Xi为目标车辆图片，Cr为所属同一类别的车辆图片的特征值Xi的中心。
所述网络模型为ResNet50网络模型，并对末端的线性分类层和输出的特征向量归一化，且ResNet50网络模型最后一层卷积滑动大小设置成1。
所述对目标车辆图片预处理得到训练样本图片，具体包括对车辆图片像素扩充，随机调整亮度、饱和度，并随机旋转得到若干的调整图片，在调整图片上随机截取与选择的车辆图片大小一致的图片，并随机加入设定比例的白噪声，得到训练样本图片。
一种基于特征嵌入空间几何约束的车辆再识别系统，包括：输入模块、网络模型模块、筛选模块，
输入模块用以将原始目标数据和将捕捉到的车辆图片数据输入网络模型；
网络模型模块用以将输入的图片数据转换为目标特征向量，其中将原始目标数据转换为目标特征向量；将捕捉到的图片数据转换为图片特征向量；
筛选模块用以计算图片特征向量与目标特征向量的距离，选择距离最近的若干图片特征向量对应的图片。
还包括预训练模块，预训练模块用以选择目标车辆图片，对目标车辆图片预处理得到训练样本图片；将训练样本图片和与非目标车辆图片输入到网络模型模块，对网络模型模块进行训练。
预训练模块还包括损失判断模块，损失判断模块用以对网络模型模块训练中的损失进行计算，并根据计算结果调网络模型模块的权重矩阵，
损失判断模块的损失函数为：
Figure BDA0002171784560000031
其中f(iter)为单调递减函数，取值范围为0～1；iter为迭代次数。α为参数；N为训练样本图片数，i为训练样本图片的元素，W表示网络线性层的权重矩阵，k表示训练样本图片标签所在维度，Wk为网络线性层的权重矩阵第k行；n为样本标签总维度，j为样本标签所在维度；θki为Wk和Xi的夹角；||*||为二阶范数；Ia为目标车辆图片；Ip为训练样本图片里在特征空间距离目标车辆图片最远的图片，In为非目标车辆图片库里在特征空间距离目标车辆最近的图片；Dap表示Ia与Ip在特征空间的距离，Das表示Ia与Is在特征空间的距离，m为设置的间隔；Xi为目标车辆图片，Cr为所属同一类别的车辆图片的特征值Xi的中心。
所述网络模型模块为ResNet50网络模型模块，并对末端的线性分类层和输出的特征向量归一化，且ResNet50网络模型最后一层卷积滑动大小设置成1。
预训练模块还包括预处理模块，预处理模块用以对车辆图片像素扩充，随机调整亮度、饱和度，并随机旋转得到若干的调整图片，在调整图片上随机截取与选择的车辆图片大小一致的图片，并随机加入设定比例的白噪声，得到训练样本图片。
本发明实施例提供的技术方案可以包括以下有益效果：
该方法能够适应真实场景下的不同光照、不同摄像头型号的车辆再识别应用需求，训练得到的算法模型受外界干扰更小，系统更具鲁棒性。车辆检索效果性能有进一步提升。
数据上加入了随机裁剪、随机光照、随机擦出、随机旋转等策略；模型上在已有的深度神经网络模型后加入归一化层，保证特征聚集在超球面体上，具有更清晰的几何意义；优化方法上通过增大不同车辆的特征向量角度、减小相同车辆的特征向量分布来训练深度神经网络，使得网络学到更准确的车辆特征。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是车辆再识别结果的示意图；
图2是根据本发明实施例二的车辆再识别系统流程图；
图3是数据预处理前后的效果图；
图4是损失函数优化目标的真实样本示意图；
图5是损失函数优化目标的图例示意图；
图6是交叉熵损失函数学习得到的分类模型几何可视化结果；
图7是三元组损失函数可能学习到的一种效果较差的情况；
图8是本发明所采用的损失几何效果示意图；
图9是本发明的一种基于特征嵌入空间几何约束的车辆再识别系统示意图。
具体实施方式
实施例一
如图1所示，本发明提供了一种基于特征嵌入空间几何约束的车辆再识别方法，包括：
将原始目标数据输入训练好的网络模型，得到目标特征向量；
将捕捉到的车辆图片数据输入训练好的网络模型，得到图像特征向量；
按照图像特征向量与目标特征向量的距离，选择距离最近的若干图片特征向量对应的图片进行展示，即为筛选的与原始目标车辆相同的目标车辆。
网络模型的训练包括：
选择目标车辆图片，对车辆图片像素扩充后，随机调整亮度、饱和度，并随机旋转得到若干的调整图片，在调整图片上随机截取与选择的车辆图片大小一致的图片，并随机加入一定比例的白噪声，得到训练样本图片；
将训练样本图片和与非目标车辆图片输入到网络模型中对模型进行训练，优选的，网络模型可以为ResNet50网络模型，并对最后的线性分类层以及输出的特征向量加入归一化，保证线性分类层对应的每一类权重向量为单位向量，同时得到的特征向量也是单位向量；优选的，将最后一层卷积滑动大小即步长由2设置成1，将原有的ResNet50的特征图分辨率大小扩大2倍；
通过损失函数最小值更新权重矩阵；优选的，损失函数为：
Figure BDA0002171784560000051
其中f(iter)为单调递减函数，随着网络训练迭代，从1减小到0；iter为迭代次数。α在本发明中最优设置为0.0001；N为训练样本图片数，i为训练样本图片的元素，W表示网络线性层的权重矩阵，k表示训练样本图片标签所在维度，Wk为网络线性层的权重矩阵第k维度；n为样本标签总维度，j为样本标签所在维度；θki为Wk和Xi的夹角；||*||为二阶范数；Ia为目标车辆图片；Ip为训练样本图片里在特征空间距离目标车辆图片最远的图片，Is为非目标车辆图片库里在特征空间距离目标车辆最近的图片；Dap表示Ia与Ip在特征空间的距离，Das表示Ia与Is在特征空间的距离，m为手工设置的间隔；Xi为目标车辆图片，Ck为与Xi所属同一类的中心。
实施例二
本发明一种基于特征嵌入空间几何约束的车辆再识别方法
训练和测试两个阶段。
训练阶段：
A1.数据预处理步骤：将捕捉到的车辆图像规整到分辨率为256x256大小，之后在车辆图像四周扩充10个像素点，得到276x276的图像；然后以0.5的概率调整车辆图像的亮度、饱和度，调整比例从0至0.4之间按均匀分布采样；之后以0.5的概率随机旋转车辆，旋转角度从0至15度之间按均匀分布采样；然后从276x276像素大小的图像上随机裁剪出256x256分辨率的图像；最后在得到的256x256分辨率的图像上随机加入一定比例的白噪声区域，该区域面积比例从0至0.4之间按均匀分布采样；图3给出了数据预处理前后的效果。
A2.网络模型设计：在已有的ResNet50网络基础上，对最后的线性分类层以及输出的特征向量加入归一化，保证线性分类层对应的每一类权重向量为单位向量，同时得到的特征向量也是单位向量。同时最后一层卷积滑动大小即步长由2设置成1，将原有的ResNet50的特征图分辨率大小扩大2倍。
A3.损失函数设计：我们希望损失函数能够引导网络学习到一种特征嵌入方法，使得在嵌入空间相同样本之间足够近，不同样本之间足够远，如图4和图5所示，分别给出了真是样本和图例的示意图。一般来说，分类网络训练损失函数常采用交叉熵损失函数，其数学表达式如下图所示：
Figure BDA0002171784560000061
其中，N为训练样本数，i为样本的元素，W表示网络线性层的权重矩阵，k表示样本标签所在维度，Wk为网络线性层的权重矩阵第k维度。Xi为第i个训练样本图片输出的特征向量；n为样本标签总维度，j为样本标签所在维度。由于对线性层和输出特征都加入了归一化操作，因此权重矩阵中的每一行向量Wj的2范数为1，样本的特征向量Xi的2范数为1。上述表达式可以改写成：
Figure BDA0002171784560000062
其中，N为训练样本数，i为样本的元素，W表示网络线性层的权重矩阵，k表示样本标签所在维度；n为样本标签总维度，j为样本标签所在维度，θki为Wk和Xi的夹角；||*||为二阶范数；
由于权重向量和特征向量的2范数为1，交叉熵损失函数学到的特征实际上均匀分布在单位超球面体上，而分类网络学习得到的是一种分界面，其几何可视化结果如图6所示。假设神经网络在训练集能够学到一种很好的分界面，也只是保证不同车辆的特征分布在分界面两侧，即使两类不同的特征向量离得很近，这种损失函数依然无法进一步优化，因为分类结果已经达到最有。这没有保证在嵌入特征空间相同样本之间足够近，不同样本之间足够远。
为此，在训练网络的过程中每次采样三个样本，其中第一个样本为目标车辆Ia，第二个样本为目标车辆图片库里在特征空间距离目标车辆最远的图片Ip，第三个样本为非目标车辆图片库里在特征空间距离目标车辆最近的图片In。用经过这种采样方式得到的样本来训练模型，使用如下所示的损失函数：
L＝max(0,Dap+m-Das)
其中Dap表示Ia与Ip在特征空间的距离，Das表示Ia与Is在特征空间的距离，m为手工设置的间隔。其几何意义为相同样本之间的距离与不同样本之间的距离之差要大于手工设置的间隔。这个损失函数实际上只关注了类间距离与类内距离之差，只使用这个损失函数训练出的车辆再识别系统是不鲁棒的，图7给出了一种效果较差的情况。虽然在特征空间满足了类间距离与类内距离之差大于手工设置的间隔，但相同车辆在特征空间分布非常分散，在实际应用时，不同的新样本在特征空间很可能会混在一起，从而导致车辆再识别系统效果较差。
为了抑制上述损失函数可能造成的特征向量过于分散的情况，本发明引入一种自适应的中心抑制损失，其数学表达式如下：
Figure BDA0002171784560000071
其中Xi为样本，所属同一类别的车辆图片的特征值Xi的中心，通过网络自适应学习得到。该损失函数几何意义为当特征空间相同样本分散交大时，损失函数惩罚网络，从而让网络学习得到的相同车辆的特征向量更聚集。
在超大规模训练集(训练样本超过10万)下训练神经网络，由于类别数量太大，交叉熵损失函数很难收敛，但分类网络训练前期很容易学习到不错特征，为此本发明设计的损失函数如下所示：
Figure BDA0002171784560000072
其中f(iter)为单调递减函数，随着网络训练迭代，从1减小到0。α在本发明中最优设置为0.0001。iter为迭代次数；即前期由交叉熵引导网络快速地学习特征，之后通过进一步挖掘采样，让网络拉开类间与类内地距离，整个过程中通过中心抑制损失保证特征空间特征向量相对聚集。其几何效果示意图如图8所示。图中不同样本不仅分散在分界面两侧，而且距离更远，同时相同类型的不同图片也会收到几何约束(红色标注)。
测试阶段：
A4.网络模型修改：训练好后的模型在实际应用测试时只需要提取特征，不需要做分类任务，因此在测试时直接去除掉线性分类层。
A5.距离度量：由于特征向量被归一化到单位超球面上，所以使用余弦相似度测量待检索车辆q与检索数据库中图片g的距离。其数学表达式如下：
Figure BDA0002171784560000081
本发明一种基于特征嵌入空间几何约束的车辆再识别系统，包括：输入模块、网络模型模块、筛选模块，
输入模块用以将原始目标数据和将捕捉到的车辆图片数据输入网络模型；
网络模型模块用以将输入的图片数据转换为目标特征向量，其中将原始目标数据转换为目标特征向量；将捕捉到的图片数据转换为图片特征向量；
筛选模块用以计算图片特征向量与目标特征向量的距离，选择距离最近的若干图片特征向量对应的图片，即为识别的与原始目标车辆相同的目标车辆。
优选的，还包括预训练模块，用以选择目标车辆图片，对目标车辆图片预处理得到训练样本图片；将训练样本图片和与非目标车辆图片输入到网络模型模块，对网络模型模块进行训练。
优选的，预训练模块还包括预处理模块，预处理模块用以选择目标车辆图片，对车辆图片像素扩充后，随机调整亮度、饱和度，并随机旋转得到若干的调整图片，在调整图片上随机截取与选择的车辆图片大小一致的图片，并随机加入一定比例的白噪声，得到训练样本图片。
优选的，网络模型模块可以为ResNet50网络模型，并对最后的线性分类层以及输出的特征向量加入归一化，保证线性分类层对应的每一类权重向量为单位向量，同时得到的特征向量也是单位向量；优选的，将最后一层卷积滑动大小即步长由2设置成1，将原有的ResNet50的特征图分辨率大小扩大2倍；
优选的，预训练模块还包括损失判断模块，损失判断模块用以对网络模型模块训练中的损失进行计算，并根据计算结果调网络模型模块的权重矩阵，
优选的，损失判断模块的损失函数为：
Figure BDA0002171784560000091
其中f(iter)为单调递减函数，取值范围为0～1；iter为迭代次数。α为参数；N为训练样本图片数，i为训练样本图片的元素，W表示网络线性层的权重矩阵，k表示训练样本图片标签所在维度，Wk为网络线性层的权重矩阵第k行；n为样本标签总维度，j为样本标签所在维度；θki为Wk和Xi的夹角；||*||为二阶范数；Ia为目标车辆图片；Ip为训练样本图片里在特征空间距离目标车辆图片最远的图片，In为非目标车辆图片库里在特征空间距离目标车辆最近的图片；Dap表示Ia与Ip在特征空间的距离，Das表示Ia与Is在特征空间的距离，m为设置的间隔；Xi为目标车辆图片，Cr为所属同一类别的车辆图片的特征值Xi的中心。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于特征嵌入空间几何约束的车辆再识别方法，其特征在于，包括：
将原始目标数据输入训练好的网络模型，得到目标特征向量；
将捕捉到的图片数据输入训练好的网络模型，得到图片特征向量；
计算图片特征向量与目标特征向量的距离，选择距离最近的若干图片特征向量对应的图片，即为识别的与原始目标车辆相同的目标车辆。
2.如权利要求1所述的一种基于特征嵌入空间几何约束的车辆再识别方法，其特征在于，所述网络模型的训练包括：
选择目标车辆图片，对目标车辆图片预处理得到训练样本图片；
将训练样本图片和与非目标车辆图片输入到网络模型，对网络模型进行训练。
3.如权利要求2所述的一种基于特征嵌入空间几何约束的车辆再识别方法，其特征在于，所述对网络模型进行训练，损失函数为：
其中f(iter)为单调递减函数，取值范围为0～1；iter为迭代次数。α为参数；N为训练样本图片数，i为训练样本图片的元素，W表示网络线性层的权重矩阵，k表示训练样本图片标签所在维度，Wk为网络线性层的权重矩阵第k行；n为样本标签总维度，j为样本标签所在维度；θki为Wk和Xi的夹角；||*||为二阶范数；Ia为目标车辆图片；Ip为训练样本图片里在特征空间距离目标车辆图片最远的图片，In为非目标车辆图片库里在特征空间距离目标车辆最近的图片；Dap表示Ia与Ip在特征空间的距离，Das表示Ia与Is在特征空间的距离，m为设置的间隔；Xi为目标车辆图片，Cr为所属同一类别的车辆图片的特征值Xi的中心。
4.如权利要求2所述的一种基于特征嵌入空间几何约束的车辆再识别方法，其特征在于，所述网络模型为ResNet50网络模型，并对末端的线性分类层和输出的特征向量归一化，且ResNet50网络模型最后一层卷积滑动大小设置成1。
5.如权利要求2所述的一种基于特征嵌入空间几何约束的车辆再识别方法，其特征在于，所述对目标车辆图片预处理得到训练样本图片，具体包括对车辆图片像素扩充，随机调整亮度、饱和度，并随机旋转得到若干的调整图片，在调整图片上随机截取与选择的车辆图片大小一致的图片，并随机加入设定比例的白噪声，得到训练样本图片。
6.一种基于特征嵌入空间几何约束的车辆再识别系统，其特征在于，包括：输入模块、网络模型模块、筛选模块，
输入模块用以将原始目标数据和将捕捉到的车辆图片数据输入网络模型；
网络模型模块用以将输入的图片数据转换为目标特征向量，其中将原始目标数据转换为目标特征向量；将捕捉到的图片数据转换为图片特征向量；
筛选模块用以计算图片特征向量与目标特征向量的距离，选择距离最近的若干图片特征向量对应的图片。
7.如权利要求6所述的一种基于特征嵌入空间几何约束的车辆再识别系统，其特征在于，还包括预训练模块，预训练模块用以选择目标车辆图片，对目标车辆图片预处理得到训练样本图片；将训练样本图片和与非目标车辆图片输入到网络模型模块，对网络模型模块进行训练。
8.如权利要求7所述的一种基于特征嵌入空间几何约束的车辆再识别系统，其特征在于，预训练模块还包括损失判断模块，损失判断模块用以对网络模型模块训练中的损失进行计算，并根据计算结果调网络模型模块的权重矩阵，
损失判断模块的损失函数为：
Figure FDA0002171784550000021
其中f(iter)为单调递减函数，取值范围为0～1；iter为迭代次数。α为参数；N为训练样本图片数，i为训练样本图片的元素，W表示网络线性层的权重矩阵，k表示训练样本图片标签所在维度，Wk为网络线性层的权重矩阵第k行；n为样本标签总维度，j为样本标签所在维度；θki为Wk和Xi的夹角；||*||为二阶范数；Ia为目标车辆图片；Ip为训练样本图片里在特征空间距离目标车辆图片最远的图片，In为非目标车辆图片库里在特征空间距离目标车辆最近的图片；Dap表示Ia与Ip在特征空间的距离，Das表示Ia与Is在特征空间的距离，m为设置的间隔；Xi为目标车辆图片，Cr为所属同一类别的车辆图片的特征值Xi的中心。
9.如权利要求7所述的一种基于特征嵌入空间几何约束的车辆再识别系统，其特征在于，所述网络模型模块为ResNet50网络模型模块，并对末端的线性分类层和输出的特征向量归一化，且ResNet50网络模型最后一层卷积滑动大小设置成1。
10.如权利要求7所述的一种基于特征嵌入空间几何约束的车辆再识别系统，其特征在于，预训练模块还包括预处理模块，预处理模块用以对车辆图片像素扩充，随机调整亮度、饱和度，并随机旋转得到若干的调整图片，在调整图片上随机截取与选择的车辆图片大小一致的图片，并随机加入设定比例的白噪声，得到训练样本图片。
CN201910765451.7A 2019-08-19 2019-08-19 一种基于特征嵌入空间几何约束的车辆再识别方法及系统 Active CN110674689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910765451.7A CN110674689B (zh) 2019-08-19 2019-08-19 一种基于特征嵌入空间几何约束的车辆再识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910765451.7A CN110674689B (zh) 2019-08-19 2019-08-19 一种基于特征嵌入空间几何约束的车辆再识别方法及系统

Publications (2)

Publication Number Publication Date
CN110674689A true CN110674689A (zh) 2020-01-10
CN110674689B CN110674689B (zh) 2022-05-06

Family

ID=69075382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910765451.7A Active CN110674689B (zh) 2019-08-19 2019-08-19 一种基于特征嵌入空间几何约束的车辆再识别方法及系统

Country Status (1)

Country Link
CN (1) CN110674689B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800876A (zh) * 2021-01-14 2021-05-14 北京交通大学 一种用于重识别的超球面特征嵌入方法及系统
CN115050028A (zh) * 2022-06-15 2022-09-13 松立控股集团股份有限公司 一种恶劣天气下小样本车牌检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147291A1 (en) * 1999-09-13 2005-07-07 Microsoft Corporation Pose-invariant face recognition system and process
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN108921140A (zh) * 2018-08-07 2018-11-30 安徽云森物联网科技有限公司 行人再识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147291A1 (en) * 1999-09-13 2005-07-07 Microsoft Corporation Pose-invariant face recognition system and process
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN108921140A (zh) * 2018-08-07 2018-11-30 安徽云森物联网科技有限公司 行人再识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800876A (zh) * 2021-01-14 2021-05-14 北京交通大学 一种用于重识别的超球面特征嵌入方法及系统
CN112800876B (zh) * 2021-01-14 2023-11-10 北京交通大学 一种用于重识别的超球面特征嵌入方法及系统
CN115050028A (zh) * 2022-06-15 2022-09-13 松立控股集团股份有限公司 一种恶劣天气下小样本车牌检测方法
CN115050028B (zh) * 2022-06-15 2024-03-29 松立控股集团股份有限公司 一种恶劣天气下小样本车牌检测方法

Also Published As

Publication number Publication date
CN110674689B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
WO2019169816A1 (zh) 一种用于精细化识别车辆属性的深度神经网络及训练方法
JP4479478B2 (ja) パターン認識方法および装置
CN109558823B (zh) 一种以图搜图的车辆识别方法及系统
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111191629A (zh) 一种基于多目标的图像能见度检测方法
CN111079640A (zh) 一种基于自动扩增样本的车型识别方法及系统
CN113592923B (zh) 一种基于深度局部特征匹配的批图像配准方法
CN110674689B (zh) 一种基于特征嵌入空间几何约束的车辆再识别方法及系统
CN111882554B (zh) 一种基于SK-YOLOv3的电力线故障智能检测方法
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN115690542A (zh) 一种基于改进yolov5的航拍绝缘子定向识别方法
CN111199245A (zh) 油菜害虫识别方法
Chumuang et al. Face detection system for public transport service based on scale-invariant feature transform
CN111062347B (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
CN113378883A (zh) 一种基于通道分组注意力模型的细粒度车辆分类方法
CN114283325A (zh) 一种基于知识蒸馏的水下目标识别方法
CN111105436B (zh) 目标跟踪方法、计算机设备及存储介质
CN113205507B (zh) 一种视觉问答方法、系统及服务器
CN111639212B (zh) 一种矿用智能视频分析中的图像检索方法
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法
CN111275687B (zh) 一种基于连通区域标记的细粒度图像拼接检测方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统
Katiyar et al. Image Forgery Detection with Interpretability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200820

Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Weiming Information Technology Co.,Ltd.

Applicant after: Institute of Information Technology, Zhejiang Peking University

Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant before: Institute of Information Technology, Zhejiang Peking University

Applicant before: Hangzhou Weiming Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200110

Assignee: Zhejiang smart video security Innovation Center Co.,Ltd.

Assignor: Institute of Information Technology, Zhejiang Peking University

Contract record no.: X2022330000930

Denomination of invention: A method and system of vehicle recognition based on feature embedded spatial geometric constraints

Granted publication date: 20220506

License type: Common License

Record date: 20221229