CN108171136A - 一种多任务卡口车辆以图搜图的系统及方法 - Google Patents

一种多任务卡口车辆以图搜图的系统及方法 Download PDF

Info

Publication number
CN108171136A
CN108171136A CN201711393923.8A CN201711393923A CN108171136A CN 108171136 A CN108171136 A CN 108171136A CN 201711393923 A CN201711393923 A CN 201711393923A CN 108171136 A CN108171136 A CN 108171136A
Authority
CN
China
Prior art keywords
sample
vehicle
feature
bayonet
multitask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711393923.8A
Other languages
English (en)
Other versions
CN108171136B (zh
Inventor
温晓岳
田玉兰
田彦
陈涛
李建元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG ENJOYOR INSTITUTE Co Ltd
Original Assignee
ZHEJIANG ENJOYOR INSTITUTE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ENJOYOR INSTITUTE Co Ltd filed Critical ZHEJIANG ENJOYOR INSTITUTE Co Ltd
Priority to CN201711393923.8A priority Critical patent/CN108171136B/zh
Publication of CN108171136A publication Critical patent/CN108171136A/zh
Application granted granted Critical
Publication of CN108171136B publication Critical patent/CN108171136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种多任务卡口车辆以图搜图的系统及方法,本发明利用深度神经网络建立多任务定位和多任务特征提取网络,基于改进的边缘盒检测技术以及级联损失函数的方式训练定位网络,分别定位和特征检测卡口车辆图像中的车辆,年检标和车灯三个部位,结合了全局和局部特征,损失函数采用softmax损失和三元组损失函数的损失函数来训练网络,最终加权结合局部特征向量和利用神经网络最后一层全连接层的全局特征向量作为车辆特征进行检索,检索采用改进的k‑means算法找出K类,然后利用SVM形成哈希函数来进行汉明码编码,提高了检索速度,节省存储空间。

Description

一种多任务卡口车辆以图搜图的系统及方法
技术领域
本发明涉及智慧交通领域,尤其涉及一种多任务卡口车辆以图搜图的系统及方法。
背景技术
随着社会发展,智能交通领域中智能交通监控是当前非常重要的一个发展方向,目前我国已在城市道路上部署了大规模数量的电子警察和卡口系统。这些系统能够实时捕获车辆高清图片,并且识别分析出车牌号码,以及一部分车型信息(如车辆大小,颜色等)。但目前使用的卡口监控系统,车牌号码识别仍有10%左右的误识别、漏识别率。更重要的是,对于套牌车或故意遮掩拍照的违法车将无法进行识别。因此,通过车牌号码之外的车辆特征信息作为一个新的识别条件,从而在现有的交通监控系统找出这部分违法车辆。另一方面,一个城市中的所存储的卡口车辆图片往往数量在亿级以上,即使将图片成功转化成为特征向量,要快速精确的查询搜索相关特征依然是一大难点。因此本专利的研究这在现今的在现代交通监控和管理中有非常重要的研究意义和应用前景。
《一种基于多特征深度学习的车辆检测方法及装置》,申请号为201610952774.3中将车辆灰度信息,边缘检测信息作为特征进行训练来定位车辆,过程较为繁琐。并且利用三个不同方面的信息来进行定位,并没有全面包含车辆的信息。
《基于大数据的车辆检索及装置》,申请号为201610711333.4中利用多个特征标志区域进行级联检索,然而只有多个局部特征,没有全局的特征信息,并且流程较繁琐。《一种卡口车辆检索方法及其系统》,申请号为201610119765.6中采用各特征模块利用深度学习提取特征做相似度对比,包括你车牌号码,车标车型,车身颜色,年检标等,车牌号码不足以识别车牌遮挡的车辆,并且需要训练多个网络,也不具有全局特征。
《基于深度学习的车型识别模型构建方法及车型识别方法》,申请号为201610962720.5中利用深度学习进行车型识别,没有达到细粒度检索车辆的程度,不够精准。
发明内容
本发明为克服上述的不足之处,目的在于提供一种多任务卡口车辆以图搜图的系统及方法,本发明利用深度神经网络建立多任务定位和多任务特征提取网络,分别定位和特征检测卡口车辆图像中的车辆、年检标和车灯三个部位,结合了全局和局部特征,损失函数采用softmax损失和三元组损失函数的损失函数来训练网络,最终加权结合局部特征向量和利用神经网络最后一层全连接层的全局特征向量作为车辆特征进行检索,检索采用改进的k-means算法找出K类,然后利用SVM形成哈希函数来进行汉明码编码,提高了检索速度,节省存储空间。
本发明是通过以下技术方案达到上述目的:一种多任务卡口车辆以图搜图的方法,包括如下步骤:
(1)获取卡口车辆图片后对图片进行处理与分类,并对卡口车辆图片集进行优化处理得到数据集;
(2)构建并训练获得基于深度神经网络模型的多任务定位网络,提取车辆图片中车辆、年检标、车灯和背景的位置区域信息;构建并训练获得基于深度神经网络模型的多任务特征提取网络,提取车辆、年检标、车灯位置区域的图像特征,获得车辆特征;
(3)基于车辆特征建立车辆特征的k-means聚类;
(4)利用K个二分类SVM训练哈希函数,提取样本特征码后放入哈希桶中;
(5)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码,找到该特征码所对应的哈希桶并进行计算与排序,输出所对应的相似卡口图片。
作为优选,所述步骤(1)包括如下步骤:
(1.1)对获取到的卡口车辆图片人工标注车辆、车辆年检标、车灯位置的区域坐标信息和类别;
(1.2)分别截取卡口图片中的车辆、年检标、车灯位置区域;
(1.3)将不同时间和地点的截取区域按照车牌进行分类得到数据集;(1.4)对卡口车辆图片进行添加噪声样本完成数据集的优化。
作为优选,所述多任务定位网络的训练步骤如下:
(i)将标注好的卡口图片分为车辆、年检标、车灯和背景四类,作为训练集;
(ii)基于训练集,使用深度神经网络提取特征,得到特征层;
(iii)采用固定分割窗口策略对特征层进行分割,完成候选框的提取,具体如下;
(iii.1)选取三个尺寸进行分割,分别按照2*2,3*3,5*5三个不同尺寸进行分割;
(iii.2)每个方格进行不同的长宽比变换进行尺度变换,长宽比分别为1:1、2:1、1:2三种不同的长宽比,则单个样本产生的候选框个数为(2*2+3*3+5*5+7*7)*5,即114个特征层候选框;
(iii.3)采用非极大抑制来融合上述候选框,消除候选框的重叠区域;
(iv)计算候选框的位置损失和类别损失,并按照1:1作为损失函数;(v)反复迭代循环训练网络至损失值不再减小为止,得到训练完后的多任务定位网络。
作为优选,所述步骤(iv)具体如下:
1)采用级联函数计算位置损失:
定位的原理是寻找预估目标和真实目标框之间的回归函数,其中i表示特征向量,记回归函数分别为fx(i),、fy(i)、fw(i)、fh(i),x、y、w、h表示盒子的中心坐标和宽高,x,xe,xt分别表示候选框,预测框和真实标定框的中心点x的坐标;
估计目标与真实目标之间的变换关系如下所示:
xt=wfx(i)+xe
yt=wefy(i)+ye
则估计与真实目标的回归函数为:
同理滑窗和估计目标的回归函数为:
第一个回归损失函数:
其中M为:
另外计算真实目标与估计目标的损失,则第二个损失函数:
2)计算类别损失:
对于所有筛选框进行标定,当一个候选框完全包含标定区域且不属于标定区域的部分不超过候选框区域的5%时认为该候选框标定结果为目标类,否则为背景类,将所有候选框预测的类别作为softmax层的分类标签与真实标签进行对比;
softmax损失函数如下:
其中N表示样本个数,xi表示第i个样本,yi表示第i个样本的正确标签,f(xi)yi表示第i个样本的结果的第yi个输出,f(xi)j表示第i个样本的第j个节点的输出;
3)则总的损失函数为
作为优选,所述多任务特征提取网络的训练步骤如下:
(I)将卡口车辆数据集、年检标数据集、车灯数据集分别利用车牌进行分类;
(II)将三类数据集作为三个输入集同时放入深度神经网络;
(III)分别计算三个输入的softmax和三元组损失函数:
筛选三元组样本集:每个三元组数据集包括三个样本,分别为目标样本anchor,正样本pos,负样本neg,其中anchor和pos为同一类,anchor和neg为不同类,挑选原则为与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合,学习过程是使得尽可能多的三元组anchor和pos的距离小于anchor和neg的距离,距离均使用余弦距离:
cosineap+α<cosinean
其中,表示目标样本,表示正样本,表示负样本,目标cosineap表示目标样本和正样本之间的余弦距离,cosinean表示目标样本和负样本之间的余弦距离,α为一个正数,保证正样本与目标样本之间的距离小于负样本与目标样本之间的距离的一个常数;
三元组损失函数如下所示:
分别表示样本经过网络的输出编码;
softmax损失函数为
则总的损失函数为:
L=Lt+Ls
(IV)反复迭代循环训练网络至损失值不再减小为止,得到训练完后的多任务特征提取网络。
作为优选,所述步骤(2)提取车辆特征具体为:将待检索图片输入训练好的多任务定位网络,得到卡口车辆,年检标和车灯三个位置的坐标信息;并将定位出的三个位置截取出来输入多任务特征提取网络,分别提取出三个位置的特征向量,得到三个1000*1维的特征向量,存储作为该车辆的特征集。
作为优选,所述步骤(3)的具体步骤如下:
(3.1)随机选择K个质心点;
(3.2)采用余弦相似度计算每个特征量到K个质心点的距离,将其指派到距离最近的质心,形成K个类别簇;余弦相似度计算如下所示:
其中,Xi代表特征X中的第i个值,Yi代表特征Y中的第i个值;(3.3)计算每个簇的中心点作为新的质心;
(3.4)循环执行步骤(3.2)与(3.3),直到所有簇心的余弦相似度和小于I时停止循环,I为预设的阈值;某簇心的余弦相似度计算公式如下:
(3.5)若属于一个簇的特征总数大于N个时,对这个簇的数据执行步骤(3.1)-(3.4),直到每一个最底部的子簇内部的特征数都小于等于N。
作为优选,所述步骤(4)的具体步骤如下:
(4.1)将k-means聚类后的数据按聚类分为k类;
(4.2)k类样本集分别记为{X1,X2,…,Xk},取其中一个样本集Xi作为正样本,其余{X1,X2,…,Xi-1,Xi+1,…,Xk}集合作为负样本;
(4.3)将正负样本作为线性二分类的SVM分类器的正负样本进行训练,正样本Xi的标签为1,负样本标签为为0,得到该样本的分类权值矩阵Wi
(4.4)依次将k类样本中每类样本集作为正样本,其余剩余的作为负样本,训练k个二分类SVM分类器,权值矩阵分别为W1,W2,…,Wk;(4.5)将W1,W2,…,Wk组成权值矩阵[W1W2…Wk]作为用来生成编码的矩阵函数,即哈希函数;
(4.6)将所有车辆样本的全局特征值按照行进行排列,如下所示:
(4.7)求解样本全局特征矩阵和哈希函数矩阵的内积来生成车辆样本的二进制特征编码,如下所示:
其中,哈希编码每行都是K位二值数,由此,m个样本都转化为哈希码;
(4.8)将样本哈希码记为H1,H2,…,Hm,利用K-mean将特征码按照距离聚类为M类,然后按照聚类结果直接划分为M段,每段为一个哈希桶;并将样本特征码分散放入哈希桶中。
作为优选,所述步骤(5)具体如下:
(5.1)将提取到的车辆特征通过哈希函数转化为汉明特征码,并找出该特征码所属的哈希桶;
(5.2)将该特征码与该哈希桶下的所有特征进行余弦相似度计算,并按距离从小到大对特征进行排序,选取前100个进行下一步筛选;(5.3)计算待检索卡口车辆图片的全部特征向量与该100个车辆的全部特征向量的加权距离,并按距离从小到大对特征进行排序;加权距离计算公式如下:
0.8cosine(x1,ci1)+0.1cosine(x2,ci2)+0.1cosine(x3,ci3) (0≤i≤99)
其中x1是指全局特征码,x2,x3指的是卡口车辆的全局特征,年检标特征和车灯特征,ci1,ci2,ci3分别指的是第i个检索库中卡口车辆图片的全局特征码,年检标特征和车灯特征;
(5.4)根据排序完的特征顺序,输出特征所对应的卡口图片。
一种多任务卡口车辆以图搜图的系统,包括:特征区域定位模块、特征提取模块、图片索引模块和图片上传模块,特征区域定位模块、特征提取模块、图片索引模块、图片上传模块依次连接;
其中特征区域定位模块和特征提取模块都包括卡口车辆,车年检标和车前灯三个部位的处理;提取出来的三个部分的特征向量组合作为卡口车辆的特征向量,经过PCA降维后,再经过改进的加权K-means检索算法进行检索,最终将检索到的相似车辆上传。
本发明的有益效果在于:(1)深度神经网络的语义表现能力强,本发明通过深度神经网络提取的全局能够很好的诠释目标车辆的整体特性;(2)建立基于深度神经网络的多任务定位网络进行车辆,年检标,车灯三个区域的定位,建立基于深度神经网络的多任务特征检测网络分别检测同时检测车辆,车年检标和车灯三个区域的特征向量;基于改进的边缘盒检测技术以及级联损失函数的方式来训练网络建立,方法简单;(3)采用softmax损失和三元组损失函数共同作为深度神经网络的损失函数,相较于传统的只有单一损失函数的训练机制,本方法有利于区分不同类间大的差别和细微的差别;(4)采用车年检标和车灯两个具有车辆特征代表性的部位进行局部特征提取,相较于传统的单一利用局部特征或者全局特征进行检索的方法,精确性更好;(5)利用基于k-means的算法,优化了样本分类;(6)利用基于二分类SVM算法形成哈希函数进行检索,加快了检索速度,减少存储所需内存。
附图说明
图1是本发明系统结构示意图;
图2是本发明方法的训练网络流程示意图;
图3是本发明方法的车辆特征提取流程示意图;
图4是本发明的建立车辆特征的k-means聚类流程图;
图5是本发明方法的特征码生成流程示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此:
实施例:如图1所示,一种多任务卡口车辆以图搜图的系统,主要包括四个模块,分别是定位模块,特征提取模块,索引模块和图片上传模块,其中定位模块和特征提取模块都包括卡口车辆,车年检标和车前灯三个部位的处理。提取出来的三个部分的特征向量组合作为卡口车辆的特征向量,经过PCA降维后,再经过改进的加权K-means检索算法进行检索,最终将检索到的相似车辆上传。
一种多任务卡口车辆以图搜图的方法,包括如下步骤:
步骤1、数据集准备:
(1)车辆图片人工标注车辆,车年检标,车灯位置的区域坐标信息和类别;
(2)分别截取卡口图片中的车辆、年检标、车灯位置区域;
(3)将不同时间和地点的截取区域按照车牌进行分类;
(4)对图片进行添加噪声样本优化样本集。
步骤2、训练网络:
训练的网络分为两个部分,如图2的(A)和(B)所示,分别为多任务定位网络的训练和多任务特征提取网络的训练;两个多任务网络是基于深度神经网络的,深度神经网络有Alexnet网络,vgg网络,GoogleNet网络等,
进一步地举例:两个多任务网络都是基于vgg16的,定位网络利用vgg16在imagenet数据集上的预训练模型的前13个卷积层和四个池化层的权值参数直接调用,然后加上RoI(region of ineterst)层,RoI主要用于产生与图片中的区域块对应的特征层,两个全连接层和定位层(全连接层加Regression Loss层,用于产生区域坐标)加分类层(全连接层加SoftmaxLoss层,用于标识区域类别);特征提取网络基于vgg16在imagenet数据集上的预训练模型的前13个卷积层和五个池化层以及前两个全连接层的的权值参数直接调用,后面分别有三个分类层(全连接层加SoftmaxLoss层)来分别实现卡口车辆,卡口车辆年检标,卡口车辆前车灯的特征提取。关于vgg16网络的结构如表1所示:
表1
其中,多任务定位网络的训练过程如下,这里采用传统的vgg深度学习网络和基于改进的边缘盒检测技术以及级联损失函数的方式来训练网络:
步骤2.1.1将标注好得卡口部分区域分为四类,分别是卡口车辆,年检标,车灯和背景四类;
步骤2.1.2训练集使用vgg16的前14层(前13个卷积层和fc1层)提取特征,得到特征层;
步骤2.1.3提取候选框,对特征层进行分割,将原来的滑动窗口策略改为固定分割窗口策略,提高速率。
(1)选取三个尺寸进行分割,分别按照2*2,3*3,5*5三个不同尺寸进行分割;
(2)每个方格进行不同的长宽比变换进行尺度变换,长宽比分别为1:1、2:1、1:2三种不同的长宽比,则单个样本产生的候选框个数为(2*2+3*3+5*5+7*7)*5,即114个特征层候选框;
(3)候选框可能有重叠区域,因此采用非极大抑制来融合上述候选框;
步骤2.1.4计算候选框的位置损失和类别损失按照1:1作为损失函数。
计算位置损失采用级联函数计算位置损失:
(1)最终的定位是寻找预估目标和真实目标框之间的回归函数,其中i表示特征向量,记回归函数分别为fx(i),fy(i),fw(i),fh(i),x,y,w,h表示盒子的中心坐标和宽高,x,xe,xt分别表示候选框,预测框和真实标定框的中心点x的坐标,其他三个值也一样。
估计目标与真实目标之间的变换关系:
xt=wefx(i)+xe (1)
yt=wefy(i)+ye (2)
则估计与真实目标的回归函数为:
同样滑窗和估计目标的回归函数为:
第一个回归损失函数:
其中M为:
另外计算真实目标与估计目标的损失,则第二个损失函数:
计算类别损失过程如下:
对于所有筛选框进行标定,当一个候选框完全包含标定区域且不属于标定区域的部分不超过候选框区域的5%时认为该候选框标定结果为目标类,否则为背景类,将所有候选框预测的类别作为softmax层的分类标签与真实标签进行对比。
softmax损失函数:
公式(10)中N表示样本个数,xi表示第i个样本,yi表示第i个样本的正确标签,f(xi)yi表示第i个样本的结果的第yi个输出,f(xi)j表示第i个样本的第j个节点的输出。
则总的损失函数为
步骤2.1.5反复迭代循环训练网络至损失值不再减小为止,将训练完后的网络模型保存起来。
多任务特征提取网络的训练过程如下:
步骤2.2.1将卡口车辆数据集,年检标数据集,车灯数据集分别利用车牌进行分类;
步骤2.2.2将三类数据集作为三个输入集同时放入网络;
步骤2.2.3分别计算三个输入的softmax和三元组损失函数;
筛选三元组样本集:每个三元组数据集包括三个样本,分别为anchor(目标样本),pos(正样本),neg(负样本),其中anchor和pos为同一类,anchor和neg为不同类,挑选原则为与目标样本相差较大的同类样本和与目标样本相差较小的不同类样本的组合,学习过程是使得尽可能多的三元组anchor和pos的距离小于anchor和neg的距离,在这里距离均使用余弦距离。
cosineap+α<cosinean (14)
如上所示公式,表示目标样本,表示正样本,表示负样本,目标cosineap表示目标样本和正样本之间的余弦距离,cosinean表示目标样本和负样本之间的余弦距离,α为一个正数,保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离的一个常数。
三元组损失函数:
公式(4)中分别表示样本经过网络的输出编码。
softmax损失函数如公式(10)所示你,为Ls
则总的损失函数为:
L=Lt+Ls (16)
步骤2.2.4反复迭代循环训练网络至损失值不再减小为止,将训练完后的网络模型保存起来。
步骤3、特征提取,如图3所示,流程具体如下:
步骤3.1将待检索图片输入训练好的定位和分类网络,得到卡口车辆,年检标和车灯三个位置的坐标信息。
步骤3.2将定位出的三个位置截取出来输入特征提取网络分别提取出三个位置的特征向量,得到三个1000*1维的特征向量,和其类型(车辆,年检标或者车灯)一起存储起来作为该车辆的特征集。
步骤4、建立车辆特征的k-means聚类,流程如图4所示:
步骤4.1随机选择K个质心点。
步骤4.2采用余弦相似度计算每个特征量到K个质心点的距离,将其指派到距离最近的质心,形成K个类别簇。
余弦相似度计算如上所示。Xi代表特征X中的第i个值,Yi代表特征Y中的第i个值。
步骤4.3计算每个簇的中心点作为新的质心。
步骤4.4循环执行4.2,4.3步,直到所有簇心的余弦相似度和小于I时,停止循环。某簇心余弦相似度计算公式如下:
步骤4.5若属于一个簇的特征总数大于N个时,对这个簇的数据执行4.1-4.4步。
步骤4.6重复执行4.5步,直到每一个最底部的子簇内部的图片特征数都小于等于N。
步骤5、利用K个二分类SVM训练哈希函数,提取特征码,具体流程如图5所示:
SVM,支持向量机,线性二分类SVM通过分离超平面把原始样本集划分成两部分,训练SVM的过程就是寻找分类超平面的过程。
步骤5.1将k-means聚类后的数据按聚类分为k类。
步骤5.2k类样本集分别记为{X1,X2,…,Xk},取其中一个样本集Xi作为正样本,其余{X1,X2,…,Xi-1,Xi+1,…,Xk}集合作为负样本。
步骤5.3将正负样本作为线性二分类的SVM分类器的正负样本进行训练,正样本Xi的标签为1,负样本标签为为0,得到该样本的分类权值矩阵Wi
步骤5.4依次将k类样本中每类样本集作为正样本,其余剩余的作为负样本,训练k个二分类SVM分类器,权值矩阵分别为W1,W2,…,Wk
步骤5.5将W1,W2,…,Wk组成权值矩阵[W1W2…Wk]作为用来生成编码的矩阵函数,即哈希函数。
步骤5.6将所有车辆样本的全局特征值按照行进行排列。
步骤5.7求解样本全局特征矩阵和哈希函数矩阵的内积来生成车辆样本的二进制特征编码。
其中,哈希编码每行都是K位二值数,由此,m个样本都转化为哈希码。
步骤5.8将样本特征编码按照距离均匀划分为M段,每段为一个哈希桶。
将样本哈希码记为H1,H2,…,Hm,利用K-mean计算距离直接划分为M段。
步骤5.9将样本特征码分散放入哈希桶中。
步骤6、检索阶段:
步骤6.1将提取到的车辆特征通过哈希函数转化为汉明特征码。找出该特征码所属的哈希桶。
步骤6.2将该特征与节点下的所有特征进行余弦相似度计算,按距离从小到大对特征进行排序,选取前100个进行下一步筛选。
步骤6.3计算带检索卡口车辆全部特征向量与该100个车辆的全部特征向量的加权距离:
0.8cosine(x1,ci1)+0.1cosine(x2,ci2)+0.1cosine(x3,ci2)(0≤i≤99) (19)
其中x1是指全局特征码,x2,x3指的是卡口车辆的全局特征,年检标特征和车灯特征,ci1,ci2,ci3分别指的是第i个检索库中卡口车辆图片的全局特征码,年检标特征和车灯特征。按距离从小到大对特征进行排序。
步骤6.4根据排序完的特征,输出特征所对应的卡口图片。
以上的所述乃是本发明的具体实施例及所运用的技术原理,若依本发明的构想所作的改变,其所产生的功能作用仍未超出说明书及附图所涵盖的精神时,仍应属本发明的保护范围。

Claims (10)

1.一种多任务卡口车辆以图搜图的方法,其特征在于,包括如下步骤:
(1)获取卡口车辆图片后对图片进行处理与分类,并对卡口车辆图片集进行优化处理得到数据集;
(2)构建并训练获得基于深度神经网络模型的多任务定位网络,提取车辆图片中车辆、年检标、车灯和背景的位置区域信息;构建并训练获得基于深度神经网络模型的多任务特征提取网络,提取车辆、年检标、车灯位置区域的图像特征,获得车辆特征;
(3)基于车辆特征建立车辆特征的k-means聚类;
(4)利用K个二分类SVM训练哈希函数,提取样本特征码后放入哈希桶中;
(5)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码,找到该特征码所对应的哈希桶并进行计算与排序,输出所对应的相似卡口图片。
2.根据权利要求1所述的一种多任务卡口车辆以图搜图的方法,其特征在于:所述步骤(1)包括如下步骤:
(1.1)对获取到的卡口车辆图片人工标注车辆、车辆年检标、车灯位置的区域坐标信息和类别;
(1.2)分别截取卡口图片中的车辆、年检标、车灯位置区域;
(1.3)将不同时间和地点的截取区域按照车牌进行分类得到数据集;
(1.4)对卡口车辆图片进行添加噪声样本完成数据集的优化。
3.根据权利要求2所述的一种多任务卡口车辆以图搜图的方法,其特征在于:所述多任务定位网络的训练步骤如下:
(i)将标注好的卡口图片分为车辆、年检标、车灯和背景四类,作为训练集;
(ii)基于训练集,使用深度神经网络提取特征,得到特征层;
(iii)采用固定分割窗口策略对特征层进行分割,完成候选框的提取,具体如下;
(iii.1)选取三个尺寸进行分割,分别按照2*2,3*3,5*5三个不同尺寸进行分割;
(iii.2)每个方格进行不同的长宽比变换进行尺度变换,长宽比分别为1:1、2:1、1:2三种不同的长宽比,则单个样本产生的候选框个数为(2*2+3*3+5*5+7*7)*5,即114个特征层候选框;
(iii.3)采用非极大抑制来融合上述候选框,消除候选框的重叠区域;
(iv)计算候选框的位置损失和类别损失,并按照1:1作为损失函数;
(v)反复迭代循环训练网络至损失值不再减小为止,得到训练完后的多任务定位网络。
4.根据权利要求3所述的一种多任务卡口车辆以图搜图的方法,其特征在于:所述步骤(iv)具体如下:
1)采用级联函数计算位置损失:
定位的原理是寻找预估目标和真实目标框之间的回归函数,其中i表示特征向量,记回归函数分别为fx(i),、fy(i)、fw(i)、fh(i),x、y、w、h表示盒子的中心坐标和宽高,x,xe,xt分别表示候选框,预测框和真实标定框的中心点x的坐标;
估计目标与真实目标之间的变换关系如下所示:
xt=wefx(i)+xe
yt=wefy(i)+ye
则估计与真实目标的回归函数为:
同理滑窗和估计目标的回归函数为:
第一个回归损失函数:
其中M为:
另外计算真实目标与估计目标的损失,则第二个损失函数:
2)计算类别损失:
对于所有筛选框进行标定,当一个候选框完全包含标定区域且不属于标定区域的部分不超过候选框区域的5%时认为该候选框标定结果为目标类,否则为背景类,将所有候选框预测的类别作为softmax层的分类标签与真实标签进行对比;
softmax损失函数如下:
其中N表示样本个数,xi表示第i个样本,yi表示第i个样本的正确标签,f(xi)yi表示第i个样本的结果的第yi个输出,f(xi)j表示第i个样本的第j个节点的输出;
3)则总的损失函数为
5.根据权利要求2所述的一种多任务卡口车辆以图搜图的方法,其特征在于:所述多任务特征提取网络的训练步骤如下:
(I)将卡口车辆数据集、年检标数据集、车灯数据集分别利用车牌进行分类;
(II)将三类数据集作为三个输入集同时放入深度神经网络;
(III)分别计算三个输入的softmax和三元组损失函数:
筛选三元组样本集:每个三元组数据集包括三个样本,分别为目标样本anchor,正样本pos,负样本neg,其中anchor和pos为同一类,anchor和neg为不同类,挑选原则为与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合,学习过程是使得尽可能多的三元组anchor和pos的距离小于anchor和neg的距离,距离均使用余弦距离:
cosineap+α<cosinean
其中,表示目标样本,表示正样本,表示负样本,目标cosineap表示目标样本和正样本之间的余弦距离,cosinean表示目标样本和负样本之间的余弦距离,α为一个正数,保证正样本与目标样本之间的距离小于负样本与目标样本之间的距离的一个常数;
三元组损失函数如下所示:
分别表示样本经过网络的输出编码;
softmax损失函数为
则总的损失函数为:
L=Lt+Ls
(IV)反复迭代循环训练网络至损失值不再减小为止,得到训练完后的多任务特征提取网络。
6.根据权利要求1所述的一种多任务卡口车辆以图搜图的方法,其特征在于:所述步骤(2)提取车辆特征具体为:将待检索图片输入训练好的多任务定位网络,得到卡口车辆,年检标和车灯三个位置的坐标信息;并将定位出的三个位置截取出来输入多任务特征提取网络,分别提取出三个位置的特征向量,得到三个1000*1维的特征向量,存储作为该车辆的特征集。
7.根据权利要求1所述的一种多任务卡口车辆以图搜图的方法,其特征在于:所述步骤(3)的具体步骤如下:
(3.1)随机选择K个质心点;
(3.2)采用余弦相似度计算每个特征量到K个质心点的距离,将其指派到距离最近的质心,形成K个类别簇;余弦相似度计算如下所示:
其中,Xi代表特征X中的第i个值,Yi代表特征Y中的第i个值;
(3.3)计算每个簇的中心点作为新的质心;
(3.4)循环执行步骤(3.2)与(3.3),直到所有簇心的余弦相似度和小于I时停止循环,I为预设的阈值;某簇心的余弦相似度计算公式如下:
(3.5)若属于一个簇的特征总数大于N个时,对这个簇的数据执行步骤(3.1)-(3.4),直到每一个最底部的子簇内部的特征数都小于等于N。
8.根据权利要求1所述的一种多任务卡口车辆以图搜图的方法,其特征在于:所述步骤(4)的具体步骤如下:
(4.1)将k-means聚类后的数据按聚类分为k类;
(4.2)k类样本集分别记为{X1,X2,…,Xk},取其中一个样本集Xi作为正样本,其余{X1,X2,…,Xi-1,Xi+1,…,Xk}集合作为负样本;
(4.3)将正负样本作为线性二分类的SVM分类器的正负样本进行训练,正样本Xi的标签为1,负样本标签为为0,得到该样本的分类权值矩阵Wi
(4.4)依次将k类样本中每类样本集作为正样本,其余剩余的作为负样本,训练k个二分类SVM分类器,权值矩阵分别为W1,W2,…,Wk
(4.5)将W1,W2,…,Wk组成权值矩阵[W1W2…Wk]作为用来生成编码的矩阵函数,即哈希函数;
(4.6)将所有车辆样本的全局特征值按照行进行排列,如下所示:
(4.7)求解样本全局特征矩阵和哈希函数矩阵的内积来生成车辆样本的二进制特征编码,如下所示:
其中,哈希编码每行都是K位二值数,由此,m个样本都转化为哈希码;
(4.8)将样本哈希码记为H1,H2,…,Hm,利用K-mean将特征码按照距离聚类为M类,然后按照聚类结果直接划分为M段,每段为一个哈希桶;并将样本特征码分散放入哈希桶中。
9.根据权利要求1所述的一种多任务卡口车辆以图搜图的方法,其特征在于:所述步骤(5)具体如下:
(5.1)将提取到的车辆特征通过哈希函数转化为汉明特征码,并找出该特征码所属的哈希桶;
(5.2)将该特征码与该哈希桶下的所有特征进行余弦相似度计算,并按距离从小到大对特征进行排序,选取前100个进行下一步筛选;
(5.3)计算待检索卡口车辆图片的全部特征向量与该100个车辆的全部特征向量的加权距离,并按距离从小到大对特征进行排序;加权距离计算公式如下:
0.8cosine(x1,ci1)+0.1cosine(x2,ci2)+0.1cosine(x3,ci3)(0≤i≤99)
其中x1是指全局特征码,x2,x3指的是卡口车辆的全局特征,年检标特征和车灯特征,ci1,ci2,ci3分别指的是第i个检索库中卡口车辆图片的全局特征码,年检标特征和车灯特征;
(5.4)根据排序完的特征顺序,输出特征所对应的卡口图片。
10.一种多任务卡口车辆以图搜图的系统,其特征在于包括:特征区域定位模块、特征提取模块、图片索引模块和图片上传模块,特征区域定位模块、特征提取模块、图片索引模块、图片上传模块依次连接;其中特征区域定位模块和特征提取模块都包括卡口车辆,车年检标和车前灯三个部位的处理;提取出来的三个部分的特征向量组合作为卡口车辆的特征向量,经过PCA降维后,再经过改进的加权K-means检索算法进行检索,最终将检索到的相似车辆上传。
CN201711393923.8A 2017-12-21 2017-12-21 一种多任务卡口车辆以图搜图的系统及方法 Active CN108171136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711393923.8A CN108171136B (zh) 2017-12-21 2017-12-21 一种多任务卡口车辆以图搜图的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711393923.8A CN108171136B (zh) 2017-12-21 2017-12-21 一种多任务卡口车辆以图搜图的系统及方法

Publications (2)

Publication Number Publication Date
CN108171136A true CN108171136A (zh) 2018-06-15
CN108171136B CN108171136B (zh) 2020-12-15

Family

ID=62522965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711393923.8A Active CN108171136B (zh) 2017-12-21 2017-12-21 一种多任务卡口车辆以图搜图的系统及方法

Country Status (1)

Country Link
CN (1) CN108171136B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190687A (zh) * 2018-08-16 2019-01-11 新智数字科技有限公司 一种神经网络系统及其识别车辆属性的方法
CN109508731A (zh) * 2018-10-09 2019-03-22 中山大学 一种基于融合特征的车辆重识别方法、系统及装置
CN109558823A (zh) * 2018-11-22 2019-04-02 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
CN109583332A (zh) * 2018-11-15 2019-04-05 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
CN109800321A (zh) * 2018-12-24 2019-05-24 银江股份有限公司 一种卡口图像车辆检索方法及系统
CN110198473A (zh) * 2019-06-10 2019-09-03 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN110222775A (zh) * 2019-06-10 2019-09-10 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110275936A (zh) * 2019-05-09 2019-09-24 浙江工业大学 一种基于自编码神经网络的相似法律案例检索方法
CN110532904A (zh) * 2019-08-13 2019-12-03 桂林电子科技大学 一种车辆识别方法
WO2020062433A1 (zh) * 2018-09-29 2020-04-02 初速度(苏州)科技有限公司 一种神经网络模型训练及通用接地线的检测方法
CN111078946A (zh) * 2019-12-04 2020-04-28 杭州皮克皮克科技有限公司 一种基于多目标区域特征聚合的卡口车辆检索方法及系统
CN111091020A (zh) * 2018-10-22 2020-05-01 百度在线网络技术(北京)有限公司 自动驾驶状态判别方法和装置
CN111626350A (zh) * 2020-05-25 2020-09-04 腾讯科技(深圳)有限公司 目标检测模型训练方法、目标检测方法及装置
CN111914911A (zh) * 2020-07-16 2020-11-10 桂林电子科技大学 一种基于改进深度相对距离学习模型的车辆再识别方法
CN112580569A (zh) * 2020-12-25 2021-03-30 山东旗帜信息有限公司 一种基于多维特征的车辆重识别方法及装置
CN113056743A (zh) * 2018-09-20 2021-06-29 辉达公司 训练神经网络以用于车辆重新识别
CN113326768A (zh) * 2021-05-28 2021-08-31 浙江商汤科技开发有限公司 训练方法、图像特征提取方法、图像识别方法及装置
CN113673668A (zh) * 2020-05-13 2021-11-19 北京君正集成电路股份有限公司 一种车辆检测训练中二级损失函数的计算方法
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质
US11429820B2 (en) * 2018-03-13 2022-08-30 Recogni Inc. Methods for inter-camera recognition of individuals and their properties

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678704A (zh) * 2013-12-30 2014-03-26 北京奇虎科技有限公司 一种基于图片信息的识图方法、系统、设备及装置
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678704A (zh) * 2013-12-30 2014-03-26 北京奇虎科技有限公司 一种基于图片信息的识图方法、系统、设备及装置
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANGWEI CAI: ""Cascade R-CNN: Delving into High Quality Object Detection"", 《ARXIV:1712.00726V1》 *
付海燕: ""基于图像哈希的大规模图像检索方法研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429820B2 (en) * 2018-03-13 2022-08-30 Recogni Inc. Methods for inter-camera recognition of individuals and their properties
CN109190687A (zh) * 2018-08-16 2019-01-11 新智数字科技有限公司 一种神经网络系统及其识别车辆属性的方法
CN113056743A (zh) * 2018-09-20 2021-06-29 辉达公司 训练神经网络以用于车辆重新识别
WO2020062433A1 (zh) * 2018-09-29 2020-04-02 初速度(苏州)科技有限公司 一种神经网络模型训练及通用接地线的检测方法
CN109508731A (zh) * 2018-10-09 2019-03-22 中山大学 一种基于融合特征的车辆重识别方法、系统及装置
CN111091020A (zh) * 2018-10-22 2020-05-01 百度在线网络技术(北京)有限公司 自动驾驶状态判别方法和装置
CN109583332A (zh) * 2018-11-15 2019-04-05 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
CN109583332B (zh) * 2018-11-15 2021-07-27 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
CN109558823A (zh) * 2018-11-22 2019-04-02 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
CN109558823B (zh) * 2018-11-22 2020-11-24 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
CN109800321B (zh) * 2018-12-24 2020-11-10 银江股份有限公司 一种卡口图像车辆检索方法及系统
CN109800321A (zh) * 2018-12-24 2019-05-24 银江股份有限公司 一种卡口图像车辆检索方法及系统
CN110275936A (zh) * 2019-05-09 2019-09-24 浙江工业大学 一种基于自编码神经网络的相似法律案例检索方法
CN110275936B (zh) * 2019-05-09 2021-11-23 浙江工业大学 一种基于自编码神经网络的相似法律案例检索方法
CN110222775A (zh) * 2019-06-10 2019-09-10 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110198473A (zh) * 2019-06-10 2019-09-03 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN110222775B (zh) * 2019-06-10 2021-05-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110198473B (zh) * 2019-06-10 2021-07-20 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN110532904A (zh) * 2019-08-13 2019-12-03 桂林电子科技大学 一种车辆识别方法
CN111078946A (zh) * 2019-12-04 2020-04-28 杭州皮克皮克科技有限公司 一种基于多目标区域特征聚合的卡口车辆检索方法及系统
CN113673668A (zh) * 2020-05-13 2021-11-19 北京君正集成电路股份有限公司 一种车辆检测训练中二级损失函数的计算方法
CN111626350B (zh) * 2020-05-25 2021-05-18 腾讯科技(深圳)有限公司 目标检测模型训练方法、目标检测方法及装置
CN111626350A (zh) * 2020-05-25 2020-09-04 腾讯科技(深圳)有限公司 目标检测模型训练方法、目标检测方法及装置
CN111914911B (zh) * 2020-07-16 2022-04-08 桂林电子科技大学 一种基于改进深度相对距离学习模型的车辆再识别方法
CN111914911A (zh) * 2020-07-16 2020-11-10 桂林电子科技大学 一种基于改进深度相对距离学习模型的车辆再识别方法
CN112580569A (zh) * 2020-12-25 2021-03-30 山东旗帜信息有限公司 一种基于多维特征的车辆重识别方法及装置
CN112580569B (zh) * 2020-12-25 2023-06-09 山东旗帜信息有限公司 一种基于多维特征的车辆重识别方法及装置
CN113326768A (zh) * 2021-05-28 2021-08-31 浙江商汤科技开发有限公司 训练方法、图像特征提取方法、图像识别方法及装置
CN113326768B (zh) * 2021-05-28 2023-12-22 浙江商汤科技开发有限公司 训练方法、图像特征提取方法、图像识别方法及装置
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质
CN113723408B (zh) * 2021-11-02 2022-02-25 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质

Also Published As

Publication number Publication date
CN108171136B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN108171136A (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN108197538A (zh) 一种基于局部特征和深度学习的卡口车辆检索系统及方法
CN107679078B (zh) 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN107247956B (zh) 一种基于网格判断的快速目标检测方法
EP3327583B1 (en) Method and device for searching a target in an image
Liu et al. Deep convolutional neural network based object detector for X-ray baggage security imagery
CN109086792A (zh) 基于检测和识别网络架构的细粒度图像分类方法
CN109271991A (zh) 一种基于深度学习的车牌检测方法
CN108875816A (zh) 融合置信度准则和多样性准则的主动学习样本选择策略
Du et al. Fused deep neural networks for efficient pedestrian detection
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN104504366A (zh) 基于光流特征的笑脸识别系统及方法
CN106815604A (zh) 基于多层信息融合的注视点检测方法
CN105320967A (zh) 基于标签相关性的多标签AdaBoost集成方法
Zhong et al. A comparative study of image classification algorithms for Foraminifera identification
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
Guan et al. Deep learning with MCA-based instance selection and bootstrapping for imbalanced data classification
CN104732246B (zh) 一种半监督协同训练高光谱图像分类方法
CN106570514A (zh) 一种基于词袋模型和支持向量机的汽车轮毂分类方法
Li et al. Incremental learning of infrared vehicle detection method based on SSD
Siddiqui et al. Towards efficient vehicle classification in intelligent transportation systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant