CN107729818A - 一种基于深度学习的多特征融合车辆重识别方法 - Google Patents
一种基于深度学习的多特征融合车辆重识别方法 Download PDFInfo
- Publication number
- CN107729818A CN107729818A CN201710857263.8A CN201710857263A CN107729818A CN 107729818 A CN107729818 A CN 107729818A CN 201710857263 A CN201710857263 A CN 201710857263A CN 107729818 A CN107729818 A CN 107729818A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- car plate
- image
- feature
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Abstract
本发明公开了一种基于深度学习的多特征融合车辆重识别方法,包括五部分内容,分别是训练模型、车牌识别、车辆识别、相似性度量以及可视化。首先,本发明利用大规模车辆数据集进行模型训练,训练采用多损失函数分阶段联合训练策略。然后,对每一张车辆图像进行车牌识别,并根据车牌识别情况生成车牌标识特征向量。同时,利用训练得到的模型提取待分析图像以及查询库内图像的车辆表述性特征与车辆属性特征,并将车辆表述性特征与车牌标识向量融合每张车辆图像的唯一重识别特征向量。在相似性度量阶段,将待分析图像与查询库内图像的重识别特征向量进行相似性度量,锁定符合要求的检索结果,并将其可视化。
Description
技术领域
本发明属于计算机视觉技术领域,更具体的讲,涉及一种基于深度学习的多特征融合车辆重识别方法,是一种基于深度学习特征提取框架且融合了车牌标识特征、车辆全局特征、车辆兴趣区局部特征和车辆属性特征的高精度车辆识别方法。本发明既可以处理无车牌信息车辆图像,亦能提供任意车辆的多种属性信息。
背景技术
视觉跟踪与目标检测是计算机视觉领域内较早开始的研究方向。经过几十年的积累,这两个方向已经取得显著的发展。而关于车辆重识别的相关研究则起步较晚,国内外研究文献也相对较少。所谓车辆重识别技术是指在不同摄像头拍摄下的视频或图像中的车辆进行处理,判断是否为同一车辆对象。因为摄像头的角度、光照、尺寸和清晰度的问题,车辆距离以及行驶角度问题,拍摄环境等无法避免的因素存在,对于车辆重识别技术的发展存在很大的影响。根据目前已有研究方法的研究思路大致可以分为四类,具体如下:
(1)基于纹理特征(BOW-SIFT):车辆重识别技术基于纹理特征进行提取,其中SIFT描述符被提取为车辆的局部纹理特征,BOW模型因为其在NDIR中的准确性和有效性而用于量化特征。
(2)基于颜色功能(BOW-CN):基于颜色功能的重识别技术是一个基准测试方法,它将BOW应用于颜色名称Color Name(CN)功能,能够对户外环境的识别具有有效性和鲁棒性。
(3)利用深层神经网络提取语义特征:目前用于车辆重识别的深度学习框架有AlexNet、GoogLeNet等。深度学习对整个和部分车辆的图像进行训练,以检测车辆的详细属性,例如门的数量,灯的形状,座位数量和车辆类型。可以使用从模型中提取的特征作为语义特征,捕捉到车辆的高级语义信息。
(4)多功能融合:利用多个特征的融合,即颜色,纹理和语义特征的不同组合进行提取和融合。比如AlexNet神经网络和BOW-CN基于颜色功能的融合,或者提出FACT(Fusionof Attributes and Color feaTures)模型使用后融合的方案,用BOW-SIFT,BOW-CN和GoogLeNet分别学习的语义特征获得所有测试图像的匹配程度。
分析上述四种方法,多功能融合类别的方法在准确性及迁移性上普遍领先。因此受到融合思路的启发,本发明设计了车牌标识向量、车辆表述性特征向量以及车型属性特征向量三者融合的车辆重识别方法,不仅可以判定套牌等违规情况,还能获得车辆颜色、品牌、类型等诸多属性信息,同时还可以有效提高监控视频内车辆重识别的准确度。
发明内容
本发明的目的:随着计算机技术及信息科技的发展,城市交通监控系统逐渐普及,监控对象如人、车辆、道路、建筑等目标的研究也吸引了很多目光。为克服现有技术的不足,本发明提供的一种基于深度学习的多特征融合车辆重识别方法,既能够处理存在车牌信息的情况也能处理车牌信息无法获取的情况。同时本发明针对车牌信息和车辆信息的一致性能判定套牌等违章情况,从而实现替代人力进行车辆重识别的操作。不仅如此,本发明还可以为道路监控分析系统提供基础输入。
本发明采用的技术方案为:一种基于深度学习的多特征融合车辆重识别方法,该方法包括训练模型、车牌识别、车辆识别、相似性度量以及可视化五个部分:
步骤(m1)训练模型—利用大规模车辆数据集、本发明提出的深度学习框架和训练策略完成特征提取模型分阶段的训练;
步骤(m2)车牌识别—将车辆的车牌信息作为车辆识别的重要特征,该阶段分为预处理、车牌判别、车牌内容识别三个部分,将车牌识别结果存为车牌标识向量;
步骤(m3)车辆识别—利用步骤(m1)中训练好的特征提取模型提取车辆识别的表述性特征向量和车辆属性特征;
步骤(m4)相似性度量—分别提取待分析图像与车辆查询库内图像的车牌标识向量、车辆识别表述性特征向量,对其进行相似性度量,得到车辆重识别结果;
步骤(m5)可视化—将步骤(4)得到的重识别结果以符合人类视觉理解方式的形式进行可视化。
其中,所述的步骤(m1)包括如下步骤:
(m1.1)加载事先训练好的车辆分类网络模型(vehicle_caffemodel),作为预训练模型;
(m1.2)预处理参与训练的车辆图像rIi,截取每张图像兴趣区,作为局部特征提取的基础输入;
(m1.3)根据步骤(m1.2)提取的兴趣区域位置信息,实现兴趣区池化,从而提取包含车内装饰、环保标识等车辆专属信息的局部特征;
(m1.4)根据本发明设计的深度学习提取框架主干网络,提取全局车辆特征;同时根据分支网络提取车辆属性特征;
(m1.5)分阶段的训练策略依托于多个损失函数,本发明涉及的多分类损失函数分别有局部特征误差loss1、全局特征误差loss2以及车辆属性特征误差loss3;第一阶段计算联合损失误差Union_Loss1,完成全局与局部的训练;第二阶段联合训练全局误差、局部误差以及车辆属性特征误差,该阶段的联合损失误差计算公式详见:
其中,上述两个公式中的权重参数根据实验设定为λ1=0.2,λ2=0.8;α=0.05,β==0.8,γ=-0.15;
(m1.6)在满足迭代终止条件之前,每一个循环通过误差的反向传播更新网络模型参数,直至满足终止条件,得到最终的特征提取模型。
其中,所述的步骤(m2)包括如下步骤:
(m2.1)预处理阶段包括以下步骤:
(r1)首先对车辆图像进行高斯模糊处理,图像rIi则转变为gIi;
(r2)针对高斯处理后的图像gIi,进行灰度化处理,然后经过Sobel算子提取边缘,图像gIi则转变为sIi;
(r3)获得边缘的图像进行二值化,腐蚀膨胀等数学形态处理,并且提取轮廓,从而得到车牌判别的输入;
(m2.2)车牌判别阶段包括以下步骤:
(d1)预处理阶段提取到的矩形框均为候选车牌,对其进行尺寸判别,不符合宽高比和常规面积大小的从候选中删除;
(d2)对(d1)判别后剩余的候选车牌依靠矩形倾斜角进行角度判别,并结合(d1)的尺寸判别评分,得分最高者选定为当前车辆图像的车牌;
(m2.3)车牌内容识别阶段包括以下步骤:
(i1)对识别到的车牌进行灰度、二值化等处理,从而分割出车牌内的所有字符C7={c1,c2,……,c7};
(i2)使用训练好的字符识别BP神经网络对分割后的字符进行识别,并进行二进制编码,连接成车牌标识特征向量;没有车牌或者检测失败的则用特殊标识占位生成特殊的特征向量;生成特征向量的第一位表示车牌信息是否获取成功,1表示成功,0表示失败;提取车牌成功的图像车牌标识特征向量用U(c1),U(c2),……,U(c7)表示,提取车牌失败的图像车牌标识特征向量均用0占位。
其中,所述的步骤(m3)包括如下步骤:
(m3.1)利用步骤(m1)训练提取到的特征提取模型提取全局特征、局部特征以及车辆属性特征;
(m3.2)将步骤(m3.1)提取的全局特征、局部特征与步骤(m2)提取的车牌标识特征向量融合为车辆重识别特征向量;
(m3.3)将步骤(m3.1)提取的车辆属性特征映射为对应的车型和品牌信息,用于后续相似性度量及步骤(m5)的可视化。
其中,所述的步骤(m4)包括如下步骤:
(m4.1)识别步骤(m2)提取到的车牌标识特征向量,是否包含车牌信息;
(m4.2)以图像对为相似性度量输入,当都存在车牌的时候,优先判别车牌是否匹配,不匹配则认为是不同车辆;如果车牌匹配,则匹配车辆特征映射的品牌、车型等属性是否一致,不一致则判定为不同车辆,可以判定为同一车牌不同车辆的违规情况;如果车型判别也通过后,则计算车辆重识别特征向量之间的距离,距离小于预设阈值ε1认定为同一车辆,距离大于预设阈值ε1认定为不同车辆具有相同车牌,记为违规车辆;但凡认定为违规车辆的图像均存储信息并将其作为可视化警报的输入;
(m4.3)如果输入对中存在一张或者两张无车牌标识特征信息,则首先匹配车辆特征映射的车辆属性是否一致,如果不一致则认为是不同车辆;如果一致,则以车辆识别表述性特征相似度作为判定两辆车是否属于同一辆车的依据;当相似度小于预设阈值ε2,则进入待排序列表,并从中选择前N条符合社会条件、物理条件的图像作为最终检索结果。
其中,所述的步骤(m5)包括如下步骤:
(m5.1)步骤(m4.2)提供警报信息的情况下,立即可视化相关车辆在当前查询库内的全部动态信息,并给出醒目警告提示;
(m5.2)全部相似性度量结束后,一次性可视化检索结果,并支持检索结果向数据库内延伸查询,并将查询结果可视化:例如待分析图片IA的检索结果集合为图像集IsetA,IsetA可按相似度、时间先后等不同排序方式可视化,点击任何一张检索结果,则可进一步可视化该图像对应的车辆属性信息及其在数据库内存储的关联信息。
具体的,一种基于深度学习的多特征融合车辆重识别方法,该方法分为训练模型、车牌识别、车辆识别、相似性度量以及结果可视化五个阶段。(1)在训练模型阶段,本发明提出一种融合全局、局部、车辆属性三种特征的网络框架,并利用分阶段训练策略完成特征提取模型的训练;(2)在车牌识别阶段,本发明对车辆图像进行车牌检测、识别,并根据检测是否成功以及成功识别后的字符进行车牌标识特征向量编码;(3)在车辆识别阶段,利用训练模型阶段训练得到的特征模型对图像进行多种特征提取,其中车辆属性特征、全局和局部融合特征依次用于车辆重识别,缩短匹配时间的同时增加准确度,然后车辆属性特征还将用于可视化车辆图像的品牌、车型等多类属性;(4)在相似性度量阶段,本发明主要计算待分析图像与特征库内所有车辆的特征的距离向量,选择特征库里符合要求的车辆作为检索结果,同时判别车牌信息匹配结果与车辆识别结果是否一致,从而得到盗用车牌、套牌等违规信息;(5)在结果可视化阶段,随时根据盗用车牌、套牌等违规信息发出警报类可视化;完成每次检索后,可视化检索结果与其对应车辆的品牌、车型等属性信息,同时根据检索结果在数据库内存储的信息显示所在监控视频内的位置等视觉信息。详细步骤描述如下:
(1)训练模型阶段:首先,本发明加载事先训练好的车辆分类网络模型;然后,预处理参与训练的车辆图像rIi,截取每张图像兴趣区,作为局部特征提取的基础输入;再次,利用改进的多个损失函数实现分阶段的模型训练;最后,在满足迭代终止条件之前,通过每一次误差的反向传播更新网络模型参数,直至得到最终的特征提取模型。
(2)车牌识别阶段:进一步拆分为预处理、车牌判别、车牌识别三个部分:(2.1)预处理阶段,本发明首先对车辆图像进行高斯模糊处理,然后进行灰度化处理、Sobel算子提取边缘,同时对获得边缘的图像进行二值化、腐蚀膨胀等数学形态处理,从而得到车牌判别的输入;(2.2)车牌判别阶段,从步骤(2.1)预处理阶段提取到的矩形框均为候选车牌,对其进行尺寸判别,不符合宽高比和常规面积大小的从候选中删除;并且依靠矩形倾斜角对筛选后的候选车牌进行角度判别,综合两项评分最高者选定为当前车辆图像的车牌;(2.3)车牌内容识别阶段,也是车牌识别的核心内容,首先分割车牌的所有字符C7={c1,c2,……,c7};然后使用训练好的字符识别BP神经网络对分割后的字符进行识别,并进行二进制编码,连接成车牌标识特征向量;没有车牌或者检测失败的则用特殊标识占位生成特殊的特征向量;生成特征向量的第一位表示车牌信息是否获取成功,1表示成功,0表示失败;提取车牌成功的图像车牌标识特征向量后续用U(c1),U(c2),……,U(c7)表示,提取车牌失败的图像车牌标识特征向量后续均用0占位。
(3)车辆识别阶段:本发明利用训练后的特征提取模型提取全局特征、局部特征以及车辆属性特征;融合全局特征、局部特征作为车辆识别的特征;单独提取车辆属性特征并将其映射为对应的车型、品牌信息等属性信息。
(4)相似性度量阶段:本发明首先根据车牌标识特征向量首位标识符判断,车牌是否检测成功;然后以图像对为相似性度量输入,当都存在车牌的时候,优先判别车牌是否匹配,不匹配则认为是不同车辆;如果车牌匹配,则匹配车辆特征映射的品牌、车型等属性是否一致,不一致则判定为不同车辆,可以判定为同一车牌不同车辆的违规情况;如果车型判别也通过后,则计算车辆识别特征向量之间的距离,距离小于预设阈值ε1认定为同一车辆,距离大于预设阈值ε1认定为不同车辆具有相同车牌;但凡认定为违规车辆的图像均存储信息并将其作为可视化警报的输入。如果输入对中存在一张或者两张无车牌标识特征信息,则首先匹配车辆特征映射的车辆属性是否一致,如果不一致则认为是不同车辆;如果一致,则以车辆识别特征相似度作为判定两辆车是否属于同一辆车的依据;当相似度小于预设阈值ε2,则进入待排序列表,并从中选择前N条符合社会条件、物理条件的图像作为最终检索结果。
(5)结果可视化阶段:本发明当接收到上一阶段提供的警报信息时,立即可视化相关车辆在监控网络内的全部动态信息,并给出醒目警告提示;当接收到可视化检索结果时,显示当前待分析车辆图像在当前查询库内的匹配结果,并支持检索结果向数据库存储信息的延伸查询。每完成一次车辆查询均保存必要的中间信息并清空缓存空间。至此,本发明提出的多特征融合的深度学习车辆重识别方法完成了自身的基础任务,存储的全部信息则可以通过接口模式分发给智能监控系统,帮助完成自动化视频内容分析。本发明实现的车辆重识别方法,不仅可以处理车牌拍摄不清、违规套牌等情况,多特征依次匹配的查询方式还能提高时间效率。这使得本发明可以代替传统的人工检索车辆,同时还能为智能分析系统提供基础输入辅助实现全自动监控视频内容分析。
本发明的原理在于:
本发明提出了一种基于深度学习的多特征融合车辆重识别方法。该方法可解决当前监控大数据里的车辆分析问题。同时由于监控数据量增加、智能化分析需求增强的原因,车辆重识别技术才得到关注。该问题与行人重识别问题十分相似,但是在分析策略下存在巨大不同。
首先,行人重识别的研究目标行人属于非刚性形变类物体,而车辆重识别的研究目标车辆则属于刚性物体。研究目标属性的不同决定了方法重点关注的属性不同,因此本方法更关注能够识别车辆品牌、车型以及颜色的车辆属性特征。
其次,与现有车辆识别的方法不同,现有大多数车辆识别方法只关注了车辆的属性信息,这些信息虽然至关重要,但是很难直接在监控智能分析等实际应用中发挥作用。为了弥补该类方法的不足,并将之用于车辆重识别分析,本发明在提取车辆属性特征的同时还利用提出的深度学习网络框架提取车辆全局特征。
再次,本发明发现属于不同车辆但是属于同一车型的错误经常发生在车辆重识别里,比如两辆无法捕捉车牌信息的雪佛兰大黄蜂,尽管可以提取到显著的表述性特征与其它车辆进行区分,但是这两辆车之间却很难区分为不同车辆。这时候,前挡风玻璃上的环保标识、保险标识以及汽车内饰灯等细节将变得不可忽略。为此,本发明为了更好的做好细分类,在框架内加入了兴趣区提取概念,以便获得高区分度的局部特征,将其与全局特征融合,则可以有效解决上述提及的相同车型难以区分的问题。
最后,本发明设计之初分析了大量的车辆图像数据,发现某些摄像头内的视频可以清晰拍摄车辆的车牌信息,这种对车辆重识别有唯一标识作用的信息应该加以利用,为此本发明在提取识别向量的情况下还提取了车牌信息,并将其编码为车牌标识特征向量。该特征向量、车辆属性特征向量与表述性特征共同用于车辆重识别,可以提高车辆识别的准确性;依次递进匹配的方式则在保证高精度的情况下还可以缩短检索时间,适用于大数据量的车辆重识别。
本发明与现有技术相比的优势在于:
1、本发明与现有的多特征融合方法不同之处在于,现有方法大多数融合的传统特征、深度学习特征均属于特征识别。而忽略了车辆图像自身可以提供的车牌、车型、品牌等属性信息。为此本发明提出的特征融合车辆重识别方法更适合当前监控系统。
2.本发明提出的深度学习网络框架包含多种损失函数,分为为局部特征损失函数、全局特征损失函数以及车辆属性特征损失函数。三种损失函数虽然均使用softmax的多分类损失函数,但是通过调整损失函数权重参数,可以实现多阶段训练。在不同阶段根据使用联合训练的损失函数不同,来提升网络模型的在不同方面的特征提取能力,从而实现最佳的模型表述能力,方便提取具有显著区分度的识别特征向量。
3、本发明提出了兴趣区局部特征与车辆图像全局特征的特征融合,可以有效提高同一款车型分类代表不同车辆情况下车辆重识别的精度。不仅如此,车辆识别特征与车牌标识特征融合的方式,可以有效判别不同车辆挂同一个牌照、或者套牌等违规情况。这些本发明提出的多级特征融合方式可以有效训练特征提取网络,从而提高大规模查询库内的车辆重识别的准确性。同时,车辆属性特征的补充可以映射车辆的品牌、车型等属性信息,使得本发明用于监控视频内容分析更加可靠。
附图说明
图1为本发明提出的应用于监控场景的多特征融合车辆重识别方法的总体示意图;
图2为本发明提取车辆多种特征所设计的深度学习网络框架结构示意图;
图3为本发明车牌识别的流程示意图;
图4为本发明处理可识别车牌信息车辆图像的检索结果示意图;
图5为本发明处理识别不到车牌信息车辆图像的检索结果示意图。
具体实施方式
下面结合附图和实施例对本发明具体步骤进行详细描述。
本发明提出了一种基于深度学习的多特征融合车辆重识别方法。结合图1的方法总体示意图可知,本发明的车辆重识别处理过程主要分为五个部分,分别是训练模型阶段、车牌识别阶段、车辆识别阶段、相似性度量阶段以及结果可视化阶段。
A.训练模型阶段:该阶段训练的模型主要用于提取车辆识别阶段的表述性特征向量,具体步骤如下:
首先,加载事先训练好的车辆分类网络模型,作为本发明使用的预训练模型;
其次,根据图2的本发明提出的网络框架示意图进行分阶段训练,第一阶段训练采用联合全局特征误差与局部特征误差的方式,联合损失误差计算公式如下:
第二阶段采用联合全局特征误差、局部特征误差和车辆属性特征误差的策略,联合损失误差计算公式如下:
其中,局部特征误差为loss1、全局特征误差为loss2以及车辆属性特征误差为loss3;上述两个公式中的权重参数根据实验设定为λ1=0.2,λ2=0.8;α=0.05,β=0.8,γ=0.15。
最后,在达到迭代终止条件之前,不断迭代更新网络参数,直至最后得到训练好的特征提取模型。
B.车牌识别阶段:如图3所示,分为预处理、车牌判别、车牌内容识别三个部分,其中车牌内容识别可以看做是车牌识别的关键,每一步包含多种视觉处理算法,具体内容如下:
首先,对车辆图像做模糊处理,为Sobel算子提取边缘时去除噪声的干扰。后续在对高斯模糊后的图像进行灰度化处理。在得到的图像上利用Sobel算子进行边缘提取,方便二值化、数学形态处理,以便锁定当前车辆图像内所有候选的车牌区域。
其次,对上一步提取的外接矩阵进行判断,确定是否为候选车牌的矩阵。中国车牌大小为440mm*140mm,宽高比为3.14,所以要判断矩阵是否为车牌矩阵必须要满足两个条件:(a)宽高比,设置一个偏差率,并根据偏差率计算最大和最小的宽高比,判断提取到矩阵的宽高比是否满足此范围;(2)矩阵面积,判断矩阵的面积是否满足面积最大值和面积最小值之间。除此之外,还需设计一个倾斜角度最大值,对于提取到的矩阵的倾斜角度作分析,从而实现车牌的判别。
最后,对锁定的车牌进行灰度化、二值化以获得车牌上的字符;在利用垂直面积投影法分割字符,送入字符识别BP神经网络进行字符识别;识别到车牌的图像车牌标识特征向量的第一位填写1,车牌识别不到的图像车牌标识特征向量的第一位填写0;前者的后续特征向量用U(c1),U(c2),……,U(c7)表示,后者则用全0占位,从而实现车牌标识特征向量的提取。
C.车辆识别阶段主要用于提取车辆识别的特征,该特征由3部分组成,分别是车牌识别阶段提取的车牌标识特征向量、本阶段提取的车辆表述性特征和车辆属性特征向量。车牌标识特征向量以及车辆表述性特征向量组成图像的重识别特征向量用于车辆重识别,车辆属性特征向量则用于可视化显示不同图像的多种属性,具体细节如下:
首先,如图2所示的模型提取框架,不仅用于训练特征提取模型,也用于车辆特征的提取,利用原图截取的兴趣区有利于区分同一款车型的不同车辆,这部分特征成为局部特征flocal(Ii);
其次,网络框架的核心网络用于提取车辆图像的全局特征fglobal(Ii);该特征与局部特征flocal(Ii)融合成为车辆图像的识别特征fr(Ii);
最后,提取上述两种特征的同时,提取车辆属性特征fv(Ii),该特征用于可视化当前车辆的颜色、品牌以及车型。
D.相似性度量阶段的步骤为:
首先,将监控视频采集到的所有车辆图像定为查询库,批量提取车牌标识特征向量和车辆表述性特征向量,并将两者融合存储到特征库内fr(Igallery),以备计算与待分析图像之间的相似性;
其次,与上一步类似,根据任务需求提取待分析车辆图像的特征向量fr(Iquery);
最后,计算待分析车辆图像特征fr(Iquery)与特征库中所有特征fr(Igallery)之间的距离,从而得到检索结果,为可视化提供输入。
结果可视化阶段主要提供两种可视化服务,第一种为车牌标识特征向量相同但是识别特征向量距离差异大的情况,发出警报,认定为套牌等违规情况;第二种则是在完成待分析图像在当前监控网络内的所有重识别查询后,根据查询检索结果可视化相应的匹配图像,并支持点击匹配图像以获得对应的数据库内关联信息。如图4所示,展示了本发明提出的多特征融合车辆重识别方法处理车牌可识别车辆图像的可视化结果;图5则展示了本发明提出方法处理车牌无法识别情况下车辆重识别的可视化结果。
Claims (6)
1.一种基于深度学习的多特征融合车辆重识别方法,其特征在于:该方法包括训练模型、车牌识别、车辆识别、相似性度量以及可视化五个部分:
步骤(m1)训练模型—利用大规模车辆数据集、深度学习框架和训练策略完成特征提取模型分阶段的训练;
步骤(m2)车牌识别—将车辆的车牌信息作为车辆识别的重要特征,该阶段分为预处理、车牌判别、车牌内容识别三个部分,将车牌识别结果存为车牌标识向量;
步骤(m3)车辆识别—利用步骤(m1)中训练好的特征提取模型提取车辆识别的表述性特征向量和车辆属性特征;
步骤(m4)相似性度量—分别提取待分析图像与车辆查询库内图像的车牌标识向量、车辆识别表述性特征向量,对其进行相似性度量,得到车辆重识别结果;
步骤(m5)可视化—将步骤(4)得到的重识别结果以符合人类视觉理解方式的形式进行可视化。
2.根据权利要求1所述的一种基于深度学习的多特征融合车辆重识别方法,其特征在于:所述的步骤(m1)包括如下步骤:
(m1.1)加载事先训练好的车辆分类网络模型(vehicle_caffemodel),作为预训练模型;
(m1.2)预处理参与训练的车辆图像rIi,截取每张图像兴趣区,作为局部特征提取的基础输入;
(m1.3)根据步骤(m1.2)提取的兴趣区域位置信息,实现兴趣区池化,从而提取包含车内装饰、环保标识等车辆专属信息的局部特征;
(m1.4)根据深度学习提取框架主干网络,提取全局车辆特征;同时根据分支网络提取车辆属性特征;
(m1.5)分阶段的训练策略依托于多个损失函数,多分类损失函数分别有局部特征误差loss1、全局特征误差loss2以及车辆属性特征误差loss3;第一阶段计算联合损失误差Union_Loss1,完成全局与局部的训练;第二阶段联合训练全局误差、局部误差以及车辆属性特征误差,该阶段的联合损失误差计算公式详见:
<mrow>
<mi>U</mi>
<mi>n</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
<mo>_</mo>
<msub>
<mi>Loss</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>&lambda;</mi>
<mn>1</mn>
</msub>
<msub>
<mi>loss</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>2</mn>
</msub>
<msub>
<mi>loss</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>U</mi>
<mi>n</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
<mo>_</mo>
<msub>
<mi>Loss</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>&alpha;loss</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&beta;loss</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&gamma;loss</mi>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中,上述两个公式中的权重参数根据实验设定为λ1=0.2,λ2=0.8;α=0.05,β=0.8,γ=0.15;
(m1.6)在满足迭代终止条件之前,每一个循环通过误差的反向传播更新网络模型参数,直至满足终止条件,得到最终的特征提取模型。
3.根据权利要求1所述的一种基于深度学习的多特征融合车辆重识别方法,其特征在于:所述的步骤(m2)包括如下步骤:
(m2.1)预处理阶段包括以下步骤:
(r1)首先对车辆图像进行高斯模糊处理,图像rIi则转变为gIi;
(r2)针对高斯处理后的图像gIi,进行灰度化处理,然后经过Sobel算子提取边缘,图像gIi则转变为sIi;
(r3)获得边缘的图像进行二值化,腐蚀膨胀等数学形态处理,并且提取轮廓,从而得到车牌判别的输入;
(m2.2)车牌判别阶段包括以下步骤:
(d1)预处理阶段提取到的矩形框均为候选车牌,对其进行尺寸判别,不符合宽高比和常规面积大小的从候选中删除;
(d2)对(d1)判别后剩余的候选车牌依靠矩形倾斜角进行角度判别,并结合(d1)的尺寸判别评分,得分最高者选定为当前车辆图像的车牌;
(m2.3)车牌内容识别阶段包括以下步骤:
(i1)对识别到的车牌进行灰度、二值化等处理,从而分割出车牌内的所有字符C7={c1,c2,……,c7};
(i2)使用训练好的字符识别BP神经网络对分割后的字符进行识别,并进行二进制编码,连接成车牌标识特征向量;没有车牌或者检测失败的则用特殊标识占位生成特殊的特征向量;生成特征向量的第一位表示车牌信息是否获取成功,1表示成功,0表示失败;提取车牌成功的图像车牌标识特征向量用U(c1),U(c2),……,U(c7)表示,提取车牌失败的图像车牌标识特征向量均用0占位。
4.根据权利要求1所述的一种基于深度学习的多特征融合车辆重识别方法,其特征在于:所述的步骤(m3)包括如下步骤:
(m3.1)利用步骤(m1)训练提取到的特征提取模型提取全局特征、局部特征以及车辆属性特征;
(m3.2)将步骤(m3.1)提取的全局特征、局部特征与步骤(m2)提取的车牌标识特征向量融合为车辆重识别特征向量;
(m3.3)将步骤(m3.1)提取的车辆属性特征映射为对应的车型和品牌信息,用于后续相似性度量及步骤(m5)的可视化。
5.根据权利要求1所述的一种基于深度学习的多特征融合车辆重识别方法,其特征在于:所述的步骤(m4)包括如下步骤:
(m4.1)识别步骤(m2)提取到的车牌标识特征向量,是否包含车牌信息;
(m4.2)以图像对为相似性度量输入,当都存在车牌的时候,优先判别车牌是否匹配,不匹配则认为是不同车辆;如果车牌匹配,则匹配车辆特征映射的品牌、车型等属性是否一致,不一致则判定为不同车辆,可以判定为同一车牌不同车辆的违规情况;如果车型判别也通过后,则计算车辆重识别特征向量之间的距离,距离小于预设阈值ε1认定为同一车辆,距离大于预设阈值ε1认定为不同车辆具有相同车牌,记为违规车辆;但凡认定为违规车辆的图像均存储信息并将其作为可视化警报的输入;
(m4.3)如果输入对中存在一张或者两张无车牌标识特征信息,则首先匹配车辆特征映射的车辆属性是否一致,如果不一致则认为是不同车辆;如果一致,则以车辆识别表述性特征相似度作为判定两辆车是否属于同一辆车的依据;当相似度小于预设阈值ε2,则进入待排序列表,并从中选择前N条符合社会条件、物理条件的图像作为最终检索结果。
6.根据权利要求1所述的一种基于深度学习的多特征融合车辆重识别方法,其特征在于:所述的步骤(m5)包括如下步骤:
(m5.1)步骤(m4.2)提供警报信息的情况下,立即可视化相关车辆在当前查询库内的全部动态信息,并给出醒目警告提示;
(m5.2)全部相似性度量结束后,一次性可视化检索结果,并支持检索结果向数据库内延伸查询,并将查询结果可视化:待分析图片IA的检索结果集合为图像集IsetA,IsetA可按相似度、时间先后等不同排序方式可视化,点击任何一张检索结果,则可进一步可视化该图像对应的车辆属性信息及其在数据库内存储的关联信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710857263.8A CN107729818B (zh) | 2017-09-21 | 2017-09-21 | 一种基于深度学习的多特征融合车辆重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710857263.8A CN107729818B (zh) | 2017-09-21 | 2017-09-21 | 一种基于深度学习的多特征融合车辆重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107729818A true CN107729818A (zh) | 2018-02-23 |
CN107729818B CN107729818B (zh) | 2020-09-22 |
Family
ID=61207252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710857263.8A Active CN107729818B (zh) | 2017-09-21 | 2017-09-21 | 一种基于深度学习的多特征融合车辆重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107729818B (zh) |
Cited By (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647665A (zh) * | 2018-05-18 | 2018-10-12 | 西安电子科技大学 | 基于深度学习的航拍车辆实时检测方法 |
CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
CN108875754A (zh) * | 2018-05-07 | 2018-11-23 | 华侨大学 | 一种基于多深度特征融合网络的车辆再识别方法 |
CN108875907A (zh) * | 2018-04-23 | 2018-11-23 | 北方工业大学 | 一种基于深度学习的指纹识别方法和装置 |
CN108921850A (zh) * | 2018-04-16 | 2018-11-30 | 博云视觉(北京)科技有限公司 | 一种基于图像分割技术的图像局部特征的提取方法 |
CN109034044A (zh) * | 2018-06-14 | 2018-12-18 | 天津师范大学 | 一种基于融合卷积神经网络的行人再识别方法 |
CN109033950A (zh) * | 2018-06-12 | 2018-12-18 | 浙江工业大学 | 基于多特征融合级联深度模型的车辆违停检测方法 |
CN109063768A (zh) * | 2018-08-01 | 2018-12-21 | 北京旷视科技有限公司 | 车辆重识别方法、装置及系统 |
CN109117831A (zh) * | 2018-09-30 | 2019-01-01 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
CN109145766A (zh) * | 2018-07-27 | 2019-01-04 | 北京旷视科技有限公司 | 模型训练方法、装置、识别方法、电子设备及存储介质 |
CN109145777A (zh) * | 2018-08-01 | 2019-01-04 | 北京旷视科技有限公司 | 车辆重识别方法、装置及系统 |
CN109145759A (zh) * | 2018-07-25 | 2019-01-04 | 腾讯科技(深圳)有限公司 | 车辆属性识别方法、装置、服务器及存储介质 |
CN109165589A (zh) * | 2018-08-14 | 2019-01-08 | 北京颂泽科技有限公司 | 基于深度学习的车辆重识别方法和装置 |
CN109508731A (zh) * | 2018-10-09 | 2019-03-22 | 中山大学 | 一种基于融合特征的车辆重识别方法、系统及装置 |
CN109558823A (zh) * | 2018-11-22 | 2019-04-02 | 北京市首都公路发展集团有限公司 | 一种以图搜图的车辆识别方法及系统 |
CN109583305A (zh) * | 2018-10-30 | 2019-04-05 | 南昌大学 | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 |
CN109740653A (zh) * | 2018-12-25 | 2019-05-10 | 北京航空航天大学 | 一种融合视觉表观与时空约束的车辆再识别方法 |
CN109948587A (zh) * | 2019-03-29 | 2019-06-28 | 清华大学 | 基于高判别力特征挖掘的车辆再识别方法及装置 |
CN109961057A (zh) * | 2019-04-03 | 2019-07-02 | 罗克佳华科技集团股份有限公司 | 一种车辆位置获得方法及装置 |
CN109993070A (zh) * | 2019-03-13 | 2019-07-09 | 华南理工大学 | 一种基于全局距离尺度损失函数的行人再识别方法 |
CN110046303A (zh) * | 2019-04-09 | 2019-07-23 | 有光创新(北京)信息技术有限公司 | 一种基于需求匹配平台实现的信息推荐方法及装置 |
CN110084139A (zh) * | 2019-04-04 | 2019-08-02 | 长沙千视通智能科技有限公司 | 一种基于多分支深度学习的车辆重识别方法 |
CN110135470A (zh) * | 2019-04-24 | 2019-08-16 | 电子科技大学 | 一种基于多模态车辆特征识别的车辆特征融合系统 |
CN110321862A (zh) * | 2019-07-09 | 2019-10-11 | 天津师范大学 | 一种基于紧致三元损失的行人再识别方法 |
CN110378236A (zh) * | 2019-06-20 | 2019-10-25 | 西安电子科技大学 | 基于深度学习的车辆身份识别模型构建、识别方法和系统 |
CN110458086A (zh) * | 2019-08-07 | 2019-11-15 | 北京百度网讯科技有限公司 | 车辆重识别方法及装置 |
CN110532904A (zh) * | 2019-08-13 | 2019-12-03 | 桂林电子科技大学 | 一种车辆识别方法 |
CN110598033A (zh) * | 2019-08-14 | 2019-12-20 | 中国平安财产保险股份有限公司 | 智能自核验车方法、装置及计算机可读存储介质 |
CN110619280A (zh) * | 2019-08-23 | 2019-12-27 | 长沙千视通智能科技有限公司 | 一种基于深度联合判别学习的车辆重识别方法及装置 |
CN110738146A (zh) * | 2019-09-27 | 2020-01-31 | 华中科技大学 | 一种目标重识别神经网络及其构建方法和应用 |
CN110765954A (zh) * | 2019-10-24 | 2020-02-07 | 浙江大华技术股份有限公司 | 一种车辆重识别方法、设备及存储装置 |
WO2020047907A1 (zh) * | 2018-09-07 | 2020-03-12 | 佳都新太科技股份有限公司 | 一种漏检车牌预测方法及处理终端 |
CN111222409A (zh) * | 2019-11-26 | 2020-06-02 | 北京迈格威科技有限公司 | 车辆品牌的标注方法、装置及系统 |
CN111241893A (zh) * | 2018-11-29 | 2020-06-05 | 阿里巴巴集团控股有限公司 | 一种标识识别方法、装置及系统 |
CN111274422A (zh) * | 2018-12-04 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 模型训练方法、图像特征提取方法、装置及电子设备 |
CN111291722A (zh) * | 2020-03-10 | 2020-06-16 | 无锡物联网创新中心有限公司 | 一种基于v2i技术的车辆重识别系统 |
US20200202709A1 (en) * | 2018-12-19 | 2020-06-25 | Sony Corporation | Vehicle identification for smart patrolling |
CN111486893A (zh) * | 2020-04-07 | 2020-08-04 | 中铁西南科学研究院有限公司 | 一种桥梁结构健康监测与预警系统及预警方法 |
CN111539337A (zh) * | 2020-04-26 | 2020-08-14 | 上海眼控科技股份有限公司 | 车辆姿态矫正方法、装置及设备 |
CN111783654A (zh) * | 2020-06-30 | 2020-10-16 | 苏州科达科技股份有限公司 | 车辆重识别方法、装置及电子设备 |
CN111837156A (zh) * | 2018-06-18 | 2020-10-27 | 因塞普森人工智能研究所 | 利用神经网络进行图像分析、视点感知模式识别以及生成多视图车辆表示的车辆重识别技术 |
CN111931627A (zh) * | 2020-08-05 | 2020-11-13 | 智慧互通科技有限公司 | 一种基于多模态信息融合的车辆再识别方法及装置 |
CN112071076A (zh) * | 2020-08-25 | 2020-12-11 | 浙江省机电设计研究院有限公司 | 一种高速公路车辆唯一标识特征提取方法及系统 |
CN112200193A (zh) * | 2020-12-03 | 2021-01-08 | 中国科学院自动化研究所 | 基于多属性融合的分布式车牌识别方法、系统、装置 |
CN112215180A (zh) * | 2020-10-20 | 2021-01-12 | 腾讯科技(深圳)有限公司 | 一种活体检测方法及装置 |
CN112560932A (zh) * | 2020-12-10 | 2021-03-26 | 山东建筑大学 | 一种基于双分支网络特征融合的车辆重识别方法 |
CN112966736A (zh) * | 2021-03-03 | 2021-06-15 | 北京航空航天大学 | 一种基于多视角匹配与局部特征融合的车辆再识别方法 |
CN113191436A (zh) * | 2021-05-07 | 2021-07-30 | 广州博士信息技术研究院有限公司 | 一种人才图像标签识别方法、系统及云平台 |
CN113312508A (zh) * | 2021-06-24 | 2021-08-27 | 深圳市商汤科技有限公司 | 一种车辆图像检索方法及装置 |
CN113610114A (zh) * | 2021-07-09 | 2021-11-05 | 广州大学 | 一种车辆重识别方法、系统、计算机设备和存储介质 |
CN113657378A (zh) * | 2021-07-28 | 2021-11-16 | 讯飞智元信息科技有限公司 | 车辆跟踪方法、车辆跟踪系统和计算设备 |
CN113657395A (zh) * | 2021-08-17 | 2021-11-16 | 北京百度网讯科技有限公司 | 文本识别方法、视觉特征提取模型的训练方法及装置 |
CN113723232A (zh) * | 2021-08-16 | 2021-11-30 | 绍兴市北大信息技术科创中心 | 一种根据通道协同注意力的车辆重识别方法 |
CN114067293A (zh) * | 2022-01-17 | 2022-02-18 | 武汉珞信科技有限公司 | 基于双重属性的车辆重识别重排列方法、系统及电子设备 |
CN114565820A (zh) * | 2022-03-01 | 2022-05-31 | 中科海慧(北京)科技有限公司 | 一种基于时空大数据分析的矿产样本识别系统 |
CN114627394A (zh) * | 2022-05-16 | 2022-06-14 | 深圳联和智慧科技有限公司 | 一种基于无人机的渣土车套牌识别方法及系统 |
CN115171092A (zh) * | 2022-09-08 | 2022-10-11 | 松立控股集团股份有限公司 | 一种基于语义增强的端到端车牌检测方法 |
CN115641729A (zh) * | 2022-12-07 | 2023-01-24 | 创辉达设计股份有限公司 | 一种高速行驶车辆信息抽取方法及系统 |
CN116052095A (zh) * | 2023-03-31 | 2023-05-02 | 松立控股集团股份有限公司 | 一种用于智慧城市全景视频监控的车辆重识别方法 |
CN116403171A (zh) * | 2023-06-08 | 2023-07-07 | 松立控股集团股份有限公司 | 一种车辆重识别方法、系统及电子设备 |
CN116503848A (zh) * | 2023-06-27 | 2023-07-28 | 深圳市前海铼停科技有限公司 | 车牌的智能识别方法、装置、设备及存储介质 |
CN117037502A (zh) * | 2023-10-09 | 2023-11-10 | 中关村科学城城市大脑股份有限公司 | 车辆处理信息生成方法、装置、设备和计算机可读介质 |
CN113657378B (zh) * | 2021-07-28 | 2024-04-26 | 讯飞智元信息科技有限公司 | 车辆跟踪方法、车辆跟踪系统和计算设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218621A (zh) * | 2013-04-21 | 2013-07-24 | 北京航空航天大学 | 一种室外视频监控中多尺度车辆的识别方法 |
US9436895B1 (en) * | 2015-04-03 | 2016-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining similarity of objects represented in images |
CN106128113A (zh) * | 2016-08-01 | 2016-11-16 | 深圳市永兴元科技有限公司 | 套牌车辆的识别方法及装置 |
CN104102909B (zh) * | 2014-07-23 | 2017-03-15 | 中科联合自动化科技无锡有限公司 | 基于多重视觉信息的车辆特征定位及匹配方法 |
CN106845480A (zh) * | 2017-01-13 | 2017-06-13 | 河海大学 | 一种从图片中识别车牌的方法 |
CN107145826A (zh) * | 2017-04-01 | 2017-09-08 | 浙江大学 | 基于双约束度量学习和样本重排序的行人再识别方法 |
-
2017
- 2017-09-21 CN CN201710857263.8A patent/CN107729818B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218621A (zh) * | 2013-04-21 | 2013-07-24 | 北京航空航天大学 | 一种室外视频监控中多尺度车辆的识别方法 |
CN104102909B (zh) * | 2014-07-23 | 2017-03-15 | 中科联合自动化科技无锡有限公司 | 基于多重视觉信息的车辆特征定位及匹配方法 |
US9436895B1 (en) * | 2015-04-03 | 2016-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining similarity of objects represented in images |
CN106128113A (zh) * | 2016-08-01 | 2016-11-16 | 深圳市永兴元科技有限公司 | 套牌车辆的识别方法及装置 |
CN106845480A (zh) * | 2017-01-13 | 2017-06-13 | 河海大学 | 一种从图片中识别车牌的方法 |
CN107145826A (zh) * | 2017-04-01 | 2017-09-08 | 浙江大学 | 基于双约束度量学习和样本重排序的行人再识别方法 |
Non-Patent Citations (2)
Title |
---|
WEI LI ETAL.: "Person Re-Identification by Deep Joint Learning of Multi-Loss Classification", 《HTTPS://ARXIV:1705.04724V2》 * |
彭春柳: "基于多特征融合的车辆检索", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921850A (zh) * | 2018-04-16 | 2018-11-30 | 博云视觉(北京)科技有限公司 | 一种基于图像分割技术的图像局部特征的提取方法 |
CN108921850B (zh) * | 2018-04-16 | 2022-05-17 | 博云视觉(北京)科技有限公司 | 一种基于图像分割技术的图像局部特征的提取方法 |
CN108875907B (zh) * | 2018-04-23 | 2022-02-18 | 北方工业大学 | 一种基于深度学习的指纹识别方法和装置 |
CN108875907A (zh) * | 2018-04-23 | 2018-11-23 | 北方工业大学 | 一种基于深度学习的指纹识别方法和装置 |
CN108875754A (zh) * | 2018-05-07 | 2018-11-23 | 华侨大学 | 一种基于多深度特征融合网络的车辆再识别方法 |
CN108875754B (zh) * | 2018-05-07 | 2022-04-05 | 华侨大学 | 一种基于多深度特征融合网络的车辆再识别方法 |
CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
CN108647665A (zh) * | 2018-05-18 | 2018-10-12 | 西安电子科技大学 | 基于深度学习的航拍车辆实时检测方法 |
CN109033950A (zh) * | 2018-06-12 | 2018-12-18 | 浙江工业大学 | 基于多特征融合级联深度模型的车辆违停检测方法 |
CN109033950B (zh) * | 2018-06-12 | 2020-07-17 | 浙江工业大学 | 基于多特征融合级联深度模型的车辆违停检测方法 |
CN109034044B (zh) * | 2018-06-14 | 2022-04-05 | 天津师范大学 | 一种基于融合卷积神经网络的行人再识别方法 |
CN109034044A (zh) * | 2018-06-14 | 2018-12-18 | 天津师范大学 | 一种基于融合卷积神经网络的行人再识别方法 |
CN111837156A (zh) * | 2018-06-18 | 2020-10-27 | 因塞普森人工智能研究所 | 利用神经网络进行图像分析、视点感知模式识别以及生成多视图车辆表示的车辆重识别技术 |
CN109145759A (zh) * | 2018-07-25 | 2019-01-04 | 腾讯科技(深圳)有限公司 | 车辆属性识别方法、装置、服务器及存储介质 |
CN109145759B (zh) * | 2018-07-25 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 车辆属性识别方法、装置、服务器及存储介质 |
CN109145766A (zh) * | 2018-07-27 | 2019-01-04 | 北京旷视科技有限公司 | 模型训练方法、装置、识别方法、电子设备及存储介质 |
CN109145766B (zh) * | 2018-07-27 | 2021-03-23 | 北京旷视科技有限公司 | 模型训练方法、装置、识别方法、电子设备及存储介质 |
CN109145777A (zh) * | 2018-08-01 | 2019-01-04 | 北京旷视科技有限公司 | 车辆重识别方法、装置及系统 |
CN109063768A (zh) * | 2018-08-01 | 2018-12-21 | 北京旷视科技有限公司 | 车辆重识别方法、装置及系统 |
CN109165589A (zh) * | 2018-08-14 | 2019-01-08 | 北京颂泽科技有限公司 | 基于深度学习的车辆重识别方法和装置 |
WO2020047907A1 (zh) * | 2018-09-07 | 2020-03-12 | 佳都新太科技股份有限公司 | 一种漏检车牌预测方法及处理终端 |
CN109117831A (zh) * | 2018-09-30 | 2019-01-01 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
CN109117831B (zh) * | 2018-09-30 | 2021-10-12 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
CN109508731A (zh) * | 2018-10-09 | 2019-03-22 | 中山大学 | 一种基于融合特征的车辆重识别方法、系统及装置 |
CN109583305B (zh) * | 2018-10-30 | 2022-05-20 | 南昌大学 | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 |
CN109583305A (zh) * | 2018-10-30 | 2019-04-05 | 南昌大学 | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 |
CN109558823A (zh) * | 2018-11-22 | 2019-04-02 | 北京市首都公路发展集团有限公司 | 一种以图搜图的车辆识别方法及系统 |
CN111241893A (zh) * | 2018-11-29 | 2020-06-05 | 阿里巴巴集团控股有限公司 | 一种标识识别方法、装置及系统 |
CN111241893B (zh) * | 2018-11-29 | 2023-06-16 | 阿里巴巴集团控股有限公司 | 一种标识识别方法、装置及系统 |
CN111274422A (zh) * | 2018-12-04 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 模型训练方法、图像特征提取方法、装置及电子设备 |
US20200202709A1 (en) * | 2018-12-19 | 2020-06-25 | Sony Corporation | Vehicle identification for smart patrolling |
US11037440B2 (en) * | 2018-12-19 | 2021-06-15 | Sony Group Corporation | Vehicle identification for smart patrolling |
CN109740653A (zh) * | 2018-12-25 | 2019-05-10 | 北京航空航天大学 | 一种融合视觉表观与时空约束的车辆再识别方法 |
CN109740653B (zh) * | 2018-12-25 | 2020-10-09 | 北京航空航天大学 | 一种融合视觉表观与时空约束的车辆再识别方法 |
CN109993070B (zh) * | 2019-03-13 | 2021-06-08 | 华南理工大学 | 一种基于全局距离尺度损失函数的行人再识别方法 |
CN109993070A (zh) * | 2019-03-13 | 2019-07-09 | 华南理工大学 | 一种基于全局距离尺度损失函数的行人再识别方法 |
CN109948587A (zh) * | 2019-03-29 | 2019-06-28 | 清华大学 | 基于高判别力特征挖掘的车辆再识别方法及装置 |
CN109948587B (zh) * | 2019-03-29 | 2021-06-08 | 清华大学 | 基于高判别力特征挖掘的车辆再识别方法及装置 |
CN109961057A (zh) * | 2019-04-03 | 2019-07-02 | 罗克佳华科技集团股份有限公司 | 一种车辆位置获得方法及装置 |
CN110084139A (zh) * | 2019-04-04 | 2019-08-02 | 长沙千视通智能科技有限公司 | 一种基于多分支深度学习的车辆重识别方法 |
CN110084139B (zh) * | 2019-04-04 | 2021-02-26 | 长沙千视通智能科技有限公司 | 一种基于多分支深度学习的车辆重识别方法 |
CN110046303A (zh) * | 2019-04-09 | 2019-07-23 | 有光创新(北京)信息技术有限公司 | 一种基于需求匹配平台实现的信息推荐方法及装置 |
CN110135470A (zh) * | 2019-04-24 | 2019-08-16 | 电子科技大学 | 一种基于多模态车辆特征识别的车辆特征融合系统 |
CN110378236A (zh) * | 2019-06-20 | 2019-10-25 | 西安电子科技大学 | 基于深度学习的车辆身份识别模型构建、识别方法和系统 |
CN110378236B (zh) * | 2019-06-20 | 2023-04-07 | 西安电子科技大学 | 基于深度学习的车辆身份识别模型构建、识别方法和系统 |
CN110321862A (zh) * | 2019-07-09 | 2019-10-11 | 天津师范大学 | 一种基于紧致三元损失的行人再识别方法 |
CN110458086A (zh) * | 2019-08-07 | 2019-11-15 | 北京百度网讯科技有限公司 | 车辆重识别方法及装置 |
CN110532904A (zh) * | 2019-08-13 | 2019-12-03 | 桂林电子科技大学 | 一种车辆识别方法 |
CN110598033A (zh) * | 2019-08-14 | 2019-12-20 | 中国平安财产保险股份有限公司 | 智能自核验车方法、装置及计算机可读存储介质 |
CN110619280A (zh) * | 2019-08-23 | 2019-12-27 | 长沙千视通智能科技有限公司 | 一种基于深度联合判别学习的车辆重识别方法及装置 |
CN110619280B (zh) * | 2019-08-23 | 2022-05-24 | 长沙千视通智能科技有限公司 | 一种基于深度联合判别学习的车辆重识别方法及装置 |
CN110738146B (zh) * | 2019-09-27 | 2020-11-17 | 华中科技大学 | 一种目标重识别神经网络及其构建方法和应用 |
CN110738146A (zh) * | 2019-09-27 | 2020-01-31 | 华中科技大学 | 一种目标重识别神经网络及其构建方法和应用 |
CN110765954A (zh) * | 2019-10-24 | 2020-02-07 | 浙江大华技术股份有限公司 | 一种车辆重识别方法、设备及存储装置 |
CN111222409A (zh) * | 2019-11-26 | 2020-06-02 | 北京迈格威科技有限公司 | 车辆品牌的标注方法、装置及系统 |
CN111291722A (zh) * | 2020-03-10 | 2020-06-16 | 无锡物联网创新中心有限公司 | 一种基于v2i技术的车辆重识别系统 |
CN111486893A (zh) * | 2020-04-07 | 2020-08-04 | 中铁西南科学研究院有限公司 | 一种桥梁结构健康监测与预警系统及预警方法 |
CN111539337A (zh) * | 2020-04-26 | 2020-08-14 | 上海眼控科技股份有限公司 | 车辆姿态矫正方法、装置及设备 |
CN111783654A (zh) * | 2020-06-30 | 2020-10-16 | 苏州科达科技股份有限公司 | 车辆重识别方法、装置及电子设备 |
CN111931627A (zh) * | 2020-08-05 | 2020-11-13 | 智慧互通科技有限公司 | 一种基于多模态信息融合的车辆再识别方法及装置 |
WO2022027873A1 (zh) * | 2020-08-05 | 2022-02-10 | 智慧互通科技有限公司 | 基于多模态信息融合的车辆再识别方法及装置 |
CN112071076A (zh) * | 2020-08-25 | 2020-12-11 | 浙江省机电设计研究院有限公司 | 一种高速公路车辆唯一标识特征提取方法及系统 |
CN112215180A (zh) * | 2020-10-20 | 2021-01-12 | 腾讯科技(深圳)有限公司 | 一种活体检测方法及装置 |
CN112200193A (zh) * | 2020-12-03 | 2021-01-08 | 中国科学院自动化研究所 | 基于多属性融合的分布式车牌识别方法、系统、装置 |
CN112200193B (zh) * | 2020-12-03 | 2021-03-16 | 中国科学院自动化研究所 | 基于多属性融合的分布式车牌识别方法、系统、装置 |
CN112560932A (zh) * | 2020-12-10 | 2021-03-26 | 山东建筑大学 | 一种基于双分支网络特征融合的车辆重识别方法 |
CN112966736A (zh) * | 2021-03-03 | 2021-06-15 | 北京航空航天大学 | 一种基于多视角匹配与局部特征融合的车辆再识别方法 |
CN113191436A (zh) * | 2021-05-07 | 2021-07-30 | 广州博士信息技术研究院有限公司 | 一种人才图像标签识别方法、系统及云平台 |
CN113312508A (zh) * | 2021-06-24 | 2021-08-27 | 深圳市商汤科技有限公司 | 一种车辆图像检索方法及装置 |
CN113610114B (zh) * | 2021-07-09 | 2023-08-08 | 广州大学 | 一种车辆重识别方法、系统、计算机设备和存储介质 |
CN113610114A (zh) * | 2021-07-09 | 2021-11-05 | 广州大学 | 一种车辆重识别方法、系统、计算机设备和存储介质 |
CN113657378B (zh) * | 2021-07-28 | 2024-04-26 | 讯飞智元信息科技有限公司 | 车辆跟踪方法、车辆跟踪系统和计算设备 |
CN113657378A (zh) * | 2021-07-28 | 2021-11-16 | 讯飞智元信息科技有限公司 | 车辆跟踪方法、车辆跟踪系统和计算设备 |
CN113723232A (zh) * | 2021-08-16 | 2021-11-30 | 绍兴市北大信息技术科创中心 | 一种根据通道协同注意力的车辆重识别方法 |
CN113657395A (zh) * | 2021-08-17 | 2021-11-16 | 北京百度网讯科技有限公司 | 文本识别方法、视觉特征提取模型的训练方法及装置 |
CN113657395B (zh) * | 2021-08-17 | 2024-02-13 | 北京百度网讯科技有限公司 | 文本识别方法、视觉特征提取模型的训练方法及装置 |
CN114067293B (zh) * | 2022-01-17 | 2022-04-22 | 武汉珞信科技有限公司 | 基于双重属性的车辆重识别重排列方法、系统及电子设备 |
CN114067293A (zh) * | 2022-01-17 | 2022-02-18 | 武汉珞信科技有限公司 | 基于双重属性的车辆重识别重排列方法、系统及电子设备 |
CN114565820A (zh) * | 2022-03-01 | 2022-05-31 | 中科海慧(北京)科技有限公司 | 一种基于时空大数据分析的矿产样本识别系统 |
CN114627394A (zh) * | 2022-05-16 | 2022-06-14 | 深圳联和智慧科技有限公司 | 一种基于无人机的渣土车套牌识别方法及系统 |
CN115171092B (zh) * | 2022-09-08 | 2022-11-18 | 松立控股集团股份有限公司 | 一种基于语义增强的端到端车牌检测方法 |
CN115171092A (zh) * | 2022-09-08 | 2022-10-11 | 松立控股集团股份有限公司 | 一种基于语义增强的端到端车牌检测方法 |
CN115641729A (zh) * | 2022-12-07 | 2023-01-24 | 创辉达设计股份有限公司 | 一种高速行驶车辆信息抽取方法及系统 |
CN115641729B (zh) * | 2022-12-07 | 2023-09-22 | 创辉达设计股份有限公司 | 一种高速行驶车辆信息抽取方法及系统 |
CN116052095B (zh) * | 2023-03-31 | 2023-06-16 | 松立控股集团股份有限公司 | 一种用于智慧城市全景视频监控的车辆重识别方法 |
CN116052095A (zh) * | 2023-03-31 | 2023-05-02 | 松立控股集团股份有限公司 | 一种用于智慧城市全景视频监控的车辆重识别方法 |
CN116403171B (zh) * | 2023-06-08 | 2023-09-01 | 松立控股集团股份有限公司 | 一种车辆重识别方法、系统及电子设备 |
CN116403171A (zh) * | 2023-06-08 | 2023-07-07 | 松立控股集团股份有限公司 | 一种车辆重识别方法、系统及电子设备 |
CN116503848A (zh) * | 2023-06-27 | 2023-07-28 | 深圳市前海铼停科技有限公司 | 车牌的智能识别方法、装置、设备及存储介质 |
CN116503848B (zh) * | 2023-06-27 | 2023-10-03 | 深圳市前海铼停科技有限公司 | 车牌的智能识别方法、装置、设备及存储介质 |
CN117037502A (zh) * | 2023-10-09 | 2023-11-10 | 中关村科学城城市大脑股份有限公司 | 车辆处理信息生成方法、装置、设备和计算机可读介质 |
CN117037502B (zh) * | 2023-10-09 | 2023-12-22 | 中关村科学城城市大脑股份有限公司 | 车辆处理信息生成方法、装置、设备和计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107729818B (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107729818A (zh) | 一种基于深度学习的多特征融合车辆重识别方法 | |
CN109816024B (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
Li et al. | Traffic light recognition for complex scene with fusion detections | |
CN109284669A (zh) | 基于Mask RCNN的行人检测方法 | |
De Charette et al. | Real time visual traffic lights recognition based on spot light detection and adaptive traffic lights templates | |
CN105373794B (zh) | 一种车牌识别方法 | |
CN105809121A (zh) | 多特征协同的交通标志检测与识别方法 | |
CN103020623B (zh) | 交通标志检测方法和交通标志检测设备 | |
CN104063712B (zh) | 一种车辆信息提取方法和系统 | |
CN109753949B (zh) | 一种基于深度学习的多视窗交通标志检测方法 | |
CN108960055B (zh) | 一种基于局部线段模式特征的车道线检测方法 | |
CN103106265B (zh) | 相似图像分类方法及系统 | |
CN107273896A (zh) | 一种基于图像识别的车牌检测识别方法 | |
de Saint Blancard | Road sign recognition: A study of vision-based decision making for road environment recognition | |
CN109447018A (zh) | 一种基于改进Faster R-CNN的道路环境视觉感知方法 | |
CN109670376A (zh) | 车道线识别方法及系统 | |
CN108009518A (zh) | 一种基于快速二分卷积神经网络的层次化交通标识识别方法 | |
CN105844621A (zh) | 一种印刷品质量检测方法 | |
CN108491797A (zh) | 一种基于大数据的车辆图像精确检索方法 | |
Liu et al. | Real-time recognition of road traffic sign in motion image based on genetic algorithm | |
CN101436252A (zh) | 一种车辆视频图像中车身颜色识别方法及系统 | |
CN105138525B (zh) | 交通视频处理装置和方法及检索装置和方法 | |
CN101702197A (zh) | 一种道路交通标志的检测方法 | |
CN109033175A (zh) | 一种以图搜车的方法及系统 | |
CN105069451B (zh) | 一种基于双目摄像头的车牌识别与定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |