CN105488099B - 一种基于相似度学习的车辆检索方法 - Google Patents

一种基于相似度学习的车辆检索方法 Download PDF

Info

Publication number
CN105488099B
CN105488099B CN201510744990.4A CN201510744990A CN105488099B CN 105488099 B CN105488099 B CN 105488099B CN 201510744990 A CN201510744990 A CN 201510744990A CN 105488099 B CN105488099 B CN 105488099B
Authority
CN
China
Prior art keywords
vehicle
sample
training
feature
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510744990.4A
Other languages
English (en)
Other versions
CN105488099A (zh
Inventor
曾凡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guanwang Information Technology Co ltd
Original Assignee
Hangzhou Quanshiying Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Quanshiying Technology Co Ltd filed Critical Hangzhou Quanshiying Technology Co Ltd
Priority to CN201510744990.4A priority Critical patent/CN105488099B/zh
Publication of CN105488099A publication Critical patent/CN105488099A/zh
Application granted granted Critical
Publication of CN105488099B publication Critical patent/CN105488099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于相似度学习的车辆检索方法，相对于传统基于车牌号码的车辆检索方法，本发明中的方法不仅有效避免了对车牌识别准确度的依赖，而且还可以对假牌车和套牌车进行检索，大大提高车辆检索的可用性和可靠性。本发明公开的方法首先提取图片中车辆区域的SIFT特征，利用聚类算法离散化后，转换成表述能力更强的邻域特征，作为基础的车辆描述特征，然后利用随机森林方法进行相似度学习，得到相似度预测模型可以用来判断图片中两个车辆是否属于相似车辆。

Description

一种基于相似度学习的车辆检索方法
技术领域：
本发明是关于视频、图像中相似车辆检索的一种方法，不但在一般场景下具有较高的检测率和精确度，而且在目标车辆存在较大的姿态和光照变化时，本方法依然具有很好的表现。
背景技术：
当前城市各种道路和重要区域都设置有摄像头，采集到的车辆图片在维护治安中起到很重要的作用。传统的相似车辆检索都是基于车牌识别技术，但对于假牌车，套牌车的检索效果很差。为此，本发明提出一种不依赖车牌识别的相似车辆检索，可以有效的解决套牌车，无牌车无法检索的问题。
发明内容：
本发明针对实际车辆检索应用的需求，设计了一种对光照变换和姿态变换具有较强鲁棒性的方法。
本发明由以下两部分构成：
1.特征提取模块
给定车辆区域，获得SIFT特征点和描述后，使用聚类算法对SIFT特征离散化。为了弥补SIFT特征缺少位置信息的缺陷，进一步使用邻域内离散SIFT特征分布生成邻域特征，作为最终的特征点描述。
2.相似度学习模块
每一个车辆图片由一批特征来表示，一对相似车辆图片的特征组成一个正样本，一对不同车辆图片的特征组成一个负样本。如此收集大量的正负样本后，利用随机森林方法进行相似度学习，获得分类器可以用来判断两个车辆是否相似，达到相似车辆检索的目的。
附图说明：
后续结合附图的详细说明将更为清晰的解释本发明的特征，目的和优势，其中：
图1是本发明的整体架构示意图
图2是本发明的特征提取模块流程图
图3是本发明的相似度学习模块流程图
图4是本发明的详细训练流程图
图5是本发明的详细预测流程图
具体实施方式：
现在，将参照附图描述本发明的优选实施例。
图1是表示本发明装置的整体架构示意图。
如图1所示，本发明由邻域特征提取模块和相似度学习模块两部分组成。邻域特征提取模块完成从车辆图片中获取一种对光照，姿态都有较好鲁棒性的局部特征。相似度学习模块通过合理的构造正负样本集，利用随机森林学习相似度评估模型，达到相似车辆检索的目的。
图2是表示本发明的邻域特征提取模块的流程图。
如图2所示，本发明优选实例的特征提取模块详细步骤如下：
(S21)输入原始的车辆图片库。
车辆区域定义为车辆正面的一个矩形区域，上边缘到驾驶室车窗顶部，下边缘到车牌底部，左边缘到车辆驾驶室车窗左边界，右边缘到驾驶室车窗右边界。
(S22)从图片库中提取SIFT特征集。
提取SIFT特征点首先需要建立图像的高斯金字塔，金字塔中像素的值如果超过邻域内其他像素，则选择改点作为特征点。从特征点邻域内生成一个128维的向量用来描述该特征点，这个向量就是SIFT特征。
(S23)利用K均值聚类方法对SIFT特征集离散化。
从图片库中可以提取大量的SIFT特征集，利用K均值聚类对其作离散化。K均值聚类通过迭代的方式，把每一个SIFT特征划分到距离其最近的聚类中，最终SIFT特征集被划分成K个离散的聚类，认为同一个聚类的SIFT特征是一样的，则可以使用类编号表示SIFT特征，即离散SIFT特征。本发明的优选实例中取K值为100000。
(S24)生成邻域特征
为了弥补SIFT特征缺少特征相对位置关系的缺陷，要把离散化的SIFT进一步转换成邻域特征。假设SIFT聚类个数为K，选择N×N的邻域，则邻域特征可以表示为一个整数序列，其元素的值不超过K×N×N。给定一个SIFT特征点，以其为中心定义一个N×N的邻域。按照如下规则生成一个矩阵：同一个子区域内，同一个离散SIFT特征出现多次只记录一次；如果第k个离散SIFT特征出现在第n个区域内，则矩阵第n行的第k个值置为1，否则置为0。最终的整数序列按照下面的步骤生成：初始序列为空，自左向右，自上而下扫描矩阵，如果第n行第k个值为1，则在序列中增加一个整数，值为(n-1)×K+k，忽略值为0的元素，由此得到一个整数序列，这个序列就是邻域特征。本发明的优先实例中K取100000，N取3
图3是本发明的相似度学习模块的流程图。
如图3所示，本发明优选实例的相似度学习模块的详细步骤如下：
(S31)输入邻域特征
(S32)构造训练样本
一个训练样本由三部分构成：图像A的邻域特征集，图像B的邻域特征集以及相似度标志Y。Y取1时表示正样本，其中A和B是相似车辆的不同图片；Y取0时表示负样本，其中A和B是不相似车辆的图片。
(S33)随机森林训练模块
随机森林是随机树的集合，随机树由内节点和叶子节点构成，训练时内节点随机选定一个特征，按照样本中两个特征集是否包含该特征，把样本划分成两个不相交的集合，如此不断划分样本集，产生新的内节点，直至某终止条件时，生成一个叶子节点。叶子节点记录节点内正样本在节点内总样本中的比例，表示该叶子节点内正样本的置信度。训练过程中，三个重要的训练参数是，随机树允许的最大深度D，随机树的个数T以及节点内最小样本数L。本发明的优选实例中D取500，T取20000，L取1000.
图4是本发明的详细训练流程图。
如图4所示，本发明的优选实例的训练流程详细步骤如下：
(S41)输入车辆图片库
具体要求和S21一致
(S42)SIFT特征提取
具体操作和S22一致
(S43)K均值聚类训练
具体操作和S23一致
(S44)生成邻域特征
具体操作和S44一致
(S45)构造训练样本
具体操作和S32一致
(S46)训练随机森林
具体操作和S33一致
图5是本发明的详细预测流程图。
如图5所示，本发明的优选实例的预测流程详细步骤如下：
(S51)输入查询图片
查询图的要求和(S21)中的描述一致
(S52)提取SIFT特征
具体操作和S22一致
(S53)K均值聚类预测模块
K均值聚类预测的具体流程是：计算样本到每一个聚类中心的距离，选取最小距离对应的聚类编号作为输出。
(S54)生成邻域特征
具体操作和S24一致
(S55)随机森林预测模块
随机森林的预测是通过随机树的预测来实现的。查询图特征和图像库中每个车辆图片的特征组成一个查询样本，被分发给每一个随机树，查询样本从内节点向叶子节点移动，抵达内节点时按照训练时确定的内节点规则决定下一步移动方向，抵达叶子节点时把训练时确定的正样本置信度作为随机树的输出。所有随机树的输出经过投票后作为随机森林的输出，表示查询图和该库存图的相似度，最终按照相似度由大到小的次序输出查询结果。
尽管出于说明性目的已经公开本发明的优选实施例，但是本领域的普通技术人员将懂得各种变更，增加或是替代都是可能的，并不脱离如附带的权利要求书中所公开的本发明的精神和范围。

Claims (3)

1.一种基于相似度学习的车辆检索方法，其特征在于，包括以下步骤：
步骤A：从图片中提取SIFT特征，利用K均值聚类方法对SIFT特征集离散化；
步骤B：基于离散SIFT特征，构造邻域特征，具体方法是：假设SIFT聚类个数为K，选择N×N的邻域，则邻域特征可以表示为一个整数序列，其元素的值不超过K×N×N，给定一个SIFT特征点，以其为中心定义一个N×N的邻域，按照如下规则生成一个矩阵：同一个子区域内，同一个离散SIFT特征出现多次只记录一次；如果第k个离散SIFT特征出现在第n个区域内，则矩阵第n行的第k个值置为1，否则置为0，最终的整数序列按照下面的步骤生成：初始序列为空，自左向右，自上而下扫描矩阵，如果第n行第k个值为1，则在序列中增加一个整数，值为(n-1)×K+k，忽略值为0的元素，由此得到一个整数序列，这个序列就是邻域特征；
步骤C：相似车辆图片对作为正样本，不相似车辆图片对作为负样本，收集大量的正负样本构成随机森林的训练集，进行相似度学习；
步骤D：给定一个车辆图库，输入一个测试车辆图，查询图库中和测试图相似的车辆，首先提取测试车辆图的邻域特征，依次和图库中每个车辆图的邻域特征组成测试样本，利用训练得到的随机森林模型判断二者相似度，达到相似车辆检索的目的。
2.根据权利要求1所述的基于相似度学习的车辆检索方法，其特征在于，所述步骤C的具体方法是：一个训练样本由三部分构成：图像A的邻域特征集，图像B的邻域特征集以及相似度标志Y，Y取1时表示正样本，其中A和B是相似车辆的不同图片；Y取0时表示负样本，其中A和B是不相似车辆的图片，随机森林是随机树的集合，随机树由内节点和叶子节点构成，训练时内节点随机选定一个特征，按照样本中两个特征集是否包含该特征，把样本划分成两个不相交的集合，如此不断划分样本集，产生新的内节点，直至某终止条件时，生成一个叶子节点，叶子节点记录节点内正样本在节点内总样本中的比例，表示该叶子节点内正样本的置信度，训练过程中，三个重要的训练参数是，随机树允许的最大深度D，随机树的个数T以及节点内最小样本数L。
3.根据权利要求1所述的基于相似度学习的车辆检索方法，其特征在于，所述步骤D的具体方法是：从一个车辆图片上提取SIFT特征，计算SIFT特征到训练阶段确定的聚类中心的距离，距离最小的聚类中心作为离散SIFT特征，获得全部的离散SIFT特征后转换成邻域特征，如此得到两个图对应的邻域特征后，送入训练后的随机森林模型，随机森林的预测是通过随机树的预测来实现的，待测试的两组邻域特征，被分发给每一个随机树，查询样本从内节点向叶子节点移动，抵达内节点时按照训练时确定的内节点规则决定下一步移动方向，抵达叶子节点时把训练时确定的正样本置信度作为随机树的输出，所有随机树的输出经过投票后作为随机森林的输出，表示两个测试图的相似度，最终按照相似度由大到小的次序输出查询结果，达到相似车辆检索的目的。
CN201510744990.4A 2015-11-03 2015-11-03 一种基于相似度学习的车辆检索方法 Active CN105488099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510744990.4A CN105488099B (zh) 2015-11-03 2015-11-03 一种基于相似度学习的车辆检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510744990.4A CN105488099B (zh) 2015-11-03 2015-11-03 一种基于相似度学习的车辆检索方法

Publications (2)

Publication Number Publication Date
CN105488099A CN105488099A (zh) 2016-04-13
CN105488099B true CN105488099B (zh) 2019-03-26

Family

ID=55675074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510744990.4A Active CN105488099B (zh) 2015-11-03 2015-11-03 一种基于相似度学习的车辆检索方法

Country Status (1)

Country Link
CN (1) CN105488099B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774314A (zh) * 2016-12-11 2017-05-31 北京联合大学 一种基于行走轨迹的家庭服务机器人路径规划方法
CN106845341B (zh) * 2016-12-15 2020-04-10 南京积图网络科技有限公司 一种基于虚拟号牌的无牌车辆识别方法
WO2019144416A1 (zh) * 2018-01-29 2019-08-01 深圳前海达闼云端智能科技有限公司 信息处理方法、系统、云处理设备以及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN103336959A (zh) * 2013-07-19 2013-10-02 西安电子科技大学 一种基于gpu多核并行加速的车辆检测方法
CN103971097A (zh) * 2014-05-15 2014-08-06 武汉睿智视讯科技有限公司 一种基于多尺度笔画模型的车牌识别方法与系统
CN104376303A (zh) * 2014-11-18 2015-02-25 电子科技大学 一种低分辨率情况下的车辆成像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190282B2 (en) * 2004-03-26 2007-03-13 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Nose-view monitoring apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN103336959A (zh) * 2013-07-19 2013-10-02 西安电子科技大学 一种基于gpu多核并行加速的车辆检测方法
CN103971097A (zh) * 2014-05-15 2014-08-06 武汉睿智视讯科技有限公司 一种基于多尺度笔画模型的车牌识别方法与系统
CN104376303A (zh) * 2014-11-18 2015-02-25 电子科技大学 一种低分辨率情况下的车辆成像方法

Also Published As

Publication number Publication date
CN105488099A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN110348445B (zh) 一种融合空洞卷积和边缘信息的实例分割方法
CN107862705B (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN104700099B (zh) 识别交通标志的方法和装置
CN109376572B (zh) 基于深度学习的交通视频中实时车辆检测与轨迹跟踪方法
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN104239867B (zh) 车牌定位方法及系统
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN105404886A (zh) 特征模型生成方法和特征模型生成装置
CN106022273A (zh) 基于动态样本选择策略的bp神经网络手写体识别系统
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN104537647A (zh) 一种目标检测方法及装置
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
CN112837315A (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN105976376A (zh) 一种基于部件模型的高分辨sar图像目标检测方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN105488099B (zh) 一种基于相似度学习的车辆检索方法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
Liu et al. Extended faster R-CNN for long distance human detection: Finding pedestrians in UAV images
CN112861970A (zh) 一种基于特征融合的细粒度图像分类方法
CN115527134A (zh) 基于大数据的城市园林景观照明监测系统及其方法
CN109829887B (zh) 一种基于深度神经网络的图像质量评估方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230626

Address after: 511402 Room 408, Building 22, Tian'an Headquarters Center, No. 555, North Panyu Avenue, Donghuan Street, Panyu District, Guangzhou, Guangdong

Patentee after: GUANGZHOU GUANWANG INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 1301, Urban Development Building, No. 707 Gudun Road, Xihu District, Hangzhou City, Zhejiang Province, 310030

Patentee before: HANGZHOU QUANSHIYING TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right