CN106446150B - 一种车辆精确检索的方法及装置 - Google Patents

一种车辆精确检索的方法及装置 Download PDF

Info

Publication number
CN106446150B
CN106446150B CN201610839794.XA CN201610839794A CN106446150B CN 106446150 B CN106446150 B CN 106446150B CN 201610839794 A CN201610839794 A CN 201610839794A CN 106446150 B CN106446150 B CN 106446150B
Authority
CN
China
Prior art keywords
area
vehicle
interest
mapping
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610839794.XA
Other languages
English (en)
Other versions
CN106446150A (zh
Inventor
邓巍
张伟
范云霞
吴建平
张滨
郭韶燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Digital Zhitong Technology Co Ltd
Original Assignee
Beijing Digital Zhitong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Digital Zhitong Technology Co Ltd filed Critical Beijing Digital Zhitong Technology Co Ltd
Priority to CN201610839794.XA priority Critical patent/CN106446150B/zh
Publication of CN106446150A publication Critical patent/CN106446150A/zh
Application granted granted Critical
Publication of CN106446150B publication Critical patent/CN106446150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Abstract

本发明公开了一种车辆精确检索的方法及装置,本方法包括:确定待检索图片中车辆内的感兴趣区域,计算感兴趣区域的像素特征;从车辆图片数据库中检索出包含具有属性信息的车辆的目标图片;针对每个目标图片:根据感兴趣区域在待检索图片中车辆上的位置信息确定感兴趣区域在目标图片的车辆上的映射区域,计算映射区域中的像素特征,计算感兴趣区域的像素特征与映射区域中的像素特征的匹配相似度;根据所有目标图片的匹配相似度确定检索结果。本装置包括接收模块,感兴趣区域确定模块,感兴趣区域像素特征计算模块,车辆位置区域确定模块,数据库检索模块,匹配相似度计算模块,检索结果确定模块。本发明提高了整体的检索效率和检索准确率。

Description

一种车辆精确检索的方法及装置
技术领域
本发明属于智能交通领域,具体涉及到一种车辆精确检索的方法及装置。
背景技术
随着社会经济的不断发展,城市人口和机动车保有量的大幅增长,交通系统正逐渐走向智能化。交通监控卡口图像是公安业务的重要数据基础,在社会治安维稳、打击违法犯罪等方面有着至关重要的作用。其中,从大量的卡口图像中快速、精确地检索出目标车辆是一项基本需求。
现有技术中,大量卡口图像中的目标车辆检索可以采用以下三种方案:
方案一、人工检索的方式。通过人眼在大量图像数据中查找检索车辆,这种方法检索准确率高,但效率低,当需检索的图像较多时则需要花大量时间。
方案二、基于车牌号进行检索。这种方法极大程度地依赖于车牌识别的准确性,不同的光照条件、车牌磨损等原因都会造成检索结果错误。另外,一般犯罪嫌疑人会对车牌进行一定程度的破坏,如遮挡车牌、更换车牌、套牌等,依赖车牌号的检索方法对此类情况无法得到正确结果。
方案三、基于图像特征匹配的检索。将待检索车辆与数据库中各图像进行特征匹配,其检索性能也极大地受光照条件、拍摄视角等因素影响,而且该方法难以区分车辆品牌信息相同的车辆,准确率和检索效率不高。
发明内容
本发明针对现存车辆精确检索技术的不足,提出了一种车辆精确检索的方法及装置,通过结合图像识别和图像特征匹配技术,采用新的特征匹配方法进行局部区域匹配,提高车辆精确检索的准确率和效率。
本发明提供了一种车辆精确检索的方法,所述方法包括:
步骤1,接收待检索图片;
依次执行步骤2和步骤3,或者依次执行步骤3和步骤2,或者同时执行步骤2和步骤3后,执行步骤4和步骤5:
步骤2,确定待检索图片中车辆内的感兴趣区域,计算所述感兴趣区域的像素特征;
步骤3,确定待检索图片的车辆位置区域,根据所述车辆位置区域的图像数据确定车辆的属性信息,根据所述属性信息从车辆图片数据库中检索出包含具有所述属性信息的车辆的目标图片;
步骤4,针对每个目标图片执行以下操作:根据所述感兴趣区域在所述待检索图片中车辆上的位置信息确定所述感兴趣区域在所述目标图片的车辆上的映射区域,计算所述映射区域中的像素特征,计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度;
步骤5,根据所有目标图片的匹配相似度确定检索结果。
上述车辆精确检索的方法还具有以下特点:
所述感兴趣区域包括以下区域中的至少一种:年检标区域、车窗内摆放物区域、车窗内挂饰物区域。
上述车辆精确检索的方法还具有以下特点:
所述步骤4中所述根据所述感兴趣区域在所述待检索图片中车辆上的位置信息确定所述感兴趣区域在所述目标图片的车辆上的映射区域包括:
确定所述待检索图片中车辆上的至少两个固定部件的位置,计算所述感兴趣区域的中心点与所述至少两个固定部件的位置的映射关系;
确定所述目标图片中车辆上的相应固定部件的位置,根据所述映射关系确定所述感兴趣区域在所述目标图片的车辆上的映射区域的中心点,根据映射区域的中心点和所述感兴趣区域的长和宽确定出所述映射区域。
上述车辆精确检索的方法还具有以下特点:
所述固定部件包括以下部件中的至少两种:车窗挡风区左上角位置、车窗挡风区右上角位置、车窗挡风区左下角位置、车窗挡风区右下角位置、车标区域、车牌区域。
上述车辆精确检索的方法还具有以下特点:
所述车辆的属性信息包括以下信息中的至少一种:车身颜色、车辆品牌信息。
上述车辆精确检索的方法还具有以下特点:
计算所述感兴趣区域或所述映射区域的像素特征的方法包括:
对所述感兴趣区域或所述映射区域的像素数据进行高斯滤波;
计算滤波后数据的梯度幅度和方向;
计算方向梯度直方图,统计每个像素在8个梯度方向的梯度投影值;
使用高斯滤波平滑每个方向的梯度投影值;
使用激活函数处理平滑后的梯度特征图;
对每个像素数据的特征添加常量正则项,形成像素的9维像素特征;
归一化所述像素特征。
上述车辆精确检索的方法还具有以下特点:
所述计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度包括:
将所述感兴趣区域的像素特征和所述映射区域的像素特征按相同划分规则均划分为N个图像子块;其中N为大于4的整数;
以所述映射区域的划分后的图像子块为卷积核计算出所述映射区域的特征响应图;
自底向上将特征响应图进行特征组合,计算出多层级的金字塔特征响应图,其中特征组合的方法包括最大值池化操作;
计算每个层级特征响应图的最大响应值;
根据每个层级特征响应图的最大响应值,自顶向下计算出最大响应值对应坐标点对信息;
根据匹配的点对信息,计算出感兴趣区域和映射区域的相似度。
本发明还提供了一种车辆精确检索的装置,包括:
接收模块,用于接收待检索图片;
感兴趣区域确定模块,用于确定待检索图片中车辆内的感兴趣区域;
感兴趣区域像素特征计算模块,用于计算所述感兴趣区域的像素特征;
车辆位置区域确定模块,用于确定待检索图片的车辆位置区域;
数据库检索模块,用于根据所述车辆位置区域的图像数据确定车辆的属性信息,根据所述属性信息从车辆图片数据库中检索出包含具有所述属性信息的车辆的目标图片;
匹配相似度计算模块,用于针对每个目标图片执行以下操作:根据所述感兴趣区域在所述待检索图片中车辆上的位置信息确定所述感兴趣区域在所述目标图片的车辆上的映射区域,计算所述映射区域中的像素特征,计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度;
检索结果确定模块,用于根据所有目标图片的匹配相似度确定检索结果。
上述车辆精确检索的装置还具有以下特点:
所述匹配相似度计算模块包括映射区域计算单元、匹配相似度计算单元;
所述映射区域计算单元,用于确定所述待检索图片中车辆上的至少两个固定部件的位置,计算所述感兴趣区域的中心点与所述至少两个固定部件的位置的映射关系;确定所述目标图片中车辆上的相应固定部件的位置,根据所述映射关系确定所述感兴趣区域在所述目标图片的车辆上的映射区域的中心点,根据映射区域的中心点和所述感兴趣区域的长和宽确定出所述映射区域。
所述匹配相似度计算单元,用于计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度;
所述固定部件包括以下部件中的至少两种:车窗挡风区左上角位置、车窗挡风区右上角位置、车窗挡风区左下角位置、车窗挡风区右下角位置、车标区域、车牌区域;
所述感兴趣区域包括以下区域中的至少一种:年检标区域、车窗内摆放物区域、车窗内挂饰物区域。
上述车辆精确检索的装置还具有以下特点:
所述匹配相似度计算单元,用于根据以下方法计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度:
以所述映射区域的划分后的图像子块为卷积核计算出所述映射区域的特征响应图;
自底向上将特征响应图进行特征组合,计算出多层级的金字塔特征响应图,其中特征组合的方法包括最大值池化操作;
计算每个层级特征响应图的最大响应值;
根据每个层级特征响应图的最大响应值,自顶向下计算出最大响应值对应坐标点对信息;
根据匹配的点对信息,计算出感兴趣区域和映射区域的相似度。
本发明提供的车辆精确检索的方法和装置,可应用于卡口图片和监控视频中车辆的精确检索,帮助交警、公安等部门方便快速地检索出可疑车辆,采用图像识别和图像特征匹配结合的技术,与现有技术相比较其优点在于:
1、基于图像识别技术限定检索范围,减少了图像匹配的数量,提高了整体的检索效率。
2、基于感兴趣区域固定部件位置的映射方法,缩小了图像匹配的区域,重点关注了具有车辆唯一标识性的区域,提高了整体的检索效率和检索准确率;
3、基于像素特征描述的卷积匹配方法,解决了传统特征匹配方法处理模糊图像、低对比度图像时匹配精度低的问题,提高了图像匹配的精度和车辆精确检索的准确率。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是实施例中车辆精确检索的方法的流程图,
图2是示例中待检索图片中感兴趣区域示意图;
图3是检测待检索图片中的车辆位置示意图;
图4是感兴趣区域位置映射示意图;
图5是实施例中车辆精确检索的装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
本发明采用图像识别和图像特征匹配相结合的技术,通过图像识别技术识别待检索车辆的属性信息,限定车辆检索范围,确定检索图像库,然后在检索图像库内,映射待检索车辆的感兴趣区域,最后利用图像特征匹配技术计算感兴趣区域和映射区域的相似度,并根据相似度返回检索结果。
图1是实施例中车辆精确检索的方法的流程图,此方法包括:
步骤1,接收待检索图片;
步骤2,确定待检索图片中车辆内的感兴趣区域,计算感兴趣区域的像素特征;
步骤3,确定待检索图片的车辆位置区域,根据车辆位置区域的图像数据确定车辆的属性信息,根据属性信息从车辆图片数据库中检索出包含具有属性信息的车辆的目标图片;
步骤4,针对每个目标图片执行以下操作:根据感兴趣区域在待检索图片中车辆上的位置信息确定感兴趣区域在目标图片的车辆上的映射区域,计算映射区域中的像素特征,计算感兴趣区域的像素特征与映射区域中的像素特征的匹配相似度;
步骤5,根据所有目标图片的匹配相似度确定检索结果。
在其它实施例中,还可以先执行步骤3再执行步骤2,还可以同时执行步骤2和步骤3。步骤2和步骤3的执行顺序并不构成对实施本发明方案的限制。
步骤2中,感兴趣区域包括以下区域中的至少一种:年检标区域、车窗内摆放物区域、车窗内挂饰物区域。
步骤2中,确定待检索图片中车辆内的感兴趣区域可以采用根据图像数据进行检测的方式(具体包括基于先验知识和机器学习的方法进行检测)确定感兴趣区域,还可以采用用户手动框选的方式,还可以采用优先使用根据图像数据进行检测的方式,在无法检测到感兴趣区域时再采用手动框选的方式。如图2所示。
例如感兴趣区域为年检标区域时,根据以下步骤进行检测:
(a)基于年检标的先验知识确定年检标的候选区域;
(b)提取候选区域的图像特征,如方向梯度直方图(Histogram of OrientedGradient,HOG)、局部二值模式(Local Binary Patterns,LBP)、颜色直方图等;
(c)基于机器学习的方法对候选区域提取的图像特征进行分类,判断候选区域是否为年检标区域。
步骤2中,计算感兴趣区域或映射区域的像素特征的方法主要基于图像的梯度信息,计算像素点的方向梯度直方图(Histogram of Oriented Gradient,HOG),作为像素的特征描述。具体方法举例如下:
(a)对感兴趣区域或映射区域的像素数据进行高斯滤波;
(b)计算滤波后数据的梯度幅度和方向;例如在X轴方向使用的梯度计算算子为Y轴方向使用的梯度计算算子为
(c)计算方向梯度直方图,统计每个像素在8个梯度方向的梯度投影值;
(d)使用高斯滤波平滑每个方向的梯度投影值;
(e)使用激活函数处理平滑后的梯度特征图;
(f)对每个像素数据的特征添加常量正则项,形成像素的9维像素特征;
(g)归一化像素特征。
步骤3中,确定待检索图片的车辆位置区域的方法可以是检测出车辆位置的算法,如图3所示,比如可变形部件模型(Deformable Parts Model,DPM)、基于深度学习的检测方法(Faster RCNN,SSD)、基于特征级联的检测方法等。
步骤3中,车辆的属性信息指能描述车辆特征的信息,包括以下信息中的至少一种:车身颜色、车辆品牌信息。本方法中主要基于机器学习的方法识别车辆的属性信息,比如深度学习、支持向量机(Support Vector Machine,SVM)等。
例如:此处识别的属性信息为车辆品牌信息,按照如下步骤进行车辆品牌信息识别:
(a)采集大量车辆图片,并标定车辆图片的车辆品牌信息;
(b)基于深度学习训练车辆品牌识别网络模型;
(c)以车辆图片作为输入,加载训练好的模型,分类识别出车辆品牌信息;
步骤3中,根据感兴趣区域在待检索图片中车辆上的位置信息确定感兴趣区域在目标图片的车辆上的映射区域包括:确定待检索图片中车辆上的至少两个固定部件的位置,计算感兴趣区域的中心点与至少两个固定部件的位置的映射关系;确定目标图片中车辆上的相应固定部件的位置,根据映射关系确定感兴趣区域在目标图片的车辆上的映射区域的中心点,根据映射区域的中心点和感兴趣区域的长和宽确定出映射区域。
固定部件是指车辆中保持相对位置不变的区域,包括以下部件中的至少两种:车窗挡风区左上角位置、车窗挡风区右上角位置、车窗挡风区左下角位置、车窗挡风区右下角位置、车标区域、车牌区域。
举例如下:如图4所示,固定部件为车窗挡风区左上角位置、车窗挡风区右上角位置,感兴趣区域为车窗内摆放物区域时,根据以下方法计算映射区域:
(a)检测待检索图片中车辆的车窗挡风区左上角位置和车窗挡风区右上角位置为固定部件,车窗挡风区左上角位置和车窗挡风区右上角的坐标记为Pl(x,y),Pr(x,y)。
(b)检索目标图片中车窗挡风区左上角位置和车窗挡风区右上角的坐标为Pl'(x,y),Pr'(x,y)。
(c)确定感兴趣区域在待检索车辆中的位置,记录感兴趣区域中心点为R(x,y)。
(d)根据Pl(x,y),Pr(x,y),R(x,y)和Pl'(x,y),Pr'(x,y),R'(x,y)的三角形映射关系,计算出映射区域的中心坐标记为R'(x,y)。
(e)计算待检索车辆图片和检索图像库中车辆图片的大小比例,记为Ws,Hs。
(f)以R'(x,y)为中心点,构造矩形区域W’=a*W*Ws,H’=a*H*Hs,其中,W,H为感兴趣区域的宽和长,a为调整系数,取值范围为[1,2],W’即为计算出的映射区域。
确定映射区域时,固定部件的个数不限于上述举例中的两个,也可以是两个上以上。固定部件的个数大于两个时,确定待检索图片中感兴趣区域中心点相对各固定部件的方向和距离,确定目标图片中的各固定部件的位置,确定与目标图片中的各固定部件的距离与待检索图片中感兴趣区域中心点距各固定部件的距离的误差值最小的点为映射区域的中心坐标,从而确定出映射区域。
步骤4中计算映射区域中的像素特征的方法与计算感兴趣区域或映射区域的像素特征的方法相同。
步骤4中,匹配相似度计算方法是指基于图像卷积操作,在图像特征空间内,卷积计算感兴趣区域和映射区域的图像特征的响应图,并根据响应图计算匹配相似度。具体的,计算感兴趣区域的像素特征与映射区域中的像素特征的匹配相似度的方法包括:
(a)将感兴趣区域的像素特征和映射区域的像素特征按相同划分规则均划分为N个图像子块;例如图像子块为4*4的图像块。
(b)以映射区域的划分后的图像子块为卷积核计算出映射区域的特征响应图;
(c)自底向上将特征响应图进行特征组合,计算出多层级的金字塔特征响应图,其中特征组合的方法包括最大值池化操作;
(d)计算每个层级特征响应图的最大响应值;
(e)根据每个层级特征响应图的最大响应值,自顶向下计算出最大响应值对应坐标点对信息;
(f)根据匹配的点对信息,计算出感兴趣区域和映射区域的相似度。
步骤5,根据所有目标图片的匹配相似度确定检索结果具体是指,将匹配相似度最大的目标图片作为检索结果,或者将各目标图片的匹配相似度按从大到小排序后作为检索结果。
图5是实施例中车辆精确检索的装置的流程图,如图5所示此装置包括:
接收模块,用于接收待检索图片;
感兴趣区域确定模块,用于确定待检索图片中车辆内的感兴趣区域;
感兴趣区域像素特征计算模块,用于计算所述感兴趣区域的像素特征;
车辆位置区域确定模块,用于确定待检索图片的车辆位置区域;
数据库检索模块,用于根据所述车辆位置区域的图像数据确定车辆的属性信息,根据所述属性信息从车辆图片数据库中检索出包含具有所述属性信息的车辆的目标图片;
匹配相似度计算模块,用于针对每个目标图片执行以下操作:根据所述感兴趣区域在所述待检索图片中车辆上的位置信息确定所述感兴趣区域在所述目标图片的车辆上的映射区域,计算所述映射区域中的像素特征,计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度;
检索结果确定模块,用于根据所有目标图片的匹配相似度确定检索结果。
其中,
匹配相似度计算模块包括映射区域计算单元、匹配相似度计算单元;
映射区域计算单元,用于确定所述待检索图片中车辆上的至少两个固定部件的位置,计算所述感兴趣区域的中心点与所述至少两个固定部件的位置的映射关系;确定所述目标图片中车辆上的相应固定部件的位置,根据所述映射关系确定所述感兴趣区域在所述目标图片的车辆上的映射区域的中心点,根据映射区域的中心点和所述感兴趣区域的长和宽确定出所述映射区域。
匹配相似度计算单元,用于计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度;
固定部件包括以下部件中的至少两种:车窗挡风区左上角位置、车窗挡风区右上角位置、车窗挡风区左下角位置、车窗挡风区右下角位置、车标区域、车牌区域;
感兴趣区域包括以下区域中的至少一种:年检标区域、车窗内摆放物区域、车窗内挂饰物区域。
所述匹配相似度计算单元,用于根据以下方法计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度:
以所述映射区域的划分后的图像子块为卷积核计算出所述映射区域的特征响应图;
自底向上将特征响应图进行特征组合,计算出多层级的金字塔特征响应图,其中特征组合的方法包括最大值池化操作;
计算每个层级特征响应图的最大响应值;
根据每个层级特征响应图的最大响应值,自顶向下计算出最大响应值对应坐标点对信息;
根据匹配的点对信息,计算出感兴趣区域和映射区域的相似度。
各模块的具体功能与上述方法中描述的相同,此处不再赘述。
本发明提供的车辆精确检索的方法和装置,可应用于卡口图片和监控视频中车辆的精确检索,帮助交警、公安等部门方便快速地检索出可疑车辆,采用图像识别和图像特征匹配结合的技术,与现有技术相比较其优点在于:
1、基于图像识别技术限定检索范围,减少了图像匹配的数量,提高了整体的检索效率。
2、基于感兴趣区域固定部件位置的映射方法,缩小了图像匹配的区域,重点关注了具有车辆唯一标识性的区域,提高了整体的检索效率和检索准确率;
3、基于像素特征描述的卷积匹配方法,解决了传统特征匹配方法处理模糊图像、低对比度图像时匹配精度低的问题,提高了图像匹配的精度和车辆精确检索的准确率。
上面描述的内容可以单独地或者以各种方式组合起来实施,而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现,相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案而非限制,仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种车辆精确检索的方法,其特征在于,此方法包括:
步骤1,接收待检索图片;
依次执行步骤2和步骤3,或者依次执行步骤3和步骤2,或者同时执行步骤2和步骤3后,执行步骤4和步骤5:
步骤2,确定待检索图片中车辆内的感兴趣区域,计算所述感兴趣区域的像素特征;
在步骤2中,计算所述感兴趣区域或映射区域的像素特征的方法基于图像的梯度信息,计算像素点的方向梯度直方图作为像素的特征描述,包括:
(a)对感兴趣区域或映射区域的像素数据进行高斯滤波;
(b)计算滤波后数据的梯度幅度和方向;
(c)计算方向梯度直方图,统计每个像素在8个梯度方向的梯度投影值;
(d)使用高斯滤波平滑每个方向的梯度投影值;
(e)使用激活函数处理平滑后的梯度特征图;
(f)对每个像素数据的特征添加常量正则项,形成像素的9维像素特征;
(g)归一化像素特征;
步骤3,确定待检索图片的车辆位置区域,根据所述车辆位置区域的图像数据确定车辆的属性信息,根据所述属性信息从车辆图片数据库中检索出包含具有所述属性信息的车辆的目标图片;
步骤4,针对每个目标图片执行以下操作:根据所述感兴趣区域在所述待检索图片中车辆上的位置信息确定所述感兴趣区域在所述目标图片的车辆上的映射区域,计算所述映射区域中的像素特征,计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度;
步骤5,根据所有目标图片的匹配相似度确定检索结果;
所述步骤4中所述根据所述感兴趣区域在所述待检索图片中车辆上的位置信息确定所述感兴趣区域在所述目标图片的车辆上的映射区域包括:
确定所述待检索图片中车辆上的至少两个固定部件的位置,计算所述感兴趣区域的中心点与所述至少两个固定部件的位置的映射关系;
确定所述目标图片中车辆上的相应固定部件的位置,根据所述映射关系确定所述感兴趣区域在所述目标图片的车辆上的映射区域的中心点,根据映射区域的中心点和所述感兴趣区域的长和宽确定出所述映射区域;
所述固定部件包括以下部件中的至少两种:车窗挡风区左上角位置、车窗挡风区右上角位置、车窗挡风区左下角位置、车窗挡风区右下角位置、车标区域、车牌区域。
2.如权利要求1所述的车辆精确检索的方法,其特征在于,
所述感兴趣区域包括以下区域中的至少一种:年检标区域、车窗内摆放物区域、车窗内挂饰物区域。
3.如权利要求1所述的车辆精确检索的方法,其特征在于,
所述车辆的属性信息包括以下信息中的至少一种:车身颜色、车辆品牌信息。
4.如权利要求1所述的车辆精确检索的方法,其特征在于,
所述计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度包括:
将所述感兴趣区域的像素特征和所述映射区域的像素特征按相同划分规则均划分为N个图像子块;其中N为大于4的整数;
以所述映射区域的划分后的图像子块为卷积核计算出所述映射区域的特征响应图;
自底向上将特征响应图进行特征组合,计算出多层级的金字塔特征响应图,其中特征组合的方法包括最大值池化操作;
计算每个层级特征响应图的最大响应值;
根据每个层级特征响应图的最大响应值,自顶向下计算出最大响应值对应坐标点对信息;
根据匹配的点对信息计算出感兴趣区域和映射区域的相似度。
5.一种车辆精确检索的装置,其特征在于,包括:
接收模块,用于接收待检索图片;
感兴趣区域确定模块,用于确定待检索图片中车辆内的感兴趣区域;
感兴趣区域像素特征计算模块,用于计算所述感兴趣区域的像素特征;
车辆位置区域确定模块,用于确定待检索图片的车辆位置区域;
数据库检索模块,用于根据所述车辆位置区域的图像数据确定车辆的属性信息,根据所述属性信息从车辆图片数据库中检索出包含具有所述属性信息的车辆的目标图片;
匹配相似度计算模块,用于针对每个目标图片执行以下操作:根据所述感兴趣区域在所述待检索图片中车辆上的位置信息确定所述感兴趣区域在所述目标图片的车辆上的映射区域,计算所述映射区域中的像素特征,计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度;
检索结果确定模块,用于根据所有目标图片的匹配相似度确定检索结果;所述匹配相似度计算模块包括映射区域计算单元、匹配相似度计算单元;
所述映射区域计算单元,用于确定所述待检索图片中车辆上的至少两个固定部件的位置,计算所述感兴趣区域的中心点与所述至少两个固定部件的位置的映射关系;确定所述目标图片中车辆上的相应固定部件的位置,根据所述映射关系确定所述感兴趣区域在所述目标图片的车辆上的映射区域的中心点,根据映射区域的中心点和所述感兴趣区域的长和宽确定出所述映射区域;
所述匹配相似度计算单元,用于计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度;
所述固定部件包括以下部件中的至少两种:车窗挡风区左上角位置、车窗挡风区右上角位置、车窗挡风区左下角位置、车窗挡风区右下角位置、车标区域、车牌区域;
所述感兴趣区域包括以下区域中的至少一种:年检标区域、车窗内摆放物区域、车窗内挂饰物区域。
6.如权利要求5所述的车辆精确检索的装置,其特征在于,
所述匹配相似度计算单元,用于根据以下方法计算所述感兴趣区域的像素特征与所述映射区域中的像素特征的匹配相似度:
以所述映射区域的划分后的图像子块为卷积核计算出所述映射区域的特征响应图;
自底向上将特征响应图进行特征组合,计算出多层级的金字塔特征响应图,其中特征组合的方法包括最大值池化操作;
计算每个层级特征响应图的最大响应值;
根据每个层级特征响应图的最大响应值,自顶向下计算出最大响应值对应坐标点对信息;
根据匹配的点对信息计算出感兴趣区域和映射区域的相似度。
CN201610839794.XA 2016-09-21 2016-09-21 一种车辆精确检索的方法及装置 Active CN106446150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610839794.XA CN106446150B (zh) 2016-09-21 2016-09-21 一种车辆精确检索的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610839794.XA CN106446150B (zh) 2016-09-21 2016-09-21 一种车辆精确检索的方法及装置

Publications (2)

Publication Number Publication Date
CN106446150A CN106446150A (zh) 2017-02-22
CN106446150B true CN106446150B (zh) 2019-10-29

Family

ID=58166575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610839794.XA Active CN106446150B (zh) 2016-09-21 2016-09-21 一种车辆精确检索的方法及装置

Country Status (1)

Country Link
CN (1) CN106446150B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919926A (zh) * 2017-03-08 2017-07-04 上海极链网络科技有限公司 应用于视频品牌识别系统的检测识别模块
CN108805121B (zh) * 2017-05-02 2021-07-13 优信拍(北京)信息科技有限公司 一种车牌检测定位方法、装置、设备及计算机可读介质
CN107679531A (zh) 2017-06-23 2018-02-09 平安科技(深圳)有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN108647679B (zh) * 2017-08-28 2021-04-27 浙江工业大学 一种基于车窗粗定位的车标识别方法
CN108491797A (zh) * 2018-03-22 2018-09-04 河北省科学院应用数学研究所 一种基于大数据的车辆图像精确检索方法
CN108629279A (zh) * 2018-03-27 2018-10-09 哈尔滨理工大学 一种基于卷积神经网络的车辆目标检测的方法
CN108491827B (zh) * 2018-04-13 2020-04-10 腾讯科技(深圳)有限公司 一种车辆检测方法、装置及存储介质
CN110851640B (zh) * 2018-07-24 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像搜索方法、装置及系统
CN109271552B (zh) * 2018-08-22 2021-08-20 北京达佳互联信息技术有限公司 通过图片检索视频的方法、装置、电子设备及存储介质
CN109885718B (zh) * 2019-02-28 2021-05-28 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN110704666B (zh) * 2019-08-30 2022-06-03 北京大学 一种提升跨视角车辆精确检索的方法及系统
CN111539306B (zh) * 2020-04-21 2021-07-06 中南大学 基于激活表达可替换性的遥感图像建筑物识别方法
CN111540203B (zh) * 2020-04-30 2021-09-17 东华大学 基于Faster-RCNN调节绿灯通行时间的方法
CN113407757B (zh) * 2021-06-23 2022-07-22 重庆世纪科怡科技股份有限公司 一种基于计算机的图像检索方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635027A (zh) * 2009-09-03 2010-01-27 西安交通大学 一种基于En-ULLELDA的多视角车型识别方法
CN102637257A (zh) * 2012-03-22 2012-08-15 北京尚易德科技有限公司 一种基于视频的交通车辆检测识别系统和方法
CN102982311A (zh) * 2012-09-21 2013-03-20 公安部第三研究所 基于视频结构化描述的车辆视频特征提取系统及方法
CN104699726A (zh) * 2013-12-18 2015-06-10 杭州海康威视数字技术股份有限公司 一种应用于交通卡口的车辆图像检索方法和装置
CN105448095A (zh) * 2014-06-03 2016-03-30 杭州海康威视数字技术股份有限公司 一种黄标车检测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325165B2 (en) * 2014-09-30 2019-06-18 Conduent Business Services, Llc Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635027A (zh) * 2009-09-03 2010-01-27 西安交通大学 一种基于En-ULLELDA的多视角车型识别方法
CN102637257A (zh) * 2012-03-22 2012-08-15 北京尚易德科技有限公司 一种基于视频的交通车辆检测识别系统和方法
CN102982311A (zh) * 2012-09-21 2013-03-20 公安部第三研究所 基于视频结构化描述的车辆视频特征提取系统及方法
CN104699726A (zh) * 2013-12-18 2015-06-10 杭州海康威视数字技术股份有限公司 一种应用于交通卡口的车辆图像检索方法和装置
CN105448095A (zh) * 2014-06-03 2016-03-30 杭州海康威视数字技术股份有限公司 一种黄标车检测方法和装置

Also Published As

Publication number Publication date
CN106446150A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106446150B (zh) 一种车辆精确检索的方法及装置
Risnumawan et al. A robust arbitrary text detection system for natural scene images
CN103366602B (zh) 从数字摄像头图像确定停车场占用情况的方法
US9754192B2 (en) Object detection utilizing geometric information fused with image data
CN104866616B (zh) 监控视频目标搜索方法
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
Funk et al. 2017 ICCV challenge: Detecting symmetry in the wild
CN109918969A (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
Sukanya et al. A survey on object recognition methods
TW201112134A (en) Face recognition apparatus and methods
CN111104867A (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
Woźniak et al. Graphic object feature extraction system based on cuckoo search algorithm
CN106845341A (zh) 一种基于虚拟号牌的无牌车辆识别方法
CN105303163B (zh) 一种目标检测的方法及检测装置
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
CN109858494A (zh) 一种低对比度图像中显著性目标检测方法及装置
Slavin Using special text points in the recognition of documents
Zhao et al. Automatic blur region segmentation approach using image matting
Patel et al. Top-down and bottom-up cues based moving object detection for varied background video sequences
Sharma Object detection and recognition using Amazon Rekognition with Boto3
Chaitra et al. An impact of radon transforms and filtering techniques for text localization in natural scene text images
Yasmeen et al. Text detection and classification from low quality natural images
CN113657378B (zh) 车辆跟踪方法、车辆跟踪系统和计算设备
CN114783042A (zh) 基于多移动目标的人脸识别方法、装置、设备及存储介质
Chen et al. Context-aware lane marking detection on urban roads

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant