CN110516583A - 一种车辆重识别方法、系统、设备及介质 - Google Patents
一种车辆重识别方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN110516583A CN110516583A CN201910777083.8A CN201910777083A CN110516583A CN 110516583 A CN110516583 A CN 110516583A CN 201910777083 A CN201910777083 A CN 201910777083A CN 110516583 A CN110516583 A CN 110516583A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- characteristic pattern
- image
- region division
- coarseness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种车辆重识别方法、系统、设备及介质,方法包括:利用空间变换网络对输入车辆图像进行运算,以得到车辆不同部位对应的区域划分图像;对区域划分图像进行特征提取,得到粗粒度特征图;对粗粒度特征图进行像素级注意力生成及特征增强,以得到车辆不同部位对应的细粒度特征图;融合细粒度特征图,以生成输出特征图;根据输出特征图,对车辆图像中的车辆进行重识别。
Description
技术领域
本公开涉及计算机视觉和模式识别领域,具体地,涉及一种车辆重识别方法、系统、设备及介质。
背景技术
车辆重识别属于图像检索领域的一个子问题。给定一个车辆图像,车辆重识别任务旨在找到其它非重叠摄像头中的同一车辆图像。由于光线、视角和姿态的不同,同一车辆可能会有截然不同的外观,而同款车型的不同车辆的外观却非常相似。因此,学习一种对姿态、环境变化表现出足够鲁棒性的、能够有效识别相似车辆的特征对车辆重识别任务来说是非常重要的。
现有的车辆重识别技术大概分为三类:基于有监督学习、半监督学习和无监督学习的车辆重识别方法。因为车辆重识别技术起步较晚,现有方法多参考了行人重识别技术。在行人重识别技术中,基于部件的有监督学习方法因其对视角与姿态变化的鲁棒性、较快的训练速度和较高的性能得到了广泛的研究。最近,有研究者采用端到端的方式训练人体语义分割网络来获取行人的局部特征,但没有对得到局部区域的特征进行判断,从而使区域内部的有辨别力的区域有待加强、区域内部的像素级噪声有待抑制。
发明内容
(一)要解决的技术问题
鉴于上述技术问题,本公开提供了一种车辆重识别方法、系统、设备及介质,以至少部分地解决以上技术问题。
(二)技术方案
本公开一方面提供了一种车辆重识别方法,包括:利用空间变换网络对输入车辆图像进行运算,以得到车辆不同部位对应的区域划分图像;对所述区域划分图像进行特征提取,得到粗粒度特征图;对所述粗粒度特征图进行像素级注意力生成及特征增强,以得到所述车辆不同部位对应的细粒度特征图;融合所述细粒度特征图,以生成输出特征图;根据所述输出特征图,对所述车辆图像中的车辆进行重识别。
可选地,所述车辆不同部位对应的区域划分图像包括:车顶对应的区域划分图像、车窗对应的区域划分图像、车大灯与车格栅前半部分对应的区域划分图像、车雾灯与车格栅后半部分对应的区域划分图像;车辆相邻部位对应的所述区域划分图像之间存在重叠,重叠参数在预设范围内。
可选地,所述对所述区域划分图像进行特征提取,得到粗粒度特征图包括:利用残差注意力网络提取所述区域划分图像的特征。
可选地,所述对所述粗粒度特征图进行像素级注意力生成及特征增强包括:利用空间-通道注意力模块对所述粗粒度特征图进行像素级注意力生成,得到车辆不同部分对应的注意力图;对所述注意力图和粗粒度特征图进行点对点乘积运算,得到细粒度特征图。
可选地,所述融合所述细粒度特征图包括:利用深度网络结构将所述细粒度特征图融合为所述输出特征图。
可选地,所述根据所述输出特征图,对所述车辆图像中的车辆进行重识别包括:根据所述输出特征图,计算所述车辆图像中的车辆与检索车辆库中每一车辆特征之间的欧氏距离;根据所述欧氏距离对所述车辆图像中的车辆进行重识别。
可选地,所述根据所述欧氏距离对所述车辆图像中的车辆进行重识别包括:对所述欧氏距离进行升序排列;将排名靠前的欧氏距离对应的车辆与所述车辆图像中的车辆进行匹配。
本公开另一方面提供了一种车辆重识别系统,包括:部件划分模块,用于利用空间变换网络对输入车辆图像进行运算,以得到车辆不同部位对应的区域划分图像;粗粒度特征图提取模块,用于对所述区域划分图像进行特征提取,得到粗粒度特征图;特征增强模块,用于对所述粗粒度特征图进行像素级注意力生成及特征增强,以得到所述车辆不同部位对应的细粒度特征图;融合模块,用于融合所述细粒度特征图,以生成输出特征图;重识别模块,用于根据所述输出特征图,对所述车辆图像中的车辆进行重识别。
本公开另一方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述车辆重识别方法。
本公开另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现上述车辆重识别方法。
(三)有益效果
本公开提供的车辆重识别方法、系统、设备及介质,首先根据车辆图像生成车顶、车窗、车大灯与车格栅前半部分、车雾灯与车格栅后半部分四个部位的区域划分图像,有效地过滤了背景噪声,并提高了对视角变化、遮挡和背景噪音等干扰的鲁棒性;然后利用像素级注意力机制突出局部区域中更具有判别力的细粒度特征,并抑制了不相关噪声。通过二者结合,能够对车辆进行更准确的重识别。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的车辆重识别方法的流程图;
图2示意性示出了根据本公开实施例的车辆重识别方法中像素级注意力生成及特征增强流程图;
图3示意性示出了根据本公开实施例的车辆重识别系统的结构框图;
图4示意性示出了根据本公开实施例的适于车辆重识别的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种车辆重识别方法、系统、设备及介质。该车辆重识别方法包括利用空间变换网络对输入车辆图像进行运算,以得到车辆不同部位对应的区域划分图像,对区域划分图像进行特征提取,得到粗粒度特征图,对粗粒度特征图进行像素级注意力生成及特征增强,以得到车辆不同部位对应的细粒度特征图,融合细粒度特征图,以生成输出特征图,根据输出特征图,对车辆图像中的车辆进行重识别。以此方式,可以根据车辆图像自适应地得到车辆不同部位对应的区域划分图像,并利用注意力机制突出局部区域中更具有判别力的细粒度特征,有效过滤了背景噪声,提高了特征的鲁棒性,抑制了不相关噪声。
图1示意性示出了根据本公开实施例的车辆重识别方法的流程图。
参阅图1,同时结合图2,对图1所示方法进行详细说明,该方法包括操作S110-操作S150。
根据本公开实施例,车辆重识别方法所用到的网络中包括一个以上的可训练参数,用到的网络至少包括空间变换网络、特征提取网络、空间注意力模块(残差注意力网络)、深度网络结构、通道注意力模块SENet(Squeeze-and-Excitation Networks),该空间变换网络、特征提取网络、空间注意力模块、通道注意力模块、深度网络结构组成了一个统一的深度卷积神经网络。在操作S110之前,还应该执行操作:利用三元组损失函数调整上述可训练参数,使得三元组损失函数收敛。
三元组损失的核心思想是通过距离间隔将不匹配的车辆对与匹配的车辆对分离开来,以增大类间差异,缩小类内差异。三元损失函数Lth为:
具体地,如上式所示,对于每个批次训练,随机选取P个不同车辆,为每辆车选取K张不同的图像,即一个批次包含P×K张图片。对于同一批次中的图片a,可以选择一个最不像的正样本,即在欧氏空间中相距最远的图片,记为p;以及选择最像的负样本,即在欧式空间中相距最远的图片,记为n。a,p,n构成一个三元组,α是距离间隔,例如设置为0.15。图像集A包含与a相同ID的所有图片,其余图片在图像集B中。
进一步地,网络训练阶段,首先将车辆图片尺寸缩放为224×224。基础学习率设置为0.1,在每10个epoch后学习率变为原来的0.6倍直至损失函数不再下降,即直至损失函数收敛。1个epoch等于使用训练集中的全部样本训练一次。设置动量为0.9,权重衰减为2×10-6。网络迭代训练50000次,每一次迭代输入12张图像,即P×K=12。
进一步地,利用上述训练好的深度卷积神经网络执行操作S110-操作S150。
在操作S110,利用空间变换网络对输入车辆图像进行运算,以得到车辆不同部位对应的区域划分图像。
空间变换网络用于定位车辆不同部件区域。具体地,利用空间变换网络来构建车辆的部件划分模块。改进原空间变换网络中的参数,使得网络能够输出四个部分的区域划分图像,即车顶对应的区域划分图像、车窗对应的区域划分图像、车大灯与车格栅前半部分对应的区域划分图像、车雾灯与车格栅后半部分对应的区域划分图像,保留原空间变换网络无需额外训练、参数量少、能够自动学习到剪切、翻转等变化的优点。
根据本公开的实施例,车辆相邻部位对应的区域划分图像之间存在重叠,重叠参数在预设范围内。相邻部位对应的区域划分图像之间存在重叠使得该车辆重识别方法具有更强的鲁棒性,此外,过大的重叠会降低其性能,因此,重叠参数应在预设范围内。以上述四个区域划分图像为例,其重叠参数例如分别为0.4、0.2和0.3,即车顶对应的区域划分图像与车窗对应的区域划分图像之间的重叠参数为0.4,车窗对应的区域划分图像与车大灯与车格栅前半部分对应的区域划分图像之间的重叠参数为0.2,车大灯与车格栅前半部分对应的区域划分图像与车雾灯与车格栅后半部分对应的区域划分图像之间的重叠参数为0.2。
在操作S120,对区域划分图像进行特征提取,得到粗粒度特征图。
具体地,利用残差注意力网络提取上述区域划分图像的特征,得到车辆不同部位对应的粗粒度特征图,包括:车顶对应的粗粒度特征图、车窗对应的粗粒度特征图、车大灯与车格栅前半部分对应的粗粒度特征图、车雾灯与车格栅后半部分对应的粗粒度特征图,分别表示为S1、S2、S3和S4。该粗粒度特征图可以有效地过滤背景噪声,并提高特征的鲁棒性,以便于下一步细粒度特征提取。
在操作S130,对粗粒度特征图进行像素级注意力生成及特征增强,以得到车辆不同部位对应的细粒度特征图。
根据本公开的实施例,将上述四个部分的粗粒度特征图分别输入到四个结构相同、参数共享的网络中执行操作S130。具体地,将粗粒度特征图输入到空间-注意力模块,以生成像素级注意力并提取更具有辨别力的细粒度特征(如车窗上的年检测标、车头划痕等),从而进一步突出局部区域内部的高判别力特征,抑制低辨别力特征和对重识别无效的噪声。空间注意力模块依次连接全局跨通道平均池化层、卷积层和双线性差值层;通道注意力模块作用于分支中的残差模块。
在操作S140,融合细粒度特征图,以生成输出特征图。根据本公开实施例,利用深度网络结构将细粒度特征图融合为输出特征图。例如将四组7×7×512的细粒度特征图,融合为一个1024维的输出特征图,作为最终描述车辆的特征。
在操作S150,根据输出特征图,对车辆图像中的车辆进行重识别。
具体地,根据输出特征图,计算车辆图像中的车辆与检索车辆库中每一车辆特征之间的欧氏距离,根据该欧氏距离对车辆图像中的车辆进行重识别。根据本公开的实施例,可以对得到的欧氏距离进行升序排列,将排名第一或排名靠前的欧氏距离对应的检索车辆库中的车辆与车辆图像中的车辆进行匹配,以对车辆图像中的车辆进行重识别。
可以理解的是,也可以对欧氏距离进行降序排列,将排名倒数第一或排名靠后的欧氏距离对应的检索车辆库中的车辆与车辆图像中的车辆进行匹配,以对车辆图像中的车辆进行重识别。具体排列方式本公开不做限制。越小的欧氏距离对应的车辆与车辆图像中车辆的匹配度越高,表明所学习的车辆图像的深度特征对车辆重识别的效果越好。
图2示意性示出了根据本公开实施例的车辆重识别方法中像素级注意力生成及特征增强的流程图。
如图2所示,根据本公开的实施例,操作S130可以包括操作S131-操作S132。
在操作S131,利用空间-通道注意力模块对粗粒度特征图进行像素级注意力生成,得到车辆不同部分对应的注意力图。
根据本公开的实施例,残差注意力网络用于实现空间注意力模块的功能,即利用残差注意力网络提取粗粒度特征图的细粒度特征。在普通的残差网络中加入侧分支,侧分支通过一系列的卷积和池化操作,提取细粒度特征并增大模型的感受野。
根据本公开的实施例,SENet用于实现通道注意力模块的功能,即利用SENet计算细粒度特征图中不同通道对应的权重值。SENet可以学习特征权重,使得有效的细粒度特征图的权重大,无效或效果较小的细粒度特征图的权重小。
在操作S132,对注意力图和粗粒度特征图进行点对点乘积运算,得到细粒度特征图。根据本公开的实施例,将粗粒度特征图与其对应的权重值相乘,以得到细粒度特征图。该细粒度特征图的尺寸与原始特征图(即输入车辆图像)的尺寸相同。
本公开实施例提供的车辆重识别方法,可以通过空间变换网络得到车辆不同部位对应的区域划分图像,对区域划分图像进行特征提取,得到粗粒度特征图,对粗粒度特征图进行像素级注意力生成及特征增强,得到细粒度特征图,并对细粒度特征图进行融合以得到最终的输出特征图,以利用输出特征图对车辆进行重识别,有效过滤了背景噪声,提高了特征的鲁棒性,抑制了不相关噪声。
图3示意性示出了根据本公开实施例的车辆重识别系统的结构框图。
如图3所示,该车辆重识别系统300包括部件划分模块310、粗粒度特征图提取模块320、特征增强模块330、融合模块340以及重识别模块350。系统300可以用于执行参考图1~图2所描述的车辆重识别方法。
部件划分模块310例如可以执行操作S110,利用空间变换网络对输入车辆图像进行运算,以得到车辆不同部位对应的区域划分图像。进一步地,区域划分图像包括车顶对应的区域划分图像、车窗对应的区域划分图像、车大灯与车格栅前半部分对应的区域划分图像、车雾灯与车格栅后半部分对应的区域划分图像。车辆相邻部位对应的区域划分图像之间存在重叠,重叠参数在预设范围内。
粗粒度特征图提取模块320例如可以执行操作S120,用于对区域划分图像进行特征提取,得到粗粒度特征图。具体地,粗粒度特征图提取模块320用于利用残差注意力网络提取上述区域划分图像的特征,得到车辆不同部位对应的粗粒度特征图。
特征增强模块330例如可以执行操作S130,用于对粗粒度特征图进行像素级注意力生成及特征增强,以得到车辆不同部位对应的细粒度特征图。进一步地,特征增强模块330用于利用空间-通道注意力模块对粗粒度特征图进行像素级注意力生成,得到车辆不同部分对应的注意力图,对注意力图和粗粒度特征图进行点对点乘积运算,得到细粒度特征图。
融合模块340例如可以执行操作S140,用于融合细粒度特征图,以生成输出特征图。
重识别模块350例如可以执行操作S150,用于根据输出特征图,对车辆图像中的车辆进行重识别。进一步地,根据输出特征图,计算车辆图像中的车辆与检索车辆库中每一车辆特征之间的欧氏距离,根据该欧氏距离对车辆图像中的车辆进行重识别。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,部件划分模块310、粗粒度特征图提取模块320、特征增强模块330、融合模块340以及重识别模块350中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,部件划分模块310、粗粒度特征图提取模块320、特征增强模块330、融合模块340以及重识别模块350中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,部件划分模块310、粗粒度特征图提取模块320、特征增强模块330、融合模块340以及重识别模块350中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图4示意性示出了根据本公开实施例的适于车辆重识别的电子设备400的方框图。图4仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示,根据本公开实施例的电子设备400包括处理器401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。处理器401例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器401还可以包括用于缓存用途的板载存储器。处理器401可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 403中,存储有电子设备400操作所需的各种程序和数据。处理器401、ROM402以及RAM 403通过总线404彼此相连。处理器401通过执行ROM 402和/或RAM 403中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 402和RAM 403以外的一个或多个存储器中。处理器401也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备400还可以包括输入/输出(I/O)接口405,输入/输出(I/O)接口405也连接至总线404。电子设备400还可以包括连接至I/O接口405的以下部件中的一项或多项:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分408;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被处理器401执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的车辆重识别方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 402和/或RAM 403和/或ROM 402和RAM 403以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (10)
1.一种车辆重识别方法,包括:
利用空间变换网络对输入车辆图像进行运算,以得到车辆不同部位对应的区域划分图像;
对所述区域划分图像进行特征提取,得到粗粒度特征图;
对所述粗粒度特征图进行像素级注意力生成及特征增强,以得到所述车辆不同部位对应的细粒度特征图;
融合所述细粒度特征图,以生成输出特征图;
根据所述输出特征图,对所述车辆图像中的车辆进行重识别。
2.根据权利要求1所述的车辆重识别方法,其中:
所述车辆不同部位对应的区域划分图像包括:车顶对应的区域划分图像、车窗对应的区域划分图像、车大灯与车格栅前半部分对应的区域划分图像、车雾灯与车格栅后半部分对应的区域划分图像;
车辆相邻部位对应的所述区域划分图像之间存在重叠,重叠参数在预设范围内。
3.根据权利要求1所述的车辆重识别方法,其中,所述对所述区域划分图像进行特征提取,得到粗粒度特征图包括:
利用残差注意力网络提取所述区域划分图像的特征。
4.根据权利要求1所述的车辆重识别方法,其中,所述对所述粗粒度特征图进行像素级注意力生成及特征增强包括:
利用空间-通道注意力模块对所述粗粒度特征图进行像素级注意力生成,得到车辆不同部位对应的注意力图;
对所述注意力图和粗粒度特征图进行点对点乘积运算,得到细粒度特征图。
5.根据权利要求1所述的车辆重识别方法,其中,所述融合所述细粒度特征图包括:
利用深度网络结构将所述细粒度特征图融合为所述输出特征图。
6.根据权利要求1所述的车辆重识别方法,其中,所述根据所述输出特征图,对所述车辆图像中的车辆进行重识别包括:
根据所述输出特征图,计算所述车辆图像中的车辆与检索车辆库中每一车辆特征之间的欧氏距离;
根据所述欧氏距离对所述车辆图像中的车辆进行重识别。
7.根据权利要求6所述的车辆重识别方法,其中,所述根据所述欧氏距离对所述车辆图像中的车辆进行重识别包括:
对所述欧氏距离进行升序排列;
将排名靠前的欧氏距离对应的车辆与所述车辆图像中的车辆进行匹配。
8.一种车辆重识别系统,包括:
部件划分模块,用于利用空间变换网络对输入车辆图像进行运算,以得到车辆不同部位对应的区域划分图像;
粗粒度特征图提取模块,用于对所述区域划分图像进行特征提取,得到粗粒度特征图;
特征增强模块,用于对所述粗粒度特征图进行像素级注意力生成及特征增强,以得到所述车辆不同部位对应的细粒度特征图;
融合模块,用于融合所述细粒度特征图,以生成输出特征图;
重识别模块,用于根据所述输出特征图,对所述车辆图像中的车辆进行重识别。
9.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任一项所述的车辆重识别方法。
10.一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现权利要求1至7中任一项所述的车辆重识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910777083.8A CN110516583A (zh) | 2019-08-21 | 2019-08-21 | 一种车辆重识别方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910777083.8A CN110516583A (zh) | 2019-08-21 | 2019-08-21 | 一种车辆重识别方法、系统、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110516583A true CN110516583A (zh) | 2019-11-29 |
Family
ID=68627114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910777083.8A Pending CN110516583A (zh) | 2019-08-21 | 2019-08-21 | 一种车辆重识别方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516583A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178370A (zh) * | 2019-12-16 | 2020-05-19 | 深圳市华尊科技股份有限公司 | 车辆检索方法及相关装置 |
CN111881321A (zh) * | 2020-07-27 | 2020-11-03 | 广元量知汇科技有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN112149713A (zh) * | 2020-08-21 | 2020-12-29 | 中移雄安信息通信科技有限公司 | 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 |
CN112149643A (zh) * | 2020-11-09 | 2020-12-29 | 西北工业大学 | 基于多级注意力机制的面向无人机平台的车辆重识别方法 |
CN112381017A (zh) * | 2020-11-19 | 2021-02-19 | 华南理工大学 | 一种基于感知级联上下文的车辆重识别方法 |
CN112712048A (zh) * | 2021-01-11 | 2021-04-27 | 武汉爱科森网络科技有限公司 | 一种对电动车进入楼宇进行监测预警的方法 |
CN112818832A (zh) * | 2021-01-28 | 2021-05-18 | 中国科学技术大学 | 一种基于部件感知的弱监督物体定位装置及方法 |
CN113536012A (zh) * | 2021-05-26 | 2021-10-22 | 浙江大华技术股份有限公司 | 图像检索方法、装置、电子设备、计算机可读存储介质 |
CN113822246A (zh) * | 2021-11-22 | 2021-12-21 | 山东交通学院 | 一种基于全局参考注意力机制的车辆重识别方法 |
WO2022105655A1 (zh) * | 2020-11-23 | 2022-05-27 | 中兴通讯股份有限公司 | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 |
CN115905807A (zh) * | 2022-11-18 | 2023-04-04 | 中国市政工程西南设计研究总院有限公司 | 一种基于深度学习的粗格栅优化运行方法 |
CN116152792A (zh) * | 2023-04-23 | 2023-05-23 | 山东交通学院 | 基于跨上下文和特征响应注意力机制的车辆重识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778705A (zh) * | 2017-02-04 | 2017-05-31 | 中国科学院自动化研究所 | 一种行人个体分割方法及装置 |
CN108960189A (zh) * | 2018-07-20 | 2018-12-07 | 南京旷云科技有限公司 | 图像再识别方法、装置及电子设备 |
US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
CN109359696A (zh) * | 2018-10-29 | 2019-02-19 | 重庆中科云丛科技有限公司 | 一种车款识别方法、系统及存储介质 |
CN109583305A (zh) * | 2018-10-30 | 2019-04-05 | 南昌大学 | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 |
-
2019
- 2019-08-21 CN CN201910777083.8A patent/CN110516583A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778705A (zh) * | 2017-02-04 | 2017-05-31 | 中国科学院自动化研究所 | 一种行人个体分割方法及装置 |
US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
CN108960189A (zh) * | 2018-07-20 | 2018-12-07 | 南京旷云科技有限公司 | 图像再识别方法、装置及电子设备 |
CN109359696A (zh) * | 2018-10-29 | 2019-02-19 | 重庆中科云丛科技有限公司 | 一种车款识别方法、系统及存储介质 |
CN109583305A (zh) * | 2018-10-30 | 2019-04-05 | 南昌大学 | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 |
Non-Patent Citations (3)
Title |
---|
CHAOYANG ZHAO 等: ""A COARSE-TO-FINE LOGO RECOGNITION METHOD IN VIDEO STREAMS"", 《IEEE》 * |
YOUSONG ZHU 等: ""CoupleNet: Coupling Global Structure with Local Parts for Object Detection"", 《IEEE》 * |
刘鑫辰: ""城市视频监控网络中车辆搜索关键技术研究"", 《中国优秀博硕士学位论文全文数据库(博士)》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178370A (zh) * | 2019-12-16 | 2020-05-19 | 深圳市华尊科技股份有限公司 | 车辆检索方法及相关装置 |
CN111178370B (zh) * | 2019-12-16 | 2023-10-17 | 深圳市华尊科技股份有限公司 | 车辆检索方法及相关装置 |
CN111881321A (zh) * | 2020-07-27 | 2020-11-03 | 广元量知汇科技有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN111881321B (zh) * | 2020-07-27 | 2021-04-20 | 东来智慧交通科技(深圳)有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN112149713B (zh) * | 2020-08-21 | 2022-12-16 | 中移雄安信息通信科技有限公司 | 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 |
CN112149713A (zh) * | 2020-08-21 | 2020-12-29 | 中移雄安信息通信科技有限公司 | 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 |
CN112149643A (zh) * | 2020-11-09 | 2020-12-29 | 西北工业大学 | 基于多级注意力机制的面向无人机平台的车辆重识别方法 |
CN112381017A (zh) * | 2020-11-19 | 2021-02-19 | 华南理工大学 | 一种基于感知级联上下文的车辆重识别方法 |
CN112381017B (zh) * | 2020-11-19 | 2022-04-22 | 华南理工大学 | 一种基于感知级联上下文的车辆重识别方法 |
WO2022105655A1 (zh) * | 2020-11-23 | 2022-05-27 | 中兴通讯股份有限公司 | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 |
CN112712048A (zh) * | 2021-01-11 | 2021-04-27 | 武汉爱科森网络科技有限公司 | 一种对电动车进入楼宇进行监测预警的方法 |
CN112818832A (zh) * | 2021-01-28 | 2021-05-18 | 中国科学技术大学 | 一种基于部件感知的弱监督物体定位装置及方法 |
CN113536012A (zh) * | 2021-05-26 | 2021-10-22 | 浙江大华技术股份有限公司 | 图像检索方法、装置、电子设备、计算机可读存储介质 |
CN113822246A (zh) * | 2021-11-22 | 2021-12-21 | 山东交通学院 | 一种基于全局参考注意力机制的车辆重识别方法 |
CN115905807A (zh) * | 2022-11-18 | 2023-04-04 | 中国市政工程西南设计研究总院有限公司 | 一种基于深度学习的粗格栅优化运行方法 |
CN115905807B (zh) * | 2022-11-18 | 2023-10-20 | 中国市政工程西南设计研究总院有限公司 | 一种基于深度学习的粗格栅优化运行方法 |
CN116152792A (zh) * | 2023-04-23 | 2023-05-23 | 山东交通学院 | 基于跨上下文和特征响应注意力机制的车辆重识别方法 |
CN116152792B (zh) * | 2023-04-23 | 2023-07-21 | 山东交通学院 | 基于跨上下文和特征响应注意力机制的车辆重识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110516583A (zh) | 一种车辆重识别方法、系统、设备及介质 | |
Ma et al. | FactSeg: Foreground activation-driven small object semantic segmentation in large-scale remote sensing imagery | |
CN110619369A (zh) | 基于特征金字塔与全局平均池化的细粒度图像分类方法 | |
US11176384B1 (en) | Apparatus, system and method for object detection around vehicle and application of same | |
CN108229468A (zh) | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 | |
CN110390644A (zh) | 通过平滑锯齿边缘向计算机生成的图像添加更大的真实感 | |
CN110119148A (zh) | 一种六自由度姿态估计方法、装置及计算机可读存储介质 | |
Deshmukh et al. | Swin transformer based vehicle detection in undisciplined traffic environment | |
US11695898B2 (en) | Video processing using a spectral decomposition layer | |
CN112489050A (zh) | 一种基于特征迁移的半监督实例分割算法 | |
Yuan et al. | Multi receptive field network for semantic segmentation | |
CN116452937A (zh) | 基于动态卷积与注意力机制的多模态特征目标检测方法 | |
Petrovai et al. | Multi-task network for panoptic segmentation in automated driving | |
CN114495060B (zh) | 一种道路交通标线识别方法及装置 | |
CN112215268A (zh) | 一种灾害天气卫星云图分类方法和装置 | |
Pham et al. | Pencilnet: Zero-shot sim-to-real transfer learning for robust gate perception in autonomous drone racing | |
CN113177956B (zh) | 一种面向无人机遥感影像的语义分割方法 | |
Dharmawan et al. | End-to-End Xception model implementation on Carla Self Driving Car in moderate dense environment | |
CN115953743A (zh) | 一种基于改进的yolo模型的车位状态识别方法 | |
CN115205624A (zh) | 一种跨维度注意力聚合的云雪辩识方法、设备及存储介质 | |
CN109190467A (zh) | 一种基于关键点回归的多物体检测方法、系统、终端和存储介质 | |
CN114580510A (zh) | 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质 | |
Benbarka | Instance segmentation and 3D multi-object tracking for autonomous driving | |
TW202117609A (zh) | 具有快速逐點迴旋的高效推斷 | |
CN116883726B (zh) | 基于多分支与改进的Dense2Net的高光谱图像分类方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |