CN111291812B - 属性类别的获取方法及装置、存储介质、电子装置 - Google Patents
属性类别的获取方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN111291812B CN111291812B CN202010086830.6A CN202010086830A CN111291812B CN 111291812 B CN111291812 B CN 111291812B CN 202010086830 A CN202010086830 A CN 202010086830A CN 111291812 B CN111291812 B CN 111291812B
- Authority
- CN
- China
- Prior art keywords
- attribute
- feature
- vector
- features
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种属性类别的获取方法及装置、存储介质、电子装置,所述方法包括:通过提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,注意力掩码图用于表示不同属性特征的权重;根据属性特征的注意力掩码图获取属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输入向量与第二属性特征的输入向量具有关联性;将属性特征的输入向量输入属性分类器,得到属性特征对应的属性类别,解决了现有技术中在目标对象具有多种属性的识别技术中,分别训练不同的神经网络进行不同属性的识别,导致占用资源多、且耗时大的问题。
Description
技术领域
本申请涉及计算机视觉处理技术领域,具体而言,涉及一种属性类别的获取方法及装置、存储介质、电子装置。
背景技术
随着人工智能技术的发展,计算机视觉技术已经深入工业、医学、金融等行业,其中,安防监控领域是最重要的应用场景之一。例如,车辆属性的识别在智能交通中发挥着重要作用,借助计算机视觉技术可以对监控场景下的车辆进行属性信息的识别。
现有的车辆属性识别技术中,分别训练不同的神经网络进行不同属性的识别,占用资源多、且耗时大,随着待识别属性个数的增加,占用的资源和耗时会显著增大。基于整个车辆图片输入的识别时,网络获取一些局部的属性(如车标、天窗等)的特征表达不明显。而基于提取出车辆的部分区域进行对应属性识别时,同样要针对不同局部区域分别训练神经网络,占用资源多、且耗时大。
针对相关技术中,在目标对象具有多种属性的识别技术中,分别训练不同的神经网络进行不同属性的识别,导致占用资源多、且耗时大的问题,目前尚未有有效的解决办法。
发明内容
本申请实施例提供了一种属性类别的获取方法及装置、存储介质、电子装置,以至少解决相关技术中在目标对象具有多种属性的识别技术中,分别训练不同的神经网络进行不同属性的识别,导致占用资源多、且耗时大的问题。
根据本申请的一个实施例,提供了一种属性类别的获取方法,包括:提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权重;根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,所述第一属性特征的输入向量与所述第二属性特征的输入向量具有关联性;将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别。
可选地,所述提取输入图像中目标对象的不同属性特征对应的注意力掩码图,包括:提取所述目标对象的通用特征,得到全局三维特征向量,其中,所述通用特征包括所述目标对象的一个或多个所述属性特征;根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量;根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述目标对象的属性特征中复杂度最高的属性特征对应的三维特征向量。
可选地,在提取所述目标对象的通用特征,得到全局三维特征向量之前,所述方法还包括:获取所述输入图像;识别所述输入图像中所述目标对象所在区域;调整所述输入图像的大小,其中,调整后的所述输入图像上包含所述目标对象。
可选地,所述提取所述目标对象的通用特征,得到全局三维特征向量,包括:使用骨干网络提取所述输入图像的通用特征,得到全局三维特征向量,其中,所述骨干网络包括以下至少之一:ResNet,GoogleNet。
可选地,所述根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量,包括:将所述全局三维特征向量输入3*3的卷积层,得到与所述属性特征对应的所述属性三维特征向量;将所述属性三维特征向量输入全连接层,使用损失函数训练所述属性三维特征向量,得到所述属性一维特征向量。
可选地,所述根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,包括:将属性特征提取模块中提取的一维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力掩码图。
可选地,所述根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,包括:根据所述属性特征的注意力掩码图与所述目标三维特征向量,获取所述属性特征的输入向量。
可选地,所述根据所述属性特征的注意力掩码图获取所述属性特征的输入向量包括:在第一属性特征与第二属性特征和第三属性特征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表示所述第三属性特征的输入向量,Rd表示实数域的1×d维向量,α(α∈(0,1))为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数,β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系数。
可选地,所述将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别,包括:将所述属性特征的输入向量输入属性分类器,通过softmax函数输出所述属性特征对应的属性类别,其中,每个所述属性特征对应一个或多个属性类别,所述输入向量与所述softmax函数具有对应关系,所述softmax函数的输出类别数与对应的所述属性特征的属性类别数一致。
可选地,在将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别之后,所述方法还包括:根据所述属性特征对应的属性类别以及不同属性特征的权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别为目标子类别。
根据本申请的另一个实施例,还提供了一种属性类别的获取装置,其特征在于,包括:
提取模块,用于提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权重;
获取模块,用于根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,所述第一属性特征的输入向量与所述第二属性特征的输入向量具有关联性;
输入模块,用于将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别。
可选地,所述提取模块包括:
第一提取单元,用于提取所述目标对象的通用特征,得到全局三维特征向量,其中,所述通用特征包括所述目标对象的一个或多个所述属性特征;
第二提取单元,用于根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量;
生成单元,用于根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述目标对象的属性特征中复杂度最高的属性特征对应的三维特征向量。
可选地,所述装置还包括:
获取模块,用于获取所述输入图像;
识别模块,用于识别所述输入图像中所述目标对象所在区域;
调整模块,用于调整所述输入图像的大小,其中,调整后的所述输入图像上包含所述目标对象。
可选地,所述第一提取单元包括:
提取子单元,用于使用骨干网络提取所述输入图像的通用特征,得到全局三维特征向量,其中,所述骨干网络包括以下至少之一:ResNet,GoogleNet。
可选地,所述第二提取单元包括:
输入子单元,用于将所述全局三维特征向量输入3*3的卷积层,得到与所述属性特征对应的所述属性三维特征向量;
训练子单元,用于将所述属性三维特征向量输入全连接层,使用损失函数训练所述属性三维特征向量,得到所述属性一维特征向量。
可选地,所述生成单元包括:
生成子单元,用于将属性特征提取模块中提取的一维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力掩码图。
可选地,所述获取模块包括:
第一获取子单元,用于根据所述属性特征的注意力掩码图与所述目标三维特征向量,获取所述属性特征的输入向量。
可选地,所述获取模块包括:
第二获取子单元,用于在第一属性特征与第二属性特征和第三属性特征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表示所述第三属性特征的输入向量,Rd表示实数域的1×d维向量,α(α∈(0,1))为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数,β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系数。
可选地,所述输入模块包括:
输入单元,用于将所述属性特征的输入向量输入属性分类器,通过softmax函数输出所述属性特征对应的属性类别,其中,每个所述属性特征对应一个或多个属性类别,所述输入向量与所述softmax函数具有对应关系,所述softmax函数的输出类别数与对应的所述属性特征的属性类别数一致。
可选地,所述装置还包括:
确定模块,用于根据所述属性特征对应的属性类别以及不同属性特征的权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别为目标子类别。
根据本申请的另一个实施例,还提供了一种计算机可读的存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请的另一个实施例,还提供了一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本申请实施例,通过提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,注意力掩码图用于表示不同属性特征的权重;根据属性特征的注意力掩码图获取属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输入向量与第二属性特征的输入向量具有关联性;将属性特征的输入向量输入属性分类器,得到属性特征对应的属性类别,解决了现有技术中在目标对象具有多种属性的识别技术中,分别训练不同的神经网络进行不同属性的识别,导致占用资源多、且耗时大的问题,可以使用统一的神经网络来对不同的属性特征进行分类,得到属性特征对应的属性类别,同时综合考虑不同属性特征的权重,使用统一神经网络进行分类时提高了分类准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例的一种属性类别的获取方法的移动终端的硬件结构框图;
图2是本申请实施例中一种可选的属性类别的获取方法的流程图;
图3是根据本申请实施例的一种可选的属性识别神经网络结构框图;
图4是根据本申请实施例的一种可选的车辆属性类别输出方法流程图;
图5是根据本申请实施例的一种可选的属性一维特征向量的提取方法示意图;
图6是根据本申请实施例的一种可选的属性注意力特征提取方法流程图;
图7是根据本申请实施例的一种可选的子类别识别方法流程图;
图8是根据本申请实施例的一种可选的属性类别的获取装置的结构框图;
图9是根据本申请实施例的一种可选的电子装置结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
常见的现有车辆属性识别技术中,分别训练神经网络进行不同属性的识别,占用资源多、且耗时大,随着待识别属性个数的增加,占用的资源和耗时会显著增大。基于整个车辆图片输入的识别时,网络获取一些局部的属性(如车标、天窗等)的特征表达不明显。而基于提取出车辆的部分区域进行对应属性识别时,同样要针对不同局部区域分别训练神经网络,此外,对于一些相关属性缺乏属性特征等信息的关联。
本申请实例提出一种基于注意力的车辆多属性识别方法,用一个统一的网络,通过类似人脑的视觉注意力机制,针对不同属性分别获得属性注意力的属性特征,同时当多个属性之间具有相关性时,采用多个属性特征关联的方式作为复杂属性的特征向量,获得更加丰富的特征表达,从而实现快速、准确的多属性识别,同时,将属性识别结果融合可得到是否疑似改标车等更深层次的属性结果。
本申请实施例提供了一种属性类别的获取方法。图1是根据本申请实施例一种可选的属性类别的获取方法的硬件环境示意图,如图1所示,该硬件环境可以包括但不限于RGB摄像头102和服务器104。RGB摄像头102将获取的图像输入服务器104中,服务器104经过内部处理,输出图像中的属性特征对应的属性类别,其中,服务器104中执行的操作主要包括以下步骤:
步骤S102,提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,注意力掩码图用于表示不同属性特征的权重;
步骤S104,根据属性特征的注意力掩码图获取属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输入向量与第二属性特征的输入向量具有关联性;
步骤S106,将属性特征的输入向量输入属性分类器,得到属性特征对应的属性类别。
需要说明的是,本申请实施例提供的注意力机制的基本思想是让网络学习类似人脑的注意力,关注重点信息、忽略无关信息,注意力掩码图就是表示三维特征向量中哪些特征区域对该属性重要,注意力掩码图可以是一个权重图。
本申请实施例提供了一种属性类别的获取方法。图2是本申请实施例中一种可选的属性类别的获取方法的流程图,如图2所示,该方法包括:
步骤S202,提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,注意力掩码图用于表示不同属性特征的权重;
步骤S204,根据属性特征的注意力掩码图获取属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输入向量与第二属性特征的输入向量具有关联性;
步骤S206,将属性特征的输入向量输入属性分类器,得到属性特征对应的属性类别。
可选地,所述提取输入图像中目标对象的不同属性特征对应的注意力掩码图,包括:提取所述目标对象的通用特征,得到全局三维特征向量,其中,所述通用特征包括所述目标对象的一个或多个所述属性特征;根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量;根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述目标对象的属性特征中复杂度最高的属性特征对应的三维特征向量。
可选地,在提取所述目标对象的通用特征,得到全局三维特征向量之前,所述方法还包括:获取所述输入图像;识别所述输入图像中所述目标对象所在区域;调整所述输入图像的大小,其中,调整后的所述输入图像上包含所述目标对象。
可选地,所述提取所述目标对象的通用特征,得到全局三维特征向量,包括:使用骨干网络提取所述输入图像的通用特征,得到全局三维特征向量,其中,所述骨干网络包括以下至少之一:ResNet,GoogleNet。
可选地,所述根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量,包括:将所述全局三维特征向量输入3*3的卷积层,得到与所述属性特征对应的所述属性三维特征向量;将所述属性三维特征向量输入全连接层,使用损失函数训练所述属性三维特征向量,得到所述属性一维特征向量。
可选地,所述根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,包括:将属性特征提取模块中提取的一维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力掩码图。
其中所述一维特征向量为所述属性的一个特征向量,目标三维特征向量为复杂度最高的属性特征对应的三维特征向量,该矩阵乘法也就是通过所述一维特征向量、目标三维特征向量引导,通过矩阵乘法得到该属性在特征图上的一个权值分部(权重),该权值分部代表了该属性所关注的区域。掩码图指的是二维向量,类似一个权重图,其大小与目标三维特征向量的一个通道一致,表示了该属性所关注的区域。
通过属性相关的注意力引导,计算得到注意力掩码图可以通过以下步骤实现:一维特征向量和目标三维特征向量通过矩阵乘法,得到二维注意力掩码图。(例如:一维特征向量维度为:1*n,目标三维特征向量维度为:n*d1*d2,将d1*d2变换成一个一维向量:1*(d1*d2),目标三维特征向量变换成二维向量为:n*(d1*d2),计算矩阵相乘得到一维向量:1*(d1*d2),变换至二维空间为二维注意力掩码图,维度为:d1*d2。)可选地,所述根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,包括:根据所述属性特征的注意力掩码图与所述目标三维特征向量,获取所述属性特征的输入向量。
其中,属性特征的输入向量可以通过以下步骤获取:属性特征的注意力掩码图与所述目标三维特征向量通过矩阵点乘计算属性特征的三维向量,再经过全局池化,获取所述属性特征的输入向量。(例如:注意力掩码图的为二维向量:d1*d2,所述目标三维特征向量维度为:n*d1*d2,将注意力掩码图复制n个通道变成维度:n*d1*d2,计算矩阵点乘(对应元素相乘)得到向量:n*d1*d2,得到属性特征的三维向量;再经过全局池化,获取所述属性特征的输入向量。
可选地,所述根据所述属性特征的注意力掩码图获取所述属性特征的输入向量包括:在第一属性特征与第二属性特征和第三属性特征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表示所述第三属性特征的输入向量,Rd表示实数域的1×d维向量,α(α∈(0,1))为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数,β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系数。
可选地,所述将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别,包括:将所述属性特征的输入向量输入属性分类器,通过softmax函数输出所述属性特征对应的属性类别,其中,每个所述属性特征对应一个或多个属性类别,所述输入向量与所述softmax函数具有对应关系,所述softmax函数的输出类别数与对应的所述属性特征的属性类别数一致。
可选地,在将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别之后,所述方法还包括:根据所述属性特征对应的属性类别以及不同属性特征的权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别为目标子类别。
需要说明的是,本申请实施例不仅可以用于车辆识别技术领域,还可以用于任意目标对象的识别领域,本申请实施例对此不做限定。
以车辆属性识别为例具体介绍本申请实施例中提供的识别方案。图3是根据本申请实施例的一种可选的属性识别神经网络结构框图,如图3所示,本申请实例提出的车辆属性识别方法由一个统一的网络进行多属性的识别,该网络包含以下模块:图像输入模块,通用特征提取模块,属性特征提取模块,属性注意力特征模块,属性识别模块,属性融合模块。
图像输入模块为整个网络的输入,监控场景下采集的图片,通过预训练好的检测模型,得到车辆区域,裁剪得到车辆图像。对该输入图像统一调整到448*448,且为等比例的调整,图像内容不会因为调整而发生挤压或拉升。训练时,对输入的图像进行随机翻转、旋转、归一化等图像处理和样本增强操作。
通用特征提取模块,将图像输入模块输入的图片经过一个骨干网络进行通用特征的提取。骨干网络包括ResNet、GoogleNet等,为了使模型减小,应用MobileNet、SqueezeNet思想将骨干网络轻量化。该通用特征提取模块输出三维的特征表达,该特征表达作为全局通用的特征,为后续属性识别提供基础的特征表达。但该特征表达为全局的特征,直接用来识别各类属性效果不理想,尤其对一些局部特征的属性识别。后续的模块则会针对不同属性,加入属性注意力,获得更具判别性的属性特征表达。
属性特征提取模块,将通用特征提取模块输出的三维特征表达,针对不同属性分别得到属性相关的特征向量。该属性相关的特征向量是在通用特征提取模块输出的三维特征表达后连接一个3*3的卷积层得到属性相关的三维特征,再连接一个全连接层,训练时,该全连接层后接该属性的分类损失函数,从而学习到该属性相关的一维特征向量。每个属性均对应一个一维特征向量,通过有监督的学习,该属性特征提取模块得到了属性相关的特征表达。
属性注意力特征模块,将属性特征提取模块中提取的一维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力掩码图,该掩码图与全局三维特征向量计算后,获得经属性注意力引导的一维特征向量。该全局三维特征向量通常选取某一细粒度复杂属性的三维特征,例如:车系属性,因为细粒度复杂属性的特征能够学习到最全面属性表达。同样,每个属性都对应一个经属性注意力引导的一维特征向量。
属性识别模块,将属性注意力特征模块中输出的特征向量作为最后属性分类器的输入,经过softmax函数(逻辑回归模型)得到该属性的分类。每个属性注意力相关的特征向量对应一个softmax函数,该softmax函数的输出类别数与该属性的分类类别数一致。当多个属性之间具有相关性时,采用多个属性特征关联的方式作为复杂属性的特征向量,丰富该属性的特征表达。复杂属性及其相关联的属性,依据属性间的相关系数进行特征融合,得到复杂属性的特征向量。
属性融合模块,根据属性识别模块输出的各类属性信息的输出得到一些更深层次的属性信息。改标车即车主私自将车标改装为其他汽车厂商的车标,例如,将比亚迪车标改装为雷克萨斯车标,为改标车。国家已经出了相应的交规,禁止车主对车标进行改装,改标车的识别可以帮助交警快速筛选出一些违规车。然而,改标车的属性很难直接通过对图片一次的属性识别获得,结合车辆的多个属性可以分析该属性,例如:可以通过车系属性识别输出和车标属性识别输出确定一辆车是否为改标车,车系属性识别输出包含车辆的大品牌、子品牌和年款信息,当车系属性识别输出的大品牌与车标属性识别输出不一致时,则可判断该车为疑似改标车。
下面以一个具体的例子来说明:
该示例说明天窗、车标、车型、车系属性的识别,但该方法不限于天窗、车标、车型、车系属性的识别,也可包含车辆颜色、后备胎、行李架、车顶玩具等属性的识别,整体结构如图4所示,图4是根据本申请实施例的一种可选的车辆属性类别输出方法流程图。
监控场景下采集的图片,通过预训练好的检测模型,得到车辆区域,裁剪得到车辆RGB图像,车辆RGB图像调整至448*448作为网络的输入,归一化后,经过骨干网络(ResNet,GoogleNet等)得到图像的三维通用特征表达,为了使模型减小,应用MobileNet、SqueezeNet思想将骨干网络轻量化。后续将根据该三维通用特征表达,针对单个属性,分别连接一个3*3的卷积层得到属性的三维特征表达,再连接一个全卷积网络层,得到天窗、车标、车型、车系属性的一维特征表达,即图4中的属性特征1(属性特征1对应的向量相当于前述属性一维特征向量)。由通用特征到属性特征1的过程如图5所示。图5是根据本申请实施例的一种可选的属性一维特征向量的提取方法示意图。
图4中,天窗、车标、车型属性特征1到天窗、车标、车型属性特征2(相当于前述属性注意力特征,属性特征2对应的向量即属性特征的输入向量)是基于属性注意力机制进行特征重提取,该属性注意力特征重提取方法具体见图6。图6是根据本申请实施例的一种可选的属性注意力特征提取方法流程图。在天窗、车标、车型、车系属性中,其中车系属性是最复杂的任务,车系属性特征会获取该车辆最全面的特征表达,在此,将车系的三维属性特征作为属性注意力模块的全局特征。以天窗属性为例,天窗属性特征1的一维特征和车系三维属性特征计算后,得到天窗注意力的掩码图,该计算的前提是在网络设计时,车系三维属性特征的特征图的个数要和天窗属性特征1的维度一致。天窗注意力的掩码图得到后,该掩码图与车系三维属性特征的每个特征图进行像素级的计算得到新的天窗注意力三维特征图,再经过全局池化,得到经属性注意力提取的天窗属性特征2。同样,车标、车系属性注意力特征提取过程类似天窗。
车系识别是一个比较复杂的属性识别过程,为细粒度属性识别任务,相对车系属性而言,车标、车型属性为粗属性识别。然而,车系属性与车标、车型属性之间存在着一些强相关性,例如:车系为:宝马-1系-2019,车标为宝马标,图案为宝马图标,车型必为轿车,且宝马-1系系列的车型不可能为suv、货车、客车等;奔驰-V级-2018,车标为奔驰标,图案为奔驰图标,车型必为mpv,且奔驰-V级系列的车型不可能为轿车、客车、货车等。车系属性与车标、车型属性之间的这种强相关性,使得车标和车型属性的特征对车系属性的识别有着促进作用,为了使车系属性识别更为准确,充分利用不同属性间的相关性,采用特征融合的方式,获得更丰富的特征表达。将与车系属性相关的属性(车标、车型)特征融合,在图4中,将车系属性特征1、车标属性特征2、车型属性特征2按预设的权重比融合得到最终的车系属性特征2。若将车系属性特征1表示为fbrand1,车标属性特征2表示为flogo2,车型属性特征2表示为ftype2,则融合后的车系属性特征2fbrand2可表示为:
fbrand2=fbrand1+αflogo2+βftype2(fbrand1,flogo2,ftype2∈Rd)·········公式1
其中,α(α∈(0,1))为一个常量,表征车标与车系之间的相关系数,β(β∈(0,1))为一个常量,表征车型与车系之间的相关系数。
最后,基于各属性特征2的一维特征表达,经过softmax函数得到各属性的分类,天窗属性分为:无天窗、小天窗、全景天窗;车标属性分为:大众、宝马、奔驰等,车型属性分为:轿车、suv、面包车、大货车等;车系属性包括车辆的大品牌、子品牌、年款信息,例如:宝马-X1-2019。
在属性识别结果后,可以进行属性结果的融合,根据已有属性结果得到更深层次的属性判别。图7是根据本申请实施例的一种可选的子类别识别方法流程图,如图7所示,是否为改标车的属性很难直接通过对图片一次的属性识别获得,需要结合车辆的多个属性进行逻辑判断,该示例中,结合车标属性和车系属性可以获得疑似改标车的属性信息。通过提取车系属性结果的大品牌信息,与车标属性输出进行比对,可得到是否为疑似改标车的属性信息。首先输入本案例的示例中所提出的识别网络(图4),得到各属性结果分别为:车窗属性:无天窗;车标属性:雷克萨斯;车型属性:SUV;车系属性:比亚迪-S7-2016。结合车系属性和车标属性结果进行一致性的判断,该车系属性得到的大品牌是比亚迪,车标理论上应该为比亚迪车标,但车标属性得到的是雷克萨斯车标,两者不一致,则可以判定该车为疑似改标车。
该网络可以做到将多属性同时训练,同时识别。训练时,除了在最终分类外接损失函数外,在属性特征1后也外接相应属性的损失函数,总的损失函数依据各属性的损失函数按一定的权重比求和。
通过本申请实施例,通过加入类似人脑的视觉注意力机制,可根据不同属性分别获得更具判别性的属性特征;当多个属性之间具有相关性时,采用多个属性特征关联的方式作为复杂属性的特征向量,获得更丰富的特征表达;采用一个统一的网络进行多属性的识别,不需要针对不同属性分别训练多个网络模型,可以做到多属性同时训练,同时识别。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面,还提供了一种用于实施上述属性类别的获取方法的属性类别的获取装置。图8是根据本申请实施例的一种可选的属性类别的获取装置的结构框图,如图8所示,该装置包括:
提取模块802,用于提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权重;
获取模块804,用于根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,所述第一属性特征的输入向量与所述第二属性特征的输入向量具有关联性;
输入模块806,用于将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别。
可选地,所述提取模块包括:
第一提取单元,用于提取所述目标对象的通用特征,得到全局三维特征向量,其中,所述通用特征包括所述目标对象的一个或多个所述属性特征;
第二提取单元,用于根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量;
生成单元,用于根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述目标对象的属性特征中复杂度最高的属性特征对应的三维特征向量。
可选地,所述装置还包括:
获取模块,用于获取所述输入图像;
识别模块,用于识别所述输入图像中所述目标对象所在区域;
调整模块,用于调整所述输入图像的大小,其中,调整后的所述输入图像上包含所述目标对象。
可选地,所述第一提取单元包括:
提取子单元,用于使用骨干网络提取所述输入图像的通用特征,得到全局三维特征向量,其中,所述骨干网络包括以下至少之一:ResNet,GoogleNet。
可选地,所述第二提取单元包括:
输入子单元,用于将所述全局三维特征向量输入3*3的卷积层,得到与所述属性特征对应的所述属性三维特征向量;
训练子单元,用于将所述属性三维特征向量输入全连接层,使用损失函数训练所述属性三维特征向量,得到所述属性一维特征向量。
可选地,所述生成单元包括:
生成子单元,用于将属性特征提取模块中提取的一维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力掩码图。
可选地,所述获取模块包括:
第一获取子单元,用于根据所述属性特征的注意力掩码图与所述目标三维特征向量,获取所述属性特征的输入向量。
可选地,所述获取模块包括:
第二获取子单元,用于在第一属性特征与第二属性特征和第三属性特征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表示所述第三属性特征的输入向量,α(α∈(0,1))为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数,β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系数。
可选地,所述输入模块包括:
输入单元,用于将所述属性特征的输入向量输入属性分类器,通过softmax函数输出所述属性特征对应的属性类别,其中,每个所述属性特征对应一个或多个属性类别,所述输入向量与所述softmax函数具有对应关系,所述softmax函数的输出类别数与对应的所述属性特征的属性类别数一致。
可选地,所述装置还包括:
确定模块,用于根据所述属性特征对应的属性类别以及不同属性特征的权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别为目标子类别。
根据本申请实施例的又一个方面,还提供了一种用于实施上述属性类别的获取方法的电子装置,上述电子装置可以但不限于应用于上述图1所示的服务器104中。如图9所示,该电子装置包括存储器402和处理器404,该存储器402中存储有计算机程序,该处理器404被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,注意力掩码图用于表示不同属性特征的权重;
S2,根据属性特征的注意力掩码图获取属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输入向量与第二属性特征的输入向量具有关联性;
S3,将属性特征的输入向量输入属性分类器,得到属性特征对应的属性类别。
可选地,本领域普通技术人员可以理解,图9所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图9中所示更多或者更少的组件(如网络接口等),或者具有与图9所示不同的配置。
其中,存储器402可用于存储软件程序以及模块,如本申请实施例中的属性类别的获取方法和装置对应的程序指令/模块,处理器404通过运行存储在存储器402内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的属性类别的获取方法。存储器402可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器402可进一步包括相对于处理器404远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器402具体可以但不限于用于储存属性类别的获取方法的程序步骤。作为一种示例,如图9所示,上述存储器402中可以但不限于包括上述属性类别的获取装置中的提取模块802、获取模块804和输入模块806。此外,还可以包括但不限于上述属性类别的获取装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置406包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置406为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器408,用于显示可疑帐号的告警推送;和连接总线410,用于连接上述电子装置中的各个模块部件。
本申请的实施例还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,注意力掩码图用于表示不同属性特征的权重;
S2,根据属性特征的注意力掩码图获取属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输入向量与第二属性特征的输入向量具有关联性;
S3,将属性特征的输入向量输入属性分类器,得到属性特征对应的属性类别。
可选地,存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序,本实施例中对此不再赘述。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (12)
1.一种属性类别的获取方法,其特征在于,包括:
提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权重,其中,所述目标对象包括车辆;
根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,所述第一属性特征的输入向量与所述第二属性特征的输入向量具有关联性,所述第一属性特征和所述第二属性特征是同一目标对象中的不同的属性特征;
将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别;
根据所述属性特征对应的属性类别以及不同属性特征的所述权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别为目标子类别;
其中,所述根据所述属性特征的注意力掩码图获取所述属性特征的输入向量包括:在第一属性特征与第二属性特征和第三属性特征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特征的情况下,将第一属性特征的属性一维特征向量、第二属性特征的输入向量以及第三属性特征的输入向量,通过第二、三属性特征分别与第一属性特征之间的相关系数进行加权融合得到第一属性特征的输入向量。
2.根据权利要求1所述的方法,其特征在于,所述提取输入图像中目标对象的不同属性特征对应的注意力掩码图,包括:
提取所述目标对象的通用特征,得到全局三维特征向量,其中,所述通用特征包括所述目标对象的一个或多个所述属性特征;
根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量;
根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述目标对象的属性特征中复杂度最高的属性特征对应的三维特征向量。
3.根据权利要求2所述的方法,其特征在于,在提取所述目标对象的通用特征,得到全局三维特征向量之前,所述方法还包括:
获取所述输入图像;
识别所述输入图像中所述目标对象所在区域;
调整所述输入图像的大小,其中,调整后的所述输入图像上包含所述目标对象。
4.根据权利要求2所述的方法,其特征在于,所述提取所述目标对象的通用特征,得到全局三维特征向量,包括:
使用骨干网络提取所述输入图像的通用特征,得到全局三维特征向量,其中,所述骨干网络至少包括以下之一:ResNet,GoogleNet。
5.根据权利要求2所述的方法,其特征在于,所述根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量,包括:
将所述全局三维特征向量输入3*3的卷积层,得到与所述属性特征对应的所述属性三维特征向量;
将所述属性三维特征向量输入全连接层,使用损失函数训练所述属性三维特征向量,得到所述属性一维特征向量。
6.根据权利要求2所述的方法,其特征在于,所述根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,包括:
将属性特征提取模块中提取的一维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力掩码图。
7.根据权利要求2所述的方法,其特征在于,所述根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,包括:
根据所述属性特征的注意力掩码图与所述目标三维特征向量,获取所述属性特征的输入向量。
8.根据权利要求7所述的方法,其特征在于,将第一属性特征的属性一维特征向量、第二属性特征的输入向量以及第三属性特征的输入向量,通过第二、三属性特征分别与第一属性特征之间的相关系数进行加权融合得到第一属性特征的输入向量,包括:
f a2= f a1 +αf b2+βf c2(f a1, f b2, f c2∈R d ),其中,f a2表示所述第一属性特征的输入向量,f a1表示所述第一属性特征的属性一维特征向量,f b2表示所述第二属性特征的输入向量,f c2表示所述第三属性特征的输入向量,R d 表示实数域的1×d维向量,α(α∈(0,1))为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数,β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系数。
9.根据权利要求1所述的方法,其特征在于,所述将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别,包括:
将所述属性特征的输入向量输入属性分类器,通过softmax函数输出所述属性特征对应的属性类别,其中,每个所述属性特征对应一个或多个属性类别,所述输入向量与所述softmax函数具有对应关系,所述softmax函数的输出类别数与对应的所述属性特征的属性类别数一致。
10.一种属性类别的获取装置,其特征在于,包括:
提取模块,用于提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权重,其中,所述目标对象包括车辆;
获取模块,用于根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,所述第一属性特征的输入向量与所述第二属性特征的输入向量具有关联性,所述第一属性特征和所述第二属性特征是同一目标对象中的不同的属性特征;
输入模块,用于将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别;
所述装置还用于根据所述属性特征对应的属性类别以及不同属性特征的所述权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别为目标子类别;
其中,通过以下方式根据所述属性特征的注意力掩码图获取所述属性特征的输入向量:在第一属性特征与第二属性特征和第三属性特征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特征的情况下,将第一属性特征的属性一维特征向量、第二属性特征的输入向量以及第三属性特征的输入向量,通过第二、三属性特征分别与第一属性特征之间的相关系数进行加权融合得到第一属性特征的输入向量。
11.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。
12.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010086830.6A CN111291812B (zh) | 2020-02-11 | 2020-02-11 | 属性类别的获取方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010086830.6A CN111291812B (zh) | 2020-02-11 | 2020-02-11 | 属性类别的获取方法及装置、存储介质、电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111291812A CN111291812A (zh) | 2020-06-16 |
CN111291812B true CN111291812B (zh) | 2023-10-17 |
Family
ID=71023590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010086830.6A Active CN111291812B (zh) | 2020-02-11 | 2020-02-11 | 属性类别的获取方法及装置、存储介质、电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111291812B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111898467B (zh) * | 2020-07-08 | 2023-02-28 | 浙江大华技术股份有限公司 | 属性识别方法及装置、存储介质、电子装置 |
CN112102239B (zh) * | 2020-08-10 | 2024-05-21 | 北京工业大学 | 一种用于全层脑ct图像的图像处理方法及系统 |
CN112101246A (zh) * | 2020-09-18 | 2020-12-18 | 济南博观智能科技有限公司 | 一种车辆识别方法、装置、设备及介质 |
CN112464652B (zh) * | 2020-11-24 | 2022-09-09 | 昆明理工大学 | 一种从文献中提取插图及其标题的方法 |
CN113627477B (zh) * | 2021-07-07 | 2024-08-09 | 武汉魅瞳科技有限公司 | 车辆多属性识别方法及系统 |
CN116630909B (zh) * | 2023-06-16 | 2024-02-02 | 广东特视能智能科技有限公司 | 基于无人机的无人值守智能监控系统及其方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105589972A (zh) * | 2016-01-08 | 2016-05-18 | 天津车之家科技有限公司 | 训练分类模型的方法及装置、对搜索词分类的方法及装置 |
CN106056102A (zh) * | 2016-07-01 | 2016-10-26 | 哈尔滨工业大学 | 基于视频图像分析的道路车型分类方法 |
CN108076316A (zh) * | 2016-11-18 | 2018-05-25 | 杭州海康威视数字技术股份有限公司 | 一种识别改装车辆的方法、装置及系统 |
WO2018157862A1 (zh) * | 2017-03-02 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 车型的识别方法和装置、存储介质、电子装置 |
CN109271878A (zh) * | 2018-08-24 | 2019-01-25 | 北京地平线机器人技术研发有限公司 | 图像识别方法、图像识别装置和电子设备 |
CN109522970A (zh) * | 2018-11-28 | 2019-03-26 | 南京旷云科技有限公司 | 图像分类方法、装置及系统 |
WO2019114603A1 (zh) * | 2017-12-13 | 2019-06-20 | 深圳市道通科技股份有限公司 | 车辆检测方法、装置及车辆诊断设备 |
CN110245563A (zh) * | 2019-05-14 | 2019-09-17 | 深圳云天励飞技术有限公司 | 改装车识别方法及相关产品 |
CN110348505A (zh) * | 2019-07-02 | 2019-10-18 | 高新兴科技集团股份有限公司 | 车辆颜色分类模型训练方法、装置和车辆颜色识别方法 |
CN110414345A (zh) * | 2019-06-25 | 2019-11-05 | 北京汉迪移动互联网科技股份有限公司 | 卡通图像生成方法、装置、设备及存储介质 |
CN110689043A (zh) * | 2019-08-22 | 2020-01-14 | 长沙千视通智能科技有限公司 | 一种基于多重注意力机制的车辆细粒度识别方法及装置 |
CN110704652A (zh) * | 2019-08-22 | 2020-01-17 | 长沙千视通智能科技有限公司 | 基于多重注意力机制的车辆图像细粒度检索方法及装置 |
CN110738080A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康威视数字技术股份有限公司 | 一种识别改装机动车的方法、装置和电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7676062B2 (en) * | 2002-09-03 | 2010-03-09 | Automotive Technologies International Inc. | Image processing for vehicular applications applying image comparisons |
US20110078024A1 (en) * | 2009-09-29 | 2011-03-31 | General Electric Company | System and method for provisioning advertisements to a vehicle user |
US20130325202A1 (en) * | 2012-06-01 | 2013-12-05 | GM Global Technology Operations LLC | Neuro-cognitive driver state processing |
CN105426922B (zh) * | 2015-12-08 | 2019-02-12 | 同方威视技术股份有限公司 | 列车车型识别方法和系统及安全检查方法和系统 |
US11120070B2 (en) * | 2018-05-21 | 2021-09-14 | Microsoft Technology Licensing, Llc | System and method for attribute-based visual search over a computer communication network |
-
2020
- 2020-02-11 CN CN202010086830.6A patent/CN111291812B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105589972A (zh) * | 2016-01-08 | 2016-05-18 | 天津车之家科技有限公司 | 训练分类模型的方法及装置、对搜索词分类的方法及装置 |
CN106056102A (zh) * | 2016-07-01 | 2016-10-26 | 哈尔滨工业大学 | 基于视频图像分析的道路车型分类方法 |
CN108076316A (zh) * | 2016-11-18 | 2018-05-25 | 杭州海康威视数字技术股份有限公司 | 一种识别改装车辆的方法、装置及系统 |
WO2018157862A1 (zh) * | 2017-03-02 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 车型的识别方法和装置、存储介质、电子装置 |
WO2019114603A1 (zh) * | 2017-12-13 | 2019-06-20 | 深圳市道通科技股份有限公司 | 车辆检测方法、装置及车辆诊断设备 |
CN110738080A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康威视数字技术股份有限公司 | 一种识别改装机动车的方法、装置和电子设备 |
CN109271878A (zh) * | 2018-08-24 | 2019-01-25 | 北京地平线机器人技术研发有限公司 | 图像识别方法、图像识别装置和电子设备 |
CN109522970A (zh) * | 2018-11-28 | 2019-03-26 | 南京旷云科技有限公司 | 图像分类方法、装置及系统 |
CN110245563A (zh) * | 2019-05-14 | 2019-09-17 | 深圳云天励飞技术有限公司 | 改装车识别方法及相关产品 |
CN110414345A (zh) * | 2019-06-25 | 2019-11-05 | 北京汉迪移动互联网科技股份有限公司 | 卡通图像生成方法、装置、设备及存储介质 |
CN110348505A (zh) * | 2019-07-02 | 2019-10-18 | 高新兴科技集团股份有限公司 | 车辆颜色分类模型训练方法、装置和车辆颜色识别方法 |
CN110689043A (zh) * | 2019-08-22 | 2020-01-14 | 长沙千视通智能科技有限公司 | 一种基于多重注意力机制的车辆细粒度识别方法及装置 |
CN110704652A (zh) * | 2019-08-22 | 2020-01-17 | 长沙千视通智能科技有限公司 | 基于多重注意力机制的车辆图像细粒度检索方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111291812A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291812B (zh) | 属性类别的获取方法及装置、存储介质、电子装置 | |
US10176405B1 (en) | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations | |
CN108197326B (zh) | 一种车辆检索方法及装置、电子设备、存储介质 | |
CA2818637C (en) | System and method for providing automotive purchase, insurance quote, and vehicle financing information using vehicle recognition | |
CN111062396B (zh) | 车牌号码识别方法、装置、电子设备及存储介质 | |
CN111126224A (zh) | 车辆检测方法及分类识别模型训练方法 | |
US10949687B2 (en) | Method and apparatus for outputting information | |
CN111783654B (zh) | 车辆重识别方法、装置及电子设备 | |
CN114462553A (zh) | 一种面向车险反欺诈的图像标注及要素抽取方法与系统 | |
CN117157679A (zh) | 感知网络、感知网络的训练方法、物体识别方法及装置 | |
CN108323209A (zh) | 信息处理方法、系统、云处理设备以及计算机程序产品 | |
US11120308B2 (en) | Vehicle damage detection method based on image analysis, electronic device and storage medium | |
CN117036843A (zh) | 目标检测模型训练方法、目标检测方法和装置 | |
CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
CA3131758A1 (en) | Image processing system | |
CN112686125A (zh) | 车辆类型的确定方法及装置、存储介质、电子装置 | |
CN108873097B (zh) | 无人停车库中载车板停车时的安全检测方法及装置 | |
CN113887297A (zh) | 基于云端形成数据闭环的安全驾驶监控方法及装置 | |
CN111428632A (zh) | 一种绞车状态检测方法及矿工行为检测方法 | |
CN110458171A (zh) | 一种车牌识别的方法以及相关装置 | |
CN110674820A (zh) | 一种基于卷积神经网络的车牌校准识别方法、系统及电子设备 | |
US11514530B2 (en) | Image processing system using convolutional neural networks | |
US11727551B2 (en) | Image processing system using recurrent neural networks | |
Amarii et al. | Obstacles and Traffic Signs Tracking System | |
US20230298350A1 (en) | Vehicle identification system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |