CN111291812A - 属性类别的获取方法及装置、存储介质、电子装置 - Google Patents

属性类别的获取方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN111291812A
CN111291812A CN202010086830.6A CN202010086830A CN111291812A CN 111291812 A CN111291812 A CN 111291812A CN 202010086830 A CN202010086830 A CN 202010086830A CN 111291812 A CN111291812 A CN 111291812A
Authority
CN
China
Prior art keywords
attribute
feature
vector
features
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010086830.6A
Other languages
English (en)
Other versions
CN111291812B (zh
Inventor
肖钟雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010086830.6A priority Critical patent/CN111291812B/zh
Publication of CN111291812A publication Critical patent/CN111291812A/zh
Application granted granted Critical
Publication of CN111291812B publication Critical patent/CN111291812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种属性类别的获取方法及装置、存储介质、电子装置,所述方法包括:通过提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,注意力掩码图用于表示不同属性特征的权重;根据属性特征的注意力掩码图获取属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输入向量与第二属性特征的输入向量具有关联性;将属性特征的输入向量输入属性分类器,得到属性特征对应的属性类别,解决了现有技术中在目标对象具有多种属性的识别技术中,分别训练不同的神经网络进行不同属性的识别,导致占用资源多、且耗时大的问题。

Description

属性类别的获取方法及装置、存储介质、电子装置
技术领域
本申请涉及计算机视觉处理技术领域,具体而言,涉及一种属性类别 的获取方法及装置、存储介质、电子装置。
背景技术
随着人工智能技术的发展,计算机视觉技术已经深入工业、医学、金 融等行业,其中,安防监控领域是最重要的应用场景之一。例如,车辆属 性的识别在智能交通中发挥着重要作用,借助计算机视觉技术可以对监控 场景下的车辆进行属性信息的识别。
现有的车辆属性识别技术中,分别训练不同的神经网络进行不同属性 的识别,占用资源多、且耗时大,随着待识别属性个数的增加,占用的资 源和耗时会显著增大。基于整个车辆图片输入的识别时,网络获取一些局 部的属性(如车标、天窗等)的特征表达不明显。而基于提取出车辆的部 分区域进行对应属性识别时,同样要针对不同局部区域分别训练神经网络, 占用资源多、且耗时大。
针对相关技术中,在目标对象具有多种属性的识别技术中,分别训练 不同的神经网络进行不同属性的识别,导致占用资源多、且耗时大的问题, 目前尚未有有效的解决办法。
发明内容
本申请实施例提供了一种属性类别的获取方法及装置、存储介质、电 子装置,以至少解决相关技术中在目标对象具有多种属性的识别技术中, 分别训练不同的神经网络进行不同属性的识别,导致占用资源多、且耗时 大的问题。
根据本申请的一个实施例,提供了一种属性类别的获取方法,包括: 提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,所 述注意力掩码图用于表示不同所述属性特征的权重;根据所述属性特征的 注意力掩码图获取所述属性特征的输入向量,其中,在第一属性特征与第 二属性特征具有关联性的情况下,所述第一属性特征的输入向量与所述第 二属性特征的输入向量具有关联性;将所述属性特征的输入向量输入属性 分类器,得到所述属性特征对应的属性类别。
可选地,所述提取输入图像中目标对象的不同属性特征对应的注意力 掩码图,包括:提取所述目标对象的通用特征,得到全局三维特征向量, 其中,所述通用特征包括所述目标对象的一个或多个所述属性特征;根据 所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量, 并将所述属性三维特征向量转换为属性一维特征向量;根据所述属性一维 特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述目标对象的属性特征中复杂度最高的属 性特征对应的三维特征向量。
可选地,在提取所述目标对象的通用特征,得到全局三维特征向量之 前,所述方法还包括:获取所述输入图像;识别所述输入图像中所述目标 对象所在区域;调整所述输入图像的大小,其中,调整后的所述输入图像 上包含所述目标对象。
可选地,所述提取所述目标对象的通用特征,得到全局三维特征向量, 包括:使用骨干网络提取所述输入图像的通用特征,得到全局三维特征向 量,其中,所述骨干网络包括以下至少之一:ResNet,GoogleNet。
可选地,所述根据所述全局三维特征向量,提取与所述属性特征对应 的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向 量,包括:将所述全局三维特征向量输入3*3的卷积层,得到与所述属性 特征对应的所述属性三维特征向量;将所述属性三维特征向量输入全连接 层,使用损失函数训练所述属性三维特征向量,得到所述属性一维特征向 量。
可选地,所述根据所述属性一维特征向量和目标三维特征向量生成所 述属性特征对应的注意力掩码图,包括:将属性特征提取模块中提取的一 维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力 掩码图。
可选地,所述根据所述属性特征的注意力掩码图获取所述属性特征的 输入向量,包括:根据所述属性特征的注意力掩码图与所述目标三维特征 向量,获取所述属性特征的输入向量。
可选地,所述根据所述属性特征的注意力掩码图获取所述属性特征的 输入向量包括:在第一属性特征与第二属性特征和第三属性特征具有关联 性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特 征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性 特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表 示所述第三属性特征的输入向量,Rd表示实数域的1×d维向量,α(α∈(0,1)) 为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数, β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系 数。
可选地,所述将所述属性特征的输入向量输入属性分类器,得到所述 属性特征对应的属性类别,包括:将所述属性特征的输入向量输入属性分 类器,通过softmax函数输出所述属性特征对应的属性类别,其中,每个 所述属性特征对应一个或多个属性类别,所述输入向量与所述softmax函 数具有对应关系,所述softmax函数的输出类别数与对应的所述属性特征 的属性类别数一致。
可选地,在将所述属性特征的输入向量输入属性分类器,得到所述属 性特征对应的属性类别之后,所述方法还包括:根据所述属性特征对应的 属性类别以及不同属性特征的权重,确定所述目标对象对应的子类别,其 中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定 所述目标对象对应的子类别为目标子类别。
根据本申请的另一个实施例,还提供了一种属性类别的获取装置,其 特征在于,包括:
提取模块,用于提取输入图像中目标对象的不同属性特征对应的注意 力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权重;
获取模块,用于根据所述属性特征的注意力掩码图获取所述属性特征 的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下, 所述第一属性特征的输入向量与所述第二属性特征的输入向量具有关联 性;
输入模块,用于将所述属性特征的输入向量输入属性分类器,得到所 述属性特征对应的属性类别。
可选地,所述提取模块包括:
第一提取单元,用于提取所述目标对象的通用特征,得到全局三维特 征向量,其中,所述通用特征包括所述目标对象的一个或多个所述属性特 征;
第二提取单元,用于根据所述全局三维特征向量,提取与所述属性特 征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维 特征向量;
生成单元,用于根据所述属性一维特征向量和目标三维特征向量生成 所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述 目标对象的属性特征中复杂度最高的属性特征对应的三维特征向量。
可选地,所述装置还包括:
获取模块,用于获取所述输入图像;
识别模块,用于识别所述输入图像中所述目标对象所在区域;
调整模块,用于调整所述输入图像的大小,其中,调整后的所述输入 图像上包含所述目标对象。
可选地,所述第一提取单元包括:
提取子单元,用于使用骨干网络提取所述输入图像的通用特征,得到 全局三维特征向量,其中,所述骨干网络包括以下至少之一:ResNet, GoogleNet。
可选地,所述第二提取单元包括:
输入子单元,用于将所述全局三维特征向量输入3*3的卷积层,得到 与所述属性特征对应的所述属性三维特征向量;
训练子单元,用于将所述属性三维特征向量输入全连接层,使用损失 函数训练所述属性三维特征向量,得到所述属性一维特征向量。
可选地,所述生成单元包括:
生成子单元,用于将属性特征提取模块中提取的一维特征向量和目标 三维特征向量通过属性相关的注意力引导,得到注意力掩码图。
可选地,所述获取模块包括:
第一获取子单元,用于根据所述属性特征的注意力掩码图与所述目标 三维特征向量,获取所述属性特征的输入向量。
可选地,所述获取模块包括:
第二获取子单元,用于在第一属性特征与第二属性特征和第三属性特 征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述 第三属性特征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性 特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表 示所述第三属性特征的输入向量,Rd表示实数域的1×d维向量,α(α∈(0,1)) 为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数, β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系 数。
可选地,所述输入模块包括:
输入单元,用于将所述属性特征的输入向量输入属性分类器,通过 softmax函数输出所述属性特征对应的属性类别,其中,每个所述属性特 征对应一个或多个属性类别,所述输入向量与所述softmax函数具有对应 关系,所述softmax函数的输出类别数与对应的所述属性特征的属性类别 数一致。
可选地,所述装置还包括:
确定模块,用于根据所述属性特征对应的属性类别以及不同属性特征 的权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属 性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别 为目标子类别。
根据本申请的另一个实施例,还提供了一种计算机可读的存储介质, 所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行 时执行上述任一项方法实施例中的步骤。
根据本申请的另一个实施例,还提供了一种电子装置,包括存储器和 处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设 置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本申请实施例,通过提取输入图像中目标对象的不同属性特征对 应的注意力掩码图,其中,注意力掩码图用于表示不同属性特征的权重; 根据属性特征的注意力掩码图获取属性特征的输入向量,其中,在第一属 性特征与第二属性特征具有关联性的情况下,第一属性特征的输入向量与 第二属性特征的输入向量具有关联性;将属性特征的输入向量输入属性分 类器,得到属性特征对应的属性类别,解决了现有技术中在目标对象具有多种属性的识别技术中,分别训练不同的神经网络进行不同属性的识别, 导致占用资源多、且耗时大的问题,可以使用统一的神经网络来对不同的 属性特征进行分类,得到属性特征对应的属性类别,同时综合考虑不同属 性特征的权重,使用统一神经网络进行分类时提高了分类准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一 部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申 请的不当限定。在附图中:
图1是本申请实施例的一种属性类别的获取方法的移动终端的硬件结 构框图;
图2是本申请实施例中一种可选的属性类别的获取方法的流程图;
图3是根据本申请实施例的一种可选的属性识别神经网络结构框图;
图4是根据本申请实施例的一种可选的车辆属性类别输出方法流程图;
图5是根据本申请实施例的一种可选的属性一维特征向量的提取方法 示意图;
图6是根据本申请实施例的一种可选的属性注意力特征提取方法流程 图;
图7是根据本申请实施例的一种可选的子类别识别方法流程图;
图8是根据本申请实施例的一种可选的属性类别的获取装置的结构框 图;
图9是根据本申请实施例的一种可选的电子装置结构示意图。
图10是根据本申请实施例的一种可选的车系识别图案一;
图11是根据本申请实施例的一种可选的车系识别图案二。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是, 在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语 “第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序 或先后次序。
常见的现有车辆属性识别技术中,分别训练神经网络进行不同属性的 识别,占用资源多、且耗时大,随着待识别属性个数的增加,占用的资源 和耗时会显著增大。基于整个车辆图片输入的识别时,网络获取一些局部 的属性(如车标、天窗等)的特征表达不明显。而基于提取出车辆的部分 区域进行对应属性识别时,同样要针对不同局部区域分别训练神经网络, 此外,对于一些相关属性缺乏属性特征等信息的关联。
本申请实例提出一种基于注意力的车辆多属性识别方法,用一个统一 的网络,通过类似人脑的视觉注意力机制,针对不同属性分别获得属性注 意力的属性特征,同时当多个属性之间具有相关性时,采用多个属性特征 关联的方式作为复杂属性的特征向量,获得更加丰富的特征表达,从而实 现快速、准确的多属性识别,同时,将属性识别结果融合可得到是否疑似 改标车等更深层次的属性结果。
本申请实施例提供了一种属性类别的获取方法。图1是根据本申请实 施例一种可选的属性类别的获取方法的硬件环境示意图,如图1所示,该 硬件环境可以包括但不限于RGB摄像头102和服务器104。RGB摄像头 102将获取的图像输入服务器104中,服务器104经过内部处理,输出图 像中的属性特征对应的属性类别,其中,服务器104中执行的操作主要包 括以下步骤:
步骤S102,提取输入图像中目标对象的不同属性特征对应的注意力掩 码图,其中,注意力掩码图用于表示不同属性特征的权重;
步骤S104,根据属性特征的注意力掩码图获取属性特征的输入向量, 其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特 征的输入向量与第二属性特征的输入向量具有关联性;
步骤S106,将属性特征的输入向量输入属性分类器,得到属性特征对 应的属性类别。
需要说明的是,本申请实施例提供的注意力机制的基本思想是让网络 学习类似人脑的注意力,关注重点信息、忽略无关信息,注意力掩码图就 是表示三维特征向量中哪些特征区域对该属性重要,注意力掩码图可以是 一个权重图。
本申请实施例提供了一种属性类别的获取方法。图2是本申请实施例 中一种可选的属性类别的获取方法的流程图,如图2所示,该方法包括:
步骤S202,提取输入图像中目标对象的不同属性特征对应的注意力掩 码图,其中,注意力掩码图用于表示不同属性特征的权重;
步骤S204,根据属性特征的注意力掩码图获取属性特征的输入向量, 其中,在第一属性特征与第二属性特征具有关联性的情况下,第一属性特 征的输入向量与第二属性特征的输入向量具有关联性;
步骤S206,将属性特征的输入向量输入属性分类器,得到属性特征对 应的属性类别。
可选地,所述提取输入图像中目标对象的不同属性特征对应的注意力 掩码图,包括:提取所述目标对象的通用特征,得到全局三维特征向量, 其中,所述通用特征包括所述目标对象的一个或多个所述属性特征;根据 所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量, 并将所述属性三维特征向量转换为属性一维特征向量;根据所述属性一维 特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述目标对象的属性特征中复杂度最高的属 性特征对应的三维特征向量。
可选地,在提取所述目标对象的通用特征,得到全局三维特征向量之 前,所述方法还包括:获取所述输入图像;识别所述输入图像中所述目标 对象所在区域;调整所述输入图像的大小,其中,调整后的所述输入图像 上包含所述目标对象。
可选地,所述提取所述目标对象的通用特征,得到全局三维特征向量, 包括:使用骨干网络提取所述输入图像的通用特征,得到全局三维特征向 量,其中,所述骨干网络包括以下至少之一:ResNet,GoogleNet。
可选地,所述根据所述全局三维特征向量,提取与所述属性特征对应 的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向 量,包括:将所述全局三维特征向量输入3*3的卷积层,得到与所述属性 特征对应的所述属性三维特征向量;将所述属性三维特征向量输入全连接 层,使用损失函数训练所述属性三维特征向量,得到所述属性一维特征向 量。
可选地,所述根据所述属性一维特征向量和目标三维特征向量生成所 述属性特征对应的注意力掩码图,包括:将属性特征提取模块中提取的一 维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力 掩码图。
其中所述一维特征向量为所述属性的一个特征向量,目标三维特征向 量为复杂度最高的属性特征对应的三维特征向量,该矩阵乘法也就是通过 所述一维特征向量、目标三维特征向量引导,通过矩阵乘法得到该属性在 特征图上的一个权值分部(权重),该权值分部代表了该属性所关注的区 域。掩码图指的是二维向量,类似一个权重图,其大小与目标三维特征向 量的一个通道一致,表示了该属性所关注的区域。
通过属性相关的注意力引导,计算得到注意力掩码图可以通过以下步 骤实现:一维特征向量和目标三维特征向量通过矩阵乘法,得到二维注意 力掩码图。(例如:一维特征向量维度为:1*n,目标三维特征向量维度为: n*d1*d2,将d1*d2变换成一个一维向量:1*(d1*d2),目标三维特征向量 变换成二维向量为:n*(d1*d2),计算矩阵相乘得到一维向量:1*(d1*d2), 变换至二维空间为二维注意力掩码图,维度为:d1*d2。)可选地,所述根 据所述属性特征的注意力掩码图获取所述属性特征的输入向量,包括:根 据所述属性特征的注意力掩码图与所述目标三维特征向量,获取所述属性 特征的输入向量。
其中,属性特征的输入向量可以通过以下步骤获取:属性特征的注意 力掩码图与所述目标三维特征向量通过矩阵点乘计算属性特征的三维向 量,再经过全局池化,获取所述属性特征的输入向量。(例如:注意力掩 码图的为二维向量:d1*d2,所述目标三维特征向量维度为:n*d1*d2,将 注意力掩码图复制n个通道变成维度:n*d1*d2,计算矩阵点乘(对应元 素相乘)得到向量:n*d1*d2,得到属性特征的三维向量;再经过全局池 化,获取所述属性特征的输入向量。
可选地,所述根据所述属性特征的注意力掩码图获取所述属性特征的 输入向量包括:在第一属性特征与第二属性特征和第三属性特征具有关联 性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特 征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性 特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表 示所述第三属性特征的输入向量,Rd表示实数域的1×d维向量,α(α∈(0,1)) 为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数, β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系 数。
可选地,所述将所述属性特征的输入向量输入属性分类器,得到所述 属性特征对应的属性类别,包括:将所述属性特征的输入向量输入属性分 类器,通过softmax函数输出所述属性特征对应的属性类别,其中,每个 所述属性特征对应一个或多个属性类别,所述输入向量与所述softmax函 数具有对应关系,所述softmax函数的输出类别数与对应的所述属性特征 的属性类别数一致。
可选地,在将所述属性特征的输入向量输入属性分类器,得到所述属 性特征对应的属性类别之后,所述方法还包括:根据所述属性特征对应的 属性类别以及不同属性特征的权重,确定所述目标对象对应的子类别,其 中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定 所述目标对象对应的子类别为目标子类别。
需要说明的是,本申请实施例不仅可以用于车辆识别技术领域,还可 以用于任意目标对象的识别领域,本申请实施例对此不做限定。
以车辆属性识别为例具体介绍本申请实施例中提供的识别方案。图3 是根据本申请实施例的一种可选的属性识别神经网络结构框图,如图3 所示,本申请实例提出的车辆属性识别方法由一个统一的网络进行多属性 的识别,该网络包含以下模块:图像输入模块,通用特征提取模块,属性 特征提取模块,属性注意力特征模块,属性识别模块,属性融合模块。
图像输入模块为整个网络的输入,监控场景下采集的图片,通过预训 练好的检测模型,得到车辆区域,裁剪得到车辆图像。对该输入图像统一 调整到448*448,且为等比例的调整,图像内容不会因为调整而发生挤压 或拉升。训练时,对输入的图像进行随机翻转、旋转、归一化等图像处理 和样本增强操作。
通用特征提取模块,将图像输入模块输入的图片经过一个骨干网络进 行通用特征的提取。骨干网络包括ResNet、GoogleNet等,为了使模型减 小,应用MobileNet、SqueezeNet思想将骨干网络轻量化。该通用特征提 取模块输出三维的特征表达,该特征表达作为全局通用的特征,为后续属 性识别提供基础的特征表达。但该特征表达为全局的特征,直接用来识别 各类属性效果不理想,尤其对一些局部特征的属性识别。后续的模块则会 针对不同属性,加入属性注意力,获得更具判别性的属性特征表达。
属性特征提取模块,将通用特征提取模块输出的三维特征表达,针对 不同属性分别得到属性相关的特征向量。该属性相关的特征向量是在通用 特征提取模块输出的三维特征表达后连接一个3*3的卷积层得到属性相关 的三维特征,再连接一个全连接层,训练时,该全连接层后接该属性的分 类损失函数,从而学习到该属性相关的一维特征向量。每个属性均对应一 个一维特征向量,通过有监督的学习,该属性特征提取模块得到了属性相关的特征表达。
属性注意力特征模块,将属性特征提取模块中提取的一维特征向量和 目标三维特征向量通过属性相关的注意力引导,得到注意力掩码图,该掩 码图与全局三维特征向量计算后,获得经属性注意力引导的一维特征向量。 该全局三维特征向量通常选取某一细粒度复杂属性的三维特征,例如:车 系属性,因为细粒度复杂属性的特征能够学习到最全面属性表达。同样, 每个属性都对应一个经属性注意力引导的一维特征向量。
属性识别模块,将属性注意力特征模块中输出的特征向量作为最后属 性分类器的输入,经过softmax函数(逻辑回归模型)得到该属性的分类。 每个属性注意力相关的特征向量对应一个softmax函数,该softmax函数的 输出类别数与该属性的分类类别数一致。当多个属性之间具有相关性时, 采用多个属性特征关联的方式作为复杂属性的特征向量,丰富该属性的特 征表达。复杂属性及其相关联的属性,依据属性间的相关系数进行特征融合,得到复杂属性的特征向量。
属性融合模块,根据属性识别模块输出的各类属性信息的输出得到一 些更深层次的属性信息。改标车即车主私自将车标改装为其他汽车厂商的 车标,例如,将比亚迪车标改装为雷克萨斯车标,为改标车。国家已经出 了相应的交规,禁止车主对车标进行改装,改标车的识别可以帮助交警快 速筛选出一些违规车。然而,改标车的属性很难直接通过对图片一次的属 性识别获得,结合车辆的多个属性可以分析该属性,例如:可以通过车系 属性识别输出和车标属性识别输出确定一辆车是否为改标车,车系属性识 别输出包含车辆的大品牌、子品牌和年款信息,当车系属性识别输出的大 品牌与车标属性识别输出不一致时,则可判断该车为疑似改标车。
下面以一个具体的例子来说明:
该示例说明天窗、车标、车型、车系属性的识别,但该方法不限于天 窗、车标、车型、车系属性的识别,也可包含车辆颜色、后备胎、行李架、 车顶玩具等属性的识别,整体结构如图4所示,图4是根据本申请实施例 的一种可选的车辆属性类别输出方法流程图。
监控场景下采集的图片,通过预训练好的检测模型,得到车辆区域, 裁剪得到车辆RGB图像,车辆RGB图像调整至448*448作为网络的输入, 归一化后,经过骨干网络(ResNet,GoogleNet等)得到图像的三维通用 特征表达,为了使模型减小,应用MobileNet、SqueezeNet思想将骨干网 络轻量化。后续将根据该三维通用特征表达,针对单个属性,分别连接一 个3*3的卷积层得到属性的三维特征表达,再连接一个全卷积网络层,得 到天窗、车标、车型、车系属性的一维特征表达,即图4中的属性特征1 (属性特征1对应的向量相当于前述属性一维特征向量)。由通用特征到 属性特征1的过程如图5所示。图5是根据本申请实施例的一种可选的属 性一维特征向量的提取方法示意图。
图4中,天窗、车标、车型属性特征1到天窗、车标、车型属性特征 2(相当于前述属性注意力特征,属性特征2对应的向量即属性特征的输 入向量)是基于属性注意力机制进行特征重提取,该属性注意力特征重提 取方法具体见图6。图6是根据本申请实施例的一种可选的属性注意力特 征提取方法流程图。在天窗、车标、车型、车系属性中,其中车系属性是 最复杂的任务,车系属性特征会获取该车辆最全面的特征表达,在此,将 车系的三维属性特征作为属性注意力模块的全局特征。以天窗属性为例, 天窗属性特征1的一维特征和车系三维属性特征计算后,得到天窗注意力 的掩码图,该计算的前提是在网络设计时,车系三维属性特征的特征图的 个数要和天窗属性特征1的维度一致。天窗注意力的掩码图得到后,该掩 码图与车系三维属性特征的每个特征图进行像素级的计算得到新的天窗 注意力三维特征图,再经过全局池化,得到经属性注意力提取的天窗属性 特征2。同样,车标、车系属性注意力特征提取过程类似天窗。
车系识别是一个比较复杂的属性识别过程,为细粒度属性识别任务, 相对车系属性而言,车标、车型属性为粗属性识别。然而,车系属性与车 标、车型属性之间存在着一些强相关性,例如:车系为:宝马-1系-2019, 车标为宝马标,图案如图10所示,车型必为轿车,且宝马-1系系列的车 型不可能为suv、货车、客车等;奔驰-V级-2018,车标为奔驰标,图案如 图11所示,车型必为mpv,且奔驰-V级系列的车型不可能为轿车、客车、 货车等。车系属性与车标、车型属性之间的这种强相关性,使得车标和车 型属性的特征对车系属性的识别有着促进作用,为了使车系属性识别更为 准确,充分利用不同属性间的相关性,采用特征融合的方式,获得更丰富 的特征表达。将与车系属性相关的属性(车标、车型)特征融合,在图4 中,将车系属性特征1、车标属性特征2、车型属性特征2按预设的权重 比融合得到最终的车系属性特征2。若将车系属性特征1表示为fbrand1,车 标属性特征2表示为flogo2,车型属性特征2表示为ftype2,则融合后的车系 属性特征2fbrand2可表示为:
fbrand2=fbrand1+αflogo2+βftype2(fbrand1,flogo2,ftype2∈Rd)·········公式1
其中,α(α∈(0,1))为一个常量,表征车标与车系之间的相关系数, β(β∈(0,1))为一个常量,表征车型与车系之间的相关系数。
最后,基于各属性特征2的一维特征表达,经过softmax函数得到各 属性的分类,天窗属性分为:无天窗、小天窗、全景天窗;车标属性分为: 大众、宝马、奔驰等,车型属性分为:轿车、suv、面包车、大货车等; 车系属性包括车辆的大品牌、子品牌、年款信息,例如:宝马-X1-2019。
在属性识别结果后,可以进行属性结果的融合,根据已有属性结果得 到更深层次的属性判别。图7是根据本申请实施例的一种可选的子类别识 别方法流程图,如图7所示,是否为改标车的属性很难直接通过对图片一 次的属性识别获得,需要结合车辆的多个属性进行逻辑判断,该示例中, 结合车标属性和车系属性可以获得疑似改标车的属性信息。通过提取车系 属性结果的大品牌信息,与车标属性输出进行比对,可得到是否为疑似改标车的属性信息。首先输入本案例的示例中所提出的识别网络(图4),得 到各属性结果分别为:车窗属性:无天窗;车标属性:雷克萨斯;车型属 性:SUV;车系属性:比亚迪-S7-2016。结合车系属性和车标属性结果进 行一致性的判断,该车系属性得到的大品牌是比亚迪,车标理论上应该为 比亚迪车标,但车标属性得到的是雷克萨斯车标,两者不一致,则可以判定该车为疑似改标车。
该网络可以做到将多属性同时训练,同时识别。训练时,除了在最终 分类外接损失函数外,在属性特征1后也外接相应属性的损失函数,总的 损失函数依据各属性的损失函数按一定的权重比求和。
通过本申请实施例,通过加入类似人脑的视觉注意力机制,可根据不 同属性分别获得更具判别性的属性特征;当多个属性之间具有相关性时, 采用多个属性特征关联的方式作为复杂属性的特征向量,获得更丰富的特 征表达;采用一个统一的网络进行多属性的识别,不需要针对不同属性分 别训练多个网络模型,可以做到多属性同时训练,同时识别。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都 表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受 所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序 或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实 施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根 据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当 然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理 解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软 件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可 以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所 述的方法。
根据本申请实施例的另一个方面,还提供了一种用于实施上述属性类 别的获取方法的属性类别的获取装置。图8是根据本申请实施例的一种可 选的属性类别的获取装置的结构框图,如图8所示,该装置包括:
提取模块802,用于提取输入图像中目标对象的不同属性特征对应的 注意力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权 重;
获取模块804,用于根据所述属性特征的注意力掩码图获取所述属性 特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情 况下,所述第一属性特征的输入向量与所述第二属性特征的输入向量具有 关联性;
输入模块806,用于将所述属性特征的输入向量输入属性分类器,得 到所述属性特征对应的属性类别。
可选地,所述提取模块包括:
第一提取单元,用于提取所述目标对象的通用特征,得到全局三维特 征向量,其中,所述通用特征包括所述目标对象的一个或多个所述属性特 征;
第二提取单元,用于根据所述全局三维特征向量,提取与所述属性特 征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维 特征向量;
生成单元,用于根据所述属性一维特征向量和目标三维特征向量生成 所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述 目标对象的属性特征中复杂度最高的属性特征对应的三维特征向量。
可选地,所述装置还包括:
获取模块,用于获取所述输入图像;
识别模块,用于识别所述输入图像中所述目标对象所在区域;
调整模块,用于调整所述输入图像的大小,其中,调整后的所述输入 图像上包含所述目标对象。
可选地,所述第一提取单元包括:
提取子单元,用于使用骨干网络提取所述输入图像的通用特征,得到 全局三维特征向量,其中,所述骨干网络包括以下至少之一:ResNet, GoogleNet。
可选地,所述第二提取单元包括:
输入子单元,用于将所述全局三维特征向量输入3*3的卷积层,得到 与所述属性特征对应的所述属性三维特征向量;
训练子单元,用于将所述属性三维特征向量输入全连接层,使用损失 函数训练所述属性三维特征向量,得到所述属性一维特征向量。
可选地,所述生成单元包括:
生成子单元,用于将属性特征提取模块中提取的一维特征向量和目标 三维特征向量通过属性相关的注意力引导,得到注意力掩码图。
可选地,所述获取模块包括:
第一获取子单元,用于根据所述属性特征的注意力掩码图与所述目标 三维特征向量,获取所述属性特征的输入向量。
可选地,所述获取模块包括:
第二获取子单元,用于在第一属性特征与第二属性特征和第三属性特 征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述 第三属性特征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性 特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表 示所述第三属性特征的输入向量,α(α∈(0,1))为常量,表示所述第二属性 特征与所述第一属性特征之间的相关系数,β(β∈(0,1))为常量,所述第三 属性特征与所述第一属性特征之间的相关系数。
可选地,所述输入模块包括:
输入单元,用于将所述属性特征的输入向量输入属性分类器,通过 softmax函数输出所述属性特征对应的属性类别,其中,每个所述属性特 征对应一个或多个属性类别,所述输入向量与所述softmax函数具有对应 关系,所述softmax函数的输出类别数与对应的所述属性特征的属性类别 数一致。
可选地,所述装置还包括:
确定模块,用于根据所述属性特征对应的属性类别以及不同属性特征 的权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属 性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别 为目标子类别。
根据本申请实施例的又一个方面,还提供了一种用于实施上述属性类 别的获取方法的电子装置,上述电子装置可以但不限于应用于上述图1所 示的服务器104中。如图9所示,该电子装置包括存储器402和处理器404, 该存储器402中存储有计算机程序,该处理器404被设置为通过计算机程 序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网 络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执 行以下步骤:
S1,提取输入图像中目标对象的不同属性特征对应的注意力掩码图, 其中,注意力掩码图用于表示不同属性特征的权重;
S2,根据属性特征的注意力掩码图获取属性特征的输入向量,其中, 在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输 入向量与第二属性特征的输入向量具有关联性;
S3,将属性特征的输入向量输入属性分类器,得到属性特征对应的属 性类别。
可选地,本领域普通技术人员可以理解,图9所示的结构仅为示意, 电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、 掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终 端设备。图9其并不对上述电子装置的结构造成限定。例如,电子装置还 可包括比图9中所示更多或者更少的组件(如网络接口等),或者具有与 图9所示不同的配置。
其中,存储器402可用于存储软件程序以及模块,如本申请实施例中 的属性类别的获取方法和装置对应的程序指令/模块,处理器404通过运 行存储在存储器402内的软件程序以及模块,从而执行各种功能应用以及 数据处理,即实现上述的属性类别的获取方法。存储器402可包括高速随 机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、 闪存、或者其他非易失性固态存储器。在一些实例中,存储器402可进一 步包括相对于处理器404远程设置的存储器,这些远程存储器可以通过网 络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域 网、移动通信网及其组合。其中,存储器402具体可以但不限于用于储存 属性类别的获取方法的程序步骤。作为一种示例,如图9所示,上述存储 器402中可以但不限于包括上述属性类别的获取装置中的提取模块802、 获取模块804和输入模块806。此外,还可以包括但不限于上述属性类别 的获取装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置406用于经由一个网络接收或者发送数据。 上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装 置406包括一个网络适配器(Network Interface Controller,NIC),其可通 过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。 在一个实例中,传输装置406为射频(Radio Frequency,RF)模块,其用 于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器408,用于显示可疑帐号的告警 推送;和连接总线410,用于连接上述电子装置中的各个模块部件。
本申请的实施例还提供了一种计算机可读的存储介质,该存储介质中 存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项 方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以 下步骤的计算机程序:
S1,提取输入图像中目标对象的不同属性特征对应的注意力掩码图, 其中,注意力掩码图用于表示不同属性特征的权重;
S2,根据属性特征的注意力掩码图获取属性特征的输入向量,其中, 在第一属性特征与第二属性特征具有关联性的情况下,第一属性特征的输 入向量与第二属性特征的输入向量具有关联性;
S3,将属性特征的输入向量输入属性分类器,得到属性特征对应的属 性类别。
可选地,存储介质还被设置为存储用于执行上述实施例中的方法中所 包括的步骤的计算机程序,本实施例中对此不再赘述。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的 各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬 件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包 括:闪存盘、只读存储器(Read-OnlyMemory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为 独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。 基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的 部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计 算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算 机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实 施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可 通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的, 例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外 的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统, 或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或 通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的, 作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地 方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元 中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在 一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软 件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的 普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进 和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种属性类别的获取方法,其特征在于,包括:
提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权重;
根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,所述第一属性特征的输入向量与所述第二属性特征的输入向量具有关联性;
将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别。
2.根据权利要求1所述的方法,其特征在于,所述提取输入图像中目标对象的不同属性特征对应的注意力掩码图,包括:
提取所述目标对象的通用特征,得到全局三维特征向量,其中,所述通用特征包括所述目标对象的一个或多个所述属性特征;
根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量;
根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,其中,所述目标三维特征向量为所述目标对象的属性特征中复杂度最高的属性特征对应的三维特征向量。
3.根据权利要求2所述的方法,其特征在于,在提取所述目标对象的通用特征,得到全局三维特征向量之前,所述方法还包括:
获取所述输入图像;
识别所述输入图像中所述目标对象所在区域;
调整所述输入图像的大小,其中,调整后的所述输入图像上包含所述目标对象。
4.根据权利要求2所述的方法,其特征在于,所述提取所述目标对象的通用特征,得到全局三维特征向量,包括:
使用骨干网络提取所述输入图像的通用特征,得到全局三维特征向量,其中,所述骨干网络至少包括以下之一:ResNet,GoogleNet。
5.根据权利要求2所述的方法,其特征在于,所述根据所述全局三维特征向量,提取与所述属性特征对应的属性三维特征向量,并将所述属性三维特征向量转换为属性一维特征向量,包括:
将所述全局三维特征向量输入3*3的卷积层,得到与所述属性特征对应的所述属性三维特征向量;
将所述属性三维特征向量输入全连接层,使用损失函数训练所述属性三维特征向量,得到所述属性一维特征向量。
6.根据权利要求2所述的方法,其特征在于,所述根据所述属性一维特征向量和目标三维特征向量生成所述属性特征对应的注意力掩码图,包括:
将属性特征提取模块中提取的一维特征向量和目标三维特征向量通过属性相关的注意力引导,得到注意力掩码图。
7.根据权利要求2所述的方法,其特征在于,所述根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,包括:
根据所述属性特征的注意力掩码图与所述目标三维特征向量,获取所述属性特征的输入向量。
8.根据权利要求7所述的方法,其特征在于,所述根据所述属性特征的注意力掩码图获取所述属性特征的输入向量包括:
在第一属性特征与第二属性特征和第三属性特征具有关联性且所述第一属性特征复杂度高于所述第二属性特征和所述第三属性特征的情况下,通过以下公式获取所述第一属性特征的输入向量:
fa2=fa1+αfb2+βfc2(fa1,fb2,fc2∈Rd)
其中,fa2表示所述第一属性特征的输入向量,fa1表示所述第一属性特征的属性一维特征向量,fb2表示所述第二属性特征的输入向量,fc2表示所述第三属性特征的输入向量,Rd表示实数域的1×d维向量,α(α∈(0,1))为常量,表示所述第二属性特征与所述第一属性特征之间的相关系数,β(β∈(0,1))为常量,所述第三属性特征与所述第一属性特征之间的相关系数。
9.根据权利要求1所述的方法,其特征在于,所述将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别,包括:
将所述属性特征的输入向量输入属性分类器,通过softmax函数输出所述属性特征对应的属性类别,其中,每个所述属性特征对应一个或多个属性类别,所述输入向量与所述softmax函数具有对应关系,所述softmax函数的输出类别数与对应的所述属性特征的属性类别数一致。
10.根据权利要求1至9任一项所述的方法,其特征在于,在将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别之后,所述方法还包括:
根据所述属性特征对应的属性类别以及不同属性特征的权重,确定所述目标对象对应的子类别,其中,在具有关联性的两个属性特征对应的属性类别不相关的情况下,确定所述目标对象对应的子类别为目标子类别。
11.一种属性类别的获取装置,其特征在于,包括:
提取模块,用于提取输入图像中目标对象的不同属性特征对应的注意力掩码图,其中,所述注意力掩码图用于表示不同所述属性特征的权重;
获取模块,用于根据所述属性特征的注意力掩码图获取所述属性特征的输入向量,其中,在第一属性特征与第二属性特征具有关联性的情况下,所述第一属性特征的输入向量与所述第二属性特征的输入向量具有关联性;
输入模块,用于将所述属性特征的输入向量输入属性分类器,得到所述属性特征对应的属性类别。
12.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至10任一项中所述的方法。
13.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至10任一项中所述的方法。
CN202010086830.6A 2020-02-11 2020-02-11 属性类别的获取方法及装置、存储介质、电子装置 Active CN111291812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010086830.6A CN111291812B (zh) 2020-02-11 2020-02-11 属性类别的获取方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010086830.6A CN111291812B (zh) 2020-02-11 2020-02-11 属性类别的获取方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN111291812A true CN111291812A (zh) 2020-06-16
CN111291812B CN111291812B (zh) 2023-10-17

Family

ID=71023590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010086830.6A Active CN111291812B (zh) 2020-02-11 2020-02-11 属性类别的获取方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN111291812B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898467A (zh) * 2020-07-08 2020-11-06 浙江大华技术股份有限公司 属性识别方法及装置、存储介质、电子装置
CN112102239A (zh) * 2020-08-10 2020-12-18 北京工业大学 一种用于全层脑ct图像的图像处理方法及系统
CN112101246A (zh) * 2020-09-18 2020-12-18 济南博观智能科技有限公司 一种车辆识别方法、装置、设备及介质
CN112464652A (zh) * 2020-11-24 2021-03-09 昆明理工大学 一种从文献中提取插图及其标题的方法
CN113627477A (zh) * 2021-07-07 2021-11-09 武汉魅瞳科技有限公司 车辆多属性识别方法及系统
CN116630909A (zh) * 2023-06-16 2023-08-22 广东特视能智能科技有限公司 基于无人机的无人值守智能监控系统及其方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080051957A1 (en) * 2002-09-03 2008-02-28 Automotive Technologies International, Inc. Image Processing for Vehicular Applications Applying Image Comparisons
US20110078024A1 (en) * 2009-09-29 2011-03-31 General Electric Company System and method for provisioning advertisements to a vehicle user
US20130325202A1 (en) * 2012-06-01 2013-12-05 GM Global Technology Operations LLC Neuro-cognitive driver state processing
CN105589972A (zh) * 2016-01-08 2016-05-18 天津车之家科技有限公司 训练分类模型的方法及装置、对搜索词分类的方法及装置
CN106056102A (zh) * 2016-07-01 2016-10-26 哈尔滨工业大学 基于视频图像分析的道路车型分类方法
US20170161586A1 (en) * 2015-12-08 2017-06-08 Nuctech Company Limited Train type identification method and system, and security inspection method and system
CN108076316A (zh) * 2016-11-18 2018-05-25 杭州海康威视数字技术股份有限公司 一种识别改装车辆的方法、装置及系统
WO2018157862A1 (zh) * 2017-03-02 2018-09-07 腾讯科技(深圳)有限公司 车型的识别方法和装置、存储介质、电子装置
CN109271878A (zh) * 2018-08-24 2019-01-25 北京地平线机器人技术研发有限公司 图像识别方法、图像识别装置和电子设备
CN109522970A (zh) * 2018-11-28 2019-03-26 南京旷云科技有限公司 图像分类方法、装置及系统
WO2019114603A1 (zh) * 2017-12-13 2019-06-20 深圳市道通科技股份有限公司 车辆检测方法、装置及车辆诊断设备
CN110245563A (zh) * 2019-05-14 2019-09-17 深圳云天励飞技术有限公司 改装车识别方法及相关产品
CN110348505A (zh) * 2019-07-02 2019-10-18 高新兴科技集团股份有限公司 车辆颜色分类模型训练方法、装置和车辆颜色识别方法
CN110414345A (zh) * 2019-06-25 2019-11-05 北京汉迪移动互联网科技股份有限公司 卡通图像生成方法、装置、设备及存储介质
US20190354609A1 (en) * 2018-05-21 2019-11-21 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
CN110689043A (zh) * 2019-08-22 2020-01-14 长沙千视通智能科技有限公司 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN110704652A (zh) * 2019-08-22 2020-01-17 长沙千视通智能科技有限公司 基于多重注意力机制的车辆图像细粒度检索方法及装置
CN110738080A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 一种识别改装机动车的方法、装置和电子设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080051957A1 (en) * 2002-09-03 2008-02-28 Automotive Technologies International, Inc. Image Processing for Vehicular Applications Applying Image Comparisons
US20110078024A1 (en) * 2009-09-29 2011-03-31 General Electric Company System and method for provisioning advertisements to a vehicle user
US20130325202A1 (en) * 2012-06-01 2013-12-05 GM Global Technology Operations LLC Neuro-cognitive driver state processing
US20170161586A1 (en) * 2015-12-08 2017-06-08 Nuctech Company Limited Train type identification method and system, and security inspection method and system
CN105589972A (zh) * 2016-01-08 2016-05-18 天津车之家科技有限公司 训练分类模型的方法及装置、对搜索词分类的方法及装置
CN106056102A (zh) * 2016-07-01 2016-10-26 哈尔滨工业大学 基于视频图像分析的道路车型分类方法
CN108076316A (zh) * 2016-11-18 2018-05-25 杭州海康威视数字技术股份有限公司 一种识别改装车辆的方法、装置及系统
WO2018157862A1 (zh) * 2017-03-02 2018-09-07 腾讯科技(深圳)有限公司 车型的识别方法和装置、存储介质、电子装置
WO2019114603A1 (zh) * 2017-12-13 2019-06-20 深圳市道通科技股份有限公司 车辆检测方法、装置及车辆诊断设备
US20190354609A1 (en) * 2018-05-21 2019-11-21 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
CN110738080A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 一种识别改装机动车的方法、装置和电子设备
CN109271878A (zh) * 2018-08-24 2019-01-25 北京地平线机器人技术研发有限公司 图像识别方法、图像识别装置和电子设备
CN109522970A (zh) * 2018-11-28 2019-03-26 南京旷云科技有限公司 图像分类方法、装置及系统
CN110245563A (zh) * 2019-05-14 2019-09-17 深圳云天励飞技术有限公司 改装车识别方法及相关产品
CN110414345A (zh) * 2019-06-25 2019-11-05 北京汉迪移动互联网科技股份有限公司 卡通图像生成方法、装置、设备及存储介质
CN110348505A (zh) * 2019-07-02 2019-10-18 高新兴科技集团股份有限公司 车辆颜色分类模型训练方法、装置和车辆颜色识别方法
CN110689043A (zh) * 2019-08-22 2020-01-14 长沙千视通智能科技有限公司 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN110704652A (zh) * 2019-08-22 2020-01-17 长沙千视通智能科技有限公司 基于多重注意力机制的车辆图像细粒度检索方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898467A (zh) * 2020-07-08 2020-11-06 浙江大华技术股份有限公司 属性识别方法及装置、存储介质、电子装置
CN112102239A (zh) * 2020-08-10 2020-12-18 北京工业大学 一种用于全层脑ct图像的图像处理方法及系统
CN112102239B (zh) * 2020-08-10 2024-05-21 北京工业大学 一种用于全层脑ct图像的图像处理方法及系统
CN112101246A (zh) * 2020-09-18 2020-12-18 济南博观智能科技有限公司 一种车辆识别方法、装置、设备及介质
CN112464652A (zh) * 2020-11-24 2021-03-09 昆明理工大学 一种从文献中提取插图及其标题的方法
CN113627477A (zh) * 2021-07-07 2021-11-09 武汉魅瞳科技有限公司 车辆多属性识别方法及系统
CN116630909A (zh) * 2023-06-16 2023-08-22 广东特视能智能科技有限公司 基于无人机的无人值守智能监控系统及其方法
CN116630909B (zh) * 2023-06-16 2024-02-02 广东特视能智能科技有限公司 基于无人机的无人值守智能监控系统及其方法

Also Published As

Publication number Publication date
CN111291812B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN111291812B (zh) 属性类别的获取方法及装置、存储介质、电子装置
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN106778583B (zh) 基于卷积神经网络的车辆属性识别方法与装置
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN111914907A (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
JP7402239B2 (ja) 顔認識方法、ニューラルネットワークのトレーニング方法、顔認識装置、電子機器及びコンピュータ可読記憶媒体
EP3807837A1 (en) Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi-view vehicle representations
CN111898523A (zh) 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN111126258A (zh) 图像识别方法及相关装置
CN107944450A (zh) 一种车牌识别方法及装置
CN107862340A (zh) 一种车型识别方法及装置
CN107527044A (zh) 一种基于搜索的多张车牌清晰化方法及装置
CN108921866A (zh) 一种图像数据处理方法及系统
CN108323209B (zh) 信息处理方法、系统、云处理设备以及计算机存储介质
CN110619277A (zh) 一种多社区智慧布控方法以及系统
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN112418360B (zh) 卷积神经网络的训练方法、行人属性识别方法及相关设备
CN110826484A (zh) 车辆重识别的方法、装置、计算机设备及模型训练方法
CN109190504B (zh) 汽车图像数据的处理方法、装置及可读存储介质
CN114462553A (zh) 一种面向车险反欺诈的图像标注及要素抽取方法与系统
CN109615904A (zh) 停车管理方法、装置、计算机设备和存储介质
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置
CN111274926A (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN117157679A (zh) 感知网络、感知网络的训练方法、物体识别方法及装置
CN113971821A (zh) 驾驶员信息确定方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant