CN111898467B - 属性识别方法及装置、存储介质、电子装置 - Google Patents

属性识别方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN111898467B
CN111898467B CN202010653970.7A CN202010653970A CN111898467B CN 111898467 B CN111898467 B CN 111898467B CN 202010653970 A CN202010653970 A CN 202010653970A CN 111898467 B CN111898467 B CN 111898467B
Authority
CN
China
Prior art keywords
attribute
picture
feature vector
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010653970.7A
Other languages
English (en)
Other versions
CN111898467A (zh
Inventor
苏慧
张兴明
殷俊
潘华东
唐邦杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010653970.7A priority Critical patent/CN111898467B/zh
Publication of CN111898467A publication Critical patent/CN111898467A/zh
Application granted granted Critical
Publication of CN111898467B publication Critical patent/CN111898467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种属性识别方法及装置、存储介质、电子装置，其中，所述方法包括：获取第一图片；将所述第一图片输入神经网络模型，确定所述图片属性的特征向量；在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。通过本发明，解决了如何在尽可能避免其他属性特征干扰的情况下，实现多标签的异常分类过滤的问题。

Description

属性识别方法及装置、存储介质、电子装置
技术领域
本发明涉及属性识别领域，具体而言，涉及一种属性识别方法及装置、存储介质、电子装置。
背景技术
属性识别在自然场景和监控场景已经得到了广泛的应用。尤其在监控领域，属性识别应用到交通、结构化、工地等各个场景。
对目标进行多标签属性识别时容易出现其他属性特征的情况，如果无对此类情况进行过滤，则会影响属性识别的准确。
针对相关技术中如何在尽可能避免其他属性特征干扰的情况下，实现多标签的异常分类过滤的问题，目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种属性识别方法及装置、存储介质、电子装置，以至少解决相关技术中如何在尽可能避免其他属性特征干扰的情况下，实现多标签的异常分类过滤的问题。
根据本发明的一个实施例，提供了一种属性识别方法，包括：获取第一图片，其中，所述第一图片中包括：图片属性；将所述第一图片输入神经网络模型，确定所述图片属性的特征向量，其中，所述神经网络模型是通过多标签属性图像数据集训练得到的模型，通过计算所述多标签属性图像数据集中的数据属性的特征向量的均值获取图片属性对应的类别的特征向量中心；在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。
根据本发明的另一个实施例，提供了一种属性识别装置，包括：获取模块，用于获取第一图片，其中，所述第一图片中包括：图片属性；确定模块，用于将所述第一图片输入神经网络模型，确定所述图片属性的特征向量，其中，所述神经网络模型是通过多标签属性图像数据集训练得到的模型，通过计算所述多标签属性图像数据集中的数据属性的特征向量的均值获取图片属性对应的类别的特征向量中心；第一输出模块，用于在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；第二输出模块，用于在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于能够对一张图片同时定位多个属性特征区域，从而实现同时对多个属性进行异常过滤。在利用特征距离进行异常过滤时，所计算的特征距离明确为属性关联特征，避免引入与属性无关的干扰特征而导致异常过滤效果不佳的情况出现。解决了如何在尽可能避免其他属性特征干扰的情况下，实现多标签的异常分类过滤的问题。达到了避免引入与属性无关的干扰特征而导致异常过滤效果不佳的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种属性识别方法的移动终端的硬件结构框图；
图2是根据本发明实施例的属性识别方法的流程图；
图3是根据本发明实施例的属性识别装置的结构框图；
图4是根据是本发明实施例中的发型属性关联区域热度图；
图5是根据本发明实施例中的图片发型属性识别异常结果过滤示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种属性识别方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的属性识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的属性识别方法，图2是根据本发明实施例的属性识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取第一图片，其中，所述第一图片中包括：图片属性；
步骤S204，将所述第一图片输入神经网络模型，确定所述图片属性的特征向量，其中，所述神经网络模型是通过多标签属性图像数据集训练得到的模型，通过计算所述多标签属性图像数据集中的数据属性的特征向量的均值获取图片属性对应的类别的特征向量中心；
步骤S206，在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；
步骤S208，在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。
通过上述步骤，由于能够对一张图片同时定位多个属性特征区域，从而实现同时对多个属性进行异常过滤。在利用特征距离进行异常过滤时，所计算的特征距离明确为属性关联特征，避免引入与属性无关的干扰特征而导致异常过滤效果不佳的情况出现。解决了如何在尽可能避免其他属性特征干扰的情况下，实现多标签的异常分类过滤的问题。达到了避免引入与属性无关的干扰特征而导致异常过滤效果不佳的效果。
在所述步骤S202中获取的第一图片中包括了图片属性。其中，所述图片属性可以是视频图像中的人、机动车以及非机动车目标所包含的各自属性。在本申中并不进行具体限定。
在所述步骤S204中所述神经网络模型是通过多标签属性图像数据集训练得到的模型。将所述第一图片输入神经网络模型计算所述第一图片的特征向量，需要与所述图片属性对应的类别的特征向量中心之间的距离进行比较。
在所述步骤S206中判断在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值时，表示此时两者之间的距离过大，所述图片的相应属性特征不存在，则该属性结果可直接输出为“未知”。
在所述步骤S208中判断在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值时，表示该测试图片存在相应属性特征，直接输出属性的对应类的结果值。
可选地，在确定两者的特征距离时，特征距离采用欧式距离，也可以采用余弦距离等其他常规的评估特征相似度的距离公式，在本申请中并不进行具体限定。
作为本发明的可选的实施例，所述将所述第一图片输入神经网络模型，确定所述图片属性的特征向量之前，包括：使用神经网络模型训练所述多标签属性图像数据集，其中，所述神经网络模型中包括：卷积层和全局平均池化层；经过的所述卷积层得到第一特征矩阵；根据所述第一特征矩阵确定图片的目标类别的第一通道，其中，所述第一通道包括图片属性特征所在的区域。
具体实施时，使用以全局平均池化层为最后网络层的全卷积神经网络训练多标签属性数据集。该网络经1*1*C卷积层后得到尺寸为W*H*C的特征矩阵F，矩阵F正确类的通道Fc_gt上值大的区域，表示属性特征所在区域。上述特征矩阵F的通道数C等于属性类别总数。具体可以参考《Learning Deep Features for Discriminative Localization》CVPR 2016中的介绍。
作为本发明的可选的实施例，将所述第一图片输入神经网络模型，确定所述图片属性的特征向量包括：使用预设窗口遍历所述第一通道，得到属性关联区域块；在自相关矩阵中将与所述属性关联区域块所在位置相关的特征块抠出；所述特征块经过所述全局平均池化层后得到所述图片属性的特征向量。
具体实施时，通过窗口遍历所述第一通道后得到属性关联区域块，在自相关矩阵中将与所述属性关联区域块所在的位置相关的特征块从其中抠出，对于所述特征块经过所述全局平均池化层池化后得到所述图片属性的特征向量。
作为本发明的可选的实施例，使用预设窗口遍历所述第一通道，得到属性关联区域块包括：使用宽和高分别为w和h的窗口遍历所述第一通道，得到与图片属性关联度相关的属性关联区域块；在中将与所述属性关联区域块所在位置相关的特征块抠出包括：在自相关矩自相关矩阵阵中将与所述属性关联区域块所在位置相同的特征块抠出，其中，所述特征块的宽为w，高为h，通道数为C’。
具体实施时，使用宽、高分别为w*h的窗口遍历所述通道Fc_gt，并将参数值和最大的区域块作为与属性关联度最高的区域块。对自相关矩阵抠出与所述区域块位置相同的特征块。其中，所述特征块的宽、高、通道数分别为w，h，C'。对于所述窗口宽、高尺寸，可以通过分析Fc_gt上的参数值获得。
作为本发明的可选的实施例，所述特征块经过所述全局平均池化层后得到所述图片属性的特征向量包括：所述特征块经过所述全局平均池化层中宽和高分别为w和h的核进行池化操作后得到所述特征块中每个通道中的矩阵的目标值；根据所述矩阵的目标值得到长度为C’的所述图片属性的特征向量。
具体实施时，对于获得的所述特征块采用宽、高分别为w，h的核进行最大池化操作，即对特征块逐个通道获取矩阵最大值，得到一个长度为C’的特征向量。
作为本发明的可选的实施例，所述自相关矩阵的获取方法包括：将所述第一图片输入神经网络模型，通过所述卷积层得到第二特征矩阵；对所述第二特征矩阵进行空间自相关操作，得到经过自相关操作后的自相关矩阵。
具体实施时，对1*1*C卷积层的输入特征进行矩阵空间自相关操作，其中，所述输入特征的宽为W，高为H，通道数为C’。对矩阵进行空间自相关操作，可以一定程度上过滤与属性无关的干扰性特征，加强属性关联特征，从而使后续抠出的属性所在区域的特征更有鲁棒性。
作为本发明的可选的实施例，所述将所述第一图片输入神经网络模型，通过所述卷积层得到第二特征矩阵包括：将所述第一图片输入神经网络模型，通过1*1*C的卷积层得到所述第二特征矩阵，其中，所述第二特征矩阵的宽度为W、高度H为通道数C’。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种属性识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的属性识别置的结构框图，如图2所示，该装置包括
获取模块30，用于获取第一图片，其中，所述第一图片中包括：图片属性；
确定模块32，用于将所述第一图片输入神经网络模型，确定所述图片属性的特征向量，其中，所述神经网络模型是通过多标签属性图像数据集训练得到的模型，通过计算所述多标签属性图像数据集中的数据属性的特征向量的均值获取图片属性对应的类别的特征向量中心；
第一输出模块34，用于在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；
第二输出模块36，用于在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。
在所述获取模块30中获取的第一图片中包括了图片属性。其中，所述图片属性可以是视频图像中的人、机动车以及非机动车目标所包含的各自属性。在本申中并不进行具体限定。
在所述确定模块32中所述神经网络模型是通过多标签属性图像数据集训练得到的模型。将所述第一图片输入神经网络模型计算所述第一图片的特征向量，需要与所述图片属性对应的类别的特征向量中心之间的距离进行比较。
在所述第一输出模块34中判断在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值时，表示此时两者之间的距离过大，所述图片的相应属性特征不存在，则该属性结果可直接输出为“未知”。
在所述第二输出模块36中判断在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值时，表示该测试图片存在相应属性特征，直接输出属性的对应类的结果值。
所述装置还包括：训练模块，用于使用神经网络模型训练所述多标签属性图像数据集，其中，所述神经网络模型中包括：卷积层和全局平均池化层；经过的所述卷积层得到第一特征矩阵；根据所述第一特征矩阵确定图片的目标类别的第一通道，其中，所述第一通道包括图片属性特征所在的区域。
所述确定模块30，用于使用预设窗口遍历所述第一通道，得到属性关联区域块；在自相关矩阵中将与所述属性关联区域块所在位置相关的特征块抠出；所述特征块经过所述全局平均池化层后得到所述图片属性的特征向量。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
为了更好的理解上述属性识别方法流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本发明优选实施例能够对一张图片同时定位多个属性特征区域，从而实现同时对多个属性进行异常过滤，即同时对多个属性中不存在属性特征却输出了属性相应类别的错误结果进行过滤。并且，本提案通过矩阵自相关操作、属性特征区域定位、属性特征最大池化等操作，使利用特征距离进行异常过滤时，所计算的特征距离明确为属性关联特征，避免引入与属性无关的干扰特征而导致异常过滤效果不佳的问题。
如图4所示，是本发明实施例中的发型属性关联区域热度图，如图5所示，是本发明实施例中的图片发型属性识别异常结果过滤示意图。
具体而言，在本发明中的属性识别方法，综合利用全局平均池化层为结尾的全卷积网络结构和矩阵自相关操作定位属性关联区域，通过计算属性关联区域的特征距离过滤异常分类情况。
在常规网络训练步骤中，使用以全局平均池化层为最后网络层的全卷积神经网络训练多标签属性数据集。该网络经1*1*C卷积层后得到尺寸为W*H*C的特征矩阵F，矩阵F正确类的通道Fc_gt上值大的区域，表示属性特征所在区域。
以发型属性为例，在图4中反映了发型属性对应的Fc_gt上参数值大小的热度图。其中，热度图中颜色越浅的区域，表示Fc_gt上的值越大；热度图中颜色越深的区域，Fc_gt上的值越小。由图4可以看出，Fc_gt上值大的区域主要集中在人体头部位置，头部位置必定是最能反映人体发型的区域，所以Fc_gt上值大的区域主要集中在属性关联度高的区域。由于属性强关联区域，即参考热度图中不同区域的尺寸来设定窗口宽、高尺寸也是合理的。比如，可以直接使用热度图高亮区域的1.2倍作为窗口尺寸。
步骤一，对1*1*C卷积层的输入特征F'，进行矩阵空间自相关操作，设特征F'的宽为W，高为H，通道数为C'。对矩阵进行空间自相关操作，可以一定程度上过滤与属性无关的干扰性特征，加强属性关联特征，从而使后续抠出的属性所在区域的特征更有鲁棒性。自相关公式如下所示：
Figure BDA0002576027220000101
Anormal＝softmax(A) (2)
Figure BDA0002576027220000102
其中，矩阵X表示将特征F'由宽高通道数为W*H*C'的三维矩阵进行维度变换，获得的行数是W*H，列数是C'的矩阵。XT表示矩阵X的转置。
Figure BDA0002576027220000111
为矩阵相乘算子。由此，公式(1)获得的矩阵A的宽、高都为W*H。softmax(A)表示对矩阵A进行列向的softmax函数操作，使获得的矩阵Anormal的每一行参数和为1。矩阵O表示经过自相关操作后获得的矩阵。
步骤二，使用宽、高分别为w*h的窗口遍历步骤一中获得的Fc_gt，参数值和最大的区域块B作为与属性关联度最高的区域块。对步骤二中获得的矩阵O，抠出与区域块B位置相同的特征块，该特征块的宽、高、通道数分别为w，h，C'。
步骤三、对步骤二中获得的特征块B，采用宽、高分别为w，h的核进行最大池化操作，即对特征块B逐个通道获取矩阵最大值，得到一个长度为C'的特征向量V。
步骤四、利用上述步骤，对训练数据集中的所有数据的所有属性计算特征向量V，属性各个类别所有数据的特征向量取均值，获得属性各个类别的特征向量中心Vc。如图5所示，每输入一张测试图片，计算这张图片的特征向量Vtest与相应类别的特征向量中心Vc的距离，若距离大于阈值Thresh，则表示距离过大，该测试图片的相应属性特征不存在，该属性结果直接输出“未知”；若距离小于等于阈值，则表示该测试图片存在相应属性特征，直接输出属性的对应类的结果值。比如，距离计算公式如公式4所示，特征距离采用欧式距离，当然像余弦距离等其他常规的评估特征相似度的距离公式在本提案同样适用。图片发型属性过滤异常识别结果示例图如图2所示。
Figure BDA0002576027220000112
上述公式中，Vtest表示测试图片的特征向量，Vc表示测试图片输出的类别对应的特征向量中心。ti表示特征向量Vtest的第i个参数值，ci表示特征向量中心Vc的第i个参数值。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取第一图片，其中，所述第一图片中包括：图片属性；
S2，将所述第一图片输入神经网络模型，确定所述图片属性的特征向量，其中，所述神经网络模型是通过多标签属性图像数据集训练得到的模型，通过计算所述多标签属性图像数据集中的数据属性的特征向量的均值获取图片属性对应的类别的特征向量中心；
S3，在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；
S4，在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
S1，使用神经网络模型训练所述多标签属性图像数据集，其中，所述神经网络模型中包括：卷积层和全局平均池化层；
S2，经过的所述卷积层得到第一特征矩阵；
S3，根据所述第一特征矩阵确定图片的目标类别的第一通道，其中，所述第一通道包括图片属性特征所在的区域。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取第一图片，其中，所述第一图片中包括：图片属性；
S2，将所述第一图片输入神经网络模型，确定所述图片属性的特征向量，其中，所述神经网络模型是通过多标签属性图像数据集训练得到的模型，通过计算所述多标签属性图像数据集中的数据属性的特征向量的均值获取图片属性对应的类别的特征向量中心；
S3，在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；
S4，在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种属性识别方法，其特征在于，包括：
获取第一图片，其中，所述第一图片中包括：图片属性；
将所述第一图片输入神经网络模型，确定所述图片属性的特征向量，其中，所述神经网络模型是通过多标签属性图像数据集训练得到的模型，通过计算所述多标签属性图像数据集中的每个类别的数据属性的特征向量的均值获取图片属性对应的每个类别的特征向量中心；
在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；
在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一图片输入神经网络模型，确定所述图片属性的特征向量之前，包括：
使用神经网络模型训练所述多标签属性图像数据集，其中，所述神经网络模型中包括：卷积层和全局平均池化层；
经过的所述卷积层得到第一特征矩阵；
根据所述第一特征矩阵确定图片的目标类别的第一通道，其中，所述第一通道包括图片属性特征所在的区域。
3.根据权利要求2所述的方法，其特征在于，将所述第一图片输入神经网络模型，确定所述图片属性的特征向量包括：
使用预设窗口遍历所述第一通道，得到属性关联区域块；
在自相关矩阵中将与所述属性关联区域块所在位置相关的特征块抠出；
所述特征块经过所述全局平均池化层后得到所述图片属性的特征向量。
4.根据权利要求3所述的方法，其特征在于，
使用预设窗口遍历所述第一通道，得到属性关联区域块包括：
使用宽和高分别为w和h的窗口遍历所述第一通道，得到与图片属性关联度相关的属性关联区域块；
在自相关矩阵中将与所述属性关联区域块所在位置相关的特征块抠出包括：
在自相关矩阵中将与所述属性关联区域块所在位置相同的特征块抠出，其中，所述特征块的宽为w，高为h，通道数为C’。
5.根据权利要求3所述的方法，其特征在于，所述特征块经过所述全局平均池化层后得到所述图片属性的特征向量包括：
所述特征块经过所述全局平均池化层中宽和高分别为w和h的核进行池化操作后得到所述特征块中每个通道中的矩阵的目标值；
根据所述矩阵的目标值得到长度为C’的所述图片属性的特征向量。
6.根据权利要求3所述的方法，其特征在于，所述自相关矩阵的获取方法包括：
将所述第一图片输入神经网络模型，通过所述卷积层得到第二特征矩阵；
对所述第二特征矩阵进行空间自相关操作，得到经过自相关操作后的自相关矩阵。
7.根据权利要求6所述的方法，其特征在于，所述将所述第一图片输入神经网络模型，通过所述卷积层得到第二特征矩阵包括：
将所述第一图片输入神经网络模型，通过1*1*C的卷积层得到所述第二特征矩阵，其中，所述第二特征矩阵的宽度为W、高度H为通道数C’。
8.一种属性识别装置，其特征在于，包括：
获取模块，用于获取第一图片，其中，所述第一图片中包括：图片属性；
确定模块，用于将所述第一图片输入神经网络模型，确定所述图片属性的特征向量，其中，所述神经网络模型是通过多标签属性图像数据集训练得到的模型，通过计算所述多标签属性图像数据集中的每个类别的数据属性的特征向量的均值获取图片属性对应的每个类别的特征向量中心；
第一输出模块，用于在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离大于门限阈值的情况下，通过所述神经网络模型输出不存在所述第一图片的属性类别的判断结果；
第二输出模块，用于在所述图片属性的特征向量与所述图片属性对应的类别的特征向量中心之间的距离小于门限阈值的情况下，通过所述神经网络模型输出所述第一图片的属性类别的判断结果。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN202010653970.7A 2020-07-08 2020-07-08 属性识别方法及装置、存储介质、电子装置 Active CN111898467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010653970.7A CN111898467B (zh) 2020-07-08 2020-07-08 属性识别方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010653970.7A CN111898467B (zh) 2020-07-08 2020-07-08 属性识别方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN111898467A CN111898467A (zh) 2020-11-06
CN111898467B true CN111898467B (zh) 2023-02-28

Family

ID=73192652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010653970.7A Active CN111898467B (zh) 2020-07-08 2020-07-08 属性识别方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN111898467B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203262A2 (en) * 2016-05-25 2017-11-30 Metail Limited Method and system for predicting garment attributes using deep learning
CN108537270A (zh) * 2018-04-04 2018-09-14 厦门理工学院 基于多标签学习的图像标注方法、终端设备及存储介质
CN108664924A (zh) * 2018-05-10 2018-10-16 东南大学 一种基于卷积神经网络的多标签物体识别方法
CN109635680A (zh) * 2018-11-26 2019-04-16 深圳云天励飞技术有限公司 多任务属性识别方法、装置、电子设备及存储介质
CN109740415A (zh) * 2018-11-19 2019-05-10 深圳市华尊科技股份有限公司 车辆属性识别方法及相关产品
CN110287933A (zh) * 2019-07-02 2019-09-27 苏州聚悦信息科技有限公司 一种基于立体视频流的动态人脸识别系统及识别方法
CN110781733A (zh) * 2019-09-17 2020-02-11 浙江大华技术股份有限公司 图像去重方法、存储介质、网络设备和智能监控系统
CN110796046A (zh) * 2019-10-17 2020-02-14 武汉科技大学 基于卷积神经网络的智能钢渣检测方法和系统
WO2020092849A1 (en) * 2018-10-31 2020-05-07 Cornell University System and method for ultra-high-resolution ranging using rfid

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN111291812B (zh) * 2020-02-11 2023-10-17 浙江大华技术股份有限公司 属性类别的获取方法及装置、存储介质、电子装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203262A2 (en) * 2016-05-25 2017-11-30 Metail Limited Method and system for predicting garment attributes using deep learning
CN108537270A (zh) * 2018-04-04 2018-09-14 厦门理工学院 基于多标签学习的图像标注方法、终端设备及存储介质
CN108664924A (zh) * 2018-05-10 2018-10-16 东南大学 一种基于卷积神经网络的多标签物体识别方法
WO2020092849A1 (en) * 2018-10-31 2020-05-07 Cornell University System and method for ultra-high-resolution ranging using rfid
CN109740415A (zh) * 2018-11-19 2019-05-10 深圳市华尊科技股份有限公司 车辆属性识别方法及相关产品
CN109635680A (zh) * 2018-11-26 2019-04-16 深圳云天励飞技术有限公司 多任务属性识别方法、装置、电子设备及存储介质
CN110287933A (zh) * 2019-07-02 2019-09-27 苏州聚悦信息科技有限公司 一种基于立体视频流的动态人脸识别系统及识别方法
CN110781733A (zh) * 2019-09-17 2020-02-11 浙江大华技术股份有限公司 图像去重方法、存储介质、网络设备和智能监控系统
CN110796046A (zh) * 2019-10-17 2020-02-14 武汉科技大学 基于卷积神经网络的智能钢渣检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Heated metal mark attribute recognition based on compressed CNNs model;He Yin 等;《Computer Science》;20190513(第9期);全文 *
基于标签相关性的类属属性多标签分类算法;牟甲鹏 等;《计算机应用研究》;20190902;第37卷(第9期);全文 *

Also Published As

Publication number Publication date
CN111898467A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
Bins et al. Feature selection from huge feature sets
US8086049B2 (en) Iterative fisher linear discriminant analysis
US8954365B2 (en) Density estimation and/or manifold learning
CN106484837A (zh) 相似视频文件的检测方法和装置
US10565713B2 (en) Image processing apparatus and method
CN110197116B (zh) 一种人体行为识别方法、装置和计算机可读存储介质
Kong et al. Cross-domain forensic shoeprint matching
CN111090768A (zh) 一种基于深度卷积神经网络的相似图像检索系统和方法
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN111027347A (zh) 一种视频识别方法、装置和计算机设备
CN111914762A (zh) 基于步态信息的身份识别方法及装置
CN114299363A (zh) 图像处理模型的训练方法、图像分类方法及装置
CN112580780A (zh) 模型训练的处理方法、装置、设备和存储介质
CN113627334A (zh) 对象的行为识别方法及装置
CN114168768A (zh) 图像检索方法及相关设备
CN111898467B (zh) 属性识别方法及装置、存储介质、电子装置
CN111382638A (zh) 一种图像检测方法、装置、设备和存储介质
CN113077018A (zh) 一种目标对象识别方法、装置、存储介质及电子装置
CN110472092B (zh) 一种街景图片的地理定位方法及系统
CN107368847A (zh) 一种作物叶部病害识别方法及系统
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN110427558B (zh) 资源处理事件的推送方法及装置
JP2011248680A (ja) 画像処理システム
CN114549857A (zh) 图像信息识别方法、装置、计算机设备和存储介质
CN114459482A (zh) 边界简化方法、路径规划方法、装置、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant