CN111783754B - 基于部位上下文的人体属性图像分类方法、系统和装置 - Google Patents

基于部位上下文的人体属性图像分类方法、系统和装置 Download PDF

Info

Publication number
CN111783754B
CN111783754B CN202010918876.XA CN202010918876A CN111783754B CN 111783754 B CN111783754 B CN 111783754B CN 202010918876 A CN202010918876 A CN 202010918876A CN 111783754 B CN111783754 B CN 111783754B
Authority
CN
China
Prior art keywords
human body
network
convolution
body attribute
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010918876.XA
Other languages
English (en)
Other versions
CN111783754A (zh
Inventor
陈盈盈
张小梅
王金桥
唐明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010918876.XA priority Critical patent/CN111783754B/zh
Publication of CN111783754A publication Critical patent/CN111783754A/zh
Application granted granted Critical
Publication of CN111783754B publication Critical patent/CN111783754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及了一种基于部位上下文的人体属性图像分类方法、系统和装置，旨在解决现有的人体分类方法忽略了人体属性之间的关系而未考虑人体内在层次结构信息导致分类精确度不足的问题。本发明包括：通过人体属性图像分类模型获取人体属性分类预测图；人体属性图像分类模型先通过特征提取网络提取待测试图像的原始特征图，再基于原始特征图通过属性分类解析网络获取高阶特征图，通过关系聚合网络和关系离散网络分别提取合适的上下文信息，将原始特征图和合适的上下文信息融合后生成人体属性分类预测图。本发明解决了如何从复杂北京中，对不同的属性产生合适的上下文特征的问题，提高了人体图像识别的精确度。

Description

基于部位上下文的人体属性图像分类方法、系统和装置
技术领域
本发明属于计算机视觉领域，具体涉及了一种基于部位上下文的人体属性图像分类方法、系统和装置。
背景技术
人体属性分类是计算机视觉中的热门研究课题之一，也是基于视觉的模式识别应用的一个重要研究方向。它需要将图像中人的各个属性（性别、年龄、衣服类型等）分类出来，从而为针对人的应用提供更加详细的先验信息，比如：行人重识别，行人检索以及视频监控等。由于自然场景中人体不同部位大小和形状的多样化，图片模糊以及光照差异大等问题，人体属性分类方法需要具有良好的区分人体前景和场景中的背景以及准确分类各个属性的能力。而传统的手工设计，基于全局或者局部的特征在人体属性分类这个问题上很难做到较好的效果。而当前基于深度学习的人体属性分类方法大多采用多尺度特征融合或者使用注意力机制来解决自然场景中人体部位大小和形状多样化问题。这些方法忽略了人体属性之间的关系进而失去获得人体内在层次结构信息，影响方法的识别性能。
发明内容
为了解决现有技术中的上述问题，即现有的人体分类方法忽略了人体属性之间的关系而未考虑人体内在层次结构信息导致分类精确度不足的问题，本发明提供了一种基于部位上下文的人体属性图像分类方法，所述方法包括：
步骤S10，获取待测试图像作为当前帧；
步骤S20，基于所述当前帧，通过训练好的人体属性图像分类模型获取人体属性分类预测图；
其中，所述人体属性图像分类模型，包括特征提取网络、属性分类解析网络、关系聚合网络和关系离散网络，并基于训练图像以及端到端的有监督训练，通过随机梯度下降算法更新网络参数，反复迭代至损失函数收敛，获得训练好的人体属性图像分类模型；
所述属性分类解析网络，为串联的卷积层，包括设定数量的降维卷积层和设定数量的用于降低特征大小的卷积层；
所述关系聚合网络，基于图卷积网络和聚合动态卷积神经网络构建，所述图卷积网络以人体属性作为图卷积的节点，属性之间的连接关系作为图卷积的边，图卷积之间的连接矩阵根据部位之间语义关系进行更新；所述聚合动态卷积神经网络以将图卷积网络的输出重排成一组卷积核大小的第一卷积核作为卷积核；
所述关系离散网络，基于属性相似离散网络和离散动态卷积神经网络，所述离散动态卷积网络以将所述相似离散网络的输出重排成一组卷积核大小的第二卷积核作为卷积核。
进一步地，所述人体属性图像分类网络，其训练方法包括：
步骤A100，从带有分类标签的人体属性图像数据集中提取第s帧作为训练帧；
步骤A200，基于所述训练帧，通过所述特征提取网络获取原始特征图；
步骤A300，基于所述原始特征图，通过所述属性分类解析网络获取每个部位的高 阶特征图
Figure 488659DEST_PATH_IMAGE001
；其中，R 表示人体的一个部位，N是人体属性的类别，D是人体属性的 维度；
步骤A400，通过所述关系聚合网络获取自适应全局上下文信息；基于所述原始特征图和高阶特征图，通过所述关系离散网络获取显著局部上下文信息；
步骤A500，融合所述原始特征图、自适应全局上下文信息和显著局部上下文信息生成人体属性训练分类预测图；
步骤A600，基于所述人体属性训练分类预测图与对应的分类标签计算所述人体属 性图像分类网络的全局损失函数，若所述全局损失函数值不低于预设的阈值，则通过随机 梯度下降法调节更新所述人体属性图像分类网络的参数，令
Figure 202537DEST_PATH_IMAGE002
并跳转至步骤 A100，直至全局损失函数小于预设的阈值，获得训练好的人体属性图像分类模型。
进一步地，所述图卷积之间的连接矩阵为：
Figure 513433DEST_PATH_IMAGE003
其中，
Figure 187603DEST_PATH_IMAGE004
为图卷积之间的连接矩阵，
Figure 533134DEST_PATH_IMAGE005
为两个人体部位的语义关系；
Figure 886755DEST_PATH_IMAGE006
其中，
Figure 684947DEST_PATH_IMAGE007
是人体的一个部位，
Figure 165738DEST_PATH_IMAGE008
是与部位
Figure 100196DEST_PATH_IMAGE009
直接相连的部位，
Figure 890297DEST_PATH_IMAGE010
,m是与部位
Figure 910206DEST_PATH_IMAGE009
直接相连部位的个数，D是人体属性的维度，R表示人体的一 个部位，i、j表示部位的标号。
进一步地，“基于所述原始特征图和高阶特征图，通过所述关系聚合网络获取自适应全局上下文信息”，其方法为：
步骤A411，基于所述高阶特征图更新所述图卷积之间的连接矩阵
Figure 929108DEST_PATH_IMAGE004
获得更新后 的连接矩阵：
Figure 983652DEST_PATH_IMAGE011
其中，
Figure 944655DEST_PATH_IMAGE012
为设定的单位矩阵；它的作用是为了在每次更新的时候，加上本身的特 征。
步骤A412，将所述高阶特征图输入具有所述更新后的连接矩阵
Figure 717439DEST_PATH_IMAGE013
的图卷积网 络，获得图卷积网络的输出参数H：
Figure 274453DEST_PATH_IMAGE014
其中，
Figure 449083DEST_PATH_IMAGE015
为激活函数，P为高阶特征图，W为可学习的权重参数，
Figure 315407DEST_PATH_IMAGE016
；
步骤A413，将所述图卷积网络的输出参数H进行特征变换，重排成一组卷积核的大小，生成第一卷积核；
步骤A414，所述聚合动态卷积结构以第一卷积核作为卷积核，生成第一卷积核参 数
Figure 575487DEST_PATH_IMAGE017
；
步骤A415，基于所述原始特征图和第一卷积核参数
Figure 919881DEST_PATH_IMAGE018
，生成自适应全局上下文信 息。
“基于所述原始特征图和高阶特征图，通过所述关系离散网络获取显著局部上下文信息”，其方法为：
步骤A421，计算人体属性的一个类别和其他所有类别的相似度
Figure 962399DEST_PATH_IMAGE019
：
Figure 999625DEST_PATH_IMAGE020
其中，
Figure 481422DEST_PATH_IMAGE021
，
Figure 895086DEST_PATH_IMAGE022
，
Figure 529461DEST_PATH_IMAGE023
，
Figure 3167DEST_PATH_IMAGE019
越小表示两个类别 越相似；
步骤A422，将所述高阶特征图P的每个特征
Figure 972260DEST_PATH_IMAGE024
与相似度
Figure 924036DEST_PATH_IMAGE019
作乘法运算得到特征相 似度
Figure 678496DEST_PATH_IMAGE025
，再将对应的特征
Figure 323104DEST_PATH_IMAGE024
加入到特征相似度
Figure 779493DEST_PATH_IMAGE025
中生成相似度离散
Figure 534960DEST_PATH_IMAGE026
：
Figure 878348DEST_PATH_IMAGE027
基于所述相似度离散
Figure 693857DEST_PATH_IMAGE026
生成相似离散网络的输出参数B：
Figure 637542DEST_PATH_IMAGE028
其中，N是人体属性的类别；
步骤A423，将所述相似离散结构的输出参数B进行特征变换，重排成一组卷积核的大小，生成第二卷积核；
步骤A424，所述离散动态卷积结构以第二卷积核作为卷积核，生成第二卷积核参 数
Figure 196699DEST_PATH_IMAGE029
；
步骤425，基于所述原始特征图和第二卷积核参数
Figure 657243DEST_PATH_IMAGE030
，生成显著局部上下文信息。
进一步地，“融合所述原始特征图、自适应全局上下文信息和显著局部上下文信息”，其方法包括合并、累加、取均值、卷积网络和多层感知机。
本发明的另一方面，提出了一种基于部位上下文的人体属性图像分类系统，所述系统包括：图像获取模块、分类预测模块和存储模块；
所述图像获取模块，用于获取待测试图像作为当前帧；
所述分类预测模块，用于基于所述当前帧，通过训练好的人体属性图像分类模型获取人体属性分类预测图；
所述存储模块，用于存储人体属性分类数据集；
其中，所述人体属性图像分类模型，包括特征提取网络、属性分类解析网络、关系聚合网络和关系离散网络，并基于训练图像以及端到端的有监督训练，通过随机梯度下降算法更新网络参数，反复迭代至损失函数收敛，获得训练好的人体属性图像分类模型；
所述属性分类解析网络，为串联的卷积层，包括设定数量的降维卷积层和设定数量的用于降低特征大小的卷积层；
所述关系聚合网络，基于图卷积网络和聚合动态卷积神经网络构建，所述图卷积网络以人体属性作为图卷积的节点，属性之间的连接关系作为图卷积的边，图卷积之间的连接矩阵根据部位之间语义关系进行更新；所述聚合动态卷积神经网络以图卷积网络的输出作为卷积核；
所述关系离散网络，基于属性相似离散网络和离散动态卷积神经网络，所述离散动态卷积网络以所述相似离散网络的输出作为卷积核。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于部位上下文的人体属性图像分类方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于部位上下文的人体属性图像分类方法。
本发明的有益效果：
（1）本发明基于部位上下文的人体属性图像分类方法，针对不同大小的人体各个部位，可以产生合适的上下文信息，获取合适的特征，提高了人体属性分类对各个属性分类的精确度，并且扩大了人体属性图像分类方法的适用范围。解决了如何从复杂背景中，对不同的属性产生合适的上下文特征。
（2）本发明基于部位上下文的人体属性图像分类方法，通过从原始特征图中获取高阶特征图，可以获得部位更好的语义表达，用来提取全局上下文和局部上下文可以提高分类预测结果的精确度。
（3）本发明基于部位上下文的人体属性图像分类方法，通过关系聚合网络的图卷积网络对高阶特征图进行全局上下文信息的提取，可以探索到人体部位之间的语义关系，利用这种关系可以获得属性的全局上下文，图像分类的过程中考虑人体的全局上下文提高了分类预测结果的精确度。
（4）本发明基于部位上下文的人体属性图像分类方法，通过关系离散网络对高阶特征图进行局部显著上下文的提取，可以减少部位之间的相互干扰，能够获得有区分性和代表性的局部上下文，提高了分类预测结果的精确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于部位上下文的人体属性图像分类方法第一实施例的流程示意图；
图2是本发明基于部位上下文的人体属性图像分类方法第一实施例中基于部位上下文的人体图像分类模型总体结构示意图；
图3是本发明基于部位上下文的人体属性图像分类方法的关系聚合网络中图卷积网络的结构示意图；
图4是本发明基于部位上下文的人体属性图像分类方法的关系离散网络中的属性离散网络的原理示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于部位上下文的人体属性图像分类方法，本方法包括：
步骤S10，获取待测试图像作为当前帧；
步骤S20，基于所述当前帧，通过训练好的人体属性图像分类模型获取人体属性分类预测图；
其中，所述人体属性图像分类模型，包括特征提取网络、属性分类解析网络、关系聚合网络和关系离散网络，并基于训练图像以及端到端的有监督训练，通过随机梯度下降算法更新网络参数，反复迭代至损失函数收敛，获得训练好的人体属性图像分类模型；
所述属性分类解析网络，为串联的卷积层，包括设定数量的降维卷积层和设定数量的用于降低特征大小的卷积层；
所述关系聚合网络，基于图卷积网络和聚合动态卷积神经网络构建，所述图卷积网络以人体属性作为图卷积的节点，属性之间的连接关系作为图卷积的边，图卷积之间的连接矩阵根据部位之间语义关系进行更新；所述聚合动态卷积神经网络以将图卷积网络的输出重排成一组卷积核大小的第一卷积核作为卷积核；
所述关系离散网络，基于属性相似离散网络和离散动态卷积神经网络，所述离散动态卷积网络以将所述相似离散网络的输出重排成一组卷积核大小的第二卷积核作为卷积核。
为了更清晰地对本发明基于部位上下文的人体属性图像分类方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于部位上下文的人体属性图像分类方法，包括步骤S10-步骤S20，各步骤详细描述如下：
步骤S10，获取待测试图像作为当前帧；
步骤S20，基于所述当前帧，通过训练好的人体属性图像分类模型获取人体属性分类预测图；
如图2所示，所述人体属性图像分类模型，包括特征提取网络、属性分类解析网络、关系聚合网络和关系离散网络，并基于训练图像以及端到端的有监督训练，通过随机梯度下降算法更新网络参数，反复迭代至损失函数收敛，获得训练好的人体属性图像分类模型；
所述属性分类解析网络，为串联的卷积层，包括设定数量的降维卷积层和设定数量的用于降低特征大小的卷积层；
优选的，所述降为卷积层通常可以采用卷积核为
Figure 112495DEST_PATH_IMAGE031
的卷积层。
所述属性分类解析网络应用几个连续的卷积从原始特征图中提取高阶特征图。
首先通过降维卷积层来降低特征的通道数，使其降维到与要识别的属性类别数一致，使其可以通过训练过程学习到与属性类别对应的特征。然后通过用于降低特征大小的卷积层来降低特征的大小以降低计算量，通过这种方法得到属性的高阶语义特征。
如图3所示，属性分类解析网络的输出作为关系聚合网络的输入，根据人体特有的连接方式，我们建立图卷积来建模人体的空间关系和部位之间的语义关系。使用这种方法可以获得属性的全局信息。
所述关系聚合网络，基于图卷积网络和聚合动态卷积神经网络构建，所述图卷积网络以人体属性作为图卷积的节点，属性之间的连接关系作为图卷积的边，图卷积之间的连接矩阵根据部位之间语义关系进行更新；所述聚合动态卷积神经网络以将图卷积网络的输出重排成一组卷积核大小的第一卷积核作为卷积核；
在一些优选的实施方式中，所述图卷积之间的连接矩阵如公式（1）所示：
Figure 543477DEST_PATH_IMAGE003
（1）
其中，
Figure 640746DEST_PATH_IMAGE004
为图卷积之间的连接矩阵，
Figure 224305DEST_PATH_IMAGE005
为两个人体部位的语义关系如公式（2） 所示；
Figure 116037DEST_PATH_IMAGE032
（2）
其中，
Figure 34315DEST_PATH_IMAGE021
是人体的一个部位，
Figure 935275DEST_PATH_IMAGE033
是与部位
Figure 91450DEST_PATH_IMAGE024
直接相连的部位，
Figure 170395DEST_PATH_IMAGE034
,m是与部位
Figure 310390DEST_PATH_IMAGE024
直接相连部位的个数，D是人体属性的维度，R表示人体的一 个部位，i、j表示部位的标号。
所述关系离散网络，基于属性相似离散网络和离散动态卷积神经网络，所述离散动态卷积网络以将所述相似离散网络的输出重排成一组卷积核大小的第二卷积核作为卷积核。
所述关系离散网络，无特定的网络结构，凡是用本发明的提取显著局部上下文信息并与自适应全局上下文信息结合的方法均应视作本发明要求保护的范围。
在一些优选的实施方式中，所述人体属性图像分类网络，其训练方法包括：
步骤A100，从带有分类标签的人体属性图像数据集中提取第s帧作为训练帧；
步骤A200，基于所述训练帧，通过所述特征提取网络获取原始特征图；
步骤A300，基于所述原始特征图，通过所述属性分类解析网络获取每个部位的高 阶特征图
Figure 15040DEST_PATH_IMAGE035
；其中，R表示人体的一个部位，N是人体属性的类别，D是人体属性的维 度；
步骤A400，通过所述关系聚合网络获取自适应全局上下文信息；基于所述原始特征图和高阶特征图，通过所述关系离散网络获取显著局部上下文信息；
在一些优选的实施方式中，“基于所述原始特征图和高阶特征图，通过所述关系聚合网络获取自适应全局上下文信息”，其方法为：
步骤A411，基于所述高阶特征图更新所述图卷积之间的连接矩阵
Figure 556880DEST_PATH_IMAGE013
获得更新后 的连接矩阵如公式（3）所示：
Figure 806727DEST_PATH_IMAGE036
（3）
其中，
Figure 434017DEST_PATH_IMAGE012
为人为调整的单位矩阵；它的作用是为了在每次更新的时候，加上本身的 特征。
步骤A412，将所述高阶特征图输入具有所述更新后的连接矩阵
Figure 676780DEST_PATH_IMAGE013
的图卷积网 络，获得图卷积网络的输出参数H如公式（4）所示：
Figure 807547DEST_PATH_IMAGE037
（4）
其中，
Figure 248803DEST_PATH_IMAGE015
为激活函数，P为高阶特征图，W为可学习的权重参数，
Figure 363390DEST_PATH_IMAGE016
；
步骤A413，将所述图卷积网络的输出参数H进行特征变换，重排成一组卷积核的大小，生成第一卷积核；
步骤A414，所述聚合动态卷积结构以第一卷积核作为卷积核，生成第一卷积核参 数
Figure 144264DEST_PATH_IMAGE017
；
步骤A415，基于所述原始特征图和第一卷积核参数
Figure 660696DEST_PATH_IMAGE017
，生成自适应全局上下文信 息。
作用方式可以选取但不局限于卷积操作，然后得到自适应全局上下文信息。
在本实施例中，全局上下文特征对于属性分类非常重要，但是它可以带来一些冗余信息或者干扰信息。因为使用全局特征来识别比较相似的属性是比较困难的。因此，我们采用了关系离散网络来获取具有代表性的局部上下文特征。
在一些优选的实施方式中，“基于所述原始特征图和高阶特征图，通过所述关系离散网络获取显著局部上下文信息”，其方法为：
如图4所示，将关系离散操作应用于高级特征图，即高级特征图中每个部位特征图和其余的全部部位特征图进行相减得到部位之间的语义相似度，关系离散网络的目标是使具有同种标签的特征尽可能的近，不同标签的特征尽可能的远。首先计算一个类别和其他所有类别的相似度离散，。然后这个类别特征乘上这个相似度，我们就可以把相似的特征拉大，同时，我们把这个特征也加入到这个里面，进而凸显这个类别的特征，得到相似度离散。然后我们把所有的部位的这个结合到一起，形成一组参数；将语义相似度作为动态卷积的卷积核，作用在原始特征图上，削弱部位特征图之间的相似程度，生成显著局部上下文信息。
具体步骤详述如下：
步骤A421，计算人体属性的一个类别和其他所有类别的相似度
Figure 252345DEST_PATH_IMAGE019
如公式（5）所 示：
Figure 854228DEST_PATH_IMAGE020
（5）
其中，
Figure 438793DEST_PATH_IMAGE021
，
Figure 809731DEST_PATH_IMAGE022
，
Figure 572282DEST_PATH_IMAGE023
，
Figure 130302DEST_PATH_IMAGE019
越小表示两个类别 越相似；
步骤A422，将所述高阶特征图P的每个特征
Figure 518559DEST_PATH_IMAGE024
与相似度
Figure 744003DEST_PATH_IMAGE019
作乘法运算得到特征相 似度
Figure 926723DEST_PATH_IMAGE025
，再将对应的特征
Figure 253930DEST_PATH_IMAGE024
加入到特征相似度
Figure 180298DEST_PATH_IMAGE025
中生成相似度离散
Figure 260250DEST_PATH_IMAGE026
如公式（6）所示：
Figure 879450DEST_PATH_IMAGE027
（6）
基于所述相似度离散
Figure 425444DEST_PATH_IMAGE026
生成相似离散网络的输出参数B如公式（7）所示：
Figure 155503DEST_PATH_IMAGE038
（7）
其中，N是人体属性的类别；
步骤A423，将所述相似离散结构的输出参数B进行特征变换，重排成一组卷积核的大小，生成第二卷积核；
我们将关系离散网络得到的输出作为动态卷积的卷积核，可以使卷积更加专注具有局部特点表达的一些特征，因此可以生成具有代表性的局部特征。
步骤A424，所述离散动态卷积结构以第二卷积核作为卷积核，生成第二卷积核参 数
Figure 824382DEST_PATH_IMAGE029
；步骤A425，基于所述原始特征图和第二卷积核参数
Figure 614483DEST_PATH_IMAGE029
，生成显著局部上下文信息。
作用方式可以选取但不局限于卷积操作，然后得到自适应全局上下文信息。
在本实施例中，关系离散网络仅使用人体属性分类的标签作为监督，在训练的过程中不适用任何额外的监督信息；
同时，由于图卷积的各个节点对应于不同的属性，因此对于属性分类解析网络我们在训练阶段采用了标签进行监督，指导网络生成对应的高级属性图。
步骤A500，融合所述原始特征图、自适应全局上下文信息和显著局部上下文信息生成人体属性训练分类预测图；
在一些优选的实施方式中，“融合所述原始特征图、自适应全局上下文信息和显著局部上下文信息”，其方法包括合并、累加、取均值、卷积网络和多层感知机。
融合方法包括但不限于上述方法，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
步骤A600，基于所述人体属性训练分类预测图与对应的分类标签计算所述人体属性图像分类网络的全局损失函数，若所述全局损失函数值不低于预设的阈值，则通过随机梯度下降法调节更新所述人体属性图像分类网络的参数，令s=s+1并跳转至步骤A100，直至全局损失函数小于预设的阈值，获得训练好的人体属性图像分类模型。
本发明第二实施例的基于部位上下文的人体属性图像分类系统，所述系统包括：图像获取模块、分类预测模块和存储模块；
所述图像获取模块，用于获取待测试图像作为当前帧；
所述分类预测模块，用于基于所述当前帧，通过训练好的人体属性图像分类模型获取人体属性分类预测图；
所述存储模块，用于存储人体属性分类数据集；
其中，所述人体属性图像分类模型，包括特征提取网络、属性分类解析网络、关系聚合网络和关系离散网络，并基于训练图像以及端到端的有监督训练，通过随机梯度下降算法更新网络参数，反复迭代至损失函数收敛，获得训练好的人体属性图像分类模型；
所述属性分类解析网络，为串联的卷积层，包括设定数量的降维卷积层和设定数量的用于降低特征大小的卷积层；
所述关系聚合网络，基于图卷积网络和聚合动态卷积神经网络构建，所述图卷积网络以人体属性作为图卷积的节点，属性之间的连接关系作为图卷积的边，图卷积之间的连接矩阵根据部位之间语义关系进行更新；所述聚合动态卷积神经网络以将图卷积网络的输出重排成一组卷积核大小的第一卷积核作为卷积核；
所述关系离散网络，基于属性相似离散网络和离散动态卷积神经网络，所述离散动态卷积网络以将所述相似离散网络的输出重排成一组卷积核大小的第二卷积核作为卷积核。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于部位上下文的人体属性图像分类系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于部位上下文的人体属性图像分类方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于部位上下文的人体属性图像分类方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于部位上下文的人体属性图像分类方法，其特征在于，所述方法包括：
步骤S10，获取待测试图像作为当前帧；
步骤S20，基于所述当前帧，通过训练好的人体属性图像分类模型获取人体属性分类预测图；
其中，所述人体属性图像分类模型，包括特征提取网络、属性分类解析网络、关系聚合网络和关系离散网络，并基于训练图像以及端到端的有监督训练，通过随机梯度下降算法更新网络参数，反复迭代至损失函数收敛，获得训练好的人体属性图像分类模型；
所述人体属性图像分类模型，其训练方法包括：
步骤A100，从带有分类标签的人体属性图像数据集中提取第s帧作为训练帧；
步骤A200，基于所述训练帧，通过所述特征提取网络获取原始特征图；
步骤A300，基于所述原始特征图，通过所述属性分类解析网络获取每个部位的高阶特 征图
Figure 176876DEST_PATH_IMAGE001
；其中，R表示人体的一个部位，N是人体属性的类别，D是人体属性的维度；
步骤A400，通过所述关系聚合网络获取自适应全局上下文信息；基于所述原始特征图和高阶特征图，通过所述关系离散网络获取显著局部上下文信息；
步骤A500，融合所述原始特征图、自适应全局上下文信息和显著局部上下文信息生成人体属性训练分类预测图；
步骤A600，基于所述人体属性训练分类预测图与对应的分类标签计算所述人体属性图像分类模型的全局损失函数，若所述全局损失函数值不低于预设的阈值，则通过随机梯度下降法调节更新所述人体属性图像分类模型的参数，令s=s+1并跳转至步骤A100，直至全局损失函数小于预设的阈值，获得训练好的人体属性图像分类模型；
所述属性分类解析网络，为串联的卷积层，包括设定数量的降维卷积层和设定数量的用于降低特征大小的卷积层；
所述关系聚合网络，基于图卷积网络和聚合动态卷积神经网络构建，所述图卷积网络以人体属性作为图卷积的节点，属性之间的连接关系作为图卷积的边，图卷积之间的连接矩阵根据部位之间语义关系进行更新；所述聚合动态卷积神经网络以将图卷积网络的输出重排成一组卷积核大小的第一卷积核作为卷积核；
所述关系离散网络，基于属性相似离散网络和离散动态卷积神经网络，所述离散动态卷积网络以将所述属性相似离散网络的输出重排成一组卷积核大小的第二卷积核作为卷积核。
2.根据权利要求1所述的基于部位上下文的人体属性图像分类方法，其特征在于，所述图卷积之间的连接矩阵为：
Figure DEST_PATH_IMAGE002
其中，
Figure 242395DEST_PATH_IMAGE003
为图卷积之间的连接矩阵，
Figure 211488DEST_PATH_IMAGE004
为两个人体部位的语义关系；
Figure 366525DEST_PATH_IMAGE005
其中，
Figure 370254DEST_PATH_IMAGE006
是人体的一个部位，
Figure 14861DEST_PATH_IMAGE007
是与部位
Figure 221983DEST_PATH_IMAGE008
直接相连的部位，
Figure 977449DEST_PATH_IMAGE009
,m是与部位
Figure 570105DEST_PATH_IMAGE008
直接相连部位的个数，D是人体属性的维度，R表示人体的 一个部位，i、j表示部位的标号。
3.根据权利要求2所述的基于部位上下文的人体属性图像分类方法，其特征在于，基于所述原始特征图和高阶特征图，通过所述关系聚合网络获取自适应全局上下文信息，其方法为：
步骤A411，基于所述高阶特征图更新所述图卷积之间的连接矩阵
Figure 385614DEST_PATH_IMAGE010
获得更新后的连 接矩阵：
Figure 578567DEST_PATH_IMAGE011
其中，
Figure 137724DEST_PATH_IMAGE012
为设定的单位矩阵；
步骤A412，将所述高阶特征图输入具有所述更新后的连接矩阵
Figure 850465DEST_PATH_IMAGE013
的图卷积网络，获 得图卷积网络的输出参数H：
Figure 571297DEST_PATH_IMAGE014
其中，
Figure 753010DEST_PATH_IMAGE015
为激活函数，P为高阶特征图，W为可学习的权重参数，
Figure 115859DEST_PATH_IMAGE016
；
步骤A413，将所述图卷积网络的输出参数进行特征变换，重排成一组卷积核的大小，生成第一卷积核；
步骤A414，所述聚合动态卷积结构以第一卷积核作为卷积核，生成第一卷积核参数
Figure 948685DEST_PATH_IMAGE017
；
步骤A415，基于所述原始特征图和第一卷积核参数
Figure 840418DEST_PATH_IMAGE017
，生成自适应全局上下文信息。
4.根据权利要求2所述的基于部位上下文的人体属性图像分类方法，其特征在于，基于所述原始特征图和高阶特征图，通过所述关系离散网络获取显著局部上下文信息，其方法为：
步骤A421，计算人体属性的一个类别和其他所有类别的相似度
Figure 10893DEST_PATH_IMAGE018
：
Figure 911853DEST_PATH_IMAGE019
其中，
Figure 536869DEST_PATH_IMAGE006
，
Figure 865082DEST_PATH_IMAGE020
，
Figure 5076DEST_PATH_IMAGE021
，
Figure 460460DEST_PATH_IMAGE018
越小表示两个类别越相 似；
步骤A422，将所述高阶特征图P的每个特征
Figure 2299DEST_PATH_IMAGE008
与相似度
Figure 501414DEST_PATH_IMAGE018
作乘法运算得到特征相似度
Figure 128704DEST_PATH_IMAGE022
，再将对应的特征
Figure 620734DEST_PATH_IMAGE008
加入到特征相似度
Figure 282660DEST_PATH_IMAGE022
中生成相似度离散
Figure 952676DEST_PATH_IMAGE023
：
Figure 67262DEST_PATH_IMAGE024
基于所述相似度离散
Figure 598869DEST_PATH_IMAGE023
生成相似离散网络的输出参数B：
Figure 115301DEST_PATH_IMAGE025
其中，N是人体属性的类别；
步骤A423，将所述相似离散结构的输出参数B进行特征变换，重排成一组卷积核的大小，生成第二卷积核；
步骤A424，所述离散动态卷积结构以第二卷积核作为卷积核，生成第二卷积核参数
Figure 956218DEST_PATH_IMAGE026
；
步骤A425，基于所述原始特征图和第二卷积核参数
Figure 558101DEST_PATH_IMAGE026
，生成显著局部上下文信息。
5.根据权利要求1所述的基于部位上下文的人体属性图像分类方法，其特征在于，融合所述原始特征图、自适应全局上下文信息和显著局部上下文信息，其方法包括合并、累加、取均值、卷积网络和多层感知机。
6.一种基于部位上下文的人体属性图像分类系统，其特征在于，所述系统包括：图像获取模块、分类预测模块和存储模块；
所述图像获取模块，用于获取待测试图像作为当前帧；
所述分类预测模块，用于基于所述当前帧，通过训练好的人体属性图像分类模型获取人体属性分类预测图；
所述存储模块，用于存储人体属性分类数据集；
其中，所述人体属性图像分类模型，包括特征提取网络、属性分类解析网络、关系聚合网络和关系离散网络，并基于训练图像以及端到端的有监督训练，通过随机梯度下降算法更新网络参数，反复迭代至损失函数收敛，获得训练好的人体属性图像分类模型；
所述人体属性图像分类模型，其训练方法包括：
步骤A100，从带有分类标签的人体属性图像数据集中提取第s帧作为训练帧；
步骤A200，基于所述训练帧，通过所述特征提取网络获取原始特征图；
步骤A300，基于所述原始特征图，通过所述属性分类解析网络获取每个部位的高阶特 征图
Figure 345928DEST_PATH_IMAGE001
；其中，R表示人体的一个部位，N是人体属性的类别，D是人体属性的维度；
步骤A400，通过所述关系聚合网络获取自适应全局上下文信息；基于所述原始特征图和高阶特征图，通过所述关系离散网络获取显著局部上下文信息；
步骤A500，融合所述原始特征图、自适应全局上下文信息和显著局部上下文信息生成人体属性训练分类预测图；
步骤A600，基于所述人体属性训练分类预测图与对应的分类标签计算所述人体属性图像分类模型的全局损失函数，若所述全局损失函数值不低于预设的阈值，则通过随机梯度下降法调节更新所述人体属性图像分类模型的参数，令s=s+1并跳转至步骤A100，直至全局损失函数小于预设的阈值，获得训练好的人体属性图像分类模型；
所述属性分类解析网络，为串联的卷积层，包括设定数量的降维卷积层和设定数量的用于降低特征大小的卷积层；
所述关系聚合网络，基于图卷积网络和聚合动态卷积神经网络构建，所述图卷积网络以人体属性作为图卷积的节点，属性之间的连接关系作为图卷积的边，图卷积之间的连接矩阵根据部位之间语义关系进行更新；所述聚合动态卷积神经网络以将图卷积网络的输出重排成一组卷积核大小的第一卷积核作为卷积核；
所述关系离散网络，基于属性相似离散网络和离散动态卷积神经网络，所述离散动态卷积网络以将所述属性相似离散网络的输出重排成一组卷积核大小的第二卷积核作为卷积核。
7.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于部位上下文的人体属性图像分类方法。
8.一种处理装置，包括处理器，适于执行各条程序，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于部位上下文的人体属性图像分类方法。
CN202010918876.XA 2020-09-04 2020-09-04 基于部位上下文的人体属性图像分类方法、系统和装置 Active CN111783754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010918876.XA CN111783754B (zh) 2020-09-04 2020-09-04 基于部位上下文的人体属性图像分类方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010918876.XA CN111783754B (zh) 2020-09-04 2020-09-04 基于部位上下文的人体属性图像分类方法、系统和装置

Publications (2)

Publication Number Publication Date
CN111783754A CN111783754A (zh) 2020-10-16
CN111783754B true CN111783754B (zh) 2020-12-08

Family

ID=72762348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010918876.XA Active CN111783754B (zh) 2020-09-04 2020-09-04 基于部位上下文的人体属性图像分类方法、系统和装置

Country Status (1)

Country Link
CN (1) CN111783754B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507872B (zh) * 2020-12-09 2021-12-28 中科视语(北京)科技有限公司 人体头肩区域的定位方法、定位装置和电子设备
CN112860928A (zh) * 2021-02-08 2021-05-28 天津大学 一种基于类别感知图神经网络的服饰检索方法
CN112801238B (zh) * 2021-04-15 2021-07-27 中国科学院自动化研究所 一种图像分类方法、装置、电子设备及存储介质
CN114333074B (zh) * 2022-03-14 2022-05-24 南京邮电大学 基于动态轻量高分辨率网络的人体姿态估计方法
CN117197843B (zh) * 2023-11-06 2024-02-02 中国科学院自动化研究所 无监督的人体部件区域确定方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740892A (zh) * 2016-01-27 2016-07-06 北京工业大学 一种高准确率的基于卷积神经网络的人体多部位识别方法
CN108537162A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 人体姿态的确定方法和装置
CN108664948A (zh) * 2018-05-21 2018-10-16 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
CN109766918A (zh) * 2018-12-18 2019-05-17 南开大学 基于多层次上下文信息融合的显著性物体检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150138078A1 (en) * 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740892A (zh) * 2016-01-27 2016-07-06 北京工业大学 一种高准确率的基于卷积神经网络的人体多部位识别方法
CN108537162A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 人体姿态的确定方法和装置
CN108664948A (zh) * 2018-05-21 2018-10-16 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
CN109766918A (zh) * 2018-12-18 2019-05-17 南开大学 基于多层次上下文信息融合的显著性物体检测方法

Also Published As

Publication number Publication date
CN111783754A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783754B (zh) 基于部位上下文的人体属性图像分类方法、系统和装置
Hong et al. Graph convolutional networks for hyperspectral image classification
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN109685115B (zh) 一种双线性特征融合的细粒度概念模型及学习方法
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN109558942B (zh) 一种基于浅度学习的神经网络迁移方法
EP3029606A2 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN111079658B (zh) 基于视频的多目标连续行为分析方法、系统、装置
Kang et al. SAR image classification based on the multi-layer network and transfer learning of mid-level representations
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN111738070A (zh) 一种多个小目标的自动准确检测方法
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN109472209A (zh) 一种图像识别方法、装置和存储介质
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN114861842B (zh) 少样本目标检测方法、装置和电子设备
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN111401343B (zh) 识别图像中人的属性的方法、识别模型的训练方法和装置
CN113987236A (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
Bouteldja et al. A comparative analysis of SVM, K-NN, and decision trees for high resolution satellite image scene classification
Dong et al. Scene-oriented hierarchical classification of blurry and noisy images
CN111814853B (zh) 一种数据选择偏差下的去相关聚类方法及装置
CN113590720A (zh) 数据分类方法、装置、计算机设备和存储介质
CN113723469A (zh) 基于空谱联合网络的可解释高光谱图像分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant