CN113159144B - 行人属性分类方法、装置、电子设备及存储介质 - Google Patents

行人属性分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113159144B
CN113159144B CN202110368200.2A CN202110368200A CN113159144B CN 113159144 B CN113159144 B CN 113159144B CN 202110368200 A CN202110368200 A CN 202110368200A CN 113159144 B CN113159144 B CN 113159144B
Authority
CN
China
Prior art keywords
image
human body
images
attribute classification
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110368200.2A
Other languages
English (en)
Other versions
CN113159144A (zh
Inventor
赵瑞林
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Computing Integrated Shenzhen Technology Co ltd
Original Assignee
Xinjiang Aiwinn Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Aiwinn Information Technology Co Ltd filed Critical Xinjiang Aiwinn Information Technology Co Ltd
Priority to CN202110368200.2A priority Critical patent/CN113159144B/zh
Publication of CN113159144A publication Critical patent/CN113159144A/zh
Application granted granted Critical
Publication of CN113159144B publication Critical patent/CN113159144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种行人属性分类方法、装置、电子设备及存储介质，方法包括：获取待分类图像；将待分类图像输入预先训练的属性分类模型进行属性分类，得到对待分类图像的属性分类结果；预先训练的属性分类模型的训练步骤包括：建立原始属性分类模型，并获取样本数据；对样本数据进行人体层次结构划分，得到不同层次的人体图像划分结果；获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；利用人体图像划分结果，以及人体各部位特征流的联系，将样本数据进行分割，得到不同层次的样本分割图像；利用不同层次的样本分割图像训练原始属性分类模型，得到属性分类模型；本申请可以降低行人属性分类时，混淆及误判的几率。

Description

行人属性分类方法、装置、电子设备及存储介质
技术领域
本申请涉及机器视觉技术领域，具体涉及一种行人属性分类方法、装置、电子设备及存储介质。
背景技术
机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。而识别行人属性是机器视觉的一项重要任务，在众多现实环境中起着重要作用。
现有的对行人属性进行分类的方法，普遍采用通用场景的多标签分类方法，首先给包含人体的图像进行多类别属性标签标注，之后整图送入深度神经卷积网络提取特征，接着利用多标签损失对分类模型进行多标签分类学习，得到能够识别人体属性的分类模型。
但是现有技术的行人属性分类的方法，是基于整张图片对人体进行属性分类，过分注重对进行特征提取的深度神经卷积网络进行优化，这会导致整图分类结果易受背景杂物、物体遮挡等影响，从而增加行人属性分类时，混淆及误判的几率。
发明内容
基于此，为了解决或改善现有技术的问题，本申请提供一种行人属性分类方法、装置、电子设备及存储介质，可以降低行人属性分类时，混淆及误判的几率。
本申请第一方面提供一种行人属性分类方法，包括：获取待分类图像；将所述待分类图像输入预先训练的属性分类模型进行属性分类，得到对所述待分类图像的属性分类结果；所述预先训练的属性分类模型的训练步骤包括：建立原始属性分类模型，并获取样本数据；对所述样本数据进行人体层次结构划分，得到不同层次的人体图像划分结果；获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述样本数据进行分割，得到不同层次的样本分割图像；利用不同层次的样本分割图像训练所述原始属性分类模型，得到用于将待分类图像进行不同层次的属性识分类的属性分类模型；将所述待分类图像输入预先训练的属性分类模型对所述待分类图像进行分类的步骤包括：将所述待分类图像进行人体层次结构划分，得到不同层次的人体图像划分结果；获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述待分类图像进行分割，得到人体图像不同层次的分割图像；对不同层次的分割图像进行属性分类，得到属性分类结果。
其中，在利用不同层次的样本分割图像训练所述原始属性分类模型时，所述预先训练的属性分类模型的训练步骤还包括：获取所述样本数据内人体的全身图像；将所述全身图像及所述分割图像进行相互监督学习，直至所述相互监督学习的次数达到第一预定次数。
其中，所述将所述全身图像及所述分割图像进行相互监督学习，包括：利用相邻所述分割图像之间的特征流的联系，将相邻所述分割图像进行融合，得到人体的融合验证图像；利用所述融合验证图像验证及修正所述全身图像；将所述全身图像按照相邻所述分割图像之间的特征流的联系进行分割，得到分割验证图像；利用所述分割验证图像验证及修正所述分割图像。
其中，在利用不同层次的样本分割图像训练所述原始属性分类模型时，所述预先训练的属性分类模型的训练步骤还包括：将所述全身图像、所述分割图像各自进行自监督学习，直至所述自监督学习的次数达到第二预定次数。
其中，所述利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述样本数据进行分割，得到人体图像不同层次的样本分割图像，包括：利用预先建立的语义分割网络，并将所述人体图像划分结果，以及人体各部位特征流的联系作为所述语义分割网络的条件，对所述样本数据进行分割，得到至少两个不同层次人体的样本分割图像，一个层次人体的样本分割图像包括：上半身图像及下半身图像，另一个层次人体的样本分割图像包括：头部图像、身体图像、腿部图像及脚部图像。
其中，所述头部图像的属性包括：头部穿戴物体属性、头部动作属性及人体生理属性；所述身体图像的属性包括：身体穿戴物体属性、身体穿戴颜色属性、身体方位属性、手部是否提取物品的属性；所述腿部图像的属性包括：腿部穿戴物体属性、腿部穿戴颜色属性；所述脚部图像的属性包括：鞋子颜色属性、鞋子款式属性。
其中，所述人体各部位特征流的联系包括：上半身特征与下半身特征的联系、头部特征与身体特征的联系、身体特征与腿部特征的联系、腿部特征与脚部特征的联系。
本申请第二方面提供一种行人属性分类装置，包括：图像获取模块，用于获取待分类图像；模型训练模块，用于预先训练用于行人属性分类的属性分类模型；模型运行模块，用于运行所述模型训练模块训练的属性分类模型；结果获取模块，用于将所述待分类图像输入所述属性分类模型进行属性分类，得到对所述待分类图像的属性分类结果；所述模型训练模块包括：模型建立单元，用于建立原始属性分类模型；样本数据获取单元，用于获取样本数据；第一划分单元，用于对所述样本数据进行人体层次结构划分，得到不同层次的人体图像划分结果；第一联系获取单元，用于获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；第一图像分割单元，用于利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述样本数据进行分割，得到不同层次的样本分割图像；训练单元，用于利用不同层次的样本分割图像训练所述原始属性分类模型，得到用于将待分类图像进行不同层次的属性识分类的属性分类模型；所述模型运行模块包括：第二划分单元，用于将所述待分类图像进行人体层次结构划分，得到不同层次的人体图像划分结果；第二联系获取单元，用于获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；第二图像分割单元，用于利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述待分类图像进行分割，得到人体图像不同层次的分割图像；属性分类单元，用于对不同层次的分割图像进行属性分类，得到属性分类结果。
本申请第三方面提供一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述中任一项所述的行人属性分类方法的步骤。
本申请第四方面提供一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行上述中任一项所述的行人属性分类方法的步骤。
本申请上述的行人属性分类方法、装置、电子设备及存储介质，通过在预先训练时，利用不同层次的人体图像划分结果，以及各部位特征流的联系，能够将人体图像按照不同层次进行分割，从而使得利用样本分割图像训练出的属性分类模型，能够对人体图像进行不同层次的属性分类，因此在进行行人属性分类时，不会受到背景杂物、物体遮挡等影响，从而降低行人属性分类时，混淆及误判的几率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。应当理解的是，下面描述中的附图仅仅用以解释本发明，并不用于限定本发明。
图1为本申请一实施例行人属性分类方法的流程示意图；
图2为本申请一实施例行人属性分类方法的属性分类模型的训练方法的流程示意图；
图3为本申请一实施例行人属性分类方法的分类应用示意图；
图4为本申请一实施例实施例行人属性分类装置的结构示意框。
具体实施方式
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如背景技术所述，发明人研究发现，现有技术的行人属性分类的方法，是基于整张图片对人体进行属性分类，过分注重对进行特征提取的深度神经卷积网络进行优化，这会导致整图分类结果易受背景杂物、物体遮挡等影响，从而增加行人属性分类时，混淆及误判的几率。
本申请实施例提出一种行人属性分类方法、装置、电子设备及存储介质，可以降低行人属性分类时，混淆及误判的几率。
图1是本申请一实施例行人属性分类方法的流程示意图，行人属性分类方法包括：
S101、获取待分类图像；
S102、将待分类图像输入预先训练的属性分类模型进行属性分类，得到对待分类图像的属性分类结果。
请参阅图2，在步骤S102中，预先训练的属性分类模型的训练步骤包括：
S1021、建立原始属性分类模型，并获取样本数据；
S1022、对样本数据进行人体层次结构划分，得到不同层次的人体图像划分结果；
S1023、获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；
S1024、利用人体图像划分结果，以及人体各部位特征流的联系，将样本数据进行分割，得到人体图像不同层次的样本分割图像；
S1025、利用不同层次的样本分割图像训练原始属性分类模型，得到用于将待分类图像进行不同层次的属性识分类的属性分类模型。
在本实施中，通过在预先训练时，利用不同层次的人体图像划分结果，以及各部位特征流的联系，能够将人体图像按照不同层次进行分割，从而使得利用样本分割图像训练出的属性分类模型，能够对人体图像进行不同层次的属性分类，因此在进行行人属性分类时，不会受到背景杂物、物体遮挡等影响，从而降低行人属性分类时，混淆及误判的几率。
同理，将待分类图像输入预先训练的属性分类模型对待分类图像进行分类的步骤包括：将待分类图像进行人体层次结构划分，得到不同层次的人体图像划分结果；获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；利用人体图像划分结果，以及人体各部位特征流的联系，将待分类图像进行分割，得到人体图像不同层次的分割图像；对不同层次的分割图像进行属性分类，得到属性分类结果。
在步骤S102及步骤S1021中，属性分类模型可以为注意力机制模型，也可以为ACN(Agent Cooperate Network，经纪人合作网络)模型。
在步骤S1022中，人体层次结构可以为第一层次的全身结构；还可以为第二层次的上半身结构及下半身结构；还可以为第三层次的头部结构、身体结构、腿部结构及脚部结构。在本实施例中，利用三个层次的结构对样本图像进行三次划分，得到了不同层次的人体图像划分结果。
根据不同层次的人体图像划分结果，在步骤S1023中，第二层次的上半身结构及下半身结构特征流的联系，是上半身特征及下半身特征之间的联系；第三层次相邻各部位特征流的联系，是头部特征与身体特征的联系、身体特征与腿部特征的联系、腿部特征与脚部特征的联系。
因此在步骤S104中，根据人体图像划分结果，以及人体各部位特征流的联系，将第二层次的结构，划分为上半身图像及下半身图像；将第三层次的结构，划分为头部图像、身体图像、腿部图像及脚部图像；而由于第一层次为全身结构，因此不用进行分割，即能够得到人体的全身图像。
其中，头部图像的属性可包括：头部穿戴物体属性、头部动作属性及人体生理属性；头部穿戴物体属性可以为：无帽、普通帽、安全帽，戴眼镜、戴墨镜、无眼镜、无口罩、戴口罩；其中，头部动作属性可以为：吸烟、未吸烟；人体生理属性可以为：性别、年龄。
身体图像的属性可以包括：身体穿戴物体属性、身体穿戴颜色属性、身体方位属性、手部是否提取物品的属性；其中，身体穿戴物体属性可以为：T恤、无袖、衬衫、西装、毛衣、夹克、羽绒服、风衣、外套，无背包、单肩包、双肩包；身体穿戴颜色属性可以为：身体穿戴物体颜色，例如T恤的颜色；身体方位属性可以为：正面、背面、左侧面、右侧面；手部是否提取物品的属性可以为：无手提物、有手提物。
腿部图像的属性可包括：腿部穿戴物体属性、腿部穿戴颜色属性；腿部穿戴物体属性可以为：长裤、短裤、长裙、短裙，腿部穿戴颜色属性可以为：腿部穿戴物体颜色，例如长裤颜色。
脚部图像的属性可包括：鞋子颜色属性、鞋子款式属性；鞋子款式属性可以为：凉鞋、皮鞋、布鞋等。
其中，分割样本图像时，可以使用预先建立的语义分割网络进行分割，将人体图像划分结果、以及人体各部位特征流的联系作为语义分割网络的条件对样本数据进行分割，分别得到不同层次人体的样本分割图像，分割后，第二层次人体的样本分割图像包括：上半身图像及下半身图像，第三层次人体的样本分割图像包括：头部图像、身体图像、腿部图像及脚部图像，第一层次的为全身图像。
在一个实施例中，步骤S1024，利用人体图像划分结果，以及人体各部位特征流的联系，将样本数据进行分割，得到人体图像不同层次的样本分割图像，具体步骤包括：利用预先建立的语义分割网络，并将人体图像划分结果，以及人体各部位特征流的联系作为语义分割网络的条件，对样本数据进行分割，得到至少两个不同层次人体的样本分割图像，一个层次人体的样本分割图像包括：上半身图像及下半身图像，另一个层次人体的样本分割图像包括：头部图像、身体图像、腿部图像及脚部图像。
在一个实施例中，步骤S1024，至少两个不同层次人体的样本分割图像还可以是三个，分别为第一层次的全身图像，第二层次的上半身图像及下半身图像，第三层次的头部图像、身体图像、腿部图像及脚部图像。
因此，在步骤S105中，分别利用第一层次、第二层次及第三层次得到的图像，对原始属性分类模型进行训练，能够使得训练出的属性分类模型，从不同层次对待分类图像上的行人属性进行分类，从而使得分类时，降低受到背景杂物、物体遮挡等影响，从而降低行人属性分类时，混淆及误判的几率。
在一个实施例中，在步骤S1025，利用不同层次的样本分割图像训练原始属性分类模型时，预先训练的属性分类模型的训练步骤还包括：
S1026、获取样本数据内人体的全身图像；
S1027、将全身图像及分割图像进行相互监督学习，直至相互监督学习的次数达到第一预定次数。
上述实施例中已经提到，在步骤S104中，能够得到第一层次、第二层次及第三层次的人体图像，其中，第一层次的人体图像为全身图像，第二层次及第三层次的人体图像为身体部位图像。
在对人体图像的各个身体部位图像及全身图像进行分类时，有时会出现一些特征分类错误的情况，因此就可能出现全身图像分类正确，身体部位图像分类错误的情况，在这种情况下，通过本实施例就能够将全身图像对身体部位图像进行监督，对身体部位图像分类错误的特征进行修正，从而提升身体部位图像的准确度。同理，出现身体部位图像分类正确，全身图像分类错误的情况时，本实施例的方法也能够通过身体部位图像对全身图像的监督及修正，提升全身图像的准确度。
第一预定次数可以根据实际情况进行设定，例如可以为3次，也可以为4次，5次等，通过多次的相互监督学习，能够进一步提升全身图像及身体部位图像的准确度。
在一个实施例中，步骤S1027中，将全身图像及分割图像进行相互监督学习，具体步骤包括：利用相邻分割图像之间的特征流的联系，将相邻分割图像进行融合，得到人体的融合验证图像；利用融合验证图像验证及修正全身图像；将全身图像按照相邻分割图像之间的特征流的联系进行分割，得到分割验证图像；利用分割验证图像验证及修正分割图像。
在本实施中，通过将全身图像进行分割，能够得到人体的各部位分割验证图像，且各部位的分割验证图像与各分割图像一一对应，能够对比出二者的不同点，因此可以通过对不同点的判断，来验证该不同点是否应存在于分割图像内，是则将该不同点从分割图像内消除，否则将该不同点加入分割图像内，从而进行修正。同理各分割图像融合能够得到人整体的融合验证图，能够通过融合验证图像对全身图像进行验证及修正。
在一个实施例中，在步骤S1025，利用不同层次的样本分割图像训练原始属性分类模型时，预先训练的属性分类模型的训练步骤还包括：S1028、将全身图像、分割图像各自进行自监督学习，直至自监督学习的次数达到第二预定次数。
在本实施中，在对人体图像的各个身体部位图像及全身图像进行分类时，对于同一特征，有时会出现分类错误、有时会出现分类正确的情况发生，这就使得多次分类中，每次出现的正确分类和错误分类不相同，因此将全身图像及分割图像各自进行自监督学习，能够使用分类正确时的图像对分类错误时的图像进行修正，提升分类的准确度。
在步骤S1025中，自监督学习的方法包括：至少获取两次全身图像以及分割图像；将不同次获取的全身图像进行相互监督学习，将不同次获取的相同部位的人体部位图像进行相互监督学习。
在本实施例中，第二预定次数可以根据实际情况进行设定，例如可以为3次，也可以为4次，5次等，通过多次的自监督学习，能够进一步提升分类的准确度。
例如，请参阅图3，在对待分类图像进行分类时，首先会将待分类图像内的人体进行层次结构划分，划分有三个层次，从上至下分别为上述实施例中描述的第一层次、第二层次及第三层次的图像，随后需要将三个层次的图像进行互相监督学习及自监督学习，随后根据不同层次结构对图像进行不同层次的分割，最后将待分类图像内的人体图像进行不同层次的分类，从而提升行人属性分类的准确性。
在本实施例中，对于三个层次的图像，先进行自监督学习，再进行互相监督学习，自监督学习的第二预定次数大于互相监督学习的第一预定次数，例如，第二预定次数为5次，第一预定次数就可以为3次，由于先进行了自监督学习，使得每个层次的图像的准确度均有所提升，因此就可以降低互相监督学习的次数，而由于互相监督学习比自监督学习会占用更多的运算资源，因此降低互相监督学习的次数后，会减少运算资源的浪费。在一个实施例中，上述实施例中的步骤S102中，将待分类图像输入预先训练的属性分类模型时，行人属性分类方法还包括：S1021、获取预先构建的对比度增强算法；S1022、利用对比度增强算法增强待分类图像的对比度，以提升待分类图像的特征明显度。
其中，在步骤1012中，利用对比度增强算法增强待分类图像的对比度的步骤包括：获取待分类图像的每个像素点的原始亮度；计算待分类图像的所有像素点的平均亮度；获取预设的增强值；计算每个像素点的每个原始亮度及平均亮度的差值、增强值与一的和值；对差值及和值求解乘积值；对乘积值及平均亮度进行求和，得到每个像素点的亮度值；根据亮度值调整每个像素点的亮度，利用亮度的调整完成对比度的增强。
在其他实施例中，对比度增强算法可以使用直方图调整算法，在其他实施例中，还能使用灰度变换算法或其他公知的能够增强图像对比度的算法。
通过对待分类图像的对比度进行增强，能够使得待分类图像越清晰醒目，色彩也越鲜明艳丽，高对比度对于图像的清晰度、细节表现、灰度层次表现都有很大帮助，而这些表现在机器视觉里，高对比度的图像就表现出更加明显特征，因此通过增强待分类图像的对比度，能够提升待分类图像的特征明显度，使得对象检测模型能够容易地检测出待分类图像上的特征点，从而有利于对象检测模型利用特征点判断待分类图像上人体的特征，因此降低了属性分类模型对待分类图像进行分类的难度。
图4为一个实施例的行人属性分类装置的结构框图。如图4所示，行人属性分类装置包括：图像获取模块1、模型训练模块2、模型运行模块3及结果获取模块4；图像获取模块1用于获取待分类图像；模型训练模块2用于预先训练用于行人属性分类的属性分类模型；模型运行模块3用于运行模型训练模块训练的属性分类模型；结果获取模块4用于将待分类图像输入属性分类模型进行属性分类，得到对待分类图像的属性分类结果。
模型训练模块包括：模型建立单元，用于建立原始属性分类模型；样本数据获取单元，用于获取样本数据；第一划分单元，用于对样本数据进行人体层次结构划分，得到不同层次的人体图像划分结果；第一联系获取单元，用于获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；第一图像分割单元，用于利用人体图像划分结果，以及人体各部位特征流的联系，将样本数据进行分割，得到不同层次的样本分割图像；训练单元，用于利用不同层次的样本分割图像训练原始属性分类模型，得到用于将待分类图像进行不同层次的属性识分类的属性分类模型；
模型运行模块包括：第二划分单元，用于将待分类图像进行人体层次结构划分，得到不同层次的人体图像划分结果；第二联系获取单元，用于获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；第二图像分割单元，用于利用人体图像划分结果，以及人体各部位特征流的联系，将待分类图像进行分割，得到人体图像不同层次的分割图像；属性分类单元，用于对不同层次的分割图像进行属性分类，得到属性分类结果。
本实施例提供的行人属性分类装置，通过在预先训练时，利用不同层次的人体图像划分结果，以及各部位特征流的联系，能够将人体图像按照不同层次进行分割，从而使得利用样本分割图像训练出的属性分类模型，能够对人体图像进行不同层次的属性分类，因此在进行行人属性分类时，不会受到背景杂物、物体遮挡等影响，从而降低行人属性分类时，混淆及误判的几率。
上述行人属性分类装置中各个模块的划分仅用于举例说明，在其他实施例中，可将行人属性分类装置按照需要划分为不同的模块，以完成上述行人属性分类装置的全部或部分功能。
关于行人属性分类装置的具体限定可以参见上文中对于行人属性分类方法的限定，在此不再赘述。上述行人属性分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的行人属性分类装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请还提出了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意实施例中所述的行人属性分类方法的步骤。
电子设备可以以各种形式来实施。例如，本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行行人属性分类方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行行人属性分类方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种行人属性分类方法，其特征在于，包括：
获取待分类图像；
将所述待分类图像输入预先训练的属性分类模型进行属性分类，得到对所述待分类图像的属性分类结果；
所述预先训练的属性分类模型的训练步骤包括：建立原始属性分类模型，并获取样本数据；对所述样本数据进行人体层次结构划分，得到不同层次的人体图像划分结果；获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述样本数据进行分割，得到不同层次的样本分割图像；利用不同层次的样本分割图像训练所述原始属性分类模型，得到用于将待分类图像进行不同层次的属性识分类的属性分类模型；
将所述待分类图像输入预先训练的属性分类模型对所述待分类图像进行分类的步骤包括：将所述待分类图像进行人体层次结构划分，得到不同层次的人体图像划分结果；获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述待分类图像进行分割，得到人体图像不同层次的分割图像；对不同层次的分割图像进行属性分类，得到属性分类结果；在利用不同层次的样本分割图像训练所述原始属性分类模型时，所述预先训练的属性分类模型的训练步骤还包括：
获取所述样本数据内人体的全身图像；
将所述全身图像及所述分割图像进行相互监督学习，直至所述相互监督学习的次数达到第一预定次数；
所述将所述全身图像及所述分割图像进行相互监督学习，包括：
利用相邻所述分割图像之间的特征流的联系，将相邻所述分割图像进行融合，得到人体的融合验证图像；
利用所述融合验证图像验证及修正所述全身图像；
将所述全身图像按照相邻所述分割图像之间的特征流的联系进行分割，得到分割验证图像；
利用所述分割验证图像验证及修正所述分割图像。
2.根据权利要求1所述的行人属性分类方法，其特征在于，
在利用不同层次的样本分割图像训练所述原始属性分类模型时，所述预先训练的属性分类模型的训练步骤还包括：
将所述全身图像、所述分割图像各自进行自监督学习，直至所述自监督学习的次数达到第二预定次数；
自监督学习的方法包括：至少获取两次全身图像以及分割图像；将不同次获取的全身图像进行相互监督学习，将不同次获取的相同部位的人体部位图像进行相互监督学习。
3.根据权利要求1所述的行人属性分类方法，其特征在于，
所述利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述样本数据进行分割，得到人体图像不同层次的样本分割图像，包括：
利用预先建立的语义分割网络，并将所述人体图像划分结果，以及人体各部位特征流的联系作为所述语义分割网络的条件，对所述样本数据进行分割，得到至少两个不同层次人体的样本分割图像，一个层次人体的样本分割图像包括：上半身图像及下半身图像，另一个层次人体的样本分割图像包括：头部图像、身体图像、腿部图像及脚部图像。
4.根据权利要求3所述的行人属性分类方法，其特征在于，
所述头部图像的属性包括：头部穿戴物体属性、头部动作属性及人体生理属性；
所述身体图像的属性包括：身体穿戴物体属性、身体穿戴颜色属性、身体方位属性、手部是否提取物品的属性；
所述腿部图像的属性包括：腿部穿戴物体属性、腿部穿戴颜色属性；
所述脚部图像的属性包括：鞋子颜色属性、鞋子款式属性。
5.根据权利要求1所述的行人属性分类方法，其特征在于，
所述人体各部位特征流的联系包括：上半身特征与下半身特征的联系、头部特征与身体特征的联系、身体特征与腿部特征的联系、腿部特征与脚部特征的联系。
6.一种行人属性分类装置，其特征在于，包括：
图像获取模块，用于获取待分类图像；
模型训练模块，用于预先训练用于行人属性分类的属性分类模型；
模型运行模块，用于运行所述模型训练模块训练的属性分类模型；
结果获取模块，用于将所述待分类图像输入所述属性分类模型进行属性分类，得到对所述待分类图像的属性分类结果；
所述模型训练模块包括：模型建立单元，用于建立原始属性分类模型；样本数据获取单元，用于获取样本数据；第一划分单元，用于对所述样本数据进行人体层次结构划分，得到不同层次的人体图像划分结果；第一联系获取单元，用于获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；第一图像分割单元，用于利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述样本数据进行分割，得到不同层次的样本分割图像；训练单元，用于利用不同层次的样本分割图像训练所述原始属性分类模型，得到用于将待分类图像进行不同层次的属性识分类的属性分类模型；
所述模型运行模块包括：第二划分单元，用于将所述待分类图像进行人体层次结构划分，得到不同层次的人体图像划分结果；第二联系获取单元，用于获取不同层次的人体图像划分结果中，人体相邻各部位特征流的联系；第二图像分割单元，用于利用所述人体图像划分结果，以及所述人体各部位特征流的联系，将所述待分类图像进行分割，得到人体图像不同层次的分割图像；属性分类单元，用于对不同层次的分割图像进行属性分类，得到属性分类结果；
所述训练单元包括：图像获取单元，用于获取所述样本数据内人体的全身图像；监督学习单元，用于将所述全身图像及所述分割图像进行相互监督学习，直至所述相互监督学习的次数达到第一预定次数；
所述监督学习单元包括：融合单元，用于利用相邻所述分割图像之间的特征流的联系，将相邻所述分割图像进行融合，得到人体的融合验证图像；验证以及修正单元，用于利用所述融合验证图像验证及修正所述全身图像；验证图像分割单元，用于将所述全身图像按照相邻所述分割图像之间的特征流的联系进行分割，得到分割验证图像；分割图像验证及修正单元，用于利用所述分割验证图像验证及修正所述分割图像。
7.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的行人属性分类方法的步骤。
8.一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至5中任一项所述的行人属性分类方法的步骤。
CN202110368200.2A 2021-04-06 2021-04-06 行人属性分类方法、装置、电子设备及存储介质 Active CN113159144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110368200.2A CN113159144B (zh) 2021-04-06 2021-04-06 行人属性分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110368200.2A CN113159144B (zh) 2021-04-06 2021-04-06 行人属性分类方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113159144A CN113159144A (zh) 2021-07-23
CN113159144B true CN113159144B (zh) 2023-06-16

Family

ID=76888610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110368200.2A Active CN113159144B (zh) 2021-04-06 2021-04-06 行人属性分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113159144B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN104766051A (zh) * 2015-03-20 2015-07-08 北京交通大学 基于结构化的特征图的人体行为识别方法
CN110516512A (zh) * 2018-05-21 2019-11-29 北京中科奥森数据科技有限公司 行人属性分析模型的训练方法、行人属性识别方法及装置
CN110674756A (zh) * 2019-09-25 2020-01-10 普联技术有限公司 人体属性识别模型训练方法、人体属性识别方法及装置
CN111783870A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5161845B2 (ja) * 2009-07-31 2013-03-13 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
CN111052126B (zh) * 2017-09-04 2024-06-04 华为技术有限公司 行人属性识别与定位方法以及卷积神经网络系统
CN111597870B (zh) * 2020-03-26 2022-05-03 中国电子科技集团公司第五十二研究所 一种基于注意力机制与多任务学习的人体属性识别方法
CN112560831B (zh) * 2021-03-01 2021-05-04 四川大学 一种基于多尺度空间校正的行人属性识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN104766051A (zh) * 2015-03-20 2015-07-08 北京交通大学 基于结构化的特征图的人体行为识别方法
CN110516512A (zh) * 2018-05-21 2019-11-29 北京中科奥森数据科技有限公司 行人属性分析模型的训练方法、行人属性识别方法及装置
CN110674756A (zh) * 2019-09-25 2020-01-10 普联技术有限公司 人体属性识别模型训练方法、人体属性识别方法及装置
CN111783870A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王粉花等.基于多尺度和注意力融合学习的行人重识别.《电子与信息学报》.2020,第42卷(第12期),3045-3052. *

Also Published As

Publication number Publication date
CN113159144A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN111310624B (zh) 遮挡识别方法、装置、计算机设备及存储介质
CN109657631B (zh) 人体姿态识别方法及装置
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110175595B (zh) 人体属性识别方法、识别模型训练方法及装置
CN109829356B (zh) 神经网络的训练方法及基于神经网络的行人属性识别方法
CN108229559B (zh) 服饰检测方法、装置、电子设备、程序和介质
CN112446302B (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
CN108805058B (zh) 目标对象变化姿态识别方法、装置及计算机设备
WO2021174941A1 (zh) 人体属性识别方法、系统、计算机设备及存储介质
CN112270686B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN109472274B (zh) 深度学习分类模型的训练装置和方法
CN109390053B (zh) 眼底图像处理方法、装置、计算机设备和存储介质
US20200090039A1 (en) Learning unified embedding
CN109614925A (zh) 服饰属性识别方法和装置、电子设备、存储介质
CN114332994A (zh) 训练年龄预测模型的方法、年龄检测方法及相关装置
Andreu et al. Face gender classification: A statistical study when neutral and distorted faces are combined for training and testing purposes
CN109815902B (zh) 一种行人属性区域信息获取方法、装置及设备
CN113705294A (zh) 一种基于人工智能的图像识别方法、装置
CN112926616A (zh) 图像匹配方法和装置、电子设备、计算机可读存储介质
CN111414922B (zh) 特征提取方法、图像处理方法、模型训练方法及装置
CN109829484B (zh) 一种服饰分类方法、设备及计算机可读存储介质
CN113011377B (zh) 行人属性识别方法、装置、电子设备及存储介质
KR101672814B1 (ko) 랜덤 포레스트를 이용한 성별인식 방법
CN113159144B (zh) 行人属性分类方法、装置、电子设备及存储介质
CN116311347A (zh) 人员在岗检测方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240508

Address after: Building 9, Building 203B, Phase II, Nanshan Yungu Entrepreneurship Park, No. 2 Pingshan 1st Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province, 518033

Patentee after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd.

Country or region after: China

Address before: Room 1010, 10 / F, building a, Chuangzhi building, Xinjiang Software Park, 455 Kanas Hubei Road, Urumqi Economic and Technological Development Zone, 830000 Xinjiang Uygur Autonomous Region

Patentee before: XINJIANG AIHUA YINGTONG INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China