CN111753746A - 属性识别模型训练方法、识别方法、电子设备、存储介质 - Google Patents

属性识别模型训练方法、识别方法、电子设备、存储介质 Download PDF

Info

Publication number
CN111753746A
CN111753746A CN202010596293.XA CN202010596293A CN111753746A CN 111753746 A CN111753746 A CN 111753746A CN 202010596293 A CN202010596293 A CN 202010596293A CN 111753746 A CN111753746 A CN 111753746A
Authority
CN
China
Prior art keywords
network
pedestrian
pedestrian attribute
branch network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010596293.XA
Other languages
English (en)
Other versions
CN111753746B (zh
Inventor
高毓声
晋兆龙
付马
肖潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202010596293.XA priority Critical patent/CN111753746B/zh
Publication of CN111753746A publication Critical patent/CN111753746A/zh
Application granted granted Critical
Publication of CN111753746B publication Critical patent/CN111753746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种行人属性识别模型训练方法、识别方法、电子设备、存储介质，行人属性识别模型训练方法，包括：构建训练数据集，已标注属性的行人图片和已标注ID的行人图片；构建行人属性识别网络，所述行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络的输出分别输入至所述空间信息分支网络以及所述语义信息分支网络；利用所述训练数据集训练所述行人属性识别网络，获得行人属性识别模型，所述行人属性识别模型用于根据输入的图片识别图片中的属性。本发明提供的方法及设备通过模型训练学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型。

Description

属性识别模型训练方法、识别方法、电子设备、存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种行人属性识别模型训练方法、识别方法、电子设备、存储介质。
背景技术
行人属性识别是一种基于行人照片或视频截图来判断行人的属性，如性别、衣着颜色、衣着款式、是否戴眼镜等。目前由于行人属性种类繁多，场景来源复杂，获取大量标注完全的数据极为困难。大部分数据仅有部分属性标注，甚至没有任何属性标注。而行人身份数据由于仅有一个标记，同时视频中一个人行走过程可以产生多张图片，相较属性标注而言行人身份数据的标记成本更低、难度更小。
半监督学习是一种常用的处理标注数据不足的机器学习方法。在主要学习任务的数据不够充足的情况下，半监督学习通过补充相关任务的数据来帮助主要任务的学习。由于行人身份数据获取容易且同一行人在视频中的一个序列中的图片基本具有相同属性，在行人属性识别的问题中，可以使用半监督学习通过补充相关的行人身份数据，来帮助行人属性识别网络的学习。
如何实现通过模型训练学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型，是本领域亟待解决的技术问题。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种行人属性识别模型训练方法、识别方法、电子设备、存储介质，通过模型训练学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型。
根据本发明的一个方面，提供一种行人属性识别模型训练方法，包括：
构建训练数据集，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片；
构建行人属性识别网络，所述行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络的输出分别输入至所述空间信息分支网络以及所述语义信息分支网络；以及
利用所述训练数据集训练所述行人属性识别网络，获得行人属性识别模型，所述行人属性识别模型用于根据输入的图片识别图片中的属性。
在本发明的一些实施例中，所述构建行人属性识别网络还包括：
使所述语义信息分支网络连接一第一分类损失函数以及一距离度量损失函数；
使所述空间信息分支网络连接一第二分类损失函数，
其中，所述行人属性识别网络的损失函数根据所述第一损失函数、所述第二损失函数以及所述距离度量损失函数计算。
在本发明的一些实施例中，所述语义信息分支网络由输入至输出至少包括至少一第一卷积层。
在本发明的一些实施例中，所述空间信息分支网络包括空间信息主分支网络以及注意力权重分支网络，所述空间信息主分支网络的输出和所述注意力权重分支网络的输出连接至一连接层，所述连接层使所述注意力权重分支的输出和所述空间信息主分支网络的输出按位相乘。
在本发明的一些实施例中，
所述空间信息主分支网络由输入至输出至少包括至少一第二卷积层；
所述注意力权重分支网络由输入至输出至少包括至少一第三卷积层以及第一线性回归函数层。
在本发明的一些实施例中，所述利用所述训练数据集训练所述行人属性识别网络，获得行人属性识别模型，所述行人属性识别模型用于根据输入的图片识别图片中的属性包括：
在所述行人属性识别网络训练完成后，去除所述行人属性识别网络中的所述第一损失函数、所述第二损失函数以及所述距离度量损失函数；
使所述空间信息分支网络以及所述语义信息分支网络的输出连接至一加法层，所述加法层使所述空间信息分支网络以及所述语义信息分支网络的输出向量相加，获得所述行人属性识别模型。
在本发明的一些实施例中，所述构建训练数据集，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片包括：
将所述训练数据集划分为多个训练数据子集，每个训练数据子集共N个图片，每个训练数据子集中，N/2个图片为已标注属性的行人图片，另N/2个图片为已标注ID的行人图片，
其中，每个训练数据子集输入所述行人属性识别网络时：该训练数据子集的N个图片经由主干网络提取特征图后，该训练数据子集的N/2个图片为已标注属性的行人图片的特征图输入所述空间信息分支网络，该训练数据子集的N个图片的特征图输入所述语义信息分支网络，N为大于1的偶数。
根据本发明的又一方面，还提供一种行人属性识别模型训练装置，包括：
第一构建模块，用于构建训练数据集，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片；
第二构建模块，用于构建行人属性识别网络，所述行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络的输出分别输入至所述空间信息分支网络以及所述语义信息分支网络；以及
训练模块，用于利用所述训练数据集训练所述行人属性识别网络，获得行人属性识别模型，所述行人属性识别模型用于根据输入的图片识别图片中的属性。
根据本发明的又一方面，还提供一种行人属性识别方法，包括：
将待识别图片输入一行人属性识别模型，所述行人属性识别模型包括经训练的主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络、空间信息分支网络以及语义信息分支网络利用训练数据集训练，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片；
根据所述行人属性识别模型的输出识别所述待识别图片中的行人属性。
根据本发明的又一方面，还提供一种行人属性识别装置，包括：
输入模块，用于将待识别图片输入一行人属性识别模型，所述行人属性识别模型包括经训练的主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络、空间信息分支网络以及语义信息分支网络利用训练数据集训练，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片；
识别模块，用于根据所述行人属性识别模型的输出识别所述待识别图片中的行人属性。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
由此可见，本发明提供的方案，与现有技术相比，具有如下优势：
1)构建包括已标注属性的行人图片和已标注ID的行人图片的训练数据集，以利用所述训练数据集训练所述行人属性识别网络，无需使训练数据集中的图片皆经由属性标注，通过标注ID的行人图片辅助进行识别网络的训练，节省属性标注成本；
2)使行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，从而主干网络的输出输入至两个分支同时使用，同时可以使两个分支对同一数据进行不同的信息学习形成互补，并进一步反馈给主干网络使主干网络变得更加鲁棒；
通过上述方案，本发明可以学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的行人属性识别模型训练方法的流程图。
图2示出了根据本发明具体实施例的行人属性识别网络的示意图。
图3示出了根据本发明具体实施例的空间信息分支网络的示意图。
图4示出了根据本发明具体实施例的行人属性识别模型的示意图。
图5示出了根据本发明实施例的行人属性识别方法的流程图。
图6示出了根据本发明实施例的行人属性识别模型训练装置的模块图。
图7示出了根据本发明实施例的行人属性识别装置的模块图。
图8示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图9示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
为了克服上述现有技术存在的缺陷，本发明提供一种行人属性识别模型训练方法、识别方法、电子设备、存储介质，通过模型训练学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型。
首先参见图1，图1示出了根据本发明实施例的行人属性识别模型训练方法的流程图。图1共示出了如下步骤：
步骤S110：构建训练数据集，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片。
步骤S120：构建行人属性识别网络，所述行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络的输出分别输入至所述空间信息分支网络以及所述语义信息分支网络。
步骤S130：利用所述训练数据集训练所述行人属性识别网络，获得行人属性识别模型，所述行人属性识别模型用于根据输入的图片识别图片中的属性。
本发明提供的行人属性识别模型训练方法，一方面，构建包括已标注属性的行人图片和已标注ID的行人图片的训练数据集，以利用所述训练数据集训练所述行人属性识别网络，无需使训练数据集中的图片皆经由属性标注，通过标注ID的行人图片辅助进行识别网络的训练，节省属性标注成本；另一方面使行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，从而主干网络的输出输入至两个分支同时使用，同时可以使两个分支对同一数据进行不同的信息学习形成互补，并进一步反馈给主干网络使主干网络变得更加鲁棒；由此可以学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型。
在本发明的各个实施例中，ID用于区分不同的行人。
在本发明的一些实施例中，已标注属性的行人图片和已标注ID的行人图片可以存在交集，换言之，训练数据集中可以存在图片既已标注属性，且已标注ID。
在本发明的一些实施例中，步骤S110可以通过如下步骤实现：将所述训练数据集划分为多个训练数据子集，每个训练数据子集共N个图片，每个训练数据子集中，N/2个图片为已标注属性的行人图片，另N/2个图片为已标注ID的行人图片。每个训练数据子集输入所述行人属性识别网络时：该训练数据子集的N个图片经由主干网络提取特征图后，该训练数据子集的N/2个图片为已标注属性的行人图片的特征图输入所述空间信息分支网络，该训练数据子集的N个图片的特征图输入所述语义信息分支网络，N为大于1的偶数。优选地，每个训练数据子集中，前N/2张图片为已标注属性的行人图片，后N/2张图片为已标注ID的行人图片，由此，通过设定已标注属性的行人图片和已标注ID的行人图片的顺序，以便于经由主干网络后输入至不同的分支网络。进一步地，在后N/2张图片为已标注ID的行人图片中，每两张行人图片标注为同一ID，以便于语义信息分支进行学习。
具体而言，步骤S110还可以包括将训练数据集的各图片进行对齐处理，
对齐处理可以使用包括但不限于仿射变换、基于深度学习的对齐等方法。例如，可以设定一张图片作为基准图片，然后使用对齐方法对齐图片，对齐方法可以使用任意常见的图片对齐方法。对齐的目的是使行人的身体部件在图上的相对位置尽量接近设定好的基准图片。
图2示出了根据本发明具体实施例的行人属性识别网络的示意图。行人属性识别网络包括主干网络101、空间信息分支网络102、语义信息分支网络103。其中，主干网络101的输出分别输入至空间分支网络102和语义信息分支网络103。主干网络101可选用常见的诸如ResNet、VGG等主干网络，或使用深度学习网络结构自定义，用于提取特征图供分支网络使用。
语义信息分支网络103可以由常见的网络结构组成。例如，语义信息分支网络103可以包括至少一第一卷积层。在一些变化例中，语义信息分支网络103还可以包括第一激活层、第一批归一化(BatchNorm)层、第一平移缩放(scale)层中的一层或多层等，本发明并非以此为限制。
在本实施例中，语义信息分支网络103后接一个第一分类损失函数105和一个距离度量损失函数106。第一分类损失函数105可用任意常见的分类损失函数(如Softmax损失函数等)。距离度量损失函数106可以用任意距离度量损失函数(诸如欧式距离损失函数、中心损失函数等)。第一分类损失函数105可以仅对已标注属性的特征图计算来帮助网络识别正确的类别。距离度量损失函数106则使网络能够对于相似的输入获得相似的输出。通过距离度量损失函数106可以在未标注属性但已标注ID特征图，根据同一ID数据输出应该相似的情况下，帮助网络找到同一ID的其它行人图片的属性信息。距离度量损失函数106对属性数据计算属性相同的任意两个样本的损失。而对ID数据，由于相同ID应该具有相同的属性，不同ID无法确定是否属性相同，因此距离度量损失函数106仅计算ID相同的数据之间的损失。
由此，语义信息分支网络103后接一个第一分类损失函数105和一个距离度量损失函数106，二者输出的属性维度相同，目的是从不同的角度学习图片的信息来对相同的属性做出判断。第一分类损失函数105从主干网络101提供的特征图上直接学习全局信息来判断属性，保证学到的信息的完整性。但第一分类损失函数105要求数据有明确的属性标注，而属性标注成本较高。在实际数据中，同一行人序列数据虽然没有属性标注，但由于其为同一人，其属性应该是相近甚至相同的。由此，使用距离度量损失函数106通过半监督学习保证相同ID的样本属性特征相近，从而侧面强化了网络对属性信息的提取能力。距离度量损失利用了标注容易的ID样本，解决了由于属性标注困难造成的数据匮乏的问题。
空间信息分支网络102可以使用类似语义信息分支网络102的网络结构，空间信息分支网络102输出的属性类别和维度与语义信息分支网络102可以相同。例如，空间信息分支网络102可以包括至少一第二卷积层。在一些变化例中，空间信息分支网络102还可以包括第二激活层、第二批归一化(BatchNorm)层、第二平移缩放(scale)层中的一层或多层，本发明并非以此为限制。
空间信息分支网络102后接一个第二分类损失函数104。不同于语义信息分支网络102，空间信息分支网络102仅后接一个第二分类损失函数104，因此，空间信息分支网络102可仅处理属性数据。在一些实施例中，可以在空间信息分支网络102开始前，通过一划分(slice)层将每个训练数据子集中未标注属性的行人图片的特征图分离。第二分类损失函数104可使用任意分类损失函数，第二分类损失函数104可以与第一分类损失函数105相同或不同。
进一步地，可以通过设定的权重，将第一分类损失函数105、第二分类损失函数104和距离度量损失函数106加权求和作为行人属性识别网络的损失函数107。
在上述实施例的一个具体实现中，可以参见图3，图3示出了根据本发明具体实施例的空间信息分支网络的示意图。
所述空间信息分支网络102包括空间信息主分支网络1021以及注意力权重分支网络1022。所述空间信息主分支网络1021的输出和所述注意力权重分支网络1022的输出连接至一连接层1023，所述连接层1023使所述注意力权重分支1022的输出和所述空间信息主分支网络1021的输出按位相乘。进一步地，所述注意力权重分支网络1022由输入至输出至少包括至少一第三卷积层以及第一线性回归函数层。本发明并非以此为限制，注意力权重分支网络1022还可以包括第三激活层、第三批归一化(BatchNorm)层、第三平移缩放(scale)层中的一层或多层等。进一步地，注意力权重分支网络1022的输入可以连接至空间信息分支网络102任一层的输出。注意力机制通过像素在图像上的位置信息来帮助网络自主聚焦和任务相关的区域，排除不相关区域的干扰，大大提高了图像处理的性能。注意力机制相较一般的网络更加关注图片上像素的空间信息，弥补了通常网络结构仅关注语义信息而破坏空间信息的问题。本实施例中，空间信息分支网络102可以采用自注意力机制。
由此，空间信息分支网络102侧重于图片上属性对应部位的空间信息的学习。其通过注意力机制，学习属性对应的空间信息，来保证学到的信息的准确性。这是因为在实际数据中，会出现单人身上多个具有相同属性的部位(如同时穿着红色上衣和红色裤子)以及可能存在两人重叠但属性不同(重叠的红色上衣和蓝色上衣)，对模型的判断造成干扰。空间信息分支通过注意力机制对属性区域进行加权来强化在目标区域学到的信息，如主要目标人物的上衣区域提取的信息可以更精确的判断其上衣颜色。由于空间信息支路仅使用分类损失，只能处理已标注属性的样本，所以在训练阶段仅对属性数据进行计算。在模型训练完成后用于识别时同空间信息分支一样参与每个样本计算。
在具体的训练过程中，可以每次向图2所述的行人属性识别网络输入一训练数据子集，每个训练数据子集的行人图片输入主干网络获得特征图后，由语义信息分支网络103接收该训练数据子集的全部行人图片特征图，由空间信息分支网络102接收该训练数据子集中已标注属性的形成图片的特征图。当网络训练到指定的次数，或者损失函数107的损失小于人工预设的值时，表示网络训练完成。此时将行人属性识别网络的参数保存，以用于之后的行人属性识别。其中，行人属性识别网络的参数包括主干网络参数、空间信息分支网络参数及语义信息分支网络参数。
在本发明的一些实施例中，可以通过如下步骤获得行人属性识别模型：在行人属性识别网络训练完成后，去除所述行人属性识别网络中的所述第一损失函数、所述第二损失函数以及所述距离度量损失函数；使所述空间信息分支网络以及所述语义信息分支网络的输出连接至一加法层，所述加法层使所述空间信息分支网络以及所述语义信息分支网络的输出向量相加，获得行人属性识别模型。需要说明的是，行人属性识别模型中各个网络参数是行人属性识别网络训练至损失函数收敛后得到的。具体而言，如图4所示，图4示出了根据本发明具体实施例的行人属性识别模型的示意图。当图2中行人属性识别网络训练完成后，移除第一损失函数105、所述第二损失函数104以及所述距离度量损失函数106，并使空间信息分支网络102以及所述语义信息分支网络103的输出连接至一加法层108，获得行人属性识别模型。由此，可以将空间信息分支网络102以及所述语义信息分支网络103的输出向量相加获得行人属性识别模型的输出向量。由此，最终输出是两个分支的输出求和。通过求和操作融合两个支路提取到的不同偏重的信息来综合判断以确保最终模型的效果。
行人属性识别模型的输出向量的长度对应所有属性的所有值的类别数量之和。即假设行人属性识别模型需预测K个属性，每个属性可能的值的数量不同，对第i个属性Ki，其包含Mi个值，则第j个值为Kij，则网络输出的向量为
Figure BDA0002557520340000101
其中
Figure BDA0002557520340000102
为属于属性Ki的子向量。在得到网络最终输出向量后，对每个属性的子向量求最大值的序号作为最终识别结果。即对属性Ki，其对应的子向量
Figure BDA0002557520340000103
中若第n个为最大值，则网络在属性Ki上的最终输出为n。例如，属性“是否戴眼镜”具有序号1“戴眼镜”和序号2“不戴眼镜”两个值，若属性“是否戴眼镜”最终的“戴眼镜”的值更大，则输出属性“是否戴眼镜”的序号1“戴眼镜”。以上仅仅是示意性起见，描述本发明的一个具体实现方式，本发明并非以此为限制。
下面参见图5，图5示出了根据本发明实施例的行人属性识别方法的流程图。图5共示出如下步骤：
步骤S210：将待识别图片输入一行人属性识别模型，所述行人属性识别模型包括经训练的主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络、空间信息分支网络以及语义信息分支网络利用训练数据集训练，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片。
具体而言，行人属性识别模型可以按如图1所示的训练方法训练，在此不予赘述。
步骤S220：根据所述行人属性识别模型的输出识别所述待识别图片中的行人属性。
本发明提供的行人属性识别方法，一方面，构建包括已标注属性的行人图片和已标注ID的行人图片的训练数据集，以利用所述训练数据集训练所述行人属性识别网络，无需使训练数据集中的图片皆经由属性标注，通过标注ID的行人图片辅助进行识别网络的训练，节省属性标注成本；另一方面使行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，从而主干网络的输出输入至两个分支同时使用，同时可以使两个分支对同一数据进行不同的信息学习形成互补，并进一步反馈给主干网络使主干网络变得更加鲁棒；由此可以学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型。进一步地，利用该行人属性识别模型对待识别图片进行识别得到待识别图像中的行人属性，提高图片中行人属性识别的准确度。
下面结合图6描述本发明提供的行人属性识别模型训练装置。行人属性识别模型训练装置300包括第一构建模块310、第二构建模块320以及训练模块330。
第一构建模块310用于构建训练数据集，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片；
第二构建模块320用于构建行人属性识别网络，所述行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络的输出分别输入至所述空间信息分支网络以及所述语义信息分支网络；以及
训练模块330用于利用所述训练数据集训练所述行人属性识别网络，获得行人属性识别模型，所述行人属性识别模型用于根据输入的图片识别图片中的属性。
本发明可以通过软件、硬件、固件及其任意结合的方式实现行人属性识别模型训练装置。图6仅仅是示意性的示出本发明提供的行人属性识别模型训练装置，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。
下面结合图7描述本发明提供的行人属性识别装置。行人属性识别装置400包括输入模块410以及识别模块420。
输入模块410用于将待识别图片输入一行人属性识别模型，所述行人属性识别模型包括经训练的主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络、空间信息分支网络以及语义信息分支网络利用训练数据集训练，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片；
识别模块420用于根据所述行人属性识别模型的输出识别所述待识别图片中的行人属性。
本发明可以通过软件、硬件、固件及其任意结合的方式实现行人属性识别装置。图7仅仅是示意性的示出本发明提供的行人属性识别装置，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。
本发明提供的行人属性识别模型训练装置及行人属性识别装置，一方面，构建包括已标注属性的行人图片和已标注ID的行人图片的训练数据集，以利用所述训练数据集训练所述行人属性识别网络，无需使训练数据集中的图片皆经由属性标注，通过标注ID的行人图片辅助进行识别网络的训练，节省属性标注成本；另一方面使行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，从而主干网络的输出输入至两个分支同时使用，同时可以使两个分支对同一数据进行不同的信息学习形成互补，并进一步反馈给主干网络使主干网络变得更加鲁棒；由此可以学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述行人属性识别模型训练方法和/或行人属性识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，若所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述行人属性识别模型训练方法和/或行人属性识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适若的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述行人属性识别模型训练方法和/或行人属性识别方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述行人属性识别模型训练方法和/或行人属性识别方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1和/或图5中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述行人属性识别模型训练方法和/或行人属性识别方法。
由此可见，本发明提供的方案，与现有技术相比，具有如下优势：
1)构建包括已标注属性的行人图片和已标注ID的行人图片的训练数据集，以利用所述训练数据集训练所述行人属性识别网络，无需使训练数据集中的图片皆经由属性标注，通过标注ID的行人图片辅助进行识别网络的训练，节省属性标注成本；
2)使行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，从而主干网络的输出输入至两个分支同时使用，同时可以使两个分支对同一数据进行不同的信息学习形成互补，并进一步反馈给主干网络使主干网络变得更加鲁棒；
通过上述方案，本发明可以学习到较为全面而鲁棒的信息，并且省去大量属性标注工作，在较少的数据采集成本下获得较好的行人属性识别模型。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种行人属性识别模型训练方法，其特征在于，包括：
构建训练数据集，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片；
构建行人属性识别网络，所述行人属性识别网络包括主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络的输出分别输入至所述空间信息分支网络以及所述语义信息分支网络；以及
利用所述训练数据集训练所述行人属性识别网络，获得行人属性识别模型，所述行人属性识别模型用于根据输入的图片识别图片中的属性。
2.如权利要求1所述的行人属性识别模型训练方法，其特征在于，所述构建行人属性识别网络还包括：
使所述语义信息分支网络连接一第一分类损失函数以及一距离度量损失函数；
使所述空间信息分支网络连接一第二分类损失函数，
其中，所述行人属性识别网络的损失函数根据所述第一损失函数、所述第二损失函数以及所述距离度量损失函数计算。
3.如权利要求2所述的行人属性识别模型训练方法，其特征在于，所述语义信息分支网络由输入至输出至少包括至少一第一卷积层。
4.如权利要求2所述的行人属性识别模型训练方法，其特征在于，所述空间信息分支网络包括空间信息主分支网络以及注意力权重分支网络，所述空间信息主分支网络的输出和所述注意力权重分支网络的输出连接至一连接层，所述连接层使所述注意力权重分支的输出和所述空间信息主分支网络的输出按位相乘。
5.如权利要求4所述的行人属性识别模型训练方法，其特征在于，
所述空间信息主分支网络由输入至输出至少包括至少一第二卷积层；
所述注意力权重分支网络由输入至输出至少包括至少一第三卷积层以及第一线性回归函数层。
6.如权利要求2所述的行人属性识别模型训练方法，其特征在于，所述利用所述训练数据集训练所述行人属性识别网络，获得行人属性识别模型，所述行人属性识别模型用于根据输入的图片识别图片中的属性包括：
在所述行人属性识别网络训练完成后，去除所述行人属性识别网络中的所述第一损失函数、所述第二损失函数以及所述距离度量损失函数；
使所述空间信息分支网络以及所述语义信息分支网络的输出连接至一加法层，所述加法层使所述空间信息分支网络以及所述语义信息分支网络的输出向量相加，获得所述行人属性识别模型。
7.如权利要求1至6任一项所述的行人属性识别模型训练方法，其特征在于，所述构建训练数据集，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片包括：
将所述训练数据集划分为多个训练数据子集，每个训练数据子集共N个图片，每个训练数据子集中，N/2个图片为已标注属性的行人图片，另N/2个图片为已标注ID的行人图片，
其中，每个训练数据子集输入所述行人属性识别网络时：该训练数据子集的N个图片经由主干网络提取特征图后，该训练数据子集的N/2个图片为已标注属性的行人图片的特征图输入所述空间信息分支网络，该训练数据子集的N个图片的特征图输入所述语义信息分支网络，N为大于1的偶数。
8.一种行人属性识别方法，其特征在于，包括：
将待识别图片输入一行人属性识别模型，所述行人属性识别模型包括经训练的主干网络、空间信息分支网络以及语义信息分支网络，所述主干网络、空间信息分支网络以及语义信息分支网络利用训练数据集训练，所述训练数据集包括已标注属性的行人图片和已标注ID的行人图片；
根据所述行人属性识别模型的输出识别所述待识别图片中的行人属性。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行：
如权利要求1至7任一项所述的行人属性识别模型训练方法；和/或。
如权利要求8所述的行人属性识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行：
如权利要求1至7任一项所述的步骤；和/或。
如权利要求8所述的行人属性识别方法。
CN202010596293.XA 2020-06-28 2020-06-28 属性识别模型训练方法、识别方法、电子设备、存储介质 Active CN111753746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010596293.XA CN111753746B (zh) 2020-06-28 2020-06-28 属性识别模型训练方法、识别方法、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010596293.XA CN111753746B (zh) 2020-06-28 2020-06-28 属性识别模型训练方法、识别方法、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111753746A true CN111753746A (zh) 2020-10-09
CN111753746B CN111753746B (zh) 2022-07-29

Family

ID=72677531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010596293.XA Active CN111753746B (zh) 2020-06-28 2020-06-28 属性识别模型训练方法、识别方法、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111753746B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287144A (zh) * 2020-10-29 2021-01-29 苏州科达科技股份有限公司 图片检索方法、设备及存储介质
CN113159200A (zh) * 2021-04-27 2021-07-23 苏州科达科技股份有限公司 对象分析方法、装置及存储介质
CN113269051A (zh) * 2021-04-30 2021-08-17 广州图匠数据科技有限公司 商品识别方法、智能终端以及存储装置
CN114663715A (zh) * 2022-05-26 2022-06-24 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509915A (zh) * 2018-04-03 2018-09-07 百度在线网络技术（北京）有限公司 人脸识别模型的生成方法和装置
CN110334687A (zh) * 2019-07-16 2019-10-15 合肥工业大学 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN111079563A (zh) * 2019-11-27 2020-04-28 北京三快在线科技有限公司 交通信号灯识别方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509915A (zh) * 2018-04-03 2018-09-07 百度在线网络技术（北京）有限公司 人脸识别模型的生成方法和装置
CN110334687A (zh) * 2019-07-16 2019-10-15 合肥工业大学 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN111079563A (zh) * 2019-11-27 2020-04-28 北京三快在线科技有限公司 交通信号灯识别方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BETARIVER网友: "Attribute Recognition简记1-Video-Based Pedestrian Attribute Recognition", 《CSDN博客》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287144A (zh) * 2020-10-29 2021-01-29 苏州科达科技股份有限公司 图片检索方法、设备及存储介质
CN112287144B (zh) * 2020-10-29 2022-07-05 苏州科达科技股份有限公司 图片检索方法、设备及存储介质
CN113159200A (zh) * 2021-04-27 2021-07-23 苏州科达科技股份有限公司 对象分析方法、装置及存储介质
CN113159200B (zh) * 2021-04-27 2022-07-26 苏州科达科技股份有限公司 对象分析方法、装置及存储介质
CN113269051A (zh) * 2021-04-30 2021-08-17 广州图匠数据科技有限公司 商品识别方法、智能终端以及存储装置
CN114663715A (zh) * 2022-05-26 2022-06-24 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备

Also Published As

Publication number Publication date
CN111753746B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN111753746B (zh) 属性识别模型训练方法、识别方法、电子设备、存储介质
US20210397876A1 (en) Similarity propagation for one-shot and few-shot image segmentation
CN110334689B (zh) 视频分类方法和装置
CN113139628B (zh) 样本图像的识别方法、装置、设备及可读存储介质
CN112183577A (zh) 一种半监督学习模型的训练方法、图像处理方法及设备
CN108960316B (zh) 用于生成模型的方法和装置
CN110443222B (zh) 用于训练脸部关键点检测模型的方法和装置
CN109034203B (zh) 表情推荐模型的训练、表情推荐方法、装置、设备及介质
CN110347940A (zh) 用于优化兴趣点标签的方法和装置
CN109034219A (zh) 图像的多标签类别预测方法及装置、电子设备和存储介质
CN109285105A (zh) 水印检测方法、装置、计算机设备和存储介质
CN113140012B (zh) 图像处理方法、装置、介质及电子设备
CN112508078A (zh) 图像多任务多标签识别方法、系统、设备及介质
CN111325200A (zh) 图像标注方法、装置、设备及计算机可读存储介质
CN112651324A (zh) 视频帧语义信息的提取方法、装置及计算机设备
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
Vujasinović et al. Revisiting click-based interactive video object segmentation
CN116980541B (zh) 视频编辑方法、装置、电子设备以及存储介质
CN114676705A (zh) 一种对话关系处理方法、计算机及可读存储介质
CN113569081A (zh) 图像识别方法、装置、设备及存储介质
CN117351192A (zh) 一种对象检索模型训练、对象检索方法、装置及电子设备
CN116805522A (zh) 诊断报告输出方法、装置、终端及存储介质
CN116433936A (zh) 图像检测方法、装置、电子设备及存储介质
CN115017399B (zh) 一种网约车车型自动推荐方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant