CN109614925A - 服饰属性识别方法和装置、电子设备、存储介质 - Google Patents

服饰属性识别方法和装置、电子设备、存储介质 Download PDF

Info

Publication number
CN109614925A
CN109614925A CN201811497137.7A CN201811497137A CN109614925A CN 109614925 A CN109614925 A CN 109614925A CN 201811497137 A CN201811497137 A CN 201811497137A CN 109614925 A CN109614925 A CN 109614925A
Authority
CN
China
Prior art keywords
image
clothing
human body
attribute
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811497137.7A
Other languages
English (en)
Inventor
张伟
陈海峰
陈益民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of CN109614925A publication Critical patent/CN109614925A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种服饰属性识别方法和装置、电子设备、存储介质、计算机程序产品，其中，该方法包括：对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像；基于至少一个人体区域图像和待处理图像，确定待处理图像中至少一个服饰的至少一个服饰属性。上述的服饰属性识别方法和装置、电子设备、存储介质、计算机程序产品结合人体区域对服饰属性进行预测，得到的预测结果不受背景影响，使得服饰属性识别结果更准确。

Description

服饰属性识别方法和装置、电子设备、存储介质
技术领域
本申请涉及计算机视觉技术，尤其是一种服饰属性识别方法和装置、电子设备、存储介质、计算机程序产品。
背景技术
随着互联网的快速普及以及电子商务的兴起与发展，基于计算机视觉的图像分析技术得到了空前的发展。对于模特以及普通用户拍摄的服饰图片，想获取穿着服饰的描述性信息，比如类别、颜色、纹理、领口等。一般的电子商务网站是通过人工的方式对模特拍摄的服饰图片添加各种属性标签，但是考虑到人力成本、时间开销等原因，对于大量的用户拍摄及互联网中的图片就无法进行人工标注了。针对上述问题，很多的基于图像视觉信息的分析方法不断被大家提出，目前比较流行的方法大多是基于大量人工标注属性标签，使用卷积神经网络进行多标签的监督学习方法。
发明内容
本申请实施例提供的一种服饰属性识别技术。
根据本申请实施例的一个方面，提供的一种服饰属性识别方法，包括：
对待处理图像进行处理，获得与所述待处理图像中至少一个人体部位对应的至少一个人体区域图像，每个所述人体区域图像中包括至少一个人体部位；
基于至少一个所述人体区域图像和所述待处理图像，确定所述待处理图像中至少一个服饰的至少一个服饰属性，每个所述服饰对应至少一个服饰属性。
可选地，在本申请上述任一方法实施例中，所述对待处理图像进行处理，获得所述待处理图像中至少一个人体部位对应的至少一个人体区域图像，包括：
利用人体解析网络对所述待处理图像按照所述待处理图像中包括的至少一个人体部位进行分割处理，获得至少一个人体区域图像。
可选地，在本申请上述任一方法实施例中，所述人体部分包括以下至少一种：头部、颈部、左臂、右臂、上身躯干、左腿、右腿、左脚、右脚；
所述人体区域图像包括以下至少一种：头部图像、颈部图像、左臂图像、右臂图像、上身躯干图像、左腿图像、右腿图像、左脚图像、右脚图像、上身衣服图像、下身衣服图像、全身衣服图像。
可选地，在本申请上述任一方法实施例中，所述基于至少一个所述人体区域图像和所述待处理图像，确定所述待处理图像中至少一个服饰的至少一个服饰属性，包括：
将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中；
通过每个所述属性识别网络确定所述待处理图像中的一个服饰的一个服饰属性。
可选地，在本申请上述任一方法实施例中，所述将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中之前，包括：
拼接所述至少一个人体区域图像，获得至少一个属性图像；
所述将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中，包括：
将所述待处理图像和所述拼接得到的每个属性图像输入一个所述属性识别网络中。
可选地，在本申请上述任一方法实施例中，所述方法还包括：基于所述样本图像分别调整所述人体解析网络和至少一个所述属性识别网络的参数，所述样本图像包括至少一个标注人体区域和至少一个标注服饰属性，每个所述标注服饰属性对应至少一个标注人体区域。
可选地，在本申请上述任一方法实施例中，所述基于所述样本图像调整所述人体解析网络的参数，包括：
将所述样本图像输入所述人体解析网络，得到至少一个预测人体区域图像；
基于所述预测人体区域图像和标注人体区域，调整所述人体解析网络的参数。
可选地，在本申请上述任一方法实施例中，所述基于所述样本图像分别调整至少一个所述属性识别网络的参数，包括：
将所述至少一个标注人体区域和所述样本图像输入至少一个所述属性识别网络，获得至少一个预测服饰属性；
基于所述至少一个预测服饰属性和所述至少一个标注服饰属性，调整所述至少一个属性识别网络的参数，每个所述预测服饰属性对应一个属性识别网络。
可选地，在本申请上述任一方法实施例中，所述人体解析网络和所述至少一个属性识别网络共享部分网络层；
所述对待处理图像进行处理，获得与所述待处理图像中至少一个人体部位对应的至少一个人体区域图像，包括：
通过所述共享的部分网络层对所述待处理图像进行处理，获得共享特征；
基于所述共享特征获得所述待处理图像中至少一个人体部位对应的至少一个人体区域图像；
所述基于至少一个所述人体区域图像和所述待处理图像，确定所述待处理图像中至少一个服饰的至少一个服饰属性，包括：
基于至少一个所述人体区域图像和所述共享特征，确定所述待处理图像中至少一个服饰的至少一个服饰属性。
可选地，在本申请上述任一方法实施例中，所述人体解析网络还包括分割分支；
所述基于所述共享特征获得所述待处理图像中至少一个人体部位对应的至少一个人体区域图像，包括：
通过所述分割分支对所述共享特征进行处理，获得所述待处理图像中至少一个人体部位对应的至少一个人体区域图像。
可选地，在本申请上述任一方法实施例中，每个所述属性识别网络还包括属性识别分支；
所述基于至少一个所述人体区域图像和所述共享特征，确定至少一个所述待处理图像中至少一个服饰的至少一个服饰属性，包括：
利用至少一个所述属性识别分支基于至少一个所述人体区域图像和所述共享特征，确定所述待处理图像中至少一个服饰的至少一个服饰属性。
可选地，在本申请上述任一方法实施例中，所述利用一个属性识别分支基于至少一个所述人体区域图像和所述共享特征，确定所述待处理图像中至少一个服饰的一个服饰属性，包括：
利用感兴趣区域池化，基于所述至少一个人体区域图像和所述共享特征，确定所述共享特征中对应至少一个所述人体区域图像的至少一个区域特征；
基于所述至少一个区域特征确定一个服饰属性。
可选地，在本申请上述任一方法实施例中，所述基于所述至少一个区域特征确定一个服饰属性，包括：
拼接所述至少一个区域特征，得到一个属性特征；
基于所述属性特征确定所述待处理图像中一个服饰的一个服饰属性。
可选地，在本申请上述任一方法实施例中，所述方法还包括：基于所述样本图像调整所述共享的部分网络层、分割分支和至少一个属性识别分支的参数，所述样本图像包括至少一个标注人体区域和至少一个标注服饰属性，每个所述标注服饰属性对应至少一个标注人体区域。
可选地，在本申请上述任一方法实施例中，所述基于所述样本图像调整所述共享的部分网络层、分割分支和至少一个属性识别分支的参数，包括：
将所述样本图像输入所述共享的部分网络层和所述分割分支构成的人体解析网络，得到至少一个预测人体区域图像，基于所述预测人体区域图像和所述标注人体区域，调整所述分割分支的参数；
利用所述共享的部分网络层和所述属性识别分支，基于所述至少一个标注人体区域获得所述样本图像对应的至少一个预测服饰属性，基于所述至少一个预测服饰属性和所述至少一个标注服饰属性，调整所述至少一个属性识别分支的参数，每个所述预测服饰属性和每个所述标注服饰属性训练一个所述属性识别分支；
基于所述预测人体区域图像和标注人体区域，及所述至少一个预测服饰属性和所述至少一个标注服饰属性，调整所述共享的部分网络层的参数。
可选地，在本申请上述任一方法实施例中，所述基于所述预测人体区域图像和标注人体区域，及所述预测服饰属性和所述标注服饰属性，调整所述共享的部分网络层的参数，包括：
基于所述预测人体区域图像和标注人体区域获得第一奖励，基于所述至少一个预测服饰属性和所述至少一个标注服饰属性获得至少一个第二奖励；
对所述至少一个第二奖励求和，获得第三奖励；
利用所述第一奖励和所述第三奖励交替调整所述共享的部分网络层的参数。
根据本申请实施例的另一个方面，提供的一种服饰属性识别装置，包括：
人体区域获得单元，用于对待处理图像进行处理，获得与所述待处理图像中至少一个人体部位对应的至少一个人体区域图像，每个所述人体区域图像中包括至少一个人体部位；
服饰属性确定单元，用于基于至少一个所述人体区域图像和所述待处理图像，确定所述待处理图像中至少一个服饰的至少一个服饰属性，每个所述服饰对应至少一个服饰属性。
可选地，在本申请上述任一装置实施例中，所述人体区域获得单元，具体用于利用人体解析网络对所述待处理图像按照所述待处理图像中包括的至少一个人体部位进行分割处理，获得至少一个人体区域图像。
可选地，在本申请上述任一装置实施例中，所述人体部分包括以下至少一种：头部、颈部、左臂、右臂、上身躯干、左腿、右腿、左脚、右脚；
所述人体区域图像包括以下至少一种：头部图像、颈部图像、左臂图像、右臂图像、上身躯干图像、左腿图像、右腿图像、左脚图像、右脚图像、上身衣服图像、下身衣服图像、全身衣服图像。
可选地，在本申请上述任一装置实施例中，所述服饰属性确定单元，用于将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中；通过每个所述属性识别网络确定所述待处理图像中的一个服饰的一个服饰属性。
可选地，在本申请上述任一装置实施例中，所述服饰属性确定单元在将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中之前，还用于拼接所述至少一个人体区域图像，获得至少一个属性图像；
所述服饰属性确定单元在将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中时，用于将所述待处理图像和所述拼接得到的每个属性图像输入一个所述属性识别网络中。
可选地，在本申请上述任一装置实施例中，所述装置还包括：
第一训练单元，用于基于所述样本图像分别调整所述人体解析网络和至少一个所述属性识别网络的参数，所述样本图像包括至少一个标注人体区域和至少一个标注服饰属性，每个所述标注服饰属性对应至少一个标注人体区域。
可选地，在本申请上述任一装置实施例中，所述第一训练单元，用于将所述样本图像输入所述人体解析网络，得到至少一个预测人体区域图像；基于所述预测人体区域图像和标注人体区域，调整所述人体解析网络的参数。
可选地，在本申请上述任一装置实施例中，所述第一训练单元在基于所述样本图像分别调整至少一个所述属性识别网络的参数时，用于将所述至少一个标注人体区域和所述样本图像输入至少一个所述属性识别网络，获得至少一个预测服饰属性；基于所述至少一个预测服饰属性和所述至少一个标注服饰属性，调整所述至少一个属性识别网络的参数，每个所述预测服饰属性对应一个属性识别网络。
可选地，在本申请上述任一装置实施例中，所述人体解析网络和所述至少一个属性识别网络共享部分网络层；
所述人体区域获得单元，用于通过所述共享的部分网络层对所述待处理图像进行处理，获得共享特征；基于所述共享特征获得所述待处理图像中至少一个人体部位对应的至少一个人体区域图像；
所述服饰属性确定单元，用于基于至少一个所述人体区域图像和所述共享特征，确定所述待处理图像中至少一个服饰的至少一个服饰属性。
可选地，在本申请上述任一装置实施例中，所述人体解析网络还包括分割分支；
所述人体区域获得单元在基于所述共享特征获得所述待处理图像中至少一个人体部位对应的至少一个人体区域图像时，用于通过所述分割分支对所述共享特征进行处理，获得所述待处理图像中至少一个人体部位对应的至少一个人体区域图像。
可选地，在本申请上述任一装置实施例中，每个所述属性识别网络还包括属性识别分支；
所述服饰属性确定单元，具体用于利用至少一个所述属性识别分支基于至少一个所述人体区域图像和所述共享特征，确定所述待处理图像中至少一个服饰的至少一个服饰属性。
可选地，在本申请上述任一装置实施例中，所述服饰属性确定单元，用于利用感兴趣区域池化，基于所述至少一个人体区域图像和所述共享特征，确定所述共享特征中对应至少一个所述人体区域图像的至少一个区域特征；基于所述至少一个区域特征确定一个服饰属性。
可选地，在本申请上述任一装置实施例中，所述服饰属性确定单元在基于所述至少一个区域特征确定一个服饰属性时，用于拼接所述至少一个区域特征，得到一个属性特征；基于所述属性特征确定所述待处理图像中一个服饰的一个服饰属性。
可选地，在本申请上述任一装置实施例中，所述装置还包括：
第二训练单元，用于基于所述样本图像调整所述共享的部分网络层、分割分支和至少一个属性识别分支的参数，所述样本图像包括至少一个标注人体区域和至少一个标注服饰属性，每个所述标注服饰属性对应至少一个标注人体区域。
可选地，在本申请上述任一装置实施例中，所述第二训练单元，具体用于将所述样本图像输入所述共享的部分网络层和所述分割分支构成的人体解析网络，得到至少一个预测人体区域图像，基于所述预测人体区域图像和所述标注人体区域，调整所述分割分支的参数；利用所述共享的部分网络层和所述属性识别分支，基于所述至少一个标注人体区域获得所述样本图像对应的至少一个预测服饰属性，基于所述至少一个预测服饰属性和所述至少一个标注服饰属性，调整所述至少一个属性识别分支的参数，每个所述预测服饰属性和每个所述标注服饰属性训练一个所述属性识别分支；基于所述预测人体区域图像和标注人体区域，及所述至少一个预测服饰属性和所述至少一个标注服饰属性，调整所述共享的部分网络层的参数。
可选地，在本申请上述任一装置实施例中，所述第二训练单元在基于所述预测人体区域图像和标注人体区域，及所述预测服饰属性和所述标注服饰属性，调整所述共享的部分网络层的参数时，用于基于所述预测人体区域图像和标注人体区域获得第一奖励，基于所述至少一个预测服饰属性和所述至少一个标注服饰属性获得至少一个第二奖励；对所述至少一个第二奖励求和，获得第三奖励；利用所述第一奖励和所述第三奖励交替调整所述共享的部分网络层的参数。
根据本申请实施例的又一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的服饰属性识别装置。
根据本申请实施例的还一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述服饰属性识别方法的操作。
根据本申请实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行如上任意一项所述服饰属性识别方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述服饰属性识别方法的指令。
基于本申请上述实施例提供的一种服饰属性识别方法和装置、电子设备、存储介质，对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像；基于至少一个人体区域图像和待处理图像，确定待处理图像中至少一个服饰的至少一个服饰属性，结合人体区域对服饰属性进行预测，得到的预测结果不受背景影响，服饰属性识别结果更准确。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请实施例提供的服饰属性识别方法的一个流程图。
图2为应用本申请实施例提供的服饰属性识别方法对人体解析示意图。
图3为本申请实施例提供的服饰属性识别方法的另一实施例的流程图。
图4为本申请实施例提供的服饰属性识别方法的又一实施例中服饰属性识别示意图。
图5为本申请实施例提供的服饰属性识别方法的还一个实施例的流程示意图。
图6为本申请实施例提供的服饰属性识别方法的再一个实施例中网络训练的流程示意图。
图7为本申请实施例提供的服饰属性识别方法中一个属性服饰属性识别的网络的结构示意图。
图8-1为本申请实施例提供的服饰属性识别方法中一种服饰的检测方法的流程图。
图8-2为本申请实施例提供的服饰属性识别方法中另一种服饰的检测方法的流程图。
图8-3为本申请实施例提供的服饰属性识别方法中一种获得服饰备选框的示意图。
图8-4为本申请实施例提供的服饰属性识别方法中一种神经网络的训练方法的流程图。
图8-5为本申请实施例提供的服饰属性识别方法中另一种神经网络的训练方法的流程图。
图8-6为本申请实施例提供的服饰属性识别方法中一种神经网络的结构示意图。
图9为本申请实施例提供的服饰属性识别装置的一个结构示意图。
图10为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
现有的服饰属性预测方法中，基本的步骤包括以下三步：
1.对图片中的服饰位置进行定位；
2.利用特征提取算法提取服饰的特征；
3.针对不同的属性训练不同的分类器对服饰属性进行预测。
在实现本申请的过程中，发明人发现，至少存在以下问题：
现有的服饰属性预测方法采用检测服饰备选区域并基于该区域使用卷积神经网络识别服饰属性信息的方法，首先针对输入的图片生成一组备选区域，然后利用卷积神经网络判断矩形备选区域是否含有服饰信息，如果识别出的矩形备选区域包含服饰信息，则进一步利用卷积神经网络识别服饰属性信息。备选区域为包含服饰信息的矩形框，其必然会包含背景等干扰信息，此外，矩形框中包含的服饰信息与识别的属性没有强相关性并且包含部分冗余信息，在后面的属性识别过程中无法精准的提取相关特征，从而使属性预测出现偏差。例如矩形框中为模特的整件衣服以及背景，背景中又包含其他服饰的一部分，而预测属性为袖口类型，背景服饰以及模特服饰的其余部分都会对袖口预测产生影响。
针对上述问题，如果将手臂对应的位置分割出来再进行袖口的属性识别则可以较好的解决上述问题，因此，提出本申请基于属性识别网络的服饰属性识别方法。
图1为本申请实施例提供的服饰属性识别方法的一个流程图。本申请方法可应用于装置、电子设备、计算机程序、计算机存储介质中。如图1所示，该实施例方法包括：
步骤110，对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像。
可选地，每个人体区域图像中包括一个人体部位或多个人体部位，例如：使用深度学习人体解析方法将图片中模特的身体部位进行分割，即将模特的身体区域与背景进行分离，不同的身体部位进行分离，例如头部、上半身、左手臂等；通过身体部位识别可以排除背景包含内容对于服饰属性预测的影响。
步骤120，基于至少一个人体区域图像和待处理图像，确定待处理图像中至少一个服饰的至少一个服饰属性。
可选地，结合人体区域图像识别待处理图像中的至少一个服饰属性，去除了待处理图像中背景的干扰，提高了服饰属性识别的准确性；由于待处理图像中包括一个或多个服饰，本申请实施例通过属性识别，可以对待处理图像中全部或部分的服饰进行属性识别，例如，待处理图像中包括2个服饰，可以对其中一个服饰进行属性识别，或对所有2个服饰进行属性识别；而每个服饰对应至少一个服饰属性(如，颜色、纹理等)，本申请实施例可实现对服饰中部分或全部的服饰属性进行识别。
基于本申请上述实施例提供的一种基于属性识别网络的服饰属性识别方法，对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像；基于至少一个人体区域图像和待处理图像，确定待处理图像中至少一个服饰的至少一个服饰属性，结合人体区域对服饰属性进行预测，得到的预测结果不受背景影响，服饰属性识别结果更准确。
在一些实施例中，步骤110可以包括：
基于人体解析网络对待处理图像按照待处理图像中包括的至少一个人体部位进行分割处理，获得至少一个人体区域图像。
本申请实施例涉及的人体部位可以包括但不限于以下几种：头部、颈部、左臂、右臂、上身躯干、左腿、右腿、左脚、右脚；人体区域图像可以包括但不限于以下几种：头部图像、颈部图像、左臂图像、右臂图像、上身躯干图像、左腿图像、右腿图像、左脚图像、右脚图像、上身衣服图像、下身衣服图像、全身衣服图像；其中，一些人体区域图像对应一个人体部位，还有一些人体区域图像对应多个人体部位，例如，头部图像对应一个人体部位“头部”，上身衣服图像对应三个人体部分“左臂”、“右臂”和“上身躯干”，通过对待处理图像进行分割处理获得人体区域图像，减少了图像中的背景对属性识别造成的干扰。本实施例中人体解析网络可以应用任意可实现人体部位识别及分割的网络，本申请不限制人体解析网络的具体结构。
本申请具体实施时，利用样本数据训练人体解析网络，样本数据为人体图片及其手工标注的基于像素点的分类标签，作为一个可选的实施例，图2为应用本申请实施例提供的服饰属性识别方法对人体解析示意图。如图2所示，人体解析网络可以将人体与背景以及人体的不同部位分割出来。使用时输入为穿着服饰的人体图片，输出为其人体各部位像素点的分类标签。
每个定义的人体部位都会生成一个二值图，值为1的区域代表相应部位区域，如图2所示。图2最后一部分从左到右依次为头部图像、颈部图像、左臂图像、上身躯干图像、左腿图像、上身衣服图像和下身衣服图像，其余部位同理。
本申请实施例中提供的人体解析网络解析人体部位的过程本质上属于分割过程。
图3为本申请实施例提供的服饰属性识别方法的另一实施例的流程图。如图3所示，本申请实施例方法包括：
步骤310，对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像。
本申请实施例中步骤310与上述实施例的步骤110类似，可参照上述实施例对该步骤进行理解，在此不再赘述。
步骤320，将至少一个人体区域图像和待处理图像分别输入至少一个属性识别网络中的每个属性识别网络中。
可选地，本申请实施例中的属性识别网络包括至少一个卷积层和至少一个全连接层，由于每个服饰可以对应多个属性，本申请实施例中通过每个属性识别网络识别一个服饰属性，因此，为了获得至少一个服饰属性，将至少一个人体区域图像和待处理图像分别输入至少一个属性识别网络中；每个服饰属性可对应一个或多个人体区域图像，为了识别一个服饰属性，可将至少一个人体区域图像中对应同一服饰属性的一个或多个人体区域图像输入到一个属性识别网络(对应该服饰属性的属性识别网络)中，以实现对该服饰属性的识别。不同属性识别网络可基于相同人体区域图像和待处理图像获得该人体区域图像对应的服饰的不同服饰属性，例如，一个属性识别网络基于上身衣服图像和待处理图像获得该上衣的颜色，另一个属性识别网络基于上身衣服图像和待处理图像获得该上衣的纹理。
步骤330，通过每个属性识别网络确定待处理图像中的一个服饰的一个服饰属性。
本申请实施例涉及的服饰属性包括但不限于以下几种：衣服的类别(如，风衣、卫衣、羊毛衫、连衣裙、休闲裤等)；穿着人的性别(如，男式、女式或者中性)；衣长(如，常规、长款、短款或者超短)；纹理(如，图案、条纹、点点、纯色)；服饰颜色值和百分比；领型(如，圆领、立领、翻领连帽领等)；袖型(如，常规、收口袖、螺纹袖、散口袖等)；材质(如，棉、涤纶、羊毛、真皮等)；品牌；腰型(如，中腰、高腰、低腰等)；裙长(如，长裙、中裙、短裙、超短裙等)；裙型(如，一步裙、荷叶边裙、大摆裙、公主裙、百褶裙等)；风格(如，都市时尚、复古、工装、军旅、运动等)；季节(如，夏装、春装、秋冬)；场合(如，旅游、聚会、职场、约会等)。
通过多个属性识别网络可获得待处理图像中包括的每个服饰的所有服饰属性。
以上人体区域图像和服饰属性可以存在如表1所示的对应关系：
表1部分人体区域图像与服饰属性对应关系表
可选地，步骤320之前，包括：
拼接至少一个人体区域图像，得到一个属性图像；
步骤320包括：将待处理图像和拼接得到的每个属性图像输入一个属性识别网络中。
当有些服饰属性无法基于单独的人体区域图像确定时，需要将至少一个人体区域图像进行拼接，以拼接后的属性图像作为识别服饰属性的基础，例如：需要确定穿着人性别时，可基于上身衣服图像和头部图像，或基于下身衣服图像和头部图像；可参照表1所示，通过设置的人体区域图像和服饰属性之间的对应关系，在需要获取对应的服饰属性时，获取对应的人体区域图像，基于对应的至少一个人体区域图像从待处理图像中获取对应的属性图像，获得属性图像可以通过拼接至少一个人体区域图像或基于通道叠加至少一个人体区域图像，实现参照至少一个人体区域图像确定对应的服饰属性。
将属性相关的具体部位以及整体的信息进行融合，最后使用卷积神经网络进行服饰属性预测，从而精确定位属性相关区域，提取出更能表达描述服饰属性的特征，提升属性预测的效果。
在一个或多个可选的实施例中，本申请实施例提供的方法还包括：基于样本图像分别调整人体解析网络和至少一个属性识别网络的参数。
其中，样本图像包括至少一个标注人体区域和至少一个标注服饰属性，每个标注服饰属性对应至少一个标注人体区域。
上述各实施例中的服饰属性识别是通过属性识别网络实现的，为了更准确的获得服饰属性，需要基于样本图像训练属性识别网络。网络模型都是需要训练的，训练过程为让网络学习输入图片及其对应的标注的真实标签之间的关系，在本方法中就是让网络学习样本图和样本图中标注的人体部位分割结果及衣服属性之间的关系。实际应用时，对学习后(训练后)的神经网络可以任意输入一张人体图片，其可以根据之前学习的关系自动生成人体解析图(人体部位分割结果)和衣服属性。
可选地，可通过样本图像分别对人体解析网络和至少一个属性识别网络进行训练。利用样本图像对人体解析网络进行训练的过程可包括：
将样本图像输入人体解析网络，得到至少一个预测人体区域图像；
基于预测人体区域图像和标注人体区域，调整人体解析网络的参数。
本申请实施例中，预测人体区域图像和标注人体区域通过损失函数计算获得人体解析网络的损失，将该损失利用梯度反向传播，对人体解析网络中每个网络层的参数进行调整。
可选地，基于样本图像分别调整至少一个属性识别网络的参数，包括：
基于至少一个标注人体区域和所述样本图像输入至少一个属性识别网络，获得至少一个预测服饰属性；
基于至少一个预测服饰属性和至少一个标注服饰属性，调整至少一个属性识别网络的参数。
其中，每个预测服饰属性对应一个属性识别网络。
可选地，由于每个属性识别网络对应的服饰属性不同，因此，在训练过程中对每个属性识别网络分别进行训练，以每个属性识别网络对应的标注服饰属性和得到的预测服饰属性对该属性识别网络的参数进行调整，实现较好的训练效果，得到的属性识别网络对于其对应的服饰属性更具针对性，可得到更准确的服饰属性识别结果。
在一个可选示例中，图4为本申请实施例提供的服饰属性识别方法的又一实施例中服饰属性识别示意图。如图4所示，可将人体解析网络和至少一个属性识别网络看做一个属性识别网络，对该属性识别网络的训练可以包括：第一阶段，先使用输入样本图像及其标注的标注人体区域训练人体解析网络；第二阶段，使用样本图像和标注的标注服饰属性按照每个属性识别网络的具体要求处理人体图片，比如，识别服饰类别的属性识别网络需要根据标注的服饰类别结果将上身衣服分割出来，然后使用分割后的图片训练该属性识别网络。
应用过程可以包括：第一阶段，输入人体图片先经过人体解析网络，获得人体区域图像的位置信息；第二阶段，根据每个属性识别网络对于输入数据的要求，将人体图片进行处理(裁剪分割出所需部位)，然后输入相应属性识别网络即可获取相应的属性预测结果。如图4所示，将人体解析网络生成的上身衣服区域以及头部区域映射到原图上，再将原图上对应区域裁剪，生成外接矩形，背景补零，然后缩放到同样尺寸按通道拼接。
图5为本申请服饰实施例提供的属性识别方法的还一个实施例的流程示意图。本申请方法可应用于装置、电子设备、计算机程序、计算机存储介质中。在该实施例中，人体解析网络和至少一个属性识别网络共享部分网络层，如图5所示，该实施例方法包括：
步骤510，通过共享的部分网络层对待处理图像进行处理，获得共享特征。
本申请实施例中，共享的部分网络层可以包括至少一层卷积层，通过共享的部分网络层对待处理图像进行特征提取，以共享特征进行人体解析和服饰属性识别，减少了重复对待处理图像进行特征提取的过程，以相同的至少一层卷积层获得共享特征还可以提高属性识别的精度。
步骤520，基于共享特征获得待处理图像中至少一个人体部位对应的至少一个人体区域图像。
可选地，每个人体区域图像对应一个人体部位或多个人体部位，例如：使用深度学习人体解析方法将图片中模特的身体部位进行分割，即将模特的身体区域与背景进行分离，不同的身体部位进行分离，例如头部、上半身、左手臂等；通过身体部位识别可以排除背景包含内容对于服饰属性预测的影响。
步骤530，基于至少一个人体区域图像和共享特征，确定待处理图像中至少一个服饰的至少一个服饰属性。
本实施例中通过共享特征获取至少一个服饰属性，避免了重复对待处理图像进行特征提取，提高了服饰属性的识别效率。
本申请上述实施例提供的一种服饰属性识别方法，结合人体区域对服饰属性进行预测，得到的预测结果不受背景影响，服饰属性识别结果更准确，并且通过共享特征实现人体解析和服饰属性识别，节省了服饰属性识别的时间和图像处理占用的资源。
可选地，人体解析网络除了共享的部分网络层，还包括分割分支；步骤520包括：
通过分割分支对共享特征进行处理，获得待处理图像中人体部位对应的至少一个人体区域图像。
本申请实施例涉及的人体部位包括但不限于以下几种：头部、颈部、左臂、右臂、上身躯干、左腿、右腿、左脚、右脚；人体区域图像可以包括但不限于以下几种：头部图像、颈部图像、左臂图像、右臂图像、上身躯干图像、左腿图像、右腿图像、左脚图像、右脚图像、上身衣服图像、下身衣服图像、全身衣服图像；其中，一些人体区域图像对应一个人体部位，还有一些人体区域图像对应多个人体部位，例如，头部图像对应一个人体部位“头部”，上身衣服图像对应三个人体部分“左臂”、“右臂”和“上身躯干”，通过对待处理图像进行分割处理获得人体区域图像，减少了图像中的背景对属性识别造成的干扰。
在一个或多个可选的实施例中，每个属性识别网除了共享的部分网络层，还包括属性识别分支，操作530包括：
利用至少一个属性识别分支基于至少一个人体区域图像和共享特征，确定待处理图像中至少一个服饰的一个服饰属性。
可选地，属性识别分支可以包括至少一层区域池化层、至少一层卷积层和至少一层全连接层，可选地，区域池化层可以是感兴趣区域池化层(ROI Pooling)，利用感兴趣区域池化层基于至少一个人体区域图像从共享特征，确定共享特征中对应至少一个人体区域图像的至少一个区域特征；基于至少一个区域特征即可确定一个服饰属性。
可选地，每个属性识别分支获得一个服饰属性的过程可包括：
利用感兴趣区域池化，基于至少一个人体区域图像和共享特征，确定共享特征中对应至少一个人体区域图像的至少一个区域特征；
基于至少一个区域特征确定一个服饰属性。
其中，感兴趣区域池化(RoI pooling)是深度学习物体检测算法中常用的一种操作。其目的是对不等尺寸的输入执行最大汇集以获得固定尺寸的特征映射。感兴趣区域池化的输入包括两部分：输入特征图和至少一个感兴趣区域，本申请实施例中将共享特征作为输入特征图，将人体区域图像作为感兴趣区域，获得至少一个区域特征，每个区域特征的大小相同，基于至少一个区域特征确定一个服饰属性。
可选地，基于至少一个区域特征确定一个服饰属性，包括：
拼接至少一个区域特征，得到一个属性特征；基于属性特征确定待处理图像中一个服饰的一个服饰属性。
将属性相关的具体部位以及整体信息对应的特征进行融合，通过卷积层进行服饰属性预测，从而精确定位属性相关区域，提取出更能表达描述服饰属性的特征，提升属性预测的效果。
可选地，参照表1所示，通过设置的人体解析部位和服饰属性之间的对应关系，在需要获取对应的服饰属性时，获取对应的人体区域图像，基于对应的至少一个人体区域图像从共享特征中获取对应的区域特征，获得属性特征可以通过拼接至少一个区域特征或基于通道叠加至少一个区域特征，实现参照至少一个区域特征确定对应的服饰属性，其中从共享特征中获取区域特征，相比从待处理图像中获取区域图像，节省了重复提取特征的过程，提高了处理效率。
在一个或多个可选的实施例中，还包括：基于样本图像调整共享的部分网络层、分割分支和至少一个属性识别分支的参数。
其中，样本图像包括至少一个标注人体区域和至少一个标注服饰属性，每个标注服饰属性对应至少一个标注人体区域。
上述各实施例中的服饰属性识别是通过属性识别网络实现的，为了更准确的获得服饰属性，需要基于样本图像训练属性识别网络。网络模型都是需要训练的，训练过程为让网络学习输入图片及其对应的标注的真实标签之间的关系，在本方法中就是让网络学习样本图和样本图中标注的人体部位分割结果及衣服属性之间的关系。实际应用时，对学习后(训练后)的神经网络可以任意输入一张人体图片，其可以根据之前学习的关系自动生成人体解析图(人体部位分割结果)和衣服属性。
图6为本申请实施例提供的服饰属性识别方法的再一个实施例中网络训练的流程示意图。其中，实现服饰属性识别的网络包括共享的部分网络层、分割分支和至少一个属性识别分支，该训练过程包括：
步骤610，将样本图像输入共享的部分网络层和分割分支构成的人体解析网络，得到至少一个预测人体区域图像，基于预测人体区域图像和标注人体区域，调整分割分支的参数。
本申请实施例中，可将共享的部分网络层和分割分支作为人体解析网络，基于该人体解析网络获得预测人体区域图像，并利用预测人体区域图像对分割分支的参数进行调整，相当于单独训练人体解析网络中的部分网络层。
步骤620，利用共享的部分网络层和属性识别分支，基于至少一个标注人体区域获得样本图像对应的至少一个预测服饰属性，基于至少一个预测服饰属性和至少一个标注服饰属性，调整至少一个属性识别分支的参数，每个预测服饰属性和每个标注服饰属性训练一个属性识别分支。
本申请实施例中，可将共享的部分网络层和一个属性识别分支看做一个属性识别网络，基于每个属性识别网络对样本图像进行处理获得预测服饰属性，并利用预测服饰属性对属性识别分支的参数进行调整，相当于分别对每个属性识别网络的属性识别分支单独进行训练。
步骤630，基于预测人体区域图像和标注人体区域，及至少一个预测服饰属性和至少一个标注服饰属性，调整共享的部分网络层的参数。
由于人体解析网络和至少一个属性识别网络共享了部分网络层，为了实现这部分网络层即适用人体解析网络，又适用于所有属性识别网络，在训练过程中，需要结合预测人体区域图像和标注人体区域，及所有预测服饰属性和所有标注服饰属性，对共享的部分网络层的参数机械能调整，以达到更好的服饰属性识别效果。
可选地，步骤630包括：
基于预测人体区域图像和标注人体区域获得第一奖励，基于至少一个预测服饰属性和至少一个标注服饰属性获得至少一个第二奖励；其中，一个预测服饰属性和一个标注服饰属性对应一个第二奖励；
可选地，基于第一奖励和至少一个第二奖励交替调整共享的部分网络层的参数，但是由于第二奖励数量较多，采用此方案进行交替训练，将导致共享的部分网络层对于人体解析的性能下降，因此，可选地，对至少一个第二奖励求和，获得第三奖励；基于第一奖励和第三奖励交替调整共享的部分网络层的参数。通过交替训练，使共享的部分网络层在具有对人体解析的性能的同时，还具有至少一个服饰属性识别的性能。
在一个可选示例中，图7为本申请实施例提供的服饰属性识别方法中一个属性服饰属性识别的网络的结构示意图。如图7所示，对该网络进行端到端的训练，训练过程中将共享的部分网络层、分割分支和至少一个属性识别分支同时训练。
可选地，应用过程可以包括：输入一张图片通过网络会同时得人体解析结果以及服饰的属性信息。
人体解析网络可以将人体的不同部位进行分割，需要将分割后的部位与衣服的整体信息(衣服的整体信息是指人体解析中的上身衣服或下身衣服所代表的区域)进行融合，例如：对于性别属性，可以使用对应的上衣区域与头部区域的区域进行融合，融合的具体方法可以包括：
如图7所示，将人体解析网络生成的上身衣服区域以及头部区域映射到卷积5生成的特征图上，使用区域池化层将对应特征区域的外接矩形取出，背景补零，然后按通道拼接，这样既可以包含衣服的整体信息又包含了面部信息，可以精确的定位属性强相关位置，并且可以排除背景的干扰，有利于提升属性预测的效果。
基于本申请上述实施例提供的一种服饰属性识别方法，主要是基于人体解析以及服饰属性识别的融合来进一步提取服饰图片的精确属性特征，克服了现有技术受图片背景影响较大，无法定位相关属性的强相关区域，以及深度特征不能很好表达服饰属性等问题，从而提升服饰属性预测的效果；通过深度学习人体解析方法将图片中模特的身体部位进行分割，例如头部、上半身、左手臂等，再将与属性相关的具体部位以及服饰整体的信息进行融合，最后使用卷积神经网络进行服饰属性预测，从而精确定位属性相关区域并去除背景影响，提取出更能表达描述服饰属性的特征。
本申请涉及的属性识别需要根据具体的属性将人体解析分割结果映射到原图的分割结果或者在特征层进行映射池化后的特征作为输入，另外输出的属性数量类别也不相同。
在图7和图4中，网络中包括多个属性识别网络(图7和图4中三个点代表省略相似)，可以理解为每一个属性对应一个属性识别网络(上表中第一行中所有属性的对应部位相同，可以共同使用一个属性识别网络)，每个属性识别网络的开始处都会根据该属性的需要处理输入数据，这里是根据预先设定的。
比如输入一张人体图片，先通过人体解析网络获取人体各部位的位置区域(图7和图4所示，人体解析网络的输出是，每个部位对应一张二值图，白色区域值为0，彩色区域值为1)，然后每一个分支会根据预先写好的代码获取其需要的部位信息再在卷积5生成的特征图或者原图上进行处理，最后通过卷积神经网络进行属性预测，每个分支只预测对应属性。
本申请实施例提供的服饰属性识别方法中涉及的服饰的检测部分可以应用以下实施例涉及到的服饰的检测方法实现。
图8-1为本申请实施例提供的服饰属性识别方法中一种服饰的检测方法的流程图。如图8-1所示，本实施例提供的服饰的检测方法包括以下步骤：
在步骤S8-101中，获取待检测图像以及服饰位置先验数据。
在本实施例中，从图像包含的内容来讲，所述待检测图像可为包括人脸的图像。从图像的类别来讲，所述待检测图像可为拍摄的静态图像，或者为视频帧序列中的视频图像，也可以是合成的图像等。所述服饰位置先验数据是根据服饰图像数据库中服饰位置相对于人脸位置的先验数据和人脸位置标注数据获得的。所述服饰图像数据库中的服饰图像的服饰位置相对于人脸位置的先验数据可为所述服饰图像中服饰位置框相对于人脸位置框的先验数据。
其中，所述人脸位置标注数据可为所述服饰图像中人脸标注框的四个顶点的坐标，也可为人脸标注框的宽度、高度和中心点坐标。所述服饰位置先验数据可为所述服饰图像中服饰先验框的四个顶点的坐标，也可为服饰先验框的宽度、高度和中心点坐标。
在步骤S8-102中，通过服饰检测神经网络，根据所述服饰位置先验数据获取所述待检测图像中的第一服饰位置检测数据。
在本申请实施例中，所述神经网络可以是任意适当的可实现特征提取或目标位置检测的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本申请实施例对此不作限制。具体地，所述服饰检测神经网络为以服饰位置先验数据作为训练样本之一训练得到的神经网络。其中，所述第一服饰位置检测数据可为待检测图像中服饰检测框的四个顶点的坐标，也可为待检测图像中服饰检测框的宽度、高度和中心点坐标。
本实施例提供的服饰的检测方法，根据服饰位置相对于人脸位置的先验数据和人脸位置标注数据确定服饰位置先验数据，建立了人脸位置与服饰位置的关联性，使得在检测服饰位置时，利用服饰位置先验数据能够迅速确定服饰在待检测图像中的可能性区域，无需使用大量的备选框进行检测，提高了服饰位置检测的效率。
本实施例的服饰的检测方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
图8-2为本申请实施例提供的服饰属性识别方法中另一种服饰的检测方法的流程图。如图8-2所示，本实施例提供的服饰的检测方法包括以下步骤：
在步骤S8-201中，获取待检测图像以及服饰位置先验数据。
在具体的实施方式中，在执行步骤S8-201之前，所述方法还包括：对所述服饰图像数据库中的服饰图像中的人脸位置标注数据和服饰位置标注数据进行统计处理，获得所述服饰位置相对于人脸位置的先验数据。具体地，在对所述服饰图像数据库中的服饰图像中的人脸位置标注数据和服饰位置标注数据进行统计处理时，可对每个服饰图像中的服饰类型和服饰类型对应的服饰位置标注数据进行统计，获得所述每个服饰图像中与所述人脸位置标注数据关联的服饰类型和所述服饰类型对应的服饰位置标注数据；并针对同一服饰类型，根据所述每个服饰图像中与所述同一服饰类型关联的人脸位置标注数据和所述同一服饰类型对应的服饰位置标注数据，获得所述同一服饰类型的服饰位置相对于人脸位置的先验数据。由此可知，不同待检测图像之间的同一服饰类型的服饰位置相对于人脸位置的先验数据是相同的。而在现有的物体检测方法中，只是将每张图像中的每件服饰作为一个单独的个体，未能构建不同图像的服饰之间的关联性，从而未针对服饰检测任务进行优化。籍此，能够构建不同待检测图像的同一服饰类型的服饰之间的关联性。
其中，所述服饰类型包括以下中的至少一者：人体上衣、人体下衣、人体全身衣服。具体地，人体全身衣服可为人体上衣和人体下衣连接在一起的衣服，例如，连衣裙、连衣裤等。所述服饰位置相对于人脸位置的先验数据，包括以下中的至少一者：服饰类型t的服饰先验框的宽度与人脸标注框的宽度的比值、服饰类型t的服饰先验框的高度与人脸标注框的高度的比值、服饰类型t的服饰先验框的中心点与人脸标注框的中心点在水平方向上的距离与人脸标注框的宽度的比值、服饰类型t的服饰先验框的中心点与人脸标注框的中心点在垂直方向上的距离与人脸标注框的高度的比值，其中，t表示以下中的任意一者：人体上衣、人体下衣、人体全身衣服。其中，所述人脸位置标注数据可为人脸标注框的宽度、高度和中心点坐标，所述服饰位置标注数据可为服饰标注框的宽度、高度和中心点坐标。具体地，所述服饰位置标注数据可为服饰类型t的服饰标注框的宽度、高度和中心点坐标。假设样本图像中的水平方向和垂直方向分别为x方向和y方向，人脸标注框和服饰标注框的宽度和高度分别为框在x方向和y方向上的长度。
更具体地，所述根据所述每个服饰图像中与所述同一服饰类型关联的人脸位置标注数据和所述同一服饰类型对应的服饰位置标注数据，获得所述同一服饰类型的服饰位置相对于人脸位置的先验数据，包括：通过计算所述每个服饰图像中服饰类型t的服饰标注框的宽度与人脸标注框的宽度的比值的平均值，获得服饰类型t的服饰先验框的宽度与人脸标注框的宽度的比值；通过计算所述每个服饰图像中服饰类型t的服饰标注框的高度与人脸标注框的高度的比值的平均值，获得服饰类型t的服饰先验框的高度与人脸标注框的高度的比值；通过计算所述每个服饰图像中服饰类型t的服饰标注框的中心点与人脸标注框的中心点在水平方向上的距离与人脸标注框的宽度的比值的平均值，获得服饰类型t的服饰先验框的中心点与人脸标注框的中心点在水平方向上的距离与人脸标注框的宽度的比值；通过计算所述每个服饰图像中服饰类型t的服饰标注框的中心点与人脸标注框的中心点在垂直方向上的距离与人脸标注框的高度的比值的平均值，获得服饰类型t的服饰先验框的中心点与人脸标注框的中心点在垂直方向上的距离与人脸标注框的高度的比值。
在本实施例中，所述服饰位置先验数据是根据服饰图像数据库中服饰位置相对于人脸位置的先验数据和人脸位置标注数据获得的，包括：根据所述服饰图像中人脸标注框的宽度和服饰类型t的服饰先验框的宽度与人脸标注框的宽度的比值，计算得到所述服饰图像中服饰类型t的服饰先验框的宽度；根据所述服饰图像中人脸标注框的高度和服饰类型t的服饰先验框的高度与人脸标注框的高度的比值，计算得到所述服饰图像中服饰类型t的服饰先验框的高度；根据所述服饰图像中人脸标注框的中心点的横坐标、所述服饰图像中人脸标注框的宽度以及服饰类型t的服饰先验框的中心点与人脸标注框的中心点在水平方向上的距离与人脸标注框的宽度的比值，计算得到所述服饰图像中服饰类型t的服饰先验框的中心点的横坐标；根据所述服饰图像中人脸标注框的中心点的纵坐标、所述服饰图像中人脸标注框的高度以及服饰类型t的服饰先验框的中心点与人脸标注框的中心点在垂直方向上的距离与人脸标注框的高度的比值，计算得到所述服饰图像中服饰类型t的服饰先验框的中心点的纵坐标。
在步骤S8-202中，通过服饰检测神经网络，根据所述服饰位置先验数据获取所述待检测图像中的第一服饰位置检测数据。
在具体的实施方式中，所述神经网络具有特征提取层、连接在所述特征提取层末端的第一区域池化层，以及连接在所述第一区域池化层末端的第一全连接层。其中，所述特征提取层可由多个卷积层构成，例如，可由5个卷积层构成。可以理解的是，本申请实施例对构成特征提取层的卷积层的层数不做任何限定，可由本领域技术人员根据实际需要进行设定。
具体地，该步骤S8-202可包括：通过所述特征提取层对所述待检测图像进行特征提取，获得所述待检测图像的全局特征图；通过所述第一区域池化层，根据所述服饰位置先验数据对所述全局特征图进行池化操作，获得所述待检测图像中服饰位置的特征向量；通过所述第一全连接层对所述待检测图像中服饰位置的特征向量进行映射操作，获得所述待检测图像中的第一服饰位置检测数据。其中，所述服饰位置先验数据可为服饰图像中服饰先验框的宽度、高度和中心点坐标。所述第一服饰位置检测数据可包括待检测图像中服饰检测框的宽度、高度和中心点坐标。更具体地，所述服饰位置先验数据可为服饰图像中服饰类型t的服饰先验框的宽度、高度和中心点坐标。相应地，所述第一服饰位置检测数据可为待检测图像中服饰类型t的服饰检测框的宽度、高度和中心点坐标。
在本实施例中，使用根据服饰图像数据库中的服饰图像的服饰位置相对于人脸位置的先验数据确定的服饰图像中的服饰类型t的服饰先验框可一次性确定待检测图像中的服饰类型t的服饰检测框，从而加快了检测出待检测图像中与人脸相关的服饰的位置的速度。
在步骤S8-203中，通过所述神经网络，根据所述第一服饰位置检测数据从所述待检测图像中获取所述待检测图像中的第二服饰位置检测数据和与所述第二服饰位置检测数据对应的第一服饰类别检测数据。
进一步地，所述神经网络还具有与所述特征提取层的末端和所述第一全连接层的末端均连接的第二区域池化层，以及与所述第二区域池化层的末端连接的第二全连接层。具体地，该步骤S3-203包括：通过所述第二区域池化层，根据所述第一服饰位置检测数据对所述全局特征图进行池化操作，获得所述待检测图像中服饰区域的特征向量；通过所述第二全连接层对所述待检测图像中服饰区域的特征向量进行映射操作，获得所述待检测图像中的第二服饰位置检测数据和与所述第二服饰位置检测数据对应的第一服饰类别检测数据。
其中，所述第一服饰位置检测数据可为待检测图像中服饰检测框(服饰备选框)的宽度、高度和中心点坐标。所述第二服饰位置检测数据可为待检测图像中服饰检测框的宽度、高度和中心点坐标。具体地，所述第一服饰位置检测数据可为待检测图像中服饰类型t的服饰备选框的宽度、高度和中心点坐标。相应地，所述第二服饰位置检测数据可为待检测图像中服饰类型t的服饰检测框的宽度、高度和中心点坐标。所述第一服饰类别检测数据可为待检测图像中服饰类型t的服饰检测框内的服饰类别信息，与所述第二服饰位置检测数据对应。具体地，所述第一服饰类别检测数据包括以下中的至少一者：衬衫、T恤、短裤、长裤、短裙、长裙、连衣裙、连衣裤。
图8-3为本申请实施例提供的服饰属性识别方法中一种获得服饰备选框的示意图。如图8-2所示，1表示待检测图像中女性的上衣的先验框，2表示待检测图像中女性的上衣的备选框，由图可知，先验框1和备选框2的宽度和长度均相同，只是两者的中心点坐标发生了变化。
根据本实施例提供的服饰的检测方法，在实施例一的基础上，通过所述神经网络，根据所述第一服饰位置检测数据从所述待检测图像中获取所述待检测图像中的第二服饰位置检测数据和与所述第二服饰位置检测数据对应的第一服饰类别检测数据，与现有技术相比，不仅能够更加准确地检测出图像中与人脸相关的服饰的位置，而且还能够检测出图像中与人脸相关的服饰的类别信息。
本实施例的服饰的检测方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
图8-4为本申请实施例提供的服饰属性识别方法中一种神经网络的训练方法的流程图。如图8-4所示，本实施例提供的神经网络的训练方法包括以下步骤：
在步骤S8-301中，根据样本图像中服饰位置相对于人脸位置的先验数据和人脸位置标注数据，获取所述样本图像中的服饰位置先验数据。
在本实施例中，所述样本图像可包括纯粹的人脸图像，以及含有人脸和人体服饰的人体图像。其中，含有人脸和人体服饰的人体图像可为含有人脸和人体下衣的人体图像，也可为含有人脸和人体上衣的人体图像。所述样本图像中服饰位置相对于人脸位置的先验数据可为样本图像中服饰位置框相对于人脸位置框的先验数据。具体地，样本图像中服饰位置相对于人脸位置的先验数据不是针对某一个样本图像而言的，而是针对所有的样本图像而言的。也就是说，所有的样本图像中服饰位置相对于人脸位置的先验数据均是相同的。
其中，所述人脸位置标注数据可为样本图像中人脸标注框的四个顶点的坐标，也可为人脸标注框的宽度、高度和中心点坐标。所述服饰位置先验数据可为样本图像中服饰先验框的四个顶点的坐标，也可为服饰先验框的宽度、高度和中心点坐标。
在步骤S8-302中，通过待训练的神经网络，根据所述服饰位置先验数据从所述样本图像中获取所述样本图像中的第三服饰位置检测数据。
在本申请实施例中，所述神经网络可以是任意适当的可实现特征提取或目标位置检测的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本申请实施例对此不作限制。其中，所述第三服饰位置检测数据可为样本图像中服饰检测框的四个顶点的坐标，也可为样本图像中服饰检测框的宽度、高度和中心点坐标。
在步骤S8-303中，根据所述第三服饰位置检测数据和所述样本图像中的服饰位置标注数据，训练所述神经网络。
其中，所述服饰位置标注数据可为样本图像中服饰标注框的四个顶点的坐标，也可为服饰标注框的宽度、高度和中心点坐标。具体地，在训练所述神经网络时，可根据样本图像中的第三服饰位置检测数据和服饰位置标注数据确定所述样本图像中服饰位置的差异，再根据所述样本图像中服饰位置的差异调整所述神经网络的网络参数。通过计算服饰位置的差异，对当前获得的第三服饰位置检测数据进行评估，以作为后续训练神经网络的依据。
具体地，可将所述服饰位置的差异反向传输给神经网络，从而迭代地训练该神经网络。神经网络的训练是一个迭代的过程，本申请实施例仅对其中的一次训练过程进行了说明，但本领域技术人员应当明了，对神经网络的每次训练都可采用该训练方式，直至完成所述神经网络的训练。
本实施例提供的神经网络的训练方法，根据样本图像中服饰位置相对于人脸位置的先验数据和人脸位置标注数据，获取样本图像中的服饰位置先验数据；并通过待训练的神经网络，根据服饰位置先验数据从样本图像中获取样本图像中的服饰位置检测数据；再根据服饰位置检测数据和样本图像中的服饰位置标注数据，训练所述神经网络，与现有技术相比，通过利用样本图像中服饰位置相对于人脸位置的先验数据，减小了神经网络的训练难度，并且使得训练得到的神经网络能够快速准确地检测出图像中与人脸相关的服饰的位置。
本实施例的神经网络的训练方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
图8-5为本申请实施例提供的服饰属性识别方法中另一种神经网络的训练方法的流程图。如图8-5所示，本实施例提供的神经网络的训练方法包括以下步骤：
在步骤S8-401中，根据样本图像中服饰位置相对于人脸位置的先验数据和人脸位置标注数据，获取所述样本图像中的服饰位置先验数据。
在具体的实施方式中，在执行步骤S8-401之前，所述方法还包括：对多个的样本图像中的人脸位置标注数据和服饰位置标注数据进行统计处理，获得所述样本图像中服饰位置相对于人脸位置的先验数据。具体地，在对多个的样本图像中的人脸位置标注数据和服饰位置标注数据进行统计处理时，可对每个样本图像中的服饰类型和服饰类型对应的服饰位置标注数据进行统计，获得所述每个样本图像中与所述人脸位置标注数据关联的服饰类型和所述服饰类型对应的服饰位置标注数据；并针对同一服饰类型，根据所述每个样本图像中与所述同一服饰类型关联的人脸位置标注数据和所述同一服饰类型对应的服饰位置标注数据，获得所述样本图像中所述同一服饰类型的服饰位置相对于人脸位置的先验数据。由此可知，不同样本图像之间的同一服饰类型的服饰位置相对于人脸位置的先验数据是相同的。籍此，能够构建不同样本图像的同一服饰类型的服饰之间的关联性。
其中，所述服饰类型包括以下中的至少一者：人体上衣、人体下衣、人体全身衣服。具体地，人体全身衣服可为人体上衣和人体下衣连接在一起的衣服，例如，连衣裙、连衣裤等。所述服饰位置相对于人脸位置的先验数据，包括：服饰类型t的服饰先验框的宽度与人脸标注框的宽度的比值、服饰类型t的服饰先验框的高度与人脸标注框的高度的比值、服饰类型t的服饰先验框的中心点与人脸标注框的中心点在水平方向上的距离与人脸标注框的宽度的比值、服饰类型t的服饰先验框的中心点与人脸标注框的中心点在垂直方向上的距离与人脸标注框的高度的比值，其中，t表示以下中的任意一者：人体上衣、人体下衣、人体全身衣服。其中，所述人脸位置标注数据可为人脸标注框的宽度、高度和中心点坐标，所述服饰位置标注数据可为服饰标注框的宽度、高度和中心点坐标。具体地，所述服饰位置标注数据可为服饰类型t的服饰标注框的宽度、高度和中心点坐标。假设样本图像中的水平方向和垂直方向分别为x方向和y方向，人脸标注框和服饰标注框的宽度和高度为框在x方向和y方向上的长度。
更具体地，所述根据所述每个样本图像中与所述同一服饰类型关联的人脸位置标注数据和所述同一服饰类型对应的服饰位置标注数据，获得所述样本图像中所述同一服饰类型的服饰位置相对于人脸位置的先验数据，包括：通过计算所述每个样本图像中服饰类型t的服饰标注框的宽度与人脸标注框的宽度的比值的平均值，获得服饰类型t的服饰先验框的宽度与人脸标注框的宽度的比值；通过计算所述每个样本图像中服饰类型t的服饰标注框的高度与人脸标注框的高度的比值的平均值，获得服饰类型t的服饰先验框的高度与人脸标注框的高度的比值；通过计算所述每个样本图像中服饰类型t的服饰标注框的中心点与人脸标注框的中心点在水平方向上的距离与人脸标注框的宽度的比值的平均值，获得服饰类型t的服饰先验框的中心点与人脸标注框的中心点在水平方向上的距离与人脸标注框的宽度的比值；通过计算所述每个样本图像中服饰类型t的服饰标注框的中心点与人脸标注框的中心点在垂直方向上的距离与人脸标注框的高度的比值的平均值，获得服饰类型t的服饰先验框的中心点与人脸标注框的中心点在垂直方向上的距离与人脸标注框的高度的比值。
在本实施例中，该步骤S8-401包括：根据所述样本图像中人脸标注框的宽度和服饰类型t的服饰先验框的宽度与人脸标注框的宽度的比值，计算得到所述样本图像中服饰类型t的服饰先验框的宽度；根据所述样本图像中人脸标注框的高度和服饰类型t的服饰先验框的高度与人脸标注框的高度的比值，计算得到所述样本图像中服饰类型t的服饰先验框的高度；根据所述样本图像中人脸标注框的中心点的横坐标、所述样本图像中人脸标注框的宽度以及服饰类型t的服饰先验框的中心点与人脸标注框的中心点在水平方向上的距离与人脸标注框的宽度的比值，计算得到所述样本图像中服饰类型t的服饰先验框的中心点的横坐标；根据所述样本图像中人脸标注框的中心点的纵坐标、所述样本图像中人脸标注框的高度以及服饰类型t的服饰先验框的中心点与人脸标注框的中心点在垂直方向上的距离与人脸标注框的高度的比值，计算得到所述样本图像中服饰类型t的服饰先验框的中心点的纵坐标。
在步骤S8-402中，通过待训练的神经网络，根据所述服饰位置先验数据从所述样本图像中获取所述样本图像中的第三服饰位置检测数据。
在具体的实施方式中，所述神经网络具有特征提取层、连接在所述特征提取层末端的第一区域池化层，以及连接在所述第一区域池化层末端的第一全连接层。其中，所述特征提取层可由多个卷积层构成，例如，可由5个卷积层构成。可以理解的是，本申请实施例对构成特征提取层的卷积层的层数不做任何限定，可由本领域技术人员根据实际需要进行设定。
具体地，该步骤S8-402可包括：通过所述特征提取层对所述样本图像进行特征提取，获得所述样本图像的全局特征图；通过所述第一区域池化层，根据所述服饰位置先验数据对所述全局特征图进行池化操作，获得所述样本图像中服饰位置的特征向量；通过所述第一全连接层对所述样本图像中服饰位置的特征向量进行映射操作，获得所述样本图像中的第三服饰位置检测数据。其中，所述服饰位置先验数据可为样本图像中服饰先验框的宽度、高度和中心点坐标。所述第三服饰位置检测数据可包括样本图像中服饰检测框的宽度、高度和中心点坐标。更具体地，所述服饰位置先验数据可为样本图像中服饰类型t的服饰先验框的宽度、高度和中心点坐标。相应地，所述第三服饰位置检测数据可为样本图像中服饰类型t的服饰检测框的宽度、高度和中心点坐标。
在步骤S8-403中，根据所述第三服饰位置检测数据和所述样本图像中的服饰位置标注数据，训练所述神经网络。
在具体的实施方式中，该步骤S8-403包括：根据所述样本图像中服饰类型t的服饰检测框的中心点的横坐标、所述样本图像中服饰类型t的服饰标注框的中心点的横坐标以及所述样本图像中人脸标注框的宽度，计算得到所述样本图像中服饰类型t的服饰检测框的中心点与服饰标注框的中心点在水平方向上的第一差异；根据所述样本图像中服饰类型t的服饰检测框的中心点的纵坐标、所述样本图像中服饰类型t的服饰标注框的中心点的纵坐标以及所述样本图像中人脸标注框的高度，计算得到所述样本图像中服饰类型t的服饰检测框的中心点与服饰标注框的中心点在垂直方向上的第二差异；根据所述第一差异和所述第二差异训练所述神经网络，其中，t表示以下中的任意一者：人体上衣、人体下衣、人体全身衣服。
具体地，可将由服饰位置先验数据检测得到第三服饰位置检测数据的第一损失函数定义如下：
其中，
其中，
其中，
其中，表示样本图像中服饰类型t的服饰检测框的中心点与服饰标注框的中心点在x方向上的第一差异，表示样本图像中服饰类型t的服饰检测框的中心点与服饰标注框的中心点在y方向上的第二差异，lossprior表示所述第一差异和所述第二差异的和，分别表示样本图像中的服饰类型t的先验框经过所述神经网络后得到的检测框的中心点在x方向和y方向上的坐标，分别表示样本图像中的服饰类型t的标注框的中心点在x方向和y方向上的坐标，wf与hf分别表示样本图像中人脸标注框的宽度和高度。
通过训练所述神经网络最小化上述损失函数中的第一差异和第二差异的和来优化样本图像中服饰类型t的先验框内的深度特征，从而使得检测得到的样本图像中的服饰类型t的检测框与样本图像中的服饰类型t的标注框无限地接近重合。此外，本实施例利用样本图像中服饰类型t的先验框内的深度特征来预测样本图像中服饰类型t的服饰检测框与服饰标注框之间的偏差，相比于直接预测样本图像中服饰类型t的服饰检测框与服饰标注框之间的偏差，能够减小神经网络的训练难度。
在步骤S8-404中，通过所述神经网络，根据所述第三服饰位置检测数据从所述样本图像中获取所述样本图像中的第四服饰位置检测数据和与所述第四服饰位置检测数据对应的第二服饰类别检测数据。
其中，所述第三服饰位置检测数据可为样本图像中服饰检测框(服饰备选框)的宽度、高度和中心点坐标。所述第四服饰位置检测数据可为样本图像中服饰检测框的宽度、高度和中心点坐标。具体地，所述第三服饰位置检测数据可为样本图像中服饰类型t的服饰备选框的宽度、高度和中心点坐标。相应地，所述第四服饰位置检测数据可为样本图像中服饰类型t的服饰检测框的宽度、高度和中心点坐标。所述第二服饰类别检测数据可为样本图像中服饰类型t的服饰检测框内的服饰类别信息，与所述第四服饰位置检测数据对应。具体地，所述第二服饰类别检测数据包括以下中的至少一者：衬衫、T恤、短裤、长裤、短裙、长裙、连衣裙、连衣裤。
进一步地，所述神经网络还具有与所述特征提取层的末端和所述第一全连接层的末端均连接的第二区域池化层，以及与所述第二区域池化层的末端连接的第二全连接层。具体地，该步骤S8-404包括：通过所述第二区域池化层，根据所述第三服饰位置检测数据对所述全局特征图进行池化操作，获得所述样本图像中服饰区域的特征向量；通过所述第二全连接层对所述样本图像中服饰区域的特征向量进行映射操作，获得所述样本图像中的第四服饰位置检测数据和与所述第四服饰位置检测数据对应的第二服饰类别检测数据。
在步骤S8-405中，根据所述第四服饰位置检测数据和所述样本图像中的服饰位置标注数据，以及所述第二服饰类别检测数据和所述样本图像中与所述服饰位置标注数据对应的服饰类别标注数据，训练所述神经网络。
其中，所述服饰类别标注数据可为样本图像中服饰类型t的服饰标注框内的服饰类别信息，与所述服饰位置标注数据对应。具体地，所述服饰类别标注数据包括以下中的至少一者：衬衫、T恤、短裤、长裤、短裙、长裙、连衣裙、连衣裤。
在通过所述神经网络的特征提取层获得的样本图像的全局特征图的基础上，根据步骤S3-402获得的样本图像中服饰类型t的服饰备选框对所述全局特征图进行池化操作，获得样本图像中服饰类型t的服饰备选框内的深度特征，并对样本图像中服饰类型t的服饰备选框内的深度特征进行映射操作，获得样本图像中服饰类型t的服饰检测框以及服饰类型t的服饰检测框内的服饰类别。然后，将样本图像中服饰类型t的服饰检测框与样本图像中服饰类型t的服饰标注框之间的偏差作为第二损失函数，以及将样本图像中服饰类型t的服饰检测框内的服饰类别与样本图像中服饰类型t的服饰标注框内的服饰类别之间的偏差作为第三损失函数，训练所述神经网络优化样本图像中服饰类型t的服饰备选框内的深度特征，最终能够得到样本图像中服饰类型t的服饰检测框并识别检测框内的服饰类别。籍此，使得训练得到的神经网络不仅能够更加准确地检测出图像中与人脸相关的服饰的位置，而且还能够检测出图像中与人脸相关的服饰的类别信息。
此处，最小化的损失函数(第二损失函数和第三损失函数)与基于Faster RCNN(Faster Region with CNN，快速卷积神经网络)的物体检测方法中定义的损失函数类似，可将此处的损失函数(第二损失函数和第三损失函数)的权重设置为1，上述公式(1)中涉及的第一损失函数的权重设置为0.1，保证训练过程能够收敛，这样整个神经网络可以作为一个整体来进行训练，减少了训练时间。
图8-6为本申请实施例提供的服饰属性识别方法中一种神经网络的结构示意图。如图8-6所示，所述神经网络包括特征提取层、第一区域池化层、第一全连接层、第二区域池化层以及第二全连接层。其中，卷积层1、卷积层2、卷积层3、卷积层4和卷积层5构成神经网络的特征提取层，第一区域池化层与特征提取层末端的连接，第一全连接层与第一区域池化层末端的连接，第二区域池化层与特征提取层的末端和第一全连接层的末端连接，第二全连接层与第二区域池化层的末端连接。具体地，在所述第一区域池化层的前端可输入样本图像中的服饰先验框，并在所述第一全连接层的末端输出样本图像中的服饰备选框；在所述第二区域池化层的前端可输入样本图像中的服饰备选框，并在所述第二全连接层的末端输出样本图像中的服饰检测框以及所述服饰检测框内的服饰类别。由图可知，在根据所述第一损失函数、所述第二损失函数以及所述第三损失函数训练所述神经网络时，特征提取层为神经网络的训练共享部分，可将第一损失函数、第二损失函数以及第三损失函数产生的差异值进行累加，并将累加后的差异值反向传输给特征提取层，通过批量随机梯度下降的方法，更新特征提取层的网络参数，以训练得到预期性能的特征提取层。
根据本实施例提供的神经网络的训练方法，在上述实施例的基础上，通过所述神经网络，根据第三服饰位置检测数据从样本图像中获取样本图像中的第四服饰位置检测数据和与第四服饰位置检测数据对应的第二服饰类别检测数据，并根据第四服饰位置检测数据和样本图像中的服饰位置标注数据，以及第二服饰类别检测数据和样本图像中与服饰位置标注数据对应的服饰类别标注数据，训练所述神经网络，与现有技术相比，使得训练得到的神经网络不仅能够更加准确地检测出图像中与人脸相关的服饰的位置，而且还能够检测出图像中与人脸相关的服饰的类别信息。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图9为本申请实施例提供的服饰属性识别装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图9所示，该实施例的装置包括：
人体区域获得单元91，用于对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像。
其中，每个人体区域图像中包括至少一个人体部位。
服饰属性确定单元92，用于基于至少一个人体区域图像和待处理图像，确定待处理图像中至少一个服饰的至少一个服饰属性，每个服饰对应至少一个服饰属性。
基于本申请上述实施例提供的一种基于属性识别网络的服饰属性识别装置，对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像；基于至少一个人体区域图像和待处理图像，确定待处理图像中至少一个服饰的至少一个服饰属性，结合人体区域对服饰属性进行预测，得到的预测结果不受背景影响，服饰属性识别结果更准确。
可选地，人体区域获得单元91，具体用于利用人体解析网络对待处理图像按照待处理图像中包括的至少一个人体部位进行分割处理，获得至少一个人体区域图像。
可选地，人体部分可以包括但不限于以下至少一种：头部、颈部、左臂、右臂、上身躯干、左腿、右腿、左脚、右脚；
人体区域图像可以包括但不限于以下至少一种：头部图像、颈部图像、左臂图像、右臂图像、上身躯干图像、左腿图像、右腿图像、左脚图像、右脚图像、上身衣服图像、下身衣服图像、全身衣服图像。
可选地，服饰属性确定单元92，用于将至少一个人体区域图像和待处理图像分别输入至少一个属性识别网络中的每个属性识别网络中；通过每个属性识别网络确定待处理图像中的一个服饰的一个服饰属性。
可选地，本申请实施例中的属性识别网络包括至少一个卷积层和至少一个全连接层，由于每个服饰可以对应多个属性，本申请实施例中通过每个属性识别网络识别一个服饰属性，因此，为了获得至少一个服饰属性，将至少一个人体区域图像和待处理图像分别输入至少一个属性识别网络中；每个服饰属性可对应一个或多个人体区域图像，为了识别一个服饰属性，可将至少一个人体区域图像中对应同一服饰属性的一个或多个人体区域图像输入到一个属性识别网络(对应该服饰属性的属性识别网络)中，以实现对该服饰属性的识别。
可选地，服饰属性确定单元92在将至少一个人体区域图像和待处理图像分别输入至少一个属性识别网络中的每个属性识别网络中之前，还用于拼接至少一个人体区域图像，获得至少一个属性图像；
服饰属性确定单元92在将至少一个人体区域图像和待处理图像分别输入至少一个属性识别网络中的每个属性识别网络中时，用于将待处理图像和拼接得到的每个属性图像输入一个属性识别网络中。
可选地，本申请实施例提供的装置还包括：
第一训练单元，用于基于样本图像分别调整人体解析网络和至少一个属性识别网络的参数。
其中，样本图像包括至少一个标注人体区域和至少一个标注服饰属性，每个标注服饰属性对应至少一个标注人体区域。
上述各实施例中的服饰属性识别是通过属性识别网络实现的，为了更准确的获得服饰属性，需要基于样本图像训练属性识别网络。网络模型都是需要训练的，训练过程为让网络学习输入图片及其对应的标注的真实标签之间的关系，在本方法中就是让网络学习样本图和样本图中标注的人体部位分割结果及衣服属性之间的关系。
可选地，第一训练单元，用于将样本图像输入人体解析网络，得到至少一个预测人体区域图像；基于预测人体区域图像和标注人体区域，调整人体解析网络的参数。
可选地，第一训练单元在基于样本图像分别调整至少一个属性识别网络的参数时，用于将至少一个标注人体区域和样本图像输入至少一个属性识别网络，获得至少一个预测服饰属性；基于至少一个预测服饰属性和至少一个标注服饰属性，调整至少一个属性识别网络的参数，每个预测服饰属性对应一个属性识别网络。
在一个或多个可选的实施例中，人体解析网络和至少一个属性识别网络共享部分网络层；
人体区域获得单元91，用于通过共享的部分网络层对待处理图像进行处理，获得共享特征；基于共享特征获得待处理图像中至少一个人体部位对应的至少一个人体区域图像；
服饰属性确定单元92，用于基于至少一个人体区域图像和共享特征，确定待处理图像中至少一个服饰的至少一个服饰属性。
本申请上述实施例提供的一种服饰属性识别装置，结合人体区域对服饰属性进行预测，得到的预测结果不受背景影响，服饰属性识别结果更准确，并且通过共享特征实现人体解析和服饰属性识别，节省了服饰属性识别的时间和图像处理占用的资源。
可选地，人体解析网络还包括分割分支；
人体区域获得单元91在基于共享特征获得待处理图像中至少一个人体部位对应的至少一个人体区域图像时，用于通过分割分支对共享特征进行处理，获得待处理图像中至少一个人体部位对应的至少一个人体区域图像。
可选地，每个属性识别网络还包括属性识别分支；
服饰属性确定单元92，具体用于利用至少一个属性识别分支基于至少一个人体区域图像和共享特征，确定待处理图像中至少一个服饰的至少一个服饰属性。
可选地，服饰属性确定单元92，用于利用感兴趣区域池化，基于至少一个人体区域图像和共享特征，确定共享特征中对应至少一个人体区域图像的至少一个区域特征；基于至少一个区域特征确定一个服饰属性。
可选地，服饰属性确定单元92在基于至少一个区域特征确定一个服饰属性时，用于拼接至少一个区域特征，得到一个属性特征；基于属性特征确定待处理图像中一个服饰的一个服饰属性。
在一个或多个可选的实施例中，本申请实施例提供的装置还包括：
第二训练单元，用于基于样本图像调整共享的部分网络层、分割分支和至少一个属性识别分支的参数。
其中，样本图像包括至少一个标注人体区域和至少一个标注服饰属性，每个标注服饰属性对应至少一个标注人体区域。
可选地，第二训练单元，具体用于将样本图像输入共享的部分网络层和分割分支构成的人体解析网络，得到至少一个预测人体区域图像，基于预测人体区域图像和标注人体区域，调整分割分支的参数；利用共享的部分网络层和属性识别分支，基于至少一个标注人体区域获得样本图像对应的至少一个预测服饰属性，基于至少一个预测服饰属性和至少一个标注服饰属性，调整至少一个属性识别分支的参数，每个预测服饰属性和每个标注服饰属性训练一个属性识别分支；基于预测人体区域图像和标注人体区域，及至少一个预测服饰属性和至少一个标注服饰属性，调整共享的部分网络层的参数。
可选地，第二训练单元在基于预测人体区域图像和标注人体区域，及预测服饰属性和标注服饰属性，调整共享的部分网络层的参数时，用于基于预测人体区域图像和标注人体区域获得第一奖励，基于至少一个预测服饰属性和至少一个标注服饰属性获得至少一个第二奖励；对至少一个第二奖励求和，获得第三奖励；利用第一奖励和第三奖励交替调整共享的部分网络层的参数。
可选地，基于第一奖励和至少一个第二奖励交替调整共享的部分网络层的参数，但是由于第二奖励数量较多，采用此方案进行交替训练，将导致共享的部分网络层对于人体解析的性能下降，因此，可选地，对至少一个第二奖励求和，获得第三奖励；基于第一奖励和第三奖励交替调整共享的部分网络层的参数。通过交替训练，使共享的部分网络层在具有对人体解析的性能的同时，还具有至少一个服饰属性识别的性能。
本申请实施例的另一个方面，还提供了一种电子设备，包括处理器，该处理器包括上述任意一项实施例提供的服饰属性识别装置。
本申请实施例的又一个方面，还提供了一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与该存储器通信以执行所述可执行指令从而完成上述任意一项实施例提供的服饰属性识别方法的操作。
本申请实施例的还一个方面，还提供了一种计算机存储介质，用于存储计算机可读取的指令，该指令被执行时执行上述任意一项实施例提供的服饰属性识别方法的操作。
本申请实施例的再一个方面，还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，该设备中的处理器执行用于实现上述任意一项实施例提供的服饰属性识别方法的指令。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图10，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备1000的结构示意图：如图10所示，电子设备1000包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)1001，和/或一个或多个专用处理器，专用处理器可作为加速单元1013，可包括但不限于图像处理器(GPU)、FPGA、DSP以及其它的ASIC芯片之类专用处理器等，处理器可以根据存储在只读存储器(ROM)1002中的可执行指令或者从存储部分1008加载到随机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处理。通信部1012可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器1002和/或随机访问存储器1003中通信以执行可执行指令，通过总线1004与通信部1012相连、并经通信部1012与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像；基于至少一个人体区域图像和待处理图像，确定待处理图像中至少一个服饰的至少一个服饰属性。
此外，在RAM 1003中，还可存储有装置操作所需的各种程序和数据。CPU1001、ROM1002以及RAM1003通过总线1004彼此相连。在有RAM1003的情况下，ROM1002为可选模块。RAM1003存储可执行指令，或在运行时向ROM1002中写入可执行指令，可执行指令使中央处理单元1001执行上述通信方法对应的操作。输入/输出(I/O)接口1005也连接至总线1004。通信部1012可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
需要说明的，如图10所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元1013和CPU1001可分离设置或者可将加速单元1013集成在CPU1001上，通信部可分离设置，也可集成设置在CPU1001或加速单元1013上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对待处理图像进行处理，获得与待处理图像中至少一个人体部位对应的至少一个人体区域图像；基于至少一个人体区域图像和待处理图像，确定待处理图像中至少一个服饰的至少一个服饰属性。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法中限定的上述功能的操作。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种服饰属性识别方法，其特征在于，包括：
对待处理图像进行处理，获得与所述待处理图像中至少一个人体部位对应的至少一个人体区域图像，每个所述人体区域图像中包括至少一个人体部位；
基于至少一个所述人体区域图像和所述待处理图像，确定所述待处理图像中至少一个服饰的至少一个服饰属性，每个所述服饰对应至少一个服饰属性。
2.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行处理，获得所述待处理图像中至少一个人体部位对应的至少一个人体区域图像，包括：
利用人体解析网络对所述待处理图像按照所述待处理图像中包括的至少一个人体部位进行分割处理，获得至少一个人体区域图像。
3.根据权利要求2所述的方法，其特征在于，所述人体部分包括以下至少一种：头部、颈部、左臂、右臂、上身躯干、左腿、右腿、左脚、右脚；
所述人体区域图像包括以下至少一种：头部图像、颈部图像、左臂图像、右臂图像、上身躯干图像、左腿图像、右腿图像、左脚图像、右脚图像、上身衣服图像、下身衣服图像、全身衣服图像。
4.根据权利要求2或3所述的方法，其特征在于，所述基于至少一个所述人体区域图像和所述待处理图像，确定所述待处理图像中至少一个服饰的至少一个服饰属性，包括：
将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中；
通过每个所述属性识别网络确定所述待处理图像中的一个服饰的一个服饰属性。
5.根据权利要求4所述的方法，其特征在于，所述将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中之前，包括：
拼接所述至少一个人体区域图像，获得至少一个属性图像；
所述将至少一个所述人体区域图像和所述待处理图像分别输入至少一个属性识别网络中的每个所述属性识别网络中，包括：
将所述待处理图像和所述拼接得到的每个属性图像输入一个所述属性识别网络中。
6.一种服饰属性识别装置，其特征在于，包括：
人体区域获得单元，用于对待处理图像进行处理，获得与所述待处理图像中至少一个人体部位对应的至少一个人体区域图像，每个所述人体区域图像中包括至少一个人体部位；
服饰属性确定单元，用于基于至少一个所述人体区域图像和所述待处理图像，确定所述待处理图像中至少一个服饰的至少一个服饰属性，每个所述服饰对应至少一个服饰属性。
7.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求6所述的服饰属性识别装置。
8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至5任意一项所述服饰属性识别方法的操作。
9.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至5任意一项所述服饰属性识别方法的操作。
10.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至5任意一项所述服饰属性识别方法的指令。
CN201811497137.7A 2017-12-07 2018-12-07 服饰属性识别方法和装置、电子设备、存储介质 Pending CN109614925A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711290886 2017-12-07
CN2017112908868 2017-12-07

Publications (1)

Publication Number Publication Date
CN109614925A true CN109614925A (zh) 2019-04-12

Family

ID=66007806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811497137.7A Pending CN109614925A (zh) 2017-12-07 2018-12-07 服饰属性识别方法和装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN109614925A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287856A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种执勤人员行为分析系统、方法及装置
CN110378301A (zh) * 2019-07-24 2019-10-25 北京中星微电子有限公司 行人重识别方法及系统
CN111080643A (zh) * 2019-12-31 2020-04-28 上海鹰瞳医疗科技有限公司 基于眼底图像的糖尿病及相关疾病的分类方法及设备
CN111274945A (zh) * 2020-01-19 2020-06-12 北京百度网讯科技有限公司 一种行人属性的识别方法、装置、电子设备和存储介质
CN111401251A (zh) * 2020-03-17 2020-07-10 北京百度网讯科技有限公司 车道线提取方法、装置、电子设备及计算机可读存储介质
CN111666905A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 模型训练方法、行人属性识别方法和相关装置
CN112926427A (zh) * 2021-02-18 2021-06-08 浙江智慧视频安防创新中心有限公司 一种目标用户着装属性识别方法及装置
CN113076775A (zh) * 2020-01-03 2021-07-06 上海依图网络科技有限公司 预设服装检测方法、装置、芯片和计算机可读存储介质
CN114648668A (zh) * 2022-05-18 2022-06-21 浙江大华技术股份有限公司 目标对象的属性分类方法、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447529A (zh) * 2015-12-30 2016-03-30 商汤集团有限公司 一种服饰检测及其属性值识别的方法和系统
CN105469087A (zh) * 2015-07-13 2016-04-06 百度在线网络技术（北京）有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN106855944A (zh) * 2016-12-22 2017-06-16 浙江宇视科技有限公司 行人标志物识别方法及装置
CN107330451A (zh) * 2017-06-16 2017-11-07 西交利物浦大学 基于深度卷积神经网络的服装属性检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469087A (zh) * 2015-07-13 2016-04-06 百度在线网络技术（北京）有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN105447529A (zh) * 2015-12-30 2016-03-30 商汤集团有限公司 一种服饰检测及其属性值识别的方法和系统
CN106855944A (zh) * 2016-12-22 2017-06-16 浙江宇视科技有限公司 行人标志物识别方法及装置
CN107330451A (zh) * 2017-06-16 2017-11-07 西交利物浦大学 基于深度卷积神经网络的服装属性检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIDAYATI SHINTAMI C ET AL: "Learning and recognition of clothing genres from full-body images", 《IEEE TRANSACTIONS ON CYBERNETICS》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287856A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种执勤人员行为分析系统、方法及装置
CN110378301A (zh) * 2019-07-24 2019-10-25 北京中星微电子有限公司 行人重识别方法及系统
CN110378301B (zh) * 2019-07-24 2024-01-19 北京中星微电子有限公司 行人重识别方法及系统
CN111080643A (zh) * 2019-12-31 2020-04-28 上海鹰瞳医疗科技有限公司 基于眼底图像的糖尿病及相关疾病的分类方法及设备
CN113076775A (zh) * 2020-01-03 2021-07-06 上海依图网络科技有限公司 预设服装检测方法、装置、芯片和计算机可读存储介质
CN111274945A (zh) * 2020-01-19 2020-06-12 北京百度网讯科技有限公司 一种行人属性的识别方法、装置、电子设备和存储介质
CN111274945B (zh) * 2020-01-19 2023-08-08 北京百度网讯科技有限公司 一种行人属性的识别方法、装置、电子设备和存储介质
CN111401251A (zh) * 2020-03-17 2020-07-10 北京百度网讯科技有限公司 车道线提取方法、装置、电子设备及计算机可读存储介质
CN111401251B (zh) * 2020-03-17 2023-12-26 北京百度网讯科技有限公司 车道线提取方法、装置、电子设备及计算机可读存储介质
CN111666905A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 模型训练方法、行人属性识别方法和相关装置
CN112926427A (zh) * 2021-02-18 2021-06-08 浙江智慧视频安防创新中心有限公司 一种目标用户着装属性识别方法及装置
CN114648668A (zh) * 2022-05-18 2022-06-21 浙江大华技术股份有限公司 目标对象的属性分类方法、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109614925A (zh) 服饰属性识别方法和装置、电子设备、存储介质
CN108229559B (zh) 服饰检测方法、装置、电子设备、程序和介质
Yamaguchi et al. Paper doll parsing: Retrieving similar styles to parse clothing items
EP3479296B1 (en) System of virtual dressing utilizing image processing, machine learning, and computer vision
US11321769B2 (en) System and method for automatically generating three-dimensional virtual garment model using product description
US10991067B2 (en) Virtual presentations without transformation-induced distortion of shape-sensitive areas
CN109325952B (zh) 基于深度学习的时尚服装图像分割方法
US9460518B2 (en) Visual clothing retrieval
CN109670591B (zh) 一种神经网络的训练方法及图像匹配方法、装置
CN108229288B (zh) 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备
CN109409994A (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CN111325226B (zh) 信息呈现方法和装置
CN110334687A (zh) 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN110647906A (zh) 基于Faster R-CNN方法的服饰目标检测方法
CN109597907A (zh) 服饰管理方法和装置、电子设备、存储介质
CN112905889B (zh) 服饰搜索方法及装置、电子设备和介质
KR20160120674A (ko) 그래픽 처리 장치를 이용한 의류 추천 시스템
Cychnerski et al. Clothes detection and classification using convolutional neural networks
CN111862116A (zh) 动漫人像的生成方法及装置、存储介质、计算机设备
KR102466978B1 (ko) 딥러닝 기반 가상 이미지 생성방법 및 시스템
CN109829484B (zh) 一种服饰分类方法、设备及计算机可读存储介质
Feng et al. An object detection system based on YOLOv2 in fashion apparel
CN108229306A (zh) 服饰检测和神经网络训练的方法、装置、存储介质和设备
CN112667839B (zh) 数据的处理方法、检索方法、装置及设备
Pan et al. Multi-person pose estimation with mid-points for human detection under real-world surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412