CN108229496A - 服饰关键点的检测方法和装置、电子设备、存储介质和程序 - Google Patents

服饰关键点的检测方法和装置、电子设备、存储介质和程序 Download PDF

Info

Publication number
CN108229496A
CN108229496A CN201710562574.1A CN201710562574A CN108229496A CN 108229496 A CN108229496 A CN 108229496A CN 201710562574 A CN201710562574 A CN 201710562574A CN 108229496 A CN108229496 A CN 108229496A
Authority
CN
China
Prior art keywords
dress ornament
key point
image
feature
multigroup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710562574.1A
Other languages
English (en)
Other versions
CN108229496B (zh
Inventor
颜思捷
刘子纬
罗平
王晓刚
汤晓鸥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710562574.1A priority Critical patent/CN108229496B/zh
Publication of CN108229496A publication Critical patent/CN108229496A/zh
Application granted granted Critical
Publication of CN108229496B publication Critical patent/CN108229496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种服饰关键点的检测方法和装置、电子设备、存储介质和程序，其中，方法包括：分别通过多组卷积神经网络对图像进行特征提取，获得多组特征；其中，所述多组卷积神经网络中各组卷积神经网络的卷积核大小不同；基于所述多组特征对所述图像进行服饰关键点检测。本发明实施例可以有效应用于各种不同尺度服饰的关键点检测，解决服饰图像中由于拍摄角度、人体姿势、服装款式、放置方式的繁复变化造成的尺度变化问题，降低关键点检测的难度，提高关键点检测的准确度。

Description

服饰关键点的检测方法和装置、电子设备、存储介质和程序
技术领域
本发明涉及计算机视觉技术，尤其是一种服饰关键点的检测方法和装置、电子设备、存储介质和程序。
背景技术
服饰识别是图像检索领域最重要也是最有挑战性的问题之一。在当今互联网上，多数用户搜索与网上购物内容与服饰相关。因此，服饰识别是解决同款检索、风格识别以及穿搭推荐需求中的关键问题。然而，服饰识别具有很高的难度，一是由于服饰的形变非常大，服饰本身是柔性很大的物体，在服装款式、人体姿势、放置方式不同时，服饰将呈现不同的状态；二是在不同条件、拍摄角度下拍出的服饰图片差距也非常大，例如模特的摆拍照和消费者的自拍照差别就很明显。
服饰的关键点检测是计算机视觉技术中理解服饰图像需要解决的重要问题。随着人工智能及互联网的发展，服饰关键点检测在网络购物、智能穿搭、服装设计等领域有着重要应用。
发明内容
本发明实施例提供一种服饰关键点检测技术方案。
根据本发明实施例的一个方面，提供的一种服饰关键点的检测方法，包括：
分别通过多组卷积神经网络对图像进行特征提取，获得多组特征；其中，所述多组卷积神经网络中各组卷积神经网络的卷积核大小不同；
基于所述多组特征对所述图像进行服饰关键点检测。
可选地，本发明上述各实施例的服饰关键点的检测方法中，每组所述卷积神经网络的卷积核由初始卷积核按照对应的扩张因子进行膨胀操作获得，所述多组卷积神经网络的初始卷积核相同，所述多组卷积神经网络对应的扩张因子不同。
可选地，本发明上述各实施例的服饰关键点的检测方法中，基于所述多组特征对所述图像中服饰进行服饰关键点检测，包括：
将所述多组特征进行相加，得到目标特征；
基于所述目标特征对所述图像进行服饰关键点检测。
可选地，本发明上述各实施例的服饰关键点的检测方法中，基于所述多组特征对所述图像进行服饰关键点检测，包括：
获取所述多组特征的平均值，得到目标特征；
基于所述目标特征对所述图像进行服饰关键点检测。
可选地，本发明上述各实施例的服饰关键点的检测方法中，基于所述多组特征对所述图像进行服饰关键点检测，包括：
分别获取所述多组特征中各元素的最大值，形成目标特征；
基于所述目标特征对所述图像进行服饰关键点检测。
可选地，本发明上述各实施例的服饰关键点的检测方法中，基于所述目标特征对所述图像进行服饰关键点检测，包括：
从所述目标特征提取出所述服饰关注部位的特征；
对所述服饰关注部位的特征进行空间变换；
基于所述服饰关注部位的特征进行服饰关键点检测，得到变换后的关键点坐标；
对所述变换后的关键点坐标进行空间反变换，得到所述服饰的关键点坐标。
可选地，本发明上述各实施例的服饰关键点的检测方法中，对所述目标特征进行空间变换，包括：
对所述目标特征进行至少一次的空间仿射变换。
可选地，本发明上述各实施例的服饰关键点的检测方法中，还包括：
从所述目标特征中提取所述服饰的全局特征，并从所述服饰的关键点坐标对应的关键点处提取所述服饰的局部特征；
结合所述服饰的全局特征与从各关键点的位置处提取的局部特征进行服饰识别，获得所述服饰的识别结果。
可选地，本发明上述各实施例的服饰关键点的检测方法中，所述服饰的识别结果包括：所述服饰的分类和细节属性。
可选地，本发明上述各实施例的服饰关键点的检测方法中，还包括：
根据所述服饰的识别结果，检索与所述服饰的款式相同的服饰相关信息。
可选地，本发明上述各实施例的服饰关键点的检测方法中，所述图像包括第一图像和第二图像；
所述方法还包括：
获得所述第一图像中服饰的关键点坐标和所述第二图像中服饰的关键点坐标之后，基于所述第一图像中服饰的关键点坐标和所述第二图像中服饰的关键点坐标对所述第一图像中服饰和/或所述第二图像中服饰进行变形处理，以使所述第一图像中服饰与所述第二图像中服饰的至少一个关键点匹配；以经过变形处理的第一图像中服饰和所述第二图像中服饰中的其中一个服饰替换另一个服饰。
可选地，本发明上述各实施例的服饰关键点的检测方法中，还包括：
基于样本图像对实现所述服饰关键点的检测方法的深度神经网络进行训练，所述样本图像包括服饰并标注有服饰的参考关键点坐标。
可选地，本发明上述各实施例的服饰关键点的检测方法中，所述基于样本图像对实现所述服饰关键点检测方法的深度神经网络进行训练，包括：
深度神经网络以所述样本图像作为所述图像，执行所述服饰关键点的检测方法，获得所述样本图像的预测关键点坐标；
基于所述样本图像的预测关键点坐标和参考关键点坐标，采用梯度更新或迭代更新的方式对深度神经网络进行训练。
可选地，本发明上述各实施例的服饰关键点的检测方法中，所述样本图像还标注有所述样本图像与所述样本图像中服饰关注部位之间的尺寸比例，作为参考尺寸比例；
所述基于样本图像对实现所述服饰关键点检测方法的深度神经网络进行训练，还包括：在执行所述服饰关键点的检测方法的过程中，获得所述样本图像中服饰关注部位的特征后，计算所述样本图像与所述样本图像中服饰关注部位的特征之间的尺寸比例，作为预测尺寸比例；
基于所述样本图像的预测关键点坐标和参考关键点坐标，采用梯度更新或迭代更新的方式对深度神经网络进行训练，包括：基于所述样本图像的预测关键点坐标和参考关键点坐标、以及所述预测尺寸比例与所述参考尺寸比例，采用梯度更新或迭代更新的方式对所述深度神经网络进行训练。
根据本发明实施例的另一个方面，提供的一种服饰关键点的检测装置，包括：
多组卷积神经网络，用于分别对图像进行特征提取，获得多组特征；其中，所述多组卷积神经网络中各组卷积神经网络的卷积核大小不同；
关键点检测模块，用于基于所述多组特征对所述图像进行服饰关键点检测。
可选地，本发明上述各实施例的服饰关键点的检测装置中，每组所述卷积神经网络的卷积核由初始卷积核按照对应的扩张因子进行膨胀操作获得，所述多组卷积神经网络的初始卷积核相同，所述多组卷积神经网络对应的扩张因子不同。
可选地，本发明上述各实施例的服饰关键点的检测装置中，还包括：
特征处理模块，用于将所述多组特征进行相加，得到目标特征；或者，获取所述多组特征的平均值，得到目标特征；或者，分别从所述多组特征中获取各元素的最大值，形成目标特征；
所述关键点检测模块，具体用于基于所述目标特征对所述图像进行服饰关键点检测。
可选地，本发明上述各实施例的服饰关键点的检测装置中，所述关键点检测模块包括：
空间变换网络，用于从所述目标特征中提取出所述服饰关注部位的特征，并对所述服饰部分的特征进行空间变换；
关键点检测子模块，用于基于所述服饰关注部位的特征对进行服饰关键点检测，得到变换后的关键点坐标；
反变换子模块，用于对所述变换后的关键点坐标进行空间反变换，得到所述服饰的关键点坐标。
可选地，本发明上述各实施例的服饰关键点的检测装置中，所述空间变换网络为一个；或者，所述空间变换网络为多个，所述多个空间变换网络依次从输入的特征中提取出所述服饰关注部位的特征，并对提取出来的特征进行空间仿射变换。
可选地，本发明上述各实施例的服饰关键点的检测装置中，还包括：
特征提取模块，从所述目标特征中提取所述服饰的全局特征，并从所述服饰的关键点坐标对应的关键点处提取所述服饰的局部特征；
服饰识别模块，结合所述服饰的全局特征与从各关键点的位置处提取的局部特征进行服饰识别，获得所述服饰的识别结果。
可选地，本发明上述各实施例的服饰关键点的检测装置中，所述服饰的识别结果包括：所述服饰的分类和细节属性。
可选地，本发明上述各实施例的服饰关键点的检测装置中，所述服饰关键点的检测装置包括深度神经网络；
所述装置还包括：
网络训练模块，用于基于样本图像对所述深度神经网络进行训练，所述样本图像包括服饰并标注有服饰的参考关键点坐标。
可选地，本发明上述各实施例的服饰关键点的检测装置中，所述深度神经网络具体以所述样本图像作为所述图像，所述关键点检测模块对所述样本图像进行服饰关键点检测后输出所述样本图像的预测关键点坐标；
所述网络训练模块，具体用于基于所述样本图像的预测关键点坐标和参考关键点坐标，采用梯度更新或迭代更新的方式对所述深度神经网络进行训练。
可选地，本发明上述各实施例的服饰关键点的检测装置中，所述样本图像还标注有所述样本图像与所述样本图像中服饰关注部位之间的尺寸比例，作为参考尺寸比例；
所述网络训练模块，还用于在获得所述样本图像中服饰关注部位的特征后，计算所述样本图像与所述样本图像中服饰关注部位的特征之间的尺寸比例，作为预测尺寸比例；基于所述样本图像的预测关键点坐标和参考关键点坐标，采用梯度更新或迭代更新的方式对深度神经网络进行训练时，具体用于基于所述样本图像的预测关键点坐标和参考关键点坐标、以及所述预测尺寸比例与所述参考尺寸比例，采用梯度更新或迭代更新的方式对深度神经网络进行训练。
根据本发明实施例的又一个方面，提供的一种计算设备，包括：
本发明上述任一实施例所述的服饰关键点的检测装置；和
检索单元，用于根据所述服饰关键点的检测装置输出的服饰的识别结果，检索与所述服饰的款式相同的服饰相关信息。
根据本发明实施例的又一个方面，提供的另一种计算设备，包括：
本发明上述任一实施例所述的服饰关键点的检测装置；和
图像处理模块，用于在所述服饰关键点的检测装置获得第一图像中服饰的关键点坐标和第二图像中服饰的关键点坐标之后，基于所述第一图像中服饰的关键点坐标和所述第二图像中服饰的关键点坐标对所述第一图像中服饰和/或所述第二图像中服饰进行变形处理，以使所述第一图像中服饰与所述第二图像中服饰的至少一个关键点匹配；以经过变形处理的第一图像中服饰和所述第二图像中服饰中的其中一个服饰替换另一个服饰。
根据本发明实施例的又一个方面，提供的一种电子设备，包括：本发明上述任一实施例所述的服饰关键点的检测装置或者计算设备。
根据本发明实施例的再一个方面，提供的一种电子设备，包括：
处理器和本发明上述任一实施例所述的服饰关键点的检测装置；
在处理器运行所述服饰关键点的检测装置时本发明上述任一实施例所述的服饰关键点的检测装置中的模块被运行。
根据本发明实施例的再一个方面，提供的一种电子设备，包括：
处理器和本发明上述任一实施例所述的计算设备；
在处理器运行所述计算设备时，本发明上述任一实施例所述的计算设备中的模块被运行。
根据本发明实施例的再一个方面，提供的一种电子设备，包括：处理器、通信接口、存储器以及通信总线；所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一指令；所述指令使所述处理器执行本发明上述任一实施例所述服饰关键点的检测方法中步骤的操作。
根据本发明实施例的再一个方面，提供的一种计算机系统，包括：
存储器，存储可执行指令；
一个或多个处理器，与存储器通信以执行可执行指令从而完成本发明上述任一实施例所述服饰关键点的检测方法中步骤的操作。
根据本发明实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现本发明上述任一实施例所述服饰关键点的检测方法中步骤的指令。
根据本发明实施例的再一个方面，提供的一种计算机可读介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时实现本发明上述任一实施例所述服饰关键点的检测方法中步骤的操作。
基于本发明上述实施例提供的服饰关键点的检测方法和装置、电子设备、存储介质和程序，分别通过多组卷积神经网络，采用多个大小不同的卷积核，对图像进行特征提取，获得多组特征，基于该多组特征对图像进行服饰关键点检测。由此，本发明实施例可以从原始图片中提取不同尺度大小的特征，使本发明实施例的服饰关键点的检测方案可以有效应用于各种不同尺度服饰的关键点检测，解决服饰图像中由于拍摄角度、人体姿势、服装款式、放置方式的繁复变化造成的尺度变化问题，降低关键点检测的难度，提高关键点检测的准确度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明服饰关键点的检测方法一个实施例的流程图。
图2为本发明服饰关键点的检测方法另一个实施例的流程图。
图3为本发明服饰关键点的检测方法实施例的一个示例图。
图4为本发明实施例中对目标特征图进行一次空间变换的一个示例图。
图5为本发明实施例中对目标特征图进行三次空间变换的一个示例图。
图6为本发明服饰关键点的检测方法一个应用实施例的流程图。
图7为本发明实施例中对深度神经网络进行训练一个实施例的流程图。
图8为本发明服饰关键点的检测装置一个实施例的结构示意图。
图9为本发明服饰关键点的检测装置另一个实施例的结构示意图。
图10为本发明服饰关键点的检测装置一个应用实施例的结构示意图。
图11为本发明计算设备一个实施例的结构示意图。
图12为本发明计算设备另一个实施例的结构示意图。
图13为本发明电子设备一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统/服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
为了解决服饰图像中由于拍摄角度、人体姿势、服装款式、放置方式的繁复变化、以及背景的干扰，现有技术的一种方法中，预先将服饰图像的关注部位手动切割出来，从切割出来的关注部位中进行关键点检测，以降低关键点检测的难度。然而，手动切割意味着需要投入大量的人力成本和时间成本，在真实的应用场合中不实用。
图1为本发明服饰关键点的检测方法一个实施例的流程图。本发明各实施例的服饰关键点的检测方法可以选择性地通过一个深度神经网络实现。如图1所示，该实施例服饰关键点的检测包括：
102，分别通过多组卷积神经网络对图像进行特征提取，获得多组特征。
其中，多组卷积神经网络中各组卷积神经网络的卷积核大小不同。本发明各实施例中，通过一组卷积神经网络从一个图像中提取到的一组特征，具体可以表现为一个特征图、特征向量或者特征矩阵。因此，上述多组特征也可以称为多组特征图、多个特征向量或者多个特征矩阵。
104，基于上述多组特征对上述图像进行服饰关键点检测。
本发明各实施例中，服饰的关键点为多数服饰具有的、在功能和结构上可用于区分服饰类别中不同款式服饰的局部位置，例如可以包括领口、袖口和下摆等。
基于本发明上述实施例提供的服饰关键点的检测方法，分别通过多组卷积神经网络，采用多个大小不同的卷积核，对图像进行特征提取，获得多组特征，基于该多组特征对图像进行服饰关键点检测。由此，本发明实施例可以从原始图片中提取不同尺度大小的特征，使本发明实施例的服饰关键点的检测方案可以有效应用于各种不同尺度服饰的关键点检测，解决服饰图像中由于拍摄角度、人体姿势、服装款式、放置方式的繁复变化造成的尺度变化问题，降低关键点检测的难度，提高关键点检测的准确度。
在本发明各实施例的其中一个示例中，每组卷积神经网络的卷积核由初始卷积核按照对应的扩张因子进行膨胀操作获得，该多组卷积神经网络的初始卷积核相同，多组卷积神经网络对应的扩张因子不同。
在一种可选的实现方式中，可以在上述操作102之前，通过如下方式获得上述多组卷积神经网络：
分别通过多个不同大小的扩张因子(也称为：膨胀系数)对多组相同的卷积神经网络中一组卷积神经网络的卷积核进行膨胀操作，获得多组卷积神经网络。该多组卷积神经网络中，除了卷积核大小不同，其余网络参数相同，由于多组相同的卷积神经网络分享相同的网络参数及网络参数值，通过网络训练获得上述多组卷积神经网络的网络训练过程相对简单，网络训练效率高。
其中，对卷积核进行膨胀，是将卷积核扩张到膨胀尺度约束的尺度中，并将原卷积核没有占用的区域填充零。卷积核膨胀操作的计算公式为：膨胀的卷积核尺寸＝扩张因子*(原始卷积核尺寸-1)+1。
由于卷积的操作特性，卷积核尺寸是奇数，则原始卷积核尺寸减1为偶数。那么，在上述卷积核膨胀操作的计算公式中，膨胀系数*偶数-1为奇数，保证了膨胀的卷积核尺寸为奇数。卷积核的扩张因子反应了卷积核高和宽方向的扩张倍数。
在本发明各实施例的其中一个示例中，上述操作104具体可以通过如下方式实现：
将多组特征进行相加，得到目标特征。示例性地，该目标特征具体可以表现为一个特征图、特征向量或者特征矩阵。因此，该目标特征也可以称为目标特征图、目标特征向量或者目标特征矩阵；
基于目标特征对图像进行服饰关键点检测。
在本发明各实施例的另一个示例中，上述操作104具体可以通过如下方式实现：
获取多组特征的平均值，得到目标特征。示例性地，该目标特征具体可以表现为一个特征图、特征向量或者特征矩阵。因此，该目标特征也可以称为目标特征图、目标特征向量或者目标特征矩阵；
基于目标特征对图像进行服饰关键点检测。
在本发明各实施例的又一个示例中，上述操作104具体可以通过如下方式实现：
从多组特征中分别获取各元素的最大值，形成目标特征。示例性地，该目标特征具体可以表现为一个特征图、特征向量或者特征矩阵。因此，该目标特征也可以称为目标特征图、目标特征向量或者目标特征矩阵；
基于目标特征对图像进行服饰关键点检测。
本发明实施例由基于不同卷积核大小提取出的同一服饰的多组特征获得的目标特征，对图像进行服饰关键点检测，可以实现对图像中各种不同尺度服饰的关键点检测，解决服饰图像中由于拍摄角度、人体姿势、服装款式、放置方式的繁复变化造成的尺度变化问题。相对于将多组特征进行相加或获取多组特征的平均值得到的目标特征而言，由从多组特征中分别获取各元素的最大值形成的目标特征图可以更准确、有效的表达图像的特征，因此可以更有效、准确的检测图像中服饰的关键点。
图2为本发明服饰关键点的检测方法另一个实施例的流程图。如图2所示，该实施例服饰关键点的检测包括：
202，分别通过多组卷积神经网络对图像进行特征提取，获得多组特征。
其中，多组卷积神经网络中各卷积神经网络的卷积核大小不同。
204，基于上述多组特征获取目标特征。
例如，由从上述多组特征中分别获取各元素的最大值形成目标特征。
206，从目标特征中提取出服饰关注部位的特征，并对提取出来的服饰关注部位的特征进行空间变换。
其中，服饰关注部位为包括服饰中的全部或其中一部分关键点的区域。示例性地，提取到的服饰关注部位的特征具体可以表现为一个特征图、特征向量或者特征矩阵，因此，也可以称为服饰关注部位的特征图、服饰关注部位的特征向量或者服饰关注部位的特征矩阵。
本发明实施例中，空间变换可以看作将特征与用于进行空间变换的变换矩阵相乘的过程。
示例性地，该操作206中，对目标特征进行空间变换时，可以是对目标特征进行至少一次的空间仿射变换，即：可以从目标特征中提取出服饰关注部位的特征并进行一次空间仿射变换，也可以对目标特征图进行两次或以上的空间仿射变换，此时，第一次空间仿射变换时，从目标特征图中提取出服饰关注部位的特征并进行空间仿射变换，具体提取出的服饰关注部位的特征由实现该第一次空间仿射变换的空间变换网络(STN)通过网络训练过程确定；第二次空间仿射变换时，从第一次空间仿射变换输出的特征中提取出服饰关注部位的特征并进行空间仿射变换，具体提取出的服饰关注部位的特征由实现该第二次空间仿射变换的空间变换网络(STN)通过网络训练过程确定；……，以此类推，之后第N次空间仿射变换时，从第N-1次空间仿射变换输出的特征中提取出服饰关注部位的特征并进行空间仿射变换，具体提取出的服饰关注部位的特征由实现该第N次空间仿射变换的空间变换网络(STN)通过网络训练过程确定，其中，N为大于1的整数。例如，第一次从目标特征中提取出完整的服饰的特征并进行空间仿射变换；第二次空间仿射变换从完整的服饰的特征中分别提取出领口、袖口等区域的特征并进行空间仿射变换。本发明实施例中，对目标特征进行两次或以上的空间仿射变换，称为循环空间变换(HR-ST)。
208，基于服饰的特征对服饰进行关键点检测，得到变换后的关键点坐标。
210，对变换后的关键点坐标进行空间反变换，得到服饰在图像原始坐标系中的关键点坐标。
其中，空间反变换与空间变换为相同的仿射变换。基于空间反变换可以看作将关键点坐标与用于进行空间反变换的反变换矩阵相乘的过程。基于空间矩阵可以确定反变换矩阵。
如果直接以原始图片作为输入进行服饰关键点的检测，用于进行服饰关键点的检测的深度神经网络将需要直面原始图片里存在的除服饰意外的背景部分的大量干扰，关键点的检测难度较高、检测准确率较低。基于该实施例的服饰关键点的检测方法，可以通过空间变换提取出服饰关注部位的特征以进行服饰关键点的检测，通过此过程有效排除图片中与服饰无关的背景干扰，解决服饰图像中由于拍摄角度引起视角变化造成的目标畸变、以及背景的干扰，自适应地排除图片中的干扰，降低关键点的检测难度并提高关键点的检测精度。
在该实施例的操作206中，如果仅对目标特征进行一次空间仿射变换，将难以从目标特征中准确的提取出服饰的特征，而采取对目标特征进行两次或以上空间变换的循环空间仿射变换，对目标特征进行了多次空间仿射变换，可以逐步从目标特征中提取出服饰关注部位的特征，从而准确、有效的获得服饰关注部位的特征，更有效地排除图片中与服饰无关的背景干扰，综合这些空间变换，采用相应的空间反变换，将空间反变换后的关键点坐标恢复到原始图片的原始坐标系上，从而可以避免由于空间变换对关键点检测造成的干扰，可以提高服饰关键点坐标的准确性。
图3为本发明服饰关键点的检测方法实施例的一个示例图。如图3所示，该示例中，具体采用两组卷积神经网络对图像进行特征提取。图4为本发明实施例中对目标特征图进行一次空间仿射变换的一个示例图。图5为本发明实施例中对目标特征图进行三次空间仿射变换的一个示例图。
图6为本发明服饰关键点的检测方法一个应用实施例的流程图。如图6所示，在本发明上述各服饰关键点的检测方法实施例的流程之后，还可以包括：
602，从目标特征中提取图像中服饰的全局特征，并从服饰的关键点坐标对应的关键点处提取图像中服饰的局部特征。
604，结合服饰的全局特征与从各关键点的位置处提取的局部特征进行服饰识别，获得服饰的识别结果。
其中，服饰的识别结果例如可以包括：服饰的分类和细节属性。分类例如上装、和服、西装、卫衣、毛衣等，细节属性例如各种花式、纹理、领口类型、袖口类型等，细节属性的特征例如荷花边袖口、V型领等。另外，获得服饰的识别结果后，在进一步应用中，还可以根据服饰的识别结果，例如从各种电商网站，检索与该服饰的款式相同的服饰相关信息。
基于上述实施例，获图像中服饰的关键点后，可以从服饰的关键点坐标对应的关键点处提取图像中服饰的局部特征，并结合服饰的全局特征进行服饰识别。本发明实施例从服饰关键点的角度，有针对性地提取局部特征，再结合服饰的全局特征，由于综合考虑了服饰的各种特征信息，对于服饰的细粒度特征有较强的分辨能力，使服饰的识别、搜索的结果更准确。本发明实施例可以适用于各种形状易变、或不同摆放方式和拍摄视角变化会影响识别效果的服饰识别，另外也可应用于例如棉被、纸画、油画、充气玩具等的识别，识别准确性较高。
另外，在本发明服饰关键点的检测方法另一个应用实施例中，可以针对两个图像分别执行上述各实施例的服饰关键点的检测方法，即：上述各实施例的服饰关键点的检测方法中的图像包括第一图像和第二图像。则通过上述任一实施例的服饰关键点的检测方法，获得第一图像中服饰的关键点坐标和第二图像中服饰的关键点坐标之后，还可以包括：
基于第一图像中服饰的关键点坐标和第二图像中服饰的关键点坐标对第一图像中服饰和/或第二图像中服饰进行变形处理，以使第一图像中服饰与第二图像中服饰的至少一个关键点匹配；以经过变形处理的第一图像中服饰和第二图像中服饰中的其中一个服饰替换另一个服饰。
基于该应用实施例，例如可以应用于网络购物环境中，针对网络购物平台上的服饰，可以看作第一图像中的服饰，用户只要上传自己的照片作为第二图像，不需要手动处理该照片，基于上述应用实施例的处理，可以将第二图像中用户自己的服饰替换为第一图像中的服饰，用户就可以在屏幕上看到喜欢的服饰穿在自己身上的样子。
进一步地，在本发明上述各服饰关键点的检测方法实施例的流程之前，还可以包括：
基于样本图像对实现服饰关键点的检测方法的深度神经网络进行训练，其中，样本图像包括服饰、且该样本图像标注有该服饰的关键点坐标，本发明实施例中将标注的关键点坐标称为参考关键点坐标，该参考关键点坐标为准确的关键点坐标。
图7为本发明实施例中对深度神经网络进行训练一个实施例的流程图。如图7所示，该实施例对深度神经网络进行训练的方法包括：
702，深度神经网络以样本图像作为上述各实施例中的图像，执行本发明上述各服饰关键点的检测方法实施例，获得该样本图像的关键点坐标，通过本发明各服饰关键点的检测方法实施例获得的关键点坐标称为预测关键点坐标。
其中，样本图像包括服饰、且该样本图像标注有服饰的参考关键点坐标。
704，基于该样本图像的预测关键点坐标和参考关键点坐标，采用梯度更新或迭代更新的方式对深度神经网络进行训练，调整深度神经网络中网络参数的参数值。
采用梯度更新方式对深度神经网络进行训练训练时，以最小化关键点的参考关键点坐标和关键点坐标之间的均方根误差作为优化目标对深度神经网络中网络参数的参数值进行调整，使得参考关键点坐标和关键点坐标之间的均方根误差最小或者小于第一预设值。
采用迭代更新的方式对深度神经网络进行训练时，可以设定在满足预设条件时对深度神经网络的训练完成，其中的预设条件，例如可以是对深度神经网络的训练次数达到预设次数、或者参考关键点坐标和关键点坐标之间的误差小于第二预设值。
另外，在对深度神经网络进行训练的另一个实施例中，样本图像还可以标注样本图像与该样本图像中服饰之间的尺寸比例，作为参考尺寸比例。相应地，该实施例中，还可以包括：在执行服饰关键点的检测方法的过程中，获得该样本图像中服饰关注部位的特征后，计算该样本图像与该样本图像中服饰关注部位的特征之间的尺寸比例，作为预测尺寸比例。操作704具体可以通过如下方式实现：基于该样本图像的预测关键点坐标和参考关键点坐标、以及预测尺寸比例与参考尺寸比例，采用梯度更新或迭代更新的方式对深度神经网络进行训练。
该实施例中，采用梯度更新方式对深度神经网络进行训练训练时，以最小化关键点的参考关键点坐标和关键点坐标之间的均方根误差、以及最小化预测尺寸比例与参考尺寸比例之间的均方根误差作为优化目标对深度神经网络中网络参数的参数值进行调整，使得参考关键点坐标和关键点坐标之间的均方根误差最小或者小于第一预设值、以及预测尺寸比例与参考尺寸比例之间的均方根误差最小或者小于第三预设值。
采用迭代更新的方式对深度神经网络进行训练时，可以设定在满足预设条件时对深度神经网络的训练完成，其中的预设条件，例如可以是对深度神经网络的训练次数达到预设次数、或者参考关键点坐标和关键点坐标之间的误差小于第二预设值、预测尺寸比例与参考尺寸比例之间的误差小于第四预设值。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图8为本发明服饰关键点的检测装置一个实施例的结构示意图。该实施例的检测装置可用于实现本发明上述各检测方法实施例。如图8所示，该实施例的检测装置包括：多组卷积神经网络802和关键点检测模块804。其中：
多组卷积神经网络802，用于分别对图像进行特征提取，获得多组特征。其中，多组卷积神经网络中各组卷积神经网络的卷积核大小不同。
本发明各实施例的检测装置中，通过一组卷积神经网络从一个图像中提取到的一组特征，具体可以表现为一个特征图、特征向量或者特征矩阵。因此，上述多组特征也可以称为多组特征图、多个特征向量或者多个特征矩阵。
在其中一个示例中，每组卷积神经网络的卷积核由初始卷积核按照对应的扩张因子进行膨胀操作获得，该多组卷积神经网络的初始卷积核相同，多组卷积神经网络对应的扩张因子不同。
关键点检测模块804，用于基于多组特征对图像进行服饰关键点检测。
基于本发明上述实施例提供的服饰关键点的检测装置，分别通过多组卷积神经网络，采用多个大小不同的卷积核，对图像进行特征提取，获得多组特征，基于该多组特征对图像进行服饰关键点检测。由此，本发明实施例可以从原始图片中提取不同尺度大小的特征，使本发明实施例的服饰关键点的检测方案可以有效应用于各种不同尺度服饰的关键点检测，解决服饰图像中由于拍摄角度、人体姿势、服装款式、放置方式的繁复变化造成的尺度变化问题，降低关键点检测的难度，提高关键点检测的准确度。
图9为本发明服饰关键点的检测装置另一个实施例的结构示意图。与图8所示的实施例相比，该实施例的检测装置还包括：特征处理模块806，用于将多组卷积神经网络802获得的多组特征进行相加，得到目标特征；或者，获取该多组特征的平均值，得到目标特征；或者，分别从该多组特征中获取各元素的最大值，形成目标特征。示例性地，该目标特征具体可以表现为一个特征图、特征向量或者特征矩阵。因此，该目标特征也可以称为目标特征图、目标特征向量或者目标特征矩阵
相应的，该实施例中，关键点检测模块804具体用于基于目标特征对上述图像进行服饰关键点检测。
另外，再参见图9，在本发明各检测装置实施例的一个示例中，关键点检测模块804可以包括：
空间变换网络902，用于从目标特征中提取出服饰关注部位的特征，并对服饰部分的特征进行空间变换。
其中，服饰关注部位为包括服饰中的全部或其中一部分关键点的区域。示例性地，提取到的服饰关注部位的特征具体可以表现为一个特征图、特征向量或者特征矩阵，因此，也可以称为服饰关注部位的特征图、服饰关注部位的特征向量或者服饰关注部位的特征矩阵。
关键点检测子模块904，用于基于服饰关注部位的特征对进行服饰关键点检测，得到变换后的关键点坐标。
反变换子模块906，用于对变换后的关键点坐标进行空间反变换，得到服饰的关键点坐标。
其中，空间反变换与空间变换为相同的仿射变换。
示例性地，空间变换网络可以为一个；或者，空间变换网络也可以为多个，多个空间变换网络依次从输入的特征中提取出服饰关注部位的特征，并对提取出来的特征进行空间仿射变换。
在其中一种可选的实现方式中，本发明上述各服饰关键点的检测装置具体可以通过一个深度神经网络实现。进一步地，再参见图9，在本发明服饰关键点的检测装置又一个实施例中，检测装置还可以包括：网络训练模块800，用于基于样本图像对该深度神经网络进行训练，该样本图像包括服饰并标注有服饰的参考关键点坐标。该网络训练模块800可以在深度神经网络训练完成后去除。
该实施例中，深度神经网络具体以样本图像作为图像，关键点检测模块804对样本图像进行服饰关键点检测后输出样本图像的预测关键点坐标。相应地，网络训练模块800，具体用于基于样本图像的预测关键点坐标和参考关键点坐标，采用梯度更新或迭代更新的方式对深度神经网络进行训练。
在另一个可选的示例中，样本图像还可以标注有样本图像与该样本图像中服饰关注部位之间的尺寸比例，作为参考尺寸比例。相应地，网络训练模块800，还用于在获得该样本图像中服饰关注部位的特征后，计算该样本图像与样本图像中服饰关注部位的特征之间的尺寸比例，作为预测尺寸比例；基于该样本图像的预测关键点坐标和参考关键点坐标，采用梯度更新或迭代更新的方式对深度神经网络进行训练时，具体用于基于样本图像的预测关键点坐标和参考关键点坐标、以及预测尺寸比例与参考尺寸比例，采用梯度更新或迭代更新的方式对深度神经网络进行训练。
图10为本发明服饰关键点的检测装置一个应用实施例的结构示意图。该实施例的服饰关键点的检测装置可用于实现图6所示应用实施例的流程。如图10所示，与上述实施例相比，该实施例的检测装置还包括：
特征提取模块808，用于从特征处理模块806获得的目标特征中提取服饰的全局特征，并从服饰的关键点坐标对应的关键点处提取服饰的局部特征。
服饰识别模块810，用于结合服饰的全局特征与从各关键点的位置处提取的局部特征进行服饰识别，获得服饰的识别结果。
其中，服饰的识别结果例如可以包括：服饰的分类和细节属性。分类例如上装、和服、西装、卫衣、毛衣等，细节属性例如各种花式、纹理、领口类型、袖口类型等，细节属性的特征例如荷花边袖口、V型领等。另外，获得服饰的识别结果后，在进一步应用中，还可以根据服饰的识别结果，例如从各种电商网站，检索与该服饰的款式相同的服饰相关信息。
图11为本发明计算设备一个实施例的结构示意图。如图11所示，该实施例的计算设备包括：
服饰关键点的检测装置10，具体可以采用图10所示实施例的服饰关键点的检测装置实现。
检索模块20，用于根据服饰的识别结果，检索与服饰的款式相同的服饰相关信息。
图12为本发明计算设备另一个实施例的结构示意图。如图12所示，该实施例的计算设备包括：
服饰关键点的检测装置10，具体可以采用本发明上述任一实施例的服饰关键点的检测装置实现。
图像处理模块30，用于在服饰关键点的检测装置10获得第一图像中服饰的关键点坐标和第二图像中服饰的关键点坐标之后，基于第一图像中服饰的关键点坐标和第二图像中服饰的关键点坐标对第一图像中服饰和/或第二图像中服饰进行变形处理，以使第一图像中服饰与第二图像中服饰的至少一个关键点匹配；以经过变形处理的第一图像中服饰和第二图像中服饰中的其中一个服饰替换另一个服饰。
本发明实施例还提供了一种电子设备，可以包括本发明上述任一实施例的服饰关键点的检测装置、或者计算设备。
本发明实施例还提供的另一种电子设备，包括：
处理器和本发明上述任一实施例的服饰关键点的检测装置；
在处理器运行服饰关键点的检测装置时，本发明上述任一实施例服饰关键点的检测装置中的模块被运行。
本发明实施例还提供的又一种电子设备，包括：
处理器和本发明上述任一实施例的计算设备；
在处理器运行计算设备时，该计算设备中的模块被运行。
本发明实施例还提供的再一种电子设备，包括：处理器、通信接口、存储器以及通信总线；处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器用于存放至少一指令；指令使处理器执行本发明上述任一服饰关键点的检测方法中步骤的操作。
本发明实施例还提供的还一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于与存储器通信以执行可执行指令从而完成本发明上述任一实施例服饰关键点的检测方法的操作。
本发明上述各实施例的电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。
此外，本发明实施例还提供了一种计算机存储介质，用于存储计算机可读取的指令，该指令被执行时实现本发明上述任一实施例的服饰关键点的检测方法的操作。
此外，本发明实施例还提供了一种计算机程序，包括计算机可读取的指令，当该计算机可读取的指令在设备中运行时，设备中的处理器执行用于实现本发明上述任一实施例服饰关键点的检测方法中的步骤的可执行指令。
图13为本发明电子设备一个实施例的结构示意图。下面参考图13，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图13所示，该电子设备包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)1001，和/或一个或多个图像处理器(GPU)1013等，处理器可以根据存储在只读存储器(ROM)1002中的可执行指令或者从存储部分1008加载到随机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处理。通信部1012可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器1002和/或随机访问存储器1003中通信以执行可执行指令，通过总线1004与通信部1012相连、并经通信部1012与其他目标设备通信，从而完成本申请实施例提供的任一服饰关键点的检测方法对应的操作，例如，分别通过多组卷积神经网络对图像进行特征提取，获得多组特征；其中，所述多组卷积神经网络中各组卷积神经网络的卷积核大小不同；基于所述多组特征对所述图像进行服饰关键点检测。
此外，在RAM 1003中，还可存储有装置操作所需的各种程序和数据。CPU1001、ROM1002以及RAM1003通过总线1004彼此相连。在有RAM1003的情况下，ROM1002为可选模块。RAM1003存储可执行指令，或在运行时向ROM1002中写入可执行指令，可执行指令使处理器1001执行上述通信方法对应的操作。输入/输出(I/O)接口1005也连接至总线1004。通信部1012可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1011也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1011上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
需要说明的，如图13所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图13的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，分别通过多组卷积神经网络对图像进行特征提取，获得多组特征；其中，所述多组卷积神经网络中各组卷积神经网络的卷积核大小不同；基于所述多组特征对所述图像进行服饰关键点检测。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种服饰关键点的检测方法，其特征在于，包括：
分别通过多组卷积神经网络对图像进行特征提取，获得多组特征；其中，所述多组卷积神经网络中各组卷积神经网络的卷积核大小不同；
基于所述多组特征对所述图像进行服饰关键点检测。
2.一种服饰关键点的检测装置，其特征在于，包括：
多组卷积神经网络，用于分别对图像进行特征提取，获得多组特征；其中，所述多组卷积神经网络中各组卷积神经网络的卷积核大小不同；
关键点检测模块，用于基于所述多组特征对所述图像进行服饰关键点检测。
3.一种计算设备，其特征在于，包括：
权利要求2所述的服饰关键点的检测装置；和
检索模块，用于根据所述服饰关键点的检测装置输出的服饰的识别结果，检索与所述服饰的款式相同的服饰相关信息；或者，图像处理模块，用于在所述服饰关键点的检测装置获得第一图像中服饰的关键点坐标和第二图像中服饰的关键点坐标之后，基于所述第一图像中服饰的关键点坐标和所述第二图像中服饰的关键点坐标对所述第一图像中服饰和/或所述第二图像中服饰进行变形处理，以使所述第一图像中服饰与所述第二图像中服饰的至少一个关键点匹配；以经过变形处理的第一图像中服饰和所述第二图像中服饰中的其中一个服饰替换另一个服饰。
4.一种电子设备，其特征在于，包括：权利要求2所述的服饰关键点的检测装置、或者权利要求3所述的计算设备。
5.一种电子设备，其特征在于，包括：
处理器和权利要求2所述的服饰关键点的检测装置；
在处理器运行所述服饰关键点的检测装置时权利要求2所述的服饰关键点的检测装置中的模块被运行。
6.一种电子设备，其特征在于，包括：
处理器和权利要求3所述的计算设备；
在处理器运行所述计算设备时，权利要求3所述的计算设备中的模块被运行。
7.一种电子设备，其特征在于，包括：处理器、通信接口、存储器以及通信总线；所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一指令；所述指令使所述处理器执行权利要求1所述服饰关键点的检测方法中步骤的操作。
8.一种计算机系统，其特征在于，包括：
存储器，存储可执行指令；
一个或多个处理器，与存储器通信以执行可执行指令从而完成权利要求1所述服饰关键点的检测方法中步骤的操作。
9.一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1所述服饰关键点的检测方法中步骤的指令。
10.一种计算机可读介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时实现权利要求1所述服饰关键点的检测方法中步骤的操作。
CN201710562574.1A 2017-07-11 2017-07-11 服饰关键点的检测方法和装置、电子设备、存储介质和程序 Active CN108229496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710562574.1A CN108229496B (zh) 2017-07-11 2017-07-11 服饰关键点的检测方法和装置、电子设备、存储介质和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710562574.1A CN108229496B (zh) 2017-07-11 2017-07-11 服饰关键点的检测方法和装置、电子设备、存储介质和程序

Publications (2)

Publication Number Publication Date
CN108229496A true CN108229496A (zh) 2018-06-29
CN108229496B CN108229496B (zh) 2021-07-06

Family

ID=62656607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710562574.1A Active CN108229496B (zh) 2017-07-11 2017-07-11 服饰关键点的检测方法和装置、电子设备、存储介质和程序

Country Status (1)

Country Link
CN (1) CN108229496B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325952A (zh) * 2018-09-17 2019-02-12 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法
CN109344841A (zh) * 2018-08-10 2019-02-15 北京华捷艾米科技有限公司 一种服装识别方法及装置
CN109409382A (zh) * 2018-09-21 2019-03-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109543700A (zh) * 2018-11-29 2019-03-29 中山大学 一种抗遮挡的服饰关键点检测方法
CN109558837A (zh) * 2018-11-28 2019-04-02 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN109559345A (zh) * 2018-10-19 2019-04-02 中山大学 一种服装关键点定位系统及其训练、定位方法
CN109784350A (zh) * 2018-12-29 2019-05-21 天津大学 结合空洞卷积与级联金字塔网络的服饰关键点定位方法
CN110070148A (zh) * 2019-03-15 2019-07-30 北京木业邦科技有限公司 一种林业产品特征分析方法、装置及计算机可读介质
CN110336944A (zh) * 2019-07-05 2019-10-15 杭州时趣信息技术有限公司 自动拍摄并分析服装图像的方法、装置、设备及系统
CN110610499A (zh) * 2019-08-29 2019-12-24 杭州光云科技股份有限公司 一种图像中自动裁取局部细节图的方法
CN110942056A (zh) * 2018-09-21 2020-03-31 深圳云天励飞技术有限公司 服饰关键点定位方法、装置、电子设备及介质
CN111027549A (zh) * 2019-12-10 2020-04-17 北京服装学院 一种针对女上装关键点识别方法
CN111581414A (zh) * 2019-02-18 2020-08-25 北京京东尚科信息技术有限公司 服饰识别、分类及检索的方法、装置、设备及存储介质
CN112580652A (zh) * 2020-12-24 2021-03-30 咪咕文化科技有限公司 虚拟装饰方法、装置、电子设备及存储介质
US11393186B2 (en) * 2019-02-28 2022-07-19 Canon Kabushiki Kaisha Apparatus and method for detecting objects using key point sets

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004094945A1 (ja) * 2003-03-04 2004-11-04 National Institute Of Advanced Industrial Science And Technology ランドマーク抽出装置およびランドマーク抽出方法
CN106548179A (zh) * 2016-09-29 2017-03-29 北京市商汤科技开发有限公司 物体和服饰关键点的检测方法、装置和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004094945A1 (ja) * 2003-03-04 2004-11-04 National Institute Of Advanced Industrial Science And Technology ランドマーク抽出装置およびランドマーク抽出方法
CN106548179A (zh) * 2016-09-29 2017-03-29 北京市商汤科技开发有限公司 物体和服饰关键点的检测方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FISHER YU, VLADLEN KOLTUN: "Multi-scale Context Aggregation by Dilated Convolutions", 《IN INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS》 *
MAX JADERBERG, KAREN SIMONYAN, ANDREW ZISSERMAN, KORAY KAVUKCUOG: "Spatial Transformer Networks", 《IN CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *
ZIWEI LIU, SIJIE YAN, PING LUO, XIAOGANG WANG, XIAOOU TANG: "Fashion Landmark Detection in the Wild", 《IN EUROPE CONFERENCE ON COMPUTER VISION》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344841A (zh) * 2018-08-10 2019-02-15 北京华捷艾米科技有限公司 一种服装识别方法及装置
CN109344841B (zh) * 2018-08-10 2021-11-30 北京华捷艾米科技有限公司 一种服装识别方法及装置
CN109325952A (zh) * 2018-09-17 2019-02-12 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法
CN109325952B (zh) * 2018-09-17 2022-07-08 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法
CN110942056A (zh) * 2018-09-21 2020-03-31 深圳云天励飞技术有限公司 服饰关键点定位方法、装置、电子设备及介质
CN109409382A (zh) * 2018-09-21 2019-03-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109559345A (zh) * 2018-10-19 2019-04-02 中山大学 一种服装关键点定位系统及其训练、定位方法
CN109559345B (zh) * 2018-10-19 2023-04-11 中山大学 一种服装关键点定位系统及其训练、定位方法
CN109558837A (zh) * 2018-11-28 2019-04-02 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN109558837B (zh) * 2018-11-28 2024-03-22 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN109543700B (zh) * 2018-11-29 2022-12-02 中山大学 一种抗遮挡的服饰关键点检测方法
CN109543700A (zh) * 2018-11-29 2019-03-29 中山大学 一种抗遮挡的服饰关键点检测方法
CN109784350A (zh) * 2018-12-29 2019-05-21 天津大学 结合空洞卷积与级联金字塔网络的服饰关键点定位方法
CN111581414A (zh) * 2019-02-18 2020-08-25 北京京东尚科信息技术有限公司 服饰识别、分类及检索的方法、装置、设备及存储介质
CN111581414B (zh) * 2019-02-18 2024-01-16 北京京东尚科信息技术有限公司 服饰识别、分类及检索的方法、装置、设备及存储介质
US11977604B2 (en) 2019-02-18 2024-05-07 Beijing Jingdong Shangke Information Tech Co., Ltd Method, device and apparatus for recognizing, categorizing and searching for garment, and storage medium
US11393186B2 (en) * 2019-02-28 2022-07-19 Canon Kabushiki Kaisha Apparatus and method for detecting objects using key point sets
CN110070148B (zh) * 2019-03-15 2021-06-29 北京木业邦科技有限公司 一种林业产品特征分析方法、装置及计算机可读介质
CN110070148A (zh) * 2019-03-15 2019-07-30 北京木业邦科技有限公司 一种林业产品特征分析方法、装置及计算机可读介质
CN110336944B (zh) * 2019-07-05 2021-05-04 杭州时趣信息技术有限公司 自动拍摄并分析服装图像的方法、装置、设备及系统
CN110336944A (zh) * 2019-07-05 2019-10-15 杭州时趣信息技术有限公司 自动拍摄并分析服装图像的方法、装置、设备及系统
CN110610499A (zh) * 2019-08-29 2019-12-24 杭州光云科技股份有限公司 一种图像中自动裁取局部细节图的方法
CN111027549A (zh) * 2019-12-10 2020-04-17 北京服装学院 一种针对女上装关键点识别方法
CN112580652A (zh) * 2020-12-24 2021-03-30 咪咕文化科技有限公司 虚拟装饰方法、装置、电子设备及存储介质
CN112580652B (zh) * 2020-12-24 2024-04-09 咪咕文化科技有限公司 虚拟装饰方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108229496B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN108229496A (zh) 服饰关键点的检测方法和装置、电子设备、存储介质和程序
Osman et al. Star: Sparse trained articulated human body regressor
US11030782B2 (en) Accurately generating virtual try-on images utilizing a unified neural network framework
CN111787242B (zh) 用于虚拟试衣的方法和装置
CN109754417A (zh) 从图像中无监督学习几何结构的系统与方法
CN106548179B (zh) 物体和服饰关键点的检测方法、装置和电子设备
JP6728487B2 (ja) 電子装置及びその制御方法
CN108734749A (zh) 图像的视觉风格变换
CN115735227A (zh) 反转用于姿态估计的神经辐射场
CN108229559A (zh) 服饰检测方法、装置、电子设备、程序和介质
CN108012091A (zh) 图像处理方法、装置、设备及其存储介质
Wang et al. Seggpt: Towards segmenting everything in context
US20210342496A1 (en) Geometry-aware interactive design
CN108154153A (zh) 场景分析方法和系统、电子设备
Governi et al. Digital bas-relief design: A novel shape from shading-based method
Gopi et al. MR image reconstruction based on iterative split Bregman algorithm and nonlocal total variation
Casati et al. Inverse elastic cloth design with contact and friction
Lu et al. Parametric shape estimation of human body under wide clothing
CN114004772A (zh) 图像处理方法、图像合成模型的确定方法、系统及设备
Saint et al. 3dbooster: 3d body shape and texture recovery
CN108830139A (zh) 人体关键点的深度前后关系预测方法、装置、介质及设备
KR20180136707A (ko) 볼륨 렌더링 장치 및 방법
US11778162B2 (en) Method and system for draping a 3D garment on a 3D human body
Sonn et al. Ricci flow for image processing
CN113223128B (zh) 用于生成图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant