CN109559345B - 一种服装关键点定位系统及其训练、定位方法 - Google Patents

一种服装关键点定位系统及其训练、定位方法 Download PDF

Info

Publication number
CN109559345B
CN109559345B CN201811222407.3A CN201811222407A CN109559345B CN 109559345 B CN109559345 B CN 109559345B CN 201811222407 A CN201811222407 A CN 201811222407A CN 109559345 B CN109559345 B CN 109559345B
Authority
CN
China
Prior art keywords
graph
reasoning
convolution
hierarchical
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811222407.3A
Other languages
English (en)
Other versions
CN109559345A (zh
Inventor
林倞
余伟江
梁小丹
龚科
王青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201811222407.3A priority Critical patent/CN109559345B/zh
Publication of CN109559345A publication Critical patent/CN109559345A/zh
Application granted granted Critical
Publication of CN109559345B publication Critical patent/CN109559345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种服装关键点定位系统及其训练、定位方法，该系统包括：基础卷积网络，对输入的服装训练图像或服装测试图像提取卷积特征图；堆叠式层级布局知识推理单元，包括多个层级布局知识推理模块，用于于训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图‑点转换、节点知识推理和点‑图转换，利用目标函数对基础卷积网络和层级布局知识推理单元进行协同训练；于测试时，调用层级布局知识推理单元对提取的卷积特征图进行图‑点转换、节点知识推理和点‑图转换，实现知识推理和特征增强；后处理模块，用于将层级布局知识推理单元输出的卷积特征图转换为特征定位图，基于特征定位图预测和计算出服装关键点的位置。

Description

一种服装关键点定位系统及其训练、定位方法
技术领域
本发明涉及计算机视觉、模式识别领域，特别是涉及一种基于堆叠式层级布局知识推理的服装关键点定位系统及其训练、定位方法。
背景技术
图像检测作为一个计算机视觉领域的基础问题在研究领域中得到了日益增加的关注。近来，服装关键点定位作为图像检测领域的子问题，对电子商务领域的服装检索、换装、识别等应用的辅助研究引起了热点关注。
目前，随着深度卷积神经网络(DCNNs)的发展，该类问题得到了很大的进步。现有的方法大多数是利用端到端的深度卷积神经网络的方法直接预测出服装关键点的坐标，该类方法缺少对网络的可解释性，同时也缺乏利用关键点相互之间的位置信息来进行建模。
近来在预测定位关键点的方面有了许多的研究方法。一种直接的方法是通过DCNNs，采用端到端的方式进行建模关键点的位置信息，虽然这种方法得益于深度卷积网络的深层建模能力，但缺乏可解释性，对数据依赖敏感，同时在一些具有复杂背景的场景下表现差强人意；另一种引入语法建模的方法是通过对服装关键点之间进行语法建模，比如建立领口点的对称语法，然后利用该语法形成的约束进行引导网络学习，这种引入外部自定义的语法进行建模的方法可以有效提升定位关键点的性能并增强了网络的可解释性，但是该方法没有引入知识来建模点的空间上下文语义关联，比如袖子点属于上半身语义关联。缺乏这种关联容易导致在一些复杂模糊的场景下，上下身的服装关键点预测混乱。
另外，目前的方法并没有对卷积特征图和图节点特征建模一种有效的转换方法，让知识图谱中节点的知识推理操作无法有效地和卷积网络进行无缝衔接，从而无法达到协同训练的目的。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种服装关键点定位系统及其训练、定位方法，以基于堆叠式层级布局知识推理实现服装关键点定位的目的。
为达上述及其它目的，本发明提出一种服装关键点定位系统，包括：
基础卷积网络，用于对输入的服装训练图像或服装测试图像提取卷积特征图；
堆叠式层级布局知识推理单元，包括多个层级布局知识推理模块，用于于训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，利用目标函数对所述基础卷积网络和堆叠式层级布局知识推理单元进行协同训练；于测试时，调用多个层级布局知识推理模块对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，实现知识推理和特征增强；
后处理模块，用于将所述堆叠式层级布局知识推理单元输出的卷积特征图转换为特征定位图，基于生成的特征定位图来预测和计算出服装关键点的位置。
优选地，所述堆叠式层级布局知识推理单元包括：
图-点子模块，用于将所述基础卷积网络输出的卷积特征图转换为图节点特征；
层级推理子模块，用于利用服装关键点空间布局关系的信息结合图节点特征进行层级布局知识推理，丰富图节点特征的层级语义信息，得到进化增强后的图节点特征；
点-图子模块，用于将所述层级推理子模块输出的图节点特征转换为卷积特征图。
优选地，所述层级推理子模块分为至底向上的图聚类式推理和至顶向下的图反卷积式推理，所述图聚类式推理过程分多个层级，包括从叶子节点间的推理聚类到中间节点间的推理、中间节点内部的聚类和推理、中间节点间的推理聚类到根节点的推理，所述图反卷积式推理包括从根节点的推理反卷积到到中间节点间的推理，最后到叶子节点间的推理，最后通过结合两类推理的层级输出来建模全局结构语义。
优选地，所述至底向上的图聚类式推理是在生成更高层语义图的同时，对各个层的语义图进行图节点信息传播操作，将底层局部布局信息聚类到高层语义的全局节点，增强全局关系，所述图聚类式推理包括图节点聚类和图节点信息传播两个操作。
优选地，所述至顶向下的图反卷积式推理在生成更底层语义图的同时，对各个层的语义图进行图节点信息传播操作，将高层全局语义传播到各个底层节点，增强局部布局关系和全局布局关系的关联，所述图反卷积式推理包括图节点反卷积操作和图节点信息传播两个操作。
优选地，于每个层级布局知识推理模块之间，利用一个1×1卷积核和非线性函数ReLU对模块的输入做数据维度变换，将输入维度变换到和输出的维度一致，并利用矩阵加法来融合输入和输出，以降低数据偏差。
优选地，于每个层级布局知识推理模块之间，利用一多尺度特征模块来处理层级布局知识推理模块之间的卷积特征图，以为系统引入更多尺度、更丰富的特征信息。
为达到上述目的，本发明还提供一种服装关键点定位系统的训练方法，包括如下步骤：
步骤S1，利用基础卷积网络提取输入的服装训练图像的卷积特征图。
步骤S2，利用多个层级布局知识推理模块结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换；
步骤S3，利用目标函数对基础卷积网络和层级布局知识推理模块进行协同训练。
优选地，步骤S3进一步包括：
设计服装关键点关系图；
设计目标函数；
利用服装关键点关系图和目标函数来引导基础卷积网络和层级布局知识推理模块进行协调训练。
为达到上述目的，本发明还提供一种服装关键点定位方法，包括如下步骤：
步骤1，输入包含服装区域的图片；
步骤2，调用训练好的基础卷积网络对输入图片进行卷积特征图的提取；
步骤3，调用堆叠式的层级布局知识推理单元对卷积特征图进行图-点转换和图节点知识推理，输出进化后的卷积特征图；
步骤4，利用后处理模块将进化后的卷积特征图转换为特征定位图，以用于服装关键点的定位。
与现有技术相比，本发明一种服装关键点定位系统及其训练、定位方法，基于堆叠式层级布局知识推理框架，将服装关键点空间布局关系信息嵌入到基础卷积网络来引导、定位服装关键点，相比现有技术的基于多阶段预测、空间变换的注意力机制以及利用语法模型约束关键点定位的服装关键点定位方法，本发明不仅具有更高的定位精度和可解释性，而且提供了一种将层级知识图谱引入卷积网络进行层级推理的机制。
附图说明
图1为本发明一种服装关键点定位系统的系统架构图；
图2为本发明具体实施例中层级布局知识推理模块的细部结构图；
图3为本发明一种服装关键点定位系统的训练方法的步骤流程图；
图4为本发明一种服装关键点定位方法的步骤流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种服装关键点定位系统的系统架构图。如图1所示，本发明一种服装关键点定位系统，包括：基础卷积网络1、堆叠式层级布局知识推理单元2以及后处理模块3。
其中，基础卷积网络1用于对输入的服装训练图像或服装测试图像提取卷积特征图。
具体地，输入图片首先缩放到固定大小后，输入到基础卷积网络1，得到卷积特征图F，具有H×W×C大小，其中H，W，C分别表示卷积特征图的高、宽和通道数，记作F∈RH×W×C。在本发明具体实施例中，基础卷积网络1的输入为服装图像，输出为多个卷积特征图。
堆叠式层级布局知识推理单元2，包括多个层级布局知识推理模块，用于于训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，利用目标函数对基础卷积网络1和堆叠式层级布局知识推理单元2进行协同训练；于测试时，调用多个层级布局知识推理模块对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，实现知识推理和特征增强。
基于卷积特征图F，在进行层级推理之前，先预定义图的各类符号的表示。根据服装关键点的类别和特征，将关键点定义为图节点，将节点间的关系定义为图的边，利用图节点和图节点的边可以表示为一个知识图谱
Figure BDA0001835104950000051
其中
Figure BDA0001835104950000052
表示节点集合，ε表示节点边集合，其中节点集合
Figure BDA0001835104950000053
包括叶子节点集合
Figure BDA0001835104950000054
(比如左领子点，右袖子点)和中间节点集合
Figure BDA0001835104950000055
(比如领子点，袖子点)，定义叶子节点特征
Figure BDA0001835104950000061
中间节点特征
Figure BDA0001835104950000062
其中Nleaf表示叶子节点数目，Nmiddle表示中间节点数目，d表示每个节点的特征维度。边集合ε表示节点之间的连接关系，包括叶子节点边集合εleaf和中间节点边集合εmiddle。根据叶子节点间的连接情况εleaf，定义了叶子节点邻接矩阵
Figure BDA0001835104950000063
其中0表示没有连接关系，1表示有连接关系。同理，根据中间节点边集εmiddle也定义了中间节点邻接矩阵Amiddle。
具体地，每个层级布局知识推理模块都包含如下三个子模块：
图-点子模块201，用于将基础卷积网络1输出的卷积特征图转换为图节点特征。具体地，图-点子模块201将获得的卷积特征图转换为知识图节点特征。图-点子模块201的输入是基础卷积网络1中输出的卷积特征图，其输出是知识图节点特征。每个知识图节点特征就是一个服装关键点的特征表示。具体地说，图-点子模块201将多通道的卷积特征图F转换为图叶子节点特征
Figure BDA0001835104950000064
具体操作如下：
Xleaf＝σ(Φ(FWm)TFWt)
其中
Figure BDA0001835104950000065
和Wt∈RC×d是两个可训练的变换矩阵，经过矩阵乘法和非线性变换σ将卷积特征图F变换成图叶子节点特征Xleaf，其中Φ表示对矩阵行或列进行归一化操作Softmax，σ表示非线性函数ReLU。
层级推理子模块202，用于利用服装关键点空间布局关系的信息结合图节点特征进行层级布局知识推理，包括建模各个叶子节点的布局关系，各个中间节点的布局关系等，丰富图节点特征的层级语义信息，得到进化增强后的图节点特征。每个层级推理子模块包含图节点聚类操作、图节点反卷积操作和图节点信息传播操作。
具体地说，层级推理子模块202通过图-点子模块201得到输入图节点特征Xleaf，层级推理子模块202主要分成至底向上的图聚类式推理和至顶向下的图反卷积式推理，两类推理的过程可见图2。图聚类式推理过程分多个层级，主要从叶子节点间的推理聚类到中间节点间的推理、中间节点内部的聚类和推理、中间节点间的推理聚类到根节点的推理。相比图聚类式推理的过程，图反卷积式推理是一个相反的过程，主要是从根节点的推理反卷积到到中间节点间的推理，最后到叶子节点间的推理，最后通过结合两类推理的层级输出来建模全局结构语义。
1)至底向上的图聚类式推理过程：该推理过程主要是生成更高层语义图的同时，对各个层的语义图进行图节点信息传播操作，将底层局部布局信息聚类到高层语义的全局节点，增强全局关系。该过程主要包括图节点聚类和图节点信息传播两个操作。由于整个图聚类式推理过程是由这两个操作构成，并且该操作在整个推理过程中的各个层级类似，所以这里以从叶子节点到中间节点这个层级为例进行介绍。给定输入叶子节点特征Xleaf和根据关键点空间布局关系信息预先定义的叶子节点邻接矩阵Aleaf，该层级经过两个操作输出中间节点特征Xmiddle和中间节点邻接矩阵Amiddle，具体的操作过程如下：
Figure BDA0001835104950000071
Figure BDA0001835104950000072
其中输入Xleaf先利用Aleaf和可训练的传播矩阵Wh∈Rd×d在预先定义好的叶子节点空间布局关系的引导约束下，进行叶子节点间的信息传播，这里的操作就是图节点信息传播操作，该操作不会改变节点的数目和布局；接下来分别利用两个可训练的图聚类矩阵
Figure BDA0001835104950000073
和
Figure BDA0001835104950000074
对进行完信息传播的叶子节点和叶子节点邻接矩阵Aleaf进行图节点聚类操作，从而生成中间节点特征Xmiddle和中间节点邻接矩阵Amiddle，最后再利用一次图节点信息传播操作对生成的Xmiddle和Amiddle进行隐性地约束和学习，得到更加合理的高层语义的知识图谱。其中σ表示非线性函数ReLU。至底向上的图聚类式推理过程就是一个不断得到高层语义知识图片的过程，在该过程中不断对各个层级的语义图进行学习和归纳，从而建模其从底层节点到高层间的空间布局关系和语义归属关系。
2)至顶向下的图反卷积式推理过程：其输入主要是从图聚类式推理得到，如图2所示，该过程生成更底层语义图的同时，对各个层的语义图进行图节点信息传播操作，将高层全局语义传播到各个底层节点，增强局部布局关系和全局布局关系的关联，该过程主要包括图节点反卷积操作和图节点信息传播两个操作。由于整个图反卷积推理过程是由这两个操作构成，并且该操作在整个推理过程中的各个层级类似，所以这里以从中间节点到叶子节点这个层级为例进行介绍：给定从高层语义图获得的中间节点特征Xmiddle和中间节点邻接矩阵Amiddle，采用类似图聚类推理过程的两个公式，生成叶子节点特征Xleaf和对应的邻接矩阵Aleaf。为了进一步结合全局和局部的语义和节点特征，将图聚类推理的各层结果跳接到图反卷积推理的各个层，将对应层的结果利用矩阵加法进行融合起来，这样可以增强节点特征的表征能力，同时降低数据偏差性，有利于更好地训练。
点-图子模块203，用于将层级推理子模块202的输出图节点特征转换为卷积特征图。
在本发明具体实施例中，点-图子模块203是对进化后的叶子节点特征转换成卷积特征图。在这个子模块中，输入卷积特征图F∈RH×W×C和从图反卷积推理过程中得到的最终进化后的叶子节点特征Xleaf，经过点-图子模块203来生成最终增强后的卷积特征图Fr。首先先对F和Xleaf做维度转换，F∈RHW×C→F∈RHW×N×C，
Figure BDA0001835104950000081
对维度转换后的Xleaf和F进行维度串接，得到更加高维丰富的特征表示
Figure BDA0001835104950000082
最后利用Xa、Xleaf和F完成点-图子模块的操作，生成增强后的卷积特征图Fr，具体操作的数学表示如下：、
Fr＝σ(Φ(XaWm′)σ(XleafWt′))+F
其中Wt′∈Rd×C和Wm′∈RC+d都是可训练的转换矩阵，最后采用一个矩阵加法将一开始的卷积特征图F和增强后的卷积特征图Fr进行结合来达到降低数据偏差，更有利于训练。其中σ表示非线性函数ReLU，Φ表示对矩阵行或列的进行归一化的函数Softmax。
后处理模块3，用于将层级布局知识推理单元2输出的卷积特征图转换为特征定位图，基于生成的特征定位图来预测和计算出服装关键点的位置。在本发明具体实施例中，所述后处理模块3采用1×1卷积核结合非线性函数Sigmoid，对每个输出进行像素级别的归一化，使其更加方便预测出像素级别的位置信息。
较佳地，在每个层级布局知识推理模块之间，对于模块的输入，本发明利用一个1×1卷积核和非线性函数ReLU对模块的输入做数据维度变换，将输入维度变换到和输出的维度一致，然后利用矩阵加法来融合输入和输出，达到降低数据偏差的目的。
较佳地，与每个层级布局知识推理模块之间，本发明还利用一多尺度特征模块来处理层级布局知识推理模块之间的卷积特征图，为模型引入更多尺度、更丰富的特征信息，达到多尺度丰富特征的表示能力，从而降低训练的难度。
图3为本发明一种服装关键点定位系统的训练方法的步骤流程图。如图3所示，本发明一种服装关键点定位系统的训练方法，包括如下步骤：
步骤S301，利用基础卷积网络提取输入的服装训练图像的卷积特征图。
步骤S302，利用多个层级布局知识推理模块结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换；
步骤S303，利用目标函数对基础卷积网络和层级布局知识推理模块进行协同训练。
具体地，步骤S303进一步包括：
步骤S302a，设计服装关键点关系图；
步骤S302b：设计目标函数；
步骤302c，利用服装关键点关系图和目标函数来引导基础卷积网络和层级布局知识推理模块进行协调训练。在本发明具体实施例中，利用均方误差函数作为协同训练的目标函数，以Adam为优化函数，利用随机梯度下降算法进行整体端到端的训练。
图4为本发明一种服装关键点定位方法的步骤流程图。如图4所示，本发明一种服装关键点定位方法，包括如下步骤：
步骤S401，输入包含服装区域的图片；
步骤S402，调用训练好的基础卷积网络对输入图片进行卷积特征图的提取；
步骤S403，调用堆叠式的层级布局知识推理单元对卷积特征图进行图-点转换和图节点知识推理，输出进化后的卷积特征图；
步骤S404，利用后处理模块将进化后的卷积特征图转换为特征定位图，以用于服装关键点的定位。
综上所述，本发明一种服装关键点定位系统及其训练、定位方法，基于堆叠式层级布局知识推理框架，将服装关键点空间布局关系信息嵌入到基础卷积网络来引导、定位服装关键点，相比现有技术的基于多阶段预测、空间变换的注意力机制以及利用语法模型约束关键点定位的服装关键点定位方法，本发明不仅具有更高的定位精度和可解释性，而且提供了一种将层级知识图谱引入卷积网络进行层级推理的机制。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (5)

1.一种服装关键点定位系统，包括：
基础卷积网络，用于对输入的服装训练图像或服装测试图像提取卷积特征图；
堆叠式层级布局知识推理单元，包括多个层级布局知识推理模块，用于在训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，利用目标函数对所述基础卷积网络和堆叠式层级布局知识推理单元进行协同训练；于测试时，调用多个层级布局知识推理模块对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，实现知识推理和特征增强；
后处理模块，用于将所述堆叠式层级布局知识推理单元输出的卷积特征图转换为特征定位图，基于生成的特征定位图来预测和计算出服装关键点的位置；
所述堆叠式层级布局知识推理单元包括：
图-点子模块，用于将所述基础卷积网络输出的卷积特征图转换为图节点特征；
层级推理子模块，用于利用服装关键点空间布局关系的信息结合所述图节点特征进行层级布局知识推理，丰富所述图节点特征的层级语义信息，得到进化增强后的图节点特征；
点-图子模块，用于将所述层级推理子模块输出的图节点特征转换为卷积特征图；
所述层级推理子模块包括至底向上的图聚类式推理和至顶向下的图反卷积式推理，所述图聚类式推理过程分多个层级，包括从叶子节点间的推理聚类到中间节点间的推理、中间节点内部的聚类和推理、中间节点间的推理聚类到根节点的推理，所述图反卷积式推理包括从根节点的推理反卷积到中间节点间的推理，最后到叶子节点间的推理，最后通过结合两类推理的层级输出来建模全局结构语义。
2.如权利要求1所述的一种服装关键点定位系统，其特征在于：所述至底向上的图聚类式推理是在生成更高层语义图的同时，对各个层的语义图进行图节点信息传播操作，将底层局部布局信息聚类到高层语义的全局节点，增强全局关系，所述图聚类式推理包括图节点聚类和图节点信息传播两个操作。
3.如权利要求1所述的一种服装关键点定位系统，其特征在于：所述至顶向下的图反卷积式推理在生成更底层语义图的同时，对各个层的语义图进行图节点信息传播操作，将高层全局语义传播到各个底层节点，增强局部布局关系和全局布局关系的关联，所述图反卷积式推理包括图节点反卷积操作和图节点信息传播两个操作。
4.如权利要求1所述的一种服装关键点定位系统，其特征在于：于每个层级布局知识推理模块之间，利用一个1×1卷积核和非线性函数对模块的输入做数据维度变换，将输入维度变换到和输出的维度一致，并利用矩阵加法来融合输入和输出，以降低数据偏差。
5.如权利要求1所述的一种服装关键点定位系统，其特征在于：于每个层级布局知识推理模块之间，利用一多尺度特征模块来处理层级布局知识推理模块之间的卷积特征图，为系统引入更多尺度、更丰富的特征信息。
CN201811222407.3A 2018-10-19 2018-10-19 一种服装关键点定位系统及其训练、定位方法 Active CN109559345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811222407.3A CN109559345B (zh) 2018-10-19 2018-10-19 一种服装关键点定位系统及其训练、定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811222407.3A CN109559345B (zh) 2018-10-19 2018-10-19 一种服装关键点定位系统及其训练、定位方法

Publications (2)

Publication Number Publication Date
CN109559345A CN109559345A (zh) 2019-04-02
CN109559345B true CN109559345B (zh) 2023-04-11

Family

ID=65865071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811222407.3A Active CN109559345B (zh) 2018-10-19 2018-10-19 一种服装关键点定位系统及其训练、定位方法

Country Status (1)

Country Link
CN (1) CN109559345B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418239B (zh) * 2019-08-21 2023-01-24 青岛海尔智能技术研发有限公司 用于定位服饰关键点的方法、装置和叠衣机
CN112967284A (zh) * 2021-04-30 2021-06-15 平安科技（深圳）有限公司 血管图像分段分析方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108154235A (zh) * 2017-12-04 2018-06-12 盈盛资讯科技有限公司 一种图像问答推理方法、系统及装置
CN108229496A (zh) * 2017-07-11 2018-06-29 北京市商汤科技开发有限公司 服饰关键点的检测方法和装置、电子设备、存储介质和程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108229496A (zh) * 2017-07-11 2018-06-29 北京市商汤科技开发有限公司 服饰关键点的检测方法和装置、电子设备、存储介质和程序
CN108154235A (zh) * 2017-12-04 2018-06-12 盈盛资讯科技有限公司 一种图像问答推理方法、系统及装置

Also Published As

Publication number Publication date
CN109559345A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
Yang et al. Imbalance aware lithography hotspot detection: a deep learning approach
CN114529825B (zh) 用于消防通道占用目标检测的目标检测模型、方法及应用
CN110348437B (zh) 一种基于弱监督学习与遮挡感知的目标检测方法
Li et al. Detection-friendly dehazing: Object detection in real-world hazy scenes
CN111291759A (zh) 文字检测方法、装置、电子设备及存储介质
CN116740527A (zh) U型网络与自注意力机制结合的遥感图像变化检测方法
JP2022078310A (ja) 画像分類モデル生成方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側装置およびクラウド制御プラットフォーム
CN109559345B (zh) 一种服装关键点定位系统及其训练、定位方法
CN113298096A (zh) 训练零样本分类模型的方法、系统、电子设备及存储介质
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
CN115146100A (zh) 一种基于反事实推理的跨模态检索模型、方法及计算机设备
Lin et al. Task-oriented feature-fused network with multivariate dataset for joint face analysis
Li et al. Multi-scale global context feature pyramid network for object detector
Zong et al. A cascaded refined rgb-d salient object detection network based on the attention mechanism
Nie et al. Multi-label image recognition with attentive transformer-localizer module
Wang et al. Self-attention deep saliency network for fabric defect detection
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
Qiao et al. Urban scene recognition via deep network integration
CN115359294A (zh) 一种基于相似性正则化类内挖掘的跨粒度小样本学习方法
Francisco et al. A deep transfer learning design rule checker with synthetic training
CN112861977A (zh) 迁移学习数据处理方法、系统、介质、设备、终端及应用
Kuang et al. Multi-label image classification with multi-layered multi-perspective dynamic semantic representation
Li et al. A generative adversarial active learning method for mechanical layout generation
CN114328797B (zh) 内容搜索方法、装置、电子设备、存储介质及程序产品
Dulam et al. SODAWideNet-Salient Object Detection with an Attention Augmented Wide Encoder Decoder Network Without ImageNet Pre-training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant