CN109559345A - 一种服装关键点定位系统及其训练、定位方法 - Google Patents
一种服装关键点定位系统及其训练、定位方法 Download PDFInfo
- Publication number
- CN109559345A CN109559345A CN201811222407.3A CN201811222407A CN109559345A CN 109559345 A CN109559345 A CN 109559345A CN 201811222407 A CN201811222407 A CN 201811222407A CN 109559345 A CN109559345 A CN 109559345A
- Authority
- CN
- China
- Prior art keywords
- reasoning
- node
- key point
- clothes
- characteristic pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 title claims abstract description 33
- 230000004807 localization Effects 0.000 title abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000012805 post-processing Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 20
- 238000013461 design Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 14
- 238000013507 mapping Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种服装关键点定位系统及其训练、定位方法，该系统包括：基础卷积网络，对输入的服装训练图像或服装测试图像提取卷积特征图；堆叠式层级布局知识推理单元，包括多个层级布局知识推理模块，用于于训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图‑点转换、节点知识推理和点‑图转换，利用目标函数对基础卷积网络和层级布局知识推理单元进行协同训练；于测试时，调用层级布局知识推理单元对提取的卷积特征图进行图‑点转换、节点知识推理和点‑图转换，实现知识推理和特征增强；后处理模块，用于将层级布局知识推理单元输出的卷积特征图转换为特征定位图，基于特征定位图预测和计算出服装关键点的位置。
Description
技术领域
本发明涉及计算机视觉、模式识别领域，特别是涉及一种基于堆叠式层级布局知识推理的服装关键点定位系统及其训练、定位方法。
背景技术
图像检测作为一个计算机视觉领域的基础问题在研究领域中得到了日益增加的关注。近来，服装关键点定位作为图像检测领域的子问题，对电子商务领域的服装检索、换装、识别等应用的辅助研究引起了热点关注。
目前，随着深度卷积神经网络(DCNNs)的发展，该类问题得到了很大的进步。现有的方法大多数是利用端到端的深度卷积神经网络的方法直接预测出服装关键点的坐标，该类方法缺少对网络的可解释性，同时也缺乏利用关键点相互之间的位置信息来进行建模。
近来在预测定位关键点的方面有了许多的研究方法。一种直接的方法是通过DCNNs，采用端到端的方式进行建模关键点的位置信息，虽然这种方法得益于深度卷积网络的深层建模能力，但缺乏可解释性，对数据依赖敏感，同时在一些具有复杂背景的场景下表现差强人意；另一种引入语法建模的方法是通过对服装关键点之间进行语法建模，比如建立领口点的对称语法，然后利用该语法形成的约束进行引导网络学习，这种引入外部自定义的语法进行建模的方法可以有效提升定位关键点的性能并增强了网络的可解释性，但是该方法没有引入知识来建模点的空间上下文语义关联，比如袖子点属于上半身语义关联。缺乏这种关联容易导致在一些复杂模糊的场景下，上下身的服装关键点预测混乱。
另外，目前的方法并没有对卷积特征图和图节点特征建模一种有效的转换方法，让知识图谱中节点的知识推理操作无法有效地和卷积网络进行无缝衔接，从而无法达到协同训练的目的。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种服装关键点定位系统及其训练、定位方法，以基于堆叠式层级布局知识推理实现服装关键点定位的目的。
为达上述及其它目的，本发明提出一种服装关键点定位系统，包括：
基础卷积网络，用于对输入的服装训练图像或服装测试图像提取卷积特征图；
堆叠式层级布局知识推理单元，包括多个层级布局知识推理模块，用于于训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，利用目标函数对所述基础卷积网络和堆叠式层级布局知识推理单元进行协同训练；于测试时，调用多个层级布局知识推理模块对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，实现知识推理和特征增强；
后处理模块，用于将所述堆叠式层级布局知识推理单元输出的卷积特征图转换为特征定位图，基于生成的特征定位图来预测和计算出服装关键点的位置。
优选地，所述堆叠式层级布局知识推理单元包括：
图-点子模块，用于将所述基础卷积网络输出的卷积特征图转换为图节点特征；
层级推理子模块，用于利用服装关键点空间布局关系的信息结合图节点特征进行层级布局知识推理，丰富图节点特征的层级语义信息，得到进化增强后的图节点特征；
点-图子模块，用于将所述层级推理子模块输出的图节点特征转换为卷积特征图。
优选地，所述层级推理子模块分为至底向上的图聚类式推理和至顶向下的图反卷积式推理，所述图聚类式推理过程分多个层级，包括从叶子节点间的推理聚类到中间节点间的推理、中间节点内部的聚类和推理、中间节点间的推理聚类到根节点的推理，所述图反卷积式推理包括从根节点的推理反卷积到到中间节点间的推理，最后到叶子节点间的推理，最后通过结合两类推理的层级输出来建模全局结构语义。
优选地，所述至底向上的图聚类式推理是在生成更高层语义图的同时，对各个层的语义图进行图节点信息传播操作，将底层局部布局信息聚类到高层语义的全局节点，增强全局关系，所述图聚类式推理包括图节点聚类和图节点信息传播两个操作。
优选地，所述至顶向下的图反卷积式推理在生成更底层语义图的同时，对各个层的语义图进行图节点信息传播操作，将高层全局语义传播到各个底层节点，增强局部布局关系和全局布局关系的关联，所述图反卷积式推理包括图节点反卷积操作和图节点信息传播两个操作。
优选地，于每个层级布局知识推理模块之间，利用一个1×1卷积核和非线性函数ReLU对模块的输入做数据维度变换，将输入维度变换到和输出的维度一致，并利用矩阵加法来融合输入和输出，以降低数据偏差。
优选地，于每个层级布局知识推理模块之间，利用一多尺度特征模块来处理层级布局知识推理模块之间的卷积特征图，以为系统引入更多尺度、更丰富的特征信息。
为达到上述目的，本发明还提供一种服装关键点定位系统的训练方法，包括如下步骤：
步骤S1，利用基础卷积网络提取输入的服装训练图像的卷积特征图。
步骤S2，利用多个层级布局知识推理模块结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换；
步骤S3，利用目标函数对基础卷积网络和层级布局知识推理模块进行协同训练。
优选地，步骤S3进一步包括：
设计服装关键点关系图；
设计目标函数；
利用服装关键点关系图和目标函数来引导基础卷积网络和层级布局知识推理模块进行协调训练。
为达到上述目的，本发明还提供一种服装关键点定位方法，包括如下步骤：
步骤1，输入包含服装区域的图片；
步骤2，调用训练好的基础卷积网络对输入图片进行卷积特征图的提取；
步骤3，调用堆叠式的层级布局知识推理单元对卷积特征图进行图-点转换和图节点知识推理，输出进化后的卷积特征图；
步骤4，利用后处理模块将进化后的卷积特征图转换为特征定位图，以用于服装关键点的定位。
与现有技术相比，本发明一种服装关键点定位系统及其训练、定位方法，基于堆叠式层级布局知识推理框架，将服装关键点空间布局关系信息嵌入到基础卷积网络来引导、定位服装关键点，相比现有技术的基于多阶段预测、空间变换的注意力机制以及利用语法模型约束关键点定位的服装关键点定位方法，本发明不仅具有更高的定位精度和可解释性，而且提供了一种将层级知识图谱引入卷积网络进行层级推理的机制。
附图说明
图1为本发明一种服装关键点定位系统的系统架构图；
图2为本发明具体实施例中层级布局知识推理模块的细部结构图；
图3为本发明一种服装关键点定位系统的训练方法的步骤流程图；
图4为本发明一种服装关键点定位方法的步骤流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种服装关键点定位系统的系统架构图。如图1所示，本发明一种服装关键点定位系统，包括：基础卷积网络1、堆叠式层级布局知识推理单元2以及后处理模块3。
其中，基础卷积网络1用于对输入的服装训练图像或服装测试图像提取卷积特征图。
具体地，输入图片首先缩放到固定大小后，输入到基础卷积网络1，得到卷积特征图F，具有H×W×C大小，其中H，W，C分别表示卷积特征图的高、宽和通道数，记作F∈RH×W×C。在本发明具体实施例中，基础卷积网络1的输入为服装图像，输出为多个卷积特征图。
堆叠式层级布局知识推理单元2，包括多个层级布局知识推理模块，用于于训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，利用目标函数对基础卷积网络1和堆叠式层级布局知识推理单元2进行协同训练；于测试时，调用多个层级布局知识推理模块对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，实现知识推理和特征增强。
基于卷积特征图F，在进行层级推理之前，先预定义图的各类符号的表示。根据服装关键点的类别和特征，将关键点定义为图节点，将节点间的关系定义为图的边，利用图节点和图节点的边可以表示为一个知识图谱其中表示节点集合，ε表示节点边集合，其中节点集合包括叶子节点集合(比如左领子点，右袖子点)和中间节点集合(比如领子点，袖子点)，定义叶子节点特征中间节点特征其中Nleaf表示叶子节点数目，Nmiddle表示中间节点数目，d表示每个节点的特征维度。边集合ε表示节点之间的连接关系，包括叶子节点边集合εleaf和中间节点边集合εmiddle。根据叶子节点间的连接情况εleaf，定义了叶子节点邻接矩阵其中0表示没有连接关系，1表示有连接关系。同理，根据中间节点边集εmiddle也定义了中间节点邻接矩阵Amiddle。
具体地，每个层级布局知识推理模块都包含如下三个子模块：
图-点子模块201，用于将基础卷积网络1输出的卷积特征图转换为图节点特征。具体地，图-点子模块201将获得的卷积特征图转换为知识图节点特征。图-点子模块201的输入是基础卷积网络1中输出的卷积特征图，其输出是知识图节点特征。每个知识图节点特征就是一个服装关键点的特征表示。具体地说，图-点子模块201将多通道的卷积特征图F转换为图叶子节点特征具体操作如下：
Xleaf＝σ(Φ(FWm)TFWt)
其中和Wt∈RC×d是两个可训练的变换矩阵，经过矩阵乘法和非线性变换σ将卷积特征图F变换成图叶子节点特征Xleaf，其中Φ表示对矩阵行或列进行归一化操作Softmax，σ表示非线性函数ReLU。
层级推理子模块202，用于利用服装关键点空间布局关系的信息结合图节点特征进行层级布局知识推理，包括建模各个叶子节点的布局关系，各个中间节点的布局关系等，丰富图节点特征的层级语义信息，得到进化增强后的图节点特征。每个层级推理子模块包含图节点聚类操作、图节点反卷积操作和图节点信息传播操作。
具体地说，层级推理子模块202通过图-点子模块201得到输入图节点特征Xleaf，层级推理子模块202主要分成至底向上的图聚类式推理和至顶向下的图反卷积式推理，两类推理的过程可见图2。图聚类式推理过程分多个层级，主要从叶子节点间的推理聚类到中间节点间的推理、中间节点内部的聚类和推理、中间节点间的推理聚类到根节点的推理。相比图聚类式推理的过程，图反卷积式推理是一个相反的过程，主要是从根节点的推理反卷积到到中间节点间的推理，最后到叶子节点间的推理，最后通过结合两类推理的层级输出来建模全局结构语义。
1)至底向上的图聚类式推理过程：该推理过程主要是生成更高层语义图的同时，对各个层的语义图进行图节点信息传播操作，将底层局部布局信息聚类到高层语义的全局节点，增强全局关系。该过程主要包括图节点聚类和图节点信息传播两个操作。由于整个图聚类式推理过程是由这两个操作构成，并且该操作在整个推理过程中的各个层级类似，所以这里以从叶子节点到中间节点这个层级为例进行介绍。给定输入叶子节点特征Xleaf和根据关键点空间布局关系信息预先定义的叶子节点邻接矩阵Aleaf，该层级经过两个操作输出中间节点特征Xmiddle和中间节点邻接矩阵Amiddle，具体的操作过程如下：
其中输入Xleaf先利用Aleaf和可训练的传播矩阵Wh∈Rd×d在预先定义好的叶子节点空间布局关系的引导约束下，进行叶子节点间的信息传播，这里的操作就是图节点信息传播操作，该操作不会改变节点的数目和布局；接下来分别利用两个可训练的图聚类矩阵和对进行完信息传播的叶子节点和叶子节点邻接矩阵Aleaf进行图节点聚类操作，从而生成中间节点特征Xmiddle和中间节点邻接矩阵Amiddle，最后再利用一次图节点信息传播操作对生成的Xmiddle和Amiddle进行隐性地约束和学习，得到更加合理的高层语义的知识图谱。其中σ表示非线性函数ReLU。至底向上的图聚类式推理过程就是一个不断得到高层语义知识图片的过程，在该过程中不断对各个层级的语义图进行学习和归纳，从而建模其从底层节点到高层间的空间布局关系和语义归属关系。
2)至顶向下的图反卷积式推理过程：其输入主要是从图聚类式推理得到，如图2所示，该过程生成更底层语义图的同时，对各个层的语义图进行图节点信息传播操作，将高层全局语义传播到各个底层节点，增强局部布局关系和全局布局关系的关联，该过程主要包括图节点反卷积操作和图节点信息传播两个操作。由于整个图反卷积推理过程是由这两个操作构成，并且该操作在整个推理过程中的各个层级类似，所以这里以从中间节点到叶子节点这个层级为例进行介绍：给定从高层语义图获得的中间节点特征Xmiddle和中间节点邻接矩阵Amiddle，采用类似图聚类推理过程的两个公式，生成叶子节点特征Xleaf和对应的邻接矩阵Aleaf。为了进一步结合全局和局部的语义和节点特征，将图聚类推理的各层结果跳接到图反卷积推理的各个层，将对应层的结果利用矩阵加法进行融合起来，这样可以增强节点特征的表征能力，同时降低数据偏差性，有利于更好地训练。
点-图子模块203，用于将层级推理子模块202的输出图节点特征转换为卷积特征图。
在本发明具体实施例中，点-图子模块203是对进化后的叶子节点特征转换成卷积特征图。在这个子模块中，输入卷积特征图F∈RH×W×C和从图反卷积推理过程中得到的最终进化后的叶子节点特征Xleaf，经过点-图子模块203来生成最终增强后的卷积特征图Fr。首先先对F和Xleaf做维度转换，F∈RHW×C→F∈RHW×N×C，对维度转换后的Xleaf和F进行维度串接，得到更加高维丰富的特征表示最后利用Xa、Xleaf和F完成点-图子模块的操作，生成增强后的卷积特征图Fr，具体操作的数学表示如下：、
Fr＝σ(Φ(XaWm′)σ(XleafWt′))+F
其中Wt′∈Rd×C和Wm′∈RC+d都是可训练的转换矩阵，最后采用一个矩阵加法将一开始的卷积特征图F和增强后的卷积特征图Fr进行结合来达到降低数据偏差，更有利于训练。其中σ表示非线性函数ReLU，Φ表示对矩阵行或列的进行归一化的函数Softmax。
后处理模块3，用于将层级布局知识推理单元2输出的卷积特征图转换为特征定位图，基于生成的特征定位图来预测和计算出服装关键点的位置。在本发明具体实施例中，所述后处理模块3采用1×1卷积核结合非线性函数Sigmoid，对每个输出进行像素级别的归一化，使其更加方便预测出像素级别的位置信息。
较佳地，在每个层级布局知识推理模块之间，对于模块的输入，本发明利用一个1×1卷积核和非线性函数ReLU对模块的输入做数据维度变换，将输入维度变换到和输出的维度一致，然后利用矩阵加法来融合输入和输出，达到降低数据偏差的目的。
较佳地，与每个层级布局知识推理模块之间，本发明还利用一多尺度特征模块来处理层级布局知识推理模块之间的卷积特征图，为模型引入更多尺度、更丰富的特征信息，达到多尺度丰富特征的表示能力，从而降低训练的难度。
图3为本发明一种服装关键点定位系统的训练方法的步骤流程图。如图3所示，本发明一种服装关键点定位系统的训练方法，包括如下步骤：
步骤S301，利用基础卷积网络提取输入的服装训练图像的卷积特征图。
步骤S302，利用多个层级布局知识推理模块结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换；
步骤S303，利用目标函数对基础卷积网络和层级布局知识推理模块进行协同训练。
具体地，步骤S303进一步包括：
步骤S302a，设计服装关键点关系图；
步骤S302b：设计目标函数；
步骤302c，利用服装关键点关系图和目标函数来引导基础卷积网络和层级布局知识推理模块进行协调训练。在本发明具体实施例中，利用均方误差函数作为协同训练的目标函数，以Adam为优化函数，利用随机梯度下降算法进行整体端到端的训练。
图4为本发明一种服装关键点定位方法的步骤流程图。如图4所示，本发明一种服装关键点定位方法，包括如下步骤：
步骤S401，输入包含服装区域的图片；
步骤S402，调用训练好的基础卷积网络对输入图片进行卷积特征图的提取；
步骤S403，调用堆叠式的层级布局知识推理单元对卷积特征图进行图-点转换和图节点知识推理，输出进化后的卷积特征图；
步骤S404，利用后处理模块将进化后的卷积特征图转换为特征定位图，以用于服装关键点的定位。
综上所述，本发明一种服装关键点定位系统及其训练、定位方法，基于堆叠式层级布局知识推理框架，将服装关键点空间布局关系信息嵌入到基础卷积网络来引导、定位服装关键点，相比现有技术的基于多阶段预测、空间变换的注意力机制以及利用语法模型约束关键点定位的服装关键点定位方法，本发明不仅具有更高的定位精度和可解释性，而且提供了一种将层级知识图谱引入卷积网络进行层级推理的机制。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (10)
1.一种服装关键点定位系统，包括：
基础卷积网络，用于对输入的服装训练图像或服装测试图像提取卷积特征图；
堆叠式层级布局知识推理单元，包括多个层级布局知识推理模块，用于于训练时，结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，利用目标函数对所述基础卷积网络和堆叠式层级布局知识推理单元进行协同训练；于测试时，调用多个层级布局知识推理模块对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换，实现知识推理和特征增强；
后处理模块，用于将所述堆叠式层级布局知识推理单元输出的卷积特征图转换为特征定位图，基于生成的特征定位图来预测和计算出服装关键点的位置。
2.如权利要求1所述的一种服装关键点定位系统，其特征在于，所述堆叠式层级布局知识推理单元包括：
图-点子模块，用于将所述基础卷积网络输出的卷积特征图转换为图节点特征；
层级推理子模块，用于利用服装关键点空间布局关系的信息结合所述图节点特征进行层级布局知识推理，丰富所述图节点特征的层级语义信息，得到进化增强后的图节点特征；
点-图子模块，用于将所述层级推理子模块输出的图节点特征转换为卷积特征图。
3.如权利要求2所述的一种服装关键点定位系统，其特征在于：所述层级推理子模块包括至底向上的图聚类式推理和至顶向下的图反卷积式推理，所述图聚类式推理过程分多个层级，包括从叶子节点间的推理聚类到中间节点间的推理、中间节点内部的聚类和推理、中间节点间的推理聚类到根节点的推理，所述图反卷积式推理包括从根节点的推理反卷积到到中间节点间的推理，最后到叶子节点间的推理，最后通过结合两类推理的层级输出来建模全局结构语义。
4.如权利要求3所述的一种服装关键点定位系统，其特征在于：所述至底向上的图聚类式推理是在生成更高层语义图的同时，对各个层的语义图进行图节点信息传播操作，将底层局部布局信息聚类到高层语义的全局节点，增强全局关系，所述图聚类式推理包括图节点聚类和图节点信息传播两个操作。
5.如权利要求3所述的一种服装关键点定位系统，其特征在于：所述至顶向下的图反卷积式推理在生成更底层语义图的同时，对各个层的语义图进行图节点信息传播操作，将高层全局语义传播到各个底层节点，增强局部布局关系和全局布局关系的关联，所述图反卷积式推理包括图节点反卷积操作和图节点信息传播两个操作。
6.如权利要求3所述的一种服装关键点定位系统，其特征在于：于每个层级布局知识推理模块之间，利用一个1×1卷积核和非线性函数对模块的输入做数据维度变换，将输入维度变换到和输出的维度一致，并利用矩阵加法来融合输入和输出，以降低数据偏差。
7.如权利要求3所述的一种服装关键点定位系统，其特征在于：于每个层级布局知识推理模块之间，利用一多尺度特征模块来处理层级布局知识推理模块之间的卷积特征图，为系统引入更多尺度、更丰富的特征信息。
8.一种服装关键点定位系统的训练方法，包括如下步骤：
步骤S1，利用基础卷积网络提取输入的服装训练图像的卷积特征图。
步骤S2，利用多个层级布局知识推理模块结合预定义的服装关键点空间布局关系信息来对提取的卷积特征图进行图-点转换、节点知识推理和点-图转换；
步骤S3，利用目标函数对基础卷积网络和层级布局知识推理模块进行协同训练。
9.如权利要求8所述的一种服装关键点定位系统的训练方法，其特征在于，步骤S3进一步包括：
设计服装关键点关系图；
设计目标函数；
利用服装关键点关系图和目标函数来引导所述基础卷积网络和层级布局知识推理模块进行协调训练。
10.一种服装关键点定位方法，包括如下步骤：
步骤1，输入包含服装区域的图片；
步骤2，调用训练好的基础卷积网络对输入图片进行卷积特征图的提取；
步骤3，调用堆叠式的层级布局知识推理单元对卷积特征图进行图-点转换和图节点知识推理，输出进化后的卷积特征图；
步骤4，利用后处理模块将进化后的卷积特征图转换为特征定位图，以用于服装关键点的定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811222407.3A CN109559345B (zh) | 2018-10-19 | 2018-10-19 | 一种服装关键点定位系统及其训练、定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811222407.3A CN109559345B (zh) | 2018-10-19 | 2018-10-19 | 一种服装关键点定位系统及其训练、定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109559345A true CN109559345A (zh) | 2019-04-02 |
| CN109559345B CN109559345B (zh) | 2023-04-11 |
Family
ID=65865071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811222407.3A Active CN109559345B (zh) | 2018-10-19 | 2018-10-19 | 一种服装关键点定位系统及其训练、定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109559345B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418239A (zh) * | 2019-08-21 | 2021-02-26 | 青岛海尔智能技术研发有限公司 | 用于定位服饰关键点的方法、装置和叠衣机 |
| CN112967284A (zh) * | 2021-04-30 | 2021-06-15 | 平安科技（深圳）有限公司 | 血管图像分段分析方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN108154235A (zh) * | 2017-12-04 | 2018-06-12 | 盈盛资讯科技有限公司 | 一种图像问答推理方法、系统及装置 |
| CN108229496A (zh) * | 2017-07-11 | 2018-06-29 | 北京市商汤科技开发有限公司 | 服饰关键点的检测方法和装置、电子设备、存储介质和程序 |
-
2018
- 2018-10-19 CN CN201811222407.3A patent/CN109559345B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN108229496A (zh) * | 2017-07-11 | 2018-06-29 | 北京市商汤科技开发有限公司 | 服饰关键点的检测方法和装置、电子设备、存储介质和程序 |
| CN108154235A (zh) * | 2017-12-04 | 2018-06-12 | 盈盛资讯科技有限公司 | 一种图像问答推理方法、系统及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418239A (zh) * | 2019-08-21 | 2021-02-26 | 青岛海尔智能技术研发有限公司 | 用于定位服饰关键点的方法、装置和叠衣机 |
| CN112418239B (zh) * | 2019-08-21 | 2023-01-24 | 青岛海尔智能技术研发有限公司 | 用于定位服饰关键点的方法、装置和叠衣机 |
| CN112967284A (zh) * | 2021-04-30 | 2021-06-15 | 平安科技（深圳）有限公司 | 血管图像分段分析方法、装置、设备及存储介质 |
| CN112967284B (zh) * | 2021-04-30 | 2024-08-09 | 平安科技（深圳）有限公司 | 血管图像分段分析方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109559345B (zh) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222653B (zh) | 一种基于图卷积神经网络的骨架数据行为识别方法 | |
| CN111859912B (zh) | 基于pcnn模型的带有实体感知的远程监督关系抽取方法 | |
| CN109359564B (zh) | 一种图像场景图生成方法及装置 | |
| CN110163299A (zh) | 一种基于自底向上注意力机制和记忆网络的视觉问答方法 | |
| CN110096950A (zh) | 一种基于关键帧的多特征融合行为识别方法 | |
| CN107423756A (zh) | 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法 | |
| CN107563409B (zh) | 一种基于区域图像特征关注网络与最近邻排序的描述方法 | |
| Geng et al. | Gated path selection network for semantic segmentation | |
| CN113554653B (zh) | 基于互信息校准点云数据长尾分布的语义分割方法 | |
| Straka et al. | PreCNet: next-frame video prediction based on predictive coding | |
| CN110533041A (zh) | 基于回归的多尺度场景文本检测方法 | |
| Gao et al. | Skeleton-based action recognition with focusing-diffusion graph convolutional networks | |
| CN108985298B (zh) | 一种基于语义一致性的人体衣物分割方法 | |
| Zhou et al. | Algorithm of Helmet Wearing Detection Based on AT-YOLO Deep Mode. | |
| CN111191630A (zh) | 适用于智能交互观演场景的演艺动作识别方法 | |
| CN109559345A (zh) | 一种服装关键点定位系统及其训练、定位方法 | |
| CN113159067A (zh) | 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置 | |
| Chen et al. | Coupled multimodal emotional feature analysis based on broad-deep fusion networks in human–robot interaction | |
| CN110473195A (zh) | 一种可自动定制的医学病灶检测架构及方法 | |
| Zhao et al. | Parsing human image by fusing semantic and spatial features: A deep learning approach | |
| CN113948157A (zh) | 化学反应分类方法、装置、电子设备及存储介质 | |
| CN115204171A (zh) | 基于超图神经网络的文档级事件抽取方法及系统 | |
| Gao | A spatial design layout optimization model based on deep learning in the context of rural revitalization | |
| Sun et al. | Arctext: A unified text approach to describing convolutional neural network architectures | |
| Liu et al. | Image segmentation of salt deposits using deep convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |