CN112418239B - 用于定位服饰关键点的方法、装置和叠衣机 - Google Patents

Abstract

本申请涉及图像处理服饰检测技术领域，公开一种用于定位服饰关键点的方法。该方法包括：预处理服饰图像，获得待识别图像，利用神经网络识别待识别图像，获得服饰中关键点的坐标，其中，神经网络在训练过程中学习不同关键点之间的相互关系。该方法可提高神经网络定位服饰关键点的准确率。本申请还公开一种用于定位服饰关键点的装置和叠衣机。

Description

用于定位服饰关键点的方法、装置和叠衣机

技术领域

本申请涉及图像处理的服饰检测技术领域，例如涉及用于定位服饰关键点的方法、装置和叠衣机。

背景技术

目前，时尚服装行业价值巨大，提升线上服饰属性标签可靠性，引入符合机器学习和行业专业要求的服饰属性知识体系，是提升运营效率和构建时尚产品功能的关键。机器分析服饰容易受到尺度和形变的影响，比如拍摄的距离角度、服饰摆放方式、模特姿势等等。借助服饰的关键点定位技术，可以帮助克服上述影响，例如在训练好的神经网络中，输入一张服饰图片，即可输出服饰关键点坐标，在拍摄的距离角度不同、服饰摆放方式不同或模特姿势不同时，对服饰关键点处的特征进行识别，可提高机器分析服饰的准确度。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：服饰关键点定位技术的定位准确率低。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于定位服饰关键点的方法、装置和叠衣机，以解服饰关键点定位技术的定位准确率低的技术问题。

在一些实施例中，用于定位服饰关键点的方法包括：

预处理服饰图像，获得待识别图像；

利用神经网络识别所述待识别图像，获得服饰中关键点的坐标；

其中，所述神经网络在训练过程中学习不同所述关键点之间的相互关系。

在一些实施例中，用于定位服饰关键点的法律处包括：理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行前述实施例提供的用于定位服饰关键点的方法。

在一些实施例中，所述叠衣机包括前述实施例提供的用于定位服饰关键点的装置。

本公开实施例提供的用于定位服饰关键点的方法、装置和叠衣机，可以实现以下技术效果：

在用于定位关键点的神经网络的训练过程中，学习服饰的不同关键点之间的相互关系，不同关键点可彼此约束，神经网络在训练过程中可学习更多的对服饰关键点的约束条件，以此训练出来的神经网络，即可更加准确地定位服饰关键点。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或一个以上实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的用于定位服饰关键点的方法流程示意图；

图2是本实施例提供的获得服饰中关键点坐标的流程示意图；

图3是本公开实施例提供的特征提取网络和分割网络的示意图；

图4是本公开实施例提供的用于定位服饰关键点的装置。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

在常规训练神经网络的过程中，往往是利用神经网络的输入参数和输出参数训练该神经网络，训练神经网络的过程，是一个调节神经网络内部参数的过程，在该神经网络训练达标后，神经网络内部参数反映的是神经网络输入参数和输出参数之间的关系。例如，现有技术中训练用于定位服饰关键点的神经网络时，训练集中的输入量为带有关键点坐标标记的服饰图像，训练集中的输出量为关键点坐标，计算输出的关键点坐标与标记的关键点坐标之间的误差，若超过一设定误差值，则调整神经网络内部参数，进行下一次的训练，直至神经网络输出的关键点坐标与标记的关键点坐标之间的误差小于等于设定值，可见，该神经网络内部参数反映的是服饰图像与服饰关键点坐标之间的对应关系。在本公开实施例中，虽然神经网络的输入量同为服饰图像，输出量同为关键点坐标，但是，本公开实施例中的神经网络在学习过程中，还学习不同关键点坐标之间的相互关系，即，实时上，本公开实施例中的神经网络内部参数不仅反映服饰图像与关键点坐标之间的对应关系，还反映服饰图像和不同关键点坐标之间相互关系的对应关系。

图1是本公开实施例提供的用于定位服饰关键点的方法流程示意图。

在该实施例中，用于定位服饰关键点的方法，包括：

步骤S101、预处理服饰图像，获得待识别图像。其中，预处理服饰图像，包括对服饰图像数据进行数据增强、数据扩增等工作。

步骤S102、利用神经网络识别待识别图像，获得服饰中关键点的坐标。其中，神经网络在训练过程中学习不同关键点之间的相互关系，即，神经网络内部参数还受服饰图像与不同关键点之间相互关系的对应关系的约束。

在用于定位关键点的神经网络的训练过程中，学习服饰的不同关键点之间的相互关系，不同关键点可彼此约束，神经网络在训练过程中可学习更多的对服饰关键点的约束条件，以此训练出来的神经网络，即可更加准确地定位服饰关键点。在获得准确的服饰关键点后，即可对服饰关键点处的特征进行针对性的分析，提高了机器分析服饰的准确度。

在训练该神经网络时，可对服饰图像进行标注，得到标注后的服饰图像，之后再预处理该标注后的服饰图像，获得多个待识别图像。随机划分该多个待识别图像，获得训练集和验证集，利用训练集训练神经网络，并用验证集验证神经网络。

在对服饰图像进行标注时，可首先对服饰图像进行分类，例如按照上衣、裤子、裙子将服饰图像分为三大类，每一类服饰图像中均对应一套独立的关键点，分别对不同类别的服饰图像进行独立的标注，获得三大类标注后的服饰处理图像。可选地，上衣类别的服饰图像中包括14个关键点；可选地，裤子类别的服饰图像中包括7个关键点；裙子类别的服饰图像中包括4个关键点。可选地，服饰的关键点如表1所示：

表1不同服饰所含关键点信息

上述标签体系符合认知过程，满足机器学习要求的标签知识体系。

在利用训练集训练神经网络的时，首先告知神经网络目前训练的服饰类别，例如上衣类别的服饰图像、裤子类别的服饰图像或裙子类别的服饰图像。神经网络所输出的关键点，符合该类别服饰图像的标签体系。

可选地，在训练过程中，预处理服饰图像，包括多尺度变换、随机翻转、随机角度旋转、归一化等，可丰富数据集，提升模型的泛化能力和鲁棒性。

图2是本实施例提供的获得服饰中关键点坐标的流程示意图。

在该实施例中，利用神经网络识别待识别图像，获取服饰中关键点的坐标，包括：

步骤S201、提取待识别图像中的特征图像。其中，特征图像可为上述实施例中表1中所示部位的特征图像，例如对于上衣类型的服饰图像，特征图像可包括左颈线处的特征图像、右颈线处的特征图像、前中处的特征图像、左肩处的特征图像、右肩处的特征图像、左腋窝处的特征图像、左袖口(内)处的特征图像、左袖口(外)处的特征图像、右袖口(内)处的特征图像、右袖口(外)处的特征图像、衣-左下摆处的特征图像、衣-右下摆处的特征图像；对于裤子类型的服饰图像，特征图像可包括：左裤头处的特征图像、右裤头处的特征图像、胯部的特征图像、左裤脚内处的特征图像、左裤脚外处的特征图像、右裤脚内处的特征图像、右裤脚外处的特征图像；对于裙子类型的服饰图像，特征图像可包括：左裤头处的特征图像、右裤头处的特征图像、裙-左下摆处的特征图像、裙-右下摆处的特征图像。可选地，通过特征提取网络提取待识别图像中的特征图像，该特征提取网络中包括多个网络层。

步骤S202、将特征图像采样至待识别图像的分辨率。可选地，通过分割网络将特征图像采样至待识别图像的分辨率，该分割网络包括多个网络层。特征提取网络和分割网络，结构相同，顺序相反。在一些应用场景中，待识别图像的分辨率可为512×512，特征图像的分辨率可为64×64。

步骤S203、基于特征图像对应的关键点，生成热点图。可选地，生成24张不同关键点对应的热点图。

步骤S204、在热点图中选择出与服饰类型相对应的关键点坐标。其中，服饰类型包括上衣类型、裤子类型和裙子类型，当服饰类型为上衣类型时，与服饰类型对应的关键点包括：左颈线、右颈线、前中、左肩、右肩、左腋窝、右腋窝、左袖口(内)、右袖口(内)、左袖口(外)、右袖口(外)、衣-左下摆、衣-右下摆；当服饰类型为裤子类型时，与服饰类型对应的关键点包括：左裤头、右裤头、胯部、左裤脚内、左裤脚外、右裤脚内、右裤脚外；当服饰类型为裙子类型时，与服饰类型对应的关键点包括：左裤头、右裤头、裙-左下摆、裙-右下摆。

该实施例可获得图像中服饰关键点的坐标。

可选地，提取待识别图像中的特征图像，包括：通过包括空洞卷积形式的卷积层提取待识别图像中的特征图像。即，特征提取网络包括多个卷积层，有的卷积层为空洞卷积形式的卷积层，有的卷积层为非空洞卷积形式的卷积层。采用空洞卷积形式的卷积层，增加了感受野。

例如，通过如下特征提取网络提取待识别图像中的特征图像：

第1层：卷积层，卷积核大小为3×3，步长stride为1；

第2层：卷积层，卷积核大小为3×3，步长stride为2；

第3层：卷积层，卷积核大小为3×3，步长stride为2；

第4层，卷积层，采用空洞卷积(dilated convolution)的形式，卷积核大小为9x9，有效卷积元素间距为1，步长stride为2；

第5层，卷积层，采用空洞卷积的形式，卷积核大小为9x9，有效卷积元素间距为1，步长stride为2。

图3是本公开实施例提供的特征提取网络和分割网络的示意图。

在该实施例中，特征提取网络31提取分辨率为512×512的待识别图像中的特征图像，特征图像的分辨率小于512×512，分割网络32将特征图像的分辨率采样至512×512，并输出热点图。其中，特征提取网络31中的Conv4_x和Conv5_x为采用空洞卷积形式的卷积层。在图3中，Image为原始图像，Conv为卷积层，GCN(Graph Convolutional Networks)为图卷积网络层，BR(Boundary Refinement)用于边界细化，例如，可采用残差结构，使得边界的定位能力大大提升，Deconv为反卷积层。

可选地，前述实施例中的热点图，是通过以下方式生成的：

其中，σ＝7，(x,y)为关键点坐标，

步长stride＝8，A(m,n)为热点图中的元素。基于该热点图的生成公式，进行逆计算，即可通过热点图获得关键点坐标。

可选地，不同关键点之间的相互关系为不同关键点之间的局部关联系数。局部关联系数可精确的反映不同关键点之间的关系。

可选地，不同关键点之间的局部关联系数通过以下方式获取：

其中，PAF₀(m,n)和PAF₁(m,n)为不同关键点之间的局部关系系数，

stride为卷积步长，σ为常量，用于防止分母为零，(x₀,y₀)和(x₁,y₁)为两个不同关键点的坐标，m为热点图矩阵中元素的行，n为热点图矩阵中元素的列。

神经网络在训练过程中需要学习不同关键点之间的相互联系，当以局部关联系数表示不同关键点之间的相互关系时，神经网络在训练过程中所采用的损失函数也记录局部关系系数的损失。

可选地，神经网络在训练过程使用的损失函数包括：热点图损失和局部关联系数损失。通过设置包括热点图损失和局部关联系数损失的损失函数，可使得神经网络在学习过程中不仅学习每个关键点的具体坐标，还学习关键点坐标之间的关系，提高了神经网络的学习精度，训练后的神经网络可更加准确地定位服饰关键点。

可选地，热点图损失通过以下方式获取：

其中，L_h为热点图损失，P_heat是最后一层分类层的输出，σ是常量，以保证数值求解的稳定性。

可选地，局部关联系数损失通过以下方式获取：

其中，L_p为局部关联系数损失，PAF是局部关联系数的获取方式，P_paf是PAF分支的输出。

在一些实施例中，可采用多个模型分别预测后，对结果进行加权平均，获得服饰关键点坐标；其中可采用D-GCN50和D-GCN101分别预测，再对结果进行加权平均，以获得服饰关键点坐标。可提高预测结果的正确性。

对于单模型，也可采用随机权重平均技术优化单模型权重，提升模型的泛化能力。

本公开实施例提供了一种用于定位服饰关键点的装置。

在一些实施例中，用于定位服饰关键点的装置，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行前述实施例提供的用于定位服饰关键点的方法。

图4是本公开实施例提供的用于定位服饰关键点的装置。

在该实施例中，用于定位服饰关键点的装置包括：

处理器(processor)41和存储器(memory)42，还可以包括通信接口(Communication Interface)43和总线44。其中，处理器41、通信接口43、存储器42可以通过总线44完成相互间的通信。通信接口43可以用于信息传输。处理器41可以调用存储器42中的逻辑指令，以执行上述实施例提供的用于定位服饰关键点的方法。

此外，上述的存储器42中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种叠衣机。

在一些实施例中，叠衣机包括前述实施例提供的用于定位服饰关键点的装置。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置为执行前述实施例提供的用于定位服饰关键点的方法。

本公开实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行前述实施例提供的用于定位服饰关键点的方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或一个以上指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、ROM、(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或一个以上用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (8)

1.一种用于定位服饰关键点的方法，其特征在于，包括：

预处理服饰图像，获得待识别图像；

利用神经网络识别所述待识别图像，获得服饰中关键点的坐标；

其中，所述神经网络在训练过程中学习不同关键点之间的相互关系，不同所述关键点之间的相互关系为不同所述关键点之间的局部关联系数，不同所述关键点之间的局部关联系数通过以下方式获取：

其中，PAF₀(m，n)和PAF₁(m，n)为不同所述关键点之间的局部关联系数，

stride为卷积步长，σ为常量，用于防止分母为零，(x₀，y₀)和(x₁，y₁)为两个不同关键点的坐标，m为热点图矩阵中元素的行，n为热点图矩阵中元素的列。

2.根据权利要求1所述的方法，其特征在于，所述利用神经网络识别所述待识别图像，获取服饰中关键点的坐标，包括：

提取所述待识别图像中的特征图像；

将所述特征图像采样至所述待识别图像的分辨率；

基于所述特征图像对应的关键点，生成热点图；

在所述热点图中选择出与服饰类型相对应的关键点坐标。

3.根据权利要求2所述的方法，其特征在于，所述提取所述待识别图像中的特征图像，包括：

通过包括空洞卷积形式的卷积层提取所述待识别图像中的特征图像。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述神经网络在训练过程使用的损失函数包括：

热点图损失和局部关联系数损失。

5.根据权利要求4所述的方法，其特征在于，所述热点图损失通过以下方式获取：

其中，L_h为热点图损失，P_heat是最后一层分类层的输出，σ是常量，以保证数值求解的稳定性，A(m，n)为热点图中的元素，m为热点图矩阵中元素的行，n为热点图矩阵中元素的列。

6.根据权利要求4所述的方法，其特征在于，所述局部关联系数损失通过以下方式获取：

其中，L_p为局部关联系数损失，PAF是局部关联系数的获取方式，P_paf是PAF分支的输出，m为热点图矩阵中元素的行，n为热点图矩阵中元素的列。

7.一种用于定位服饰关键点的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的用于定位服饰关键点的方法。

8.一种叠衣机，其特征在于，包括如权利要求7 所述的用于定位服饰关键点的装置。

Images