CN113298092B - 用于多层次图像轮廓信息提取的神经网络训练方法及装置 - Google Patents

Abstract

本发明公开了一种用于多层次图像轮廓信息提取的神经网络训练方法及装置，该方法包括：确定特征提取网络训练模型的网络架构；所述特征提取网络训练模型包括特征提取网络模型和连接至所述特征提取网络模型的输出的单通道特征卷积层；将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型。可见，本发明可以使得训练得到的网络模型能够用于准确提取到输入图像的多通道多层次的轮廓信息，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

Description

用于多层次图像轮廓信息提取的神经网络训练方法及装置

技术领域

本发明涉及神经网络技术领域，尤其涉及一种用于多层次图像轮廓信息提取的神经网络训练方法及装置。

背景技术

在现有的商业模式中,图像往往比文字更有吸引力,其展示和推广效果更加显著。因此,图像开始承担更多的商品或服务宣传的功能，在这种情况下，为了识别出图像的特征，如何提取出图像的轮廓信息有着重要的意义。

现有的图像轮廓信息的提取算法，一般仅用于提取出图像的单一层次的轮廓信息，没有考虑到多层次的图像轮廓信息在用于图像识别领域的优势，可见，现有的图像轮廓信息的提取算法存在缺陷，亟需得到解决。

发明内容

本发明所要解决的技术问题在于，提供一种用于多层次图像轮廓信息提取的神经网络训练确定方法及装置，可以使得训练得到的网络模型能够用于准确提取到输入图像的多通道多层次的轮廓信息，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

为了解决上述技术问题，本发明第一方面公开了一种用于多层次图像轮廓信息提取的神经网络训练方法，所述方法包括：

确定特征提取网络训练模型的网络架构；所述特征提取网络训练模型包括特征提取网络模型和连接至所述特征提取网络模型的输出的单通道特征卷积层；所述特征提取网络模型用于输出输入图像的多通道多层次的第一图像轮廓特征信息；所述单通道特征卷积层用于将所述特征提取网络模型输出的第一图像轮廓特征信息处理成单通道的图像轮廓特征信息；

将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型。

作为一种可选的实施方式，在本发明第一方面中，所述图像轮廓特征信息为多通道多层次的图像轮廓特征信息；所述特征提取网络模型包括有多个用于分别提取不同层次的轮廓特征的特征提取层和相应的多个用于统一尺寸的尺寸统一层；所述将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型，包括：

将轮廓训练图像集输入至多个所述特征提取层，以输出多个不同尺寸的图像轮廓特征；

将每一所述特征提取层输出的所述图像轮廓特征输入至对应的所述尺寸统一层，以得到多个同一尺寸的图像轮廓特征；

将所述多个同一尺寸的图像轮廓特征进行融合，以得到所述第一图像轮廓特征信息；

将所述第一图像轮廓特征信息输入至所述单通道特征卷积层，以得到单通道的图像轮廓特征信息；

重复上述步骤，基于反向传播更新所述特征提取网络模型的模型参数，直到第一损失函数收敛，以得到训练后的所述特征提取网络模型。

作为一种可选的实施方式，所述轮廓训练图像集包括有多个经标注的轮廓训练图像；所述第一损失函数为所述单通道的图像轮廓特征信息与对应的轮廓训练图像之间的交叉熵损失。

作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

将训练图像集输入至训练后的所述特征提取网络模型进行特征提取，以得到第二图像轮廓特征信息；

将所述训练图像集输入至第一性别分类网络模型，以得到图像性别特征信息；

将所述第二图像轮廓特征信息与所述图像性别特征信息进行融合，得到图像融合特征信息；

将所述图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型；所述目标神经网络模型用于对输入图像的性别进行分类。

作为一种可选的实施方式，在本发明第一方面中，所述将所述图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型，包括：

将所述图像融合特征信息输入至第二性别分类网络模型进行训练；

基于反向传播，不断更新所述第一性别分类网络模型和/或所述第二性别分类网络模型的模型参数，直至第二损失函数收敛，以得到目标神经网络模型。

作为一种可选的实施方式，在本发明第一方面中，所述第二损失函数为所述第二性别分类网络模型输出的性别预测信息与对应的训练图像的真实性别标签的softmax损失。

作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

使用数据增强算法对所述训练图像集进行处理，以得到包括更多训练图像的训练图像集。

本发明第二方面公开了一种用于多层次图像轮廓信息提取的神经网络训练装置，所述装置包括：

网络确定模块，用于确定特征提取网络训练模型的网络架构；所述特征提取网络训练模型包括特征提取网络模型和连接至所述特征提取网络模型的输出的单通道特征卷积层；所述特征提取网络模型用于输出输入图像的多通道多层次的第一图像轮廓特征信息；所述单通道特征卷积层用于将所述特征提取网络模型输出的第一图像轮廓特征信息处理成单通道的图像轮廓特征信息；

网络训练模块，用于将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型。

作为一种可选的实施方式，在本发明第二方面中，所述图像轮廓特征信息为多通道多层次的图像轮廓特征信息；所述特征提取网络模型包括有多个用于分别提取不同层次的轮廓特征的特征提取层和相应的多个用于统一尺寸的尺寸统一层；所述网络训练模块将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型的具体方式，包括：

将轮廓训练图像集输入至多个所述特征提取层，以输出多个不同尺寸的图像轮廓特征；

将每一所述特征提取层输出的所述图像轮廓特征输入至对应的所述尺寸统一层，以得到多个同一尺寸的图像轮廓特征；

将所述多个同一尺寸的图像轮廓特征进行融合，以得到所述第一图像轮廓特征信息；

将所述第一图像轮廓特征信息输入至所述单通道特征卷积层，以得到单通道的图像轮廓特征信息；

重复上述步骤，基于反向传播更新所述特征提取网络模型的模型参数，直到第一损失函数收敛，以得到训练后的所述特征提取网络模型。

作为一种可选的实施方式，所述轮廓训练图像集包括有多个经标注的轮廓训练图像；所述第一损失函数为所述单通道的图像轮廓特征信息与对应的轮廓训练图像之间的交叉熵损失。

作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

轮廓提取模块，用于将训练图像集输入至训练后的所述特征提取网络模型进行特征提取，以得到第二图像轮廓特征信息；

性别提取模块，用于将所述训练图像集输入至第一性别分类网络模型，以得到图像性别特征信息；

融合模块，用于将所述第二图像轮廓特征信息与所述图像性别特征信息进行融合，得到图像融合特征信息；

训练模块，用于将所述图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型；所述目标神经网络模型用于对输入图像的性别进行分类。

作为一种可选的实施方式，在本发明第二方面中，所述训练模块将所述图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型的具体方式，包括：

将所述图像融合特征信息输入至第二性别分类网络模型进行训练；

基于反向传播，不断更新所述第一性别分类网络模型和/或所述第二性别分类网络模型的模型参数，直至第二损失函数收敛，以得到目标神经网络模型。

作为一种可选的实施方式，在本发明第二方面中，所述第二损失函数为所述第二性别分类网络模型输出的性别预测信息与对应的训练图像的真实性别标签的softmax损失。

作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

数据增强模块，用于使用数据增强算法对所述训练图像集进行处理，以得到包括更多训练图像的训练图像集。

本发明第三方面公开了另一种用于多层次图像轮廓信息提取的神经网络训练装置，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的用于多层次图像轮廓信息提取的神经网络训练方法中的部分或全部步骤。

本发明实施例第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明实施例第一方面公开的用于多层次图像轮廓信息提取的神经网络训练方法中的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，确定特征提取网络训练模型的网络架构；所述特征提取网络训练模型包括特征提取网络模型和连接至所述特征提取网络模型的输出的单通道特征卷积层；所述特征提取网络模型用于输出输入图像的多通道多层次的第一图像轮廓特征信息；所述单通道特征卷积层用于将所述特征提取网络模型输出的第一图像轮廓特征信息处理成单通道的图像轮廓特征信息；将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型。可见，本发明能够提取到输入图像的多通道多层次的图像轮廓特征信息，并处理成单通道特征信息以进行模型训练，从而使得训练得到的网络模型能够用于准确提取到输入图像的多通道多层次的轮廓信息，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种用于多层次图像轮廓信息提取的神经网络训练方法的流程示意图；

图2是本发明实施例公开的另一种用于多层次图像轮廓信息提取的神经网络训练方法的流程示意图；

图3是本发明实施例公开的一种用于多层次图像轮廓信息提取的神经网络训练装置的结构示意图；

图4是本发明实施例公开的另一种用于多层次图像轮廓信息提取的神经网络训练装置的结构示意图；

图5是本发明实施例公开的又一种用于多层次图像轮廓信息提取的神经网络训练装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明公开了一种用于多层次图像轮廓信息提取的神经网络训练方法及装置，能够提取到输入图像的多通道多层次的图像轮廓特征信息，并处理成单通道特征信息以进行模型训练，从而使得训练得到的网络模型能够用于准确提取到输入图像的多通道多层次的轮廓信息，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种用于多层次图像轮廓信息提取的神经网络训练方法的流程示意图。其中，图1所描述的方法应用于神经网络模型的训练装置中，该训练装置可以是相应的训练终端、训练设备或服务器，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。如图1所示，该用于多层次图像轮廓信息提取的神经网络训练方法可以包括以下操作：

101、确定特征提取网络训练模型的网络架构。

本发明实施例中，特征提取网络训练模型包括特征提取网络模型以及连接至特征提取网络模型的输出的单通道特征卷积层，其中，单通道特征卷积层用于将所述特征提取网络模型输出的多通道多层次的图像轮廓特征信息处理成单通道的图像轮廓特征信息。

102、将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到特征提取网络训练模型的第一损失函数收敛，以得到训练后的特征提取网络模型。

本发明实施例中，最终训练得到的是特征提取网络模型，也即去除了单通道特征卷积层的特征提取网络训练模型，这是因为本发明的方案中最终需要用到的，就是特征提取网络模型来对图像的多通道多层次的轮廓特征进行提取，单通道特征卷积层仅是用于训练时对多通道多层次的轮廓特征进行融合来方便后续的损失计算，训练完成后即可抛弃。

可见，实施本发明实施例所描述的方法能够提取到输入图像的多通道多层次的图像轮廓特征信息，并处理成单通道特征信息以进行模型训练，从而使得训练得到的网络模型能够用于准确提取到输入图像的多通道多层次的轮廓信息，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

在一个可选的实施方式中，图像轮廓特征信息为多通道多层次的图像轮廓特征信息，相应的，特征提取网络模型包括有多个用于分别提取不同层次的轮廓特征的特征提取层和相应的多个用于统一尺寸的尺寸统一层。

可见，通过实施该可选的实施方式，特征提取网络模型可用于提取图像的多个通道的不同层次的轮廓特征，且通过尺寸统一层对多个特征图的尺寸进行统一，以得到多层次的图像轮廓特征信息，可以用于更精确地表征图像的轮廓信息，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

在另一个可选的实施方式中，步骤102中的，将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到特征提取网络训练模型的第一损失函数收敛，以得到训练后的特征提取网络模型，包括：

将轮廓训练图像集输入至多个特征提取层，以输出多个不同尺寸的图像轮廓特征；

将每一特征提取层输出的图像轮廓特征输入至对应的尺寸统一层，以得到多个同一尺寸的图像轮廓特征；

将多个同一尺寸的图像轮廓特征进行融合，以得到第一图像轮廓特征信息；

将第一图像轮廓特征信息输入至单通道特征卷积层，以得到单通道的图像轮廓特征信息；

重复上述步骤，基于反向传播更新特征提取网络模型的模型参数，直到第一损失函数收敛，以得到训练后的特征提取网络模型。

本发明实施例中，多个特征提取层为多个依次级联的卷积层，其中每一卷积层的输出均连接至一对应的尺寸统一层。可选的，特征提取层为包括有残差模块的卷积层，其中残差模块用来加强特征提取和反向传播能力，可以为ResNet、DenseNet或SENet，最终每个特征提取层输出不同尺寸的特征图，从而得到多尺寸的特征图。其中，浅层的特征图用来捕捉服装图像细微的纹理特征，深层特征图用来捕捉轮廓特征。在一个可选的实施例中，卷积层可以为级联的一个3×3的卷积层和一个残差模块。

可选的，尺寸统一层可以为插值模块，可选的，该插值模块采用插值算法对特征提取层输出的图像轮廓特征的尺寸统一插值至同一尺寸。可选的，插值算法可以为双线性插值、最近邻插值、反卷积层中的一种或多种，本发明不做限定。

本发明实施例中，可选的，轮廓训练图像集包括有多个经标注的轮廓训练图像，该经标注的轮廓训练图像为经过人工对图像中的轮廓进行标注的训练图像。可选的，第一损失函数为单通道的图像轮廓特征信息与对应的轮廓训练图像之间的交叉熵损失。

可见，实施该可选的实施方式能够对特征提取网络训练模型进行训练，直到特征提取网络训练模型的第一损失函数收敛，从而可以得到用于提取多通道多层次的轮廓特征信息的特征提取网络模型，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

实施例二

请参阅图2，图2是本发明实施例公开的另一种用于多层次图像轮廓信息提取的神经网络训练方法的流程示意图。其中，图2所描述的方法应用于神经网络模型的训练装置中，该训练装置可以是相应的训练终端、训练设备或服务器，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。如图2所示，该用于多层次图像轮廓信息提取的神经网络训练方法可以包括以下操作：

201、确定特征提取网络训练模型的网络架构。

202、将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到特征提取网络训练模型的第一损失函数收敛，以得到训练后的特征提取网络模型。

上述步骤201-202的具体的技术细节和技术名词解释，可以参照实施一中对步骤101-102的表述，在此不再赘述。

203、将训练图像集输入至训练后的特征提取网络模型进行特征提取，以得到第二图像轮廓特征信息。

本发明实施例中，训练图像集可以包括有多张被人工标注过的训练图像，此处所指的人工标注，是为了实现性别分类这一任务的目的，通过人工对训练图像的性别标签进行设定，这里的性别标签可以为男性、女性中的一种或多种，在此不做限定。

本发明实施例中，第二图像轮廓特征用于表征图像的外边缘轮廓信息，其可以为图像的整体闭合轮廓特征，图像的边缘轮廓特征，图像的纹理特征中的一种或多种的组合，本发明不做限定。

204、将训练图像集输入至第一性别分类网络模型，以得到图像性别特征信息。

本发明实施例中，第一性别分类网络模型为基础的性别分类网络模型，其用于提取训练图像中用于表征性别信息的高层语义特征。可选的，第一性别分类网络模型可以为EfficientNet、ShuffleNet、ResNet、MobileNet等卷积神经分类网络中的一种或多种的组合。可选的，第一性别分类网络模型可以为预先使用图像数据集进行训练得到的性别分类网络模型，如使用ImageNet数据集进行训练，在一个可选的实施方式中，第一性别分类网络模型接收RGB三通道的服装图像作为输入，最终提取出高维的性别分类特征。

205、将第二图像轮廓特征信息与图像性别特征信息进行融合，得到图像融合特征信息。

本发明实施例中，将图像轮廓特征信息与图像性别特征信息进行融合，可以为在每一通道的维度上进行拼接，和/或，通过由多层卷积层构成的分类特征融合层进行特征融合，以得到图像融合特征信息。可选的，分类特征融合层的可以由多个级联的N×N卷积层构成，例如由两个级联的3×3卷积层构成。

206、将图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型。

本发明实施例中，目标神经网络模型用于对输入图像的性别进行分类。可选的，目标神经网络模型的架构包括上述特征提取网络模型、第一性别分类网络模型和第二性别分类网络模型，其数据处理流程与上述训练步骤相似，本领域技术人员通晓神经网络模型的训练步骤和实际预测步骤的技术细节相同或相似，在此不再赘述。可选的，第二性别分类网络模型可以为全连接层以进行性别分类，也可以参照第一性别分类网络模型的技术细节。

可见，实施本发明实施例所描述的方法能够通过双路网络模型同时提取得到训练图像的轮廓特征信息以及性别特征信息，并结合两种信息融合后的特征来对性别分类模型进行训练，从而可以将图像的轮廓信息引入至图像的性别分类网络训练中，提高了后续训练得到的网络模型的性别分类精确度，同时相对于现有的性别分类网络模型训练方法，本发明中的模型复杂大大降低，收敛速度更快，人力物力成本更低。

在一个可选的实施方式中，图像轮廓特征信息为多通道多层次的图像轮廓特征信息，相应的，特征提取网络模型包括有多个用于分别提取不同层次的轮廓特征的特征提取层和相应的多个用于统一尺寸的尺寸统一层。

可见，通过实施该可选的实施方式，特征提取网络模型可用于提取图像的多个通道的不同层次的轮廓特征，且通过尺寸统一层对多个特征图的尺寸进行统一，以得到多层次的图像轮廓特征信息，可以用于更精确地表征图像的轮廓信息，后续在将这一轮廓信息引入目标神经网络的训练时，可以提高目标神经网络基于图像的轮廓来判定图像性别信息的精确度。

在另一个可选的实施方式中，步骤203中的，将训练图像集输入至特征提取网络模型进行特征提取，以得到第二图像轮廓特征信息，可以包括：

将训练图像集输入至多个特征提取层，以输出多个不同尺寸的图像轮廓特征；

将每一特征提取层输出的图像轮廓特征输入至对应的尺寸统一层，以得到多个同一尺寸的图像轮廓特征；

将多个同一尺寸的图像轮廓特征确定为第二图像轮廓特征信息。

可见，实施该可选的实施方式能够得到多层次的图像轮廓特征信息，可以用于更精确地表征图像的轮廓信息，后续在将这一轮廓信息引入目标神经网络的训练时，可以提高目标神经网络基于图像的轮廓来判定图像性别信息的精确度。

在又一个可选的实施方式中，步骤206中的，将图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型，包括：

将图像融合特征信息输入至第二性别分类网络模型进行训练；

基于反向传播，不断更新第一性别分类网络模型和/或第二性别分类网络模型的模型参数，直至第二损失函数收敛，以得到目标神经网络模型。

本发明实施例中，优选的，可以选择更新第一性别分类网络模型和第二性别分类网络模型的模型参数，而不更新特征提取网络模型的模型参数，这是因为本模型中特征提取网络模型采用另外的方式进行训练，其功能仅用于图像轮廓特征的提取，若对其进行训练会影响后续提取出的图像轮廓特征的表征能力。

可选的，第二性别分类网络模型最终输出的性别预测信息可以为训练图像对应的预测性别标签和相应的置信度。可选的，第二损失函数为第二性别分类网络模型输出的性别预测信息与对应的训练图像的真实性别标签的softmax损失，通过计算该损失得到的反向传播梯度信息，来不断更新第一性别分类网络模型和/或第二性别分类网络模型的模型参数，以使得该第二损失函数收敛。

可见，实施该可选的实施方式，基于反向传播，不断更新第一性别分类网络模型和/或第二性别分类网络模型的模型参数，直至第二损失函数收敛得到训练好的神经网络模型，能够在训练中不更新特征提取网络模型的模型参数，从而一方面提高了训练时的收敛速度，减少了工作量，另一方面可以使得网络模型更注重了性别分类的精度而非轮廓提取的精度，以取得更好的性别分类预测效果。

在又一个可选的实施方式中，步骤203之前，该方法还包括：

使用数据增强算法对训练图像集进行处理，以得到包括更多训练图像的训练图像集。

本发明实施例中，数据增强算法可以为离线数据增强算法或在线数据增强算法，其可以为对训练图像的大小、方向、颜色、分辨率等信息进行变换的数据增强方法，例如，其可以为翻转、旋转、裁剪、缩放、平移、仿射变换、添加噪声、亮度增强、对比度增强、锐化等处理操作中的一种或多种，

可见，本可选的实施方式能够使用数据增强算法对训练图像集进行处理，以得到包括更多训练图像的训练图像集，从而使得训练图像数据的体量在减少工作量的情况下进行增加，从而进一步提高了模型训练的程度，有利于提高训练出的模型的预测精确度。

在另一个可选的实施方式中，上述步骤中，使用数据增强算法对训练图像集进行处理，以得到包括更多训练图像的训练图像集，包括：

对训练图像集中的一个或多个训练图像的颜色信息进行变换，以得到包括更多训练图像的训练图像集。

可选的，对颜色信息进行变换的方式可以包括随机交换颜色通道，以及随机改变特定通道的特征值大小中的一种或两种的组合，本发明不做限定。可选的，此处的颜色信息变换的程度应该小于预设的阈值，例如交换颜色通道的图片数量应小于数量阈值，或是改变特定通道的特征值大小的差值应小于差值阈值，以防止影响到整体服装图像的颜色数据分布，导致模型精度下降。

可见，该可选的实施方式能够来减小最终训练得到的性别分类模型直接依靠颜色信息输出性别类别的可能性，从而提高模型的泛化性。

需要注意的是，本发明上述或以下实施例中描述的方法，可以具体应用于服装图像的多层次图像轮廓信息提取的领域，这一领域较多使用轮廓信息来表征性别或服装材质，相应的本发明中的训练图像或轮廓训练图像均可以为服装商品图像，当然，可选的，其他的商品图像或服务图像领域也可以适用于本发明所述的方法，本发明不作特别限定，仅是对上述优选的情况进行说明。

实施例三

请参阅图3，图3是本发明实施例公开的一种用于多层次图像轮廓信息提取的神经网络训练装置的结构示意图。其中，图3所描述的装置可以应用于相应的训练终端、训练设备或服务器，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。如图3所示，该装置可以包括：

网络确定模块301，用于确定特征提取网络训练模型的网络架构。

本发明实施例中，特征提取网络训练模型包括特征提取网络模型以及连接至特征提取网络模型的输出的单通道特征卷积层，其中，单通道特征卷积层用于将所述特征提取网络模型输出的多通道多层次的图像轮廓特征信息处理成单通道的图像轮廓特征信息。

网络训练模块302，用于将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到特征提取网络训练模型的第一损失函数收敛，以得到训练后的特征提取网络模型。

本发明实施例中，最终训练得到的是特征提取网络模型，也即去除了单通道特征卷积层的特征提取网络训练模型，这是因为本发明的方案中最终需要用到的，就是特征提取网络模型来对图像的多通道多层次的轮廓特征进行提取，单通道特征卷积层仅是用于训练时对多通道多层次的轮廓特征进行融合来方便后续的损失计算，训练完成后即可抛弃。

可见，实施本发明实施例所描述的方法能够提取到输入图像的多通道多层次的图像轮廓特征信息，并处理成单通道特征信息以进行模型训练，从而使得训练得到的网络模型能够用于准确提取到输入图像的多通道多层次的轮廓信息，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

作为一种可选的实施方式，图像轮廓特征信息为多通道多层次的图像轮廓特征信息，相应的，特征提取网络模型包括有多个用于分别提取不同层次的轮廓特征的特征提取层和相应的多个用于统一尺寸的尺寸统一层。

可见，通过实施该可选的实施方式，特征提取网络模型可用于提取图像的多个通道的不同层次的轮廓特征，且通过尺寸统一层对多个特征图的尺寸进行统一，以得到多层次的图像轮廓特征信息，可以用于更精确地表征图像的轮廓信息，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

作为一种可选的实施方式，网络训练模块302将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到特征提取网络训练模型的第一损失函数收敛，以得到训练后的特征提取网络模型的具体方式，包括：

将轮廓训练图像集输入至多个特征提取层，以输出多个不同尺寸的图像轮廓特征；

将每一特征提取层输出的图像轮廓特征输入至对应的尺寸统一层，以得到多个同一尺寸的图像轮廓特征；

将多个同一尺寸的图像轮廓特征进行融合，以得到第一图像轮廓特征信息；

将第一图像轮廓特征信息输入至单通道特征卷积层，以得到单通道的图像轮廓特征信息；

重复上述步骤，基于反向传播更新特征提取网络模型的模型参数，直到第一损失函数收敛，以得到训练后的特征提取网络模型。

本发明实施例中，多个特征提取层为多个依次级联的卷积层，其中每一卷积层的输出均连接至一对应的尺寸统一层。可选的，特征提取层为包括有残差模块的卷积层，其中残差模块用来加强特征提取和反向传播能力，可以为ResNet、DenseNet或SENet，最终每个特征提取层输出不同尺寸的特征图，从而得到多尺寸的特征图。其中，浅层的特征图用来捕捉服装图像细微的纹理特征，深层特征图用来捕捉轮廓特征。在一个可选的实施例中，卷积层可以为级联的一个3×3的卷积层和一个残差模块。

可选的，尺寸统一层可以为插值模块，可选的，该插值模块采用插值算法对特征提取层输出的图像轮廓特征的尺寸统一插值至同一尺寸。可选的，插值算法可以为双线性插值、最近邻插值、反卷积层中的一种或多种，本发明不做限定。

本发明实施例中，可选的，轮廓训练图像集包括有多个经标注的轮廓训练图像，该经标注的轮廓训练图像为经过人工对图像中的轮廓进行标注的训练图像。可选的，第一损失函数为单通道的图像轮廓特征信息与对应的轮廓训练图像之间的交叉熵损失。

可见，实施该可选的实施方式能够对特征提取网络训练模型进行训练，直到特征提取网络训练模型的第一损失函数收敛，从而可以得到用于提取多通道多层次的轮廓特征信息的特征提取网络模型，以便于后续依据该轮廓信息进行图像识别任务时，提高图像识别任务的效率和准确率。

作为一种可选的实施方式，如图4所示，该装置还包括：

轮廓提取模块303，用于将训练图像集输入至训练后的特征提取网络模型进行特征提取，以得到第二图像轮廓特征信息。

本发明实施例中，训练图像集可以包括有多张被人工标注过的训练图像，此处所指的人工标注，是为了实现性别分类这一任务的目的，通过人工对训练图像的性别标签进行设定，这里的性别标签可以为男性、女性中的一种或多种，在此不做限定。

本发明实施例中，第二图像轮廓特征用于表征图像的外边缘轮廓信息，其可以为图像的整体闭合轮廓特征，图像的边缘轮廓特征，图像的纹理特征中的一种或多种的组合，本发明不做限定。

性别提取模块304，用于将训练图像集输入至第一性别分类网络模型，以得到图像性别特征信息。

本发明实施例中，第一性别分类网络模型为基础的性别分类网络模型，其用于提取训练图像中用于表征性别信息的高层语义特征。可选的，第一性别分类网络模型可以为EfficientNet、ShuffleNet、ResNet、MobileNet等卷积神经分类网络中的一种或多种的组合。可选的，第一性别分类网络模型可以为预先使用图像数据集进行训练得到的性别分类网络模型，如使用ImageNet数据集进行训练，在一个可选的实施方式中，第一性别分类网络模型接收RGB三通道的服装图像作为输入，最终提取出高维的性别分类特征。

融合模块305，用于将第二图像轮廓特征信息与图像性别特征信息进行融合，得到图像融合特征信息。

本发明实施例中，将图像轮廓特征信息与图像性别特征信息进行融合，可以为在每一通道的维度上进行拼接，和/或，通过由多层卷积层构成的分类特征融合层进行特征融合，以得到图像融合特征信息。可选的，分类特征融合层的可以由多个级联的N×N卷积层构成，例如由两个级联的3×3卷积层构成。

训练模块306，用于将图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型。

本发明实施例中，目标神经网络模型用于对输入图像的性别进行分类。可选的，目标神经网络模型的架构包括上述特征提取网络模型、第一性别分类网络模型和第二性别分类网络模型，其数据处理流程与上述训练步骤相似，本领域技术人员通晓神经网络模型的训练步骤和实际预测步骤的技术细节相同或相似，在此不再赘述。可选的，第二性别分类网络模型可以为全连接层以进行性别分类，也可以参照第一性别分类网络模型的技术细节。

可见，实施本可选的实施方式能够通过双路网络模型同时提取得到训练图像的轮廓特征信息以及性别特征信息，并结合两种信息融合后的特征来对性别分类模型进行训练，从而可以将图像的轮廓信息引入至图像的性别分类网络训练中，提高了后续训练得到的网络模型的性别分类精确度，同时相对于现有的性别分类网络模型训练方法，本发明中的模型复杂大大降低，收敛速度更快，人力物力成本更低。

作为一种可选的实施方式，图像轮廓特征信息为多通道多层次的图像轮廓特征信息，相应的，特征提取网络模型包括有多个用于分别提取不同层次的轮廓特征的特征提取层和相应的多个用于统一尺寸的尺寸统一层。

可见，通过实施该可选的实施方式，特征提取网络模型可用于提取图像的多个通道的不同层次的轮廓特征，且通过尺寸统一层对多个特征图的尺寸进行统一，以得到多层次的图像轮廓特征信息，可以用于更精确地表征图像的轮廓信息，后续在将这一轮廓信息引入目标神经网络的训练时，可以提高目标神经网络基于图像的轮廓来判定图像性别信息的精确度。

作为一种可选的实施方式，轮廓提取模块303将训练图像集输入至特征提取网络模型进行特征提取，以得到第二图像轮廓特征信息的具体方式，可以包括：

将训练图像集输入至多个特征提取层，以输出多个不同尺寸的图像轮廓特征；

将每一特征提取层输出的图像轮廓特征输入至对应的尺寸统一层，以得到多个同一尺寸的图像轮廓特征；

将多个同一尺寸的图像轮廓特征确定为第二图像轮廓特征信息。

可见，实施该可选的实施方式能够得到多层次的图像轮廓特征信息，可以用于更精确地表征图像的轮廓信息，后续在将这一轮廓信息引入目标神经网络的训练时，可以提高目标神经网络基于图像的轮廓来判定图像性别信息的精确度。

作为一种可选的实施方式，训练模块306将图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型的具体方式，包括：

将图像融合特征信息输入至第二性别分类网络模型进行训练；

基于反向传播，不断更新第一性别分类网络模型和/或第二性别分类网络模型的模型参数，直至第二损失函数收敛，以得到目标神经网络模型。

本发明实施例中，优选的，可以选择更新第一性别分类网络模型和第二性别分类网络模型的模型参数，而不更新特征提取网络模型的模型参数，这是因为本模型中特征提取网络模型采用另外的方式进行训练，其功能仅用于图像轮廓特征的提取，若对其进行训练会影响后续提取出的图像轮廓特征的表征能力。

可选的，第二性别分类网络模型最终输出的性别预测信息可以为训练图像对应的预测性别标签和相应的置信度。可选的，第二损失函数为第二性别分类网络模型输出的性别预测信息与对应的训练图像的真实性别标签的softmax损失，通过计算该损失得到的反向传播梯度信息，来不断更新第一性别分类网络模型和/或第二性别分类网络模型的模型参数，以使得该第二损失函数收敛。

可见，实施该可选的实施方式，基于反向传播，不断更新第一性别分类网络模型和/或第二性别分类网络模型的模型参数，直至第二损失函数收敛得到训练好的神经网络模型，能够在训练中不更新特征提取网络模型的模型参数，从而一方面提高了训练时的收敛速度，减少了工作量，另一方面可以使得网络模型更注重了性别分类的精度而非轮廓提取的精度，以取得更好的性别分类预测效果。

作为一种可选的实施方式，如图4所示，该装置还包括：

数据增强模块307，用于使用数据增强算法对训练图像集进行处理，以得到包括更多训练图像的训练图像集。

本发明实施例中，数据增强算法可以为离线数据增强算法或在线数据增强算法，其可以为对训练图像的大小、方向、颜色、分辨率等信息进行变换的数据增强方法，例如，其可以为翻转、旋转、裁剪、缩放、平移、仿射变换、添加噪声、亮度增强、对比度增强、锐化等处理操作中的一种或多种，

可见，本可选的实施方式能够使用数据增强算法对训练图像集进行处理，以得到包括更多训练图像的训练图像集，从而使得训练图像数据的体量在减少工作量的情况下进行增加，从而进一步提高了模型训练的程度，有利于提高训练出的模型的预测精确度。

作为一种可选的实施方式，数据增强模块307使用数据增强算法对训练图像集进行处理，以得到包括更多训练图像的训练图像集的具体方式，包括：

对训练图像集中的一个或多个训练图像的颜色信息进行变换，以得到包括更多训练图像的训练图像集。

可选的，对颜色信息进行变换的方式可以包括随机交换颜色通道，以及随机改变特定通道的特征值大小中的一种或两种的组合，本发明不做限定。可选的，此处的颜色信息变换的程度应该小于预设的阈值，例如交换颜色通道的图片数量应小于数量阈值，或是改变特定通道的特征值大小的差值应小于差值阈值，以防止影响到整体服装图像的颜色数据分布，导致模型精度下降。

可见，该可选的实施方式能够来减小最终训练得到的性别分类模型直接依靠颜色信息输出性别类别的可能性，从而提高模型的泛化性。

实施例四

请参阅图5，图5是本发明实施例公开的又一种用于多层次图像轮廓信息提取的神经网络训练装置的结构示意图。如图5所示，该装置可以包括：

存储有可执行程序代码的存储器401；

与存储器401耦合的处理器402；

处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一或实施例二公开的用于多层次图像轮廓信息提取的神经网络训练方法中的部分或全部步骤。

实施例五

本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一或实施例二公开的用于多层次图像轮廓信息提取的神经网络训练方法中的部分或全部步骤。

以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

最后应说明的是：本发明实施例公开的一种用于多层次图像轮廓信息提取的神经网络训练方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (9)

1.一种用于多层次图像轮廓信息提取的神经网络训练方法，其特征在于，所述方法包括：

确定特征提取网络训练模型的网络架构；所述特征提取网络训练模型包括特征提取网络模型和连接至所述特征提取网络模型的输出的单通道特征卷积层；所述特征提取网络模型用于输出输入图像的多通道多层次的第一图像轮廓特征信息；所述单通道特征卷积层用于将所述特征提取网络模型输出的第一图像轮廓特征信息处理成单通道的图像轮廓特征信息；

将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型；

其中，所述特征提取网络模型包括有多个用于分别提取不同层次的轮廓特征的特征提取层和相应的多个用于统一尺寸的尺寸统一层；所述将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型，包括：

将轮廓训练图像集输入至多个所述特征提取层，以输出多个不同尺寸的图像轮廓特征；

将每一所述特征提取层输出的所述图像轮廓特征输入至对应的所述尺寸统一层，以得到多个同一尺寸的图像轮廓特征；

将所述多个同一尺寸的图像轮廓特征进行融合，以得到所述第一图像轮廓特征信息；

将所述第一图像轮廓特征信息输入至所述单通道特征卷积层，以得到单通道的图像轮廓特征信息；

重复上述步骤，基于反向传播更新所述特征提取网络模型的模型参数，直到第一损失函数收敛，以得到训练后的所述特征提取网络模型。

2.根据权利要求1所述的用于多层次图像轮廓信息提取的神经网络训练方法，其特征在于，所述轮廓训练图像集包括有多个经标注的轮廓训练图像；所述第一损失函数为所述单通道的图像轮廓特征信息与对应的轮廓训练图像之间的交叉熵损失。

3.根据权利要求1所述的用于多层次图像轮廓信息提取的神经网络训练方法，其特征在于，所述方法还包括：

将训练图像集输入至训练后的所述特征提取网络模型进行特征提取，以得到第二图像轮廓特征信息；

将所述训练图像集输入至第一性别分类网络模型，以得到图像性别特征信息；

将所述第二图像轮廓特征信息与所述图像性别特征信息进行融合，得到图像融合特征信息；

将所述图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型；所述目标神经网络模型用于对输入图像的性别进行分类。

4.根据权利要求3所述的用于多层次图像轮廓信息提取的神经网络训练方法，其特征在于，所述将所述图像融合特征信息输入至第二性别分类网络模型进行训练，直到收敛，得到目标神经网络模型，包括：

将所述图像融合特征信息输入至第二性别分类网络模型进行训练；

基于反向传播，不断更新所述第一性别分类网络模型和/或所述第二性别分类网络模型的模型参数，直至第二损失函数收敛，以得到目标神经网络模型。

5.根据权利要求4所述的用于多层次图像轮廓信息提取的神经网络训练方法，其特征在于，所述第二损失函数为所述第二性别分类网络模型输出的性别预测信息与对应的训练图像的真实性别标签的softmax损失。

6.根据权利要求3所述的用于多层次图像轮廓信息提取的神经网络训练方法，其特征在于，所述方法还包括：

使用数据增强算法对所述训练图像集进行处理，以得到包括更多训练图像的训练图像集。

7.一种用于多层次图像轮廓信息提取的神经网络训练装置，其特征在于，所述装置包括：

网络确定模块，用于确定特征提取网络训练模型的网络架构；所述特征提取网络训练模型包括特征提取网络模型和连接至所述特征提取网络模型的输出的单通道特征卷积层；所述特征提取网络模型用于输出输入图像的多通道多层次的第一图像轮廓特征信息；所述单通道特征卷积层用于将所述特征提取网络模型输出的第一图像轮廓特征信息处理成单通道的图像轮廓特征信息；

网络训练模块，用于将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型；

其中，所述特征提取网络模型包括有多个用于分别提取不同层次的轮廓特征的特征提取层和相应的多个用于统一尺寸的尺寸统一层；所述网络训练模块将轮廓训练图像集输入至特征提取网络训练模型进行训练，直到所述特征提取网络训练模型的第一损失函数收敛，以得到训练后的所述特征提取网络模型的具体方式，包括：

将轮廓训练图像集输入至多个所述特征提取层，以输出多个不同尺寸的图像轮廓特征；

将每一所述特征提取层输出的所述图像轮廓特征输入至对应的所述尺寸统一层，以得到多个同一尺寸的图像轮廓特征；

将所述多个同一尺寸的图像轮廓特征进行融合，以得到所述第一图像轮廓特征信息；

将所述第一图像轮廓特征信息输入至所述单通道特征卷积层，以得到单通道的图像轮廓特征信息；

重复上述步骤，基于反向传播更新所述特征提取网络模型的模型参数，直到第一损失函数收敛，以得到训练后的所述特征提取网络模型。

8.一种用于多层次图像轮廓信息提取的神经网络训练装置，其特征在于，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-6任一项所述的用于多层次图像轮廓信息提取的神经网络训练方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-6任一项所述的用于多层次图像轮廓信息提取的神经网络训练方法。