CN107247955A - 配件识别方法及装置 - Google Patents

Abstract

本发明属于智能识别技术领域，提供了一种配件识别方法及装置。本发明的配件识别方法包括：输入测试图像；利用预先训练得到的深度学习模型的特征提取层，提取测试图像的特征，生成所述测试图像对应的特征图；利用所述深度学习模型的配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。本发明的配件识别方法，结合两个阶段的模型训练为一个模型的训练与优化，提高了配件识别的测试速度和精准。

Description

配件识别方法及装置

技术领域

本发明涉及智能识别术领域，具体涉及一种配件识别方法及装置。

背景技术

现有的配件检测技术分为两个阶段，第一阶段：搜寻图像中目标前景物件(例如衣服)，并通过使用不同大小的搜寻框来找寻并筛选前景物件；第二阶段：利用一个分类器(模型)对筛选过后的前景物件进行辨识，确定该前景物件是属于何种目标对象(例如是上衣或是裤子等)。此技术的核心概念在于将对象检测与对象辨识分成两个阶段来实现，该技术的结构存在的问题是当第一阶段的对象检测在前景物件检测错误后，亦无法再由第二阶段中拯救回来。此外，第一阶段的检测与第阶段的辨识是分开的步骤但结果却有极高程度的相关性，但目前还无法提供有效率的方式来同时优化两个不同阶段的模型参数。

发明内容

针对现有技术中的缺陷，本发明提供了配件识别方法及装置，结合配件检测和配件识别两个阶段的模型训练为一个模型的训练与优化，提高了配件识别的测试速度和精准。

第一方面，本发明提供的一种配件识别方法，包括：输入测试图像；利用预先训练得到的深度学习模型的特征提取层，提取所述测试图像的特征，生成所述测试图像对应的特征图；利用所述深度学习模型的配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

优选地，利用所述深度模型的配件分类层，得到筛选出的配件位置对应的配件类别，包括：利用所述深度模型的配件分类层，分别得到筛选出的配件位置对应的至少一个配件类别，以及每个配件类别对应的概率；利用Softmax函数将各个所述配件位置对应的所有配件类别的概率对应到0至1之间，并让各个所述配件位置对应的所有配件类别的概率总和为1；针对每个配件位置，将概率最大的配件类别确定为所述配件位置的配件类别。

优选地，所述深度模型的训练步骤包括：输入训练图像，所述训练图像预先标注配件位置、每个配件位置对应的配件类别；利用深度学习模型，识别所述训练图像中的配件位置，根据识别的配件位置与预先标注的配件位置的差异更新所述深度学习模型的参数；利用更新后的深度学习模型，识别所述训练图像中的配件位置对应的配件类别，根据识别的配件类别与预先标注的配件类别的差异更新所述深度学习模型的参数；继续训练所述深度学习模型，直至通过所述深度学习模型输出的配件位置及配件位置对应的配件类别达到要求。

优选地，所述深度学习模型包括：特征提取层、配件位置生成层、配件分类层；利用深度学习模型，识别所述训练图像中的配件位置及配件位置对应的配件类别，包括：利用所述特征提取层，提取所述训练图像的特征，生成所述训练图像对应的特征图；利用所述配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

本发明提供的配件识别方法，将识别配件的位置和配件分类两个任务作结合一同讯练与测试，在执行时间上比传统的架构来的有效率，得到的结果更准确；另外，使用深度学习模型可以自动学习高层次的特征表现，这样的特征表现对于检测与分类相较于一般人工设计的低阶特征表现的滤波器在配件识别分类中具有更佳的效能表现。

第二方面，本发明提供的一种配件识别装置，包括：图像输入模块，用于输入测试图像；特征提取模块，用于利用预先训练得到的深度学习模型的特征提取层，提取所述测试图像的特征，生成所述测试图像对应的特征图；配件位置生成模块，用于利用所述深度学习模型的配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；配件类别识别模块，用于利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

优选地，所述配件类别识别模块具体用于：利用所述深度模型的配件分类层，分别得到筛选出的配件位置对应的至少一个配件类别，以及每个配件类别对应的概率；利用Softmax函数将各个所述配件位置对应的所有配件类别的概率对应到0至1之间，并让各个所述配件位置对应的所有配件类别的概率总和为1；针对每个配件位置，将概率最大的配件类别确定为所述配件位置的配件类别。

优选地，所述深度模型的训练步骤包括：输入训练图像，所述训练图像预先标注配件位置、每个配件位置对应的配件类别；利用深度学习模型，识别所述训练图像中的配件位置，根据识别的配件位置与预先标注的配件位置的差异更新所述深度学习模型的参数；利用更新后的深度学习模型，识别所述训练图像中的配件位置对应的配件类别，根据识别的配件类别与预先标注的配件类别的差异更新所述深度学习模型的参数；继续训练所述深度学习模型，直至通过所述深度学习模型输出的配件位置及配件位置对应的配件类别达到要求。

优选地，所述深度模型包括：特征提取层、配件位置生成层、配件分类层；利用深度学习模型，识别所述训练图像中的配件位置及配件位置对应的配件类别，包括：利用所述特征提取层，提取所述训练图像的特征，生成所述训练图像对应的特征图；利用所述配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

本发明提供的配件识别装置，将识别配件的位置和配件分类两个任务作结合一同讯练与测试，在执行时间上比传统的架构来的有效率，得到的结果更准确；另外，使用深度学习模型可以自动学习高层次的特征表现，这样的特征表现对于检测与分类相较于一般人工设计的低阶特征表现的滤波器在配件识别分类中具有更佳的效能表现。

附图说明

图1示出了本发明实施例所提供的一种配件识别方法的流程图；

图2示出了本发明实施例所提供的一配件识别装置的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示，本发明实施例提供的一种配件识别方法，包括：

步骤S1，输入测试图像。

步骤S2，利用预先训练得到的深度学习模型的特征提取层，提取测试图像的特征，生成测试图像对应的特征图。

步骤S3，利用深度学习模型的配件位置生成层，遍历特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置。

其中，配件位置包含四个坐标点，根据配件位置的四个坐标点就可以得到裁切后的配件图。在这些配件图中存在一些伪配件图，伪配件图中包含的是测试图像的背景，不包含配件。因此，为了滤除众多属于背景的伪配件图，深度学习训练模型会给所有的配件图进行打分，获得的评分越高，表明根据配件位置裁切后的配件图中包含的背景信息越少、配件信息越多。一旦评分达到预设的评分阈值，就认为根据该配件位置得到的配件图中包含配件，否则即为伪配件图。

步骤S4，利用深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

本发明实施例提供的配件识别方法，结合配件检测和配件识别两个阶段的模型训练为一个模型的训练与优化，提高了配件识别的测试速度和精准。

其中，步骤S4的实现方式有多种，本发明实施例提供了一种步骤S4的优选实现方式，包括：利用深度模型的配件分类层，分别得到筛选出的配件位置对应的至少一个配件类别，以及每个配件类别对应的概率；利用Softmax函数将各个配件位置对应的所有配件类别的概率对应到0至1之间，并让各个配件位置对应的所有配件类别的概率总和为1；针对每个配件位置，将概率最大的配件类别确定为配件位置的配件类别。

其中，述深度模型的训练步骤包括：输入训练图像，训练图像预先标注配件位置、每个配件位置对应的配件类别；利用深度学习模型，识别训练图像中的配件位置，根据识别的配件位置与预先标注的配件位置的差异更新深度学习模型的参数；利用更新后的深度学习模型，识别训练图像中的配件位置对应的配件类别，根据识别的配件类别与预先标注的配件类别的差异更新深度学习模型的参数；继续训练深度学习模型，直至通过深度学习模型输出的配件位置及配件位置对应的配件类别达到要求。其中，根据识别的配件位置与预先标注的配件位置的差异更新深度学习模型，能够提高深度学习模型在配件位置的侦测上具有一定的能力；根据识别的配件类别与预先标注的配件类别的差异更新深度学习模型模型的参数，能够提高深度学习模型对配件的辨别度。随后对深度学习模型的迭代更新，直至通过深度学习模型输出的配件位置和配件类别与输入的训练图像的预先标注配件位置、配件类别相同。

其中，深度学习模型包括：特征提取层、配件位置生成层、配件分类层；利用深度学习模型，识别训练图像中的配件位置及配件位置对应的配件类别，包括：利用特征提取层，提取训练图像的特征，生成训练图像对应的特征图；利用配件位置生成层，遍历特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；利用深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

在本发明实施例中，基于深度学习的配件识别方法采用Faster R-CNN的架构实现。通过Faster R-CNN中的RPN(region proposal network)，即配件位置生成层，学习如何准确地标注配件的位置(即训练模型学习人标注配件的方式来标注测试图像中配件的位置)，并利用配件分类层(classification network)来学习人如何标注配件的类别，配件分类层利用Softmax函数将每个配件类别的概率对应到0至1之间并让所有配件类别的概率总和相加为1。在配件识别中，通过配件类别的概率最大值来判断识别的配件属于何种类别,此架构同时解决识别配件位置与配件分类的任务。另外，Faster R-CNN架构采用全图输入，并通过VGG深度学习网络来训练图像特征的提取，以学习到高层次的特征表示，使得FasterR-CNN的RPN层与配件分类层可以从高层次的特征中更容易区别出配件与非配件的物件与相对应的配件类别。

本发明为许多应用场景的基础与重要的技术。如在作同款式配件的搜寻中，使用者可以通过上传影像，并针对配件准确的搜寻与分类。可在网络上对于店家公开的配件作匹配，找寻最相似或便宜的同款式配件。或者针对时尚穿搭的建议，也需要能够准确侦测/识别使用者身上的配件，进而分析配件的特性与款式，并通过专业的时尚穿搭分析给出穿搭的建议。

本发明实施例提供的配件识别方法中，配件检测与识别共享一个相同的解答模型以达成此架构可以同时解决此两个任务的需求，在执行时间上比传统的架构来的有效率，得到的结果更准确；另外，使用深度学习模型可以自动学习高层次的特征表现，这样的特征表现对于检测与分类相较于一般人工设计的低阶特征表现的滤波器在配件识别分类中具有更佳的效能表现，因此学习到的特征具高阶可辨识性,进而提升配件裁切的正确性与配件类别的辨识度。

基于与上述配件识别方法相同的构思，本发明实施例提供了一种配件识别装置，如图2所示，包括：图像输入模块101，用于输入测试图像；特征提取模块102，用于利用预先训练得到的深度学习模型的特征提取层，提取测试图像的特征，生成测试图像对应的特征图；配件位置生成模块103，用于利用深度学习模型的配件位置生成层，遍历特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；配件类别识别模块104，用于利用深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

本发明实施例提供的配件识别装置，结合配件检测和配件识别两个阶段的模型训练为一个模型的训练与优化，提高了配件识别的测试速度和精准。

其中，配件位置包含四个坐标点，根据配件位置的四个坐标点就可以得到裁切后的配件图。在这些配件图中存在一些伪配件图，位配件图中包含的是测试图像的背景，不包含配件。因此，为了滤除众多属于背景的伪配件图，深度学习训练模型会给所有的配件图进行打分，获得的评分越高，表明根据配件位置裁切后的配件图中包含的背景信息越少、配件信息越多。一旦评分达到预设的评分阈值，就认为根据该配件位置得到的配件图中包含配件，否则即为伪配件图。

其中，配件类别识别模块104具体用于：利用深度模型的配件分类层，分别得到筛选出的配件位置对应的至少一个配件类别，以及每个配件类别对应的概率；利用Softmax函数将各个配件位置对应的所有配件类别的概率对应到0至1之间，并让各个配件位置对应的所有配件类别的概率总和为1；针对每个配件位置，将概率最大的配件类别确定为配件位置的配件类别。

其中，深度模型的训练步骤包括：输入训练图像，训练图像预先标注配件位置、每个配件位置对应的配件类别；利用深度学习模型，识别训练图像中的配件位置及配件位置对应的配件类别；根据识别的配件位置与预先标注的配件位置的差异更新深度学习模型使模型的参数；根据识别的配件类别与预先标注的配件类别的差异更新深度学习模型模型的参数；继续训练深度学习模型，直至通过深度学习模型输出的配件位置及配件位置对应的配件类别达到要求。其中，根据识别的配件位置与预先标注的配件位置的差异更新深度学习模型，能够提高深度学习模型在配件位置的侦测上具有一定的能力；根据识别的配件类别与预先标注的配件类别的差异更新深度学习模型模型的参数，能够提高深度学习模型对配件的辨别度。随后对深度学习模型的迭代更新，直至通过深度学习模型输出的配件位置和配件类别与输入的训练图像的预先标注配件位置、配件类别相同。

其中，深度模型包括：特征提取层、配件位置生成层、配件分类层；利用深度学习模型，识别训练图像中的配件位置及配件位置对应的配件类别，包括：利用特征提取层，提取训练图像的特征，生成训练图像对应的特征图；利用配件位置生成层，遍历特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；利用深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

通过本发明实施例提供的配件识别装置，配件检测与识别共享一个相同的解答模型以达成此架构可以同时解决此两个任务的需求，在执行时间上比传统的架构来的有效率，得到的结果更准确；另外，使用深度学习模型可以自动学习高层次的特征表现，这样的特征表现对于检测与分类相较于一般人工设计的低阶特征表现的滤波器在配件识别分类中具有更佳的效能表现，因此学习到的特征具高阶可辨识性,进而提升配件裁切的正确性与配件类别的辨识度。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种配件识别方法，其特征在于，包括：

输入测试图像；

利用预先训练得到的深度学习模型的特征提取层，提取所述测试图像的特征，生成所述测试图像对应的特征图；

利用所述深度学习模型的配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；

利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

2.根据权利要求1所述的配件识别方法，其特征在于，利用所述深度模型的配件分类层，得到筛选出的配件位置对应的配件类别，包括：

利用所述深度模型的配件分类层，分别得到筛选出的配件位置对应的至少一个配件类别，以及每个配件类别对应的概率；

利用Softmax函数将各个所述配件位置对应的所有配件类别的概率对应到0至1之间，并让各个所述配件位置对应的所有配件类别的概率总和为1；

针对每个配件位置，将概率最大的配件类别确定为所述配件位置的配件类别。

3.根据权利要求1或2所述的方法，其特征在于，所述深度模型的训练步骤包括：

输入训练图像，所述训练图像预先标注配件位置、每个配件位置对应的配件类别；

利用深度学习模型，识别所述训练图像中的配件位置，根据识别的配件位置与预先标注的配件位置的差异更新所述深度学习模型的参数；

利用更新后的深度学习模型，识别所述训练图像中的配件位置对应的配件类别，根据识别的配件类别与预先标注的配件类别的差异更新所述深度学习模型的参数；

继续训练所述深度学习模型，直至通过所述深度学习模型输出的配件位置及配件位置对应的配件类别达到要求。

4.根据权利要求3所述的方法，其特征在于，所述深度学习模型包括：特征提取层、配件位置生成层、配件分类层；

利用深度学习模型，识别所述训练图像中的配件位置及配件位置对应的配件类别，包括：

利用所述特征提取层，提取所述训练图像的特征，生成所述训练图像对应的特征图；

利用所述配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；

利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

5.一种配件识别装置，其特征在于，包括：

图像输入模块，用于输入测试图像；

特征提取模块，用于利用预先训练得到的深度学习模型的特征提取层，提取所述测试图像的特征，生成所述测试图像对应的特征图；

配件位置生成模块，用于利用所述深度学习模型的配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；

配件类别识别模块，用于利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。

6.根据权利要求5所述的装置，其特征在于，所述配件类别识别模块具体用于：

利用所述深度模型的配件分类层，分别得到筛选出的配件位置对应的至少一个配件类别，以及每个配件类别对应的概率；

利用Softmax函数将各个所述配件位置对应的所有配件类别的概率对应到0至1之间，并让各个所述配件位置对应的所有配件类别的概率总和为1；

针对每个配件位置，将概率最大的配件类别确定为所述配件位置的配件类别。

7.根据权利要求5或6所述的装置，其特征在于，所述深度模型的训练步骤包括：

输入训练图像，所述训练图像预先标注配件位置、每个配件位置对应的配件类别；

利用深度学习模型，识别所述训练图像中的配件位置，根据识别的配件位置与预先标注的配件位置的差异更新所述深度学习模型的参数；

利用更新后的深度学习模型，识别所述训练图像中的配件位置对应的配件类别，根据识别的配件类别与预先标注的配件类别的差异更新所述深度学习模型的参数；

继续训练所述深度学习模型，直至通过所述深度学习模型输出的配件位置及配件位置对应的配件类别达到要求。

8.根据权利要求7所述的装置，其特征在于，所述深度模型包括：特征提取层、配件位置生成层、配件分类层；

利用深度学习模型，识别所述训练图像中的配件位置及配件位置对应的配件类别，包括：

利用所述特征提取层，提取所述训练图像的特征，生成所述训练图像对应的特征图；

利用所述配件位置生成层，遍历所述特征图，生成所有可能的配件位置以及各个配件位置的评分，将各个配件位置的评分与预设的评分阈值比较，筛选出配件位置；

利用所述深度学习模型的配件分类层，得到筛选出的配件位置对应的配件类别。