CN109325529A - 一种草图识别方法以及该方法在商品检索中的应用 - Google Patents

Abstract

本发明公开了一种草图识别方法，该方法包括以下步骤：S1.获取待处理图片；S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；S4.将部件的语义信息同部件所属对象的语义信息相关联；S5.输出经过语义树得到的部件所属对象的标签。以及草图识别方法在商品检索中的应用，其特征在于，包括以下步骤：1)获取图片信息，2)检索系统利用所述草图识别方法，根据图片获得用户想要寻找的物品的标签，3)根据识别的标签，为用户推荐相应的商品。本发明提高了对完整草图识别的正确率，并且可以节约用户挑选商品的时间，增强用户体验。

Description

一种草图识别方法以及该方法在商品检索中的应用

技术领域

本发明涉及图像处理领域，特别是涉及一种融合深度学习和语义树的草图识别方法。

背景技术

随着网络的普及，网上购物成了当今社会人们首选的消费方式，用户只需要在购物网站上输入需要物品名称，即可挑选物品，随即下单，即方便了用户，减小了购物成本，又方便了商家，减少了中间商的中转成本。但是，目前用户的选购商品的方式，只限于输入商品名称或者输入实物的照片，再得到推荐列表。而现实生活中，某些情况下，用户并不知晓商品确切的名称，也没有商品实物照片，脑海中只有一个大致的物品形状。这种情况下，选购到令用户满意的商品就成了一种耗时且困难的事情。

随着便携设备的普及，随时随地都可以获取到草图，使用手绘草图来描绘客观世界，已经成为一种流行趋势。草图识别精度的提升对于草图检索有重要的理论意义和应用价值，如购物网站商品检索，客户无需知道商品名称，也无需拥有实物照片，即可通过手绘简单的草图绘制来检索目标商品。

发明内容

本发明的目的即是提供一种高效且便捷的草图识别方法，以方便用户检索商品。

为实现上述目的，本发明提供了一种草图识别方法，该方法包括以下步骤：

S1.获取待处理图片；

S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；

S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；

S4.将部件的语义信息同部件所属对象的语义信息相关联，获得部件所属对象的标签。

本发明的技术特征还在于：

步骤S2包括以下流程：1)将草图拆分到笔画层，2)将笔画的序列组合为笔画组，3)利用现有的3D形状库，将笔画组与3D形状库中的部件图进行迭代比对，然后利用3D部件的标注信息给2D的笔画组进行语义标注，得到基于笔画的草图标注文件，4)将标注文件中相同标签的笔画进行连接，绘制草图的部件图。

步骤S2中，对完整的草图进行分割后，再对部件图像进行数据增强。

步骤S4，包括以下流程：1)利用语义树，得到部件标签与部件所属对象标签的关联关系，2)使用语义相似度度量方法，获得部件的潜在语义标签，3)根据部件的潜在语义标签，使用基于上下文的语义融合策略，获得部件最终所属对象的标签。

所述草图识别方法在商品检索中的应用，其特征在于，包括以下步骤：1)获取图片信息，

2)检索系统利用所述草图识别方法，根据图片获得用户想要寻找的物品的标签，

3)根据识别的标签，为用户推荐相应的商品。

步骤1)中，获取的图片信息，包括用户绘制完成的草图，或用户手绘的过程中，系统响应的草图。

采用以上技术方案，本发明具有以下技术优点：

1.草图的构成简单，没有纹理色彩等信息，本发明认为草图是由具有语义信息的不同部件组成，通过对部件图的识别提高对完整草图识别的正确率。

2.本发明将WordNet语义树中蕴含的丰富语义信息引入草图的识别中，使得草图的识别过程更具有可解释性。

3.使用基于上下文的语义融合方式，构建草图部件图与完整草图间联系的桥梁，有效的缓解了WordNet中普遍存在的共享语义的情况，对于部件与部件对象间的相似度计量提供了很好的鲁棒性。

4.本发明通过这种部件分割的方法，对收集的草图进行了一定程度上的数据集扩充，使得小数据集也能够通过卷积神经网络提取特征。通过利用语义树构建部件标签同部件所属对象标签之间的联系，缓和了草图从单张图像的像素级别的低层特征直接到语义级别的高层特征之间的语义鸿沟。

5.本发明提供了一种高效的、便捷的草图识别方法，可以满足用户多样性检索需求，提高用户挑选商品的满意度，节约用户挑选时间，增强用户体验。

附图说明

图1是本发明的步骤示意图。

图2是本发明步骤示意图的放大示意图。

图3是本发明步骤示意图的放大示意图。

图4是本发明应用于商品检索的示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

实施例1：如图1、图2和图3所示，本实施例以一飞机草图进行说明，一种草图识别方法，包括以下步骤：

S1.获取草图：

具体到本实施例中，用户手绘草图，并输入系统。

S2.系统对获取到的草图进行具有语义信息的部件分割：

具体到本实施例中，可以在获取用户的手绘草图图像后，使用数据驱动的草图分割标注算法，将草图拆分到笔画层，再将笔画的序列组合为笔画组，包括将笔画的序列进行逐一的组合；再利用现有的3D形状库，如3D shape galleries，Shape repository等，将笔画组与3D形状库中的部件图进行迭代比对，然后利用3D部件的标注信息给2D的笔画组进行语义标注，得到基于笔画的草图标注文件，然后将标注文件中相同标签的笔画进行连接，绘制草图的部件图。

借助3D形状库可以较好的对草图进行分割，原因有两点：1)从二维平面图像到三维立体图形的过程类似人类视觉系统的视觉记忆；2)3D图形的部件图库不仅包含了部件个体的局部结构特征，而且包含了各个部件间相对的几何结构特征。

此处需要说明的是，草图分割方法并非限于本实施例所述的内容，凡是可以实现本发明目的的方法，均可运用到本发明中来进行草图分割。

对于一张用户绘制的飞机草图，可以按照其语义分割成八个部件，包括两个引擎，两个机翼，两个水平尾翼，一个垂直尾翼，一个机身。需要注意的是：分割后的部件图，以及部件图标签，均用以实现训练数据集的监督学习任务。因为针对这些部件图数据，虽然可以通过部件比对的方式将图片进行分割开，但是大多数情况下，并不能得到有效的部件标注信息，所以，需要对已有的2D部件图以及其标签进行监督学习，以达到对2D部件图直接标注的目的。所以，需要进行S3步骤。

S3.利用部件图对预训练的深度学习框架进行网络参数微调，微调的过程是在每一次的监督学习过程中根据误差的梯度下降法来动态调整卷积核的参数值，训练完成后，可以根据该网络计算得出需要识别图片的预测标签。

具体到本实施例中，使用AlexNet作为本发明中部件识别的基准网络，在该网络下，通过对部件图的识别，微调网络参数，以适应目标数据集。

AlexNet是卷积神经网络的一种，由Alex在2012年提出，该网络模型包括5个卷积层和3个全连接层，AlexNet是在大型的自然图片数据库中使用两个GTX 580 3GB的GPU上训练的。使用ReLU作为激活函数，避免梯度消失；使用局部响应标准化，实现侧抑制；使用重叠池化方式避免过拟合。

使用AlexNet识别部件预测标签的步骤如下：

1)训练过程：

数据：将草图数据集中的所有草图图像进行部件分割，分割后的草图部件图作为训练集；

标签：草图部件图对应的标签信息；

该训练过程是一个监督学习的过程，在该过程中，卷积核逐层的提取部件图的特征，从第一层的低层像素特征，逐层的组合为第五层的中层图像特征，本发明删去了AlexNet原有的第六、第七、第八层三层全连接层，用三个新的随机初始化的全连接层替换，通过全连接层，获取到图片的高层语义(即部件预测标签)，根据该部件预测标签与部件标签的误差，计算目标函数的梯度，从而向着梯度下降的方向微调网络参数，直至目标函数收敛。

2)应用过程：

数据：待识别图片分割后的草图部件图作为数据集；

标签：草图部件图对应的标签信息；

在该过程中，使用前馈运算，计算得出数据的部件预测标签。

此处需要说明，深度学习框架并非只有本实施例中的一种，实际上，也可以使用其他深度学习框架来实现。

S4.利用语义树，得到部件预测标签与所有待选的对象标签的关联关系：

构建部件预测标签与部件所属的所有待选的对象标签关系的语义树，过程包括：1)在WordNet寻找所有包含部件预测标签以及部件所属对象标签的关系网，该关系网囊括三种关系——包含关系，所属关系，同义关系；2)将标签与这些关系从语义网中剥离出来，并构建相应的语义树。

本实施例使用的WordNet是一个大型的英语词汇字典，也是一个大型的英语语料库，它起源于人类心理学，通过网状的形式将相同概念、相近语义的词汇聚集起来。自1985年起，WordNet一直由普林斯顿大学维护更新，被广泛的应用于自然语言处理等诸多领域中。

本实施例使用的语义树是从WordNet语义网中“抽取”一个子集，该子集可以使用对应的WordNet-Similarity软件包中提供的十种方法计算两个语义概念间的相似度值。

WordNet-Similarity是一个专门度量WordNet中语义相似度方法的软件包，它提供了十种度量方法，包括：path,lch,wup,lin,res,jcn,hso,lesk,vector,vector_pair。都可以计算出两个概念间的语义相关度的度量值。

这十种方法大致可以分为三类，分别是基于路径的方法，基于概念所含信息量的方法，以及基于概念解释的方法，这些方法都可以计算两个概念间的相似度值。

该语义树中包括五种节点类型，三种关系：以实体entity为名称的根节点，以部件标签为部件图叶子节点，以部件所属对象标签为对象叶子节点，部件所属对象标签的同义标签为同义叶子节点，以及从叶子节点到根节点中间的中间节点。三种关系包括图中使用“双横”表示的从属关系(is a)，使用“三横”表示的包含关系(part of)，以及使用虚线箭头指向的同义关系(synonymy)。

从属关系(is-a)，如图3中，引擎从属于发动机(engine is a motor)，横尾翼从属于机翼(tailplane is a airfoil),垂直尾翼从属于机翼(vertical tail is aairfoil)；包含关系(part-of)，如图3中，机身是飞机的一部分，包含于飞机中(fuselageis part of airplane)；同义关系(synonymy)，如图1中，机身(fuselage)的同义关系的词是躯体(body),机翼(airfoil)的同义关系的词为翅膀(wing),飞机(airplane)的同义关系的词是aeroplane和plane。

S5.在S4的语义树中，使用语义相似度度量方法，输出部件的潜在语义标签:

使用WordNet-Similarity中提供的相似度度量方法，计算部件标签与部件可能所属的所有对象标签在语义树中的相似度度量值，选取与部件标签相似度值最大的对象标签为该部件的潜在语义标签。

需要说明的是，WordNet语义网中，不同语境下同一个单词具有不同的意思，比如，躯体(body)在飞机(airplane)中可以意为机身，在人类(human)中可以意为身体，而WordNet-Similarity软件包在计算相似度值时，则会有一个权重的偏向，计算出的躯体(body)与人类(human)的相似度值大于躯体(body)与飞机(airplane)的值。所以本发明使用潜在语义标签，认为通过该软件包计算出的与部件标签相似度值最大的草图标签只是部件潜在的标签。

通过潜在语义标签的概念缓解语义网中固有的语义二义性对相似度度量的干扰，然后本发明使用基于上下文的融合策略，在这种情况下的相似度度量的结果具有一定的鲁棒性。

S6.使用基于上下文的语义融合策略，输出部件最终所属对象的标签：

首先通过语义树，计算出同一张草图中所有部件标签的潜在语义标签，然后使用基于上下文的语义融合策略将潜在语义标签映射成最终草图标签。该方法采用投票法确定部件最终所属对象的标签，即根据同一张图片上所有的部件的潜在语义标签进行投票，票数最多的潜在语义标签就是这张图中所有的部件最终所属对象的标签。

进一步的，步骤S1中，获取的草图，可以有两种形式，一种是用户绘制完成的草图，另一种是在用户手绘的过程中，系统响应的草图，对草图进行识别的过程，使用的就是本发明融合深度学习和语义树的草图识别方法，这些草图由相对专业的人员提前绘制，并存于系统库中。

进一步的，步骤S2中，对完整的草图进行分割后，由于整体数据集量偏少，容易导致卷积神经网络的过拟合，所以需要对部件图像进行数据增强，首先将所有的部件图缩放到同一分辨率256*256，再对每张部件图进行旋转，例如分别旋转0°，90°，180°，270°，接着，对每张旋转后的图片进行裁剪左上，左下，右上，右下，中间，至227*227，所以每张部件图片经数据增强，可扩充至20张。需要说明的是，上述数据增强策略仅为例举，而并非对本发明的限定，在其他一些实施例中，还可以根据实际需求设定数据增强方法，包括但不限于旋转增强方式。

如图4所示，购物平台可以将所述草图识别方法应用在商品检索中，具体包括以下步骤：

1)获取图片信息，

2)利用所述草图识别方法，根据图片获得用户想要寻找的物品的标签，

3)根据识别的标签，为用户推荐相应的商品。

步骤1)中，获取的图片信息，包括用户绘制的完整草图，或用户在尚未绘制完整的草图之前，即手绘草图的过程中，系统响应的草图。

系统响应的草图是指，系统实时获取用户绘制的部分草图，利用所述草图识别方法，预测该部分草图的标签，并为用户提供与该预测标签对应的草图，该草图即为系统响应的草图。

如果该系统响应的草图与用户理想中的草图一致，用户可直接选择该草图，结束绘制进程；如果不一致，用户可忽略，继续绘制草图。

本实施例的基于深度学习和语义树的草图识别方法，通过获取用户手绘的草图，利用图像分割技术，将其分割为各个具有语义概念的部件图，再使用预训练的深度学习框架AlexNet对各个部件图进行识别，然后通过构建部件图与草图对象间的语义树，计算它们之间在语义层面的关联值，最后得出用户绘制的草图标签，该方法不仅高效便捷，也具有广阔的应用背景及商业价值。

本发明的草图识别方法可以应用于各大购物平台，一方面，满足用户多样化检索需求，增强用户体验，增加销量，另一方面，推进互联网交互应用。该应用包括从客户端获取用户手绘期望的商品草图图像，对草图进行识别以及检索相应的商品三部分。

检索相应商品的过程，在本发明中采用的是根据识别草图后得到的草图标签再进行检索商品，而从用户角度看，是从用户自己绘制的草图直接到目标商品，增强了用户体验。

本领域技术人员应认识到，虽然文本已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他类型或修改。因此，本发明的范围应被理解和认为覆盖了所有其他变型或修改。

Claims (6)

1.一种草图识别方法，其特征在于，包括以下步骤：

S1.获取待处理图片；

S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；

S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；

S4.将部件的语义信息同部件所属对象的语义信息相关联，获得部件所属对象的标签。

2.根据权利要求1所述的一种草图识别方法，其特征在于，步骤S2包括以下流程：1)将草图拆分到笔画层，2)将笔画的序列组合为笔画组，3)利用现有的3D形状库，将笔画组与3D形状库中的部件图进行迭代比对，然后利用3D部件的标注信息给2D的笔画组进行语义标注，得到基于笔画的草图标注文件，4)将标注文件中相同标签的笔画进行连接，绘制草图的部件图。

3.根据权利要求1或2所述的一种草图识别方法，其特征在于，步骤S2中，对完整的草图进行分割后，再对部件图像进行数据增强。

4.根据权利要求1所述的一种草图识别方法，其特征在于，步骤S4，包括以下流程：1)利用语义树，得到部件标签与部件所属对象标签的关联关系，2)使用语义相似度度量方法，获得部件的潜在语义标签，3)根据部件的潜在语义标签，使用基于上下文的语义融合策略，获得部件最终所属对象的标签。

5.根据权利要求1所述的草图识别方法在商品检索中的应用，其特征在于，包括以下步骤：1)获取图片信息，

2)检索系统利用所述草图识别方法，根据图片获得用户想要寻找的物品的标签，

3)根据识别的标签，为用户推荐相应的商品。

6.根据权利要求5所述的草图识别方法在商品检索中的应用，其特征在于，步骤1)中，获取的图片信息，包括用户绘制完成的草图，或用户手绘的过程中，系统响应的草图。