CN104281679B - 基于图像特征的商品分类方法及装置 - Google Patents
基于图像特征的商品分类方法及装置 Download PDFInfo
- Publication number
- CN104281679B CN104281679B CN201410520696.0A CN201410520696A CN104281679B CN 104281679 B CN104281679 B CN 104281679B CN 201410520696 A CN201410520696 A CN 201410520696A CN 104281679 B CN104281679 B CN 104281679B
- Authority
- CN
- China
- Prior art keywords
- image
- classification
- feature
- similarity
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于图像特征的商品分类方法及装置，其中的方法包括，提取图像的特征点的形状上下文特征和SIFT特征；根据图像的特征点的形状上下文特征和SIFT特征，匹配图像间的特征点的相似度，获得图像间的特征点的相似度的匹配结果；根据图像间的特征点的相似度的匹配结果获取图像间的相似度；根据图像间的相似度采用基于增量类别树的分类方法对所有图像进行分类，获得分类结果；将分类结果作为商品分类结果输出。利用本发明提供的基于图像特征的商品分类方法及装置，能够使用户根据款式对商品进行快速浏览，避免用户重复浏览款式相同的商品，提高用户的购物体验。
Description
技术领域
本发明涉及商品分类技术领域，更为具体地，涉及一种基于图像特征的商品分类方法及装置。
背景技术
随着因特网的普及和信息技术的发展，电子商务逐渐进入了一个全新的时代。就网购来说，京东网上商城、卓越网、eBay、淘宝网等这些国内外大型网站均提供商品的在线买卖。目前，各大商品购物网站的商品搜索结果表明，商品列表大多是按人气排名(商品的价格、成交量、卖家信誉、好评率等等)显示的，实际上，用户在浏览这些商品购物网站时，事先可能并不确定自己想买什么类型的商品，面对成千上万的搜索结果，用户通常不得不一页一页重复浏览款式相同的商品，极大地消磨着用户的耐心和购物欲望。
因此，需要一种全新的基于图像的商品分类方法及装置，使用户可以根据款式对商品进行快速浏览。
发明内容
鉴于上述问题，本发明的目的是提供一种基于图像的商品分类方法及装置，以解决现有检索方式带来的商品大量重复显示的问题。
本发明提供的基于图像特征的商品分类方法，包括：
提取图像的特征点的形状上下文特征和SIFT特征；
根据图像的特征点的形状上下文特征和SIFT特征，匹配图像间的特征点的相似度，获得图像间的特征点的相似度的匹配结果；
根据图像间的特征点的相似度的匹配结果获取图像间的相似度；
根据图像间的相似度采用基于增量类别树的分类方法对所有图像进行分类，获得分类结果；
将分类结果作为商品分类结果输出。
本发明提供的基于图像特征的商品分类装置，包括：
特征提取单元，用于提取图像的特征点的形状上下文特征和SIFT特征；
特征点相似度匹配单元，用于根据图像的特征点的形状上下文特征和SIFT特征，匹配图像间的特征点的相似度，获得图像间的特征点的相似度的匹配结果；
图像相似度匹配单元，用于根据图像间的特征点的相似度的匹配结果获取图像间的相似度；
图像分类单元，用于根据图像间的相似度，采用基于增量类别树的分类方法对图像进行分类，获得分类结果；
分类结果输出单元，用于将分类结果作为商品分类结果输出。
利用上述根据本发明提供的基于图像特征的商品分类方法及装置，能够取得以下技术效果：
(1)本发明将相同相似的商品进行归类，使用户可以根据款式对商品进行快速浏览，解决了原有检索方式下商品大量重复显示的问题，提高用户的购物体验。
(2)本发明在现有的商品检索方式(商品价格、成交量等)的基础上，进一步完善了网络购物的表现形式，能够从本质上解决传统的单一特征的局限性，提高商品图像的分类效果。
(3)本发明采用增量类别树的方法对商品进行分类，能够适用于数量规模大且更新换代速度快的商品分类。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于图像特征的商品分类方法的流程示意图；
图2为根据本发明实施例的基于图像特征的商品分类方法的详细流程示意图；
图3为根据本发明实施例的基于图像特征的商品分类方法分类后的效果图；
图4为根据本发明实施例的基于图像特征的商品分类装置的逻辑结构示意图；
图5为根据本发明实施例的基于图像特征的商品分类装置一个具体实施方式的逻辑结构示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
针对现有检索方式带来的商品大量重复显示的问题，本发明提出一种基于图像特征的商品分类解决方案，先计算图像间的相似度，按照图像间的相似度再对图像进行分类，使用户可以根据款式对商品进行快速浏览，同时，用户也可以根据现有的检索方式(商品价格、成交量等)进行检索。
以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明实施例的基于图像特征的商品分类方法的流程。
如图1所示，本发明实施例提供的基于图像的商品分类方法，首先，提取图像的特征点的形状上下文特征和SIFT特征(步骤S101)；在提取图像的特征点的形状上下文特征和SIFT特征之后，根据图像的特征点的形状上下文特征和SIFT特征，匹配图像间的特征点的相似度，获得图像间的特征点的相似度的匹配结果(步骤S102)；然后，根据图像间的特征点的相似度的匹配结果，获取图像间的相似度(步骤S103)；再根据图像间的相似度采用基于增量类别树的分类方法对图像进行分类，获得分类结果(步骤S104)；最后，将分类结果作为商品分类结果输出(步骤S105)。
为了更详细地说明本发明实施例提供的基于图像特征的商品分类方法，图2示出了根据本发明实施例的基于图像特征的商品分类方法的详细流程。
如图2所示，本发明实施例提供的基于图像的商品分类方法的包括一下详细步骤：
步骤S201：对商品的图像进行预处理，将商品的图像归一化为统一尺寸。
商品包括各种格式、尺寸的图像，为了方便后续的特征提取和匹配，本发明实施例将这些不同尺寸的图像进行归一化处理，优选地归一化尺寸为300mm×300mm。
步骤S202：根据预处理后的图像提取特征点。
提取图像的特征点包括多种方法，例如金字塔高斯差分方法、Harris方法、FAST方法等等，由于FAST方法计算速度快，所以本发明实施例优先采用FAST方法提取图像的特征点，FAST方法是公知技术，故不在此处赘复。
步骤S203：获取并融合特征点的形状上下文特征和SIFT特征。
形状上下文特征是一种用于刻画目标形状的描述子，该特征对平移和尺度的变换均具有良好的不变性，但不具备旋转不变性，而这恰恰是商品图像分类检索中不可避免的问题。在图像匹配领域，SIFT特征因其良好的旋转不变性和高鲁棒性而取得了巨大成功，但SIFT特征以图像局部特征为研究目标，不依赖轮廓，缺乏对目标的整体性描述，很容易出现特征点的误匹配。
针对上述问题，本发明通过对将形状上下文特征与SIFT特征相结合，首先，分别获取形状上下文特征和SIFT特征，再将形状上下文特征和SIFT特征融合在一起。
获取特征点的形状上下文特征的过程为：
1)提取特征点梯度方向
利用Canny算子提取特征点所在位置的梯度信息，本发明实施例中的梯度方向提取方法不限于使用Canny算子，还包括Sobel、Prewitt、Roberts、拉普拉斯算子等等。
2)建立极坐标系
选取特征点所在的边缘轮廓曲线的切线方向为对数极坐标轴的正方向，以特征点所在位置为原点，从切线方向出发，将360°空间分成12份，每份50°，从距离上按照log2r的规则分成5份，将空间分成60(＝12*5)个区域，由于离匹配片越近的特征点其辨别力越强，因此，每个区域从里到外是依次增大的。
3)形成形状上下文特征
以一个特征点为原点，统计极坐标系的60个区域中落入每个区域的特征点的个数，最后对极坐标系的60个区域中落入每个区域的特征点的个数进行归一化处理，即生成60维的形状上下文特征。
极坐标系的60个区域中落入每个区域的特征点的个数的公式为hj(k)＝{q∈bin(k)}，其中，k＝1，2，…，60；q表示落入极坐标系第K个区域中的特征点的个数。
获取特征点的SIFT特征的过程为：
1)确定特征点方向
计算特征点邻域内的像素点的梯度方向，将[0，2π]的梯度方化为36个方向进行梯度直方图的统计，确定梯度直方图的峰值为特征点的主方向，若存在大于峰值80％以上的方向，则将其作为辅方向，增强匹配的鲁棒性。
2)生成SIFT特征
将梯度方向直方图平均分为8个方向进行统计，构造一个128维的SIFT特征。
在获得形状上下文特征和SIFT特征后，对形状上下文特征和SIFT特征进行融合，最终生成188维的特征。
步骤S204：根据基于特征点的相似度匹配方法匹配图像间的相似度。
匹配图像间的相似度是以两个图像为基础进行匹配的，匹配两个图像后再匹配两个，一直循环到匹配完所有的图像为止。
基于特征点的相似度匹配方法匹配两个图像的相似度的过程为：首先，匹配两个图像中提取的特征点的相似度，然后采用基于特征点的相似度匹配方法匹配两个图像的相似度，匹配特征点的相似度与匹配图像的相似度将在下文做详细说明。
步骤S205：根据图像间的相似度采用基于增量类别树的分类方法对图像进行分类，获得分类结果。
传统的商品分类方法大都在商品类别数已知的基础上进行的，通过训练二类/多类分类器，来进行商品类别的判断，当出现新类型的目标时，原始的分类器对该目标会失去识别能力，此时，必须将原始的样本和新的类别的样本进行合并，重新训练出新的分类器。因此，上述传统的商品分类方法不适用于数量规模大且更新换代速度快的商品图像分类。针对上述问题，本发明提出一种增量类别树的分类方法，通过该方法，可以对相同相似款式的商品进行合并，同时达到基于款式的商品分类的目的，具体方法将在下文做详细说明。
步骤S206：将分类结果作为商品分类结果输出。
上述步骤为实现本发明实施例提供的基于图像特征的商品分类方法所采取的数据处理步骤，其中，本发明实施的主要细节在于匹配特征点相似度的方法和基于特征点的相似度匹配方法，以及基于增量类别树的分类方法，下面分别对这三个方面进行详细地说明。
一、匹配特征点相似度的方法
两个图像的特征点之间的相似度可以用距离表示，两个图像的特征点之间的距离越短表示两个特征点的相似度越高，考虑到特征点的形状上下文特征和SIFT特征，本发明分别采用两种不同的距离计算方法对特征点的两种特征进行相似度的匹配，然后将两种匹配结果进行线性加权并采用最近邻算法计算方法计算特征点的相似性的匹配结果。
具体地，本发明采用欧氏距离计算方法计算两个特征点(属于不同的图像)之间的SIFT特征的距离，也就是两个特征点的SIFT特征的相似度，而采用卡方统计检验方法计算两个特征点(属于不同的图像)之间的形状上下文特征的距离，也就是两个特征点之间的形状上下文特征的相似度；最后将SIFT特征和形状上下文特征的相似度进行线性加权，SIFT特征和形状上下文特征的相似度进行线性加权的公式为：
d＝w×dSC+(1-w)×dSIFT
d表示两种特征线性加权的结果，dsc表示两个特征点的形状上下文特征的距离；dSIFT表示两个特征点的SIFT特征的距离；w为权重。
本发明采用最近邻算法计算两个图像的特征点的相似性的匹配结果的过程为：
以图像SA和图像SB为例，在图像SA中选取一个特征点i，采用欧氏距离计算方法和卡方统计检验方法计算在图像SB中与特征点i的距离最近和次近的两个特征点p和q，即利用d＝w×dSC+(1-w)×dSIFT计算两次d，特征点p到特征点i的距离最近简称为d1，特征点q到特征点i的距离次近简称d2，判断d1与d2的比值是否小于预设阈值；如果d1与d2的比值小于预设阈值(预设阈值的取值范围通常在0.4～0.8之间，本发明推荐选择0.65)，则认为特征点i与特征点p相似度匹配成功，选择特征点p作为特征点i所对应的匹配点，并将该d1作为d(A，B)；如果d1与d2的比值大于预设阈值，则认为特征点i与特征点p匹配失败。此时，需要重新选取特征点进行相似度匹配。
由于特征点i到特征点p的距离d(A，B)与特征点p到特征点i的距离d(B，A)是不同的，在计算出d(A，B)后还需要计算d(B，A)，d(B，A)的计算方法与d(A，B)计算方法同理。
上述步骤仅可以计算两个图像中的对应的特征点之间的相似度，但无法衡量两幅图像的相似程度，针对该问题，本发明提出了一种基于特征点的相似度匹配算法。
二、基于特征点的相似度匹配算法
以图像SA和图像SB为例，采用基于特征点的相似度匹配算法计算图像SA和图像SB的相似度的公式为：D＝min{D(A,B),D(B,A)}，
其中，
其中，D为图像SA与图像SB间的相似度的值；
为图像SA中特征点与图像SB中特征点之间的距离的平均值；
M(A,B)为图像SA与SB的特征点匹配成功的数量；
为图像SB中特征点与图像SA中特征点之间的距离的平均值；
M(B,A)为图像SB与SA的特征点匹配成功的数量。
从上述公式中可以看出，两幅图像的相似度越高，特征点匹配成功的数量M越大，特征点之间的距离越小，因此D越大，也就是图像SA与图像SB的相似程度越大。
计算其它图像间的相似度参数上述图像SA和图像SB的计算过程。
三、基于增量类别树的分类方法
在计算图像间的相似度后，根据图像间的相似度图像间的相似度采用基于增量类别树的分类方法对图像进行分类，具体分类过程如下：
步骤S301：类别树初始化：表示类别树的第一层的第一个商品分类，S0表示分类中的第1个商品图像。
步骤S302：计算图像Si到分类的距离，其中m和M表示类别数的层数，n和N表示该层的类别数量，选取图像Si到其它图像的相似度最大值作为Si到分类的距离。
步骤S303：判断中的最大值是否大于预设分类阈值Thre(m)，如果D<Thre(m),则分类个数Nm加1，并将图像Si加入新增分类，并作为新增分类下的第一个图像。如果D＞Thre(m),则将图像Si加入该分类
步骤S304：重复步骤S302～S303，直至所有图像分类完毕，完成类别树第一层类别的分类。
对类别中的图像重复步骤S301～S304，则完成类别树中第类的细分类，也就是将第一层类别的所有分类作为基准，对第一层类别的所有分类再进行细分类，每进行一次细分类相当于新增一层类别。
当新增图像时，只需按照重复S302～S303即可完成新增图像的分类。
根据图像的应用特点，需要对不同层的分类设置不同的阈值Thre(m)，以及不同的特征权重分配w。
上述步骤S301～S304详细说明了增量类别树的分类方法，该分类方法能够适用于数量规模大且更新换代速度快的商品分类。
为了更直观的说明本发明提供的基于图像特征的商品分类方法，图3示出了根据本发明实施例的基于图像特征的商品分类方法分类后的效果，首先，在第一层类别对商品图像进行分类，第一分类为上衣、第二分类为裤子，第N分类为鞋，以上衣分类为中心进行第二层类别分类，按照不同的类型将上衣分成衬衫、T恤衫、风衣等等类型，再以衬衫为中心进行第三层类别分类，按照不同的样式将衬衫细分成尖领衬衫和圆领衬衫等等类别，对裤子和鞋的细分类同理可得。
上述内容详细说明了本发明提供的基于图像特征的商品分类方法，利用该方法能够将相同相似的商品进行归类，使用户可以根据款式对商品进行快速浏览，解决了原有检索方式下商品大量重复显示的问题，提高用户的购物体验。
与上述方法相对应，本发明还提供一种基于图像特征的商品分类装置。图4示出了根据本发明实施例的基于图像特征的商品分类装置的逻辑结构。
如图4所示，本发明提供的本发明实施例提供的基于图像特征的商品分类装置，包括特征提取单元410、特征点相似度匹配单元420、图像相似度匹配单元430、图像分类单元440、分类结果输出单元450。
其中，特征提取单元410用于提取图像的特征点的形状上下文特征和SIFT特征。
特征点相似度匹配单元420用于根据图像的特征点的形状上下文特征和SIFT特征，匹配图像间的特征点的相似度，获得图像间的特征点的相似度的匹配结果；其中，采用卡方检验算法和欧氏距离算法分别匹配图像间的特征点的形状上下文特征的相似度和SIFT特征的相似度；将图像间的特征点的形状上下文特征的相似度和SIFT特征的相似度进行线性加权，并根据最近邻算法确定图像间的特征点的匹配结。
图像相似度匹配单元430用于根据图像间的特征点的相似度的匹配结果，采用基于图像特征点的匹配算法获取图像间的相似度。
图像分类单元440用于根据图像间的相似度，采用基于增量类别树的分类方法对图像进行分类。
分类结果输出单元450用于获取分类后的商品。
图5示出了根据本发明实施例的基于图像特征的商品分类装置一个具体实施方式的逻辑结构。如图5所示，特征提取单元410包括图像预处理模块411、特征点提取模块412、形状上下文特征提取模块413、SIFT特征提取模块414。
其中，图像预处理模块411用于对商品的图像进行预处理，将商品的图像归一化为统一尺寸；特征点提取模块412用于根据预处理后的图像提取特征点；形状上下文特征提取模块413用于提取特征点的形状上下文特征；SIFT特征提取模块414用于提取特征点的SIFT特征。
其中，在特征点相似度匹配单元420根据最近邻算法确定图像间的特征点的相似度的匹配结果的过程中，在图像SA中选取一个特征点i，在图像SB中确定与特征点i距离最近和次近的两个特征点p和q；其中，特征点i与特征点p的相似度为特征点i与特征点p之间的距离；特征点i与特征点q的相似度为特征点i与特征点q之间的距离；判断特征点i到特征点p的距离与特征点i到特征点q的距离的比值是否小于预设阈值；如果小于，特征点i与特征点p匹配成功；如果大于，特征点i与特征点p匹配失败。
其中，图像相似度匹配单元430采用基于图像特征点的相似度匹配算法匹配每个图像间的相似度的过程为：
D＝min{D(A,B),D(B,A)}；其中，
其中，D为图像SA与图像SB间的相似度的值；为图像SA中特征点与图像SB中特征点之间的距离的平均值；M(A,B)为图像SA与SB的特征点匹配成功的数目；为图像SB中特征点与图像SA中特征点之间的距离的平均值；M(B,A)为图像SB与SA的特征点匹配成功的数目。
另外，图像分类单元440包括类别树初始化模块441、当前分类距离确定模块442、新增分类模块443、距离判断模块444、归类模块445、分类循环模块446。
其中，类别树初始化模块441，用于初始化类别树；其中，类别树包括多层类别，每层类别包括多个分类。
当前分类距离确定模块442，用于将每个图像的相似度最大值作为每个图像到第一层类别的当前分类的距离。
新增分类模块443，用于新增分类。
归类模块445，用于对每个图像进行归类。
距离判断模块444，用于判断每个图像到第一层类别的当前分类的距离是否大于预设分类阈值；如果大于，新增分类模块443新增分类，归类模块445将大于预设分类阈值的图像归在第一层类别的新分类下；如果小于，归类模块445将小于预设分类阈值的图像归在每层类别的当前分类下，完成第一层类别的图像的分类。
分类循环模块446，用于循环第一层类别的图像的分类过程，完成其他层类别的图像的分类。
上述详细地描述了本发明提供的基于图像特征的商品分类方法及装置，本发明在充分考虑商品图像的特点的基础上，将相同相似的商品进行归类，使用户可以根据款式对商品进行快速浏览，有效的解决了原有检索方式下商品大量重复显示的问题。能够提高用户的购物体验，从而使用户达到“轻松逛街”的目的。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种基于图像特征的商品分类方法，包括：
提取图像的特征点的形状上下文特征和SIFT特征；
根据图像的特征点的形状上下文特征和SIFT特征，匹配图像间的特征点的相似度，获得图像间的特征点的相似度的匹配结果；
根据图像间的特征点的相似度的匹配结果获取图像间的相似度；
根据图像间的相似度采用基于增量类别树的分类方法对所有图像进行分类，获得分类结果；
将所述分类结果作为商品分类结果输出；其中，根据图像间的特征点的相似度的匹配结果获取图像间的相似度的过程为：
D＝min{D(A,B),D(B,A)}；其中，
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mover>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mfrac>
<mo>;</mo>
<mover>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>;</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mover>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mfrac>
<mo>;</mo>
<mover>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中，D为图像SA与图像SB的相似度的值；为图像SA的特征点与图像SB的特征点之间的距离的平均值；M(A,B)为图像SA与SB的特征点匹配成功的数目；为图像SB的特征点与图像SA的特征点之间的距离的平均值；M(B,A)为图像SB与SA中的特征点匹配成功的数目。
2.如权利要求1所述的基于图像特征的商品分类方法，其中，在提取图像特征点的形状上下文特征和SIFT特征的过程中，
对商品的图像进行预处理，将商品的图像归一化为统一尺寸；
根据预处理后的图像提取特征点；
根据特征点提取特征点的形状上下文特征和SIFT特征。
3.如权利要求1所述的基于图像特征的商品分类方法，其中，根据最近邻算法获得图像间的特征点的相似度的匹配结果，其过程为：
在图像SA中选取一个特征点i，在图像SB中确定与所述特征点i距离最近和次近的两个特征点p和q；其中，所述特征点i与所述特征点p的相似度为所述特征点i与所述特征点p之间的距离；所述特征点i与所述特征点q的相似度为所述特征点i与所述特征点q之间的距离；
判断所述特征点i到所述特征点p的距离与所述特征点i到所述特征点q的距离的比值是否小于预设阈值；如果小于，特征点i与特征点p匹配成功；如果大于，特征点i与特征点p匹配失败。
4.如权利要求1所述的基于图像特征的商品分类方法，其中，在根据图像间的相似度采用基于增量类别树的分类方法对所有图像进行分类的过程中，
初始化类别树；其中，所述类别树包括多层类别，每层类别包括多个分类；选取每个图像的相似度最大值作为每个图像到第一层类别的当前分类的距离；
判断每个图像到第一层类别的当前分类的距离是否大于预设分类阈值；如果大于，将大于所述预设分类阈值的图像归在第一层类别的当前分类下，完成第一层类别的图像的分类；如果小于，新增分类，将小于所述预设分类阈值的图像归在第一层类别的新分类下；
循环第一层类别的图像的分类过程完成其他层类别的图像的分类。
5.一种基于图像特征的商品分类装置，包括：
特征提取单元，用于提取图像的特征点的形状上下文特征和SIFT特征；
特征点相似度匹配单元，用于根据图像的特征点的形状上下文特征和SIFT特征，匹配图像间的特征点的相似度，获得图像间的特征点的相似度的匹配结果；
图像相似度匹配单元，用于根据图像间的特征点的相似度的匹配结果获取图像间的相似度；
图像分类单元，用于根据图像间的相似度，采用基于增量类别树的分类方法对图像进行分类，获得分类结果；
分类结果输出单元，用于将所述分类结果作为商品分类结果输出；其中，所述图像相似度匹配单元根据图像间的特征点的相似度的匹配结果获取图像间的相似度的过程为：
D＝min{D(A,B),D(B,A)}；其中，
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mover>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mfrac>
<mo>;</mo>
<mover>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>;</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mover>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mfrac>
<mo>;</mo>
<mover>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中，D为图像SA与图像SB的相似度的值；为图像SA中特征点与图像SB中特征点之间的距离的平均值；M(A,B)为图像SA与SB的特征点匹配成功的数目；为图像SB中特征点与图像SA中特征点之间的距离的平均值；M(B,A)为图像SB与SA中的特征点匹配成功的数目。
6.如权利要求5所述的基于图像特征的商品分类装置，其中，
所述特征提取单元包括：
图像预处理模块，用于对商品的图像进行预处理，将商品的图像归一化为统一尺寸；
特征点提取模块，用于根据预处理后的图像提取特征点；
形状上下文特征提取模块，用于提取特征点的形状上下文特征；
SIFT特征提取模块，用于提取特征点的SIFT特征。
7.如权利要求5所述的基于图像特征的商品分类装置，其中，所述特征点相似度匹配单元根据最近邻算法获得图像间的特征点的相似度的匹配结果，其过程为：
在图像SA中选取一个特征点i，在图像SB中确定与所述特征点i距离最近和次近的两个特征点p和q；其中，所述特征点i与所述特征点p的相似度为所述特征点i与所述特征点p之间的距离；所述特征点i与所述特征点q的相似度为所述特征点i与所述特征点q之间的距离；
判断所述特征点i到所述特征点p的距离与所述特征点i到所述特征点q的距离的比值是否小于预设阈值；如果小于，所述特征点i与所述特征点p匹配成功；如果大于，所述特征点i与所述特征点p匹配失败。
8.如权利要求5所述的基于图像特征的商品分类装置，其中，
所述图像分类单元包括：
类别树初始化模块，用于初始化类别树；其中，所述类别树包括多层类别，每层类别包括多个分类；
当前分类距离确定模块，用于将每个图像的相似度最大值作为每个图像到第一层类别的当前分类的距离；
新增分类模块，用于新增分类；
归类模块，用于对每个图像进行归类；
距离判断模块，用于判断每个图像到第一层类别的当前分类的距离是否大于预设分类阈值；如果大于，所述归类模块将大于所述预设分类阈值的图像归在每层类别的当前分类下，完成第一层类别的图像的分类；如果小于，所述新增分类模块新增分类，所述归类模块将小于所述预设分类阈值的图像归在第一层类别的新分类下；
分类循环模块，用于循环第一层类别的图像的分类过程，完成其他层类别的图像的分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410520696.0A CN104281679B (zh) | 2014-09-30 | 2014-09-30 | 基于图像特征的商品分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410520696.0A CN104281679B (zh) | 2014-09-30 | 2014-09-30 | 基于图像特征的商品分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104281679A CN104281679A (zh) | 2015-01-14 |
| CN104281679B true CN104281679B (zh) | 2018-04-06 |
Family
ID=52256552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410520696.0A Active CN104281679B (zh) | 2014-09-30 | 2014-09-30 | 基于图像特征的商品分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104281679B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844381B (zh) * | 2015-12-04 | 2020-06-30 | 富士通株式会社 | 图像处理装置及方法 |
| CN108009560B (zh) * | 2016-11-02 | 2021-05-11 | 广州图普网络科技有限公司 | 商品图像相似类别判定方法及装置 |
| CN108171712B (zh) * | 2016-12-07 | 2022-02-11 | 富士通株式会社 | 确定图像相似度的方法和装置 |
| CN107103323B (zh) * | 2017-03-09 | 2020-06-16 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于图像轮廓特征的目标识别方法 |
| CN107330750B (zh) * | 2017-05-26 | 2019-03-08 | 北京三快在线科技有限公司 | 一种推荐产品配图方法及装置，电子设备 |
| CN108491873B (zh) * | 2018-03-19 | 2019-05-14 | 广州蓝深科技有限公司 | 一种基于数据分析的商品分类方法 |
| CN108961240A (zh) * | 2018-07-03 | 2018-12-07 | 北京邮电大学 | 爆炸装置电路板残片识别方法 |
| CN109005457B (zh) * | 2018-09-19 | 2021-04-02 | 腾讯科技（北京）有限公司 | 黑屏检测方法、装置、计算机设备及存储介质 |
| CN109740101A (zh) * | 2019-01-18 | 2019-05-10 | 杭州凡闻科技有限公司 | 数据配置方法、公众号文章清洗方法、装置及系统 |
| CN109918488A (zh) * | 2019-02-02 | 2019-06-21 | 上海蜜度信息技术有限公司 | 用于相似文档检索的方法与设备 |
| CN110807493A (zh) * | 2019-11-06 | 2020-02-18 | 上海眼控科技股份有限公司 | 一种车辆分类模型的优化方法及设备 |
| CN111126384A (zh) * | 2019-12-12 | 2020-05-08 | 创新奇智(青岛)科技有限公司 | 基于特征融合的商品分类系统及分类方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001022270A2 (en) * | 1999-09-20 | 2001-03-29 | Ut-Battelle, Llc | Method for indexing and retrieving manufacturing-specific digital imagery based on image content |
| CN101266603A (zh) * | 2007-03-12 | 2008-09-17 | 北京搜狗科技发展有限公司 | 一种网页信息分类方法、系统及应用该分类的服务系统 |
| CN102236675A (zh) * | 2010-04-30 | 2011-11-09 | 华为技术有限公司 | 图像特征点匹配对处理、图像检索方法及设备 |
| CN102509111A (zh) * | 2011-11-02 | 2012-06-20 | 大连理工大学 | 基于局部特征多级聚类及图像-类距离计算的商品图像自动分类算法 |
| CN102542058A (zh) * | 2011-12-29 | 2012-07-04 | 天津大学 | 一种融合全局与局部视觉特征的层次化地标识别方法 |
-
2014
- 2014-09-30 CN CN201410520696.0A patent/CN104281679B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001022270A2 (en) * | 1999-09-20 | 2001-03-29 | Ut-Battelle, Llc | Method for indexing and retrieving manufacturing-specific digital imagery based on image content |
| CN101266603A (zh) * | 2007-03-12 | 2008-09-17 | 北京搜狗科技发展有限公司 | 一种网页信息分类方法、系统及应用该分类的服务系统 |
| CN102236675A (zh) * | 2010-04-30 | 2011-11-09 | 华为技术有限公司 | 图像特征点匹配对处理、图像检索方法及设备 |
| CN102509111A (zh) * | 2011-11-02 | 2012-06-20 | 大连理工大学 | 基于局部特征多级聚类及图像-类距离计算的商品图像自动分类算法 |
| CN102542058A (zh) * | 2011-12-29 | 2012-07-04 | 天津大学 | 一种融合全局与局部视觉特征的层次化地标识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于互补特征和类描述的商品图像自动分类;贾世杰等;《电子与信息学报》;20101031;第32卷(第10期);引言、第2节第1段、第3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104281679A (zh) | 2015-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104281679B (zh) | 基于图像特征的商品分类方法及装置 | |
| US9336459B2 (en) | Interactive content generation | |
| CN107330451B (zh) | 基于深度卷积神经网络的服装属性检索方法 | |
| CN104991954B (zh) | 基于图像搜索的购物搜索系统及其实现方法 | |
| Zhou et al. | Improving saliency detection via multiple kernel boosting and adaptive fusion | |
| CN107683469A (zh) | 一种基于深度学习的产品分类方法及装置 | |
| CN106933867B (zh) | 一种图像查询方法和装置 | |
| CN104281572B (zh) | 一种基于互信息的目标匹配方法及其系统 | |
| JP6571200B2 (ja) | 製品インデキシング方法およびそのシステム | |
| CN107918767A (zh) | 目标检测方法、装置、电子设备及计算机可读介质 | |
| CN107358490A (zh) | 一种图像匹配方法、装置及电子设备 | |
| Zhan et al. | DeepShoe: An improved Multi-Task View-invariant CNN for street-to-shop shoe retrieval | |
| CN111767420A (zh) | 一种生成服饰搭配数据的方法和装置 | |
| Waheed et al. | Exploiting Human Pose and Scene Information for Interaction Detection | |
| Mao et al. | Semi-dense stereo matching using dual CNNs | |
| Kim et al. | Image-based coin recognition using rotation-invariant region binary patterns based on gradient magnitudes | |
| Wang et al. | A chordiogram image descriptor using local edgels | |
| Surakarin et al. | Predicting types of clothing using SURF and LDP based on Bag of Features | |
| KR20200132681A (ko) | 상품 정보 등록 방법 및 서버 | |
| Nguyen et al. | A reliable image-to-video person re-identification based on feature fusion | |
| JP7357708B2 (ja) | 画像照合システム | |
| AU2017279658A1 (en) | Pose-aligned descriptor for person re-id with geometric and orientation information | |
| Zhang et al. | Logo detection and recognition based on classification | |
| Guo et al. | Image-guided 3D model labeling via multiview alignment | |
| Park et al. | Clothing classification using CNN and shopping mall search system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |