CN106919954A - 一种用于商品分类的云计算系统 - Google Patents

Abstract

本发明提供了一种用于商品分类的云计算系统，所述云计算系统包括计算云和存储云，所述计算云，用于利用云计算对商品数据进行分类处理，并将处理结果返回给数据发送方，所述存储云用于对商品数据进行存储。本发明的有益效果为：利用云计算技术来处理商品数据，提高日益增长的商品数据的处理效率。

Description

一种用于商品分类的云计算系统

技术领域

本发明涉及云计算技术领域，具体涉及一种用于商品分类的云计算系统。

背景技术

云计算是并行处理、分布式处理和网格计算技术的提高，其组成服务器包括由多个计算服务器构成的计算云，以及由多个存储服务器构成的存储云。通过计算云对待处理数据进行并行计算，提高了数据的处理效率；通过存储云将数据存储在多台存储服务器，分担了客户端的存储负荷同时保证了存储数据的可靠性。

商品分类为商品检索、商品置放策略制定以及智能推荐等提供了有力支撑。图像作为商品的主要信息载体，基于图像的商品分类技术研究己成为图像处理、计算机视觉和模式识别领域的研究热点。然而，现有的商品分类方法仅对商品的图像进行研究而忽略了商品的文本信息，另一方面，现有的商品分类方法存在分类准确率低、分类速度慢等问题。

发明内容

针对上述问题，本发明旨在提供一种用于商品分类的云计算系统。

本发明的目的采用以下技术方案来实现：

提供了一种用于商品分类的云计算系统，所述云计算系统包括计算云和存储云，所述计算云，用于利用云计算对商品数据进行分类处理，并将处理结果返回给数据发送方，所述存储云用于对商品数据进行存储。

本发明的有益效果为：利用云计算技术来处理商品数据，提高日益增长的商品数据的处理效率。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明的结构连接示意图；

附图标记：

计算云1、存储云2。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例的一种用于商品分类的云计算系统，所述云计算系统包括计算云1和存储云2，所述计算云1，用于利用云计算对商品数据进行分类处理，并将处理结果返回给数据发送方，所述存储云2用于对商品数据进行存储。

本实施例利用云计算技术来处理商品数据，提高日益增长的商品数据的处理效率。

优选的，所述计算云1包括数据管理服务器以及计算服务器，

所述数据管理服务器，用于将商品数据进行分割，将分割后的商品数据发送至计算服务器；以及将来自所述计算服务器的处理结果进行合并；

所述计算服务器，用于并行处理接收的商品数据，完成商品分类，并将处理后的数据发送至数据管理服务器，包括商品图像分类模块、商品文本分类模块和综合分类模块。

本优选实施例商品数据处理效率高，分类准确。

优选的，所述数据管理服务器，还用于监测接收到的商品数据的流量变化，若数据流量增大，则扩展出新的计算服务器处理商品数据；若数据流量减小，则收缩部分已有的计算服务器。

本优选实施例资源利用率高。

优选的，所述商品图像分类模块用于获取商品图像的分类结果，具体为：

(1)对待分类的商品图像进行图像去噪处理，分为以下步骤进行：

步骤1：对待分类商品图像进行光照归一化处理，具体的：将待分类的商品图像P转换到对数域，利用差分高斯滤波器对待分类的商品图像P进行平滑处理，然后对待分类的商品图像P进行全局对比度均衡化处理；

步骤2：以滑动窗口方式对待分类的商品图像P按照预先设定的滑动距离进行块划分；对图像块中的每一块的纹理特征进行提取，采用k-means聚类方法基于提取的纹理特征对图像块进行聚类，得到多个图像块组，采用多线性子空间学习滤波器对图像块组进行初次去噪；所述k-means聚类方法具体描述如下：步骤a：随机选取k个聚类质心点为μ₁,μ₂,…,μ_k，步骤b：对于每个样本例i，计算其应该属于的类，对于每一个类j，重新计算该类的质心，步骤c：重复步骤b，直到收敛；

步骤3：利用改进的自适应字典学习去噪方法对初次去噪后的待分类的商品图像进行二次去噪；

(2)用F_j＝[f_j,1,f_j,2,…,f_j,n]表示第j类商品图像的训练样本集，所有类别的训练样本集F＝[F₁,F₂,…,F_N]构成过完备字典，其中，N表示商品类别数，用F的线性组合表示未知类别测试样本t：t＝Fa，其中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；

自定义函数ρ_j(a)，该函数将稀疏表示a中不属于第j类的分量置0，则测试样本所属类别可表示为：j_be＝argmin_j(LX_j+LX_j ²)，LX_j＝||t-Fρ_j(a)||₂，其中，j_be表示测试样本t所属类别，Fρ_j(a)表示测试样本第j类的重构图像，||t-Fρ_j(a)||₂表示原始图像和第j类重构图像的重构残差；

将图像分类分数定义为：其中，表示商品属于第j类的图像分类分数，1≤j,k≤N。

本优选实施例计算服务器对待分类的商品图像进行多次去噪处理，能够获得较好的去噪效果，并且适用于多维的商品图像，在对商品图像进行块划分之前先进行光照归一化处理，有利于后续图像块特征的提取和聚类精度的提高，进而提高去噪的精度；此外，计算服务器使用上述算法确定图像分类结果，提高了图像分类准确度，云计算服务器对图像分类分数进行定义，打下了分类信息融合的基础。

优选地，所述采用改进的自适应字典学习去噪方法对初次去噪后的待分类的商品图像进行二次去噪，包括以下步骤：

步骤1：将初次去噪后的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成样本块集合{P}；对该样本块集合进行自适应字典训练，得到自适应学习字典D；

步骤2：按照另一设定的滑动距离对该待分类的商品图像P再次进行滑动窗口的块划分，对得到的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成输入图像块集合{P′}；求解输入图像块集合{P′}中每一列向量在自适应学习字典上的稀疏表示稀疏μ，并按照下式计算输出图像块y(P)：y(P)＝Dμ；

步骤3：对输出图像块进行融合处理，得到预去噪图像y′(P)；对预去噪图像y′(P)进行低秩矩阵稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，对该低秩去噪分量DZ和稀疏含噪分量XS进行二次去噪处理，得到最终去噪图像：y″(P)＝DZ*XS′，其中，XS′表示对稀疏含噪分量XS进行中值滤波后得到的稀疏去噪分量，*表示融合处理。

所述商品文本分类模块2用于获取商品文本的分类结果，具体为：

存在训练文本集其中，w_i表示已知类别文本，表示文本类别，某商品待分类文本w_t中包含不同的词w_i，将文本表示为w_t＝(w₁,w₂,…,w_n)，n表示文本中词的数量，统计w_i在文本w_t中出现的频次p_i和在训练文本集文本中出现的最高频次计算相对词频将文本表示为

求取w_t与W中文本w_i的相似度SIM(w_t,w_i)，得到与w_t最近似的l个w_i，

其中，表示w_t的第i个词w_i的相对词频，表示w_i的第i个词w_i的相对词频；

用W_l表示l个最近邻文本，计算W_l中各类别占比，占比最大的类别包含文本数为l₁，作为w_t的类别占比第二大的类别文本数目为l₂；

文本分类分数为：

所述综合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别，具体为：

待分类商品图文样本(t,w,y)，三元组中的t表示商品的图像描述，w表示商品的文本描述，y表示商品的类别，商品的训练样本集(T,W,Y)＝{(t_i,w_i,y_i)}，其中，i＝1,2,…,n，n表示样本集中样本数量；

对图像分类分数和文本分类分数进行线性组合：

其中，表示商品属于第j类的图文融合分数，表示商品属于第j类的图像分类分数，表示商品属于第j类的文本分类分数，δ₁和δ₂为根据样本学习得到的权重系数；

采用下列判定公式得到商品类别：

本优选实施例计算服务器对初次去噪后的待分类的商品图像进行二次去噪处理，能够很好地保留图像的细节，滤除噪声；另一方面，计算服务器采用商品文本分类模块确定文本分类结果，提高了文本分类准确率，为进一步进行分类信息融合打下了基础；此外，计算服务器考虑商品的图像视觉信息和描述文本信息，对两种不同模态信息进行融合，进一步提高了商品分类准确率。

优选地，商品分类准确度评价模块，用于根据设定的商品分类准确度评价函数对系统的商品分类准确度进行评价，商品分类准确度评价函数的值越大，表示商品分类的准确度越高，商品分类准确度评价函数为：

其中，N_L用于表示商品类别数量，m_α用于表示第α类正确分类商品样本数量，M_α用于表示第α类商品样本数量。

本优选实施例设定商品分类准确度评价函数，从而提高了计算服务器对商品分类准确度，有利于对计算服务器进行改进。

本发明云计算系统对商品数据进行分类处理，并对商品数量分别为2000、3000、4000、5000、6000时的计算情况进行分析，并以计算成本和处理时间作为考量依据对该云计算系统进行评价，与未采用本发明相比，产生的有益效果如下表所示：

商品数量	节省计算成本	处理时间缩短
			2000	20％	10％
3000	25％	15％
			4000	30％	20％
5000	32％	24％
			6000	36％	31％

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (8)

1.一种用于商品分类的云计算系统，其特征是：所述云计算系统包括计算云和存储云，所述计算云，用于利用云计算对商品数据进行分类处理，并将处理结果返回给数据发送方，所述存储云用于对商品数据进行存储。

2.根据权利要求1所述的一种用于商品分类的云计算系统，其特征是：所述计算云包括数据管理服务器以及计算服务器，

所述数据管理服务器，用于将商品数据进行分割，将分割后的商品数据发送至计算服务器；以及将来自所述计算服务器的处理结果进行合并；

所述计算服务器，用于并行处理接收的商品数据，完成商品分类，并将处理后的数据发送至数据管理服务器，包括商品图像分类模块、商品文本分类模块和综合分类模块，所述商品图像分类模块用于获取商品图像的分类结果，所述商品文本分类模块用于获取商品文本的分类结果，所述综合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。

3.根据权利要求2所述的一种用于商品分类的云计算系统，其特征是：所述数据管理服务器，还用于监测接收到的商品数据的流量变化，若数据流量增大，则扩展出新的计算服务器处理商品数据；若数据流量减小，则收缩部分已有的计算服务器。

4.根据权利要求3所述的一种用于商品分类的云计算系统，其特征是：所述商品图像分类模块用于获取商品图像的分类结果，包括：

(1)对待分类的商品图像进行图像去噪处理，分为以下步骤进行：

步骤1：对待分类商品图像进行光照归一化处理，具体的：将待分类的商品图像P转换到对数域，利用差分高斯滤波器对待分类的商品图像P进行平滑处理，然后对待分类的商品图像P进行全局对比度均衡化处理；

步骤2：以滑动窗口方式对待分类的商品图像P按照预先设定的滑动距离进行块划分；对图像块中的每一块的纹理特征进行提取，采用k-means聚类方法基于提取的纹理特征对图像块进行聚类，得到多个图像块组，采用多线性子空间学习滤波器对图像块组进行初次去噪；

步骤3：利用改进的自适应字典学习去噪方法对初次去噪后的待分类的商品图像进行二次去噪；

(2)用F_j＝[f_j,1,f_j,2,…,f_j,n]表示第j类商品图像的训练样本集，所有类别的训练样本集F＝[F₁,F₂,…,F_N]构成过完备字典，其中，N表示商品类别数，用F的线性组合表示未知类别测试样本t：t＝Fa，其中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；

自定义函数ρ_j(a)，该函数将稀疏表示a中不属于第j类的分量置0，则测试样本所属类别可表示为：j_be＝argmin_j(LX_j+LXj²)，LX_j＝||t-Fρ_j(a)||₂，其中，j_be表示测试样本t所属类别，Fρ_j(a)表示测试样本第j类的重构图像，||t-Fρ_j(a)||₂表示原始图像和第j类重构图像的重构残差；

将图像分类分数定义为：其中，表示商品属于第j类的图像分类分数，1≤j,k≤N。

5.根据权利要求4所述的一种用于商品分类的云计算系统，其特征是：所述采用改进的自适应字典学习去噪方法对初次去噪后的待分类的商品图像进行二次去噪，包括以下步骤：

步骤1：将初次去噪后的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成样本块集合{P}；对该样本块集合进行自适应字典训练，得到自适应学习字典D；

步骤2：按照另一设定的滑动距离对该待分类的商品图像P再次进行滑动窗口的块划分，对得到的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成输入图像块集合{P′}；求解输入图像块集合{P′}中每一列向量在自适应学习字典上的稀疏表示稀疏μ，并按照下式计算输出图像块y(P)：y(P)＝Dμ；

步骤3：对输出图像块进行融合处理，得到预去噪图像y′(P)；对预去噪图像y′(P)进行低秩矩阵稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，对该低秩去噪分量DZ和稀疏含噪分量XS进行二次去噪处理，得到最终去噪图像：y″(P)＝DZ*XS′，其中，XS′表示对稀疏含噪分量XS进行中值滤波后得到的稀疏去噪分量，*表示融合处理。

6.根据权利要求5所述的一种用于商品分类的云计算系统，其特征是：所述商品文本分类模块用于获取商品文本的分类结果，具体为：

存在训练文本集其中，w_i表示已知类别文本，表示文本类别，某商品待分类文本w_t中包含不同的词w_i，将文本表示为w_t＝(w₁,w₂,…,w_n)，n表示文本中词的数量，统计w_i在文本w_t中出现的频次p_i和在训练文本集文本中出现的最高频次计算相对词频将文本表示为

求取w_t与W中文本w_i的相似度SIM(w_t,w_i)，得到与w_t最近似的l个w_i，

$\left\{\begin{array}{c}SIM(w_t,w_i)=\ln (\frac{HX}{EH}+1)\\ HX=\underset{i=1}{\overset{n}{\Σ}}(\frac{p_{w_t,i}}{p_i^{\max }}\×\frac{p_{w_i,i}}{p_i^{\max }})\\ EH=\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(\frac{p_{w_t,i}}{p_i^{\max }}\right)}^2}\×\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(\frac{p_{w_i,i}}{p_i^{\max }}\right)}^2}\end{array}\right.$

其中，表示w_t的第i个词w_i的相对词频，表示w_i的第i个词w_i的相对词频；

用W_l表示l个最近邻文本，计算W_l中各类别占比，占比最大的类别包含文本数为l₁，作为w_t的类别占比第二大的类别文本数目为l₂；

文本分类分数为：

7.根据权利要求6所述的一种用于商品分类的云计算系统，其特征是：所述综合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别，具体为：

待分类商品图文样本(t,w,y)，三元组中的t表示商品的图像描述，w表示商品的文本描述，y表示商品的类别，商品的训练样本集(T,W,Y)＝{(t_i,w_i,y_i)}，其中，i＝1,2,…,n，n表示样本集中样本数量；

对图像分类分数和文本分类分数进行线性组合：

${\mathrm{DF}}_{rong}^j(t,w)=EU+FV$

$EU={\mathrm{\δ}}_1\×{\mathrm{DF}}_{tu}^j\left(t\right)$

$FV={\mathrm{\δ}}_2\×{\mathrm{DF}}_{wen}^j\left(w\right)$

其中，表示商品属于第j类的图文融合分数，表示商品属于第j类的图像分类分数，表示商品属于第j类的文本分类分数，δ₁和δ₂为根据样本学习得到的权重系数；

采用下列判定公式得到商品类别：

8.根据权利要求7所述的一种用于商品分类的云计算系统，其特征是：商品分类准确度评价模块，用于根据设定的商品分类准确度评价函数对系统的商品分类准确度进行评价，商品分类准确度评价函数的值越大，表示商品分类的准确度越高，商品分类准确度评价函数为：

$CS=HX-\frac{{\mathrm{\Σ}}_{\mathrm{\α}=1}^{N_L}(M_{\mathrm{\α}}-m_{\mathrm{\α}})}{{\mathrm{\Σ}}_{\mathrm{\α}=1}^{N_L}{M}_{\mathrm{\α}}}$

$HX=\frac{{\Σ}_{\mathrm{\α}=1}^{N_L}{m}_{\mathrm{\α}}}{{\Σ}_{\mathrm{\α}=1}^{N_L}{M}_{\mathrm{\α}}}$

其中，N_L用于表示商品类别数量，m_α用于表示第α类正确分类商品样本数量，M_α用于表示第α类商品样本数量。