一种应用于报价的分类对象方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种应用于报价的分类对象方法和装置。
背景技术
现有物流仓储报价体系中,对于商品的运输报价有两种方案,一是通过重泡比来计算,另一种是通过商品品类来对物流服务进行报价,本发明主要探讨第二种模式。
在按照商品品类报价的模式中,主要在于对商品的分类,现有两种方式:
1)传统方式:利用支持向量机、逻辑回归、随机森林等方法来对商品分类;
2)近年来,开始使用卷积神经网络、长短时记忆网络来对商品分类。
在实现本发明的过程中,发明人发现现有技术至少存在如下问题:
1)传统方式中,通常只利用了商品品类中的商品物理属性,例如长、宽、高、体积、重量,并没有有效利用商品的名称信息;但在商品品类报价模式中还需要考虑行业特殊性来制定相应的物流价格,因此需要通过商品名称来判断商品所属行业;
2)使用卷积等神经网络的方法,只是利用了商品名称,但对于商品长宽高等结构化数据没有使用。在同一个报价行业大类中,不同商品由于自身体积差异,需要划分若干报价级别,因此还需要综合考虑商品的物理属性来对商品分类。
为了能够对商品实现快速、准确的报价,需要基于商品名称信息与物理信息,综合评估其所属报价类别。
发明内容
有鉴于此,本发明实施例提供一种应用于报价的分类对象方法和装置,至少能够解决现有只考虑商品名称或物理属性,导致商品分类不精准、报价不准确的问题。
为实现上述目的,根据本发明实施例的一个方面,提供了一种应用于报价的分类对象方法,包括:接收目标对象,获取所述目标对象的名称信息以及物理属性;输入所述目标对象的名称信息至文本分类模型中,以确定所述目标对象所属报价行业;确定与所述报价行业相应的类别识别模型,输入所述目标对象的物理属性至所述类别识别模型中,得到所述目标对象所属报价类别。
可选地,还包括:确定所述目标对象的类型,当在预定报价表中查询存在所述类型时,将所述类型对应的报价类别作为所述目标对象所属报价类别;或
当在所述预定报价表中查询不存在所述类型时,确定所述目标对象为新增对象,输入所述目标对象的名称信息至文本分类模型中。
可选地,所述输入所述目标对象的名称信息至文本分类模型中,以确定所述目标对象所属报价行业,包括:转换所述目标对象的名称信息为词序列,确定与词序列相应的词向量,组合所确定的词向量,生成与所述名称信息相应的文本向量;根据预设卷积窗口,对所述文本向量进行文本特征提取,得到一维向量;利用激活函数分析所述一维向量,得到所述目标对象属于各报价行业的概率值,将最大概率值对应的报价行业作为所述目标对象所属报价行业。
可选地,所述类别识别模型为随机森林模型;
所述输入所述目标对象的物理属性至所述类别识别模型中,得到所述目标对象所属报价类别,包括:确定与所述随机森林模型相应的多个树分类器,输入所述目标对象的物理属性至所述多个树分类器中,得到多个分类结果;根据投票机制,确定所述多个分类结果中投票最多的分类结果,并将所确定的分类结果作为所述目标对象所属报价类别。
为实现上述目的,根据本发明实施例的另一方面,提供了一种应用于报价的分类对象装置,包括:对象接收模块,用于接收目标对象,获取所述目标对象的名称信息以及物理属性;行业确定模块,用于输入所述目标对象的名称信息至文本分类模型中,以确定所述目标对象所属报价行业;类别识别模块,用于确定与所述报价行业相应的类别识别模型,输入所述目标对象的物理属性至所述类别识别模型中,得到所述目标对象所属报价类别。
可选地,还包括类型分析模块,用于:确定所述目标对象的类型,当在预定报价表中查询存在所述类型时,将所述类型对应的报价类别作为所述目标对象所属报价类别;或
当在所述预定报价表中查询不存在所述类型时,确定所述目标对象为新增对象,输入所述目标对象的名称信息至文本分类模型中。
可选地,所述行业确定模块,用于:转换所述目标对象的名称信息为词序列,确定与词序列相应的词向量,组合所确定的词向量,生成与所述名称信息相应的文本向量;根据预设卷积窗口,对所述文本向量进行文本特征提取,得到一维向量;利用激活函数分析所述一维向量,得到所述目标对象属于各报价行业的概率值,将最大概率值对应的报价行业作为所述目标对象所属报价行业。
可选地,所述类别识别模型为随机森林模型;
所述类别识别模块,用于:确定与所述随机森林模型相应的多个树分类器,输入所述目标对象的物理属性至所述多个树分类器中,得到多个分类结果;根据投票机制,确定所述多个分类结果中投票最多的分类结果,并将所确定的分类结果作为所述目标对象所属报价类别。
为实现上述目的,根据本发明实施例的再一方面,提供了一种应用于报价的分类对象电子设备。
本发明实施例的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一所述的应用于报价的分类对象方法。
为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一所述的应用于报价的分类对象方法。
根据本发明所述提供的方案,上述发明中的一个实施例具有如下优点或有益效果:对于报价系统不包含的新增商品,可通过一个两阶段模型,同时利用商品的结构化数据和非结构化数据,最大化利用商品信息,以将其归到正确的报价类别中,准确率较高,从而帮助工作人员更好的服务客户。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的一种应用于报价的分类对象方法的主要流程示意图;
图2是本发明实施例基于textCNN模型确定对象所属行业的流程示意图;
图3是本发明实施例基于随机森林模型识别对象所属行业类别的流程示意图;
图4是根据本发明实施例的一种应用于报价的分类对象装置的主要模块示意图;
图5是本发明实施例可以应用于其中的示例性系统架构图;
图6是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,如果仅以模型算法角度来讲,任何先通过文本数据进行分类,再在每个类别中使用结构化数据建模的场景,本发明都适合。
为了便于解释本发明的整体实施过程,本发明主要以仓储物流中的商品报价为例进行说明,相应类型为商品品类,物理属性包括长宽高、重量等信息。
对于本发明所涉及的词语,作解释如下:
重泡比:主要解决的是一些特定商品(例如棉花)重量轻、体积大,若按照重量收取物流费用可能不合理的问题,所以将体积(按照公式长(cm)*宽(cm)*高(cm)/6000(cm3/kg))转换为重量,再取大[实际重量,体积转化后的重量],并作为最终物流计费重量。
textCNN模型:是卷积神经网络在自然语言处理中的变体,主要不同在于卷积操作的时候卷积核的宽度是整个词嵌入向量的长度;池化阶段是对全部的卷积结果一次性池化,其他操作与卷积神经网络基本一致。
随机森林模型:是集成学习采用基于bagging策略的一种模型。Bagging的个体学习器的训练集是通过随机采样得到的。通过n次的随机采样,我们就可以得到n个样本集。对于这n个样本集,我们可以分别独立的训练出n个个体学习器,再对这n个个体学习器通过集合策略来得到最终的输出。
参见图1,示出的是本发明实施例提供的一种应用于报价的分类对象方法的主要流程图,包括如下步骤:
S101:接收目标对象,获取所述目标对象的名称以及物理属性;
S102:输入所述目标对象的名称至文本分类模型中,以确定所述目标对象所属报价行业;
S103:确定与所述报价行业相应的类别识别模型,输入所述目标对象的物理属性至所述类别识别模型中,得到所述目标对象所属报价类别。
每个商品对应唯一的三级品类,通过商品名称可以知道商品的三级品类(也可以是更细粒度的品类),每个三级品类对应一个报价,本发明基于这一思想,确定商品报价。
当前使用较为广泛的报价类别表,具体如下表1所示:
表1商品对应的报价类别表
其中,表中第一行为商品报价模式的7大报价行业,第二行为第一个行业所包含的细分报价类别,总共32类。实际情况中可不限于这些报价行业、报价类别,本发明仅仅是示意性说明。
上述实施方式中,对于步骤S101,本发明主要考虑商品的名称以及物理属性,包括长宽高、重量等信息。
对于商品的名称,可以是中文,例如电视机、手机、桌子、衣服等;也可以是外文(例如,英文),例如TV、mobile phone、table、clothes。
无论是中文还是外文,本发明所使用的模型均可适用,但主要以中文为主进行说明,此时对于外文,可以使用翻译工具翻译为中文再继续后续流程。
对于步骤S102,本发明采用textCNN网络+随机森林的两阶段模型,且不考虑模型的训练过程。
模型的第一阶段textCNN,主要通过商品的名称确定其所属报价行业,即输入商品名称——输出为7大报价行业中的一个特定报价行业,具体参见图2所示:
1)首先将商品名称处理为向量表示。因为输入模型的商品名称,计算机可能理解不了,需要将这些非结构化的文字转化为计算机所能够理解的语言,即数字或字符。
①对名称中的每一个词均用词向量表示;其中,词向量包含这一个词的语义信息。
可以首先将名称转换为相应的词序列,然后将该序列中每一个词映射成一个词向量,以作为文本循环神经网络的输入。且每个词序列与词向量之间具有映射关系,可以通过一维矩阵/向量,表示这个词在词典中的位置。例如名称“电视机”的词序列为电、视、机,相应的词向量为[1,0,1]。
本发明中对于名称中每一个词的词向量维度,可以预先设定,例如32维,且向量中每个值均为-1到1之间的随机数(也可以是其他范围,本发明不做限定)。
进一步的,对于商品名称中的字数,可以有一定的限定。例如,设定最大长度为64,长度不足64的会用0补充到64。且不需要考虑关键字、商品描述等信息,处理的仅仅是商品名称。
②根据词序列顺序,组合所生成的词向量,得到该名称的文本向量。例如(n×k)的矩阵,n为商品名称的字数,k为每个字的向量表示长度。
2)其次,根据不同的卷积窗口,来覆盖不同数量的字数进行卷积操作。由于上下文/前后词之间是有语义关联性的,因此需要使用不同的卷积窗口来卷积,以尽可能的包含上下文词汇。例如,液晶电视机,“液、晶”就需要一起处理,“电、视、机”也是需要一起处理的(也可以“电视”、“机”)。
对于卷积窗口的filter size,可以是3、4、5,也可以是其他值。当filter size为3时,表示对商品名称中每三个字做一次卷积,例如电视机;当为4时,表示每四个字做一次卷积。
对于卷积窗口的设定,可以都采用一个长度的filter size,也可以选取多个filter size,参见图2。其具体设定方式,本发明不做限制。
3)之后,再对卷积所得结果进行池化操作,也可以视为是下采样、降维操作。本发明采用最大池化,以从同大小卷积窗口的多个结果中,选择最大值作为输出结果的一种操作,例如,-1/0/1取1。
然后将不同卷积窗口的maxpooling output前后拼接为一个一维向量;例如,filter size为3的输出5,filter size为4的输出8,filter size为5的输出2,则拼接为一个[5,8,2]的向量。
4)将池化结果最后接一层全连接层,以经激活函数,输出商品属于各大报价行业的概率值,并取最大概率确定商品所属报价行业并输出。
实验中通常采用SoftMax层,softmax函数实际是一个归一化的指数函数:
可以把一个k维的real value向量[a1,a2,a3...],映射为另一个向量[b1,b2,b3...];其中,bi为0~1的常数。例如a1=2、a2=3、a3=4,相应的b1为:
之后可以根据bi的大小,进行多分类的任务,如取权重最大的一维。
需要说明的是,模型的第一阶段也可以使用LSTM(Long Short-Term Memory,长短期记忆网络)、BILSTM等方法。但经测试,textCNN在数据集中表现最好,因此本发明最终使用了textCNN模型。
对于步骤S103,在每一个报价行业内,具体的报价类别主要由商品的物理属性所决定。因此在第二阶段,可通过商品的长宽高、重量等信息,确定商品在该报价行业中的具体报价类别。
对于表1所示各大报价行业中的每个报价类别,都可以预先使用训练集分别训练一个随机森林模型。后续当要对一个商品进行分类时,可以将商品的长宽高、重量信息,输入该商品所属的报价行业所对应的随机森林模型中,以确定该商品的具体报价类别。
具体参见图3所示,将商品的长、宽、高、重量信息作为输入,输入至训练好的随机森林模型中的n个树分类器中。每个树分类器会根据长、宽、高、重量的具体数值大小得到一个分类结果。最后通过投票机制,将n个分类结果中得票最多的一个分类结果作为模型最终输出结果,即该商品的具体报价类别。
分类中可以逐层分类,最终形成树状结构;例如,长度大于50cm可以分为1、2类,长度小于50cm可以分为3、4类。在长度大于50cm的1/2类中,又可以按重量大于1kg分为1类,小于1kg分为2类,以此实现分类递推。
需要说明的是,第二阶段也可以使用XGBoost、神经网络等方法。但经测试,这些方法在数据集中并不会显著提升效果,考虑到模型的可解释性和实效性,本发明最终使用了随机森林模型。
确定商品所属行业类别后,可以进行计费操作:
通常情况下都是按照商品品类计费的,例如三级分类,每个三级分类对应一个计费类别。例如,三级品类为手机,手机对应的报价类别是电子电器二类。预定报价表中电子电器二类对应的仓储费用为2元/件(也可以是其他货币单位,本发明以人民币为例进行说明),那么所有三级品类为手机的商品,仓储费用都是2元/件。
因此,可以在根据这两个模型确定商品所属行业类别之前,根据商品的品类,查看报价系统(也可以是其他名称)中是否存在与该品类相应的报价。现有一千多个三级品类有确定的报价类别,当一个新增商品属于这一千多个三级品类时,就知道这个商品的报价了。
但由于商品品类更新速度较快,或者业务更改较为频繁,当一个新增商品不属于这一千多个三级品类、属于一个新的三级品类时,无法得知这个新的三级品类的报价,这时需要模型判断新的三级品类的报价类别。
本发明实施例所提供的方法,对于报价系统不包含的新增商品,可通过一个两阶段模型,同时利用商品的结构化数据和非结构化数据,最大化利用商品信息,以将其归到正确的报价类别中,准确率较高,从而帮助工作人员更好的服务客户。
参见图4,示出了本发明实施例提供的一种应用于报价的分类对象装置400的主要模块示意图,包括:
对象接收模块401,用于接收目标对象,获取所述目标对象的名称信息以及物理属性;
行业确定模块402,用于输入所述目标对象的名称信息至文本分类模型中,以确定所述目标对象所属报价行业;
类别识别模块403,用于确定与所述报价行业相应的类别识别模型,输入所述目标对象的物理属性至所述类别识别模型中,得到所述目标对象所属报价类别。
本发明实施装置还包括类型分析模块404(图中未标出),用于:
确定所述目标对象的类型,当在预定报价表中查询存在所述类型时,将所述类型对应的报价类别作为所述目标对象所属报价类别;或
当在所述预定报价表中查询不存在所述类型时,确定所述目标对象为新增对象,输入所述目标对象的名称信息至文本分类模型中。
本发明实施装置中,所述行业确定模块402,用于:转换所述目标对象的名称信息为词序列,确定与词序列相应的词向量,组合所确定的词向量,生成与所述名称信息相应的文本向量;根据预设卷积窗口,对所述文本向量进行文本特征提取,得到一维向量;利用激活函数分析所述一维向量,得到所述目标对象属于各报价行业的概率值,将最大概率值对应的报价行业作为所述目标对象所属报价行业。
本发明实施装置中,所述类别识别模型为随机森林模型;
所述类别识别模块403,用于:确定与所述随机森林模型相应的多个树分类器,输入所述目标对象的物理属性至所述多个树分类器中,得到多个分类结果;根据投票机制,确定所述多个分类结果中投票最多的分类结果,并将所确定的分类结果作为所述目标对象所属报价类别。
另外,在本发明实施例中所述的应用于报价的分类对象装置的具体实施内容,在上面所述应用于报价的分类对象方法中已经详细说明了,故在此重复内容不再说明。
图5示出了可以应用本发明实施例的应用于报价的分类对象方法或应用于报价的分类对象装置的示例性系统架构500。
如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505(仅仅是示例)。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的应用于报价的分类对象方法一般由服务器505执行,相应地,应用于报价的分类对象装置一般设置于服务器505中。
应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图6,其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括对象接收模块、行业确定模块、类别识别模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,类别识别模块还可以被描述为“对目标对象的行业类别确定模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:接收目标对象,获取所述目标对象的名称信息以及物理属性;输入所述目标对象的名称信息至文本分类模型中,以确定所述目标对象所属报价行业;确定与所述报价行业相应的类别识别模型,输入所述目标对象的物理属性至所述类别识别模型中,得到所述目标对象所属报价类别。
根据本发明实施例的技术方案,对于报价系统不包含的新增商品,可通过一个两阶段模型,同时利用商品的结构化数据和非结构化数据,最大化利用商品信息,以将其归到正确的报价类别中,准确率较高,从而帮助工作人员更好的服务客户。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。