CN107704892A - 一种基于贝叶斯模型的商品编码分类方法以及系统 - Google Patents
一种基于贝叶斯模型的商品编码分类方法以及系统 Download PDFInfo
- Publication number
- CN107704892A CN107704892A CN201711086209.4A CN201711086209A CN107704892A CN 107704892 A CN107704892 A CN 107704892A CN 201711086209 A CN201711086209 A CN 201711086209A CN 107704892 A CN107704892 A CN 107704892A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- word
- classification
- trade name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于贝叶斯模型的商品编码分类方法以及系统。针对商品名信息的短文本特征所带来的稀疏性和上下文缺失问题,本申请对分词后的稀疏性词语采用同义词扩展技术,通过外部搜索引擎技术增加其词语同义度;进而,本申请采用贝叶斯模型计算商品名的词序列与编码类目之间的条件概率,从而得到其贝叶斯编码分类模型,并以训练好的模型为输入的商品名提供商品编码类目的预测。
Description
技术领域
本发明属于文本信息分析处理领域,更具体来说,涉及一种基于贝叶斯模型的商品编码分类方法以及系统。
背景技术
在税控机、具有发票开具功能的计算机软件等设备和应用当中,一般要根据商品的商品名,为其检索和赋予一个与商品名对应的税务商品编码。通用的税务商品编码结构由大类、子类等构成,具体到最详细一级的类目达4300多种,且商品编码分类规则中,主要规定了商品的品种,而对商品的品牌或其他属性未做详细说明。在开票过程中如果依赖人工进行商品分类,需要根据商品名判断属于该通用税务商品编码中的哪个类目,人工从这4300多个底层类目当中选择其中之一作为商品的税务商品编码,不但耗时耗力,并且准确性不高。
当前,商品种类多样化、形式多样化,且新商品每天都在以一定的速度增加,那么在商品编码分类这项工作具体实施过程中,如何快速地根据商品名来检索和赋码,也即是通过数据库查询匹配的手段,为商品名映射一个正确的税务商品编码类目,是在相关软硬件研发当中一个重要的内容。
依赖于数据库的模糊查询和关键词查询可以解决一部分商品名的赋码问题,但是因为商品名千差万别,且由于汉字的异构性导致这种方法的准确率不高。此外商品名呈现短文本特征,上下文语义缺失导致其存在语义稀疏性和语义敏感性,无法应用传统的统计模型。
因此,如何挖掘和建立商品名信息与商品编码规则信息之间的对应关系是当前亟待解决的问题。
发明内容
针对现有技术中的上述需要,本申请运用机器学习和数据挖掘技术,提供了一种基于贝叶斯模型的商品编码分类方法以及系统。针对商品名信息的短文本特征所带来的稀疏性和上下文缺失问题,本申请对分词后的稀疏性词语采用同义词扩展技术,通过外部搜索引擎技术增加其词语同义度;进而,本申请采用贝叶斯模型计算商品名的词序列与编码类目之间的条件概率,从而得到其贝叶斯编码分类模型,并以训练好的模型为输入的商品名提供商品编码类目的预测。
本发明提供了一种基于贝叶斯模型的商品编码分类方法,其特征在于,包括以下步骤:
样本集构建步骤,从历史数据当中,获得包含商品名信息与对应商品编码类目的样本数据,汇合为样本集;
分词处理步骤,对样本集当中原始商品名信息基于语法树分词,并参照停用词表去除商品名信息当中的停用词,形成词序列;
同义词扩展步骤,对于所述词序列中的词,根据互联网语料库的搜索扩展其同义词;并且对扩展后的词序列通过序列标注法确定中心词,为词序列中的词赋予不同的权重,获得具有权重的词序列;
贝叶斯模型训练步骤,基于贝叶斯公式,计算商品名归属于各个编码类目的条件概率,建立贝叶斯编码分类模型;
分类预测步骤,对于待预测编码类目的商品名,执行分词、去除停用词和同义词扩展处理,调用上述贝叶斯编码分类模型,查询与该商品名对应的各个类目出现的条件概率,取最大概率的类目作为对商品名分类的预测结果。
优选的是,所述同义词扩展步骤中,计算相似度值t:
其中,pi,pj为任意两个商品的商品名,tk,tl,ti,tj为商品名pi,pj经过分词后的特征词,f(tk)和f(tl)是用特征词tk,tl在互联网语料库内进行检索得到的结果个数,f(tk,tl)是用词tk,tl共同检索网页得到的结果个数;G是全网络所有信息的个数;并且,设置相似度阈值ξ,如果相似度值t大于ξ则视为同义词。
优选的是,同义词扩展步骤中,对中心词分配的权重占比为80%,其他词平均分配剩余的20%权重占比,从而为词序列当中的每个词确定权重。
优选的是,贝叶斯模型训练步骤包括:
(1)统计样本集数据中的每个类目的频率,即类ci占总类别C的比重:
(2)计算在样本集数据当中商品名词序列W出现的概率p(W):
其中,M是样本中的总词数,和分别是词wi和ti出现的次数;
(3)计算条件概率,编码类目c中出现词序列W概率p(W|ci):
其中,Mc是样本集的类目c中的总词数,和是类目c中词wi和ti出现的次数;
(4)根据贝叶斯公式计算出现某个商品名W时,其归属于类目c的条件概率p(ci|W):
经过以上步骤得到的条件概率p(ci|W)存入字典库。
进一步优选的是,步骤(4)中根据贝叶斯公式计算时,还结合商品名所属的行业信息,计算出现某个商品名W时其归属于类目c的条件概率p(ci|W,D):
其中,
其中D是行业描述语义信息;绝对值表示的是D的集合的值,d是对行业语义信息进行分词后的词序列集合。
本发明进而提供了一种基于贝叶斯模型的商品编码分类系统,其特征在于,包括:
样本集模块,用于从历史数据当中,获得包含商品名信息与对应商品编码类目的样本数据,汇合为样本集;对样本集当中原始商品名信息基于语法树分词,并参照停用词表去除商品名信息当中的停用词,形成词序列;对于所述词序列中的词,根据互联网语料库的搜索扩展其同义词;并且对扩展后的词序列通过序列标注法确定中心词,为词序列中的词赋予不同的权重,获得具有权重的词序列;
贝叶斯模型训练模块,用于基于贝叶斯公式,计算商品名归属于各个编码类目的条件概率,建立贝叶斯编码分类模型;
分类预测模块,用于对于待预测编码类目的商品名,执行分词、去除停用词和同义词扩展处理,调用上述贝叶斯编码分类模型,查询与该商品名对应的各个类目出现的条件概率,取最大概率的类目作为对商品名分类的预测结果。
优选的是,样本集模块如下执行同义词扩展:
计算相似度值t:
其中,pi,pj为任意两个商品的商品名,tk,tl,ti,tj为商品名pi,pj经过分词后的特征词,f(tk)和f(tl)是用特征词tk,tl在互联网语料库内进行检索网页得到的结果个数,f(tk,tl)是用词tk,tl共同检索网页得到的结果个数;并且,设置相似度阈值ξ,如果相似度值t大于ξ则视为同义词。
优选的是,样本集模块执行同义词扩展过程中,对中心词分配的权重占比为80%,其他词平均分配剩余的20%权重占比,从而为词序列当中的每个词确定权重。
优选的是,贝叶斯模型训练模块如下执行贝叶斯模型训练:
(1)统计样本集数据中的每个类目的频率,即类ci占总类别C的比重:
(2)计算在样本集数据当中商品名词序列W出现的概率p(W):
其中,M是样本中的总词数,和分别是词wi和ti出现的次数;
(3)计算条件概率,编码类目c中出现词序列W概率p(W|ci):
其中,Mc是样本集的类目c的总词数,和是类目c中词wi和ti出现的次数;
(4)根据贝叶斯公式计算出现某个商品名W时,其归属于类目c的条件概率p(ci|W):
经过以上步骤得到的条件概率p(ci|W)存入字典库。
进一步优选的是,贝叶斯模型训练模块在根据贝叶斯公式计算条件概率时,还结合商品名所属的行业信息,计算出现某个商品名W时其归属于类目c的条件概率p(ci|W,D):
其中,
D是行业描述语义信息,绝对值表示的是D的集合的值,d是对行业语义信息进行分词后的词序列集合。
本发明的有益效果在于:与现有的短文本分类模型相比,对短文本的语义进行扩展,利用预训练的词表示集合,引入大量外部信息,利用外部搜索引擎进行短文本的语义扩展,有效的解决了短文本上下文语义信息稀疏性的问题。本发明使用句法分析树对短语进行分词和词性标注,并通过序列关系确定了中心词,并采用先验知识确定其中心词在分词模型中所占的比重。在此基础上本专利改进了贝叶斯模型,引入行业信息,在此先验知识的基础上,使用贝叶斯分类模型对商品名信息进行分类。与已有方法相比,此模型最大限度的利用了商品名信息,并缓解了预分类词的稀疏性和语义敏感性问题,充分利用了词语之间的序列信息,使得贝叶斯分类效果有了较大提高,有效解决了商品编码分类问题。
附图说明
图1是本发明所述商品编码分类系统架构示意图;
图2是本发明当中特征词序列生成过程示意图;
图3是本发明分词、同义词扩展及建立贝叶斯编码分类模型的实施流程图。
具体实施方式
下面结合实施例对本发明的技术方案作进一步的说明,应理解,以下实施例只用于对本发明进行进一步说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
本申请主要研究基于贝叶斯模型,实现商品名与税务商品编码类目之间的预测建模,构造商品名信息与编码类目之间的概率模型。在由历史发票信息所产生的历史数据当中,存在大量的包含商品名与对应编码类目的样本信息,此外还有通用的商品编码分类标准作为规则数据,利用样本信息和规则数据,可以获得有效的样本集,样本数据可供用于挖掘潜在的商品名和编码类目之间的关系模型,利用关系模型进行商品编码类目预测。基于贝叶斯理论,首先对样本数据中存在的商品名信息进行自然语言处理,包括分词、去除停用词和扩展同义词等操作,丰富其由于短文本带来的语义稀疏性等问题,生成特征词。对于所生成的特征词,采用贝叶斯模型计算特征词与编码类目之间的条件概率,从而得到其贝叶斯编码分类模型,并将训练好的模型离线存储。对于待预测类目的商品名,经过分词、去除停用词处理后,调用贝叶斯编码分类模型,预测其编码类目的分类结果,根据需要制定结果结构。
图1是本申请基于贝叶斯模型的商品编码分类系统结构图。在图1可见,本发明的系统架构分成两大框架:离线部分和在线部分。
离线部分是通过处理和扩展样本库并结合规则集,通过训练生成贝叶斯编码分类模型的部分,主要包括:样本集模块、贝叶斯模型训练模块。在线部分是分类预测模块,对于待预测编码类目的商品名,经过分词、去除停用词和同义词扩展的处理之后,调用上述离线部分建立的贝叶斯编码分类模型,预测其分类结果,根据需要制定结果结构。
样本集模块从由历史发票信息所产生的历史数据当中,获得大量的包含商品名信息与对应编码类目的样本数据,汇合为样本集。在原始的样本数据当中,商品名呈现短文本特征,短文本由于受其长度的影响,所包含的词语共现和上下文信息不足。因此,本申请的样本集模块对样本数据执行分词处理、去除停用词处理和同义词扩充,从而,采用词语相似度计算扩展其同义词,丰富样本集。
如图2所示,该样本集模块在上述扩展同义词、丰富样本集过程中,利用结构化的历史信息以及非结构化的互联网语料库,对于样本数据进行处理,包括语义挖掘、知识库学习和中心词学习三个方面。在语义挖掘方面,首先对历史信息中获得样本数据进行分词;并且,在分词处理之后再进行去除停用词的处理。然后,在知识库学习方面,对于分词后的词语采用Google Distance技术扩充同义词,即对单个词语根据外部语料库丰富其同义词的过程。以上过程中,还可以通过中心词学习,根据词性和词语序列基于不同位置赋给不同的词不同的权重。
样本集模块在基于语义挖掘而进行的分词处理当中,从样本数据当中提取有效数据,充实待分类信息。分词处理就是将一句话或者一个短语按照语义特性分成若干个词语的过程,分词策略采用JieBa工具,对于原始的商品名信息,基于Trie语法树结构,生成所有汉字组合构成的有向无环图(DAG),采用动态规划查找最大概率路径,找到基于词频的最大切分组合;对于未登录词,采用基于汉字成词能力的HMM模型,将商品名的词序列视作一个序列标注问题,句子为观测序列,分词结果为状态序列。首先通过语料训练出HMM相关的模型,然后利用Viterbi算法进行求解,最终得到最优的状态序列,然后再根据状态序列,输出分词的结果W。样本集模块还执行去除停用词处理,利用停用词表去除商品名信息中出现的停用词。对于短文本商品名信息W,经过分词和去除停用词处理后的词序列为W={w1,…,wm}。
样本集模块基于知识库学习而对W进行同义词扩展,通过对互联网语料库(例如维基百科等网站)的学习,扩充同义词。具体来说,如下计算相似度值t:
其中,pi,pj为任意两个商品的商品名,tk,tl,ti,tj为商品名pi,pj经过分词后的特征词,f(tk)和f(tl)分别表示用特征词tk,tl在互联网语料库内进行检索网页得到的结果个数,f(tk,tl)是用词tk,tl共同检索网页得到的结果个数,G是全网络所有信息的个数,根据google distance技术,G指的是通过Google搜索引擎,不适用关键字的搜索结果的信息条数;全网络是指通过搜索引擎能够获得的信息的条数,G作为计算其相似度的一个分母。设置相似度阈值ξ,如果相似度值t大于ξ则说明两个词相似度接近,可以视为同义词,该ξ采用经验值0.8。使用以上方法对W进行扩展,扩展后的W={w1,w2,…wm,t1,…th},其中t1,…,th表示在扩展W过程中被纳入的特征词,这些特征词t1,…,th通过上述相似度值计算被判定属于w1,w2,…wm的同义词。
样本集模块基于中心词学习,对经过分词处理、去除停用词处理、同义词扩展后的词序列,进行词性标注;词性标注使用序列标注方法,同时根据序列标注方法确定中心词。序列标注方法是经典的词性标注方法,使用序列标注就可以确定词语的词性,本申请通过确定商品的名词以及去掉品牌词就确定了中心词。)在本专利中,中心词是指能够标识出该商品具体功能的词,按照商品名称的构成特性,一般包括商品的功能词和品牌,本专利利用外在的品牌库过滤掉商品名称中的品牌属性,从而确定其功能中心词。样本集模块对词序列当中不同属性的词(中心词、非中心词)给定不同的权重,其中对中心词分配的权重占比为80%,其他词平均分配剩余的20%权重占比,从而为词序列当中的每个词确定权重。经过中心词学习后的词序列θ和表示权重值。
贝叶斯模型训练模块根据待分类的商品名确定其与之对应的商品编码类目。因而,贝叶斯模型训练模块基于样本集的数据,计算当某个商品名出现的条件下各个编码类目出现的概率,取最大概率的商品编码类目作为所预测的分类结果,从而建立了贝叶斯编码分类模型。
下面具体介绍该贝叶斯模型训练模块执行的训练步骤:
1.统计样本集数据中的每个类目的频率,即类ci占总类别C的比重
2.计算在样本集数据当中商品名词序列W出现的概率p(W)
其中,M是样本中的总词数,和分别是词wi和ti出现的次数。
3.计算条件概率,编码类目c中出现词序列W概率p(W|ci)
其中,Mc是样本集的类目C中的总词数,和是类目c中词wi和ti出现的次数。
4.根据贝叶斯公式计算出现某个商品名W时,其归属于类目c的条件概率p(ci|W)。
经过以上步骤得到的条件概率p(ci|W)存入字典库,在进行实施分类时直接调用字典库进行分类。在以上过程中,通过同义词扩展等技术弥补了商品名称的短文本特征带来的不足,使得语义信息更加丰富和全面。
或者,作为一种优选的方案,本申请还提出在此模型的基础上加入商品名所属的行业信息D,从而步骤4中的公式4变为公式5。
其中,
D是行业描述语义信息,公式6里面绝对值表示的是D的集合的值,d是对行业语义信息进行分词后的词序列集合。
通过以上步骤,贝叶斯模型训练模块完成了确定商品名-编码类目的条件概率的训练,建立了编码分类模型。本系统离线部分通过样本集模块和贝叶斯模型训练模块对样本数据所执行的分词、去除停用词、同义词扩展等处理以及基于贝叶斯模型建立编码类目-商品名之间概率的过程,也可以参见图3所示的实施流程图。
进而,如图1所示,在线部分是对于待预测编码类目的商品名,同样执行上述分词处理、去除停用词处理和同义词扩展处理,之后调用上述离线部分建立的贝叶斯编码分类模型,查询与该商品名对应的各个类目出现的条件概率,取最大概率的类目作为对商品名分类的预测结果。
可见,本发明的创新点在于:提出根据Google Distance利用外部搜索引擎的语料计算词语相似度,扩展同义词;并且提出基于词性标注确定词权重的方法;以及提出基于贝叶斯模型进行短文本分类的基本框架。
利用本发明提供的基于贝叶斯模型的商品编码分类方法以及系统,具有如下优点:与现有的短文本分类模型相比,对短文本的语义进行扩展,利用预训练的词表示集合,引入大量外部信息,利用外部搜索引擎进行短文本的语义扩展,有效的解决了短文本上下文语义信息稀疏性的问题。本发明使用句法分析树对短语进行分词和词性标注,并通过序列关系确定了中心词,并采用先验知识确定其中心词在分词模型中所占的比重。在此基础上本专利改进了贝叶斯模型,引入行业信息,在此先验知识的基础上,使用贝叶斯分类模型对商品名信息进行分类。与已有方法相比,此模型最大限度的利用了商品名信息,并缓解了预分类词的稀疏性和语义敏感性问题,充分利用了词语之间的序列信息,使得贝叶斯分类效果有了较大提高,有效解决了商品编码分类问题。
以上实施方式仅用于说明本发明,而非对本发明的限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行各种组合、修改或者等同替换,都不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于贝叶斯模型的商品编码分类方法,其特征在于,包括以下步骤:
样本集构建步骤,从历史数据当中,获得包含商品名信息与对应商品编码类目的样本数据,汇合为样本集;
分词处理步骤,对样本集当中原始商品名信息基于语法树分词,并参照停用词表去除商品名信息当中的停用词,形成词序列;
同义词扩展步骤,对于所述词序列中的词,根据互联网语料库的搜索扩展其同义词;并且对扩展后的词序列通过序列标注法确定中心词,为词序列中的词赋予不同的权重,获得具有权重的词序列;
贝叶斯模型训练步骤,基于贝叶斯公式,计算商品名归属于各个编码类目的条件概率,建立贝叶斯编码分类模型;
分类预测步骤,对于待预测编码类目的商品名,执行分词、去除停用词和同义词扩展处理,调用上述贝叶斯编码分类模型,查询与该商品名对应的各个类目出现的条件概率,取最大概率的类目作为对商品名分类的预测结果。
2.根据权利要求1所述的商品编码分类方法,其特征在于,所述同义词扩展步骤中,计算相似度值t:
<mrow>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>N</mi>
<mi>G</mi>
<mi>D</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>|</mo>
<mi>t</mi>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>N</mi>
<mi>G</mi>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>{</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>}</mo>
<mo>-</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>G</mi>
<mo>-</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mo>{</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>}</mo>
</mrow>
</mfrac>
</mrow>
其中,pi,pj为任意两个商品的商品名,tk,tl,ti,tj为商品名pi,pj经过分词后的特征词,f(tk)和f(tl)是用特征词tk,tl在互联网语料库内进行检索得到的结果个数,f(tk,tl)是用词tk,tl共同检索网页得到的结果个数;G是全网络所有信息的个数;并且,设置相似度阈值ξ,如果相似度值t大于ξ则视为同义词。
3.根据权利要求2所述的商品编码分类方法,其特征在于,同义词扩展步骤中,对中心词分配的权重占比为80%,其他词平均分配剩余的20%权重占比,从而为词序列当中的每个词确定权重。
4.根据权利要求3所述的商品编码分类方法,其特征在于,贝叶斯模型训练步骤包括:
(1)统计样本集数据中的每个类目的频率,即类ci占总类别C的比重:
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>{</mo>
<mi>x</mi>
<mo>|</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mi>C</mi>
<mo>,</mo>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>x</mi>
<mo>&Element;</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>}</mo>
<mo>|</mo>
</mrow>
<mrow>
<mo>|</mo>
<mi>C</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
(2)计算在样本集数据当中商品名词序列W出现的概率p(W):
其中,M是样本中的总词数,和分别是词wi和ti出现的次数;
(3)计算条件概率,编码类目c中出现词序列W概率p(W|ci):
其中,Mc是样本集的类目c中的总词数,和是类目c中词wi和ti出现的次数;
(4)根据贝叶斯公式计算出现某个商品名W时,其归属于类目c的条件概率p(ci|W):
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
经过以上步骤得到的条件概率p(ci|W)存入字典库。
5.根据权利要求4所述的商品编码分类方法,其特征在于,步骤(4)中根据贝叶斯公式计算时,还结合商品名所属的行业信息,计算出现某个商品名W时其归属于类目c的条件概率p(ci|W,D):
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mi>W</mi>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中,
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>h</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>w</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>|</mo>
<mi>D</mi>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mover>
<mi>C</mi>
<mo>&OverBar;</mo>
</mover>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mover>
<mi>D</mi>
<mo>&OverBar;</mo>
</mover>
</munderover>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中D是行业描述语义信息;绝对值表示的是D的集合的值,d是对行业语义信息进行分词后的词序列集合。
6.一种基于贝叶斯模型的商品编码分类系统,其特征在于,包括:
样本集模块,用于从历史数据当中,获得包含商品名信息与对应商品编码类目的样本数据,汇合为样本集;对样本集当中原始商品名信息基于语法树分词,并参照停用词表去除商品名信息当中的停用词,形成词序列;对于所述词序列中的词,根据互联网语料库的搜索扩展其同义词;并且对扩展后的词序列通过序列标注法确定中心词,为词序列中的词赋予不同的权重,获得具有权重的词序列;
贝叶斯模型训练模块,用于基于贝叶斯公式,计算商品名归属于各个编码类目的条件概率,建立贝叶斯编码分类模型;
分类预测模块,用于对于待预测编码类目的商品名,执行分词、去除停用词和同义词扩展处理,调用上述贝叶斯编码分类模型,查询与该商品名对应的各个类目出现的条件概率,取最大概率的类目作为对商品名分类的预测结果。
7.根据权利要求6所述的商品编码分类系统,其特征在于,样本集模块如下执行同义词扩展:
计算相似度值t:
<mrow>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>N</mi>
<mi>G</mi>
<mi>D</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>|</mo>
<mi>t</mi>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>N</mi>
<mi>G</mi>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>{</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>}</mo>
<mo>-</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>G</mi>
<mo>-</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mo>{</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>l</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>}</mo>
</mrow>
</mfrac>
</mrow>
其中,pi,pj为任意两个商品的商品名,tk,tl,ti,tj为商品名pi,pj经过分词后的特征词,f(tk)和f(tl)是用特征词tk,tl在互联网语料库内进行检索网页得到的结果个数,f(tk,tl)是用词tk,tl共同检索网页得到的结果个数;并且,设置相似度阈值ξ,如果相似度值t大于ξ则视为同义词。
8.根据权利要求7所述的商品编码分类系统,其特征在于,样本集模块执行同义词扩展过程中,对中心词分配的权重占比为80%,其他词平均分配剩余的20%权重占比,从而为词序列当中的每个词确定权重。
9.根据权利要求8所述的商品编码分类系统,其特征在于,贝叶斯模型训练模块如下执行贝叶斯模型训练:
(1)统计样本集数据中的每个类目的频率,即类ci占总类别C的比重:
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>{</mo>
<mi>x</mi>
<mo>|</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mi>C</mi>
<mo>,</mo>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>x</mi>
<mo>&Element;</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>}</mo>
<mo>|</mo>
</mrow>
<mrow>
<mo>|</mo>
<mi>C</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
(2)计算在样本集数据当中商品名词序列W出现的概率p(W):
其中,M是样本中的总词数,和分别是词wi和ti出现的次数;
(3)计算条件概率,编码类目c中出现词序列W概率p(W|ci):
其中,Mc是样本集的类目c的总词数,和是类目c中词wi和ti出现的次数;
(4)根据贝叶斯公式计算出现某个商品名W时,其归属于类目c的条件概率p(ci|W):
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
经过以上步骤得到的条件概率p(ci|W)存入字典库。
10.根据权利要求9所述的商品编码分类系统,其特征在于,贝叶斯模型训练模块在根据贝叶斯公式计算条件概率时,还结合商品名所属的行业信息,计算出现某个商品名W时其归属于类目c的条件概率p(ci|W,D):
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mi>W</mi>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中,
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>h</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>w</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>|</mo>
<mi>D</mi>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mover>
<mi>C</mi>
<mo>&OverBar;</mo>
</mover>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mover>
<mi>D</mi>
<mo>&OverBar;</mo>
</mover>
</munderover>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
D是行业描述语义信息,绝对值表示的是D的集合的值,d是对行业语义信息进行分词后的词序列集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711086209.4A CN107704892B (zh) | 2017-11-07 | 2017-11-07 | 一种基于贝叶斯模型的商品编码分类方法以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711086209.4A CN107704892B (zh) | 2017-11-07 | 2017-11-07 | 一种基于贝叶斯模型的商品编码分类方法以及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107704892A true CN107704892A (zh) | 2018-02-16 |
CN107704892B CN107704892B (zh) | 2019-05-17 |
Family
ID=61178686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711086209.4A Active CN107704892B (zh) | 2017-11-07 | 2017-11-07 | 一种基于贝叶斯模型的商品编码分类方法以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107704892B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491390A (zh) * | 2018-03-28 | 2018-09-04 | 江苏满运软件科技有限公司 | 一种干线物流货物名称自动识别分类方法 |
CN108985465A (zh) * | 2018-05-21 | 2018-12-11 | 许继电气股份有限公司 | 一种换流站故障分类方法及系统 |
CN109213866A (zh) * | 2018-09-19 | 2019-01-15 | 浙江诺诺网络科技有限公司 | 一种基于深度学习的税务商品编码分类方法和系统 |
CN109582788A (zh) * | 2018-11-09 | 2019-04-05 | 北京京东金融科技控股有限公司 | 垃圾评论训练、识别方法、装置、设备及可读存储介质 |
CN109766440A (zh) * | 2018-12-17 | 2019-05-17 | 航天信息股份有限公司 | 一种用于为对象文本描述确定默认分类信息的方法及系统 |
CN109871861A (zh) * | 2018-12-27 | 2019-06-11 | 航天信息股份有限公司 | 一种用于为目标数据提供编码的系统及方法 |
CN110222190A (zh) * | 2019-06-20 | 2019-09-10 | 网易(杭州)网络有限公司 | 数据增强方法、系统、设备及计算机可读存储介质 |
CN110287218A (zh) * | 2019-06-26 | 2019-09-27 | 浙江诺诺网络科技有限公司 | 一种税收分类编码匹配的方法、系统及设备 |
CN110347801A (zh) * | 2019-07-17 | 2019-10-18 | 安徽航天信息有限公司 | 一种商品分类编码匹配方法及系统 |
CN110597995A (zh) * | 2019-09-20 | 2019-12-20 | 税友软件集团股份有限公司 | 一种商品名称分类方法、装置、设备及可读存储介质 |
CN110851587A (zh) * | 2018-07-25 | 2020-02-28 | 阿里巴巴集团控股有限公司 | 商品编码预测模型生成和确定商品编码方法、装置及设备 |
CN110858219A (zh) * | 2018-08-17 | 2020-03-03 | 菜鸟智能物流控股有限公司 | 物流对象信息处理方法、装置及计算机系统 |
CN110874407A (zh) * | 2018-08-14 | 2020-03-10 | 中国软件与技术服务股份有限公司 | 一种增值税发票商品和服务税收分类编码识别及纠错方法 |
CN110968685A (zh) * | 2018-09-26 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 商品名称的归集方法和装置 |
CN111159552A (zh) * | 2019-12-30 | 2020-05-15 | 北京每日优鲜电子商务有限公司 | 商品搜索方法、装置、服务器和存储介质 |
CN111353838A (zh) * | 2018-12-21 | 2020-06-30 | 北京京东尚科信息技术有限公司 | 自动化校验商品类目的方法和装置 |
CN111444335A (zh) * | 2019-01-17 | 2020-07-24 | 阿里巴巴集团控股有限公司 | 中心词的提取方法及装置 |
CN111597296A (zh) * | 2019-02-20 | 2020-08-28 | 阿里巴巴集团控股有限公司 | 商品数据的处理方法、装置和系统 |
CN111651512A (zh) * | 2020-05-27 | 2020-09-11 | 福建博思软件股份有限公司 | 基于半监督学习的多源异构商品特征权重求解方法和装置 |
CN111881265A (zh) * | 2020-09-28 | 2020-11-03 | 成都数联铭品科技有限公司 | 报关单商品信息的处理方法及系统、存储介质及电子设备 |
CN112767081A (zh) * | 2021-01-19 | 2021-05-07 | 广州新丝路信息科技有限公司 | 一种跨境保税仓商品分类方法及装置 |
CN112925958A (zh) * | 2021-02-05 | 2021-06-08 | 深圳力维智联技术有限公司 | 多源异构数据适配方法、装置、设备及可读存储介质 |
CN113704469A (zh) * | 2021-08-18 | 2021-11-26 | 百融至信(北京)征信有限公司 | 一种基于贝叶斯定理的短文本分类数据集矫正方法及系统 |
CN114036907A (zh) * | 2021-11-18 | 2022-02-11 | 国网江苏省电力有限公司电力科学研究院 | 一种基于领域特征的文本数据扩增方法 |
CN116166805A (zh) * | 2023-02-24 | 2023-05-26 | 北京青萌数海科技有限公司 | 一种预测商品编码的方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510221A (zh) * | 2009-02-17 | 2009-08-19 | 北京大学 | 一种用于信息检索的查询语句分析方法与系统 |
CN102622396A (zh) * | 2011-11-30 | 2012-08-01 | 浙江大学 | 一种基于标签的web服务聚类方法 |
CN103646343A (zh) * | 2013-12-18 | 2014-03-19 | 世纪禾光科技发展(北京)有限责任公司 | 一种基于文本的商品分类处理方法及其系统 |
CN104615687A (zh) * | 2015-01-22 | 2015-05-13 | 中国科学院计算技术研究所 | 一种面向知识库更新的实体细粒度分类方法与系统 |
CN104699772A (zh) * | 2015-03-05 | 2015-06-10 | 孟海东 | 一种基于云计算的大数据文本分类方法 |
CN105117384A (zh) * | 2015-08-19 | 2015-12-02 | 小米科技有限责任公司 | 分类器训练方法、类型识别方法及装置 |
CN105868969A (zh) * | 2016-04-01 | 2016-08-17 | 东芝泰格有限公司 | 信息处理装置及其控制方法 |
-
2017
- 2017-11-07 CN CN201711086209.4A patent/CN107704892B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510221A (zh) * | 2009-02-17 | 2009-08-19 | 北京大学 | 一种用于信息检索的查询语句分析方法与系统 |
CN102622396A (zh) * | 2011-11-30 | 2012-08-01 | 浙江大学 | 一种基于标签的web服务聚类方法 |
CN103646343A (zh) * | 2013-12-18 | 2014-03-19 | 世纪禾光科技发展(北京)有限责任公司 | 一种基于文本的商品分类处理方法及其系统 |
CN104615687A (zh) * | 2015-01-22 | 2015-05-13 | 中国科学院计算技术研究所 | 一种面向知识库更新的实体细粒度分类方法与系统 |
CN104699772A (zh) * | 2015-03-05 | 2015-06-10 | 孟海东 | 一种基于云计算的大数据文本分类方法 |
CN105117384A (zh) * | 2015-08-19 | 2015-12-02 | 小米科技有限责任公司 | 分类器训练方法、类型识别方法及装置 |
CN105868969A (zh) * | 2016-04-01 | 2016-08-17 | 东芝泰格有限公司 | 信息处理装置及其控制方法 |
Non-Patent Citations (1)
Title |
---|
蒋伟: "基于 Hadoop 的电商商品文本分类研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491390A (zh) * | 2018-03-28 | 2018-09-04 | 江苏满运软件科技有限公司 | 一种干线物流货物名称自动识别分类方法 |
CN108985465A (zh) * | 2018-05-21 | 2018-12-11 | 许继电气股份有限公司 | 一种换流站故障分类方法及系统 |
CN110851587B (zh) * | 2018-07-25 | 2024-04-05 | 阿里巴巴集团控股有限公司 | 商品编码预测模型生成和确定商品编码方法、装置及设备 |
CN110851587A (zh) * | 2018-07-25 | 2020-02-28 | 阿里巴巴集团控股有限公司 | 商品编码预测模型生成和确定商品编码方法、装置及设备 |
CN110874407A (zh) * | 2018-08-14 | 2020-03-10 | 中国软件与技术服务股份有限公司 | 一种增值税发票商品和服务税收分类编码识别及纠错方法 |
CN110858219A (zh) * | 2018-08-17 | 2020-03-03 | 菜鸟智能物流控股有限公司 | 物流对象信息处理方法、装置及计算机系统 |
CN109213866A (zh) * | 2018-09-19 | 2019-01-15 | 浙江诺诺网络科技有限公司 | 一种基于深度学习的税务商品编码分类方法和系统 |
CN110968685B (zh) * | 2018-09-26 | 2023-06-20 | 阿里巴巴集团控股有限公司 | 商品名称的归集方法和装置 |
CN110968685A (zh) * | 2018-09-26 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 商品名称的归集方法和装置 |
CN109582788A (zh) * | 2018-11-09 | 2019-04-05 | 北京京东金融科技控股有限公司 | 垃圾评论训练、识别方法、装置、设备及可读存储介质 |
CN109766440A (zh) * | 2018-12-17 | 2019-05-17 | 航天信息股份有限公司 | 一种用于为对象文本描述确定默认分类信息的方法及系统 |
CN109766440B (zh) * | 2018-12-17 | 2023-09-01 | 航天信息股份有限公司 | 一种用于为对象文本描述确定默认分类信息的方法及系统 |
CN111353838A (zh) * | 2018-12-21 | 2020-06-30 | 北京京东尚科信息技术有限公司 | 自动化校验商品类目的方法和装置 |
CN109871861A (zh) * | 2018-12-27 | 2019-06-11 | 航天信息股份有限公司 | 一种用于为目标数据提供编码的系统及方法 |
CN109871861B (zh) * | 2018-12-27 | 2023-05-23 | 航天信息股份有限公司 | 一种用于为目标数据提供编码的系统及方法 |
CN111444335B (zh) * | 2019-01-17 | 2023-04-07 | 阿里巴巴集团控股有限公司 | 中心词的提取方法及装置 |
CN111444335A (zh) * | 2019-01-17 | 2020-07-24 | 阿里巴巴集团控股有限公司 | 中心词的提取方法及装置 |
CN111597296A (zh) * | 2019-02-20 | 2020-08-28 | 阿里巴巴集团控股有限公司 | 商品数据的处理方法、装置和系统 |
CN110222190A (zh) * | 2019-06-20 | 2019-09-10 | 网易(杭州)网络有限公司 | 数据增强方法、系统、设备及计算机可读存储介质 |
CN110287218A (zh) * | 2019-06-26 | 2019-09-27 | 浙江诺诺网络科技有限公司 | 一种税收分类编码匹配的方法、系统及设备 |
CN110347801A (zh) * | 2019-07-17 | 2019-10-18 | 安徽航天信息有限公司 | 一种商品分类编码匹配方法及系统 |
CN110597995A (zh) * | 2019-09-20 | 2019-12-20 | 税友软件集团股份有限公司 | 一种商品名称分类方法、装置、设备及可读存储介质 |
CN111159552A (zh) * | 2019-12-30 | 2020-05-15 | 北京每日优鲜电子商务有限公司 | 商品搜索方法、装置、服务器和存储介质 |
CN111651512A (zh) * | 2020-05-27 | 2020-09-11 | 福建博思软件股份有限公司 | 基于半监督学习的多源异构商品特征权重求解方法和装置 |
CN111881265B (zh) * | 2020-09-28 | 2020-12-29 | 成都数联铭品科技有限公司 | 报关单商品信息的处理方法及系统、存储介质及电子设备 |
CN111881265A (zh) * | 2020-09-28 | 2020-11-03 | 成都数联铭品科技有限公司 | 报关单商品信息的处理方法及系统、存储介质及电子设备 |
CN112767081A (zh) * | 2021-01-19 | 2021-05-07 | 广州新丝路信息科技有限公司 | 一种跨境保税仓商品分类方法及装置 |
CN112925958A (zh) * | 2021-02-05 | 2021-06-08 | 深圳力维智联技术有限公司 | 多源异构数据适配方法、装置、设备及可读存储介质 |
CN113704469A (zh) * | 2021-08-18 | 2021-11-26 | 百融至信(北京)征信有限公司 | 一种基于贝叶斯定理的短文本分类数据集矫正方法及系统 |
CN114036907A (zh) * | 2021-11-18 | 2022-02-11 | 国网江苏省电力有限公司电力科学研究院 | 一种基于领域特征的文本数据扩增方法 |
CN116166805A (zh) * | 2023-02-24 | 2023-05-26 | 北京青萌数海科技有限公司 | 一种预测商品编码的方法和装置 |
CN116166805B (zh) * | 2023-02-24 | 2023-09-22 | 北京青萌数海科技有限公司 | 一种预测商品编码的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107704892B (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107704892A (zh) | 一种基于贝叶斯模型的商品编码分类方法以及系统 | |
WO2022100045A1 (zh) | 分类模型的训练方法、样本分类方法、装置和设备 | |
US8280719B2 (en) | Methods and systems relating to information extraction | |
CN104834747B (zh) | 基于卷积神经网络的短文本分类方法 | |
CN110825877A (zh) | 一种基于文本聚类的语义相似度分析方法 | |
CN113254667A (zh) | 基于深度学习模型的科技人物知识图谱构建方法、装置及终端 | |
CN108388651A (zh) | 一种基于图核和卷积神经网络的文本分类方法 | |
CN108874878A (zh) | 一种知识图谱的构建系统及方法 | |
CN113591483A (zh) | 一种基于序列标注的文档级事件论元抽取方法 | |
Kuyumcu et al. | An automated new approach in fast text classification (fastText) A case study for Turkish text classification without pre-processing | |
JP5754019B2 (ja) | 同義語抽出システム、方法およびプログラム | |
CN110633365A (zh) | 一种基于词向量的层次多标签文本分类方法及系统 | |
CN116822625A (zh) | 一种发散式关联的风机设备运检知识图谱构建及检索方法 | |
Ren et al. | Detecting the scope of negation and speculation in biomedical texts by using recursive neural network | |
CN112036178A (zh) | 一种配网实体相关的语义搜索方法 | |
CN107526721A (zh) | 一种对电商产品评论词汇的歧义消除方法及装置 | |
CN108763192B (zh) | 用于文本处理的实体关系抽取方法及装置 | |
CN110851593A (zh) | 一种基于位置与语义的复值词向量构建方法 | |
KR20220068937A (ko) | 기계학습 방법론을 이용한 한국 표준 산업/직업 분류 방법 | |
CN116108191A (zh) | 一种基于知识图谱的深度学习模型推荐方法 | |
Xu et al. | Chinese event detection based on multi-feature fusion and BiLSTM | |
CN117574898A (zh) | 基于电网设备的领域知识图谱更新方法及系统 | |
Shahina et al. | A sequential labelling approach for the named entity recognition in Arabic language using deep learning algorithms | |
CN110377753B (zh) | 基于关系触发词与gru模型的关系抽取方法及装置 | |
Alfarra et al. | Graph-based fuzzy logic for extractive text summarization (GFLES) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180724 Address after: 315000 34, 35, 14 lane, 299 lane, Guanghua Road, Ningbo hi tech Zone, Zhejiang Applicant after: Ningbo Aisino Co., Ltd. Applicant after: Hangtian Information Co., Ltd. Address before: 315000 34, 35, 14 lane, 299 lane, Guanghua Road, Ningbo hi tech Zone, Zhejiang Applicant before: Ningbo Aisino Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |