CN105912656A

CN105912656A - 一种商品知识图谱的构建方法

Info

Publication number: CN105912656A
Application number: CN201610220247.3A
Authority: CN
Inventors: 林煜明; 蒋向香; 杨溢; 李优; 张敬伟; 张会兵
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2016-04-07
Filing date: 2016-04-07
Publication date: 2016-08-31
Anticipated expiration: 2036-04-07
Also published as: CN105912656B

Abstract

本发明公开一种商品知识图谱的构建方法，包括商品知识图谱的客观性商品分类知识的构建和主观性用户观点知识的构建。主观性知识的构建包含采用基于多分类器集成的方法从用户评论中挖掘观点目标和观点词的过程和直接从网站上获取观点持有者、观点发表时间和/或观点的URL信息的过程。客观性知识的构建包含采用基于多源异构分类层次融合的方法获取兼顾深度和广度的商品分类层次的过程和直接从网站上获取商品实例的过程。本发明针对商品所构建的结构化的知识图谱涵盖了客观性商品分类和主观性用户观点两类知识，不仅能够为上层服务提供商品实体的准确解释，而且还能够了解众多用户对商品及其属性的观点描述，从而为用户提供更快速、更精准、更全面的商品知识服务。

Description

一种商品知识图谱的构建方法

技术领域

本发明属于数据库技术领域，具体涉及一种商品知识图谱的构建方法。

背景技术

随着网络技术飞速发展和普及，Web已经成为事实上最大的知识库之一。然而，Web上知识以无结构或半结构化的形式存在，极大程度上制约了它们的自动化和智能化运用。对Web上包含的知识重新组织，使其转变成结构化的信息近年来已受到多方面的重视。例如，Google整合了多个开源知识库(如Freebase和维基百科)及其搜索数据等构建知识图谱，微软发布的Satori，这两者都致力通过将网页中的知识结构化，以实现字符串的语义匹配，提高搜索的质量。在学术界中，德国MPII(Max-Planck Institute for Informatics)的Weikum领导研发的Yago和亚研院的Probase等；国内针对中文知识图谱有百度的知心，搜狗的知立方，清华大学知识工程研究室的跨语言知识图谱XLore等。这些系统中的语义数据可通过人工协作式地创建或者自动抽取的过程从Web上获取，说明了系统化地组织和运用Web上的知识受到了越来越多的关注，具有重要的研究意义和应用价值。但是，它们主要关注的是常识性的客观知识(例如奥巴马是美国总统)，目前还缺乏比较完整的商品知识图谱，现有的知识图谱构建技术中更未涉及到主观性用户观点知识获取和组织。

而在电子商务环境中用户观点知识对于商品具有重要的意义。由于人们常常通过社交媒体平台上发布评论与其他用户共享他们的体验，这些用户生成的内容富含用户观点，是商品在网络上口碑形成的主要依据，对商家和其他顾客具有重大的参考价值。2011年美国Cone公司的一项调查指出，87％的用户阅读了关于某商品的肯定评论后决定购买该商品，80％的用户阅读否定评论后放弃了购买意向。由此可见，海量评论中的用户观点是其他潜在顾客和企业决策制定时的重要依据，具有重大的应用价值。目前，评论数据中的用户观点信息在应用时面临两个主要的问题：(1)海量的评论数据带来的信息过载问题；该问题使得用户难以准确和全面地获取他们期望得到的用户观点信息；(2)用户观点隐藏在无结构文本中，严重地阻碍了用户观点信息的自动化和智能化运用。

发明内容

本发明所要解决的技术问题是Web上包含的商品分类知识和海量用户观点都隐藏在无结构的文本中，难以实现自动化和智能化应用的问题，提供一种商品知识图谱的构建方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种商品知识图谱的构建方法，包括商品知识图谱的客观性商品分类知识的构建和主观性用户观点知识的构建。

上述主观性用户观点知识的构建包含采用基于多分类器集成的方法从用户评论中挖掘观点目标和观点词的过程，即：

步骤(1)将评论集中评论的单词数小于设定阈值τ的评论过滤掉，将评论集中剩下的每个评论切分成句子，构成一个评论语句集S；

步骤(2)对评论语句集S中的每个句子进行组块识别；

步骤(3)对评论语句集S中的每个句子所出现的组块两两构建成观点目标和观点词的候选对，并保证每个候选对中的两个组块的次序与它们在句子中出现的顺序一致；

步骤(4)将每个候选对作为一个样本，根据预先确定的特征对样本进行向量化表示，构成样本集SL；

步骤(5)将样本集SL划分成大小不等的两个集合SL₁和SL₂，其中|SL₁|＞|SL₂|；

步骤(6)在集合SL₁上采用不同的分类方法训练出不同的分类器；

步骤(7)对集合SL₂中的每个样本分别用训练好的分类器进行分类，得到的分类结果与样本的标签构成一个新的样本，由此可以得到|SL₂|个新样本；

步骤(8)用所得的新样本去训练出一个集成分类器，并用该集成分类器将所有分类器的预测结果进行整合，由此完成商品知识图谱的主观性用户观点知识中的观点目标和观点词的协同抽取。

所述步骤(4)中，对样本进行向量化的特征包括候选对所处句子的句子类型、候选对中第一个组块在句子中的位置、候选对中两个组块词性组合的类型、候选对中两个组块间间隔的单词数、候选对中两个组块间是否包含有标点、候选对中两个组块是否包含有表情符号、候选对中两个组块是否落在不同的从句中和/或候选对中两个组块间是否包含介词。

上述主观性用户评论知识的构建还进一步包含直接从网站上获取观点持有者、观点发表时间和/或观点的URL信息的过程。

上述客观性商品分类知识的构建包含采用基于多源异构分类层次融合的方法从网站上获取商品分类层次的过程，即：

步骤1)从不同的网站上获取不同的分类层次，并选定其中一个分类层次作为目标分类层次T_t；

步骤2)消除源分类层次T_S中与目标分类层次T_t冲突的分类知识，即：

首先，找出源分类层次T_S与目标分类层次T_t中所有同义的分类概念对，构成同义分类概念对集合M；

然后，对于同义分类概念对集合M中的每个分类概念对(c_i,c_j)，如果存在满足以下条件之一的分类概念对(v,v′)时，即

(a)概念v是概念c_i的前驱节点并且概念v′是概念c_j的后继节点；

(b)概念v是概念c_i的后继节点并且概念v′是概念c_j的前驱节点；

则在源分类层次T_S中概念c_i，概念c_i的孩子节点变为概念c_i的父节点的孩子节点，得到新的源分类层次T_s′；

步骤3)将新的源分类层次T_s′直接融合进目标分类层次T_t中，即：

从新的源分类层次T_s′的根节点开始融合，对根节点的每个孩子节点w递归执行如下操作：

①如果不存在(w,w′)∈M，则将孩子节点w添加为目标分类层次T_t的根节点p′的孩子节点；

②如果存在(w,w′)∈M，则再判断节点w′是否为目标分类层次T_t根节点p′的子孙；若节点w′不是目标分类层次T_t根节点p′的子孙，则在目标分类层次T_t增加边(p′,w′)；若节点w′是目标分类层次T_t根节点p′的子孙，则重复①和②的递归过程融合节点w的孩子节点。

所述步骤1)中，根据下式在分类层次集合T＝{t₁,t₂,...,t_m}中选择分类层次作为融合的目标分类层次T_t：

T_{t} = \underset{t_{i} &Element; T}{\arg \min} 2 \frac{S p a n (t_{i}) \times D e p t h (t_{i})}{S p a n (t_{i}) + D e p t h (t_{i})}

式中，Span(t_i)为分类层次t_i的跨度；Depth(t_i)为分类层次t_i的深度。

上述客观性知识的构建还进一步包含直接从网站上获取商品实例和商品属性的过程。

与现有技术相比，本发明针对商品所构建的结构化的知识图谱涵盖了客观性商品分类和主观性用户观点两类知识，不仅能够为上层服务提供商品实体的准确解释，而且还能够了解众多用户对商品及其属性的观点描述，从而为用户提供更快速、更精准、更全面的商品知识服务。

附图说明

图1为结构化的商品知识图谱。

图2为分类层次融合的结果示意图。

具体实施方式

一种商品知识图谱的构建方法，包括商品知识图谱的客观性知识的构建和主观性知识的构建。主观性用户观点知识的构建包含(I)采用基于多分类器集成的方法从评论中挖掘出观点目标和观点词的过程和(II)直接从网站上获取观点持有者、观点发表时间和/或观点的URL信息的过程。客观性商品分类知识的构建包含(I)采用基于多源异构分类层次融合的方法获取兼顾深度和广度的商品分类层次的过程和(II)直接从网站上获取商品实例的过程。

上述采用基于多分类器集成的方法从用户评论中挖掘观点目标和观点词的过程具体包括如下步骤：

步骤(2)对评论语句集S中的每个句子进行组块识别；

步骤(4)将每个候选对作为一个样本，并根据预先确定的特征对样本进行向量化后，构成样本集SL；对样本进行向量化的特征包括候选对所处句子的句子类型、候选对中第一个组块在句子中的位置、候选对中两个组块词性组合的类型、候选对中两个组块间间隔的单词数、候选对中两个组块间是否包含有标点、候选对中两个组块是否包含有表情符号、候选对中两个组块是否落在不同的从句中和/或候选对中两个组块间是否包含介词；

上述采用基于多源异构分类层次融合的方法获取获取兼顾深度和广度的商品分类层次的过程具体包括如下步骤：

步骤1)从不同的网站上获取不同的商品分类层次，并选定其中一个分类层次作为目标分类层次T_t；

可以任意选定一个分类层次作为目标分类层次，也可以根据下式在分类层次集合T＝{t₁,t₂,...,t_m}中选择分类层次作为融合的目标分类层次T_t：

T_{t} = \underset{t_{i} &Element; T}{\arg \max} 2 \frac{S p a n (t_{i}) \times D e p t h (t_{i})}{S p a n (t_{i}) + D e p t h (t_{i})}

式中，Span(t_i)为分类层次t_i的跨度；Depth(t_i)为分类层次t_i的深度；

①如果不存在(w,w′)∈M，则将节点w添加为目标分类层次T_t的根节点p′的孩子节点；

本发明提出的面向商品知识图谱如图1所示。商品分类层用于描述商品分类知识，位于越高的层次则该概念就越具抽象性，概念与概念之间是子类的关系。商品实例层由众多具体的商品构成，每个商品实例至少关联一个商品概念。商品属性层的每种商品属性关联到唯一的一个商品实例。商品分类层、商品实例层和商品属性层为一个有向无环图，构成商品知识图谱中的客观性知识。用户层由用户及用户间的关系构成，用户间的关系可以根据实际的应用确定，例如社交网络中的朋友关系；用户观点层主要是描述用户对商品实例或其属性所持的观点词，为了能够便于运用用户的观点信息，我们还保存了观点的发表时间以及包含该观点的评论的URL值，以便进一步挖掘与该商品相关的有价值的信息，从而提高商品观点知识的运用灵活性。用户层和用户观点层构成了商品知识图谱中的主观性知识。

为了使商品知识图谱中的知识具有结构化的特点，我们采用基于RDF(ResourceDescription Framework)的形式进行组织，相关的符号定义如下：

c_i为商品分类概念，商品分类概念集C＝{c₁,c₂,c₃,…,c_n1}，例如电子产品、计算机、手机等是商品分类概念。

i_i为商品实例，商品实例集I＝{i₁,i₂,i₃,…,i_n2}，例如iphone 6s、KindlePaperwhite等是商品实例。

a_i为商品属性，商品属性集A＝{a₁,a₂,a₃,…,a_n3}，例如屏幕、噪音、续航时间等是商品属性。

r_i为评论的发布者，评论用户集R＝{r₁,r₂,r₃,…,r_n4}。

o_i为观点词，观点词集O＝{o₁,o₂,o₃,…,o_n5}，例如很好、漂亮等是观点词。

t_i为时间戳，时间戳集T＝{t₁,t₂,t₃,…,t_n6}，例如2015年6月23日。

u_i为URL值，URL集U＝{u₁,u₂,u₃,…,u_n6}。

实体集E＝C∪I∪A∪R∪O∪T∪U∪F，其中F＝{f1,f2,f3,…,f_n5}为事实集合，事实f_i＝<x,p_j,y>，其中x∈E，y∈E，谓词p_j定义如表1：

表1商品知识图谱中的谓词描述

双射函数H：F→S_id为每个事实f_i赋予一个唯一的标识符，其中S_id＝{#1,#2,#3,…,#n}。

商品知识图谱中的知识由大量的事实构成的。例如，“张三觉得iphone 6s的屏幕太小”根据上面定义的符号在商品知识图谱中可用三个事实表示为：

#1-<屏幕,AttributeOf,iphone 6s>

#2-<张三，OpinionOn,#1>

#3-<#2,OpinionDes,太小>。

商品分类知识的构建部分

不同的电子商务网站都根据自身的需求创建自己的商品分类层次，这些商品的分类层次在深度或者广度上具有局限性。本发明设计了一个基于多源异构分类层次融合的方法来构建一个全面的商品分类层次。

设t_i是一个商品分类层次，T＝{t₁,t₂,…,t_m}是分类层次集合，是分类层次t_i中所有节点的集合，是分类层次t_i中所有叶子节点的集合，H(t_i)为分类层次t_i包含的层次数，pre(v_j)表示节点v_j的前驱节点集，succ(v_j)表示分类层次t_i中节点v_j的后继节点集。

分类层次t_i的跨度定义为树中所有层包含的节点平均数N_i为第i层包含的节点数；

分类层次t_i的深度定义为Len(v_i)为节点v_i到根节点的距离；

设分类层次集合T＝{t₁,t₂,…,t_m}，首先根据下式在分类层次集合T中选择在跨度和深度两个维度都较大的分类层次作为融合的目标分类层次T_t：

T_{t} = \underset{t_{i} &Element; T}{\arg \max} 2 \frac{S p a n (t_{i}) \cdot D e p t h (t_{i})}{S p a n (t_{i}) + D e p t h (t_{i})}

T-{T_t}中的每棵分类层次执行如下操作将其融合到目标分类层次中：

1、消除源分类层次T_S中与目标分类层次T_t冲突的分类知识：

找出两棵分类层次中所有同义的分类概念对(c_i,c_j)，并构建同义分类概念对集合c_i与c_j同义}；

对M中的每个元素(c_i,c_j)，如果M中存在同义的分类概念对(v,v′)，其中v和 v′满足以下条件之一：(a)v是c_i的前驱节点并且v′是c_j的后继节点，(b)v是c_i的后继节点并且v′是c_j的前驱节点，则在T_s中删除c_i，c_i的孩子节点变为c_i的父节点的孩子节点，得到新的源分类层次T_s′；

2、将与目标分类层次T_t无冲突的源分类层次T_s′融合进T_t中；

从源分类层次T_s′中根节点p开始融合，对p的每个孩子w递归执行如下操作：

①若不存在(w,w′)∈M，则将w添加为目标分类层次的根节点p′的孩子节点；

②若存在(w,w′)∈M，则

<1>若w′不是p′的子孙，则在T_t增加边(p′,w′)；

<2>若w′是p′的子孙，则重复①-②过程融合w的孩子节点；

假设两个分类层次的同义分类概念对集合M＝{(p,p′),(a,a′),(b,b′),(h,h′),(e,e′),(j,j′),(d,d′)}，融合后的结果示例如图2所示。

商品观点知识的挖掘部分

观点知识中主要包含观点目标、观点词、观点持有者、观点发表时间和包含该观点的评论URL。在本发明中观点持有者为评论的发布者，观点发表时间即为评论时间，这两者和评论的URL信息可在评论网站上直接获取。下面主要阐述观点目标和观点词的自动获取和整合方法。

本发明将观点目标和观点词的协同抽取看作一个二分类问题，如果一个候选的观点目标和观点词对是正确的，则分为类型1，否则为类型0。考虑到不同的分类方法在不同商品领域分类性能各不相同，因此本发明设计了一个基于多分类器集成的方法来进行观点目标和观点词的协同抽取。

首先对评论集采用如下步骤的预处理：

1、将评论集中单词数小于阈值τ(如τ＝3)的评论过滤掉，将剩下的每个评论切分成句子，构成一个评论语句集S＝{s₁,s₂,…,s_n}；

2、对S中的每个句子进行组块识别；

3、对每个s_i∈S中出现的组块两两构建成观点目标和观点词候选对，并保证每个候选对中的两个组块的次序与它们在句子中的次序一致；

4、将每个候选对作为一个样本根据下列特征进行向量化：(1)两个组块词性组合的类型，(2)候选对中两个组块间间隔的单词数，(3)候选对中第一个组块在句子中的位置，(4)句子的类型，(5)两个组块间是否包含有标点，(6)两个组块是否包含有表情符号，(7)两个组块是否落在不同的从句中，(8)两个组块间是否包含介词。

然后，在标注好的样本集SL上进行如下操作：

1、将SL划分成大小不等(如70％vs 30％)的两个集合SL₁和SL₂，假设|SL₁|>|SL₂|，即集合SL₁中的样本数大于集合SL₂中的样本数；

2、在SL₁上针对m种分类方法训练m个分类器C₁，C₂，……，C_m；

按照以下标准从m个分类器中选择其中k个分类器构成的分类器集合SC：

\underset{S C}{\arg \max} λ \frac{\underset{C_{i} &Element; S C}{Σ} A (C_{i})}{| S C |} + (1 - λ) D (S C)

此处λ为两部分的权重参数，A(C_i)表示分类器C_i的准确度，D(SC)表示分类器集合SC中分类器的差异度，本发明中采用Fleiss’Kappa值来度量：

D (S C) = \frac{\overset{&OverBar;}{P} - {\overset{&OverBar;}{P}}_{e}}{1 - {\overset{&OverBar;}{P}}_{e}}

其中为将第i个样本分成第j类的分类器数量；

4、对SL₂中的每个样本分别用训练好的k个分类器进行分类，得到的k个分类结果与样本的标签构成一个新的样本，由此可以得到|SL₂|个新样本；

5、用这些新样本训练一个集成分类器用来将k个分类器的预测结果进行整合。

Claims

1.一种商品知识图谱的构建方法，包括商品知识图谱的客观性商品分类知识的构建和主观性用户观点知识的构建，其特征是，上述主观性用户观点知识的构建包含采用基于多分类器集成的方法从用户评论中挖掘观点目标和观点词的过程，即：

步骤(2)对评论语句集S中的每个句子进行组块识别；

步骤(4)将每个候选对作为一个样本，并根据预先确定的特征对样本进行向量化后，构成样本集SL；

步骤(5)将样本集SL划分成大小不等的两个集合SL₁和SL₂，其中|SL₁|>|SL₂|；

2.根据权利要求1所述的一种商品知识图谱的构建方法，其特征是，步骤(4)中，对样本进行向量化的特征包括候选对所处句子的句子类型、候选对中第一个组块在句子中的位置、候选对中两个组块词性组合的类型、候选对中两个组块间间隔的单词数、候选对中两个组块间是否包含有标点、候选对中两个组块是否包含有表情符号、候选对中两个组块是否落在不同的从句中和/或候选对中两个组块间是否包含介词。

3.根据权利要求1所述的一种商品知识图谱的构建方法，其特征是，上述主观性用户观点知识的构建还进一步包含直接从网站上获取观点持有者、观点发表时间和/或观点的URL信息的过程。

4.根据权利要求1所述的一种商品知识图谱的构建方法，其特征是，上述客观性商品分类知识的构建包含采用基于多源异构分类层次融合的方法获取兼顾深度和广度的商品分类层次的过程，即：

然后，对于同义分类概念对集合M中的每个分类概念对(c)_i,c_j，如果存在满足以下条件之一的分类概念对(v),v′时，即

从新的源分类层次T_s′的根节点p开始融合，对根节点p的每个孩子节点w递归执行如下操作：

①如果不存在(w),w′∈M，则将节点w添加为目标分类层次T_t的根节点p′的孩子节点；

②如果存在(w),w′∈M，则再判断节点w′是否为目标分类层次T_t根节点p′的子孙；若节点w′不是目标分类层次T_t根节点p′的子孙，则在目标分类层次T_t增加边(p)′,w′；若节点w′是目标分类层次T_t根节点p′的子孙，则重复①和②的递归过程融合节点w的孩子节点。

5.根据权利要求4所述的一种商品知识图谱的构建方法，其特征是，步骤1)中，根据下式在分类层次集合T＝{t₁,t₂,…,t_m}中选择分类层次作为融合的目标分类层次T_t：

T_{t} = \underset{t_{i} &Element; T}{\arg \max} 2 \frac{S p a n (t_{i}) \times D e p t h (t_{i})}{S p a n (t_{i}) + D e p t h (t_{i})}

6.根据权利要求4所述的一种商品知识图谱的构建方法，其特征是，上述客观性商品分类知识的构建还进一步包含直接从网站上获取商品实例的过程。