CN110377747A - 一种面向百科网站的知识库融合方法 - Google Patents

一种面向百科网站的知识库融合方法 Download PDF

Info

Publication number
CN110377747A
CN110377747A CN201910495359.3A CN201910495359A CN110377747A CN 110377747 A CN110377747 A CN 110377747A CN 201910495359 A CN201910495359 A CN 201910495359A CN 110377747 A CN110377747 A CN 110377747A
Authority
CN
China
Prior art keywords
attribute
value
data source
similarity
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910495359.3A
Other languages
English (en)
Other versions
CN110377747B (zh
Inventor
冯钧
陈菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910495359.3A priority Critical patent/CN110377747B/zh
Publication of CN110377747A publication Critical patent/CN110377747A/zh
Application granted granted Critical
Publication of CN110377747B publication Critical patent/CN110377747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种面向百科网站的知识库融合方法，对目前影响力最大的百度百科、互动百科和中文维基百科的知识卡片(infobox)进行融合。该方法包含以下步骤：步骤1，获取百科网站关于同一实体的查询结果并进行预处理；步骤2，综合概念相似性、属性相似性及上下文相似性特征对百科网站中的实体建立映射关系；步骤3，对已建立映射关系的实体的知识卡片借助外部词典进行属性对齐；步骤4，对属性值存在冲突的属性，根据属性值是单值型和多值型设计单真值发现方案和多真值发现方案；步骤5，输出融合后的属性‑属性值对。最终得到的三大百科知识卡片的去除冗余的高可靠性的关于实体的属性‑属性值对。

Description

一种面向百科网站的知识库融合方法
技术领域
本发明涉及知识库融合，具体涉及一种面向百科网站的知识库融合方法。
背景技术
数据为王的大数据时代已到来，数据管理和知识工程也承担着愈加重要的角色。知识库对于搜索、机器翻译和智能问答等应用具有重要支撑作用，为了高效地管理和获取所需知识，国内外很多学者都投入了知识库构建的研究，如国外的YAGO，DBpedia，Freebase，Nell，Knowledge Vault，国内的CN-DBpedia，Zhishi.me，XLORE等。
目前知识库构建工作硕果累累，但这些构建完成的知识库大都是分散的、独立自治的，各自的知识体系结构和描述侧重点存在差异。例如YAGO的主要数据来源是Wikipedia，在此基础上增加了WordNet中的语义知识，YAGO2增加了GeoNames，但其覆盖范围仍很大程度上局限于Wikipedia中的知识；DBpedia也主要以Wikipedia中的半结构化的知识卡片作为主要的数据来源；Freebase是Google旗下的一个众包模式的知识库，其中超过70％的人物没有出生地和国籍，对于更特殊的属性的覆盖度之低可想而知；CN-DBpedia主要抽取百度百科中的知识来构建知识图谱；Zhishi.me进行了基于多百科数据源知识库构建的探索，从中文维基百科、百度百科、互动百科中抽取知识，截止至2019年4月，已从百度百科中抽取了14307056个实体，从互动百科中抽取了5521163个实体，从中文维基百科中抽取了903462个实体，但其更侧重于抽取而不是融合。知识库总体存在知识重复、不完整、质量参差不齐等问题，不同知识库的取长补短显得越来越重要。因此，为了更高效地获得和管理知识，对多个知识库进行融合、构建一个完整、可信度高、冗余度低的大知识库的方法的探索，具有重要的研究和实用意义。
对于中文知识库的融合，为了得到更丰富、准确的实体信息，需要解决以下问题：(1)本地知识库中的实体名在其它知识库中常含有歧义。(2)表征相同的属性在不同知识库中的描述存在差异。(3)不同知识库对于同一对象的同一属性给出的值不一致。对于这些问题当前尚未有较好的解决方法。
发明内容
发明目的：针对现有技术的问题，本发明提出一种面向百科网站的知识库融合方法，很好地解决了知识重复、不完整和不一致等问题，能够获得关于实体的更丰富、更准确的信息。
技术方案：本发明提供一种面向百科网站的知识库融合方法，所述方法包括以下步骤：
(1)获取各百科网站关于同一实体的查询结果，并进行预处理；
(2)综合概念相似性、属性相似性及上下文相似性特征对百科网站中的实体建立映射关系；
(3)对已建立映射关系的实体的知识卡片借助外部词典进行属性对齐；
(4)对属性值存在冲突的属性，基于贝叶斯分析的方法来进行冲突消解；
(5)输出融合后的属性-属性值对。
进一步地，所述步骤1包括：
(11)基于百科网站针对一个实体查询返回的若干个候选实体，爬取候选实体的义项及对应候选实体页面中的标题、摘要、知识卡片、底部词条分类标签、摘要以及知识卡片中的锚文本；
(12)对于步骤11所获得的摘要，使用ICTCLAS分词器对其进行分词并去除停用词；
(13)将步骤11获取的百科知识卡片中的属性分为对象型、字符串型和数值型，并对数值属性进行归一化。
进一步地，所述步骤2包括：
(21)计算不同百科间候选实体的概念相似性，包括：
(211)通过下式将不同百科间各候选实体的概念都映射到外部词典《同义词词林扩展版》中：
其中wordi，wordj分别代表这组概念中的某一项在《同义词词林扩展版》中的可能的编码，(wordi-wordj)表示它们之间的距离，距离的具体计算方法为：如果词语A和B在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个词的相似度为0，Sim(A，B)＝0；如果词语A和B在《同义词词林扩展版》中的编码在第i层开始不一致(i＞1)，则A和B的相似性为其中n是分支层的节点总数，k是两个分支间的距离；
(212)计算两组概念的相似性：
Simconcept(Entity1，Entity2)＝∑c1∈c(Entity1)Max(Sim(c1，c2))，c2∈C(Entity2)
其中Entity1，Entity2分别是两个不同百科网站中的待对齐实体，C(Entity1)，C(Entity2)是它们按照步骤211获得的对应的概念集，c1代表Entity1相关的概念，c2代表Entity2相关的概念，概念相似性Sim(c1，c2)的具体计算方法为：如果概念c1和c2在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个概念的相似度为0，Sim(cl，c2)＝0；如果概念c1和c2在《同义词词林扩展版》中的编码在第i层开始不一致(i＞1)，则它们相似性为其中n是分支层的节点总数，k是两个分支间的距离；
(22)计算不同百科间候选实体的属性相似性，包括：
(221)计算属性类别相似性，l1代表属性1的类别，l2代表Entity2的类别，类别相似性的具体计算方法为：如果类别l1和l2在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个类别的相似度为0，Sim(l1，l2)＝0；如果类别l1和l2在《同义词词林扩展版》中的编码在第i层开始不一致(i＞1)，则它们的相似性为 其中n是分支层的节点总数，k是两个分支间的距离；
(222)根据属性类别相似性计算同类别实体的属性相似性：
Simattribute(Entity1，Entity2)＝∑a1∈Att(Entity1)Sim(a1，a2)，a2∈Att(Entity2)，sim(a1，a2)＞θ
其中Att(Entity1)表示Entity1的属性集合，a1属于Entity1，Att(Entity2)表示Entity2的属性集合，a2属于Entity2，θ为阈值，Sim(a1，a2)表示属性名间的表象相似度，通过计算字符串距离得到；
(23)计算不同百科间候选实体的上下文相似性：
其中Simcontext是百科中候选实体的上下文相似性度量，实体Entity1与实体Entity2的上下文相似性度量采用实体Entity2的任一邻居实体分别与实体Entityl的每一个邻居实体进行比较，Max(Sim(a，b))表示取Entity2的邻居实体中与Entity1的邻居实体a相似性的最大值作为Entity2中的邻居实体与Entity1中邻居实体a的上下文相似性；
(24)根据步骤21、22、23的计算结果，根据下式计算不同百科网站间候选实体的相似性：
Sim(E1，E2)＝a*Simconcept(E1，E2)+b*Simattribute(E1，E2)+c*Simcontext(E1，E2)
其中，a，b，c分别是概念相似性的权重，属性相似性的权重和上下文相似性的权重。
进一步地，所述步骤3包括：
(31)将各百科候选实体知识卡片的属性划分为对象型、字符串型和数值型，并对在同一数据源中的属性按类型进行分块，属性类型识别使用NLPIR分词系统进行识别；
(32)在同类属性块间进行不同百科知识卡片的对齐：
如果属性名间的表象相似度大于第一阈值并且属性值相似度大于第二阈值，则认为该属性对共指，其中表象相似度使用字符串距离来计算；
在同类型属性对之间通过属性名在《同义词词林扩展版》中位置的比较来发现属性名之间是否存在同义关系，如果属性名间的表象相似度大于第三阈值，则将它们合并。
进一步地，所述步骤4包括：
(41)通过分过分层抽样的方法引入先验知识从而为各大百科分配可信度初始权重；
(42)通过贝叶斯分析的方式为待求真属性求出最可能为真的属性值；
(43)更新数据源的权重。
有益效果：目前已有的百科知识库融合方法主要还是研究实体的对齐，关于实体属性的对齐以及属性值冲突解决的系统性研究尚不多见，本发明首次提出了根据实体属性进行对齐并对属性值冲突进行消除的系统性方案，在一定程度上解决了知识库融合过程中可能存在的一系列问题。本发明通过充分挖掘百科网站中实体的概念特征、属性特征、上下文特征这三个维度的特征来对实体进行消歧，以便为知识卡片建立起映射，在此过程中借助外部词典来进行语义消歧。为降低三大百科知识卡片的冗余度，本发明提出借助外部词典《同义词词林扩展版》来进行属性对齐，并对属性表达方式进行归一处理。针对三大百科可能为同一实体的同一属性提供不同属性值的问题，本发明提出基于贝叶斯分析的方法进行属性值冲突消解。最终得到三大百科知识卡片去除冗余的高可靠性的关于实体的属性-属性值对。
附图说明
图1为根据本发明实施例的知识库融合方法流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。应当了解，以下提供的实施例仅是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的技术构思，本发明还可以用许多不同的形式来实施，并且不局限于此处描述的实施例。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。
百科网站具有一个页面主要围绕一个实体进行全方面的介绍、在同一个百科网站中的页面的组织结构类似的，因此抽取难度较小、百科网站中实体页面内容的质量比较高等优点，是重要的知识来源。在一个实施例中，本发明提出一种对中文维基百科、百度百科、互动百科的知识卡片的内容进行融合，探索知识重复、不完整和不一致等问题的解决办法，以获得关于实体的更丰富、更准确的信息。如图1所示，本发明所提及的面向三大百科知识卡片融合的方法是按如下流程逐步进行的：首先将经过数据预处理后得到的三大百科关于同一实体的查询结果输入实体消歧模块，然后基于概念相似性、属性相似性和上下文相似性特征将三大百科对应的百科页面建立映射。随后，需要将建立映射的百科页面的知识卡片进行融合，本发明主要将知识卡片上的属性映射到《同义词词林扩展版》中，通过比较不同百科中的属性名在词典上的位置来进行属性对齐。最后，已经对齐的属性不同百科提供的属性值可能存在冲突，本发明通过基于贝叶斯分析的方法来进行冲突消解。
参照图1，一种面向三大百科知识卡片融合的方法，包括以下步骤：
步骤1，输入三大百科关于同一实体的查询结果。
具体过程如下：
步骤11，实体名称可能存在歧义，百科网站针对一个实体查询可能会返回若干个候选实体，爬取候选实体的义项及对应候选实体页面中的标题、摘要、知识卡片(infobox)、底部词条分类标签、摘要以及知识卡片中的锚文本。
步骤12，对于步骤11所获得的摘要，使用允许添加自定义词典的中科院计算研究所公开的ICTCLAS分词器对其进行分词并去除停用词；
步骤13，将步骤1获取的三大百科的知识卡片中的属性分为对象型、字符串型和数值型，并对数值属性进行归一化。
步骤2，综合概念相似性、属性相似性及上下文相似性特征对三大百科网站中的实体建立映射关系。
具体过程如下：
步骤21，计算不同百科间候选实体的概念相似性。该方法对于候选实体概念的提取主要通过候选实体的词条标签和其义项中的概念特征的组合。将不同百科间各候选实体的概念都映射到外部词典《同义词词林扩展版中》，通过挖掘两组概念在《同义词词林扩展版》中的位置关系来计算它们概念的相似性。由于一个词可能有多个意思，而该词在表示不同语义时它的同义词也不同，因此《同义词词林扩展版》中一个词可能会有多个编码。该方法通过使这组概念特征的距离最小的原则来处理歧义问题，即要下式的值最小，从而将候选实体的概念成功映射到《同义词词林扩展版》中。
其中wordi，wordj分别代表这组概念中的某一项在《同义词词林扩展版》中的可能的编码，(wordi-wordj)表示它们之间的距离，距离的具体计算方法为：如果词语A和B在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个词的相似度为0，Sim(A，B)＝0；如果词语A和B在《同义词词林扩展版》中的编码在第i层开始不一致(i＞1)，则A和B的相似性为其中n是分支层的节点总数，k是两个分支间的距离。在成功将各百科候选实体的概念映射到《同义词词林扩展版》中后，两组概念的相似性计算方法如下：
Simconcept(Entity1，Entity2)＝∑c1∈C(Entity1)Max(Sim(c1，c2))，c2∈C(Entity2)
其中Entity1，Entity2分别是两个不同百科网站中的待对齐实体，C(Entity1)，C(Entity2)是它们按照上述方法获得的对应的概念集。c1代表Entity1相关的概念，c2代表Entity2相关的概念，概念相似性Sim(c1，c2)的具体计算方法为：如果概念c1和c2在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个概念的相似度为0，Sim(c1，c2)＝0；如果概念c1和c2在《同义词词林扩展版》中的编码在第i层开始不一致(i＞1)，则它们相似性为其中n是分支层的节点总数，k是两个分支间的距离。
步骤22，计算不同百科间候选实体的属性相似性。该方法中的属性相似度比较主要分为属性类别相似性比较和属性值相似性比较两个部分。属性类别相似性比较是考虑到如果两个百科网站中候选实体的知识卡片中的属性表征类别相距甚远，那么这两个实体共指的可能性将降低。属性类别相似性比较同步骤21，具体地，l1代表属性1的类别，l2代表Entity2的类别，类别相似性计算方法为：如果类别l1和l2在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个类别的相似度为0，Sim(l1，l2)＝0；如果类别l1和l2在《同义词词林扩展版》中的编码在第i层开始不一致(i＞1)，则它们的相似性为其中n是分支层的节点总数，k是两个分支间的距离。
根据属性类别相似性计算同类别实体的属性相似性：
Simattribute(Entity1，Entity2)＝∑a1∈Att(Entity1)Sim(a1，a2)，a2∈Att(Entity2)，sim(a1，a2)＞θ
其中Att(Entity1)表示Entity1的属性集合，a1属于Entity1，Att(Entity2)表示Entity2的属性集合，a2属于Entity2，θ为阈值，Sim(a1，a2)表示属性名间的表象相似度。
属性值相似性比较的主要方法如下：如果属性名间的表象相似度大于阈值并且属性值相似度大于阈值，则认为该属性对共指，表象相似度度量一般通过简单的字符串距离计算，例如编辑距离或Jaccard系数、余弦相似性、欧氏距离等。
步骤23，计算不同百科间候选实体的上下文相似性。该方法中的上下文关系主要通过提取百科实体的摘要和知识卡片中的锚文本中来获得，计算公式如下：
其中Simcontext是百科中候选实体的上下文相似性度量，实体Entity1与实体Entity2的上下文相似性度量采用实体Entity2的任一邻居实体分别与实体Entity1的每一个邻居实体进行比较，取相似性最大值作为Entity2中的该邻居与Entity1中邻居实体的相似性，然后进行求和。百科网站中候选实体的邻居主要是该实体页面中摘要和知识卡片中的锚文本所指向的实体。
步骤24，计算不同百科网站间候选实体的相似性。根据步骤21，22，23，候选实体的基于多特征的相似性计算公式为：
Sim(E1，E2)＝a*simconcept(E1，E2)+b*Simattribute(E1，E2)+c*Simcontext(E1，E2)
步骤3，对已建立映射关系的实体的知识卡片借助外部词典进行属性对齐。
具体过程如下：
步骤31，将各百科候选实体知识卡片的属性划分为对象型、字符串型和数值型，并对在同一数据源中的属性按类型进行分块，属性类型识别使用中科院开发的可添加用户自定义词典的NLPIR分词系统进行识别；
步骤32，不同百科知识卡片的对齐只在同类属性块间进行，是否可对齐判断方法如下：
如果属性名间的表象相似度大于阈值μ1并且属性值相似度大于阈值μ2，则认为该属性对共指，表象相似度度量使用字符串距离来计算；
在同类型属性对之间通过属性名在《同义词词林扩展版》中位置的比较来发现属性名之间是否存在同义关系，如果属性名相似性大于阈值μ3，则认为其可以合并。
步骤4，对属性值存在冲突的属性，根据属性值是单值型和多值型设计单真值发现方案和多真值发现方案。
具体过程如下：
步骤41，通过分过分层抽样的方法引入少量先验知识从而为各大百科分配可信度初始权重；
所述步骤41的具体过程如下：
步骤411，将所有存在冲突的属性值按照数据源-属性值的次序集中在一起，根据属性的冲突程度进行排序，冲突程度用信息熵来度量，其计算公式为：
其中是为属性a提供属性值v的数据源数量，|Sa|是为属性a提供属性值的所有数据源的数量，V为属性值集合。
步骤412，依据属性值的冲突程度将属性分为三个层次，用α1、α2作为界值，Diff(a)＜α1属于冲突小的属性，求真难度较低，α1≤Diff(a)≤α2属于冲突中等的属性，求真难度中等，Diff(a)＞α2属于冲突程度较大的属性，求真难度很大。然后对这三个层次的属性分层进行随机取样，通过官方数据或咨询专家的方式来人工确定真值，根据已知的真值和三大数据源所给值的情况来对数据源进行评分。在这里单真值发现和多真值发现需要进行区分，对于单真值发现方法，初始权重只有精度，其计算公式为：
其中Vi表示数据源si为相应属性所提供的值，Vc表示这些值存在冲突的属性的正确属性值，Inter(Vi，Vc)是数据源si提供的正确属性值的个数，即对于存在冲突的属性中，数据源i提供了多少真值，表示为该存在冲突的属性a提供了值的数据源的个数，表示为属性a提供了正确属性值的数据源个数。
在多真值发现问题中，不仅要考察数据源的查准率，即由该数据源提供的属性值为真的概率，还要考察其排除错误值的准确率，即该数据源没有提供的属性值为错误值的概率，也就是排除错误的准确率，其计算方法为：
其中Vj为第j个属性的完整真值列表，为数据源i提供的关于属性j的多值列表，对于数据源si，V′j是其它数据源提供的关于第j个属性的错误值集合，TVj i表示V′j-(Vj i-Inter(Vj i，Vj))，Inter(Vj i，Vj)为数据源si提供的属性值列表与完整真值列表的交集，Pre(Vj i)表示数据源si关于第j个属性时所得的准确性分数，其原理为Tne(Vj i)表示数据源si关于第j个属性的排除错误数值的正确率，其原理为：步骤413，通过分层抽样，最终对于单值属性数据源的准确性，其初始分数的计算公式为：
Pre(si)＝w1·simple+w2·medium+w3·difficult
对于多值属性数据源的查准率和正确排除率，其初始分数的计算公式为：
其中，分别是数据源si在求真难度简单、中等和难度较大三个层次获得的分数，其计算方式在(412)中已介绍，等级的划分用(411)中给出的信息熵来划分，w1，w2，w3分别为分配给三个等级的权重。Pre(si)表示数据源si在提供该属性值上的精度，表示数据源si提供的值是正确值的可能性分数，Tne(si)表示数据源si没有提供的属性值是错误值的可能性分数，Pre(si)和Tne(si)是数据源si的准确性与排除错误值的准确性的初始权重。
步骤42，通过贝叶斯分析的方式为待求真属性求出最可能为真的属性值；
所述步骤42的具体过程如下：
步骤421，α(v)为属性值v为真的先验概率，其计算公式为：
其中为所有为属性a提供原子属性值v的数据源集合，Sa为所有为属性a提供属性值的数据源集合。
步骤422，α′(v)为属性值v为真的后验概率，其计算公式为：
其中是属性值v为真条件下各数据源的可靠概率，是属性值v为假条件下各数据源可靠的概率，单真值发现方案与多真值发现方案在这两个条件概率的计算方法上有所区别。
对于单值型属性主要考虑所有提供其值和未提供其值的数据源的准确性。和的计算公式分别为：
其中为所有为属性a提供原子属性值v的数据源集合，为所有没有为属性a提供属性值v的数据源的集合。因可能存在所有数据源都没有能提供真值，因此对于单真值发现方案和多真值发现方案都应设置一定的阈值以避免把错误值当作真值输出。对于单值型属性最后返回的是大于预先所设阈值的为真概率最大的属性值。
对于多真值属性返回的是大于所设阈值的一组原子值。因为其真值个数多于一个，此时不同数据源对于同一属性给出的属性值可能是相互补充的，这种情况下将综合考虑各个数据源提供知识的准确度和完整度，首先统计出所有不重复的值，考虑所有提供该值的数据源的准确率和未提供该值的数据源的排除错误值的准确性，通过贝叶斯分析依次计算每个值为真的后验概率，和的计算公式分别为；
其中为所有为属性a提供属性值v的数据源集合，为所有没有为属性a提供属性值v的数据源的集合。
步骤43，更新数据源的权重。
所述步骤43的具体过程如下：
对于单真值发现方法只需要将数据源的准确性进行更新，计算方法公式为：
对于多真值发现方法，不仅要将数据源的准确性进行更新，也需要将数据源的对错误值的排除的准确性进行更新，其计算公式为：
其中|A(si)|为数据源si提供的属性值的个数。
步骤5，经过步骤41-43可得出存在冲突的属性值中各候选属性值为真的概率，则对于单值型属性最后可得出最可能为真的候选属性值，对于多值性属性最后可得出最可能为真的一组属性值，从而输出融合后的属性-属性值对。

Claims (9)

1.一种面向百科网站的知识库融合方法，其特征在于，所述方法包括以下步骤：
(1)获取各百科网站关于同一实体的查询结果，并进行预处理；
(2)综合概念相似性、属性相似性及上下文相似性特征对百科网站中的实体建立映射关系；
(3)对已建立映射关系的实体的知识卡片借助外部词典进行属性对齐；
(4)对属性值存在冲突的属性，基于贝叶斯分析的方法来进行冲突消解；
(5)输出融合后的属性-属性值对。
2.根据权利要求1所述的面向百科网站的知识库融合方法，其特征在于，所述步骤1包括：
(11)基于百科网站针对一个实体查询返回的若干个候选实体，爬取候选实体的义项及对应候选实体页面中的标题、摘要、知识卡片、底部词条分类标签、摘要以及知识卡片中的锚文本；
(12)对于步骤11所获得的摘要，使用ICTCLAS分词器对其进行分词并去除停用词；
(13)将步骤11获取的百科知识卡片中的属性分为对象型、字符串型和数值型，并对数值属性进行归一化。
3.根据权利要求2所述的面向百科网站的知识库融合方法，其特征在于，所述步骤2包括：
(21)计算不同百科间候选实体的概念相似性，包括：
(211)通过下式将不同百科间各候选实体的概念都映射到外部词典《同义词词林扩展版》中：
其中wordi，wordj分别代表这组概念中的某一项在《同义词词林扩展版》中的可能的编码，(wordi-wordj)表示它们之间的距离，距离的具体计算方法为：如果词语A和B在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个词的相似度为0，Sim(A,B)＝0；如果词语A和B在《同义词词林扩展版》中的编码在第i层开始不一致(i>1)，则A和B的相似性为其中n是分支层的节点总数，k是两个分支间的距离；
(212)计算两组概念的相似性：
Simconcept(Entity1,Entity2)＝∑c1∈C(Entity1)Max(Sim(c1,c2)),c2∈C(Entity2)
其中Entity1，Entity2分别是两个不同百科网站中的待对齐实体，C(Entity1)，C(Entity2)是它们按照步骤211获得的对应的概念集，c1代表Entity1相关的概念，c2代表Entity2相关的概念，概念相似性Sim(c1,c2)的具体计算方法为：如果概念c1和c2在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个概念的相似度为0，Sim(c1,c2)＝0；如果概念c1和c2在《同义词词林扩展版》中的编码在第i层开始不一致(i>1)，则它们相似性为其中n是分支层的节点总数，k是两个分支间的距离；
(22)计算不同百科间候选实体的属性相似性，包括：
(221)计算属性类别相似性，l1代表属性1的类别，l2代表Entity2的类别，类别相似性的具体计算方法为：如果类别l1和l2在《同义词词林扩展版》中的编码在第一层开始不一致，则认为这两个类别的相似度为0，Sim(l1,l2)＝0；如果类别l1和l2在《同义词词林扩展版》中的编码在第i层开始不一致(i>1)，则它们的相似性为 其中n是分支层的节点总数，k是两个分支间的距离；
(222)根据属性类别相似性计算同类别实体的属性相似性：
Simattribute(Entity1,Entity2)＝∑a1∈Att(Entity1)Sim(a1,a2),a2∈Att(Entity2),sim(a1,a2)>θ
其中Att(Entity1)表示Entity1的属性集合，a1属于Entity1，Att(Entity2)表示Entity2的属性集合，a2属于Entity2，θ为阈值，Sim(a1,a2)表示属性名间的表象相似度，通过计算字符串距离得到；
(23)计算不同百科间候选实体的上下文相似性：
其中Simcontext是百科中候选实体的上下文相似性度量，实体Entity1与实体Entity2的上下文相似性度量采用实体Entity2的任一邻居实体分别与实体Entity1的每一个邻居实体进行比较，Max(Sim(a,b))表示取Entity2的邻居实体中与Entity1的邻居实体a相似性的最大值作为Entity2中的邻居实体与Entity1中邻居实体a的上下文相似性；
(24)根据步骤21、22、23的计算结果，根据下式计算不同百科网站间候选实体的相似性：
Sim(E1,E2)＝a*simconcept(E1,E2)+b*Simattribute(E1,E2)+c*Simcontext(E1,E2)
其中，a,b,c分别是概念相似性的权重，属性相似性的权重和上下文相似性的权重。
4.根据权利要求1所述的面向百科网站的知识库融合方法，其特征在于，所述步骤3包括：
(31)将各百科候选实体知识卡片的属性划分为对象型、字符串型和数值型，并对在同一数据源中的属性按类型进行分块，属性类型识别使用NLPIR分词系统进行识别；
(32)在同类属性块间进行不同百科知识卡片的对齐：
如果属性名间的表象相似度大于第一阈值并且属性值相似度大于第二阈值，则认为该属性对共指，其中表象相似度使用字符串距离来计算；
在同类型属性对之间通过属性名在《同义词词林扩展版》中位置的比较来发现属性名之间是否存在同义关系，如果属性名间的表象相似度大于第三阈值，则将它们合并。
5.根据权利要求1所述的面向百科网站的知识库融合方法，其特征在于，所述步骤4包括：
(41)通过分过分层抽样的方法引入先验知识从而为各大百科分配可信度初始权重；
(42)通过贝叶斯分析的方式为待求真属性求出最可能为真的属性值；
(43)更新数据源的权重。
6.根据权利要求5所述的面向百科网站的知识库融合方法，其特征在于，所述步骤41包括：
(411)将所有存在冲突的属性值按照数据源-属性值的次序集中在一起，根据属性的冲突程度进行排序，冲突程度用信息熵来度量，其计算公式为：
其中是为属性a提供属性值v的数据源数量，|Sa|是为属性a提供属性值的所有数据源的数量，V为属性值集合；
(412)依据属性值的冲突程度将属性分为三个层次，用α1、α2作为界值，Diff(a)<α1属于冲突小的属性，对应第一级求真难度，α1≤Diff(a)≤α2属于冲突中等的属性，对应第二级求真难度，Diff(a)>α2属于冲突程度大的属性，对应第三级求真难度，对这三个层次的属性分层进行随机取样，根据已知的真值和百科数据源所给值的情况来对数据源进行评分，其中对于单真值发现方法，初始权重只有精度，其计算公式为：
其中Vi表示数据源si为相应属性所提供的值，Vc表示这些值存在冲突的属性的正确属性值，Inter(Vi,Vc)是数据源si提供的正确属性值的个数，即对于存在冲突的属性中，数据源i提供了多少真值，表示为该存在冲突的属性a提供了值的数据源的个数，表示为属性a提供了正确属性值的数据源个数；
对于多真值发现，其计算方法为：
其中Vj为第j个属性的完整真值列表，为数据源i提供的关于属性j的多值列表，对于数据源si，V′j是其它数据源提供的关于第j个属性的错误值集合，表示 为数据源si提供的属性值列表与完整真值列表的交集，表示数据源si关于第j个属性时所得的准确性分数，表示数据源si关于第j个属性的排除错误数值的正确率；
(413)通过分层抽样，对于单值属性数据源的准确性，其初始分数的计算公式为：
Pre(si)＝w1·simple+w2·medium+w3·difficult
对于多值属性数据源的查准率和正确排除率，其初始分数的计算公式为：
其中，分别是数据源si在第一级、第二级、第三级求真难度获得的分数，其计算方式在(412)中已介绍，等级的划分用(411)中给出的信息熵来划分，w1，w2，w3分别为分配给三个等级的权重，Pre(si)表示数据源si在提供该属性值上的精度，表示数据源si提供的值是正确值的可能性分数，Tne(si)表示数据源si没有提供的属性值是错误值的可能性分数，Pre(si)和Tne(si)是数据源si的准确性与排除错误值的准确性的初始权重。
7.根据权利要求6所述的面向百科网站的知识库融合方法，其特征在于，所述步骤42包括：
(421)α(v)为属性值v为真的先验概率，其计算公式为：
其中为所有为属性a提供原子属性值v的数据源集合，Sa为所有为属性a提供属性值的数据源集合；
(422)α′(v)为属性值v为真的后验概率，其计算公式为：
其中是属性值v为真条件下各数据源的可靠概率，是属性值v为假条件下各数据源可靠的概率，其中
对于单值型属性，考虑所有提供其值和未提供其值的数据源的准确性，和的计算公式分别为：
其中为所有为属性a提供原子属性值v的数据源集合，为所有没有为属性a提供属性值v的数据源的集合，单值型属性最后返回大于预先所设阈值的为真概率最大的属性值；
对于多真值属性返回的是大于所设阈值的一组原子值，和的计算公式分别为；
其中为所有为属性a提供属性值v的数据源集合，为所有没有为属性a提供属性值v的数据源的集合。
8.根据权利要求7所述的面向百科网站的知识库融合方法，其特征在于，所述步骤43包括：
对于单真值发现方法，将数据源的准确性进行更新，计算方法公式为：
对于多真值发现方法，将数据源的准确性进行更新，并将数据源的对错误值的排除的准确性进行更新，其计算公式为：
其中|A(si)|为数据源si提供的属性值的个数。
9.根据权利要求3所述的面向百科网站的知识库融合方法，其特征在于，所述字符串距离包括编辑距离、Jaccard系数、余弦相似性、欧氏距离中的任一种。
CN201910495359.3A 2019-06-10 2019-06-10 一种面向百科网站的知识库融合方法 Active CN110377747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910495359.3A CN110377747B (zh) 2019-06-10 2019-06-10 一种面向百科网站的知识库融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910495359.3A CN110377747B (zh) 2019-06-10 2019-06-10 一种面向百科网站的知识库融合方法

Publications (2)

Publication Number Publication Date
CN110377747A true CN110377747A (zh) 2019-10-25
CN110377747B CN110377747B (zh) 2021-12-07

Family

ID=68249915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910495359.3A Active CN110377747B (zh) 2019-06-10 2019-06-10 一种面向百科网站的知识库融合方法

Country Status (1)

Country Link
CN (1) CN110377747B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309867A (zh) * 2020-02-18 2020-06-19 北京航空航天大学 一种知识库动态更新方法
CN111651972A (zh) * 2020-05-06 2020-09-11 腾讯科技（深圳）有限公司 实体对齐方法、装置、计算机可读介质及电子设备
CN111708816A (zh) * 2020-05-15 2020-09-25 西安交通大学 一种基于贝叶斯模型的多真值冲突消解方法
CN111782817A (zh) * 2020-05-30 2020-10-16 国网福建省电力有限公司信息通信分公司 一种面向信息系统的知识图谱构建方法、装置及电子设备
CN111814027A (zh) * 2020-08-26 2020-10-23 电子科技大学 基于搜索引擎的多源人物属性融合方法
CN112528045A (zh) * 2020-12-23 2021-03-19 中译语通科技股份有限公司 基于开放百科图谱的领域图谱关系的判定方法及系统
CN112650821A (zh) * 2021-01-20 2021-04-13 济南浪潮高新科技投资发展有限公司 一种融合Wikidata的实体对齐方法
CN117808085A (zh) * 2024-02-29 2024-04-02 南京师范大学 学科知识框架自动构建方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408148A (zh) * 2014-12-03 2015-03-11 复旦大学 一种基于通用百科网站的领域百科构建系统
US20150095303A1 (en) * 2013-09-27 2015-04-02 Futurewei Technologies, Inc. Knowledge Graph Generator Enabled by Diagonal Search
CN105045826A (zh) * 2015-06-29 2015-11-11 华东师范大学 一种基于图模型的实体链接算法
CN106250412A (zh) * 2016-07-22 2016-12-21 浙江大学 基于多源实体融合的知识图谱构建方法
CN107239481A (zh) * 2017-04-12 2017-10-10 北京大学 一种面向多源网络百科的知识库构建方法
CN108647318A (zh) * 2018-05-10 2018-10-12 北京航空航天大学 一种基于多源数据的知识融合方法
CN109783650A (zh) * 2019-01-10 2019-05-21 首都经济贸易大学 中文网络百科知识去燥方法、系统及知识库

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150095303A1 (en) * 2013-09-27 2015-04-02 Futurewei Technologies, Inc. Knowledge Graph Generator Enabled by Diagonal Search
CN104408148A (zh) * 2014-12-03 2015-03-11 复旦大学 一种基于通用百科网站的领域百科构建系统
CN105045826A (zh) * 2015-06-29 2015-11-11 华东师范大学 一种基于图模型的实体链接算法
CN106250412A (zh) * 2016-07-22 2016-12-21 浙江大学 基于多源实体融合的知识图谱构建方法
CN107239481A (zh) * 2017-04-12 2017-10-10 北京大学 一种面向多源网络百科的知识库构建方法
CN108647318A (zh) * 2018-05-10 2018-10-12 北京航空航天大学 一种基于多源数据的知识融合方法
CN109783650A (zh) * 2019-01-10 2019-05-21 首都经济贸易大学 中文网络百科知识去燥方法、系统及知识库

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WEI SHEN.ET.L: "Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions", 《: IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING 》 *
冯钧等: "融合多特征的中文集成实体链接方法", 《计算机与现代化》 *
彭琦等: "基于信息内容的词林词语相似度计算", 《计算机应用研究》 *
杨宪泽: "《人工智能与机器翻译》", 28 February 2006 *
王雪鹏等: "基于网络语义标签的多源知识库实体对齐算法", 《计算机学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309867B (zh) * 2020-02-18 2022-05-31 北京航空航天大学 一种知识库动态更新方法
CN111309867A (zh) * 2020-02-18 2020-06-19 北京航空航天大学 一种知识库动态更新方法
CN111651972A (zh) * 2020-05-06 2020-09-11 腾讯科技（深圳）有限公司 实体对齐方法、装置、计算机可读介质及电子设备
CN111651972B (zh) * 2020-05-06 2022-06-17 腾讯科技（深圳）有限公司 实体对齐方法、装置、计算机可读介质及电子设备
CN111708816A (zh) * 2020-05-15 2020-09-25 西安交通大学 一种基于贝叶斯模型的多真值冲突消解方法
CN111782817A (zh) * 2020-05-30 2020-10-16 国网福建省电力有限公司信息通信分公司 一种面向信息系统的知识图谱构建方法、装置及电子设备
CN111782817B (zh) * 2020-05-30 2022-06-14 国网福建省电力有限公司信息通信分公司 一种面向信息系统的知识图谱构建方法、装置及电子设备
CN111814027A (zh) * 2020-08-26 2020-10-23 电子科技大学 基于搜索引擎的多源人物属性融合方法
CN111814027B (zh) * 2020-08-26 2023-03-21 电子科技大学 基于搜索引擎的多源人物属性融合方法
CN112528045A (zh) * 2020-12-23 2021-03-19 中译语通科技股份有限公司 基于开放百科图谱的领域图谱关系的判定方法及系统
CN112528045B (zh) * 2020-12-23 2024-04-02 中译语通科技股份有限公司 基于开放百科图谱的领域图谱关系的判定方法及系统
CN112650821A (zh) * 2021-01-20 2021-04-13 济南浪潮高新科技投资发展有限公司 一种融合Wikidata的实体对齐方法
CN117808085A (zh) * 2024-02-29 2024-04-02 南京师范大学 学科知识框架自动构建方法、装置、设备及存储介质
CN117808085B (zh) * 2024-02-29 2024-05-07 南京师范大学 学科知识框架自动构建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110377747B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110377747A (zh) 一种面向百科网站的知识库融合方法
CN112199511B (zh) 跨语言多来源垂直领域知识图谱构建方法
CN109710701B (zh) 一种用于公共安全领域大数据知识图谱的自动化构建方法
WO2023093574A1 (zh) 基于多级图文语义对齐模型的新闻事件搜索方法及系统
CN106776711B (zh) 一种基于深度学习的中文医学知识图谱构建方法
Yaghoobzadeh et al. Corpus-level fine-grained entity typing using contextual information
Wang et al. Multilayer dense attention model for image caption
CN104391942B (zh) 基于语义图谱的短文本特征扩展方法
Qin et al. An efficient location extraction algorithm by leveraging web contextual information
CN106537370A (zh) 在存在来源和翻译错误的情况下对命名实体鲁棒标记的方法和系统
Kamalloo et al. A coherent unsupervised model for toponym resolution
CN110457404A (zh) 基于复杂异质网络的社交媒体账户分类方法
CN113095080B (zh) 基于主题的语义识别方法、装置、电子设备和存储介质
Palumbo et al. Predicting Your Next Stop-over from Location-based Social Network Data with Recurrent Neural Networks.
Chen et al. A multi-channel deep neural network for relation extraction
US20130232147A1 (en) Generating a taxonomy from unstructured information
CN116795973A (zh) 基于人工智能的文本处理方法及装置、电子设备、介质
Huang et al. A Low‐Cost Named Entity Recognition Research Based on Active Learning
Li et al. Social context-aware person search in videos via multi-modal cues
Partyka et al. Enhanced geographically typed semantic schema matching
Fang et al. NSEP: Early fake news detection via news semantic environment perception
CN116662583B (zh) 一种文本生成方法、地点检索方法及相关装置
Tian et al. Scene graph generation by multi-level semantic tasks
Zhu et al. An improved method for k-means clustering based on internal validity indexes and inter-cluster variance
Qiu et al. Review of development and construction of Uyghur knowledge graph

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant