CN111091003B - 一种基于知识图谱查询的并行抽取方法 - Google Patents

一种基于知识图谱查询的并行抽取方法 Download PDF

Info

Publication number
CN111091003B
CN111091003B CN201911235588.8A CN201911235588A CN111091003B CN 111091003 B CN111091003 B CN 111091003B CN 201911235588 A CN201911235588 A CN 201911235588A CN 111091003 B CN111091003 B CN 111091003B
Authority
CN
China
Prior art keywords
matching
text page
words
text
parallel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911235588.8A
Other languages
English (en)
Other versions
CN111091003A (zh
Inventor
韩伟红
赫中翮
陈雷霆
李广新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Electronic Information Engineering Research Institute of UESTC
Original Assignee
Guangdong Electronic Information Engineering Research Institute of UESTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Electronic Information Engineering Research Institute of UESTC filed Critical Guangdong Electronic Information Engineering Research Institute of UESTC
Priority to CN201911235588.8A priority Critical patent/CN111091003B/zh
Publication of CN111091003A publication Critical patent/CN111091003A/zh
Application granted granted Critical
Publication of CN111091003B publication Critical patent/CN111091003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于信息抽取的技术领域，具体涉及一种基于知识图谱查询的并行抽取方法，包括：步骤一，提取数据源的URL，获取对应的文本页面；步骤二，对文本页面的内容进行过滤和分词处理，然后在预设的多个规则块中并行地运行信息匹配，对文本页面抽取所需要的实体关系；步骤三，汇总多个规则块的匹配结果，输出对文本页面的抽取结果。本发明的抽取方法可以应用于单文本和多文本的语句，多个规则块能够同时运行、并行地实施所需的匹配，有效地实现了单文本或者多文本中不同的语句的多级并行处理，从而减少了硬件成本和提升了匹配的速度。

Description

一种基于知识图谱查询的并行抽取方法
技术领域
本发明属于信息抽取的技术领域，具体涉及一种基于知识图谱查询的并行抽取方法。
背景技术
知识图谱能够描述和反映真实世界的各种实体，而知识图谱查询，就是顺着知识图谱，抽取并获得知识图谱中的实体关系，帮助人们去了解实体与实体之间的联系。
然而，申请人发现了在实体关系的抽取中，现有的抽取方法应用场景单一，信息匹配的效率低，不能应对庞大的数据量和计算量，并且，现有的抽取过程出错率高，信息匹配成功率低，严重影响了实体关系抽取方法的通用性和可移植性。因此，亟需一种新型的抽取方法来解决上述问题。
发明内容
本发明的目的在于：针对现有技术的不足，提供一种基于知识图谱查询的并行抽取方法，利用多个规则块同时运行、并行地实施所需的匹配，有效地实现了单文本或者多文本中不同的语句的多级并行处理，显著地减少了硬件成本和提升了匹配的速度，该方法的抽取过程准确性高，大大提高了抽取方法的通用性和可移植性。
为了实现上述目的，本发明采用如下技术方案：
一种基于知识图谱查询的并行抽取方法，包括：
步骤一：提取数据源的URL，获取对应的文本页面；
步骤二：对所述文本页面的内容进行过滤和分词处理，然后在预设的多个规则块中并行地运行信息匹配，对所述文本页面抽取所需要的实体关系；
步骤三：汇总多个所述规则块的匹配结果，输出对所述文本页面的抽取结果。
进一步地，所述步骤一中，还包括：若所述数据源仅具有单个URL，直接获取该单个URL对应的文本页面；若所述数据源具有多个URL，调用爬取程序获得该多个URL分别对应的文本页面。
进一步地，所述步骤二中，对所述文本页面的内容进行过滤的过程包括：根据不同的属性和语义设置若干个筛选词，遍历每一句所述文本页面的内容，比较每一句所述文本页面的内容所包含的实体词与所述筛选词的相似度，若所述相似度低于阈值，则将若干个所述实体词定义为触发词，若所述相似度等于或高于阈值，则将所述文本页面的内容中与所述筛选词相似的实体词删去。
进一步地，所述步骤二中，对所述文本页面进行分词处理的过程包括：对若干个所述触发词进行分类，每一类所述触发词对应唯一的词性标签。
进一步地，所述步骤二中，所述信息匹配的过程包括：设置关键词及所述关键词的类别标签，先将所述触发词的词性标签与所述关键词的类别标签进行匹配，若匹配度等于或高于阈值，再将所述触发词与所述关键词进行匹配，并将匹配成功的所述触发词标注为目标词。
进一步地，所述步骤二中，还包括：对所述关键词基于语义相似度进行同义拓展，再将所述触发词与同义拓展的关键词进行匹配。
进一步地，所述步骤三中，汇总多个所述规则块的匹配结果的过程包括：对于匹配成功的所述关键词，对所述关键词的匹配次数加1，再对若干个所述关键词按匹配次数进行排序，形成规则集。
进一步地，所述步骤二中，还包括：在预设的多个规则块中调用自建程序和/或自动程序并行地运行信息匹配，所述自建程序采用构建的正则表达式进行信息匹配，所述自动程序采用构建的搜索表达式进行信息匹配。
进一步地，所述自动程序能够采用已有的结构化数据对自由文本进行反向回标，通过远距离监督的方式获得所需的信息。
进一步地，采用构建的搜索表达式进行信息匹配的过程包括：设置特征词及其对应的属性值作为所述搜索表达式，从所述文本页面中获取所述搜索表达式对应的搜索结果，并对所述搜索结果进行标注。
进一步地，所述步骤三中，还包括：分别采用准确率、召回率、F1分数作为所述抽取结果的评价指标，验证并行抽取的质量。
本发明的有益效果在于：本发明提取数据源的URL，获取对应的文本页面，对所述文本页面的内容进行过滤和分词处理，然后在预设的多个规则块中并行地运行信息匹配，利用多个规则块同时运行、并行地实施所需的匹配，形成了分布式的实时计算框架，有效地实现了文本页面中不同的语句的多级并行处理，显著地减少了硬件成本和提升了匹配的速度，该抽取方法的通用性和可移植性高，有效地提高了实体关系抽取的效率。
附图说明
图1为本发明的流程示意图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件，本领域技术人员应可理解，制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决技术问题，基本达到技术效果。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合附图和具体实施例对本发明作进一步详细说明，但不作为对本发明的限定。
实施例1
如图1所示，一种基于知识图谱查询的并行抽取方法，包括：
步骤一：用户提出查询请求，向查询系统输入数据源，查询系统提取数据源的URL，获取对应的文本页面，若数据源仅具有单个URL，直接获取该单个URL对应的文本页面，若数据源具有多个URL，调用爬取程序获得该多个URL分别对应的文本页面。
步骤二：对文本页面的内容进行过滤和分词处理，然后在预设的多个规则块中并行地运行信息匹配，对文本页面抽取所需要的实体关系，其中，预设的多个规则块在运行信息匹配时相互隔离，从而有效缩减了硬件成本。
优选地，在预设的多个规则块中调用自建程序和自动程序并行地运行信息匹配，自建程序采用构建的正则表达式进行信息匹配，自动程序采用构建的搜索表达式进行信息匹配，提高信息匹配的正确率。
用户为了抽取某几款酒类产品之间的关系，向查询系统输入某几款酒类产品的说明书作为数据源，在自建程序采用构建的正则表达式进行信息匹配的过程中，可以构建表达生产关系的所有正则表达式来完成信息的匹配，从而抽取出产品的生产日期及产地；在自动程序采用构建的搜索表达式进行信息匹配的过程中，可以设置特征词及其对应的属性值作为搜索表达式，如设置“酒精浓度”为特征词及“酒精浓度的百分比范围”作为特征词所对应的属性值，建立搜索表达式，从文本页面中获取搜索表达式对应的搜索结果，并对搜索结果进行标注，从而抽取出产品的酒精浓度及浓度值。
此外，在调用的自建程序中，可以设置特定成分作为关键词构造正则表达式；在调用的自动程序中，还可以设置种子词及其对应的属性值作为检索文本构造网页搜索入口表达式，并爬取该搜索对应的搜索结果的列表页，再读取列表页中的搜索结果的摘要信息，按JSON格式保存。
步骤三：汇总多个规则块的匹配结果，多个规则块的匹配结果为正则表达式的匹配次数和搜索表达式的匹配次数，并输出对文本页面的抽取结果，分别采用准确率、召回率、F1分数作为所述抽取结果的评价指标，验证并行抽取的质量。
其中，准确率的计算公式为：召回率的计算公式为：V1表示抽取正确的关系个数；V2表示抽取关系的总个数；V3是文本页面中关系的个数；F1分数的计算公式为：/>准确率、召回率和F1分数的百分率越高，表明抽取方法的运行性能越好。
实施例2
本实施例与实施例1不同的是，步骤二中，在预设的多个规则块中并行地运行信息匹配前，先对文本页面的内容进行过滤，过滤的过程包括：根据不同的属性和语义设置若干个筛选词，遍历每一句文本页面的内容，比较每一句文本页面的内容所包含的实体词与筛选词的相似度，若相似度低于阈值，则将若干个实体词定义为触发词，若相似度等于或高于阈值，则将文本页面的内容中与筛选词相似的实体词删去。
其中，可以根据积极正面属性和消极负面属性的不同设置若干个筛选词，还可以根据中文语义的不同设置若干个筛选词，而设置筛选词的目的是为了提高在预设的多个规则块中运行信息匹配的效率。
优选地，步骤二中，还对文本页面进行分词处理，该分词处理的过程包括：对若干个触发词进行分类，每一类触发词对应唯一的词性标签，可以以数词、地名、人名等作为词性标签。
优选地，步骤二中，对文本页面的内容进行过滤和分词处理后，在预设的多个规则块中并行地运行信息匹配的过程包括：设置关键词及关键词的类别标签，先将触发词的词性标签与关键词的类别标签进行匹配，若匹配度等于或高于阈值，再将触发词与关键词进行匹配，并将匹配成功的触发词标注为目标词，通过目标词来获知所需的实体关系。其中，通过计算词语向量之间的距离，可以得到词语之间的匹配度。
优选地，步骤二中，还包括：对关键词基于语义相似度进行同义拓展，再将触发词与同义拓展的关键词进行匹配，同义拓展能够提高抽取方法的正确率，表1为同义拓展的示例。
表1同义拓展的示例
出产日期 产于，出产日期，出产在
产地 生产地点，产地，出产于
酒精浓度 浓度，酒精浓度，酒精含量
优选地，步骤三中，还包括：当触发词与关键词匹配成功后，对于匹配成功的关键词，对该关键词的匹配次数加1，再对若干个关键词按匹配次数进行排序，形成规则集，使匹配频率高的关键词看作是高质量的关键词。
本实施例的其他步骤与实施例1相同，这里不再赘述。
显然，由上述的实施例可知，本发明的一种基于知识图谱查询的并行抽取方法，利用多个规则块同时运行、并行地实施所需的信息匹配，形成了分布式的实时计算框架，网页文本数据呈现多级流水实时并行抽取，有效地实现了对多个文本页面中不同的语句的多级并行处理，能够应对庞大的数据量和计算量，并可以用于各种不同的场景和各种数据源，该抽取方法的通用性和可移植性高，有效地提高了实体关系抽取的效率。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此，本发明并不局限于上述的具体实施方式，凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (6)

1.一种基于知识图谱查询的并行抽取方法，其特征在于，包括：
步骤一：提取数据源的URL，获取对应的文本页面；
步骤二：对所述文本页面的内容进行过滤和分词处理，然后在预设的多个规则块中并行地运行信息匹配，对所述文本页面抽取所需要的实体关系；
对所述文本页面的内容进行过滤的过程包括：
根据不同的属性和语义设置若干个筛选词，遍历每一句所述文本页面的内容，比较每一句所述文本页面的内容所包含的实体词与所述筛选词的相似度，若所述相似度低于阈值，则将若干个所述实体词定义为触发词，若所述相似度等于或高于阈值，则将所述文本页面的内容中与所述筛选词相似的实体词删去；
对所述文本页面进行分词处理的过程包括：
对若干个所述触发词进行分类，每一类所述触发词对应唯一的词性标签；
所述信息匹配的过程包括：
设置关键词及所述关键词的类别标签，先将所述触发词的词性标签与所述关键词的类别标签进行匹配，若匹配度等于或高于阈值，再将所述触发词与所述关键词进行匹配，并将匹配成功的所述触发词标注为目标词；
在预设的多个规则块中调用自建程序和/或自动程序并行地运行信息匹配，所述自建程序采用构建的正则表达式进行信息匹配，所述自动程序采用构建的搜索表达式进行信息匹配；
步骤三：汇总多个所述规则块的匹配结果，输出对所述文本页面的抽取结果。
2.如权利要求1所述的基于知识图谱查询的并行抽取方法，其特征在于，所述步骤一中，还包括：
若所述数据源仅具有单个URL，直接获取该单个URL对应的文本页面；若所述数据源具有多个URL，调用爬取程序获得该多个URL分别对应的文本页面。
3.如权利要求1所述的基于知识图谱查询的并行抽取方法，其特征在于，所述步骤二中，还包括：
对所述关键词基于语义相似度进行同义拓展，再将所述触发词与同义拓展的关键词进行匹配。
4.如权利要求1所述的基于知识图谱查询的并行抽取方法，其特征在于，所述步骤三中，汇总多个所述规则块的匹配结果的过程包括：
对于匹配成功的所述关键词，对所述关键词的匹配次数加1，再对若干个所述关键词按匹配次数进行排序，形成规则集。
5.如权利要求1所述的基于知识图谱查询的并行抽取方法，其特征在于，采用构建的搜索表达式进行信息匹配的过程包括：
设置特征词及其对应的属性值作为所述搜索表达式，从所述文本页面中获取所述搜索表达式对应的搜索结果，并对所述搜索结果进行标注。
6.如权利要求1所述的基于知识图谱查询的并行抽取方法，其特征在于，所述步骤三中，还包括：
分别采用准确率、召回率、F1分数作为所述抽取结果的评价指标，验证并行抽取的质量。
CN201911235588.8A 2019-12-05 2019-12-05 一种基于知识图谱查询的并行抽取方法 Active CN111091003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911235588.8A CN111091003B (zh) 2019-12-05 2019-12-05 一种基于知识图谱查询的并行抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911235588.8A CN111091003B (zh) 2019-12-05 2019-12-05 一种基于知识图谱查询的并行抽取方法

Publications (2)

Publication Number Publication Date
CN111091003A CN111091003A (zh) 2020-05-01
CN111091003B true CN111091003B (zh) 2023-10-10

Family

ID=70394666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911235588.8A Active CN111091003B (zh) 2019-12-05 2019-12-05 一种基于知识图谱查询的并行抽取方法

Country Status (1)

Country Link
CN (1) CN111091003B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625655B (zh) * 2020-05-12 2023-07-21 埃睿迪信息技术（北京）有限公司 基于知识图谱的归并以及分类方法、装置以及存储介质
EP4181030A1 (en) * 2021-11-15 2023-05-17 Sap Se Computer-implemented method, computer program product and computer system for problem-solving based on knowledge graphs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547733A (zh) * 2016-10-19 2017-03-29 中国国防科技信息中心 一种面向特定文本的命名实体识别方法
CN106874378A (zh) * 2017-01-05 2017-06-20 北京工商大学 基于规则模型的实体抽取与关系挖掘构建知识图谱的方法
CN107203511A (zh) * 2017-05-27 2017-09-26 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法
CN107341215A (zh) * 2017-06-07 2017-11-10 北京航空航天大学 一种基于分布式计算平台的多源垂直知识图谱分类集成查询方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547733A (zh) * 2016-10-19 2017-03-29 中国国防科技信息中心 一种面向特定文本的命名实体识别方法
CN106874378A (zh) * 2017-01-05 2017-06-20 北京工商大学 基于规则模型的实体抽取与关系挖掘构建知识图谱的方法
CN107203511A (zh) * 2017-05-27 2017-09-26 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法
CN107341215A (zh) * 2017-06-07 2017-11-10 北京航空航天大学 一种基于分布式计算平台的多源垂直知识图谱分类集成查询方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向社会媒体搜索的实体关系建模研究综述;王大玲等;《计算机学报》(第04期);全文 *

Also Published As

Publication number Publication date
CN111091003A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111104794B (zh) 一种基于主题词的文本相似度匹配方法
CN108829658B (zh) 新词发现的方法及装置
CN107451126B (zh) 一种近义词筛选方法及系统
CN109960763B (zh) 基于用户细粒度摄影偏好的摄影社区个性化好友推荐方法
CN104765769B (zh) 一种基于词矢量的短文本查询扩展及检索方法
CN105808526B (zh) 商品短文本核心词提取方法和装置
CN106383877B (zh) 一种社交媒体在线短文本聚类和话题检测方法
WO2015149533A1 (zh) 一种基于网页内容分类进行分词处理的方法和装置
CN112035599B (zh) 基于垂直搜索的查询方法、装置、计算机设备及存储介质
WO2019218527A1 (zh) 多系统相结合的自然语言处理方法及装置
CN108536667B (zh) 中文文本识别方法及装置
CN108038099B (zh) 基于词聚类的低频关键词识别方法
CN107291895B (zh) 一种快速的层次化文档查询方法
CN111091003B (zh) 一种基于知识图谱查询的并行抽取方法
CN101075251A (zh) 一种基于数据挖掘的文本搜索方法
CN105678244A (zh) 一种基于改进编辑距离的近似视频检索方法
CN111325033B (zh) 实体识别方法、装置、电子设备及计算机可读存储介质
CN112084308A (zh) 用于文本类型数据识别的方法、系统及存储介质
CN108399238A (zh) 一种融合文本概念化和网络表示的观点检索系统及方法
CN106372232B (zh) 基于人工智能的信息挖掘方法和装置
CN111460147A (zh) 一种基于语义增强的标题短文本分类方法
CN102722526B (zh) 基于词性分类统计的重复网页和近似网页的识别方法
US20200364259A1 (en) Image retrieval
CN105512270B (zh) 一种确定相关对象的方法和装置
CN108776705B (zh) 一种文本全文精确查询的方法、装置、设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant