CN114861677A - 信息抽取方法、装置、电子设备以及存储介质 - Google Patents
信息抽取方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN114861677A CN114861677A CN202210611986.0A CN202210611986A CN114861677A CN 114861677 A CN114861677 A CN 114861677A CN 202210611986 A CN202210611986 A CN 202210611986A CN 114861677 A CN114861677 A CN 114861677A
- Authority
- CN
- China
- Prior art keywords
- word
- sequence
- text
- speech
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 141
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本公开提供了信息抽取方法、装置、电子设备、存储介质以及程序产品,涉及人工智能技术领域,尤其涉及知识图谱、自然语言处理、深度学习等技术领域。具体实现方案为:对待处理文本进行切词,得到词文本序列;对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列,其中,词类标签序列中的词类标签是按照语义信息和词性信息设置的标签;以及基于词类标签序列,从词文本序列中抽取目标词文本,得到目标信息。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及知识图谱、自然语言处理、深度学习等技术领域。具体涉及信息抽取方法、装置、电子设备、存储介质以及程序产品。
背景技术
信息抽取(Information Extraction)是指从自然语言形式的文档中抽取人们所感兴趣的信息,并将其转变为结构化数据。利用信息抽取,可以从海量的开源信息中自动分析、过滤、并抽取有价值、有意义的数据,得到结构化数据,进而使得人们能够快速、精准地利用这些结构化数据。
发明内容
本公开提供了一种信息抽取方法、装置、电子设备、存储介质以及程序产品。
根据本公开的一方面,提供了一种信息抽取方法,包括:对待处理文本进行切词,得到词文本序列;对上述词文本序列进行词类标注,得到与上述词文本序列相对应的词类标签序列,其中,上述词类标签序列中的词类标签是按照语义信息和词性信息设置的标签;以及基于上述词类标签序列,从上述词文本序列中抽取目标词文本,得到目标信息。
根据本公开的另一方面,提供了一种信息抽取装置,包括:切词模块,用于对待处理文本进行切词,得到词文本序列;标注模块,用于对上述词文本序列进行词类标注,得到与上述词文本序列相对应的词类标签序列,其中,上述词类标签序列中的词类标签是按照语义信息和词性信息设置的标签;以及抽取模块,用于基于上述词类标签序列,从上述词文本序列中抽取目标词文本,得到目标信息。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,上述存储器存储有可被上述至少一个处理器执行的指令,上述指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行如本公开的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行如本公开的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如本公开的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开实施例的可以应用信息抽取方法及装置的示例性系统架构;
图2示意性示出了根据本公开实施例的信息抽取方法的应用场景图;
图3示意性示出了根据本公开实施例的信息抽取方法的流程图;
图4示意性示出了根据本公开另一实施例的信息抽取方法的流程示意图;
图5A示意性示出了根据本公开实施例的确定句式触发模式的流程示意图;
图5B示意性示出了根据本公开实施例的确定词触发模式的流程示意图;
图6A示意性示出了根据本公开实施例的按照与句式触发模式相匹配的信息抽取模式抽取目标词文本的流程示意图;
图6B示意性示出了根据本公开实施例的按照与词触发模式相匹配的信息抽取模式抽取目标词文本的流程示意图;
图7示意性示出了根据本公开另一实施例的按照与词触发模式相匹配的信息抽取模式抽取目标词文本的流程示意图;
图8示意性示出了根据本公开另一实施例的信息抽取方法的流程示意图;
图9示意性示出了根据本公开另一实施例的信息抽取方法的流程图;
图10示意性示出了根据本公开实施例的信息抽取装置的框图;以及
图11示意性示出了根据本公开实施例的适于实现信息抽取方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种信息抽取方法、装置、电子设备、存储介质以及程序产品。
根据本公开的实施例,提供一种信息抽取方法,包括:对待处理文本进行切词,得到词文本序列;对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列,其中,词类标签序列中的词类标签是按照语义信息和词性信息设置的标签;以及基于词类标签序列,从词文本序列中抽取目标词文本,得到目标信息。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
图1示意性示出了根据本公开实施例的可以应用信息抽取方法及装置的示例性系统架构。
需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如,在另一实施例中,可以应用信息抽取方法及装置的示例性系统架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的信息抽取方法及装置。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的信息抽取方法一般可以由终端设备101、102、或103执行。相应地,本公开实施例所提供的信息抽取装置也可以设置于终端设备101、102、或103中。
或者,本公开实施例所提供的信息抽取方法一般也可以由服务器105执行。相应地,本公开实施例所提供的信息抽取装置一般可以设置于服务器105中。本公开实施例所提供的信息抽取方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的信息抽取装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如,终端设备101、102、103可以将获取的待处理文本发送给服务器105,由服务器105对待处理文本进行切词,得到词文本序列。对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列。基于词类标签序列,从词文本序列中抽取目标词文本,得到目标信息。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对待处理文本进行信息抽取,并最终得到目标信息。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
应注意,以下方法中各个操作的序号仅作为该操作的表示以便描述,而不应被看作表示该各个操作的执行顺序。除非明确指出,否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的信息抽取方法的应用场景图。
如图2所示,可以利用本公开实施例提供的信息抽取方法,从开源信息210中抽取有实际意义的目标信息220例如三元组信息,并将其转换为结构化数据230,例如知识图谱。
根据本公开的实施例,通过本公开实施例提供的信息抽取方法,可以从开源信息中准确、快速地抽取到有实际意义、或者有价值的目标信息,最终生成结构化数据,以便结构化数据的种类多、数据量广,进而能够扩大结构化数据的应用范围。
根据本公开的实施例,利用结构化数据可以生成知识图谱,进而用于文档管理、检索等场景。但是并不局限于此。还可以将结构化数据与事实知识库结合,可利用事实知识完成实体链指等工作,也可以利用结构化数据与已收录事实知识进行比对,完成知识校验等工作。
图3示意性示出了根据本公开实施例的信息抽取方法的流程图。
如图3所示,该方法包括操作S310~S330。
在操作S310,对待处理文本进行切词,得到词文本序列。
在操作S320,对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列。词类标签序列中的词类标签是按照语义信息和词性信息设置的标签。
在操作S330,基于词类标签序列,从词文本序列中抽取目标词文本,得到目标信息。
根据本公开的实施例,对待处理文本进行切词,可以得到多个词文本,按照待处理文本的语句顺序排列多个词文本,得到词文本序列。
根据本公开的实施例,词类标签序列可以包括多个词类标签,多个词类标签可以与多个词文本一一对应。词类标签是按照语义信息和词性信息设置的。例如,词类标签用于表征词文本的词类别信息,词类别信息包括按照语义划分的语义类别信息和按照词性划分的词性类别信息。例如,对于实体词文本,可以通过语义词类标签来表征词文本的语义类别信息;对于非实体词文本,可以利用词性词类标签来表征词文本的词性类别信息。
根据本公开的实施例,按照语义信息和词性信息来设置词类标签,得到待处理文本的词类标签序列,可以基于词类标签序列,精准、全面地了解待处理文本中的各个词文本,进而使得目标词文本抽取高效、灵活且简单。
根据本公开的其他实施例,可以将词类标签按照词性信息来设置。与按照词性信息来设置词类标签相比,按照词性信息和语义信息来设置词类标签,能够充分结合中文常用表达习惯以及中文词类知识,将中文中无限的词汇归组到有限的词类标签上,进而能够适应中文中的词汇没有形态变化,词汇的兼类现象严重等的问题。
图4示意性示出了根据本公开另一实施例的信息抽取方法的流程示意图。
如图4所示,该方法包括操作S410~S440。
在操作S410,对待处理文本进行切词,得到词文本序列。
在操作S420,对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列。词类标签序列中的词类标签是按照语义信息和词性信息设置的标签。
在操作S430,确定待处理文本的触发模式。
在操作S440,基于词类标签序列,按照与触发模式相匹配的信息抽取模式,从词文本序列中抽取目标词文本,得到目标信息。
根据本公开的实施例,针对操作S310或者S410,对待处理文本进行切词,得到词文本序列可以包括:利用切词工具对待处理文本进行切词,得到词文本序列。
根据本公开的实施例,词文本序列中的词文本可以包括实体词和非实体词。切词工具可以包括结巴分词,但是并不局限于此,还可以是LAC(Lexical Analysis ofChinese,词法分析工具),也可以是切分模型。该切分模型可以包括神经网络结构,将待处理文本输入至切分模型中,得到词文本序列。切词工具的种类不做限定,只要是能够将待处理文本按照实体词和非实体词进行切分的工具即可。
根据本公开的实施例,针对操作S320或者S420,对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列可以包括:将词文本序列输入至词类标注模型中,得到与词文本序列相对应的词类标签序列。
根据本公开的实施例,词类标注模型的网络结构不做限定,只要是利用包括词类标注的训练样本训练即可。词类标注的训练样本包括样本词文本以及与样本词文本相匹配的样本词类标签序列。
根据本公开的其他实施例,还可以设置序列词类标注模型,例如包括具有切词功能的切分模型和具有词类标注功能的词类标注模型的模型。可以将待处理文本输入至序列词类标注模型中,得到词类标签序列。利用序列词类标注模型,能够快速地将实体词文本切分为一个整体,并标注出词文本的词类标签,为下游的信息抽取提供了可实现的前提。
根据本公开的实施例,词类标签序列中的词类标签是按照语义信息和词性信息设置的标签,例如,针对各类实体词文本,能够标注为具有语义类别信息的词类标签,针对各类非实体词文本,能够标注为具有词性类别信息的词类标签。由此能够覆盖中文词汇的词类划分体系,按照中文文本的实体词粒度和非实体词粒度进行切词,并按照全划分的词类标签对每个切分后的词文本进行标注。能够通过词类标签序列将待处理文本中的语义特征传输到信息抽取流程中,得到有效而精准的抽取结果。
根据本公开的实施例,可以采用触发抽取方式,从词文本序列中抽取目标词文本,得到目标信息。触发抽取方式可以理解为:在确定匹配到预定的触发内容的情况下,即确定可以执行信息抽取操作。
根据本公开的实施例,可以设置多种触发模式来辅助执行触发抽取。可以根据预定的触发内容的类型,确定触发模式。例如,可以根据预定的触发内容的类型的不同,确定触发模式包括词触发模式和句式触发模式,但是并不局限于此,只要是预先定义的触发模式即可。
根据本公开的实施例,提供多种信息抽取模式,能够使得目标信息的抽取通用性强。基于触发模式来确定信息抽取模式,使得信息抽取模式的确定更为精准、简单易行。不同的触发模式采用不同的信息抽取模式,能够使得目标信息的抽取针对性、准确性高。
图5A示意性示出了根据本公开实施例的确定句式触发模式的流程示意图。
如图5A所示,待处理文本511可以包括“AAA,1939年出生,男,汉族,任讲师”,将待处理文本进行切词后,得到词文本序列521<AAA、,、1939年、出生、,、男、,、汉族、,、任、讲师>。对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列531<人物类_实体、w、时间类、场景事件、w、信息资料、w、其他角色类、w、场景事件、人物类_概念>。其中“w”指示了标点符号的词类标签。可以从词类标签序列中识别满足头词类条件的词类标签,作为头词类标签5311,例如“人物类_实体”。以头词类标签为起点,按照词类标签序列的顺序,从词类标签序列中识别与预定触发词类标签相匹配的触发词类标签5312、5313。基于触发词类标签,将句式触发模式作为触发模式541。
根据本公开的实施例,句式触发模式可以指:待处理语句的表达方式整体符合预定的触发内容,例如符合预定的触发关系的触发模式。待处理语句的表达方式整体符合预定的触发内容,可以理解为:词类标签序列中包括与预定触发词类标签相匹配的至少两个触发词类标签。例如,预定触发词类标签可以包括个性特征的词类标签,其中与性别男、民族汉等词文本相对应的词类标签均为与预定触发词类标签相匹配的触发词类标签。在确定词类标签序列中包括与预定触发词类标签相匹配的触发词类标签,即可确定待处理文本的触发模式为句式触发模式。
根据本公开的实施例,满足头词类条件的词类标签可以包括:用于表征头词文本的词类别的第一词类标签。该头词文本可以为头实体,例如SPO(Subject,Predicate,Object)三元组中的主语。可以预先设定头词文本的词类别,例如人名、地名等类别作为头词文本的词类别。将用于表征该头词文本的词类别的第一词类标签例如人物类_实体、组织机构类等作为满足头词类条件的词类标签,即头词类标签。
根据本公开的实施例,以头词类标签为起点,按照词类标签序列的顺序,从词类标签序列中识别与预定触发词类标签相匹配的触发词类标签可以理解为:以头词类标签为起点,单向向后匹配,从词类标签序列中识别与预定触发词类标签相匹配的触发词类标签。利用该种匹配方式,能够准确、无遗漏地进行触发词类标签的识别。
图5B示意性示出了根据本公开实施例的确定词触发模式的流程示意图。
如图5B所示,待处理文本512可以包括“BBB演唱了《MM》”。将待处理文本进行切词后,得到词文本序列522<BBB、演唱、了、《、MM、》>。对词文本序列进行词类标注,得到与词文本序列相对应的词文本标签序列532<人物类_实体、场景事件、助词、w、作品类_实体、w>,其中“w”指示了标点符号的词类标签。从词类标签序列中识别满足头词类条件的词类标签,作为头词类标签5321,例如人物类_实体。从词文本序列中确定与头词类标签相对应的头词文本,例如BBB。以头词文本为起点,按照词文本序列的顺序,从词文本序列中识别与预定触发词集合相匹配的触发词文本5221,例如演唱。基于触发词文本5221,将词触发模式作为触发模式542。
根据本公开的实施例,触发词文本的数量不做限定,例如可以包括一个,也可以包括多个。只要是词文本序列中包括与预定触发词集合相匹配的触发词文本即可。
根据本公开的实施例,预定触发词集合中的预定触发词,一般设置为用于表征具有实际意义的实体关系的词文本,例如SPO(Subject,Predicate,Object)三元组中的谓语。
根据本公开的其他实施例,在触发模式包括词触发模式和句式触发模式的情况下,可以仅执行确定句式触发模式的操作或者仅执行确定词触发模式的操作来确定待处理文本的触发模式。例如,通过执行确定句式触发模式的操作,在确定从词类标签序列中识别到与预定触发词类标签相匹配的触发词类标签的情况下,可以确定触发模式为句式触发模式。在确定从词类标签序列中未识别到与预定触发词类标签相匹配的触发词类标签的情况下,可以确定触发模式为词触发模式。反之亦然。通过执行确定词触发模式的操作,在确定从词文本序列中识别到与预定触发词集合相匹配的触发词文本的情况下,可以确定触发模式为词触发模式。在确定从词文本序列中未识别到与预定触发词集合相匹配的触发词文本的情况下,可以确定触发模式为句式触发模式。
根据本公开的实施例,可以执行确定句式触发模式的操作和执行确定词触发模式的操作来确定待处理文本的触发模式,在确定从词类标签序列中未识别到与预定触发词类标签相匹配的触发词类标签的情况下,可以确定触发模式为词触发模式,在确定从词文本序列中识别到与预定触发词集合相匹配的触发词文本的情况下,可以确定触发模式为词触发模式。执行确定待处理文本的触发模式的多种操作,可以快速地得到触发词类标签,有利于后续的信息抽取,提高抽取效率。
根据本公开的实施例,在确定待处理文本的触发模式的情况下,可以基于词类标签序列,按照与触发模式相匹配的信息抽取模式,从词文本序列中抽取目标词文本,得到目标信息。例如,在确定触发模式为句式触发模式的情况下,可以按照与句式触发模式相匹配的信息抽取模式执行信息抽取操作。在确定触发模式为词触发模式的情况下,可以按照与词触发模式相匹配的信息抽取模式执行信息抽取操作。以使得目标信息的抽取更有针对性,提高目标信息的抽取精准度。
图6A示意性示出了根据本公开实施例的按照与句式触发模式相匹配的信息抽取模式抽取目标词文本的流程示意图。
如图6A所示,以待处理文本611为“AAA,1939年出生,男,汉族,任讲师”为例,确定词类标签序列631为<人物类_实体、w、时间类、场景事件、w、信息资料、w、其他角色类、w、场景事件、人物类_概念>。可以从词类标签序列中确定头词类标签6311为“人物类_实体”。触发模式为句式触发模式。可以按照与句式触发模式相匹配的信息抽取模式,从词类标签序列中确定尾词类标签6312,例如人物类_概念。基于头词类标签和尾词类标签,确定头词类标签6311和尾词类标签6312之间的关联关系。例如,关联关系用于表征尾词类标签为头词类标签的职业成就。
根据本公开的实施例,头词文本为与头词类标签相对应的词文本。尾词文本为与尾词类标签相对应的词文本。尾词类标签为满足尾词类条件的词类标签。满足尾词类条件的词类标签可以包括:用于表征尾词文本的词类别的第二词类标签。该尾词文本可以为尾实体,例如SPO(Subject,Predicate,Object)三元组中的宾语。可以预先设定尾词文本的词类别,例如作品名、职位等类别作为尾词文本的词类别。将用于表征尾词文本的词类别的第二词类标签例如作品类_实体、人物类_概念等作为满足尾词类条件的词类标签,即尾词类标签。
如图6A所示,以头词类标签6311为起点、尾词类标签6312为终点,从词类标签序列中识别与关联关系相关的目标词类标签,例如时间类6313、场景事件6314、信息资料6315、其他角色类6316、和场景事件6317。基于头词类标签、尾词类标签和目标词类标签,从词文本序列中抽取目标词文本,例如AAA、1939年出生、男、汉族、任讲师,得到目标信息641“AAA、1939年出生、男、汉族、任讲师”。
图6B示意性示出了根据本公开实施例的按照与词触发模式相匹配的信息抽取模式抽取目标词文本的流程示意图。
如图6B所示,以待处理文本612包括“BBB演唱了《MM》”为例,确定词文本序列622<BBB、演唱、了、《、MM、》>的词文本标签序列632为<人物类_实体、场景事件、助词、w、作品类_实体、w>。从词类标签序列632中确定头词类标签6321为人物类_实体。触发模式为词触发模式。可以按照与词触发模式相匹配的信息抽取模式,从词文本序列中确定与头词类标签相对应的头词文本6221,例如BBB。以头词文本6221为起点,按照词文本序列622的顺序,从词文本序列622中识别与预定触发词集合相匹配的触发词文本6222,例如演唱。以与触发词文本相对应的词类标签为起点,按照词类标签序列的顺序,从词类标签序列中识别尾词类标签6322。确定尾词类标签6322和头词类标签6321之间的关联关系“创作”。以头词类标签6321“人物类_实体”为起点、以尾词类标签6322“作品类_实体”为终点,从词类标签序列632中识别与关联关系相关的目标词类标签。基于头词类标签、尾词类标签和目标词类标签,从词文本序列中抽取目标词文本,例如BBB、演唱、MM,得到目标信息642“BBB、演唱、MM”。
根据本公开的实施例,在确定词类标签序列中未识别到与关联关系相关的目标词类标签的情况下,可以基于头词类标签、尾词类标签、和触发词文本,从词文本序列中抽取目标词文本,得到目标信息。
根据本公开的其他实施例,可以基于头词类标签、尾词类标签,从词文本序列中抽取目标词文本,得到初始目标信息。在确定初始目标信息中包括头词文本和尾词文本的情况下,将初始目标信息作为目标信息。可以由此确定信息抽取成功。在确定初始目标信息中仅包括头词文本、仅包括尾词文本、或者既不包括头词文本也不包括尾词文本的情况下,可以确定信息抽取失败。
根据本公开的实施例,对抽取得到的目标词文本作为初始目标信息,进行进一步验证,能够保证最终抽取得到的目标信息的准确性。
图7示意性示出了根据本公开另一实施例的按照与词触发模式相匹配的信息抽取模式抽取目标词文本的流程示意图。
如图7所示,以待处理文本710“《MM》是由BBB演唱的”为例,确定词文本序列720<《、MM、》、是、由、BBB、演唱、的>的词文本标签序列730为<w、作品类_实体、w、肯定词、介词、人物类_实体、场景事件、助词>。从词类标签序列730中确定头词类标签731为人物类_实体,头词文本721为BBB。以头词文本721为起点,按照词文本序列的顺序,从词文本序列720中识别与预定触发词集合相匹配的触发词文本722,例如演唱。基于触发词文本722,确定触发模式为词触发模式。以与触发词文本相对应的词类标签732“场景事件”为起点,按照词类标签序列的顺序,从词类标签序列中识别尾词类标签。在此情况下,后续仅包括介词的词类标签,将不能得到尾词类标签。
根据本公开的实施例,在确定以与触发词文本相对应的词类标签为起点,按照词类标签序列的顺序,从词类标签序列中未识别到尾词类标签的情况下,以与触发词文本相对应的词类标签为起点、以头词类标签为终点,按照词类标签序列的反向顺序,从词类标签序列中识别尾词类标签。
如图7所示,可以以与触发词文本722“演唱”相对应的词类标签“场景事件”为起点,采用与词类标签序列的反向顺序识别,可以得到尾词类标签733“作品类_实体”。确定尾词类标签733和头词类标签731之间的关联关系“创作”。以头词类标签731“人物类_实体”为终点、以尾词类标签733“作品类_实体”为起点,从词类标签序列730中识别与关联关系相关的目标词类标签。在确定未识别到目标词类标签的情况下,基于头词类标签和尾词类标签,从词文本序列中抽取目标词文本,例如BBB、演唱、MM,得到目标信息740“BBB、演唱、MM”。
根据本公开的实施例,通过反向识别与正向识别相结合的操作,可以与中文的表达特性相适应,能够使得识别全面、且精准。例如,中文中的表达语义相同的多个语句,各自能够具有不同的表达方式、或者不同的词文本描述顺序。采用正向识别和反向识别,能够简单、快速地将识别范围全面覆盖。
根据本公开的示例性实施例,以与触发词文本相对应的词类标签为起点,按照词类标签序列的顺序,从词类标签序列中识别尾词类标签,可以包括:以与触发词文本相对应的词类标签为起点、以分隔词类标签为终点,依次从词类标签序列中识别尾词类标签。或者以与触发词文本相对应的词类标签为起点,按照词类标签序列的反向顺序,从词类标签序列中识别尾词类标签可以包括:以与触发词文本相对应的词类标签为起点、以分隔词类标签为终点,依次从词类标签序列中识别尾词类标签。
根据本公开的实施例,分隔词类标签用于表征待处理文本中的分隔符号,例如待处理文本中的逗号、句号等分隔符。采用分隔词类标签作为识别区间的界限,能够与中文句式中的触发词文本和尾词文本出现在同一短语中的表达习惯相适应,由此通过精准的识别区间界限的划分,使得识别精准、且高效。
图8示意性示出了根据本公开另一实施例的信息抽取方法的流程示意图。
如图8所示,以待处理文本810包括“BBB演唱了《MM》”为例,确定词文本序列820<BBB、演唱、了、《、MM、》>的词文本标签序列830为<人物类_实体、场景事件、助词、w、作品类_实体、w>。从词类标签序列830中确定头词类标签831为人物类_实体。触发模式为词触发模式。尾词类标签832为作品类_实体。可以按照与词触发模式相匹配的信息抽取模式,确定尾词类标签832和头词类标签831之间的关联关系为“创作”,最终得到目标信息840“BBB、演唱、MM”,触发词文本为“演唱”,头词类标签与尾词类标签之间的关联关系为“创作”。
如图8所示,还可以根据互反关系,从词类标签序列中确定作品类_实体作为头词类标签831’。以头词文本“MM”为起点,按照词文本序列的顺序,从词文本序列中识别与预定触发词集合相匹配的触发词文本“演唱”。确定触发模式为词触发模式。按照与词触发模式相匹配的信息抽取模式,从词类标签序列中确定人物类_实体作为尾词类标签832’。确定尾词类标签832’和头词类标签831’之间的关联关系为“创作者”。最终得到目标信息840“MM、演唱、BBB”,触发词文本为“演唱”,头词类标签与尾词类标签之间的关联关系为“创造者”。
根据本公开的实施例,互反关系可以指尾词类标签和头词类标签之间可以互换的关系。例如,可以将词类标签A作为满足尾词类条件的词类标签,将词类标签B作为满足头词类条件的词类标签,根据预定义的互反关系,则词类标签A作为满足头词类条件的词类标签,词类标签B作为满足尾词类条件的词类标签。将互反关系与按照词类标签序列顺序为识别方向,或者将互反关系与按照词文本序列顺序为识别方向,可以执行多次信息抽取方法的操作,能够与中文表达中的多种句式相结合,使得信息抽取精准的同时,识别的覆盖范围广。
根据本公开的实施例,可以将人物类_实体、作品类_实体作为一组具有互反关系的词类标签,但是并不局限于此,还可以将其他词类标签组合为具有互反关系的词类标签,只要是根据中文表达预先定义的,有利于信息抽取的词类标签组合即可。
根据本公开的其他实施例,在待处理文本的词文本数据量比较大、句式比较复杂的情况下,可以执行多轮的信息抽取方法的操作,完成所有的目标信息的抽取任务。在此情况下,可以将上述实施例中的触发模式作为第1轮触发模式,上述实施例中的目标词文本作为第1轮目标词文本,上述实施例中的目标信息作为第1轮目标信息。然后重复执行多轮信息抽取方法的操作,得到多轮目标信息,将多轮目标信息作为完成所有的信息抽取任务的抽取结果。
图9示意性示出了根据本公开另一实施例的信息抽取方法的流程图。
如图9所示,所述方法包括操作S910~S990。
在操作S910,对待处理文本进行切词,得到词文本序列。
在操作S920,对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列。
在操作S930,确定待处理文本的第i-1轮触发模式。
在操作S940,基于词类标签序列,按照与第i-1轮触发模式相匹配的信息抽取模式,从词文本序列中抽取第i-1轮目标词文本,得到第i-1轮目标信息。
根据本公开的实施例,i大于或者等于2。i小于I,I为大于2的整数。
根据本公开的实施例,可以将待处理文本作为第1轮待识别区间。将头词类标签作为第1轮待识别区间的起点,即第1轮起点词类标签。在执行操作S940中,可以得到与关联关系相关的目标词类标签。将该目标词类标签作为第1轮目标词类标签。将第1轮目标词类标签作为第2轮起点词类标签,确定第2轮待识别区间。相类似的,将第i-1轮目标词类标签作为第i轮起点词类标签。
在操作S950,将第i-1轮目标词类标签作为第i轮起点词类标签。
在操作S960,基于第i轮起点词类标签,确定第i轮待识别区间。第i轮待识别区间包括以下至少一项:与第i轮起点词类标签相对应的词文本至待抽取文本的结尾之间的词文本序列区间、第i轮起点词类标签至词类标签序列的结尾之间的词类标签序列区间。
在操作S970,确定从第i轮待识别区间中是否识别到第i轮触发模式。在从第i轮目标待识别区间中确定识别到第i轮触发模式的情况下,执行操作S980。在从第i轮待识别区间中确定未识别到第i轮触发模式的情况下,执行操作S990。
在操作S980,基于词类标签序列,按照与第i轮触发模式相匹配的信息抽取模式,从待处理文本中抽取第i轮目标词文本,得到第i轮目标信息。
在操作S990,停止操作。
根据本公开的实施例,通过上述多轮的信息抽取方法的操作,完成所有的目标信息的抽取任务。由此可以处理词文本数据量比较大、句式比较复杂的待处理文本,提高信息抽取的适用范围。
利用本公开实施例提供的信息抽取方法,在充分利用中文全划分的词类知识的基础上,基于中文常用表达习惯,在信息抽取的过程中,实现通用、高效、灵活且可简单配置,能够得到准确、且全面的抽取结果。
图10示意性示出了根据本公开实施例的信息抽取装置的框图。
如图10所示,信息抽取装置1000包括:切词模块1010、标注模块1020、以及抽取模块1030。
切词模块1010,用于对待处理文本进行切词,得到词文本序列。
标注模块1020,用于对词文本序列进行词类标注,得到与词文本序列相对应的词类标签序列,其中,词类标签序列中的词类标签是按照语义信息和词性信息设置的标签。
抽取模块1030,用于基于词类标签序列,从词文本序列中抽取目标词文本,得到目标信息。
根据本公开的实施例,抽取模块包括:抽取确定子模块、抽取子模块。
触发确定子模块,用于确定待处理文本的触发模式。
抽取子模块,用于基于词类标签序列,按照与触发模式相匹配的信息抽取模式,从词文本序列中抽取目标词文本,得到目标信息。
根据本公开的实施例,触发确定子模块包括:第一识别单元、第二识别单元、第一触发确定单元。
第一识别单元,用于从词类标签序列中识别满足头词类条件的词类标签,作为头词类标签。
第二识别单元,用于以头词类标签为起点,按照词类标签序列的顺序,从词类标签序列中识别与预定触发词类标签相匹配的触发词类标签。
第一触发确定单元,用于基于触发词类标签,将句式触发模式作为触发模式。
根据本公开的实施例,触发确定子模块包括第三识别单元、第四识别单元、第五识别单元、第二触发确定单元。
第三识别单元,用于从词类标签序列中识别满足头词类条件的词类标签,作为头词类标签。
第四识别单元,用于从词文本序列中确定与头词类标签相对应的头词文本。
第五识别单元,用于以头词文本为起点,按照词文本序列的顺序,从词文本序列中识别与预定触发词集合相匹配的触发词文本。
第二触发确定单元,用于基于触发词文本,将词触发模式作为触发模式。
根据本公开的实施例,触发确定子模块还包括:第六识别单元。
第六识别单元,用于按照预定互反关系,从词类标签序列中识别满足尾词类条件的词类标签,并将满足尾词类条件的词类标签作为头词类标签。
根据本公开的实施例,触发模式为句式触发模式。
根据本公开的实施例,抽取子模块包括:第一确定单元、第二确定单元、第七识别单元、第一抽取单元。
第一确定单元,用于从词类标签序列中确定尾词类标签。
第二确定单元,用于确定头词类标签和尾词类标签之间的关联关系。
第七识别单元,用于以头词类标签为起点、尾词类标签为终点,从词类标签序列中识别与关联关系相关的目标词类标签。
第一抽取单元,用于基于头词类标签、尾词类标签和目标词类标签,从词文本序列中抽取目标词文本,得到目标信息。
根据本公开的实施例,触发模式为词触发模式。
根据本公开的实施例,抽取子模块包括:第八识别单元、第三确定单元、第九识别单元、第二抽取单元。
第八识别单元,用于以与触发词文本相对应的词类标签为起点,按照词类标签序列的顺序,从词类标签序列中识别尾词类标签。
第三确定单元,用于确定头词类标签和尾词类标签之间的关联关系。
第九识别单元,用于以头词类标签为起点、以尾词类标签为终点,从词类标签序列中识别与关联关系相关的目标词类标签。
第二抽取单元,用于基于头词类标签、尾词类标签和目标词类标签,从词文本序列中抽取目标词文本,得到目标信息。
根据本公开的实施例,抽取子模块还包括:反向抽取单元。
反向抽取单元,用于在确定以与触发词文本相对应的词类标签为起点,按照词类标签序列的顺序,从词类标签序列中未识别到尾词类标签的情况下,以与触发词文本相对应的词类标签为起点、以头词类标签为终点,按照词类标签序列的反向顺序,从词类标签序列中识别尾词类标签。
根据本公开的实施例,第八识别单元包括:划分子单元。
划分子单元,用于以与触发词文本相对应的词类标签为起点、以分隔词类标签为终点,依次从词类标签序列中识别尾词类标签,其中,分隔词类标签用于表征待处理文本中的分隔符号。
根据本公开的实施例,在抽取子模块之后,抽取模块还包括:第一确定子模块、第二确定子模块、多轮抽取子模块。
第一确定子模块,用于将第i-1轮目标词类标签作为第i轮起点词类标签。
第二确定子模块,用于基于第i轮起点词类标签,确定第i轮待识别区间,其中,第i轮待识别区间包括以下至少一项:与第i轮起点词类标签相对应的词文本至待抽取文本的结尾之间的词文本序列区间、第i轮起点词类标签至词类标签序列的结尾之间的词类标签序列区间,i大于或者等于2。
多轮抽取子模块,用于在从第i轮待识别区间中确定第i轮触发模式的情况下,基于词类标签序列,按照与第i轮触发模式相匹配的信息抽取模式,从词文本序列中抽取第i轮目标词文本,得到第i轮目标信息。
根据本公开的实施例,第二抽取单元包括:初始抽取子单元、确定抽取子单元。
初始抽取子单元,用于基于头词类标签、尾词类标签和目标词类标签,从词文本序列中抽取目标词文本,得到初始目标信息。
确定抽取子单元,用于在确定初始目标信息中包括头词文本和尾词文本的情况下,将初始目标信息作为目标信息。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如本公开实施例的方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如本公开实施例的方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如本公开实施例的方法。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示,设备1100包括计算单元1101,其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序,来执行各种适当的动作和处理。在RAM 1103中,还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105,包括:输入单元1106,例如键盘、鼠标等;输出单元1107,例如各种类型的显示器、扬声器等;存储单元1108,例如磁盘、光盘等;以及通信单元1109,例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理,例如信息抽取方法。例如,在一些实施例中,信息抽取方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1108。在一些实施例中,计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时,可以执行上文描述的信息抽取方法的一个或多个步骤。备选地,在其他实施例中,计算单元1101可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行信息抽取方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (25)
1.一种信息抽取方法,包括:
对待处理文本进行切词,得到词文本序列;
对所述词文本序列进行词类标注,得到与所述词文本序列相对应的词类标签序列,其中,所述词类标签序列中的词类标签是按照语义信息和词性信息设置的标签;以及
基于所述词类标签序列,从所述词文本序列中抽取目标词文本,得到目标信息。
2.根据权利要求1所述的方法,其中,所述基于所述词类标签序列,从所述词文本序列中抽取目标词文本,得到目标信息,包括:
确定所述待处理文本的触发模式;以及
基于所述词类标签序列,按照与所述触发模式相匹配的信息抽取模式,从所述词文本序列中抽取所述目标词文本,得到所述目标信息。
3.根据权利要求2所述的方法,其中,所述确定所述待处理文本的触发模式,包括:
从所述词类标签序列中识别满足头词类条件的词类标签,作为头词类标签;
以所述头词类标签为起点,按照所述词类标签序列的顺序,从所述词类标签序列中识别与预定触发词类标签相匹配的触发词类标签;以及
基于所述触发词类标签,将句式触发模式作为所述触发模式。
4.根据权利要求2所述的方法,其中,所述确定所述待处理文本的触发模式,包括:
从所述词类标签序列中识别满足头词类条件的词类标签,作为头词类标签;
从所述词文本序列中确定与所述头词类标签相对应的头词文本;
以所述头词文本为起点,按照所述词文本序列的顺序,从所述词文本序列中识别与预定触发词集合相匹配的触发词文本;以及
基于所述触发词文本,将词触发模式作为所述触发模式。
5.根据权利要求2至4中任一项所述的方法,其中,所述确定所述待处理文本的触发模式,还包括:
按照预定互反关系,从所述词类标签序列中识别满足尾词类条件的词类标签,并将所述满足尾词类条件的词类标签作为所述头词类标签。
6.根据权利要求3所述的方法,其中,所述触发模式为句式触发模式,
所述基于所述词类标签序列,按照与所述触发模式相匹配的信息抽取模式,从所述词文本序列中抽取目标词文本,得到所述目标信息,包括:
从所述词类标签序列中确定尾词类标签;
确定所述头词类标签和所述尾词类标签之间的关联关系;
以所述头词类标签为起点、所述尾词类标签为终点,从所述词类标签序列中识别与所述关联关系相关的目标词类标签;以及
基于所述头词类标签、尾词类标签和所述目标词类标签,从所述词文本序列中抽取所述目标词文本,得到所述目标信息。
7.根据权利要求4所述的方法,其中,所述触发模式为词触发模式,
所述基于所述词类标签序列,按照与所述触发模式相匹配的信息抽取模式,从所述词文本序列中抽取目标词文本,得到所述目标信息,包括:
以与所述触发词文本相对应的词类标签为起点,按照所述词类标签序列的顺序,从所述词类标签序列中识别尾词类标签;
确定所述头词类标签和所述尾词类标签之间的关联关系;
以所述头词类标签为起点、以所述尾词类标签为终点,从所述词类标签序列中识别与所述关联关系相关的目标词类标签;以及
基于所述头词类标签、尾词类标签和所述目标词类标签,从所述词文本序列中抽取所述目标词文本,得到所述目标信息。
8.根据权利要求7所述的方法,其中,所述基于所述词类标签序列,按照与所述触发模式相匹配的信息抽取模式,从所述词文本序列中抽取目标词文本,得到所述目标信息,还包括:
在确定以与所述触发词文本相对应的词类标签为起点,按照所述词类标签序列的顺序,从所述词类标签序列中未识别到所述尾词类标签的情况下,以与所述触发词文本相对应的词类标签为起点、以所述头词类标签为终点,按照所述词类标签序列的反向顺序,从所述词类标签序列中识别所述尾词类标签。
9.根据权利要求7或8所述的方法,其中,所述以与所述触发词文本相对应的词类标签为起点,按照所述词类标签序列的顺序,从所述词类标签序列中识别尾词类标签,包括:
以与所述触发词文本相对应的词类标签为起点、以分隔词类标签为终点,依次从所述词类标签序列中识别所述尾词类标签,其中,所述分隔词类标签用于表征待处理文本中的分隔符号。
10.根据权利要求6或7所述的方法,其中,在所述基于所述词类标签序列,按照与所述触发模式相匹配的信息抽取模式,从所述词文本序列中抽取目标词文本,得到所述目标信息之后,所述基于所述词类标签序列,从所述词文本序列中抽取目标词文本,得到目标信息,还包括,:
将第i-1轮目标词类标签作为第i轮起点词类标签;
基于第i轮起点词类标签,确定第i轮待识别区间,其中,所述第i轮待识别区间包括以下至少一项:与所述第i轮起点词类标签相对应的词文本至所述待抽取文本的结尾之间的词文本序列区间、所述第i轮起点词类标签至所述词类标签序列的结尾之间的词类标签序列区间,i大于或者等于2;以及
在从所述第i轮待识别区间中确定第i轮触发模式的情况下,基于所述词类标签序列,按照与所述第i轮触发模式相匹配的信息抽取模式,从所述词文本序列中抽取第i轮目标词文本,得到第i轮目标信息。
11.根据权利要求6或7所述的方法,其中,所述基于所述头词类标签、尾词类标签和所述目标词类标签,从所述词文本序列中抽取所述目标词文本,得到所述目标信息,包括:
基于所述头词类标签、尾词类标签和所述目标词类标签,从所述词文本序列中抽取所述目标词文本,得到初始目标信息;以及
在确定初始目标信息中包括所述头词文本和所述尾词文本的情况下,将所述初始目标信息作为所述目标信息。
12.一种信息抽取装置,包括:
切词模块,用于对待处理文本进行切词,得到词文本序列;
标注模块,用于对所述词文本序列进行词类标注,得到与所述词文本序列相对应的词类标签序列,其中,所述词类标签序列中的词类标签是按照语义信息和词性信息设置的标签;以及
抽取模块,用于基于所述词类标签序列,从所述词文本序列中抽取目标词文本,得到目标信息。
13.根据权利要求12所述的装置,其中,所述抽取模块包括:
触发确定子模块,用于确定所述待处理文本的触发模式;以及
抽取子模块,用于基于所述词类标签序列,按照与所述触发模式相匹配的信息抽取模式,从所述词文本序列中抽取所述目标词文本,得到所述目标信息。
14.根据权利要求13所述的装置,其中,所述触发确定子模块包括:
第一识别单元,用于从所述词类标签序列中识别满足头词类条件的词类标签,作为头词类标签;
第二识别单元,用于以所述头词类标签为起点,按照所述词类标签序列的顺序,从所述词类标签序列中识别与预定触发词类标签相匹配的触发词类标签;以及
第一触发确定单元,用于基于所述触发词类标签,将句式触发模式作为所述触发模式。
15.根据权利要求13所述的装置,其中,所述触发确定子模块包括:
第三识别单元,用于从所述词类标签序列中识别满足头词类条件的词类标签,作为头词类标签;
第四识别单元,用于从所述词文本序列中确定与所述头词类标签相对应的头词文本;
第五识别单元,用于以所述头词文本为起点,按照所述词文本序列的顺序,从所述词文本序列中识别与预定触发词集合相匹配的触发词文本;以及
第二触发确定单元,用于基于所述触发词文本,将词触发模式作为所述触发模式。
16.根据权利要求13至15中任一项所述的装置,其中,所述触发确定子模块还包括:
第六识别单元,用于按照预定互反关系,从所述词类标签序列中识别满足尾词类条件的词类标签,并将所述满足尾词类条件的词类标签作为所述头词类标签。
17.根据权利要求14所述的装置,其中,所述触发模式为句式触发模式,
所述抽取子模块包括:
第一确定单元,用于从所述词类标签序列中确定尾词类标签;
第二确定单元,用于确定所述头词类标签和所述尾词类标签之间的关联关系;
第七识别单元,用于以所述头词类标签为起点、所述尾词类标签为终点,从所述词类标签序列中识别与所述关联关系相关的目标词类标签;以及
第一抽取单元,用于基于所述头词类标签、尾词类标签和所述目标词类标签,从所述词文本序列中抽取所述目标词文本,得到所述目标信息。
18.根据权利要求15所述的装置,其中,所述触发模式为词触发模式,
所述抽取子模块包括:
第八识别单元,用于以与所述触发词文本相对应的词类标签为起点,按照所述词类标签序列的顺序,从所述词类标签序列中识别尾词类标签;
第三确定单元,用于确定所述头词类标签和所述尾词类标签之间的关联关系;
第九识别单元,用于以所述头词类标签为起点、以所述尾词类标签为终点,从所述词类标签序列中识别与所述关联关系相关的目标词类标签;以及
第二抽取单元,用于基于所述头词类标签、尾词类标签和所述目标词类标签,从所述词文本序列中抽取所述目标词文本,得到所述目标信息。
19.根据权利要求18所述的装置,其中,所述抽取子模块还包括:
反向抽取单元,用于在确定以与所述触发词文本相对应的词类标签为起点,按照所述词类标签序列的顺序,从所述词类标签序列中未识别到所述尾词类标签的情况下,以与所述触发词文本相对应的词类标签为起点、以所述头词类标签为终点,按照所述词类标签序列的反向顺序,从所述词类标签序列中识别所述尾词类标签。
20.根据权利要求18或19所述的装置,其中,所述第八识别单元包括:
划分子单元,用于以与所述触发词文本相对应的词类标签为起点、以分隔词类标签为终点,依次从所述词类标签序列中识别所述尾词类标签,其中,所述分隔词类标签用于表征待处理文本中的分隔符号。
21.根据权利要求17或18所述的装置,其中,在所述抽取子模块之后,所述抽取模块还包括:
第一确定子模块,用于将第i-1轮目标词类标签作为第i轮起点词类标签;
第二确定子模块,用于基于第i轮起点词类标签,确定第i轮待识别区间,其中,所述第i轮待识别区间包括以下至少一项:与所述第i轮起点词类标签相对应的词文本至所述待抽取文本的结尾之间的词文本序列区间、所述第i轮起点词类标签至所述词类标签序列的结尾之间的词类标签序列区间,i大于或者等于2;以及
多轮抽取子模块,用于在从所述第i轮待识别区间中确定第i轮触发模式的情况下,基于所述词类标签序列,按照与所述第i轮触发模式相匹配的信息抽取模式,从所述词文本序列中抽取第i轮目标词文本,得到第i轮目标信息。
22.根据权利要求18所述的装置,其中,所述第二抽取单元包括:
初始抽取子单元,用于基于所述头词类标签、尾词类标签和所述目标词类标签,从所述词文本序列中抽取所述目标词文本,得到初始目标信息;以及
确定抽取子单元,用于在确定初始目标信息中包括所述头词文本和所述尾词文本的情况下,将所述初始目标信息作为所述目标信息。
23.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至11中任一项所述的方法。
25.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至11中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210611986.0A CN114861677B (zh) | 2022-05-30 | 2022-05-30 | 信息抽取方法、装置、电子设备以及存储介质 |
CN202310121634.1A CN116108857B (zh) | 2022-05-30 | 2022-05-30 | 信息抽取方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210611986.0A CN114861677B (zh) | 2022-05-30 | 2022-05-30 | 信息抽取方法、装置、电子设备以及存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310121634.1A Division CN116108857B (zh) | 2022-05-30 | 2022-05-30 | 信息抽取方法、装置、电子设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114861677A true CN114861677A (zh) | 2022-08-05 |
CN114861677B CN114861677B (zh) | 2023-04-18 |
Family
ID=82640622
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210611986.0A Active CN114861677B (zh) | 2022-05-30 | 2022-05-30 | 信息抽取方法、装置、电子设备以及存储介质 |
CN202310121634.1A Active CN116108857B (zh) | 2022-05-30 | 2022-05-30 | 信息抽取方法、装置、电子设备以及存储介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310121634.1A Active CN116108857B (zh) | 2022-05-30 | 2022-05-30 | 信息抽取方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN114861677B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116030272A (zh) * | 2023-03-30 | 2023-04-28 | 之江实验室 | 一种基于信息抽取的目标检测方法、系统和装置 |
CN116028593A (zh) * | 2022-12-14 | 2023-04-28 | 北京百度网讯科技有限公司 | 文本中的人物身份信息识别方法及装置、电子设备和介质 |
CN116108857A (zh) * | 2022-05-30 | 2023-05-12 | 北京百度网讯科技有限公司 | 信息抽取方法、装置、电子设备以及存储介质 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8452763B1 (en) * | 2009-11-19 | 2013-05-28 | Google Inc. | Extracting and scoring class-instance pairs |
KR20160078703A (ko) * | 2014-12-24 | 2016-07-05 | 한국전자통신연구원 | 문장 시각화 방법 및 장치 |
CN107608949A (zh) * | 2017-10-16 | 2018-01-19 | 北京神州泰岳软件股份有限公司 | 一种基于语义模型的文本信息抽取方法及装置 |
CN107729480A (zh) * | 2017-10-16 | 2018-02-23 | 北京神州泰岳软件股份有限公司 | 一种限定区域的文本信息抽取方法及装置 |
CN109815481A (zh) * | 2018-12-17 | 2019-05-28 | 北京百度网讯科技有限公司 | 对文本进行事件抽取的方法、装置、设备和计算机存储介质 |
CN110597994A (zh) * | 2019-09-17 | 2019-12-20 | 北京百度网讯科技有限公司 | 事件元素识别方法和装置 |
CN110597959A (zh) * | 2019-09-17 | 2019-12-20 | 北京百度网讯科技有限公司 | 文本信息抽取方法、装置以及电子设备 |
CN111241302A (zh) * | 2020-01-15 | 2020-06-05 | 北京百度网讯科技有限公司 | 职位信息图谱生成方法、装置、设备和介质 |
CN111966890A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 基于文本的事件推送方法、装置、电子设备和存储介质 |
CN111967268A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 文本中的事件抽取方法、装置、电子设备和存储介质 |
CN112182141A (zh) * | 2020-09-25 | 2021-01-05 | 中国建设银行股份有限公司 | 一种关键信息抽取方法、装置、设备和可读存储介质 |
CN112651236A (zh) * | 2020-12-28 | 2021-04-13 | 中电金信软件有限公司 | 提取文本信息的方法、装置、计算机设备和存储介质 |
CN112861527A (zh) * | 2021-03-17 | 2021-05-28 | 合肥讯飞数码科技有限公司 | 一种事件抽取方法、装置、设备及存储介质 |
CN113220836A (zh) * | 2021-05-08 | 2021-08-06 | 北京百度网讯科技有限公司 | 序列标注模型的训练方法、装置、电子设备和存储介质 |
CN113220835A (zh) * | 2021-05-08 | 2021-08-06 | 北京百度网讯科技有限公司 | 文本信息处理方法、装置、电子设备以及存储介质 |
CN113221566A (zh) * | 2021-05-08 | 2021-08-06 | 北京百度网讯科技有限公司 | 实体关系抽取方法、装置、电子设备和存储介质 |
CN113901170A (zh) * | 2021-12-07 | 2022-01-07 | 北京道达天际科技有限公司 | 结合Bert模型和模板匹配的事件抽取方法及系统、电子设备 |
CN114036276A (zh) * | 2021-11-09 | 2022-02-11 | 建信金融科技有限责任公司 | 一种信息抽取方法、装置、设备及存储介质 |
WO2022048194A1 (zh) * | 2020-09-02 | 2022-03-10 | 深圳前海微众银行股份有限公司 | 事件主体识别模型优化方法、装置、设备及可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111639498A (zh) * | 2020-04-21 | 2020-09-08 | 平安国际智慧城市科技股份有限公司 | 知识抽取方法、装置、电子设备及存储介质 |
CN112560450B (zh) * | 2020-12-11 | 2024-02-13 | 科大讯飞股份有限公司 | 一种文本纠错方法及装置 |
CN114417004A (zh) * | 2021-11-10 | 2022-04-29 | 南京邮电大学 | 一种知识图谱和事理图谱的融合方法、装置和系统 |
CN114861677B (zh) * | 2022-05-30 | 2023-04-18 | 北京百度网讯科技有限公司 | 信息抽取方法、装置、电子设备以及存储介质 |
-
2022
- 2022-05-30 CN CN202210611986.0A patent/CN114861677B/zh active Active
- 2022-05-30 CN CN202310121634.1A patent/CN116108857B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8452763B1 (en) * | 2009-11-19 | 2013-05-28 | Google Inc. | Extracting and scoring class-instance pairs |
KR20160078703A (ko) * | 2014-12-24 | 2016-07-05 | 한국전자통신연구원 | 문장 시각화 방법 및 장치 |
CN107608949A (zh) * | 2017-10-16 | 2018-01-19 | 北京神州泰岳软件股份有限公司 | 一种基于语义模型的文本信息抽取方法及装置 |
CN107729480A (zh) * | 2017-10-16 | 2018-02-23 | 北京神州泰岳软件股份有限公司 | 一种限定区域的文本信息抽取方法及装置 |
CN109815481A (zh) * | 2018-12-17 | 2019-05-28 | 北京百度网讯科技有限公司 | 对文本进行事件抽取的方法、装置、设备和计算机存储介质 |
CN110597994A (zh) * | 2019-09-17 | 2019-12-20 | 北京百度网讯科技有限公司 | 事件元素识别方法和装置 |
CN110597959A (zh) * | 2019-09-17 | 2019-12-20 | 北京百度网讯科技有限公司 | 文本信息抽取方法、装置以及电子设备 |
CN111241302A (zh) * | 2020-01-15 | 2020-06-05 | 北京百度网讯科技有限公司 | 职位信息图谱生成方法、装置、设备和介质 |
CN111966890A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 基于文本的事件推送方法、装置、电子设备和存储介质 |
CN111967268A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 文本中的事件抽取方法、装置、电子设备和存储介质 |
WO2022048194A1 (zh) * | 2020-09-02 | 2022-03-10 | 深圳前海微众银行股份有限公司 | 事件主体识别模型优化方法、装置、设备及可读存储介质 |
CN112182141A (zh) * | 2020-09-25 | 2021-01-05 | 中国建设银行股份有限公司 | 一种关键信息抽取方法、装置、设备和可读存储介质 |
CN112651236A (zh) * | 2020-12-28 | 2021-04-13 | 中电金信软件有限公司 | 提取文本信息的方法、装置、计算机设备和存储介质 |
CN112861527A (zh) * | 2021-03-17 | 2021-05-28 | 合肥讯飞数码科技有限公司 | 一种事件抽取方法、装置、设备及存储介质 |
CN113220836A (zh) * | 2021-05-08 | 2021-08-06 | 北京百度网讯科技有限公司 | 序列标注模型的训练方法、装置、电子设备和存储介质 |
CN113220835A (zh) * | 2021-05-08 | 2021-08-06 | 北京百度网讯科技有限公司 | 文本信息处理方法、装置、电子设备以及存储介质 |
CN113221566A (zh) * | 2021-05-08 | 2021-08-06 | 北京百度网讯科技有限公司 | 实体关系抽取方法、装置、电子设备和存储介质 |
CN114036276A (zh) * | 2021-11-09 | 2022-02-11 | 建信金融科技有限责任公司 | 一种信息抽取方法、装置、设备及存储介质 |
CN113901170A (zh) * | 2021-12-07 | 2022-01-07 | 北京道达天际科技有限公司 | 结合Bert模型和模板匹配的事件抽取方法及系统、电子设备 |
Non-Patent Citations (2)
Title |
---|
崔从敏 等: "面向政府公文的关系抽取方法研究", 《计算机技术与发展》 * |
邓星辰: "面向文本的实体关系抽取技术的研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116108857A (zh) * | 2022-05-30 | 2023-05-12 | 北京百度网讯科技有限公司 | 信息抽取方法、装置、电子设备以及存储介质 |
CN116108857B (zh) * | 2022-05-30 | 2024-04-05 | 北京百度网讯科技有限公司 | 信息抽取方法、装置、电子设备以及存储介质 |
CN116028593A (zh) * | 2022-12-14 | 2023-04-28 | 北京百度网讯科技有限公司 | 文本中的人物身份信息识别方法及装置、电子设备和介质 |
CN116030272A (zh) * | 2023-03-30 | 2023-04-28 | 之江实验室 | 一种基于信息抽取的目标检测方法、系统和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116108857A (zh) | 2023-05-12 |
CN116108857B (zh) | 2024-04-05 |
CN114861677B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114861677B (zh) | 信息抽取方法、装置、电子设备以及存储介质 | |
CN113807098A (zh) | 模型训练方法和装置、电子设备以及存储介质 | |
CN111046656A (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
CN113220836A (zh) | 序列标注模型的训练方法、装置、电子设备和存储介质 | |
CN111539193A (zh) | 基于本体的文档分析和注释生成 | |
US20220301547A1 (en) | Method for processing audio signal, method for training model, device and medium | |
CN113010678B (zh) | 分类模型的训练方法、文本分类方法及装置 | |
CN114495143B (zh) | 一种文本对象识别方法、装置、电子设备及存储介质 | |
CN114970553A (zh) | 基于大规模无标注语料的情报分析方法、装置及电子设备 | |
CN113051380A (zh) | 信息生成方法、装置、电子设备和存储介质 | |
CN113609847A (zh) | 信息抽取方法、装置、电子设备及存储介质 | |
CN113836316B (zh) | 三元组数据的处理方法、训练方法、装置、设备及介质 | |
CN113987180A (zh) | 用于输出信息和处理信息的方法和装置 | |
CN113360685A (zh) | 笔记内容处理方法、装置、设备和介质 | |
CN112699237A (zh) | 标签确定方法、设备和存储介质 | |
CN114818736B (zh) | 文本处理方法、用于短文本的链指方法、装置及存储介质 | |
CN114239562B (zh) | 文档中程序代码块的识别方法、装置和设备 | |
CN115730071A (zh) | 电力舆情事件的抽取方法、装置、电子设备及存储介质 | |
CN115600592A (zh) | 文本内容的关键信息提取方法、装置、设备及介质 | |
CN114461748A (zh) | 标签抽取方法、装置、存储介质以及电子设备 | |
CN109597879B (zh) | 一种基于“引文关系”数据的业务行为关系抽取方法及装置 | |
CN113536751A (zh) | 表格数据的处理方法、装置、电子设备和存储介质 | |
CN113377904A (zh) | 行业动作识别方法、装置、电子设备及存储介质 | |
CN111597458A (zh) | 场景元素的抽取方法、装置、设备及存储介质 | |
CN116383655B (zh) | 样本生成方法、模型训练方法、文本处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |