CN111651994B - 一种信息抽取方法、装置、电子设备和存储介质 - Google Patents
一种信息抽取方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111651994B CN111651994B CN202010494040.1A CN202010494040A CN111651994B CN 111651994 B CN111651994 B CN 111651994B CN 202010494040 A CN202010494040 A CN 202010494040A CN 111651994 B CN111651994 B CN 111651994B
- Authority
- CN
- China
- Prior art keywords
- target entity
- learning model
- text
- extracted
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及一种信息抽取方法、装置、电子设备和存储介质。该方法包括:获取待抽取文本中的第一目标实体;利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,得到所述第一目标实体对应的属性信息。
Description
技术领域
本申请涉及文本处理技术领域,特别是涉及一种信息抽取方法、装置、电子设备和存储介质。
背景技术
数值抽取技术旨在抽取出文本中数值对应的属性信息,数值抽取技术涵盖命名实体识别(Name Entity Recognition,NER)技术、事件抽取(Event Extraction)技术和关系抽取(Relation Extraction)技术。
NER技术、事件抽取技术和关系抽取技术的主要缺陷是无法深层地解析出命名实体(Name Entity,NE)与特定数值的关系。
发明内容
为解决上述问题,本申请提出了一种信息抽取方法、装置、电子设备和存储介质。
第一方面,本申请实施例提供一种信息抽取方法,所述方法包括:
获取待抽取文本中的第一目标实体;
利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,得到所述第一目标实体对应的属性信息。
第二方面,本申请实施例提供一种信息抽取装置,所述装置包括:
获取单元,用于获取待抽取文本中的第一目标实体;
处理单元,用于利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,得到所述第一目标实体对应的属性信息。
第三方面,本申请实施例提供一种电子设备,包括:
一个或多个处理器;
与所述一个或多个处理器通信连接的存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被配置为执行以上所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现以上所述的方法。
采用本申请实施例的上述技术方案,给深度学习模型指定特定的实体(即第一目标实体),并将该特定的实体和待抽取文本一同输入到深度学习模型中,使深度学习模型围绕该特定的实体抽取相对应的属性信息,从而深层地解析出属性信息与特定的实体的关系。
附图说明
图1为本申请实施例提供的信息抽取方法的实现流程示意图一;
图2为本申请实施例提供的信息抽取方法的实现流程示意图二;
图3为本申请实施例提供的原理架构图;
图4为本申请实施例提供的信息抽取装置的结构组成示意图;
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。
数值抽取技术旨在抽取出文本中数值对应的属性信息,例如:2015年,2016年,2017年,AAB公司的营业总额分别为10亿,20亿,30亿。在这句话中,希望得到文本中每个数值对应的属性信息,以用于后续的财务指标核对的相关应用。这里,数值对应的属性信息与业务需求相关,例如数值对应的属性信息有:<2016年,AAB公司,营业总额,10亿>,<2017年,AAB公司,营业总额,20亿>,<2018年,AAB公司,营业总额,30亿>。
一方面,从方法论的角度,数值抽取技术涵盖命名实体识别(NER)技术、事件抽取的技术、关系抽取技术。以下对这三种技术进行说明。
■命名实体识别又称作“专名识别”,是指识别文本中具有特定意义的实体(又称为命名实体),主要包括人名、地名、机构名、专有名词等。该技术是信息提取、问答系统、句法分析等应用领域的重要基础工具,在自然语言处理技术走向实用化的过程中占有重要地位。一般来说,命名实体识别的任务就是识别出待处理文本中三大类(实体类、时间类和数字类)和七小类(人名、机构名、地名、时间、日期、货币和百分比)的命名实体;当然,实体类别的定义也可根据业务需求定制。
■事件抽取的技术。一个事件一般的定义为“谁WHO”在什么“地方WHERE”在什么“时间TIME”干了什么“事情THING”。事件抽取就是判定事件的类别(如暴力事件,游行时间),并且将事件的要素抽取出来。事件抽取的技术分为两个步骤,第一个步骤是事件分类,第二个步骤是事件元素的确定。事件分类一般采用的分类方法包括统计机器学习方法(如支持向量机(Support Vector Machine,SVM),贝叶斯等方法),也包括深度学习方法(如卷积神经网络(Convolutional Neural Networks,CNN),长短期记忆网络(Long Short-TermMemory,LSTM),TRANSFORMER等方法)。完成事件分类后一般采用NER方法确定事件元素。
■关系抽取的技术。关系抽取一般指的是抽取实体和实体之间的关系,属于事件抽取的一个简化。事件是多个实体的聚合,关系抽取一般只考虑两个实体。关系抽取的技术包括关系抽取和实体识别联合识别的方法。
另一方面,从底层技术的角度上,关于数值抽取技术可以分为:
■基于人工编写的规则的方法:利用手工编写的规则,将文本与规则进行匹配来识别出命名实体。
■基于统计机器学习的方法:利用大规模语料来学习出标注模型(如隐马尔可夫模型(Hidden Markov Model,HMM),条件随机场(Conditional Random Field,CRF)等),而后添加特征模板进行标注。
■基于深度学习的方法:如通过LSTM或CNN+CRF进行通用的命名实体识别。
上述技术方案中,NER技术、事件抽取技术和关系抽取技术虽然可以识别出文本中的实体,但是没有利用金融数据的特点,无法更深一层的解析出识别出的命名实体与特定数值的关系,而这些关系在很多业务场景下应用广泛,例如在“2015年,2016年,2017年,AAB公司的营业总额分别为10亿,20亿,30亿。”这句话中,模型只能得到:时间信息(2015年,2016年,2017年)、主体信息(AAB公司)和指标名称信息(营业总额),却无法抽取出针对特定数值的以下属性信息:<2016年,AAB公司,营业总额,10亿>,<2017年,AAB公司,营业总额,20亿>,<2018年,AAB公司,营业总额,30亿>。
上述技术方案中,(1)基于人工编写的规则的方法存在如下缺陷:在构建规则的过程中往往需要大量的语言学知识,不同语言的识别规则不尽相同,而且需要谨慎处理规则之间的冲突问题;此外,构建规则的过程费时费力、可移植性不好。(2)基于统计机器学习的方法存在如下缺陷:模型泛化性能不好,遇到没有见过的新字或新词很难准确识别出数值对应的属性信息;此外,该方法依赖特征模板,因此仍旧需要投入大量的成本进行特征模板的配置。
基于此,提出了本申请实施例的以下技术方案,本申请实施例的技术方案基于深度学习技术与强化学习技术,在不依赖人工编写规则与特征的同时可以准确围绕特定实体(如特定数值)抽取出文本中的特定实体对应的属性信息。
本申请实施例可以应用于电子设备中,该电子设备可以是计算机系统或服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统或服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
计算机系统或服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统或服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本申请实施例信息抽取方法的实现流程示意图一,如图1所示,所述方法包括:
步骤101:获取待抽取文本中的第一目标实体。
本申请实施例中,待抽取文本也可以称为待处理文本,是指需要从中抽取信息的文本。在一可选方式中,待抽取文本可以来自企业数据库,例如待抽取文本包含如下信息:2015年,2016年,2017年,AAB公司的营业总额分别为10亿,20亿,30亿。不局限于此,待抽取文本的来源也可以是其他方式,例如电子设备本地,外部存储装置,网络等等。
本申请实施例中,可以预先获取规则,根据规则从待抽取文本中获取第一目标实体。这里,规则用于确定需要围绕哪一个或哪几个目标实体抽取相对应的属性信息。
需要说明的是,本申请实施例以一个目标实体(即第一目标实体)为例进行说明,不局限于此,本申请实施例的技术方案还可以应用于多个目标实体,对于多个目标实体的情况,多个目标实体中的每个目标实体都可以参照所述第一目标实体的相关方案。
本申请实施例中,所述第一目标实体在所述待抽取文本中具有唯一性。
在本申请一可选方式中,所述第一目标实体的类型为数值。需要说明的是,本申请实施例并不局限于此,只要一个事件抽取任务中的结果中有一个元素(也可以称为实体,如数值)是唯一值,则本申请实施例的技术方案都可以适用。
步骤102:利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,得到所述第一目标实体对应的属性信息。
这里,深度学习模型也可以称为NER模型,如CNN模型、LSTM模型、空洞卷积模型、Transformer模型、预训练模型等。
本申请实施例中,将所述待抽取文本中的第一目标实体和所述待抽取文本输入深度学习模型中,利用该深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,可以得到所述第一目标实体对应的属性信息。这里,由于给深度学习模型指定特定的目标实体(即第一目标实体),并将该特定的目标实体和待抽取文本一同输入到深度学习模型中,使深度学习模型围绕该特定的目标实体抽取相对应的属性信息,从而深层地解析出属性信息与特定的目标实体的关系。
在本申请一可选方式中,利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理之前,需要对该深度学习模型进行训练,具体地,基于训练样本和所述训练样本的标注信息,对所述深度学习模型进行训练;其中,所述训练样本的标注信息包括所述训练样本中的标注实体以及该标注实体对应的标注属性信息。
这里,可以对训练样本进行标注,以获得所述训练样本的标注信息。具体地,1)标注出训练样本中的实体(称为标注实体);2)标注出训练样本中的实体对应的属性信息(称为标注属性信息)。需要说明的是,训练样本中标注出的实体的数目可以是一个或多个,对于训练样本中标注出的实体的数目为多个的情况,每个实体都可以进一步标注出对应的属性信息。
需要说明的是,训练样本也属于待抽取文本,是在深度学习模型训练阶段中的待抽取文本。
上述方案中,所述训练样本中的标注实体以及该标注实体对应的标注属性信息基于业务需求确定。如此,可以针对不同的业务需求灵活抽取实体对应的属性信息。
以下对如何对所述深度学习模型进行训练进行描述。
1、从所述训练样本中获取第二目标实体,所述第二目标实体是所述训练样本中的标注实体;
2、利用所述深度学习模型对所述第二目标实体和所述训练样本进行处理,得到所述第二目标实体对应的预测属性信息;
3、计算所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值;
4、基于所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值,更新所述深度学习模型的参数,并迭代执行利用所述深度学习模型对所述第二目标实体和所述训练样本进行处理的步骤,直到所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值满足预设条件为止。
通过上述方式,可以实现对深度学习模型的训练,使得深度学习模型的参数达到最优值,提高深度学习模型的处理准确度。进一步,在一可选方式中,在训练完成所述深度学习模型后,可以利用强化学习模型(即增强学习调优方法)对所述深度学习模型的参数进行调整,以实现进一步对所述深度学习模型的参数进行优化,从而进一步提高深度学习模型的处理准确度。基于此,利用训练完成以及参数调整后(即基于强化学习模型而进行参数调整后)的所述深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理。
本申请实施例的技术方案考虑到金融数据的文本有一个特点是在数据语义框架(时间,标的,指标,数值,其他等)中,数值类似数据库的一个主键,而且数值的识别在金融数据中是非常容易的,因此,本申请实施例的技术方案结合NER技术与语义角色标注(Semantic Role Labelling,SRL)技术,给深度学习模型指定特定的目标实体(即第一目标实体),该目标实体的类型可以但不局限于是数值,并将该特定的目标实体和待抽取文本一同输入到深度学习模型中,使深度学习模型围绕该特定的目标实体抽取相对应的属性信息,从而深层地解析出属性信息与特定的目标实体的关系,本申请实施例的技术方案能够达到90%以上的F分数(F-SCORE)。需要说明的是,SRL技术类似于事件抽取技术,针对某一类事件触发词,如“打”,有(打人)的语义,这个语义有相应的角色,包括施事人和受事人。
图2为本申请实施例信息抽取方法的实现流程示意图二,如图2所示,所述方法包括:
步骤201:将训练样本中的数值和训练样本输入深度学习模型。
这里,训练样本是在深度学习模型训练阶段中的待抽取文本。预先,标注训练样本(也可以称为训练语料),具体地,在训练样本中标出特定的数值与数值对应的需属性信息。这里,可以根据业务需求定义数值抽取所需的属性信息。
步骤202:基于训练样本中的数值和训练样本,对深度学习模型进行训练。
这里,预先,深度学习模型的嵌入层对输入的训练样本转化并添加数值的位置特征,之后转化为向量,利用该向量对深度学习模型进行训练。
步骤203:利用强化学习模型对深度学习模型的参数进行调整。
这里,由于经过步骤202已经完成对深度学习模型的训练,因而深度学习模型的参数已经被大程度的优化,之后,可以通过步骤203利用强化学习模型对深度学习模型的参数进行微调,从而进一步优化而深度学习模型的参数。
步骤204:将待抽取文本中的数值和待抽取文本输入深度学习模型。
步骤205:深度学习模型对待抽取文本中的数值和待抽取文本进行处理,输出数值对应的属性信息。
以下结合图3对如何将数值方法和NER方法结合在一起进行描述,从图3由下往上看,待抽取文本(如A公司2017年净利润1亿)输入到嵌入层(即char-emb),嵌入层对待抽取文本中的内容进行预处理,得到数值特征和其他特征;嵌入层将数值特征和其他特征输入到网络层(即深度学习模型的网络层),通过网络层对数值特征和其他特征进行处理,得到NER的标签(即数值对应的属性信息)。这里,网络层的架构可以参考通用的NER模型(如CNN模型、LSTM模型、空洞卷积模型、Transformer模型、预训练模型等)。
需要说明的是,对于数值特征来说,金融数值对应字符在数值特征上对应的值是1,其他字符在数值特征上对应的值是0。对于其他特征来说,包括一些特定的字符串的图样(patten),以“数字特征”为例,如果字符是0-9,对应的其他特征是1,否则对应的其他特征是0。
本申请实施例的技术方案中,可以通过以下方式将强化学习模型(也可以称为增强学习模型)引入到深度学习模型(即NER模型)中:将通过深度学习模型正确识别出的标签(即深度学习模型的输出结果,如数值对应的属性信息)作为action,action对应的概率为P,所有正确识别的标签组成一个策略,进而可以采用策略梯度(policy gradient)的增强学习方法来调优深度学习模型的参数,具体地,可以通过以下损失函数去优化深度学习模型的参数:
loss=-∑log(paction)*rewardaction
其中,paction代表action对应的概率(P),rewardaction代表action对应的得分权重(reward),rewardaction可以自行设定,例如不同的action设定不同的得分权重。
本申请实施例的技术方案,根据金融数值的特点,将数值作为特征并结合NER方法抽取数值与其他属性信息之间的关系。此外,通过增强学习方法可以实现对深度学习模型的参数的微调,即实现对NER结果的微调。需要说明的是,在任何事件抽取的问题中,如果有唯一的一个实体能够锁定其他的实体(在数值抽取中数字这个实体锁定了其他的实体),则可将该实体作为本申请实施例中的第一目标实体,进而采用本申请实施的技术方案抽取该实体对应的属性信息。
图4为本申请实施例提供的信息抽取装置的结构组成示意图,如图4所示,所述信息抽取装置包括:
获取单元401,用于获取待抽取文本中的第一目标实体;
处理单元402,用于利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,得到所述第一目标实体对应的属性信息。
在一可选方式中,所述处理单元402,还用于基于训练样本和所述训练样本的标注信息,对所述深度学习模型进行训练;其中,所述训练样本的标注信息包括所述训练样本中的标注实体以及该标注实体对应的标注属性信息。
在一可选方式中,所述训练样本中的标注实体以及该标注实体对应的标注属性信息基于业务需求确定。
在一可选方式中,所述处理单元402,具体用于执行以下步骤:
从所述训练样本中获取第二目标实体,所述第二目标实体是所述训练样本中的标注实体;
利用所述深度学习模型对所述第二目标实体和所述训练样本进行处理,得到所述第二目标实体对应的预测属性信息;
计算所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值;
基于所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值,更新所述深度学习模型的参数,并迭代执行利用所述深度学习模型对所述第二目标实体和所述训练样本进行处理的步骤,直到所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值满足预设条件为止。
在一可选方式中,所述处理单元402,还用于执行以下步骤:
利用强化学习模型对训练完成后的所述深度学习模型的参数进行调整;
所述利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,包括:
利用基于强化学习模型而进行参数调整后的所述深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理。
在一可选方式中,所述第一目标实体在所述待抽取文本中具有唯一性。
在一可选方式中,所述第一目标实体的类型为数值。
这里需要指出的是:以上装置实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本申请装置实施例中未披露的技术细节,本领域的技术人员请参照本申请方法实施例的描述而理解,为节约篇幅,这里不再赘述。
本申请实施例还提供了一种电子设备,包括:一个或多个处理器;与所述一个或多个处理器通信连接的存储器;一个或多个应用程序;其中,所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被配置为执行以上所述的方法。
在一具体示例中,本申请实施例所述的电子设备可具体为如图5所示的结构,所述电子设备至少包括处理器51、存储介质52以及至少一个外部通信接口53;所述处理器51、存储介质52以及外部通信接口53均通过总线54连接。所述处理器51可为微处理器、中央处理器、数字信号处理器或可编程逻辑阵列等具有处理功能的电子元器件。所述存储介质中存储有计算机可执行代码,所述计算机可执行代码能够执行以上任一实施例所述的方法。在实际应用中,所述处理单元402均可以通过所述处理器51实现。
这里需要指出的是:以上电子设备实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本申请电子设备实施例中未披露的技术细节,本领域的技术人员请参照本申请方法实施例的描述而理解,为节约篇幅,这里不再赘述。
本申请实施例还提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现以上所述的方法。
这里,计算机可读存储介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
上述所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
Claims (5)
1.一种信息抽取方法,其特征在于,所述方法包括:
获取待抽取文本中的第一目标实体;其中,所述待抽取文本属于金融数据的文本;所述第一目标实体的类型为数值;所述第一目标实体在所述待抽取文本中具有唯一性;
利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,得到所述第一目标实体对应的属性信息;
其中,所述利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理之前,所述方法还包括:
基于训练样本和所述训练样本的标注信息,对所述深度学习模型进行训练;其中,所述训练样本的标注信息包括所述训练样本中的标注实体以及该标注实体对应的标注属性信息;
其中,所述基于训练样本和所述训练样本的标注信息,对所述深度学习模型进行训练,包括:
从所述训练样本中获取第二目标实体,所述第二目标实体是所述训练样本中的标注实体;
利用所述深度学习模型对所述第二目标实体和所述训练样本进行处理,得到所述第二目标实体对应的预测属性信息;
计算所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值;
基于所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值,更新所述深度学习模型的参数,并迭代执行利用所述深度学习模型对所述第二目标实体和所述训练样本进行处理的步骤,直到所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值满足预设条件为止;
其中,所述方法还包括:
利用强化学习模型对训练完成后的所述深度学习模型的参数进行调整;
所述利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,包括:
利用基于强化学习模型而进行参数调整后的所述深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理。
2.根据权利要求1所述的方法,其特征在于,所述训练样本中的标注实体以及该标注实体对应的标注属性信息基于业务需求确定。
3.一种信息抽取装置,其特征在于,所述装置包括:
获取单元,用于获取待抽取文本中的第一目标实体;其中,所述第一目标实体的类型为数值;所述第一目标实体在所述待抽取文本中具有唯一性;
处理单元,用于利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,得到所述第一目标实体对应的属性信息;
其中,所述处理单元,还用于基于训练样本和所述训练样本的标注信息,对所述深度学习模型进行训练;其中,所述训练样本的标注信息包括所述训练样本中的标注实体以及该标注实体对应的标注属性信息;
所述处理单元,具体用于执行以下步骤:
从所述训练样本中获取第二目标实体,所述第二目标实体是所述训练样本中的标注实体;
利用所述深度学习模型对所述第二目标实体和所述训练样本进行处理,得到所述第二目标实体对应的预测属性信息;
计算所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值;
基于所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值,更新所述深度学习模型的参数,并迭代执行利用所述深度学习模型对所述第二目标实体和所述训练样本进行处理的步骤,直到所述第二目标实体对应的预测属性信息和所述第二目标实体对应的标注属性信息的损失值满足预设条件为止;
所述处理单元,还用于执行以下步骤:
利用强化学习模型对训练完成后的所述深度学习模型的参数进行调整;
所述利用深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理,包括:利用基于强化学习模型而进行参数调整后的所述深度学习模型对所述待抽取文本中的第一目标实体和所述待抽取文本进行处理。
4.一种电子设备,其特征在于,包括:
一个或多个处理器;
与所述一个或多个处理器通信连接的存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被配置为执行权利要求1或2所述的方法。
5.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1或2所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010494040.1A CN111651994B (zh) | 2020-06-03 | 2020-06-03 | 一种信息抽取方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010494040.1A CN111651994B (zh) | 2020-06-03 | 2020-06-03 | 一种信息抽取方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111651994A CN111651994A (zh) | 2020-09-11 |
CN111651994B true CN111651994B (zh) | 2023-09-19 |
Family
ID=72351145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010494040.1A Active CN111651994B (zh) | 2020-06-03 | 2020-06-03 | 一种信息抽取方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111651994B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111898757A (zh) * | 2020-09-29 | 2020-11-06 | 北京擎盾信息科技有限公司 | 数值数据的获取系统、神经网络全连接模型及训练方法 |
CN112560434B (zh) * | 2020-12-16 | 2024-05-28 | 北京百度网讯科技有限公司 | 确定文本中要素属性冲突的方法、装置、设备和介质 |
CN113268452B (zh) * | 2021-05-25 | 2024-02-02 | 联仁健康医疗大数据科技股份有限公司 | 一种实体抽取的方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107783960A (zh) * | 2017-10-23 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 用于抽取信息的方法、装置和设备 |
CN110008472A (zh) * | 2019-03-29 | 2019-07-12 | 北京明略软件系统有限公司 | 一种实体抽取的方法、装置、设备和计算机可读存储介质 |
CN110413999A (zh) * | 2019-07-17 | 2019-11-05 | 新华三大数据技术有限公司 | 实体关系抽取方法、模型训练方法及相关装置 |
CN110765774A (zh) * | 2019-10-08 | 2020-02-07 | 北京三快在线科技有限公司 | 信息抽取模型的训练方法、装置及信息抽取方法、装置 |
CN111143536A (zh) * | 2019-12-30 | 2020-05-12 | 腾讯科技(深圳)有限公司 | 基于人工智能的信息抽取方法及存储介质和相关装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2665239C2 (ru) * | 2014-01-15 | 2018-08-28 | Общество с ограниченной ответственностью "Аби Продакшн" | Автоматическое извлечение именованных сущностей из текста |
US10740560B2 (en) * | 2017-06-30 | 2020-08-11 | Elsevier, Inc. | Systems and methods for extracting funder information from text |
-
2020
- 2020-06-03 CN CN202010494040.1A patent/CN111651994B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107783960A (zh) * | 2017-10-23 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 用于抽取信息的方法、装置和设备 |
CN110008472A (zh) * | 2019-03-29 | 2019-07-12 | 北京明略软件系统有限公司 | 一种实体抽取的方法、装置、设备和计算机可读存储介质 |
CN110413999A (zh) * | 2019-07-17 | 2019-11-05 | 新华三大数据技术有限公司 | 实体关系抽取方法、模型训练方法及相关装置 |
CN110765774A (zh) * | 2019-10-08 | 2020-02-07 | 北京三快在线科技有限公司 | 信息抽取模型的训练方法、装置及信息抽取方法、装置 |
CN111143536A (zh) * | 2019-12-30 | 2020-05-12 | 腾讯科技(深圳)有限公司 | 基于人工智能的信息抽取方法及存储介质和相关装置 |
Non-Patent Citations (2)
Title |
---|
庄传志 ; 靳小龙 ; 朱伟建 ; 刘静伟 ; 白龙 ; 程学旗 ; .基于深度学习的关系抽取研究综述.中文信息学报.2019,(第12期),全文. * |
李枫林 ; 柯佳 ; .基于深度学习框架的实体关系抽取研究进展.情报科学.2018,(第03期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111651994A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11734328B2 (en) | Artificial intelligence based corpus enrichment for knowledge population and query response | |
US11163956B1 (en) | System and method for recognizing domain specific named entities using domain specific word embeddings | |
CN111651994B (zh) | 一种信息抽取方法、装置、电子设备和存储介质 | |
US8452772B1 (en) | Methods, systems, and articles of manufacture for addressing popular topics in a socials sphere | |
CN108153729A (zh) | 一种面向金融领域的知识抽取方法 | |
Plepi et al. | Context transformer with stacked pointer networks for conversational question answering over knowledge graphs | |
CN113051374B (zh) | 一种文本匹配优化方法及装置 | |
CN111046660B (zh) | 一种识别文本专业术语的方法及装置 | |
CN113705237B (zh) | 融合关系短语知识的关系抽取方法、装置和电子设备 | |
CN111324738B (zh) | 一种确定文本标签的方法和系统 | |
CN112036184A (zh) | 基于BiLSTM网络模型及CRF模型的实体识别方法、装置、计算机装置及存储介质 | |
CN117454884B (zh) | 历史人物信息纠错方法、系统、电子设备和存储介质 | |
CN110750977A (zh) | 一种文本相似度计算方法及系统 | |
CN110991185A (zh) | 一种文章中实体的属性抽取方法及装置 | |
CN113934909A (zh) | 基于预训练语言结合深度学习模型的金融事件抽取方法 | |
CN112800239A (zh) | 意图识别模型训练方法、意图识别方法及装置 | |
CN111709225B (zh) | 一种事件因果关系判别方法、装置和计算机可读存储介质 | |
CN113515587B (zh) | 一种标的物信息提取方法、装置、计算机设备及存储介质 | |
CN111723583B (zh) | 基于意图角色的语句处理方法、装置、设备及存储介质 | |
CN113705207A (zh) | 语法错误识别方法及装置 | |
Pan et al. | Research on the Training and Application Methods of a Lightweight Agricultural Domain-Specific Large Language Model Supporting Mandarin Chinese and Uyghur | |
CN114611489A (zh) | 文本逻辑条件抽取ai模型构建方法、抽取方法及系统 | |
CN112395429A (zh) | 基于图神经网络的hs编码判定、推送、应用方法、系统及存储介质 | |
CN112925961A (zh) | 一种基于企业实体的智能问答方法及装置 | |
CN112559697A (zh) | 识别话术意图的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |