CN111522928A - 一种知识抽取方法、装置、设备和介质 - Google Patents

一种知识抽取方法、装置、设备和介质 Download PDF

Info

Publication number
CN111522928A
CN111522928A CN202010312552.1A CN202010312552A CN111522928A CN 111522928 A CN111522928 A CN 111522928A CN 202010312552 A CN202010312552 A CN 202010312552A CN 111522928 A CN111522928 A CN 111522928A
Authority
CN
China
Prior art keywords
state
sequence
time step
reward
predictor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010312552.1A
Other languages
English (en)
Other versions
CN111522928B (zh
Inventor
李旭
孙明明
李平
刘桂良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010312552.1A priority Critical patent/CN111522928B/zh
Publication of CN111522928A publication Critical patent/CN111522928A/zh
Application granted granted Critical
Publication of CN111522928B publication Critical patent/CN111522928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种知识抽取方法、装置、设备和介质，涉及自然语言处理技术。具体实现方案为：获取输入文本、预先训练的预测器和奖励拟合器；依据强化学习的方法，对输入文本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据预测器输出的预测序列中与各时间步下每个状态对应的下一个位置上所有单词的概率，和奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作；根据对状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定目标输出文本序列。本申请实施例通过在强化学习中增加对状态空间的探索，避免了预测阶段模型被困在局部最小值，并能细化到字词级别的评价，从而提高了模型的准确率和召回率。

Description

一种知识抽取方法、装置、设备和介质
技术领域
本申请涉及互联网领域，尤其涉及一种自然语言处理技术，具体涉及一种知识抽取方法、装置、设备和介质。
背景技术
在互联网上，每天都会产生海量的非结构化文本数据，这些文本数据中(比如新闻、博客)包含了大量的非结构化的信息，这些非结构化的信息人类是可以容易理解的，但是计算机很难对其进行运算和逻辑处理。因此，需要通过信息抽取任务，从非结构化的自然语言中抽取结构化的信息，比如实体、实体之间的关系等。
信息抽取包括垂直领域信息抽取任务和开放领域信息抽取任务。其中，垂直领域信息抽取任务是在一个已定义好的刚要系统中进行信息抽取工作。而开放领域信息抽取工作则不存在这个预先定义好的刚要系统，通常着重在挖掘自然语言中蕴含的知识，以及表达知识的方法，并从开放领域自然语言中提取实体以及实体之间的关系，我们称这种实体以及实体间关系为自然语言中蕴含的知识或事实。这些知识在很多任务中是非常有价值的，比如：文本摘要、阅读理解和基于知识的问答系统等。
然而，现有的开放领域信息抽取方法的准确率和召回率并不高。
发明内容
本申请实施例提供一种知识抽取方法、装置、设备和介质，以提高知识抽取的准确率和召回率。
第一方面，本申请实施例提供了一种知识抽取方法，包括：
获取输入文本、预先训练的预测器和奖励拟合器，其中，所述预测器用于对输入文本进行序列预测，确定输出的预测序列的每个位置上预置单词表中所有单词的概率，所述奖励拟合器用于根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励；
依据强化学习的方法，对所述输入文本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器输出的所述预测序列中与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作，其中，所述状态空间表示所述预置单词表中所有单词在一个序列上的排列组合；
根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定目标输出文本序列，其中，所述目标输出文本序列中包括至少一个知识。
第二方面，本申请实施例还提供了一种知识抽取装置，包括：
获取模块，用于获取输入文本、预先训练的预测器和奖励拟合器，其中，所述预测器用于对输入文本进行序列预测，确定输出的预测序列的每个位置上预置单词表中所有单词的概率，所述奖励拟合器用于根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励；
状态空间搜索模块，用于依据强化学习的方法，对所述输入文本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器输出的所述预测序列中与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作，其中，所述状态空间表示所述预置单词表中所有单词在一个序列上的排列组合；
知识确定模块，用于根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定目标输出文本序列，其中，所述目标输出文本序列中包括至少一个知识。
第三方面，本申请实施例还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的知识抽取方法。
第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的知识抽取方法。
根据本申请实施例的技术方案，基于强化学习技术实现从文本中抽取知识，并且在预测阶段，在强化学习中增加了对状态空间的探索，将预测器和奖励拟合器作为两个组件，并据此来确定搜索过程中各时间步下每个状态选择的动作，避免了预测阶段模型被困在局部最小值，同时能够细化到字词级别的评价，从而提高了模型的准确率和召回率。
应当理解，本部分所描述的内容并非旨在标识本申请实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解，上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的知识抽取方法的流程示意图；
图2是根据本申请第二实施例的知识抽取方法的流程示意图；
图3是根据本申请第三实施例的知识抽取装置的结构示意图；
图4是用来实现本申请实施例的知识抽取方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的知识抽取方法的流程示意图，本实施例可适用于从任意文本中抽取知识的情况。该方法可由一种知识抽取装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如服务器或计算机设备等。如图1所示，该方法具体包括如下：
S101、获取输入文本、预先训练的预测器和奖励拟合器，其中，所述预测器用于对输入文本进行序列预测，确定输出的预测序列的每个位置上预置单词表中所有单词的概率，所述奖励拟合器用于根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励。
具体的，对所述输入文本的来源本申请实施例不做任何限定，可以是任意输入文本。本申请实施例可以从该输入文本中抽取知识，知识可以包括实体以及实体之间的关系。例如，对于开放领域中的输入文本：“唐娜·凯伦(Donna Karan)出生于纽约长岛，对纽约这个世界大都会有着一份特殊的感悟。”，通过本申请实施例，可以从中抽取的知识至少包括：(唐娜·凯伦|_|Donna Karan)；(唐娜凯伦|出生于|长岛)；(唐娜·凯伦|对X有着Y|纽约|一份特殊的感悟)；(长岛|IN|纽约)；(纽约|ISA|世界大都会)。其中，每个括号所包括的序列就表示一个知识，每个知识由主语、关系和宾语组成，并用竖线“|”分隔开，由此以符号辅助知识表示的格式对抽取出的知识进行存储，使得知识获取的效率更高，也便于区分不同的知识。
所述预测器是预先训练得到的，用于对输入文本进行序列预测，确定输出的预测序列的每个位置上预置单词表中所有单词的概率。也即，所述预测器是一个序列到序列的模型，例如包括分别由门循环单元(gated recurrent units)组成的编码器和解码器，输入序列通过解码器和编码器得到输出的预测序列的每个位置上预置单词表中所有单词的概率。其中，所述预置单词表可以根据具体适用的场景进行配置，若采用以符号辅助知识表示的格式对抽取出的知识进行存储，则例如上述的括号和竖线等符号也作为单词存在于预置单词表中。
所述奖励拟合器也是预先训练得到的，用于根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励，用在接下来对状态空间的搜索过程中。具体而言，奖励拟合模型可以基于双塔结构来构建，输入文本和预测器输出的预测序列中的至少一个知识均经过双向LSTM(Long Short-Term Memory，长短期记忆网络)进行编码，编码后的结果经过链接后作为特征，通过前传网络生成拟合的奖励。
这里需要说明的是，本申请实施例基于强化学习的方法对开放领域信息进行知识抽取，例如，可以将该抽取任务整体建模为一个马尔科夫决策过程，输入的是输入文本序列，输出的是输出文本序列，由多个单词组成，并且在输出文本序列中包含N个知识。其中，马尔科夫决策过程中需要基于每一步的状态选择需要生成的下一个单词作为执行的动作，并且定义当前生成的所有知识与真实知识的相似性指标来对当前步生成的单词进行评价。然而，在预测阶段并不知道真实的知识，因此，本申请实施例中利用训练好的奖励拟合器，在预测阶段，根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励，也即，确定预测的结果在多大程度上接近于正确的真实结果，并将此奖励用在接下来对状态空间的搜索过程中，确定每个状态下选择什么动作(单词)获益最高。
S102、依据强化学习的方法，对所述输入文本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器输出的所述预测序列中与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作，其中，所述状态空间表示所述预置单词表中所有单词在一个序列上的排列组合。
在强化学习方法中，强化学习会在没有任何标签的情况下，通过先尝试做出一些行为得到一个结果，通过这个结果是对还是错的反馈，调整之前的行为，就这样不断的调整，因此，模型能够学习到在什么样的情况下选择什么样的行为可以得到最好的结果。然而，现有的利用强化学习来解决知识抽取的方法中，虽然也是利用强化学习，但是这些现有技术只是在模型训练阶段按照强化学习的方法进行训练，利用模型最终的预测结果和真实知识的相似度来作为奖励优化模型，模型训练好之后，在预测阶段就是直接用该模型进行预测，而预测阶段并不涉及奖励，模型的输出就是提取出来的知识。但是，这其中就存在两方面的问题：①预测阶段缺少对状态空间的搜索，容易造成模型被困在局部最小值的问题；②训练阶段，虽然有奖励，但是中间每一时间步的奖励其实是零，只有最终的预测序列才会与真实知识计算相似度并作为奖励，因此其奖励指标是序列级别的相似性，并不能细化到字词级别，影响模型整体的准确性和召回率。
然而，本申请实施例的技术方案，在强化学习中增加了对状态空间的搜索，也即，在预测阶段，实现对输出文本序列的状态空间的搜索，并且，将训练好的预测器和奖励拟合器作为两个组件，在搜索过程中，根据预测器输出的预测序列中与各时间步下每个状态对应的下一个位置上所有单词的概率，和奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作。一方面，完成对状态空间中可能的候选序列的搜索，可以避免模型被困在局部最小值，导致结果不够准确；另一方面，在预测阶段由于搜索的过程中每一时间步的每一个状态下都会依据奖励来确定要选择的动作，相当于其奖励指标是在字词级别实现的，因此，经过搜索确立的最终的输出文本序列的准确性和召回率会更高。
具体而言，在搜索过程中，确定各时间步下每个状态选择的动作，是以预测器输出的预测序列中与各时间步下每个状态对应的下一个位置上所有单词的概率，和奖励拟合器对应拟合得到的奖励作为依据，例如，可以是概率和奖励的加权和，然后将得到的结果中最大值对应的动作作为当前执行的动作。其中，奖励的含义可以理解为当前选择要执行的动作对下一个状态而言能够具有多大的价值。
通常，初始时的状态是输入文本序列，在唐娜·凯伦的例子中，对于知识“(唐娜凯伦|出生于|长岛)”，第一个状态是“(”，第二个状态是“(唐娜凯伦”，第三个状态是“(唐娜凯伦|”，以此类推，而相应的，第一个时间步确定的要执行的动作是“(”，第二个时间步确定的要执行的动作是“唐娜凯伦”，第三个时间步确定的要执行的动作是“|”，以此类推。只不过，为了实现对所有状态空间的搜索，在每一个时间步下确定要执行的动作之前，要对所有单词在预测序列上的多种排列组合进行搜索，最终会通过选择要执行的动作对下一个状态以及序列中后面的各个状态具有多大的价值来最终确定。
S103、根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定目标输出文本序列，其中，所述目标输出文本序列中包括至少一个知识。
其中，所述目标输出文本序列，是以符号辅助知识表示的格式进行存储。示例性的，在上述唐娜凯伦的例子中，每一个括号及其包含的内容就作为一个知识，几个知识组合在一起，就构成目标输出文本序列。但是，本申请实施例对采用的具体符号不做任何限定。
接下来，具体描述下所述预测器和奖励拟合器的训练过程，包括如下：
(1)获取用于训练的输入文本样本集，以及各输入文本样本对应的真实输出文本序列；
(2)依据强化学习的方法，对各输入文本样本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器基于其当前网络参数输出的预测序列中，与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述预测器在每个状态下的预测序列与各状态对应的真实输出文本序列的相似度，确定各时间步下每个状态选择的动作；
(3)根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定各输入文本样本的目标输出文本序列；
(4)针对每个输入文本样本进行搜索的过程中，将所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度作为奖励函数，通过强化学习中的策略算法更新所述预测器的当前网络参数；
(5)根据基于知识的序列相似度函数计算所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度g，根据所述相似度g和所述奖励拟合模型基于其当前网络参数输出的拟合结果，确定所述奖励拟合模型的损失函数，并通过所述损失函数的反馈对所述奖励拟合器的当前网络参数进行更新。
可以看出，训练过程与预测过程是类似的，都要执行对状态空间的搜索，区别在于，训练阶段是用真实序列来计算奖励，而预测阶段用的是奖励拟合器。
具体的，针对每个输入文本样本进行搜索的过程中，将预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度作为奖励函数，通过强化学习中的策略算法更新所述预测器的当前网络参数。例如，在唐娜·凯伦的例子中，假设当前时间步的状态是“(唐娜凯伦”，确定要执行的目标动作是“出生于”，那么其转移后的状态是“(唐娜凯伦出生于”，对应的预测序列也就是“(唐娜凯伦出生于”，而当前时间步的状态对应的真实输出文本序列是“(唐娜凯伦|”，于是，会计算这两个序列之间的相似度，并将结果作为奖励函数，通过策略算法更新所述预测器的当前网络参数。并且对每一时间步均是如此。这样通过对大量样本的训练，就可以确定最终的网络参数，得到训练后的预测器。其中，所述策略算法为强化学习中的现有算法，此处不再赘述。
对奖励拟合器的训练可以同时进行，训练过程中对奖励拟合器的当前网络参数进行更新，是基于奖励拟合模型的损失函数。具体的，奖励拟合器的输入有两个，一个是各输入文本样本，一个是预测器在各时间步执行目标动作后转移的状态下的预测序列中的至少一个知识，奖励拟合器会基于其当前网络参数对这两个输入进行拟合得到拟合结果，损失函数就是根据该拟合结果，和基于知识的序列相似度函数计算所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度g确定的。例如，可以根据所述相似度g和拟合结果的平均平方差确定该损失函数。
这里需要说明的是，奖励拟合函数是对输入文本和预测序列中的至少一个知识进行拟合，来确定预测的结果在多大程度上接近于正确的真实结果。而这种基于预测序列中知识的拟合，可以不受知识的顺序的限制，也即，如果预测结果序列中知识的顺序发生了变化，但是其与正确的真实结果的相近程度不变，这样就可以提高奖励拟合的灵活性，适用范围更广。
本申请实施例的技术方案，基于强化学习技术实现从文本中抽取知识，并且在预测阶段，在强化学习中增加了对状态空间的探索，将预测器和奖励拟合器作为两个组件，并据此来确定搜索过程中各时间步下每个状态选择的动作，避免了预测阶段模型被困在局部最小值，同时能够细化到字词级别的评价，从而提高了模型的准确率和召回率，继而能够高质量地完成知识图谱构建、自然语言理解和对话系统开发等工作。
图2是根据本申请第二实施例的知识抽取方法的流程示意图，本实施例在上述实施例的基础上进一步优化为利用蒙特卡洛树搜索实现状态空间的搜索。如图2所示，该方法具体包括如下：
S201、获取输入文本、预先训练的预测器和奖励拟合器。
其中，所述预测器用于对输入文本进行序列预测，确定输出的预测序列的每个位置上预置单词表中所有单词的概率，所述奖励拟合器用于根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励。预测器和奖励拟合器的详细内容与上述实施例中描述相同，此处不再赘述。
S202、依据强化学习的方法，对所述输入文本的输出文本序列的状态空间进行蒙特卡洛树搜索，并在搜索过程中，在任意当前时间步的当前状态下，获取该当前状态节点的下一层各候选节点对应的概率和价值。
其中，在蒙特卡洛树搜索算法中，树的节点表示状态，每个节点保存有状态转移时执行的动作、历史上该节点被选择的次数、该节点的价值以及由所述预测器输出的预测序列中与该节点的状态对应的下一个位置上所述执行的动作的概率；其中，对于非叶子节点，所述价值是该节点的子树上所有节点的价值的均值；对于叶子节点，所述价值是所述奖励拟合器根据所述输入文本和所述预测器在当前状态下的预测序列中的至少一个知识进行拟合得到的奖励。
S203、根据各候选节点被选择的次数、所述概率和所述价值进行计算，将计算结果中值最大的候选节点保存的所述状态转移时执行的动作，作为所述当前状态下选择的动作。
蒙特卡洛树搜索算法包括四个过程：选择、评价、扩展和回传。其中，选择是指，在每个状态下选择要执行的动作，通过S203中的计算，就可以基于计算结果确定每个状态下选择的动作；扩展是指，搜索执行到叶子节点的时候，根据所述概率往树结构的下一层也就是下一个状态进行扩展，扩展一定数量的当前叶子节点的子节点；评价是指，搜索执行到叶子节点的时候，计算当前选择的动作序列的奖励，也就是奖励拟合器依据输入文本序列和当前选择的动作序列中至少一个知识进行拟合后的结果；回传是指，搜索执行到叶子节点的时候，更新当前搜索的整条路径上所有节点的访问次数，并依据该条路径上所有节点的子树上的节点的价值的均值，更新该条路径上所有节点的价值。
此外，由于互联网上数据量巨大，可以采取并行搜索的方式，也即，在一个选择、扩展、评价和回传周期，在树的维度并行化进行。
S204、在所述当前时间步的根节点状态下，对所述状态空间中的各候选预测序列执行所述搜索过程，并在执行次数满足预设条件时，根据从所述当前时间步的根节点出发的所有路径上节点的访问次数的概率分布，确定所述当前时间步的根节点选择的目标动作。
由此，在每一个时间步下，对状态空间中可能的序列状态进行上述搜索，例如一万次，之后就可以根据得到的节点的访问次数的概率分布，确定每一个时间步的根节点选择的目标动作。
S205、将所述当前时间步的根节点选择所述目标动作后转移到的状态节点，作为下一时间步的根节点，并在该下一时间步的根节点状态下重复执行所述搜索过程，确定该下一时间步的根节点选择的目标动作，直到搜索至具有序列终结标志的根节点为止。
例如，在唐娜·凯伦的例子中，假设在第一个时间步确定要执行的动作是“(”，对应第一个状态就是“(”，在确定选择的动作是“(”之前，就需要执行如S202-S204的搜索过程，以确定选择执行哪一个动作对序列中各状态的总价值最大。然后，将“(”的状态节点作为下一时间步的根节点，重复该搜索过程，这样，每一个时间步都会确定一个要选择的目标动作，直到搜索至具有序列终结标志的根节点为止，就可以根据目标动作确定最终的目标输出文本序列。
S206、根据各时间步的根节点选择的目标动作确定所述目标输出文本序列。
本申请实施例的技术方案，基于强化学习技术实现从文本中抽取知识，并且在预测阶段，在强化学习中增加了对状态空间的蒙特卡洛树探索，将预测器和奖励拟合器作为两个组件，并据此来确定搜索过程中各时间步下每个状态选择的动作，而蒙特卡洛树搜索能够探索到的状态空间更加深入和全面，避免了预测阶段模型被困在局部最小值，同时能够细化到字词级别的评价，从而提高了模型的准确率和召回率，继而能够高质量地完成知识图谱构建、自然语言理解和对话系统开发等工作。
图3是根据本申请第三实施例的知识抽取装置的结构示意图，本实施例可适用于从任意文本中抽取知识的情况。该装置可实现本申请任意实施例所述的知识抽取方法。如图3所示，该装置300具体包括：
获取模块301，用于获取输入文本、预先训练的预测器和奖励拟合器，其中，所述预测器用于对输入文本进行序列预测，确定输出的预测序列的每个位置上预置单词表中所有单词的概率，所述奖励拟合器用于根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励；
状态空间搜索模块302，用于依据强化学习的方法，对所述输入文本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器输出的所述预测序列中与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作，其中，所述状态空间表示所述预置单词表中所有单词在一个序列上的排列组合；
知识确定模块303，用于根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定目标输出文本序列，其中，所述目标输出文本序列中包括至少一个知识。
可选的，所述状态空间搜索模块具体用于：
利用蒙特卡洛树搜索算法，对所述输入文本的输出文本序列的状态空间进行搜索。
可选的，在所述蒙特卡洛树搜索算法中，树的节点表示状态，每个节点保存有状态转移时执行的动作、历史上该节点被选择的次数、该节点的价值以及由所述预测器输出的所述预测序列中与该节点的状态对应的下一个位置上所述执行的动作的概率；
其中，对于非叶子节点，所述价值是该节点的子树上所有节点的价值的均值；对于叶子节点，所述价值是所述奖励拟合器根据所述输入文本和所述预测器在当前状态下的预测序列中的至少一个知识进行拟合得到的奖励。
可选的，所述状态空间搜索模块具体还用于：
在任意当前时间步的当前状态下，获取该当前状态节点的下一层各候选节点对应的所述概率和所述价值；
根据各候选节点被选择的次数、所述概率和所述价值进行计算，将计算结果中值最大的候选节点保存的所述状态转移时执行的动作，作为所述当前状态下选择的动作。
可选的，所述知识确定模块具体用于：
在所述当前时间步的根节点状态下，对所述状态空间中的各候选预测序列执行所述搜索过程，并在执行次数满足预设条件时，根据从所述当前时间步的根节点出发的所有路径上节点的访问次数的概率分布，确定所述当前时间步的根节点选择的目标动作；
将所述当前时间步的根节点选择所述目标动作后转移到的状态节点，作为下一时间步的根节点，并在该下一时间步的根节点状态下重复执行所述搜索过程，确定该下一时间步的根节点选择的目标动作，直到搜索至具有序列终结标志的根节点为止；
根据各时间步的根节点选择的目标动作确定所述目标输出文本序列。
可选的，所述装置还包括训练模块，具体用于：
获取用于训练的输入文本样本集，以及各输入文本样本对应的真实输出文本序列；
依据强化学习的方法，对各输入文本样本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器基于其当前网络参数输出的预测序列中，与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述预测器在每个状态下的预测序列与各状态对应的真实输出文本序列的相似度，确定各时间步下每个状态选择的动作；
根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定各输入文本样本的目标输出文本序列；
针对每个输入文本样本进行搜索的过程中，将所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度作为奖励函数，通过强化学习中的策略算法更新所述预测器的当前网络参数；
根据基于知识的序列相似度函数计算所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度g，根据所述相似度g和所述奖励拟合模型基于其当前网络参数输出的拟合结果，确定所述奖励拟合模型的损失函数，并通过所述损失函数的反馈对所述奖励拟合器的当前网络参数进行更新。
可选的，所述目标输出文本序列，是以符号辅助知识表示的格式进行存储。
本申请实施例提供的知识抽取装置300可执行本申请任意实施例提供的知识抽取方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的知识抽取方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的知识抽取方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的知识抽取方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的知识抽取方法对应的程序指令/模块(例如，附图3所示的获取模块301、状态空间搜索模块302和知识确定模块303)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的知识抽取方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现本申请实施例的知识抽取方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至实现本申请实施例的知识抽取方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现本申请实施例的知识抽取方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与实现本申请实施例的知识抽取方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，基于强化学习技术实现从文本中抽取知识，并且在预测阶段，在强化学习中增加了对状态空间的探索，将预测器和奖励拟合器作为两个组件，并据此来确定搜索过程中各时间步下每个状态选择的动作，避免了预测阶段模型被困在局部最小值，同时能够细化到字词级别的评价，从而提高了模型的准确率和召回率，继而能够高质量地完成知识图谱构建、自然语言理解和对话系统开发等工作。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种知识抽取方法，其特征在于，包括：
获取输入文本、预先训练的预测器和奖励拟合器，其中，所述预测器用于对输入文本进行序列预测，确定输出的预测序列的每个位置上预置单词表中所有单词的概率，所述奖励拟合器用于根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励；
依据强化学习的方法，对所述输入文本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器输出的所述预测序列中与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作，其中，所述状态空间表示所述预置单词表中所有单词在一个序列上的排列组合；
根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定目标输出文本序列，其中，所述目标输出文本序列中包括至少一个知识。
2.根据权利要求1所述的方法，其特征在于，所述对所述输入文本的输出文本序列的状态空间进行搜索，包括：
利用蒙特卡洛树搜索算法，对所述输入文本的输出文本序列的状态空间进行搜索。
3.根据权利要求2所述的方法，其特征在于，在所述蒙特卡洛树搜索算法中，树的节点表示状态，每个节点保存有状态转移时执行的动作、历史上该节点被选择的次数、该节点的价值以及由所述预测器输出的所述预测序列中与该节点的状态对应的下一个位置上所述执行的动作的概率；
其中，对于非叶子节点，所述价值是该节点的子树上所有节点的价值的均值；对于叶子节点，所述价值是所述奖励拟合器根据所述输入文本和所述预测器在当前状态下的预测序列中的至少一个知识进行拟合得到的奖励。
4.根据权利要求3所述的方法，其特征在于，所述在搜索过程中，根据所述预测器输出的所述预测序列中与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作，包括：
在任意当前时间步的当前状态下，获取该当前状态节点的下一层各候选节点对应的所述概率和所述价值；
根据各候选节点被选择的次数、所述概率和所述价值进行计算，将计算结果中值最大的候选节点保存的所述状态转移时执行的动作，作为所述当前状态下选择的动作。
5.根据权利要求4所述的方法，其特征在于，所述根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定目标输出文本序列，包括：
在所述当前时间步的根节点状态下，对所述状态空间中的各候选预测序列执行所述搜索过程，并在执行次数满足预设条件时，根据从所述当前时间步的根节点出发的所有路径上节点的访问次数的概率分布，确定所述当前时间步的根节点选择的目标动作；
将所述当前时间步的根节点选择所述目标动作后转移到的状态节点，作为下一时间步的根节点，并在该下一时间步的根节点状态下重复执行所述搜索过程，确定该下一时间步的根节点选择的目标动作，直到搜索至具有序列终结标志的根节点为止；
根据各时间步的根节点选择的目标动作确定所述目标输出文本序列。
6.根据权利要求1所述的方法，其特征在于，所述预测器和奖励拟合器的训练过程包括：
获取用于训练的输入文本样本集，以及各输入文本样本对应的真实输出文本序列；
依据强化学习的方法，对各输入文本样本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器基于其当前网络参数输出的预测序列中，与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述预测器在每个状态下的预测序列与各状态对应的真实输出文本序列的相似度，确定各时间步下每个状态选择的动作；
根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定各输入文本样本的目标输出文本序列；
针对每个输入文本样本进行搜索的过程中，将所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度作为奖励函数，通过强化学习中的策略算法更新所述预测器的当前网络参数；
根据基于知识的序列相似度函数计算所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度g，根据所述相似度g和所述奖励拟合模型基于其当前网络参数输出的拟合结果，确定所述奖励拟合模型的损失函数，并通过所述损失函数的反馈对所述奖励拟合器的当前网络参数进行更新。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述目标输出文本序列，是以符号辅助知识表示的格式进行存储。
8.一种知识抽取装置，其特征在于，包括：
获取模块，用于获取输入文本、预先训练的预测器和奖励拟合器，其中，所述预测器用于对输入文本进行序列预测，确定输出的预测序列的每个位置上预置单词表中所有单词的概率，所述奖励拟合器用于根据输入文本和所述预测器输出的预测序列中的至少一个知识进行拟合，并将拟合的结果作为奖励；
状态空间搜索模块，用于依据强化学习的方法，对所述输入文本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器输出的所述预测序列中与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述奖励拟合器对应拟合得到的奖励，确定各时间步下每个状态选择的动作，其中，所述状态空间表示所述预置单词表中所有单词在一个序列上的排列组合；
知识确定模块，用于根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定目标输出文本序列，其中，所述目标输出文本序列中包括至少一个知识。
9.根据权利要求8所述的装置，其特征在于，所述状态空间搜索模块具体用于：
利用蒙特卡洛树搜索算法，对所述输入文本的输出文本序列的状态空间进行搜索。
10.根据权利要求9所述的装置，其特征在于，在所述蒙特卡洛树搜索算法中，树的节点表示状态，每个节点保存有状态转移时执行的动作、历史上该节点被选择的次数、该节点的价值以及由所述预测器输出的所述预测序列中与该节点的状态对应的下一个位置上所述执行的动作的概率；
其中，对于非叶子节点，所述价值是该节点的子树上所有节点的价值的均值；对于叶子节点，所述价值是所述奖励拟合器根据所述输入文本和所述预测器在当前状态下的预测序列中的至少一个知识进行拟合得到的奖励。
11.根据权利要求10所述的装置，其特征在于，所述状态空间搜索模块具体还用于：
在任意当前时间步的当前状态下，获取该当前状态节点的下一层各候选节点对应的所述概率和所述价值；
根据各候选节点被选择的次数、所述概率和所述价值进行计算，将计算结果中值最大的候选节点保存的所述状态转移时执行的动作，作为所述当前状态下选择的动作。
12.根据权利要求11所述的装置，其特征在于，所述知识确定模块具体用于：
在所述当前时间步的根节点状态下，对所述状态空间中的各候选预测序列执行所述搜索过程，并在执行次数满足预设条件时，根据从所述当前时间步的根节点出发的所有路径上节点的访问次数的概率分布，确定所述当前时间步的根节点选择的目标动作；
将所述当前时间步的根节点选择所述目标动作后转移到的状态节点，作为下一时间步的根节点，并在该下一时间步的根节点状态下重复执行所述搜索过程，确定该下一时间步的根节点选择的目标动作，直到搜索至具有序列终结标志的根节点为止；
根据各时间步的根节点选择的目标动作确定所述目标输出文本序列。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括训练模块，具体用于：
获取用于训练的输入文本样本集，以及各输入文本样本对应的真实输出文本序列；
依据强化学习的方法，对各输入文本样本的输出文本序列的状态空间进行搜索，并在搜索过程中，根据所述预测器基于其当前网络参数输出的预测序列中，与各时间步下每个状态对应的下一个位置上所述所有单词的概率，和所述预测器在每个状态下的预测序列与各状态对应的真实输出文本序列的相似度，确定各时间步下每个状态选择的动作；
根据对所述状态空间的搜索结果，确定各时间步下的目标动作，并根据各时间步下的目标动作确定各输入文本样本的目标输出文本序列；
针对每个输入文本样本进行搜索的过程中，将所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度作为奖励函数，通过强化学习中的策略算法更新所述预测器的当前网络参数；
根据基于知识的序列相似度函数计算所述预测器在各时间步执行目标动作后转移的状态下的预测序列，与该状态对应的真实输出文本序列的相似度g，根据所述相似度g和所述奖励拟合模型基于其当前网络参数输出的拟合结果，确定所述奖励拟合模型的损失函数，并通过所述损失函数的反馈对所述奖励拟合器的当前网络参数进行更新。
14.根据权利要求8-13中任一项所述的装置，其特征在于，所述目标输出文本序列，是以符号辅助知识表示的格式进行存储。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的知识抽取方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的知识抽取方法。
CN202010312552.1A 2020-04-20 2020-04-20 一种知识抽取方法、装置、设备和介质 Active CN111522928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010312552.1A CN111522928B (zh) 2020-04-20 2020-04-20 一种知识抽取方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010312552.1A CN111522928B (zh) 2020-04-20 2020-04-20 一种知识抽取方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111522928A true CN111522928A (zh) 2020-08-11
CN111522928B CN111522928B (zh) 2023-06-23

Family

ID=71901777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010312552.1A Active CN111522928B (zh) 2020-04-20 2020-04-20 一种知识抽取方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111522928B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609254A (zh) * 2021-07-29 2021-11-05 浙江大学 一种基于分层强化学习的聚合式搜索排序方法
CN113901788A (zh) * 2021-08-27 2022-01-07 北京邮电大学 语句中方面词对应的观点词抽取方法及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120265546A1 (en) * 2011-04-14 2012-10-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Cost-effective resource apportionment technologies suitable for facilitating therapies
US20130097664A1 (en) * 1999-10-27 2013-04-18 Pinpoint, Incorporated Secure data interchange
US20130103481A1 (en) * 2012-09-14 2013-04-25 Endorse Corp. Systems and methods for campaign offers and rewards with offer serving engine based on digitized receipt data
CN107783960A (zh) * 2017-10-23 2018-03-09 百度在线网络技术（北京）有限公司 用于抽取信息的方法、装置和设备
CN107967254A (zh) * 2017-10-31 2018-04-27 科大讯飞股份有限公司 知识点预测方法及装置、存储介质、电子设备
CN110059314A (zh) * 2019-04-08 2019-07-26 东南大学 一种基于增强学习的关系抽取方法
CN110688450A (zh) * 2019-09-24 2020-01-14 创新工场(广州)人工智能研究有限公司 一种基于蒙特卡洛树搜索的关键词生成方法、基于强化学习的关键词生成模型及电子设备
CN110737758A (zh) * 2018-07-03 2020-01-31 百度在线网络技术（北京）有限公司 用于生成模型的方法和装置
CN110766513A (zh) * 2019-09-19 2020-02-07 北京三快在线科技有限公司 信息排序方法、装置、电子设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097664A1 (en) * 1999-10-27 2013-04-18 Pinpoint, Incorporated Secure data interchange
US20120265546A1 (en) * 2011-04-14 2012-10-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Cost-effective resource apportionment technologies suitable for facilitating therapies
US20130103481A1 (en) * 2012-09-14 2013-04-25 Endorse Corp. Systems and methods for campaign offers and rewards with offer serving engine based on digitized receipt data
CN107783960A (zh) * 2017-10-23 2018-03-09 百度在线网络技术（北京）有限公司 用于抽取信息的方法、装置和设备
CN107967254A (zh) * 2017-10-31 2018-04-27 科大讯飞股份有限公司 知识点预测方法及装置、存储介质、电子设备
CN110737758A (zh) * 2018-07-03 2020-01-31 百度在线网络技术（北京）有限公司 用于生成模型的方法和装置
CN110059314A (zh) * 2019-04-08 2019-07-26 东南大学 一种基于增强学习的关系抽取方法
CN110766513A (zh) * 2019-09-19 2020-02-07 北京三快在线科技有限公司 信息排序方法、装置、电子设备及可读存储介质
CN110688450A (zh) * 2019-09-24 2020-01-14 创新工场(广州)人工智能研究有限公司 一种基于蒙特卡洛树搜索的关键词生成方法、基于强化学习的关键词生成模型及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609254A (zh) * 2021-07-29 2021-11-05 浙江大学 一种基于分层强化学习的聚合式搜索排序方法
CN113609254B (zh) * 2021-07-29 2024-04-05 浙江大学 一种基于分层强化学习的聚合式搜索排序方法
CN113901788A (zh) * 2021-08-27 2022-01-07 北京邮电大学 语句中方面词对应的观点词抽取方法及电子设备

Also Published As

Publication number Publication date
CN111522928B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111507104B (zh) 建立标签标注模型的方法、装置、电子设备和可读存储介质
CN111522967B (zh) 知识图谱构建方法、装置、设备以及存储介质
US11573992B2 (en) Method, electronic device, and storage medium for generating relationship of events
US20210397791A1 (en) Language model training method, apparatus, electronic device and readable storage medium
EP3961476A1 (en) Entity linking method and apparatus, electronic device and storage medium
CN111582454B (zh) 生成神经网络模型的方法和装置
CN111488740B (zh) 一种因果关系的判别方法、装置、电子设备及存储介质
CN112001169B (zh) 文本纠错的方法、装置、电子设备和可读存储介质
CN111079945B (zh) 端到端模型的训练方法及装置
CN111339759A (zh) 领域要素识别模型训练方法、装置及电子设备
CN111666751B (zh) 训练文本扩充方法、装置、设备以及存储介质
JP7133002B2 (ja) 句読点予測方法および装置
CN113723278B (zh) 表格信息提取模型的训练方法及装置
CN111950291A (zh) 语义表示模型的生成方法、装置、电子设备及存储介质
CN111797216B (zh) 检索项改写方法、装置、设备以及存储介质
EP3896595A1 (en) Text key information extracting method, apparatus, electronic device, storage medium, and computer program product
CN111539224B (zh) 语义理解模型的剪枝方法、装置、电子设备和存储介质
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
CN112560499B (zh) 语义表示模型的预训练方法、装置、电子设备及存储介质
CN112329453B (zh) 样本章节的生成方法、装置、设备以及存储介质
CN111859953A (zh) 训练数据的挖掘方法、装置、电子设备及存储介质
CN111522928B (zh) 一种知识抽取方法、装置、设备和介质
CN114399772B (zh) 样本生成、模型训练和轨迹识别方法、装置、设备和介质
CN114444462A (zh) 模型训练方法及人机交互方法、装置
CN112270169B (zh) 对白角色预测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant