CN111400484A - 一种关键词提取方法和系统 - Google Patents

一种关键词提取方法和系统 Download PDF

Info

Publication number
CN111400484A
CN111400484A CN202010200961.2A CN202010200961A CN111400484A CN 111400484 A CN111400484 A CN 111400484A CN 202010200961 A CN202010200961 A CN 202010200961A CN 111400484 A CN111400484 A CN 111400484A
Authority
CN
China
Prior art keywords
text
target
words
target text
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010200961.2A
Other languages
English (en)
Other versions
CN111400484B (zh
Inventor
陈显玲
陈晓军
杨明晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010200961.2A priority Critical patent/CN111400484B/zh
Publication of CN111400484A publication Critical patent/CN111400484A/zh
Application granted granted Critical
Publication of CN111400484B publication Critical patent/CN111400484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例公开了一种关键词提取方法和系统，所述方法包括：获取目标文本；从所述目标文本中选择目标词语；将所述目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作；执行该目标词语的去除或保留操作，得到操作后的目标文本；判断所述操作后的目标文本中是否存在未被执行所述操作的词语；若是，则以所述操作后的目标文本替换所述目标文本，从所述操作后的目标文本中选择其中一个所述未被执行所述操作的词语，以该词语作为所述当前选择的目标词语，重复执行上述输入关键词提取模型至判断的步骤；若否，则将所述操作后的目标文本中的词语确定为所述目标文本的关键词。

Description

一种关键词提取方法和系统
技术领域
本说明书实施例涉及人工智能技术领域，特别涉及一种关键词提取方法和系统。
背景技术
关键词是指能够反映文本主题或者主要内容的词语。关键词提取是人工智能领域中的NLP(Natural Language Processing)自然语言处理子领域的一个重要的子任务，可以在许多应用场景中发挥其重要的作用。例如，在信息检索场景中，准确的关键词提取可以大幅提升检索效率；又例如，在智能客服场景中，智能客服机器人可以通过关键词理解用户的意图。
基于此，本申请提出一种关键词提取方法和系统。
发明内容
本说明书实施例的一个方面提供一种关键词提取方法，所述方法包括：获取目标文本；从所述目标文本中选择目标词语；将所述目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作；执行该目标词语的去除或保留操作，得到操作后的目标文本；判断所述操作后的目标文本中是否存在未被执行所述操作的词语；若是，则以所述操作后的目标文本替换所述目标文本，从所述操作后的目标文本中选择其中一个所述未被执行所述操作的词语，以该词语作为所述当前选择的目标词语，重复执行上述输入关键词提取模型至判断的步骤；若否，则将所述操作后的目标文本中的词语确定为所述目标文本的关键词。
本说明书实施例的一个方面提供一种关键词提取系统，所述系统包括：获取模块，用于获取目标文本；选择模块，用于从所述目标文本中选择目标词语；输入模块，用于将所述目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作；执行模块，用于执行该目标词语的去除或保留操作，得到操作后的目标文本；判断模块，用于判断所述操作后的目标文本中是否存在未被执行所述操作的词语；重复执行模块，用于当所述操作后的目标文本中存在未被执行所述操作的词语时，以所述操作后的目标文本替换所述目标文本，从所述操作后的目标文本中选择其中一个所述未被执行所述操作的词语，以该词语作为所述当前选择的目标词语，重复执行上述输入模块、执行模块和判断模块的步骤；确定模块，用于当所述操作后的目标文本中不存在未被执行所述操作的词语时，将所述操作后的目标文本中的词语确定为所述目标文本的关键词。
本说明书实施例的一个方面提供一种关键词提取装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如上任一项所述的方法。
本说明书实施例的一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如上所述的任一项所述的方法。
附图说明
本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书的一些实施例所示的关键词提取系统的示例性模块图；
图2是根据本说明书的一些实施例所示的关键词提取方法的示例性流程图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书的一些实施例所示的关键词提取系统的示例性模块图。
该系统100可以应用于互联网服务的线上服务平台。在一些实施例中，该系统100可以用于包含智能答复系统的线上服务平台。例如，即时通讯平台、电商平台、线上咨询平台以及公共服务平台等。
如图1所示，该系统100可以包括获取模块110、选择模块120、输入模块130、执行模块140、判断模块150、重复执行模块160以及确定模块170。
在一些实施例中，获取模块110可以用于获取目标文本。
在一些实施例中，选择模块120可以用于从目标文本中选择目标词语。
在一些实施例中，输入模块130可以用于将目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作。
在一些实施例中，执行模块140可以用于执行该目标词语的去除或保留操作，得到操作后的目标文本。
在一些实施例中，判断模块150可以用于判断操作后的目标文本中是否存在未被执行所述操作的词语。
在一些实施例中，重复执行模块160可以用于当操作后的目标文本中存在未被执行所述操作的词语时，以操作后的目标文本替换目标文本，从操作后的目标文本中选择其中一个未被执行所述操作的词语，以该词语作为当前选择的目标词语，重复执行上述输入模块130、执行模块140和判断模块150的步骤。
在一些实施例中，确定模块170可以用于当操作后的目标文本中不存在未被执行所述操作的词语时，将所述操作后的目标文本中的词语确定为所述目标文本的关键词。
所述系统还包括训练模块和优化模块。在一些实施例中，训练模块可以用于获取训练文本，将该训练文本作为所述目标文本输入由获取模块110、选择模块120、输入模块130、执行模块140、判断模块150、重复执行模块160以及确定模块170构成的系统，得到对应于该训练文本的所有状态和所有的所述操作构成的策略的总回报值；其中，所述状态用于表征所述训练文本所保留的词语的情况。在一些实施例中，总回报值正相关于初始的所述训练文本与最终得到的操作后的训练文本之间的相似度。在一些实施例中，总回报值正相关于初始的训练文本的词语数量与最终得到的操作后的训练文本的词语数量的比值，和/或，总回报值还负相关于最终得到的操作后的训练文本的词语数量。
在一些实施例中，所述总回报值基于以下公式得到：
Figure BDA0002419356970000051
其中，R为所述总回报值，Eorigin表示初始的所述训练文本，Emasked表示最终得到的操作后的训练文本，S(Eorigin，Emasked)表示Eorigin和Emasked的相似度，α,β为权重参数，l为初始的所述训练文本的词语数量，ls为最终得到的操作后的训练文本的词语数量。在一些实施例中，所述α和β满足关系式α+β＝1，所述α的取值范围为0.7～0.8。
在一些实施例中，优化模块可以用于基于多个所述训练文本的所述总回报值构建损失函数，并基于该损失函数优化所述关键词提取模型。
应当理解，图1所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于关键词提取系统100及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图1中披露的获取模块110、选择模块120、输入模块130、执行模块140、判断模块150、重复执行模块160以及确定模块170可以是一个系统中的不同模块，也可以是一个模块实现上述的两个模块的功能。又例如，关键词提取系统100中各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
图2是根据本说明书的一些实施例所示的关键词提取方法的示例性流程图。如图2所示，该方法200包括：
步骤202，获取目标文本。
具体地，该步骤202可以由获取模块110执行。
在一些实施例中，目标文本可以为任何短文本，短文本即为文本长度较短的文本。例如，论文摘要、邮件正文、手机短信息、即时消息以及在线聊天记录等。在一些实施例中，目标文本可以是用户的问题文本。例如，用户需要智能客服机器人回答的问题文本，又例如，用户需要在搜索引擎中获取答案的问题文本。
在一些实施例中，可以通过用户在终端手动输入或语音输入获取目标文本。其中，输入的语音可以转换为对应的文本。在一些实施例中，还可以通过读取存储的数据、调用相关接口或其他方式获取目标文本。
步骤204，从所述目标文本中选择目标词语。
具体地，该步骤204可以由选择模块120执行。
在一些实施例中，可以从目标文本的词语序列中选择目标词语。其中，词语序列是指由目标文本的字序列切分成多个词语而形成的序列。基于词语序列可以确定目标文本中包括的多个词语，从而从多个词语中选择目标词语。在一些实施例中，可以通过对目标文本进行分词处理得到目标文本的词语序列。示例地，以目标文本为“花呗额度如何调低”为例，则对目标文本进行分词处理后得到的词语序列为花呗/额度/如何/调低，目标文本包括的多个词语分别为“花呗”、“额度”、“如何”以及“调低”。
在一些实施例中，分词处理所使用的方法可以包括但不限于以下之一：正向最大匹配法、最短路径分词法、最小匹配算法、回溯法、基于深度学习的分词算法以及统计分词法等。
在一些实施例中，可以按照目标文本中词语的顺序选择一个词语作为目标词语。仍以上述示例为例，则在第一次选择目标词语时，选择“花呗”作为目标词语，在下一次选择目标词语时，选择“额度”作为目标词语，以此类推。
在一些实施例中，可以在目标文本包括的多个词语中随机选择一个词语作为目标词语。仍以上述示例为例，目标文本中包括的多个词语分别为“花呗”、“额度”、“如何”以及“调低”。则可以从“花呗”、“额度”、“如何”以及“调低”中选择任意一个词语作为目标词语。例如选择“花呗”，又例如选择“如何”。
步骤206，将所述目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作。
具体地，该步骤206可以由输入模块130执行。
在一些实施例中，目标文本的信息可以是指包含有目标文本的信息的表示向量。例如，文本信息、语义信息、上下文信息等。
在一些实施例中，可以通过BERT模型得到目标文本的表示向量，即目标文本的信息。BERT(Bidirectional Encoder Representations from Transformers)模型即基于Transformers的双向编码器。BERT模型可以对输入的文本进行编码，得到文本中各个字/词融合了全文语义信息后的表示向量。在一些实施例中，还可以通过词向量平均模型(WordAverage Model)或word2vec模型得到目标文本的表示向量，即目标文本的信息。
在一些实施例中，当前选择的目标词语的位置信息可以指该目标词语在目标文本中出现的位置。在一些实施例中，可以采用字符表征目标词语位于目标文本的位置信息。例如，数字或者字母等。示例地，仍以目标文本为“花呗额度如何调低”为例，若当前选择的目标词语为“花呗”，由于“花呗”是“花呗额度如何调低”中的第一个词语，则可以用数字“1”表征“花呗”的位置信息。相应地，若目标词语为“如何”，则可以用数字“3”表征“如何”的位置信息，以此类推。
在一些实施例中，可以将目标文本的信息以及当前选择的目标词语的位置信息输入至关键词提取模型，得到该目标词语的去除或保留操作。在一些实施例中，关键词提取模型可以是在获取目标文本之前预先训练得到的模型。关于关键词提取模型的训练过程的具体细节请参见步骤214及其相关描述，在此不再赘述。
在一些实施例中，关键词提取模型可以包括全连接网络和softmax层。具体地，输入的目标文本的信息以及当前选择的目标词语的位置信息经过全连接网络，然后将全连接网络的输出连接softmax层，softmax层输出该目标词语的操作的概率。即输出执行保留目标词语的操作的概率以及执行去除目标词语的操作的概率。进一步地，将最高的概率所对应的操作确定为针对目标词语的操作。例如，softmax层输出的执行保留目标词语的操作的概率为0.8，执行去除目标词语的操作的概率为0.2，则针对该目标词语的操作为保留。
步骤208，执行该目标词语的去除或保留操作，得到所述操作后的目标文本。
具体的，步骤208可以由执行模块140执行。
在一些实施例中，操作后的目标文本可以是指执行该目标词语的去除或保留操作后得到的文本。在一些实施例中，可以采用标记替代被去除的目标词语，得到操作后的目标文本。例如，采用特定的标记[mask]替代被去除的目标词语。仍以上述示例为例，目标文本为“花呗额度如何调低”，目标词语为“花呗”。若针对目标词语“花呗”的操作为保留，则操作后的目标文本为“花呗额度如何调低”；若针对目标词语“花呗”的操作为去除，则操作后的目标文本为“[mask]额度如何调低”。
步骤210，判断所述操作后的目标文本中是否存在未被执行所述操作的词语。
具体的，步骤210可以由判断模块150执行。
通过执行上述步骤202至步骤208后，可以得到操作后的目标文本。由于此时的操作后的目标文本仅仅是对目标文本中部分词语进行了去除或保留的操作。为了选取目标文本中所有的关键词，在一些实施例中，可以判断操作后的目标文本中是否存在未被执行所述操作的词语，以执行下述步骤212或步骤214。
在一些实施例中，未被执行所述操作的词语可以是指未被执行所述去除或保留的词语。仍以上述示例为例，若操作后的目标文本为“[mask]额度如何调低”，则未被执行所述操作的词语可以是“额度”、“如何”以及“调低”。
步骤212，若是，则以所述操作后的目标文本替换所述目标文本，从所述操作后的目标文本中选择其中一个所述未被执行所述操作的词语，以该词语作为所述当前选择的目标词语，重复执行上述输入关键词提取模型至判断的步骤。
在一些实施例中，若操作后的目标文本中存在未被执行所述操作的词语，则以操作后的目标文本替换目标文本，从操作后的目标文本中选择其中一个未被执行所述操作的词语，以该词语作为当前选择的目标词语，重复执行上述的步骤208至步骤210。
仍以上述操作后的目标文本为“[mask]额度如何调低”为例，若从操作后的目标文本中选择的未被执行所述操作的词语为“额度”，则将操作后的目标文本的信息：“[mask]额度如何调低”的表示向量，以及当前选择的目标词语“额度”的位置信息“2”输入关键词提取模型，得到“额度”的去除或保留操作。若“额度”为保留操作，则得到的操作后的目标文本为“[mask]额度如何调低”，进一步判断“[mask]额度如何调低”是否存在未被执行所述操作的词语。由于此时操作后的目标文本中存在未被执行所述操作的词语“如何”和“调低”，则又一次执行步骤212，直至操作后的目标文本中不存在未被执行所述操作的词语。
步骤214，若否，则将所述操作后的目标文本中的词语确定为所述目标文本的关键词。
在一些实施例中，操作后的目标文本中不存在未被执行所述操作的词语，即获取的目标文本中不存在未被执行所述操作的词语。仍以上述目标文本“花呗额度如何调低”为例，则操作后的目标文本中不存在未被执行所述操作的词语可以是指：目标文本中的所有词“花呗”、“额度”、“如何”以及“调低”均执行了去除或保留的操作。
在一些实施例中，若操作后的目标文本中不存在未被执行所述操作的词语，则将所述操作后的目标文本中的词语确定为所述目标文本的关键词。示例地，若不存在未被执行所述操作的词语所对应的操作后的目标文本为“[mask]额度[mask]调低”，则“额度”和“调低”为目标文本“花呗额度怎么调低”的关键词。
在一些实施例中，可以获取训练文本，将该训练文本作为所述目标文本，并执行上述步骤202至步骤214，得到对应于该训练文本的所有状态和所有的所述操作构成的策略的总回报值；其中，所述状态用于表征所述训练文本所保留的词语的情况。基于多个所述训练文本的所述总回报值构建损失函数，并基于该损失函数优化所述关键词提取模型。
在一些实施例中，训练文本可以为与目标文本具备相同数据类型的文本。例如，训练文本可以为用户的问题文本。关于目标文本的具体细节请参见步骤202，在此不再赘述。在一些实施例中，可以通过读取存储的数据、调用相关接口或其他方式获取训练文本。
得到训练文本后，可以将训练文本作为目标文本，执行上述步骤202至步骤214，得到对应于训练文本的所有状态和所有的所述操作。由于训练文本的状态可以用于表征训练文本所保留的词语的情况。在一些实施例中，训练文本的所有状态可以包括每一次执行所述操作后的训练文本的状态。例如，训练文本为“花呗怎么开通”，第一次针对“花呗”执行保留操作，得到“花呗怎么开通”作为第一次的状态，第二次针对“怎么”执行去除操作，得到“花呗[MASK]开通”作为第二次的状态，第三次针对“开通”执行保留操作，得到“花呗[MASK]开通”作为第三次的状态，对应的第一次的操作为保留，第二次的操作为去除，第三次的操作为保留，进而前述三次的状态和操作构成一次完整的策略，可以根据该完整的策略计算总回报值。
在一些实施例中，训练文本的所有的状态和所有的操作构成的策略对应一个总回报值，总回报值可以视为是每一次执行操作后得到的回报值之和，每一次的回报值用于表征该次操作得到的奖励程度的大小。在一些实施例中，总回报值正相关于初始的所述训练文本与最终得到的操作后的训练文本之间的相似度。仍以上述示例为例，若初始的训练文本为“花呗怎么开通”，最终得到的训练文本为“花呗[mask]开通”，则总回报值正相关于“花呗怎么开通”与“花呗[mask]开通”之间的相似度。相似度越高，说明最终得到的训练文本与初始的训练文本之间的语义越接近，进而保留的词语越重要。
在一些实施例中，相似度可以通过其对应的表示向量在向量空间中的距离来度量。在一些实施例中，可以通过计算初始的训练文本的向量与最终得到的操作后的训练文本的向量的距离，获得初始的训练文本与最终得到的操作后的训练文本的相似度。其中，距离与相似度负相关，即距离越大，相似度越小。在一些实施例中，距离可以包括但不限于余弦距离、欧氏距离、曼哈顿距离、马氏距离或闵可夫斯基距离等。优选地，可以使用余弦距离获得相似度。
在一些实施例中，所述总回报值正相关于初始的所述训练文本的词语数量与最终得到的操作后的训练文本的词语数量的比值，和/或，所述总回报值还负相关于最终得到的操作后的训练文本的词语数量。在最终得到操作后的训练文本所能体现的语义相同或相近的情况下，保留的词语越少，越能体现出训练文本的语义，进而越重要。
具体地，总回报值可以基于下述公式(1)得到：
Figure BDA0002419356970000121
其中，R为所述总回报值，Eorigin表示初始的所述训练文本，Emasked表示最终得到的所述操作后的训练文本，S(Eorigin，Emasked)表示Eorigin和Emasked的相似度，α,β为权重参数，l为初始的所述训练文本的词语数量，ls为最终得到的所述操作后的训练文本的词语数量。
在一些实施例中，α和β满足关系式α+β＝1，所述α的取值范围为0.7～0.8。例如，0.7或0.75等。该α的取值可以保证引入足够的相似度信息(即初始的训练文本与最终得到的训练文本的相似度)，提高了计算的总回报值的准确度。
在一些实施例中，可以基于多个训练文本的总回报值构建损失函数。在一些实施例中，多个训练文本可以是随机获取的多个训练文本。例如，可以从K个用户的问题文本中随机选择N个训练文本；其中，K大于N。
具体地，可以基于下述公式(2)构建损失函数：
Figure BDA0002419356970000131
其中，L(θ)为损失函数，N为训练文本的数量，R(τ)为每个训练文本的总回报值，πθ(τ)为每个训练文本对应的策略的发生概率。
基于上述获得的损失函数，可以对关键词提取模型的参数进行优化。在一些实施例中，可以通过反向传播法优化参数。在一些实施例中，可以对关键词提取模型的参数进行迭代调整，直至关键词提取模型的结果收敛。具体地，可以重复执行获取多个训练文本至基于损失函数优化关键词提取模型的步骤。其中，重复执行获取多个训练文本时，获取的多个训练文本为随机获取的多个训练文本。
根据以上描述可知，相似度正相关于总回报值，则选取所有关键词之后的训练文本与原始的训练样本的相似度越大，总回报值越大，该选取所有关键词的策略的发生概率越大。进一步地，通过总回报值构建损失函数，并基于该损失函数优化关键词提取模型。可以使得关键词提取模型自动学习选词策略发生概率大的选词策略，即自动学习最佳选词策略，提高关键词提取模型选取关键词的准确度。
本说明书实施例还提供一种装置，其至少包括处理器以及存储器。所述存储器用于存储指令。当所述指令被所述处理器执行时，导致所述装置实现前述的关键词提取方法。所述方法可以包括：获取目标文本；从所述目标文本中选择目标词语；将所述目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作；执行该目标词语的去除或保留操作，得到操作后的目标文本；判断所述操作后的目标文本中是否存在未被执行所述操作的词语；若是，则以所述操作后的目标文本替换所述目标文本，从所述操作后的目标文本中选择其中一个所述未被执行所述操作的词语，以该词语作为所述当前选择的目标词语，重复执行上述输入关键词提取模型至判断的步骤；若否，则将所述操作后的目标文本中的词语确定为所述目标文本的关键词。
本说明书实施例还提供一种计算机可读存储介质。所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机实现前述的关键词提取方法。所述方法可以包括：获取目标文本；从所述目标文本中选择目标词语；将所述目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作；执行该目标词语的去除或保留操作，得到操作后的目标文本；判断所述操作后的目标文本中是否存在未被执行所述操作的词语；若是，则以所述操作后的目标文本替换所述目标文本，从所述操作后的目标文本中选择其中一个所述未被执行所述操作的词语，以该词语作为所述当前选择的目标词语，重复执行上述输入关键词提取模型至判断的步骤；若否，则将所述操作后的目标文本中的词语确定为所述目标文本的关键词。
本说明书实施例可能带来的有益效果包括但不限于：(1)关键词提取模型自动学习选词策略发生概率大的选词策略，即自动学习最佳选词策略，提高了关键词提取模型选取关键词的准确度；(2)利用短文本也可以实现对模型的训练；(3)无需提前对文本进行标注，减小了工作量。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (13)

1.一种关键词提取方法，包括：
获取目标文本；
从所述目标文本中选择目标词语；
将所述目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作；
执行该目标词语的去除或保留操作，得到操作后的目标文本；
判断所述操作后的目标文本中是否存在未被执行所述操作的词语；
若是，则以所述操作后的目标文本替换所述目标文本，从所述操作后的目标文本中选择其中一个所述未被执行所述操作的词语，以该词语作为所述当前选择的目标词语，重复执行上述输入关键词提取模型至判断的步骤；
若否，则将所述操作后的目标文本中的词语确定为所述目标文本的关键词。
2.如权利要求1所述的方法，在获取目标文本之前，所述方法还包括：
获取训练文本，将该训练文本作为所述目标文本，并执行如权利要求1所述的方法，得到对应于该训练文本的所有状态和所有的所述操作构成的策略的总回报值；其中，所述状态用于表征所述训练文本所保留的词语的情况；
基于多个所述训练文本的所述总回报值构建损失函数，并基于该损失函数优化所述关键词提取模型。
3.如权利要求2所述的方法，所述总回报值正相关于初始的所述训练文本与最终得到的所述操作后的训练文本之间的相似度。
4.如权利要求3所述的方法，所述总回报值正相关于初始的所述训练文本的词语数量与最终得到的所述操作后的训练文本的词语数量的比值，和/或，所述总回报值还负相关于最终得到的所述操作后的训练文本的词语数量。
5.如权利要求4所述的方法，所述总回报值基于以下公式得到：
Figure FDA0002419356960000021
其中，R为所述总回报值，Eorigin表示初始的所述训练文本，Emasked表示最终得到的所述操作后的训练文本，S(Eorigin，Emasked)表示Eorigin和Emasked的相似度，α，β为权重参数，l为初始的所述训练文本的词语数量，ls为最终得到的所述操作后的训练文本的词语数量。
6.如权利要求5所述的方法，所述α和β满足关系式α+β＝1，所述α的取值范围为0.7～0.8。
7.一种关键词提取系统，包括：
获取模块，用于获取目标文本；
选择模块，用于从所述目标文本中选择目标词语；
输入模块，用于将所述目标文本的信息以及当前选择的目标词语的位置信息输入关键词提取模型，得到该目标词语的去除或保留操作；
执行模块，用于执行该目标词语的去除或保留操作，得到操作后的目标文本；
判断模块，用于判断所述操作后的目标文本中是否存在未被执行所述操作的词语；
重复执行模块，用于当所述操作后的目标文本中存在未被执行所述操作的词语时，以所述操作后的目标文本替换所述目标文本，从所述操作后的目标文本中选择其中一个所述未被执行所述操作的词语，以该词语作为所述当前选择的目标词语，重复执行上述输入模块、执行模块和判断模块的步骤；
确定模块，用于当所述操作后的目标文本中不存在未被执行所述操作的词语时，将所述操作后的目标文本中的词语确定为所述目标文本的关键词。
8.如权利要求7所述的系统，所述系统还包括：
训练模块，用于获取训练文本，将该训练文本作为所述目标文本输入如权利要求7所述的系统，得到对应于该训练文本的所有状态和所有的所述操作构成的策略的总回报值；其中，所述状态用于表征所述训练文本所保留的词语的情况；
优化模块，用于基于多个所述训练文本的所述总回报值构建损失函数，并基于该损失函数优化所述关键词提取模型。
9.如权利要求8所述的系统，所述总回报值正相关于初始的所述训练文本与最终得到的所述操作后的训练文本之间的相似度。
10.如权利要求9所述的系统，所述总回报值正相关于初始的所述训练文本的词语数量与最终得到的所述操作后的训练文本的词语数量的比值，和/或，所述总回报值还负相关于最终得到的所述操作后的训练文本的词语数量。
11.如权利要求10所述的系统，所述总回报值基于以下公式得到：
Figure FDA0002419356960000041
其中，R为所述总回报值，Eorigin表示初始的所述训练文本，Emasked表示最终得到的所述操作后的训练文本，S(Eorigin，Emasked)表示Eorigin和Emasked的相似度，α,β为权重参数，l为初始的所述训练文本的词语数量，ls为最终得到的所述操作后的训练文本的词语数量。
12.如权利要求11所述的系统，所述α和β满足关系式α+β＝1，所述α的取值范围为0.7～0.8。
13.一种关键词提取装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权利要求1～6任一项所述的方法。
CN202010200961.2A 2020-03-20 2020-03-20 一种关键词提取方法和系统 Active CN111400484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010200961.2A CN111400484B (zh) 2020-03-20 2020-03-20 一种关键词提取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010200961.2A CN111400484B (zh) 2020-03-20 2020-03-20 一种关键词提取方法和系统

Publications (2)

Publication Number Publication Date
CN111400484A true CN111400484A (zh) 2020-07-10
CN111400484B CN111400484B (zh) 2023-06-02

Family

ID=71435249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010200961.2A Active CN111400484B (zh) 2020-03-20 2020-03-20 一种关键词提取方法和系统

Country Status (1)

Country Link
CN (1) CN111400484B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464654A (zh) * 2020-11-27 2021-03-09 科技日报社 关键词生成方法、装置、电子设备和计算机可读介质
CN113792135A (zh) * 2021-03-19 2021-12-14 北京京东拓先科技有限公司 数据处理方法及装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262449A1 (en) * 2016-03-12 2017-09-14 Wipro Limited System and method for generating an optimized result set
US20170316086A1 (en) * 2014-09-09 2017-11-02 Beijing Sogou Technology Development Co., Ltd. Input method, device, and electronic apparatus
US20180032606A1 (en) * 2016-07-26 2018-02-01 Qualtrics, Llc Recommending topic clusters for unstructured text documents
CN108399227A (zh) * 2018-02-12 2018-08-14 平安科技（深圳）有限公司 自动打标签的方法、装置、计算机设备及存储介质
CN110059163A (zh) * 2019-04-29 2019-07-26 百度在线网络技术（北京）有限公司 生成模板的方法和装置、电子设备、计算机可读介质
CN110232112A (zh) * 2019-05-31 2019-09-13 北京创鑫旅程网络技术有限公司 文章中关键词提取方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316086A1 (en) * 2014-09-09 2017-11-02 Beijing Sogou Technology Development Co., Ltd. Input method, device, and electronic apparatus
US20170262449A1 (en) * 2016-03-12 2017-09-14 Wipro Limited System and method for generating an optimized result set
US20180032606A1 (en) * 2016-07-26 2018-02-01 Qualtrics, Llc Recommending topic clusters for unstructured text documents
CN108399227A (zh) * 2018-02-12 2018-08-14 平安科技（深圳）有限公司 自动打标签的方法、装置、计算机设备及存储介质
CN110059163A (zh) * 2019-04-29 2019-07-26 百度在线网络技术（北京）有限公司 生成模板的方法和装置、电子设备、计算机可读介质
CN110232112A (zh) * 2019-05-31 2019-09-13 北京创鑫旅程网络技术有限公司 文章中关键词提取方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464654A (zh) * 2020-11-27 2021-03-09 科技日报社 关键词生成方法、装置、电子设备和计算机可读介质
CN113792135A (zh) * 2021-03-19 2021-12-14 北京京东拓先科技有限公司 数据处理方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN111400484B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN109271521B (zh) 一种文本分类方法及装置
CN111062217B (zh) 语言信息的处理方法、装置、存储介质及电子设备
CN110737758A (zh) 用于生成模型的方法和装置
CN111177325B (zh) 一种自动生成答案的方法和系统
US11847423B2 (en) Dynamic intent classification based on environment variables
US20200364216A1 (en) Method, apparatus and storage medium for updating model parameter
CN111324739B (zh) 一种文本情感分析方法及系统
CN113011689B (zh) 软件开发工作量的评估方法、装置及计算设备
CN111428485A (zh) 司法文书段落分类方法、装置、计算机设备及存储介质
CN110955766A (zh) 一种自动扩充智能客服标准问题对的方法和系统
CN111858898A (zh) 基于人工智能的文本处理方法、装置及电子设备
CN111400484A (zh) 一种关键词提取方法和系统
CN113626576A (zh) 远程监督中关系特征抽取方法、装置、终端及存储介质
CN111708870A (zh) 基于深度神经网络的问答方法、装置及存储介质
CN109693244B (zh) 优化对话机器人的方法及装置
CN115169342A (zh) 文本相似度计算方法、装置、电子设备及存储介质
CN112132269B (zh) 模型处理方法、装置、设备及存储介质
CN111198949B (zh) 一种文本标签确定方法和系统
CN117278675A (zh) 一种基于意图分类的外呼方法、装置、设备及介质
CN110717028B (zh) 一种剔除干扰问题对的方法及系统
CN114003708B (zh) 基于人工智能的自动问答方法、装置、存储介质及服务器
CN110727767B (zh) 一种扩展文本样本的方法及系统
CN111400413B (zh) 一种确定知识库中知识点类目的方法及系统
CN113836297A (zh) 文本情感分析模型的训练方法及装置
CN113407683A (zh) 一种文本信息处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant