CN111008531A - 语句选词模型的训练方法及装置、语句选词方法及装置 - Google Patents

语句选词模型的训练方法及装置、语句选词方法及装置 Download PDF

Info

Publication number
CN111008531A
CN111008531A CN201911244178.XA CN201911244178A CN111008531A CN 111008531 A CN111008531 A CN 111008531A CN 201911244178 A CN201911244178 A CN 201911244178A CN 111008531 A CN111008531 A CN 111008531A
Authority
CN
China
Prior art keywords
word
sentence
spliced
candidate
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911244178.XA
Other languages
English (en)
Other versions
CN111008531B (zh
Inventor
侯昶宇
汪美玲
李长亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Kingsoft Interactive Entertainment Technology Co ltd
Beijing Kingsoft Software Co Ltd
Original Assignee
Chengdu Kingsoft Interactive Entertainment Technology Co ltd
Beijing Kingsoft Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Kingsoft Interactive Entertainment Technology Co ltd, Beijing Kingsoft Software Co Ltd filed Critical Chengdu Kingsoft Interactive Entertainment Technology Co ltd
Priority to CN201911244178.XA priority Critical patent/CN111008531B/zh
Publication of CN111008531A publication Critical patent/CN111008531A/zh
Application granted granted Critical
Publication of CN111008531B publication Critical patent/CN111008531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供一种语句选词模型的训练方法及装置，其中所述语句选词模型的训练方法包括：获取预训练的语句选词模型和样本数据，其中，所述样本数据包括待选词语句和至少两个候选词，所述至少两个候选词中包括一个目标词；将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；将每个包括所述候选词和所述掩膜标签的拼接语句输入所述语句选词模型，生成与每个所述拼接语句对应的候选词向量和掩膜向量；根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；根据每个拼接语句的分值调整所述语句选词模型的参数，直至所述目标词对应的拼接语句的分值最高。

Description

语句选词模型的训练方法及装置、语句选词方法及装置
技术领域
本申请涉及自然语言处理技术领域，特别涉及语句选词模型的训练方法及装置、语句选词方法及装置、计算设备和计算机可读存储介质。
背景技术
自然语言处理(Natural Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
对于自然语言处理任务，通常选用双向注意力神经网络模型模型(BidirectionalEncoder Representation from Transformers，BERT)进行处理。目前针对选择候选词填充到语句中的这一任务，通常是将语句中需要填充词语的位置替换为一个掩膜标签，并结合候选词跟随BERT模型进行训练，但是在实际训练过程中发现，这种训练方法中候选词与句子的交互不合理，与BERT预训练任务相差较大，不利于使用BERT来做语义标识，在模型的实际应用时，如在选择候选成语填充到句子的任务中，选择候选成语时准确率低，进而导致语句选词任务效率低下。
针对上述问题，如何提升语句选词模型的训练准确度和应用的准确度，就成为技术人员亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供了语句选词模型的训练方法及装置、语句选词方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面，提供了一种语句选词模型的训练方法，包括：
获取预训练的语句选词模型和样本数据，其中，所述样本数据包括待选词语句和所述待选词语句对应的至少两个候选词，所述至少两个候选词中包括一个所述待选词语句对应的目标词；
将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；
将每个包括所述候选词和所述掩膜标签的拼接语句输入所述语句选词模型，生成与每个所述拼接语句对应的候选词向量和掩膜向量；
根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；
根据每个拼接语句的分值调整所述语句选词模型的参数，直至所述目标词对应的拼接语句的分值最高。
可选的，所述拼接语句中包括至少一个待选词空位；
根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签，包括：
根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
可选的，根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签，包括：
在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；
根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
可选的，生成与每个所述拼接语句对应的候选词向量和掩膜向量，包括：
获取所述拼接语句中的所述候选词和所述掩膜标签；
将所述掩膜标签和所述候选词进行嵌入处理生成候选词向量和掩膜向量。
可选的，根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值，包括：
将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的分值。
可选的，将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的分值，包括：
将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的点乘结果；
将所述点乘结果经过归一函数处理得到所述拼接语句对应的分值。
可选的，根据每个拼接语句的分值调整所述语句选词模型的参数，包括：
根据每个拼接语句的分值计算所述语句选词模型的损失值；
根据所述损失值调整所述语句选词模型的参数。
根据本申请实施例的第二方面，提供了一种语句选词方法，包括：
获取待选词语句和所述待选词语句对应的至少两个候选词；
将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；
将每个包括所述候选词和所述掩膜标签的拼接语句输入语句选词模型中进行处理，生成与每个所述拼接语句对应的候选词向量和掩膜向量，其中，所述语句选词模型是通过上述语句选词模型的训练方法训练得到的；
根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；
选取分值最高的拼接语句对应的候选词作为所述待选词语句对应的目标词。
可选的，所述拼接语句中包括至少一个待选词空位；
根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签，包括：
根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
可选的，根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签，包括：
在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；
根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
根据本申请实施例的第三方面，提供了一种语句选词模型的训练装置，包括：
第一获取模块，被配置为获取预训练的语句选词模型和样本数据，其中，所述样本数据包括待选词语句和所述待选词语句对应的至少两个候选词，所述至少两个候选词中包括一个所述待选词语句对应的目标词；
第一拼接模块，被配置为将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；
第一输入模块，被配置为将每个包括所述候选词和所述掩膜标签的拼接语句输入所述语句选词模型，生成与每个所述拼接语句对应的候选词向量和掩膜向量；
第一打分模块，被配置为根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；
调参模块，被配置为根据每个拼接语句的分值调整所述语句选词模型的参数，直至所述目标词对应的拼接语句的分值最高。
可选的，所述拼接语句中包括至少一个待选词空位；
所述第一拼接模块，进一步被配置为根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
可选的，所述第一拼接模块，进一步被配置为在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
可选的，所述第一输入模块，进一步被配置为获取所述拼接语句中的所述候选词和所述掩膜标签；将所述掩膜标签和所述候选词进行嵌入处理生成候选词向量和掩膜向量。
可选的，所述第一打分模块，进一步被配置为将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的分值。
可选的，所述第一打分模块，进一步被配置为将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的点乘结果；将所述点乘结果经过归一函数处理得到所述拼接语句对应的分值。
可选的，所述调参模块，进一步被配置为根据每个拼接语句的分值计算所述语句选词模型的损失值；根据所述损失值调整所述语句选词模型的参数。
根据本申请实施例的第四方面，提供了一种语句选词装置，包括：
第二获取模块，被配置为获取待选词语句和所述待选词语句对应的至少两个候选词；
第二拼接模块，被配置为将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；
第二输入模块，被配置为将每个包括所述候选词和所述掩膜标签的拼接语句输入语句选词模型中进行处理，生成与每个所述拼接语句对应的候选词向量和掩膜向量，其中，所述语句选词模型是通过权利要求1-7任意一项所述的训练方法训练得到的；
第二打分模块，被配置为根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；
选词模块，被配置为选取分值最高的拼接语句对应的候选词作为所述待选词语句对应的目标词。
可选的，所述拼接语句中包括至少一个待选词空位；
所述第二拼接模块，进一步被配置为根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
可选的，所述第二拼接模块，进一步被配置为在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
根据本申请实施例的第五方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述语句选词模型的训练方法、所述语句选词方法的步骤。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述语句选词模型的训练方法、所述语句选词方法的步骤。
根据本申请实施例的第七方面，提供了一种芯片，其存储有计算机指令，该指令被芯片执行时实现所述语句选词模型的训练方法、所述语句选词方法的步骤。
本申请实施例中提供的语句选词模型的训练方法，将待选词语句与候选词分别拼接获得拼接语句，并且根据候选词的字数在待选词语句中生成对应数量的掩膜标签，替换了原有的只有一个掩膜标签的数据处理方式。候选词中的每个字对应一个掩膜标签，因此不同长度的候选词对应的掩膜标签的数量不同，每个候选词对应的候选词向量和掩膜向量的维度数保持一致，在根据掩膜向量和候选词向量生成每个拼接语句对应的分值时可以更加准确，在待选词语句中动态生成掩膜标签的方式有效地改善了候选词与待选词语句的交互方式，进而使语句选词模型的训练任务更接近于预训练任务，提升了模型的训练效率。本申请提供的语句选词模型的训练方法在不对语句选词模型本身做额外修改的前提下，有利于语句选词模型进行语义标识，有效提升了模型的训练效率。
本申请实施例中提供的语句选词方法，将待选词语句与候选词分别拼接获得拼接语句，根据候选词的字数在待选词语句中生成对应数量的掩膜标签，使候选词中每个字对应一个掩膜标签，从而对应的候选词向量和掩膜向量可以在维度空间达成一致，在根据掩膜向量和候选词向量生成每个拼接语句对应的分值时可以更加准确，通过在待选词语句中动态生成掩膜标签的方式有效地改善了候选词与待选词语句的交互方式，为拼接语句打分时可以更加准确，有效提升了语句选词模型的准确了，提高了语句选词模型的工作效率。
附图说明
图1是本申请实施例提供的计算设备的结构框图；
图2是本申请实施例提供的语句选词模型的训练方法的流程图；
图3是本申请实施例提供的语句选词方法的流程图；
图4是本申请实施例提供的语句选词模型的训练装置的结构示意图；
图5是本申请实施例提供的语句选词装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本发明一个或多个实施例涉及的名词术语进行解释。
BERT模型：一种双向注意力神经网络模型。BERT模型可以通过左、右两侧上下文来预测当前词和通过当前句子预测下一个句子。BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的文本的语义表示，然后将文本的语义表示在特定NLP任务中作微调，最终应用于该NLP任务。
掩膜标签：Mask，即BERT模型中对候选词所处位置进行遮盖的标签。
归一函数(softmax函数)：它能将一个含任意实数的k维向量“压缩”到另一个K维实数向量中，使得每一个元素的范围都在(0，1)之间，并且所有元素的和为1，其常被用于解决多分类问题。
在本申请中，提供了语句选词模型的训练方法及装置、语句选词方法及装置、计算设备和计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。
计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中，处理器120可以执行图2所示语句选词模型的训练方法中的步骤。
图2示出了根据本申请一实施例的语句选词模型的训练方法的流程图，包括步骤202至步骤210。
步骤202：获取预训练的语句选词模型和样本数据，其中，所述样本数据包括待选词语句和所述待选词语句对应的至少两个候选词，所述至少两个候选词中包括一个所述待选词语句对应的目标词。
在所有的候选词中包括一个所述待选词语句对应的目标词，目标词为所述待选词语句在所述候选词中选取的最终答案。语句选词模型被训练于在多个候选词中选取一个候选词作为目标词。
预训练的语句选词模型使用BERT模型，所述预训练的语句选词模型通过全词掩膜(MASK)进行预训练。样本数据包括待选词语句和所述待选词语句对应的至少两个候选词。
在目前的选词填充到句子任务中，需要在给出的至少两个候选词中选取一个更符合句子语义的词填充到句子中，训练语句选词模型的目的就是使模型可以在至少两个候选词中选取一个正确答案填充到待选词语句中。
在本申请提供的实施例中，获取预训练的语句选词模型和样本数据，其中所述样本数据中的待选词语句为：“谈到俱乐部目前的成就，教练用了“坚持”两个字来形容。自从上世纪90年代以来，球队就坚持每年都有青训球员进入一队的传统。球队强力推出的“球队五鹰”球员A、球员B、球员C、球员D和球员E几乎__的情况下，他们依然在坚持，最终他们等到了年轻一代球员的成熟。”。候选词为：“传宗接代、有志者事竟成、人老珠黄、未雨绸缪”。
步骤204：将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签。
将每个候选词分别与所述待选词语句进行拼接，根据候选词的字数在每个拼接语句中生成对应数量的掩膜标签。
可选的，所述拼接语句中包括至少一个待选词空位，根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
在待拼接语句中包括至少一个待选词空位，候选词被填充到所述待选词空位中。在拼接语句中，根据每个候选词的字数在所述待选词空位处生成对应数量的掩膜标签。
在本申请提供的实施例中，待选词语句中“__”处即为待选词空位，需要在候选词中选取一个正确的词填充到所述待选词空位中，使得待选词语句通顺。将每个候选词分别与所述待选词语句拼接生成4个拼接语句，分别为：
1、[CLS]谈到俱乐部目前的成就，教练用了“坚持”两个字来形容。自从上世纪90年代以来，球队就坚持每年都有青训球员进入一队的传统。球队强力推出的“球队五鹰”球员A、球员B、球员C、球员D和球员E几乎[mask][mask][mask][mask]的情况下，他们依然在坚持，最终他们等到了年轻一代球员的成熟。[CLS]传宗接代[SEP]，其中，“CLS”和“SEP”均为BERT模型中常用的特殊标志位，“CLS”用于一个句子的开头，“SEP”表示分句符号，用于断开输入语料中的两个句子。
2、[CLS]谈到俱乐部目前的成就，教练用了“坚持”两个字来形容。自从上世纪90年代以来，球队就坚持每年都有青训球员进入一队的传统。球队强力推出的“球队五鹰”球员A、球员B、球员C、球员D和球员E几乎[mask][mask][mask][mask][mask][mask]的情况下，他们依然在坚持，最终他们等到了年轻一代球员的成熟。[CLS]有志者事竟成[SEP]。
3、[CLS]谈到俱乐部目前的成就，教练用了“坚持”两个字来形容。自从上世纪90年代以来，球队就坚持每年都有青训球员进入一队的传统。球队强力推出的“球队五鹰”球员A、球员B、球员C、球员D和球员E几乎[mask][mask][mask][mask]的情况下，他们依然在坚持，最终他们等到了年轻一代球员的成熟。[CLS]人老珠黄[SEP]。
4、[CLS]谈到俱乐部目前的成就，教练用了“坚持”两个字来形容。自从上世纪90年代以来，球队就坚持每年都有青训球员进入一队的传统。球队强力推出的“球队五鹰”球员A、球员B、球员C、球员D和球员E几乎[mask][mask][mask][mask]的情况下，他们依然在坚持，最终他们等到了年轻一代球员的成熟。[CLS]未雨绸缪[SEP]。
可选的，在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
在实际应用中，有时同一个句子中会出现多个待选词空位，则依次选取一个待选词空位作为目标待选词空位，其他为非目标待选词空位，在目标待选词空位处生成与候选词对应数量的掩膜标签，在非目标待选词空位处生成占位符。例如，待选词语句为：“本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步__。在这期间，大家经受住了高密度任务的__。”，候选词为：“检验、考验、体检”。待选词语句中的“__”处即为待选词空位，根据将每个候选词分别与所述待选词语句拼接生成6个拼接语句，分别为：
1、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[mask][mask]。在这期间，大家经受住了高密度任务的[unk]。[CLS]检验[SEP]，其中unk为占位符，代表未知词汇。
2、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[mask][mask]。在这期间，大家经受住了高密度任务的[unk]。[CLS]考验[SEP]。
3、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[mask][mask]。在这期间，大家经受住了高密度任务的[unk]。[CLS]体检[SEP]。
4、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[unk]。在这期间，大家经受住了高密度任务的[mask][mask]。[CLS]检验[SEP]。
5、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[unk]。在这期间，大家经受住了高密度任务的[mask][mask]。[CLS]考验[SEP]。
6、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[unk]。在这期间，大家经受住了高密度任务的[mask][mask]。[CLS]体检[SEP]。
步骤206：将每个包括所述候选词和所述掩膜标签的拼接语句输入所述语句选词模型，生成与每个所述拼接语句对应的候选词向量和掩膜向量。
将每个包括所述候选词和所述掩膜标签的拼接语句输入所述语句选词模型中，所述语句选词模型对所述拼接语句进行编码，生成对应的候选词向量和掩膜向量。
可选的，步骤206可以通过下述步骤S2061至S2062实现。
S2061、获取所述拼接语句中的所述候选词和所述掩膜标签。
所述语句选词模型获取所述拼接语句中的候选词和掩膜标签。
在本申请提供的实施例中，分别获取4个拼接语句的掩膜标签和候选词为：
1、[mask][mask][mask][mask]、传宗接代。
2、[mask][mask][mask][mask][mask][mask]、有志者事竟成。
3、[mask][mask][mask][mask]、人老珠黄。
4、[mask][mask][mask][mask]、未雨绸缪。
S2062、将所述掩膜标签和所述候选词进行嵌入处理生成候选词向量和掩膜向量。
将掩膜标签和候选词分别进行嵌入化处理，生成掩膜向量和候选词向量。
在本申请提供的实施例中，生成的掩膜向量和候选词向量为：
1、(M11，M12，M13，M14)、(T11，T12，T13，T14)。
2、(M21，M22，M23，M24，M25，M26)、(T21，T22，T23，T24，T25，T26)。
3、(M31，M32，M33，M34)、(T31，T32，T33，T34)。
4、(M41，M42，M43，M44)、(T41，T42，T43，T44)。
步骤208：根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值。
可选的，将所述掩膜向量和所述候选词向量进行点乘获得所述拼接语句对应的分值。
在实际应用中，将生成的掩膜向量和候选词向量进行点乘后获得每个拼接语句对应的分值。
可选的，将所述掩膜向量和所述候选词向量进行点乘获得所述拼接语句对应的点乘结果，将所述点乘结果经过归一函数处理得到所述拼接语句对应的分值。
在本申请提供的实施例中，将每个拼接语句对应的掩膜向量和候选词向量分别进行点乘获得对应的点乘结果，再将所有的点乘结果经过归一函数处理，得到每个拼接语句对应的得分。
在本申请提供的实施例中，每个掩膜向量和对应的候选词向量分别进行点乘获得的点乘结果为：D1，D2，D3，D4，再将所有的点乘结果经过归一函数处理，获得每个拼接语句的得分为(S1，S2，S3，S4)，其中S1+S2+S3+S4＝1。
步骤210：根据每个拼接语句的分值调整所述语句选词模型的参数，直至所述目标词对应的拼接语句的分值最高。
目标词为所述待选词语句在所述候选词中选取的最终答案。语句选词模型被训练于在多个候选词中选取一个候选词作为目标词。在模型训练时，在多个候选词中指定一个目标词，调整模型参数直至所述目标词对应的拼接语句的分值最高。
可选的，根据每个拼接语句的分值调整所述语句选词模型的参数可以通过下述步骤S2101至S2102实现。
S2101、根据每个拼接语句的分值计算所述语句选词模型的损失值。
根据每个拼接语句对应的分值通过损失函数计算所述语句选词模型的损失值。
S2102、根据所述损失值调整所述语句选词模型的参数。
将所述损失值反向传播调整所述语句选词模型的参数，使得所述模型参数为目标词对应的拼接语句的打分最高。
本实施例提供的语句选词模型的训练方法，根据候选词的字数在待选词语句中生成对应数量的掩膜标签，替换了原有的只有一个掩膜标签的数据处理方式，使候选词中每个字对应一个掩膜标签，因此不同长度的候选词对应的掩膜标签的数量不同，每个候选词对应的候选词向量和掩膜向量的维度数保持一致，在根据掩膜向量和候选词向量生成每个拼接语句对应的分值时可以更加准确。将候选词与待选词语句拼接在一起输入语句选词模型中进行训练，根据掩膜向量和候选词向量生成每个拼接语句对应的分值，调整语句选词模型的参数使目标词对应的拼接语句的得分最高，达到训练目的，在不对语句选词模型本身做额外修改的前提下，有效地改善了候选词与待选词语句的交互方式，有利于语句选词模型进行语义表示，有效提升模型的训练效率。
图3示出了本申请一实施例的语句选词方法，该语句选词方法以为一个语句中两个空位选词为例进行描述，包括步骤302至步骤310。
步骤302：获取待选词语句和所述待选词语句对应的至少两个候选词。
在本申请提供的实施例中，获取待选词语句为“本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步__。在这期间，大家经受住了高密度任务的__。”，候选词为：“检验、考验、体检”。
步骤304：将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签。
可选的，所述拼接语句中包括至少一个待选词空位，根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签，包括：根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
可选的，在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
在本申请提供的实施例中，待选词空位有两个，首先选取第一个待选词空位作为目标待选词空位，第二个待选词空位作为非目标待选词空位，将待选词语句和候选词分别进行拼接，获得3个拼接语句，分别为：
1、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[mask][mask]。在这期间，大家经受住了高密度任务的[unk]。[CLS]检验[SEP]。
2、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[mask][mask]。在这期间，大家经受住了高密度任务的[unk]。[CLS]考验[SEP]。
3、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[mask][mask]。在这期间，大家经受住了高密度任务的[unk]。[CLS]体检[SEP]。
选取第二个待选词空位作为目标待选词空位，第一个待选词空位作为非目标待选词空位，将待选词语句和候选词分别进行拼接，获得3个拼接语句，分别为：
4、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[unk]。在这期间，大家经受住了高密度任务的[mask][mask]。[CLS]检验[SEP]。
5、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[unk]。在这期间，大家经受住了高密度任务的[mask][mask]。[CLS]考验[SEP]。
6、[CLS]本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步[unk]。在这期间，大家经受住了高密度任务的[mask][mask]。[CLS]体检[SEP]。
步骤306：将每个包括所述候选词和所述掩膜标签的拼接语句输入语句选词模型中进行处理，生成与每个所述拼接语句对应的候选词向量和掩膜向量。
其中，所述语句选词模型是通过上述语句选词模型的训练方法训练得到的。
在本申请提供的实施例中，将6个拼接语句输入语句选词模型中进行处理，生成每个拼接语句对应的掩膜向量和候选词向量，语句选词模型是通过上述语句选词模型的训练方法训练得到的。6个拼接语句对应的掩膜向量和候选词向量如下所示：
1、(M11，M12)、(T11，T12)。
2、(M21，M22)、(T21，T22)。
3、(M31，M32)、(T31，T32)。
4、(M41，M42)、(T41，T42)。
5、(M51，M52)、(T51，T52)。
6、(M61，M62)、(T61，T62)。
步骤308：根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值。
在本申请提供的实施例中，将掩膜向量和对应的候选词向量进行点乘操作，获得对应的点乘结果，对于每个待选词空位的点乘结果经过归一函数生成每个待拼接语句中候选词对应的分值。
对于第一个待选词空位，计算得到第1、2、3个拼接语句的点乘结果为D1，D2，D3，经过归一函数处理，生成第1、2、3个拼接语句的得分为(0.8，0.1，0.1)。
对于第二个待选词空位，计算得到第4、5、6个拼接语句的点乘结果为D4，D5，D6，经过归一函数处理，生成第4、5、6个拼接语句的得分为(0.1，0.7，0.2)。
步骤310：选取分值最高的拼接语句对应的候选词作为所述待选词语句对应的目标词。
在本申请提供的实施例中，选择每个待选词空位对应的分值最高的拼接语句对应的候选词作为所述待选词语句对应的目标词。
对于第一个待选词空位，第1个拼接语句的得分最高，选取第1个拼接语句的候选词“检验”作为第1个拼接语句的目标词。
对于第二个待选词空位，第5个拼接语句的得分最高，选取第5个拼接语句的候选词“考验”作为第5个拼接语句的目标词。
因此选择“检验”作为第一个待选词空位的目标词，选择“考验”作为第二个待选词空位的目标词，将这两个目标词分别填充至待选词语句的相应位置，生成最终的语句为：“本次紧急项目的成功意义非凡，我们能连续完成紧急项目的能力也到了进一步检验。在这期间，大家经受住了高密度任务的考验。”。
本实施例提供的语句选词方法，通过根据候选词的字数动态生成掩膜标签标识待选词空位，并将候选词与待选词语句拼接在一起输入语句选词模型中处理，在根据掩膜向量和候选词向量生成每个拼接语句对应的分值时，使掩膜向量和候选词向量在维度空间内达成一致，语句选词模型经过对拼接语句进行嵌入化向量处理，得出得分最高的拼接语句对应的候选词作为目标词填充至待选词语句中，完成选词任务。在不对语句选词模型本身做额外修改的前提下，有利于语句选词模型进行语义表示，有效地改善了候选词与待选词语句的交互方式，为拼接语句打分时更加准确，有效提升语句选词模型的准确率，进而提高了工作效率。
与上述语句选词模型的训练方法实施例相对应，本申请还提供了语句选词模型的训练装置实施例，图4示出了本申请一个实施例的语句选词模型的训练装置的结构示意图。如图4所示，该装置包括：
第一获取模块402，被配置为获取预训练的语句选词模型和样本数据，其中，所述样本数据包括待选词语句和所述待选词语句对应的至少两个候选词，所述至少两个候选词中包括一个所述待选词语句对应的目标词。
第一拼接模块404，被配置为将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签。
第一输入模块406，被配置为将每个包括所述候选词和所述掩膜标签的拼接语句输入所述语句选词模型，生成与每个所述拼接语句对应的候选词向量和掩膜向量。
第一打分模块408，被配置为根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值。
调参模块410，被配置为根据每个拼接语句的分值调整所述语句选词模型的参数，直至所述目标词对应的拼接语句的分值最高。
可选的，所述拼接语句中包括至少一个待选词空位；
所述第一拼接模块404，进一步被配置为根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
可选的，所述第一拼接模块404，进一步被配置为在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
可选的，所述第一输入模块406，进一步被配置为获取所述拼接语句中的所述候选词和所述掩膜标签；将所述掩膜标签和所述候选词进行嵌入处理生成候选词向量和掩膜向量。
可选的，所述第一打分模块408，进一步被配置为将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的分值。
可选的，所述第一打分模块408，进一步被配置为将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的点乘结果；将所述点乘结果经过归一函数处理得到所述拼接语句对应的分值。
可选的，所述调参模块410，进一步被配置为根据每个拼接语句的分值计算所述语句选词模型的损失值；根据所述损失值调整所述语句选词模型的参数。
本实施例提供的语句选词模型的训练装置，根据候选词的字数在待选词语句中生成对应数量的掩膜标签，替换了原有的只有一个掩膜标签的数据处理方式，使候选词中每个字对应一个掩膜标签，因此不同长度的候选词对应的掩膜标签的数量不同，每个候选词对应的候选词向量和掩膜向量的维度数保持一致，在根据掩膜向量和候选词向量生成每个拼接语句对应的分值时可以更加准确。将候选词与待选词语句拼接在一起输入语句选词模型中进行训练，根据掩膜向量和候选词向量生成每个拼接语句对应的分值，调整语句选词模型的参数使目标词对应的拼接语句的得分最高，达到训练目的，在不对语句选词模型本身做额外修改的前提下，有效地改善了候选词与待选词语句的交互方式，有利于语句选词模型进行语义表示，有效提升模型的训练效率。
与上述语句选词方法实施例相对应，本申请还提供了语句选词装置实施例，图5示出了本申请一个实施例的语句选词模型的训练装置的结构示意图。如图5所示，该装置包括：
第二获取模块502，被配置为获取待选词语句和所述待选词语句对应的至少两个候选词。
第二拼接模块504，被配置为将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签。
第二输入模块506，被配置为将每个包括所述候选词和所述掩膜标签的拼接语句输入语句选词模型中进行处理，生成与每个所述拼接语句对应的候选词向量和掩膜向量，其中，所述语句选词模型是通过权利要求1-7任意一项所述的训练方法训练得到的。
第二打分模块508，被配置为根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值。
选词模块510，被配置为选取分值最高的拼接语句对应的候选词作为所述待选词语句对应的目标词。
可选的，所述拼接语句中包括至少一个待选词空位；
所述第二拼接模块504，进一步被配置为根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
可选的，所述第二拼接模块504，进一步被配置为在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
本实施例提供的语句选词装置，通过根据候选词的字数动态生成掩膜标签标识待选词空位，并将候选词与待选词语句拼接在一起输入语句选词模型中处理，在根据掩膜向量和候选词向量生成每个拼接语句对应的分值时，使掩膜向量和候选词向量在维度空间内达成一致，语句选词模型经过对拼接语句进行嵌入化向量处理，得出得分最高的拼接语句对应的候选词作为目标词填充至待选词语句中，完成选词任务。在不对语句选词模型本身做额外修改的前提下，有利于语句选词模型进行语义表示，有效地改善了候选词与待选词语句的交互方式，为拼接语句打分时更加准确，有效提升语句选词模型的准确率，进而提高了工作效率。
本申请一实施例中还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述语句选词模型的训练方法、语句选词方法的步骤。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述语句选词模型的训练方法、语句选词方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的语句选词模型的训练方法、语句选词方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述语句选词模型的训练方法、语句选词方法的技术方案的描述。
本申请实施例公开了一种芯片，其存储有计算机指令，该指令被处理器执行时实现如前所述语句选词模型的训练方法、语句选词方法的步骤。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种语句选词模型的训练方法，其特征在于，包括：
获取预训练的语句选词模型和样本数据，其中，所述样本数据包括待选词语句和所述待选词语句对应的至少两个候选词，所述至少两个候选词中包括一个所述待选词语句对应的目标词；
将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；
将每个包括所述候选词和所述掩膜标签的拼接语句输入所述语句选词模型，生成与每个所述拼接语句对应的候选词向量和掩膜向量；
根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；
根据每个拼接语句的分值调整所述语句选词模型的参数，直至所述目标词对应的拼接语句的分值最高。
2.如权利要求1所述的语句选词模型的训练方法，其特征在于，所述拼接语句中包括至少一个待选词空位；
根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签，包括：
根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
3.如权利要求2所述的语句选词模型的训练方法，其特征在于，根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签，包括：
在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；
根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
4.如权利要求1所述的语句选词模型的训练方法，其特征在于，生成与每个所述拼接语句对应的候选词向量和掩膜向量，包括：
获取所述拼接语句中的所述候选词和所述掩膜标签；
将所述掩膜标签和所述候选词进行嵌入处理生成候选词向量和掩膜向量。
5.如权利要求1所述的语句选词模型的训练方法，其特征在于，根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值，包括：
将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的分值。
6.如权利要求5所述的语句选词模型的训练方法，其特征在于，将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的分值，包括：
将所述候选词向量和所述掩膜向量进行点乘获得所述拼接语句对应的点乘结果；
将所述点乘结果经过归一函数处理得到所述拼接语句对应的分值。
7.如权利要求1所述的语句选词模型的训练方法，其特征在于，根据每个拼接语句的分值调整所述语句选词模型的参数，包括：
根据每个拼接语句的分值计算所述语句选词模型的损失值；
根据所述损失值调整所述语句选词模型的参数。
8.一种语句选词方法，其特征在于，包括：
获取待选词语句和所述待选词语句对应的至少两个候选词；
将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；
将每个包括所述候选词和所述掩膜标签的拼接语句输入语句选词模型中进行处理，生成与每个所述拼接语句对应的候选词向量和掩膜向量，其中，所述语句选词模型是通过权利要求1-7任意一项所述的训练方法训练得到的；
根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；
选取分值最高的拼接语句对应的候选词作为所述待选词语句对应的目标词。
9.如权利要求8所述的语句选词方法，其特征在于，所述拼接语句中包括至少一个待选词空位；
根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签，包括：
根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签。
10.如权利要求9所述的语句选词方法，其特征在于，根据每个候选词的字数在所述拼接语句的待选词空位处生成对应数量的掩膜标签，包括：
在所述待选词空位大于一个的情况下，依次选取一个待选词空位作为目标待选词空位，其他待选词空位作为非目标待选词空位；
根据每个候选词的字数在所述拼接语句的所述目标待选词空位处生成对应数量的掩膜标签，在所述拼接语句的非目标待选词空位处生成占位符。
11.一种语句选词模型的训练装置，其特征在于，包括：
第一获取模块，被配置为获取预训练的语句选词模型和样本数据，其中，所述样本数据包括待选词语句和所述待选词语句对应的至少两个候选词，所述至少两个候选词中包括一个所述待选词语句对应的目标词；
第一拼接模块，被配置为将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；
第一输入模块，被配置为将每个包括所述候选词和所述掩膜标签的拼接语句输入所述语句选词模型，生成与每个所述拼接语句对应的候选词向量和掩膜向量；
第一打分模块，被配置为根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；
调参模块，被配置为根据每个拼接语句的分值调整所述语句选词模型的参数，直至所述目标词对应的拼接语句的分值最高。
12.一种语句选词装置，其特征在于，包括：
第二获取模块，被配置为获取待选词语句和所述待选词语句对应的至少两个候选词；
第二拼接模块，被配置为将所述待选词语句与每个候选词分别拼接，获得拼接语句，并根据每个候选词的字数在所述拼接语句中生成对应数量的掩膜标签；
第二输入模块，被配置为将每个包括所述候选词和所述掩膜标签的拼接语句输入语句选词模型中进行处理，生成与每个所述拼接语句对应的候选词向量和掩膜向量，其中，所述语句选词模型是通过权利要求1-7任意一项所述的训练方法训练得到的；
第二打分模块，被配置为根据所述候选词向量和所述掩膜向量生成每个所述拼接语句对应的分值；
选词模块，被配置为选取分值最高的拼接语句对应的候选词作为所述待选词语句对应的目标词。
13.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-7或者8-10任意一项所述方法的步骤。
14.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-7或者8-10任意一项所述方法的步骤。
CN201911244178.XA 2019-12-06 2019-12-06 语句选词模型的训练方法及装置、语句选词方法及装置 Active CN111008531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911244178.XA CN111008531B (zh) 2019-12-06 2019-12-06 语句选词模型的训练方法及装置、语句选词方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911244178.XA CN111008531B (zh) 2019-12-06 2019-12-06 语句选词模型的训练方法及装置、语句选词方法及装置

Publications (2)

Publication Number Publication Date
CN111008531A true CN111008531A (zh) 2020-04-14
CN111008531B CN111008531B (zh) 2023-05-26

Family

ID=70115144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911244178.XA Active CN111008531B (zh) 2019-12-06 2019-12-06 语句选词模型的训练方法及装置、语句选词方法及装置

Country Status (1)

Country Link
CN (1) CN111008531B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269204A (ja) * 1997-03-28 1998-10-09 Matsushita Electric Ind Co Ltd 中国語文書自動校正方法及びその装置
US20180300314A1 (en) * 2017-04-12 2018-10-18 Petuum Inc. Constituent Centric Architecture for Reading Comprehension
US20190057081A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. Method and apparatus for generating natural language
CN109478204A (zh) * 2016-05-17 2019-03-15 马鲁巴公司 非结构化文本的机器理解
US20190228763A1 (en) * 2019-03-29 2019-07-25 Krzysztof Czarnowski On-device neural network adaptation with binary mask learning for language understanding systems
CN110196894A (zh) * 2019-05-30 2019-09-03 北京百度网讯科技有限公司 语言模型的训练方法和预测方法
CN110489555A (zh) * 2019-08-21 2019-11-22 创新工场(广州)人工智能研究有限公司 一种结合类词信息的语言模型预训练方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269204A (ja) * 1997-03-28 1998-10-09 Matsushita Electric Ind Co Ltd 中国語文書自動校正方法及びその装置
CN109478204A (zh) * 2016-05-17 2019-03-15 马鲁巴公司 非结构化文本的机器理解
US20180300314A1 (en) * 2017-04-12 2018-10-18 Petuum Inc. Constituent Centric Architecture for Reading Comprehension
US20190057081A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. Method and apparatus for generating natural language
US20190228763A1 (en) * 2019-03-29 2019-07-25 Krzysztof Czarnowski On-device neural network adaptation with binary mask learning for language understanding systems
CN110196894A (zh) * 2019-05-30 2019-09-03 北京百度网讯科技有限公司 语言模型的训练方法和预测方法
CN110489555A (zh) * 2019-08-21 2019-11-22 创新工场(广州)人工智能研究有限公司 一种结合类词信息的语言模型预训练方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HEEWOONG PARK: "Word RNN as a Baseline for Sentence Completion" *
杨康: "面向自动问答的机器阅读理解综述" *
石爱萍;: "一种基于语义距离的关键词获取方法" *

Also Published As

Publication number Publication date
CN111008531B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110457994B (zh) 人脸图像生成方法及装置、存储介质、计算机设备
CN110795552B (zh) 一种训练样本生成方法、装置、电子设备及存储介质
CN106547737B (zh) 基于深度学习的自然语言处理中的序列标注方法
CN108334499A (zh) 一种文本标签标注设备、方法和计算设备
CN112487139B (zh) 基于文本的自动出题方法、装置及计算机设备
CN110781663B (zh) 文本分析模型的训练方法及装置、文本分析方法及装置
CN110472688A (zh) 图像描述的方法及装置、图像描述模型的训练方法及装置
CN109977428A (zh) 一种答案获取的方法及装置
CN110148400A (zh) 发音类型的识别方法、模型的训练方法、装置及设备
CN110348535A (zh) 一种视觉问答模型训练方法及装置
CN108563622B (zh) 一种具有风格多样性的绝句生成方法及装置
CN110929015B (zh) 一种多文本分析方法及装置
CN109582952A (zh) 诗歌生成方法、装置、计算机设备和介质
CN113536801A (zh) 阅读理解模型的训练方法及装置、阅读理解方法及装置
CN110399488A (zh) 文本分类方法及装置
CN111508466A (zh) 一种文本处理方法、装置、设备及计算机可读存储介质
CN111046674B (zh) 语义理解方法、装置、电子设备和存储介质
CN111008531A (zh) 语句选词模型的训练方法及装置、语句选词方法及装置
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN115934904A (zh) 文本处理方法以及装置
CN112233648B (zh) 结合rpa及ai的数据的处理方法、装置、设备及存储介质
CN113792120B (zh) 图网络的构建方法及装置、阅读理解方法及装置
CN113961686A (zh) 问答模型的训练方法及装置、问答方法及装置
CN116186529A (zh) 语义理解模型的训练方法及装置
CN114647717A (zh) 一种智能问答方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant