CN113239704A - 干扰语句生成方法、装置、设备及计算机可读存储介质 - Google Patents

干扰语句生成方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113239704A
CN113239704A CN202110603420.9A CN202110603420A CN113239704A CN 113239704 A CN113239704 A CN 113239704A CN 202110603420 A CN202110603420 A CN 202110603420A CN 113239704 A CN113239704 A CN 113239704A
Authority
CN
China
Prior art keywords
interference
statement
loss value
sentence
generation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110603420.9A
Other languages
English (en)
Other versions
CN113239704B (zh
Inventor
王磊
赵盟盟
肖京
苏亮州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110603420.9A priority Critical patent/CN113239704B/zh
Publication of CN113239704A publication Critical patent/CN113239704A/zh
Application granted granted Critical
Publication of CN113239704B publication Critical patent/CN113239704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及智能决策和区块链技术领域，提供一种干扰语句生成方法、装置、设备及计算机可读存储介质，包括：获取样本数据，样本数据包括样本语句和真实同义语句；调用预设的干扰语句生成模型，将该样本语句和真实同义语句输入干扰语句生成模型，得到第二稠密向量和第三稠密向量，根据真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定干扰语句生成模型是否收敛，若干扰语句生成模型未收敛，则更新干扰语句生成模型的参数，训练更新后的干扰语句生成模型至收敛。获取训练样本集，将训练样本集中的每个训练样本语句输入干扰语句生成模型，得到每个训练样本语句的第一干扰语句。提高了干扰语句集生成的准确性。

Description

干扰语句生成方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及智能决策技术领域，尤其涉及一种干扰语句生成方法、装置、设备及计算机可读存储介质。
背景技术
干扰文本生成是自然语言处理领域的重要研究领域，主要用于自动生成新闻、财报、训练数据集加强等方面，现有的干扰文本生成的方式普遍使用的方法是Transformer模型，但是该模型的损失函数在训练时只考虑了“局部”损失，即基于输入输出稀疏向量的损失比较，它仅能确保特定单词级别的适当性嵌入，但无法保证整个句子级别语义的正确表示。这使得在干扰文本生成应用场景中存在着较大的局限性，模型受数据集干扰明显，当训练数据不够充足时，模型只能生成有限的特定单词，但在语义层面容易出现表达混乱等问题。因此，如何更加准确生成样本集对应的干扰文本是目前亟待解决的问题。
发明内容
本申请的主要目的在于提供一种干扰语句生成方法、装置、设备及计算机可读存储介质，旨在提高生成干扰文本的准确性。
第一方面，本申请提供一种干扰语句生成方法，包括：
获取样本数据，所述样本数据包括样本语句和所述样本语句对应的真实同义语句；
调用预设的干扰语句生成模型，其中，所述预设的干扰语句生成模型包括编码器、译码器和语义判别器；
将所述样本语句输入所述编码器进行编码，得到第一稠密向量；
将所述第一稠密向量输入所述译码器进行译码，得到预测同义语句；
将所述真实同义语句输入所述语义判别器进行编码，得到第二稠密向量，并将所述预测同义语句输入所述语义判别器进行编码，得到第三稠密向量；
根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛；
若所述干扰语句生成模型未收敛，则更新所述干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛；
获取训练样本集，并将所述训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。
第二方面，本申请还提供一种模型训练装置，所述模型训练装置包括：
获取模块用于获取样本数据，所述样本数据包括样本语句和所述样本语句对应的真实同义语句；
调用模块用于调用预设的干扰语句生成模型，其中，所述预设的干扰语句生成模型包括编码器、译码器和语义判别器；
编码模块用于将所述样本语句输入所述编码器进行编码，得到第一稠密向量；
译码模块用于将所述第一稠密向量输入所述译码器进行译码，得到预测同义语句；
判别模块用于将所述真实同义语句输入所述语义判别器进行编码，得到第二稠密向量，并将所述预测同义语句输入所述语义判别器进行编码，得到第三稠密向量；
确定模块用于根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛；
更新模块用于若所述干扰语句生成模型未收敛，则更新所述干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛；
所述获取模块还用于获取训练样本集；
生成模块用于将所述训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的干扰语句生成方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的干扰语句生成方法的步骤。
本申请提供一种干扰语句生成方法、装置、设备及计算机可读存储介质，本申请获取样本数据，样本数据包括样本语句和样本语句对应的真实同义语句；调用预设的干扰语句生成模型，其中，预设的干扰语句生成模型包括编码器、译码器和语义判别器；将样本语句输入编码器进行编码，得到第一稠密向量；将第一稠密向量输入译码器进行译码，得到预测同义语句；将真实同义语句输入语义判别器进行编码，得到第二稠密向量，并将预测同义语句输入语义判别器进行编码，得到第三稠密向量；根据真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定干扰语句生成模型是否收敛；若干扰语句生成模型未收敛，则更新干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛；获取训练样本集，并将训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。首先训练出干扰语句生成模型，然后将每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到准确的得到每个训练样本语句的第一干扰语句，极大地提高了干扰语句生成的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种干扰语句生成方法的步骤流程示意图；
图2为图1中的干扰语句生成方法的子步骤流程示意图；
图3为本申请实施例提供的干扰语句生成模型的一示意图框图；
图4为本申请实施例提供的一种干扰语句生成装置的示意性框图；
图5为图4中的干扰语句生成装置的子模块的示意性框图；
图6为本申请实施例提供的一种计算机设备的结构示意性框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供一种干扰语句生成方法、装置、设备及计算机可读存储介质。其中，该干扰语句生成方法可应用于计算机设备中。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请实施例提供的一种干扰语句生成方法的步骤流程示意图。
如图1所示，该干扰语句生成方法包括步骤S101至步骤S108。
步骤S101、获取样本数据，所述样本数据包括样本语句和所述样本语句对应的真实同义语句。
其中，样本数据包括样本语句和样本语句对应的真实同义句。
示例性的，获取样本数据，该样本数据包括样本语句和样本语句对应的真实同义句，其中，该样本语句为European countriesplayanimportantroleinworldeconomicdevelopment，样本语句对应的真实同义句为European countrieshavegreatonworldeconomicdevelopment。又例如，获取样本数据，该样本数据包括“中国人口排世界第一”的样本语句，以及“中国人口排世界首位”的样本语句对应的真实同义句。
步骤S102、调用预设的干扰语句生成模型，其中，所述预设的干扰语句生成模型包括编码器、译码器和语义判别器。
其中，干扰语句生成模型可以是长短期记忆人工神经网络、卷积神经网络模型和循环卷积神经网络等神经网络模型组成的，本申请对此不做具体限定。
在一实施例中，干扰语句生成模型包括编码器、译码器和语义判别器，编码器包括第一预设数量神经网络，译码器包括第二预设数量神经网络，语义判别器包括第三预设数量神经网络。其中，该第一预设数量、第二预设数量和第三预设数量可以根据实际情况进行设置，本申请对此不做具体限定，例如，第一预设数量可以为2，第二预设数量可以为3、第三预设数量可以为2，当该神经网络为长短期记忆人工神经网络时，则编码器包括双层长短期记忆人工神经网络，译码器包括三层长短期记忆人工神经网络，语义判别器包括双层长短期记忆人工神经网络。
在一实施例中，编码器可以根据输入的语句输出对应稠密向量，译码器可以根据输入的稠密向量输出对应的预测语句，语义判别器可以根据输入的预测语句输出对应的稠密向量。
步骤S103、将所述样本语句输入所述编码器进行编码，得到第一稠密向量。
将样本语句中的每个词语进行编码转化为稀疏向量，然后将稀疏向量输入编码器进行编码，得到第一稠密向量。其中，将每个词语进行编码转化为稀疏向量的方式可以根据情况进行选择，本申请对此不做具体限定，例如，转化为稀疏向量的方式可以为通过One-Hot编码(独热编码)对每个词语进行编码，得到稀疏向量。通过编码器可以准确的得到样本语句对应的第一稠密向量。
需要说明的，将样本语句中的词语转换为稀疏向量可以是在编码器中进行转化，也可以是设置在编码器之外的向量转换模块。通过灵活的设置词语的稀疏方式，可以提高了样本语句编码的效率。
步骤S104、将所述第一稠密向量输入所述译码器进行译码，得到预测同义语句。
将第一稠密向量输入译码器进行译码，得到预测同义语句。具体地，将第一稠密向量输入至译码器进行译码，可以得到多个词语和每个词语对应的概率分布，通过softmax函数对多个词语和每个词语对应的概率进行计算，得到预测同义句。
步骤S105、将所述真实同义语句输入所述语义判别器进行编码，得到第二稠密向量，并将所述预测同义语句输入所述语义判别器进行编码，得到第三稠密向量。
其中，语义判别器包括第三预设数量的神经网络，其中，该第三预设数量可以根据实际情况进行设置，本申请对此不做具体限定，例如，该第三预设数量为2，该神经网络为长短期记忆人工神经网络，则语义判别器为双层长短期记忆人工神经网络。
在一实施例中，将真实同义语句输入至语义判别器，得到第二稠密向量，将预测同义语句输入语义判别器，得到第三稠密向量，通过该语义判别器可以准确的确定真实同义语句对应的第二稠密向量和预测同义语句对应的第三稠密向量，提高整个模型的训练的准确性。
步骤S106、根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛。
在一实施例中，如图2所示，步骤S106包括子步骤S1061至子步骤S1064。
子步骤S1061、根据所述真实同义语句和所述预测同义语句，确定第一损失值。
确定样本语句中的词语数量；对真实同义语句进行编码，得到第一编码向量，并对预测同义语句进行编码，得到第二编码向量；根据第一编码向量、第二编码向量和样本词语数量，确定第一损失值。其中，对真实同义语句进行编码和对预测同义语句进行编码的编码方式可以根据实际情况进行选择，本申请对此不做具体限定，例如，该编码方式可以是Word2vec(word to vector)。
在一实施例中，确定样本语句中的词语数量的方式可以为：对样本语句中的词语进划分，并统计划分得到词语数量，得到样本语句中的词语数量。其中，对样本语句中的词语的划分规则可以根据实际情况进行设置，本申请对此不做具体限定。示例性的，样本语句为“中国人口排世界第一”，对该样本语句进行词语划分，得到“中国”、“人口”、“排”、“世界”、“第一”，则样本语句中词语数量为5。
在一实施例中，根据第一编码向量、第二编码向量和样本词语数量，确定第一损失值的方式可以为：获取第一预设公式，该第一预设公式为：
Figure BDA0003093339660000061
其中，L1为第一损失值，T为样本词语数量，qt为第一编码向量，P(At|q0···qn-1)为第二编码向量中每个子向量的概率。基于该第一预设公式，将第一编码向量、第二编码向量和样本词语数量输入至该第一预设公式中计算，得到第一损失值。基于该第一预设公式和根据第一编码向量、第二编码向量和样本词语数量，准确的得到第一损失值。
子步骤S1062、根据所述第二稠密向量和所述第三稠密向量，确定第二损失值。
确定样本语句中的词语数量，获取第二预设公式，其中，第二预设公式是为
Figure BDA0003093339660000071
L2为第二损失值，T为样本语句中的词语数量，qt为第二稠密向量，Pt为第三稠密向量，基于该第二预设公式，并根据样本语句中的词语数量、第二稠密向量和第三稠密向量可以计算出第二损失值。
子步骤S1063、根据所述第一损失值和所述第二损失值，确定目标损失值。
具体地，对第一损失值和第二损失值进行求和运算，得到当前损失值；获取干扰语句生成模型的历史损失值和已训练总次数；根据当前损失值、历史损失值和已训练总次数，确定所述目标损失值。根据第一损失值和第二损失值，可以准确的确定目标损失值。
在一实施例中，根据当前损失值、历史损失值和已训练总次数，确定所述目标损失值的方式可以为：对当前损失值和历史损失值进行求和运算，得到总损失值；将总损失值作为被除数对已训练总次数进行除法运算，得到目标损失值。
示例性的，第一损失值为0.5，第二损失值为0.6，将第一损失值为0.5和第二损失值为0.6做加法运算，得到当前损失值为1.1，获取干扰语句生成模型的历史损失值为6.1，已训练总次数为5次，对历史损失值为6.1和当前损失值为1.1进行求和计算，得到总损失值为7.2，将总损失值为7.2作为被除数对已训练总次数为5进行除法运算，得到目标损失值1.44。子步骤S1064、根据所述目标损失值，确定所述干扰语句生成模型是否收敛。
确定目标损失值是否小于预设阈值；若确定目标损失值小于预设阈值，则确定干扰语句生成模型已收敛；若确定目标损失值大于或等于预设阈值，则确定干扰语句生成模型未收敛。其中，预设阈值可以根据时间情况进行设置，本申请对此不做具体限定。
步骤S107、若所述干扰语句生成模型未收敛，则更新所述干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛。
若干扰语句生成模型未收敛，则干扰语句生成模型需要进行训练，从而保证干扰语句生成模型的输出的干扰语句的准确性。继续获取样本数据，执行步骤S102至步骤S106进行样本数据的训练，并根据干扰语句生成模型的参数，直至训练更新后的干扰语句生成模型收敛，则确定干扰语句生成模型已训练完成。
如图3所示，干扰语句生成模型包括编码器、译码器和语义判别器，样本语句M输入至编码器进行编码器，得到第一稠密向量a，将第一稠密向量a输入至译码器进行译码，得到预测同义语句X，将真实同义语句Y输入语义判别器进行编码，得到第二稠密向量B，并将预测同义语句X输入语义判别器进行编码，得到第三稠密向量A，根据真实同义语句Y、预测同义语句X、第二稠密向量B和第三稠密向量A，确定干扰语句生成模型的目标损失值，进而根据目标损失值确定是否继续训练干扰语句生成模型。
步骤S108、获取训练样本集，并将所述训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。
在确定干扰语句生成模型收敛之后，获取训练样本集，并将训练样本集中每个训练样本语句输入至该干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。通过该干扰语句生成模型可以准确的得到每个训练样本语句的第一干扰语句。
在一实施例中，确定第一干扰语句中的关键词；确定关键词的关联词，其中，关联词包括关键词的同义词和/或反义词；从关键词的关联词中确定每个关键词的目标关联词，并将第一干扰语句中的关键词替换为目标关联词，以生成第二干扰语句。通过将第一干扰语句中的关键词替换为目标关键词，可以增加干扰语句集的数量。
在一实施例中，确定第一干扰语句中的关键词的方式可以为：通过预设算法提取第一干扰语句中的关键词，其中，该预设算法可以根据实际情况进行选择，本申请对此不做具体限定，例如，该预设算法可以是TF-IDF算法，通过该预设算法可以准确的提取到第一干扰语句中的关键词。
在一实施例中，确定关键词的关联词，其中，关联词包括关键词的同义词和/或反义词的方式可以为：通过nltk(Natural Language Toolkit，自然语言处理工具包)库中的antonyms函数找到该关键词的同义词或者反义词。
示例性的，第一干扰语句为“中国人口排世界第一”，确定第一干扰语句的关键词为“中国”、“人口”和“第一”，确定“第一”的同义词为“首位”，则得到第二干扰语句为“中国人口排世界首位”。
在一实施例中，获取样本语句，确定样本语句中关键词，并确定关键词的关联词，其中，关联词包括关键词的同义词和/或反义词；从关键词的关联词中确定每个关键词的目标关联词，并将所述样本语句中的关键词替换为目标关联词，以生成干扰语句。直接将样本语句中的关键词替换为目标关联词，可以增加干扰语句集的数量。其中，确定样本语句中关键词和确定关键词的关联词可以参考上述实施例中对应的步骤，对此不做过多赘述。
上述实施例提供的干扰语句生成方法，获取样本数据，样本数据包括样本语句和样本语句对应的真实同义语句；调用预设的干扰语句生成模型，其中，预设的干扰语句生成模型包括编码器、译码器和语义判别器；将样本语句输入编码器进行编码，得到第一稠密向量；将第一稠密向量输入译码器进行译码，得到预测同义语句；将真实同义语句输入语义判别器进行编码，得到第二稠密向量，并将预测同义语句输入语义判别器进行编码，得到第三稠密向量；根据真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定干扰语句生成模型是否收敛；若干扰语句生成模型未收敛，则更新干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛；获取训练样本集，并将训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。首先训练出干扰语句生成模型，然后将每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到准确的得到每个训练样本语句的第一干扰语句，极大地提高了干扰语句生成的准确性。
请参阅图4，图4为本申请实施例提供的一种干扰语句生成装置的示意性框图。
如图4所示，干扰语句生成装置200包括获取模块210、调用模块220、编码模块230、译码模块240、判别模块250、确定模块260、更新模块270和生成模块280，其中：
获取模块210用于获取样本数据，所述样本数据包括样本语句和所述样本语句对应的真实同义语句；
调用模块220用于调用预设的干扰语句生成模型，其中，所述预设的干扰语句生成模型包括编码器、译码器和语义判别器；
编码模块230用于将所述样本语句输入所述编码器进行编码，得到第一稠密向量；
译码模块240用于将所述第一稠密向量输入所述译码器进行译码，得到预测同义语句；
判别模块250用于将所述真实同义语句输入所述语义判别器进行编码，得到第二稠密向量，并将所述预测同义语句输入所述语义判别器进行编码，得到第三稠密向量；
确定模块260用于根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛；
更新模块270用于若所述干扰语句生成模型未收敛，则更新所述干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛；
所述获取模块210还用于获取训练样本集；
生成模块280用于将所述训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。
在一实施例中，如图5所示，确定模块260包括第一确定子模块261、第二确定子模块262、第三确定子模块263和第四确定子模块264，还用于：
第一确定子模块261用于根据所述真实同义语句和所述预测同义语句，确定第一损失值；
第二确定子模块262用于根据所述第二稠密向量和所述第三稠密向量，确定第二损失值；
第三确定子模块263用于根据所述第一损失值和所述第二损失值，确定目标损失值；
第四确定子模块264用于根据所述目标损失值，确定所述干扰语句生成模型是否收敛。
在一实施例中，第一确定子模块261，还用于：
确定所述样本语句中的词语数量；
对所述真实同义语句进行编码，得到第一编码向量，并对所述预测同义语句进行编码，得到第二编码向量；
根据所述第一编码向量、第二编码向量和样本词语数量，确定第一损失值。
在一实施例中，第三确定子模块263，还用于：
对所述第一损失值和第二损失值进行求和运算，得到当前损失值；
获取所述干扰语句生成模型的历史损失值和已训练总次数；
根据所述当前损失值、历史损失值和已训练总次数，确定所述目标损失值。
在一实施例中，第三确定子模块263，还用于：
对所述当前损失值和所述历史损失值进行求和运算，得到总损失值；
将所述总损失值作为被除数对所述已训练总次数进行除法运算，得到所述目标损失值。
在一实施例中，第四确定子模块264，还用于：
确定所述目标损失值是否小于预设阈值；
若确定所述目标损失值小于预设阈值，则确定所述干扰语句生成模型已收敛；
若确定所述目标损失值大于或等于预设阈值，则确定所述干扰语句生成模型未收敛。
在一实施例中，生成模块280，还用于：
确定所述第一干扰语句中的关键词；
确定所述关键词的关联词，其中，所述关联词包括所述关键词的同义词和/或反义词；
从所述关键词的关联词中确定每个所述关键词的目标关联词，并将所述第一干扰语句中的所述关键词替换为所述目标关联词，以生成第二干扰语句。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述干扰语句生成装置的具体工作过程，可以参考前述干扰语句生成方法实施例中的对应过程，在此不再赘述。
请参阅图6，图6为本申请实施例提供的一种计算机设备的结构示意性框图。
如图6所示，该计算机设备300包括通过系统总线301连接的处理器302和存储器303，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种干扰语句生成方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种干扰语句生成方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，该总线301比如为I2C(Inter-integrated Circuit)总线，存储器303可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等，处理器302可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取样本数据，所述样本数据包括样本语句和所述样本语句对应的真实同义语句；
调用预设的干扰语句生成模型，其中，所述预设的干扰语句生成模型包括编码器、译码器和语义判别器；
将所述样本语句输入所述编码器进行编码，得到第一稠密向量；
将所述第一稠密向量输入所述译码器进行译码，得到预测同义语句；
将所述真实同义语句输入所述语义判别器进行编码，得到第二稠密向量，并将所述预测同义语句输入所述语义判别器进行编码，得到第三稠密向量；
根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛；
若所述干扰语句生成模型未收敛，则更新所述干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛；
获取训练样本集，并将所述训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。
在一个实施例中，所述处理器在实现所述根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛时，用于实现：
根据所述真实同义语句和所述预测同义语句，确定第一损失值；
根据所述第二稠密向量和所述第三稠密向量，确定第二损失值；
根据所述第一损失值和所述第二损失值，确定目标损失值；
根据所述目标损失值，确定所述干扰语句生成模型是否收敛。
在一个实施例中，所述处理器在实现所述根据所述真实同义语句和所述预测同义语句，确定第一损失值时，用于实现：
确定所述样本语句中的词语数量；
对所述真实同义语句进行编码，得到第一编码向量，并对所述预测同义语句进行编码，得到第二编码向量；
根据所述第一编码向量、第二编码向量和样本词语数量，确定第一损失值。
在一个实施例中，所述处理器在实现所述根据所述第一损失值和所述第二损失值，确定目标损失值时，用于实现：
对所述第一损失值和第二损失值进行求和运算，得到当前损失值；
获取所述干扰语句生成模型的历史损失值和已训练总次数；
根据所述当前损失值、历史损失值和已训练总次数，确定所述目标损失值。
在一个实施例中，所述处理器在实现所述根据所述当前损失值、历史损失值和已训练总次数，确定所述目标损失值时，用于实现：
对所述当前损失值和所述历史损失值进行求和运算，得到总损失值；
将所述总损失值作为被除数对所述已训练总次数进行除法运算，得到所述目标损失值。
在一个实施例中，所述处理器在实现所述根据所述目标损失值，确定所述干扰语句生成模型是否收敛时，用于实现：
确定所述目标损失值是否小于预设阈值；
若确定所述目标损失值小于预设阈值，则确定所述干扰语句生成模型已收敛；
若确定所述目标损失值大于或等于预设阈值，则确定所述干扰语句生成模型未收敛。
在一个实施例中，所述处理器在实现还用于实现：
确定所述第一干扰语句中的关键词；
确定所述关键词的关联词，其中，所述关联词包括所述关键词的同义词和/或反义词；
从所述关键词的关联词中确定每个所述关键词的目标关联词，并将所述第一干扰语句中的所述关键词替换为所述目标关联词，以生成第二干扰语句。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述计算机设备的具体工作过程，可以参考前述干扰语句生成方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请干扰语句生成方法的各个实施例。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种干扰语句生成方法，其特征在于，包括：
获取样本数据，所述样本数据包括样本语句和所述样本语句对应的真实同义语句；
调用预设的干扰语句生成模型，其中，所述预设的干扰语句生成模型包括编码器、译码器和语义判别器；
将所述样本语句输入所述编码器进行编码，得到第一稠密向量；
将所述第一稠密向量输入所述译码器进行译码，得到预测同义语句；
将所述真实同义语句输入所述语义判别器进行编码，得到第二稠密向量，并将所述预测同义语句输入所述语义判别器进行编码，得到第三稠密向量；
根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛；
若所述干扰语句生成模型未收敛，则更新所述干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛；
获取训练样本集，并将所述训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。
2.如权利要求1所述的干扰语句生成方法，其特征在于，所述根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛，包括：
根据所述真实同义语句和所述预测同义语句，确定第一损失值；
根据所述第二稠密向量和所述第三稠密向量，确定第二损失值；
根据所述第一损失值和所述第二损失值，确定目标损失值；
根据所述目标损失值，确定所述干扰语句生成模型是否收敛。
3.如权利要求2所述的干扰语句生成方法，其特征在于，所述根据所述真实同义语句和所述预测同义语句，确定第一损失值，包括：
确定所述样本语句中的词语数量；
对所述真实同义语句进行编码，得到第一编码向量，并对所述预测同义语句进行编码，得到第二编码向量；
根据所述第一编码向量、第二编码向量和样本词语数量，确定第一损失值。
4.如权利要求2所述的干扰语句生成方法，其特征在于，所述根据所述第一损失值和所述第二损失值，确定目标损失值，包括：
对所述第一损失值和第二损失值进行求和运算，得到当前损失值；
获取所述干扰语句生成模型的历史损失值和已训练总次数；
根据所述当前损失值、历史损失值和已训练总次数，确定所述目标损失值。
5.如权利要求4所述的干扰语句生成方法，其特征在于，所述根据所述当前损失值、历史损失值和已训练总次数，确定所述目标损失值，包括：
对所述当前损失值和所述历史损失值进行求和运算，得到总损失值；
将所述总损失值作为被除数对所述已训练总次数进行除法运算，得到所述目标损失值。
6.如权利要求2所述的干扰语句生成方法，其特征在于，所述根据所述目标损失值，确定所述干扰语句生成模型是否收敛，包括：
确定所述目标损失值是否小于预设阈值；
若确定所述目标损失值小于预设阈值，则确定所述干扰语句生成模型已收敛；
若确定所述目标损失值大于或等于预设阈值，则确定所述干扰语句生成模型未收敛。
7.如权利要求1-6中任一项所述的干扰语句生成方法，其特征在于，所述方法还包括：
确定所述第一干扰语句中的关键词；
确定所述关键词的关联词，其中，所述关联词包括所述关键词的同义词和/或反义词；
从所述关键词的关联词中确定每个所述关键词的目标关联词，并将所述第一干扰语句中的所述关键词替换为所述目标关联词，以生成第二干扰语句。
8.一种干扰语句生成装置，其特征在于，所述干扰语句生成装置包括：
获取模块用于获取样本数据，所述样本数据包括样本语句和所述样本语句对应的真实同义语句；
调用模块用于调用预设的干扰语句生成模型，其中，所述预设的干扰语句生成模型包括编码器、译码器和语义判别器；
编码模块用于将所述样本语句输入所述编码器进行编码，得到第一稠密向量；
译码模块用于将所述第一稠密向量输入所述译码器进行译码，得到预测同义语句；
判别模块用于将所述真实同义语句输入所述语义判别器进行编码，得到第二稠密向量，并将所述预测同义语句输入所述语义判别器进行编码，得到第三稠密向量；
确定模块用于根据所述真实同义语句、预测同义语句、第二稠密向量和第三稠密向量，确定所述干扰语句生成模型是否收敛；
更新模块用于若所述干扰语句生成模型未收敛，则更新所述干扰语句生成模型的参数，并继续训练更新后的干扰语句生成模型至收敛；
所述获取模块还用于获取训练样本集；
生成模块用于将所述训练样本集中的每个训练样本语句输入收敛后的干扰语句生成模型进行处理，得到每个训练样本语句的第一干扰语句。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的干扰语句生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的干扰语句生成方法的步骤。
CN202110603420.9A 2021-05-31 2021-05-31 干扰语句生成方法、装置、设备及计算机可读存储介质 Active CN113239704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110603420.9A CN113239704B (zh) 2021-05-31 2021-05-31 干扰语句生成方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110603420.9A CN113239704B (zh) 2021-05-31 2021-05-31 干扰语句生成方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113239704A true CN113239704A (zh) 2021-08-10
CN113239704B CN113239704B (zh) 2024-05-28

Family

ID=77135950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110603420.9A Active CN113239704B (zh) 2021-05-31 2021-05-31 干扰语句生成方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113239704B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895553A (zh) * 2018-08-23 2020-03-20 国信优易数据有限公司 语义匹配模型训练方法、语义匹配方法及答案获取方法
US20200097820A1 (en) * 2017-05-16 2020-03-26 Samsung Electronics Co., Ltd. Method and apparatus for classifying class, to which sentence belongs, using deep neural network
CN111222347A (zh) * 2020-04-15 2020-06-02 北京金山数字娱乐科技有限公司 语句翻译模型的训练方法及装置、语句翻译方法及装置
KR20200064007A (ko) * 2018-11-28 2020-06-05 한국과학기술원 정답을 찾는 질의 응답 시스템 및 그의 훈련 방법
CN111666416A (zh) * 2019-03-08 2020-09-15 百度在线网络技术（北京）有限公司 用于生成语义匹配模型的方法和装置
CN111738010A (zh) * 2019-03-20 2020-10-02 百度在线网络技术（北京）有限公司 用于生成语义匹配模型的方法和装置
CN111738020A (zh) * 2020-08-24 2020-10-02 北京金山数字娱乐科技有限公司 一种翻译模型的训练方法及装置
CN111931518A (zh) * 2020-10-15 2020-11-13 北京金山数字娱乐科技有限公司 一种翻译模型的训练方法及装置
CN112164391A (zh) * 2020-10-16 2021-01-01 腾讯科技（深圳）有限公司 语句处理方法、装置、电子设备及存储介质
CN112597778A (zh) * 2020-12-14 2021-04-02 华为技术有限公司 一种翻译模型的训练方法、翻译方法以及设备
CN112634867A (zh) * 2020-12-11 2021-04-09 平安科技（深圳）有限公司 模型训练方法、方言识别方法、装置、服务器及存储介质
CN112786003A (zh) * 2020-12-29 2021-05-11 平安科技（深圳）有限公司 语音合成模型训练方法、装置、终端设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097820A1 (en) * 2017-05-16 2020-03-26 Samsung Electronics Co., Ltd. Method and apparatus for classifying class, to which sentence belongs, using deep neural network
CN110895553A (zh) * 2018-08-23 2020-03-20 国信优易数据有限公司 语义匹配模型训练方法、语义匹配方法及答案获取方法
KR20200064007A (ko) * 2018-11-28 2020-06-05 한국과학기술원 정답을 찾는 질의 응답 시스템 및 그의 훈련 방법
CN111666416A (zh) * 2019-03-08 2020-09-15 百度在线网络技术（北京）有限公司 用于生成语义匹配模型的方法和装置
CN111738010A (zh) * 2019-03-20 2020-10-02 百度在线网络技术（北京）有限公司 用于生成语义匹配模型的方法和装置
CN111222347A (zh) * 2020-04-15 2020-06-02 北京金山数字娱乐科技有限公司 语句翻译模型的训练方法及装置、语句翻译方法及装置
CN111738020A (zh) * 2020-08-24 2020-10-02 北京金山数字娱乐科技有限公司 一种翻译模型的训练方法及装置
CN111931518A (zh) * 2020-10-15 2020-11-13 北京金山数字娱乐科技有限公司 一种翻译模型的训练方法及装置
CN112164391A (zh) * 2020-10-16 2021-01-01 腾讯科技（深圳）有限公司 语句处理方法、装置、电子设备及存储介质
CN112634867A (zh) * 2020-12-11 2021-04-09 平安科技（深圳）有限公司 模型训练方法、方言识别方法、装置、服务器及存储介质
CN112597778A (zh) * 2020-12-14 2021-04-02 华为技术有限公司 一种翻译模型的训练方法、翻译方法以及设备
CN112786003A (zh) * 2020-12-29 2021-05-11 平安科技（深圳）有限公司 语音合成模型训练方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN113239704B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN108416058B (zh) 一种基于Bi-LSTM输入信息增强的关系抽取方法
CN109190120B (zh) 神经网络训练方法和装置及命名实体识别方法和装置
Qin et al. Neural-symbolic solver for math word problems with auxiliary tasks
CN108427771A (zh) 摘要文本生成方法、装置和计算机设备
CN111222317A (zh) 序列标注方法、系统和计算机设备
CN113362804B (zh) 一种合成语音的方法、装置、终端及存储介质
CN112446211A (zh) 文本处理装置、方法、设备和计算机可读存储介质
CN113158685A (zh) 文本的语义预测方法、装置、计算机设备和存储介质
CN113626608B (zh) 增强语义的关系抽取方法、装置、计算机设备及存储介质
CN112052329A (zh) 文本摘要生成方法、装置、计算机设备及可读存储介质
CN110188926A (zh) 一种订单信息预测系统和方法
CN116991875B (zh) 一种基于大模型的sql语句生成、别名映射方法及设备
CN116069931A (zh) 层级标签文本分类方法、系统、设备及存储介质
CN114880991B (zh) 知识图谱问答问句实体链接方法、装置、设备及介质
CN111563391A (zh) 机器翻译方法、装置及电子设备
CN118503494A (zh) 面向多源异构知识库的大模型问答方法、装置和设备
CN112509644B (zh) 一种分子优化方法、系统、终端设备及可读存储介质
CN113239704B (zh) 干扰语句生成方法、装置、设备及计算机可读存储介质
CN112818688B (zh) 文本处理方法、装置、设备及存储介质
CN112329391B (zh) 目标编码器生成方法、装置、电子设备和计算机可读介质
CN111126047B (zh) 一种同义文本生成的方法及装置
CN112052649B (zh) 文本生成方法、装置、电子设备及存储介质
CN115114930A (zh) 一种基于序列到森林的非连续实体识别方法
CN112395832B (zh) 一种基于序列到序列的文本量化分析与生成方法及系统
CN117932487B (zh) 一种风险分类模型训练、风险分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant