CN112257409A - 一种相似句子对判断方法、系统及存储介质 - Google Patents

一种相似句子对判断方法、系统及存储介质 Download PDF

Info

Publication number
CN112257409A
CN112257409A CN202011069334.6A CN202011069334A CN112257409A CN 112257409 A CN112257409 A CN 112257409A CN 202011069334 A CN202011069334 A CN 202011069334A CN 112257409 A CN112257409 A CN 112257409A
Authority
CN
China
Prior art keywords
similar
robert
network
similar sentence
sentence pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011069334.6A
Other languages
English (en)
Other versions
CN112257409B (zh
Inventor
刘园
朱德伟
孔亚洲
王玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huatai Securities Co ltd
Original Assignee
Huatai Securities Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huatai Securities Co ltd filed Critical Huatai Securities Co ltd
Priority to CN202011069334.6A priority Critical patent/CN112257409B/zh
Publication of CN112257409A publication Critical patent/CN112257409A/zh
Application granted granted Critical
Publication of CN112257409B publication Critical patent/CN112257409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种相似句子对判断方法、系统及存储介质，所述方法包括如下步骤：步骤1：根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；步骤2：使用与Robert网络对接的Encoder将步骤1中的多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；步骤3：将步骤2处理后的Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；步骤4：重复步骤3进行训练优化，直至满足收敛条件,从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。本发明能够保证相似句子对判断的准确率。

Description

一种相似句子对判断方法、系统及存储介质
技术领域
本发明涉及一种相似句子对判断方法、系统及存储介质，属于自然语言处理技术领域。
背景技术
目前相似句子对判断的两种常用方法分别是基于Word-level(单词层)判断相似句子对和基于Sentence-level(句子层)判断相似句子对。
基于Word-level判断相似句子对是通过对句子进行分词，分别计算两个被比较句子中所含词汇的相似度，主要涉及两个核心问题：一个是词汇的相似度计算问题，另一个是对多个词的相似度进行加权融合问题，但是存在一定的局限性，主要包括两点，其一是维护工作量大，如果采用对句子进行分词的方法，则判断相似句子对的准确率依赖于分词的准确率和前期同义词维护的全面性；其二是语义表征能力的欠缺。
基于Sentence-level判断相似句子对是采用句子建模方法判断相似句子对，其核心思想是利用向量空间模型，对句子进行向量表征，而向量表征通常有两种方式，其一是基于word-vector(词向量)的组合进行向量表征，其二是基于sentence-vector(句向量)进行向量表征，但是难以解决不同类别的相似句子对样本不平衡的技术问题。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种相似句子对判断方法、系统及存储介质，能够保证相似句子对判断的准确率。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种相似句子对判断方法，所述方法包括如下步骤：
步骤1：根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；
步骤2：使用与Robert网络对接的Encoder将步骤1中的多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；
步骤3：将步骤2处理后的Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；
步骤4：重复步骤3进行训练优化，直至满足收敛条件,从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。
结合第一方面，进一步的，所述Robert网络基于Bert算法。
结合第一方面，进一步的，Robert网络对学习率的峰值和warm-up更新步数作出调整，将Adam中的β2＝0.999改为β2＝0.98，不对序列进行截短，使用全长度序列，使用DGX-1each with 8*32GB NVIDIA V100 GPUs interconnected by Infiniband处理器。
结合第一方面，进一步的，Robert网络使用160G训练语料，使用动态mask方法，使用FULL-SENTENCES without NSP Loss，使用batch size＝16/32/64/128。
结合第一方面，进一步的，所述收敛条件为相似句子对判断的准确率达到一定阈值。
第二方面，本发明提供了一种相似句子对判断系统，所述系统包括：
分类模块：用于根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；
转换模块：用于使用与Robert网络对接的Encoder将多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；
输入模块：用于将Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；
优化模块：用于重复所述输入模块的训练而进行优化，直至满足收敛条件，从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。
第三方面，本发明提供了一种相似句子对判断系统，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行前述任一项所述判断方法的步骤。
第四方面，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述判断方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明通过Robert网络的训练和Focal Loss函数对不同类别的相似句子对样本不平衡问题的消除，能够较为迅速地识别出占比较少的一类或多类相似句子对样本，从而准确地将Embedding结果样本分类为相似句子对和非相似句子对，保证相似句子对判断的准确率；
通过添加语义表征空间，提升了智能对话系统的用户体验，有利于智能对话系统的进一步智能化。
附图说明
图1是本发明实施例提供的相似句子对判断方法的原理框图；
图2是本发明实施例提供的相似句子对判断方法的具体应用实施流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明实施例中，构成完整句子的相似句子对样本数量较少，其他相似句子对样本数量较多，这便造成了不同类别的相似句子对样本不平衡，而且给机器学习模型的泛化能力带来一定的影响，因此将Robert网络的Cross Entropy Loss(交叉熵损失)函数替换为用于处理不同类别的相似句子对样本不平衡问题的Focal Loss(焦点损失)函数，从而提高构成完整句子的相似句子对样本的权重。
Focal Loss函数是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉熵损失：
Figure BDA0002712073620000041
y'是传统二分类问题的预测结果，其值在0-1之间。
普通交叉熵对于正样本而言，输出概率越大，则损失越小；普通交叉熵对于负样本而言，输出概率越小，则损失越小。此时的交叉熵损失函数在大量简单样本的迭代过程中的优化速度会比较缓慢且可能无法优化至最优。于是Focal Loss函数做出如下优化：
Figure BDA0002712073620000051
其中γ＞0使得其他相似句子对样本的损失得以减少，使得构成完整句子的相似句子对样本更被关注；添加平衡因子α，用来平衡正负样本本身的比例不均，比如α取0.25，即正样本占比要小于负样本占比，这是因为负样本简单容易区分。
只添加α虽然可以平衡正负样本本身的比例不均，但是无法解决简单与困难样本的问题。而γ调节简单样本权重降低的速率，当γ为0时Focal Loss函数即为交叉熵损失函数，当γ增加时，平衡因子α的影响也在增加。
如图1所示，本发明实施例提供了一种相似句子对判断方法，所述方法包括如下步骤：
步骤1：根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对，在本实施例中为3组，每组句子对均由sent1句和sent2句构成，同时设置label标识该组的sent1句和sent2句是否构成相似句子对；
其中，label＝1标识sent1句和sent2句构成相似句子对，label＝0标识sent1句和sent2句不构成相似句子对；
步骤2：使用与Robert网络对接的Encoder(编码器)将步骤1中的多组句子对转换为对应的语义表征空间，获取符合语义的Embedding(嵌入式)结果样本；
步骤3：将步骤2处理后的Embedding结果样本输入Robert网络中训练，从而有效解决在智能对话系统进行语料收集的过程中容易产生的数据噪音问题；并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题，所述Robert网络基于Bert算法；所述Robert网络对学习率的峰值和warm-up更新步数作出调整，将Adam中的β2＝0.999改为β2＝0.98，不对序列进行截短，使用全长度序列，使用DGX-1each with 8*32GB NVIDIA V100 GPUs interconnected by Infiniband处理器，使用160G训练语料,而原Bert算法使用16G训练语料，使用动态mask方法，而原Bert算法使用经典mask方法，使用FULL-SENTENCES without NSP Loss，使用batch size＝16/32/64/128，使用高层级的byte-level BPE；
步骤4：重复步骤3进行训练优化，直至满足收敛条件,从而准确地将Embedding结果样本分类为相似句子对和非相似句子对，所述收敛条件为相似句子对判断的准确率达到一定阈值。
本发明实施例通过Robert网络的训练和Focal Loss函数对不同类别的相似句子对样本不平衡问题的消除，能够较为迅速地识别出占比较少的一类或多类相似句子对样本，从而准确地将Embedding结果样本分类为相似句子对和非相似句子对，保证相似句子对判断的准确率；
其中，若各组的sent1句和sent2句构成相似句子对，则由label＝1标识；若各组的sent1句和sent2句不构成相似句子对，则由label＝0标识；
通过添加语义表征空间，提升了智能对话系统的用户体验，有利于智能对话系统的进一步智能化。
本发明实施例由于保证了相似句子对判断的准确率，从而提升了后期相似句子对录入的门槛，即只有在满足一定条件下的相似句子对才可以被录入智能对话系统，避免智能对话系统产生过多脏数据。
如图2所示，本发明实施例提供的相似句子对判断方法的具体应用说明如下：
向智能对话系统后台输入语料，然后智能对话系统对语料进行意图冲突检测，目的是为了确保录入系统的语料是未曾在系统中出现过的新语料；若没有发生冲突，则在系统中增加该新语料；若发生冲突，则运用相似句子对判断方法，判定发生冲突的输入语料和系统内部语料是相似句子对，然后在智能对话系统中保存该相似句子对，从而扩展原有相似句子对。
本发明实施例还提供了一种相似句子对判断系统，所述系统包括：
分类模块：用于根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；
转换模块：用于使用与Robert网络对接的Encoder将多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；
输入模块：用于将Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；
优化模块：用于重复所述输入模块的训练而进行优化，直至满足收敛条件，从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。
本发明实施例还提供了一种相似句子对判断系统，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行前述判断方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述判断方法的步骤。
本发明实施例适用于在智能对话系统中人工录入相似句子对的辅助判别场景，在智能对话系统业务的开始阶段，工作人员会面临大量数据录入的工作，而数据录入的质量直接决定了智能对话系统回答问题的准确率，只有准确率较高的回答才能保证智能对话系统在后期应用过程中维持一定的用户粘性，可见数据录入的质量是保证智能对话系统受到用户欢迎的根本，而本发明实施例能够保证相似句子对判断的准确率，提高数据录入的质量，从而提升智能对话系统回答问题的准确率。
本发明实施例不仅可以应用在相似句子对判断上，也可以应用在文本生成领域中，比如通过判断生成的语料和目标语料的相似度大小来避免语义相差过多的语料产生，还可以应用在包括但不限于断句合并的语义判别场景中，以及解决除对话以外的语义解析问题。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种相似句子对判断方法，其特征在于，所述方法包括如下步骤：
步骤1：根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；
步骤2：使用与Robert网络对接的Encoder将步骤1中的多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；
步骤3：将步骤2处理后的Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；
步骤4：重复步骤3进行训练优化，直至满足收敛条件,从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。
2.根据权利要求1所述的相似句子对判断方法，其特征在于，所述Robert网络基于Bert算法。
3.根据权利要求2所述的相似句子对判断方法，其特征在于，
Robert网络对学习率的峰值和warm-up更新步数作出调整，将Adam中的β2＝0.999改为β2＝0.98，不对序列进行截短，使用全长度序列，使用DGX-1 each with 8*32GB NVIDIAV100 GPUs interconnected by Infiniband处理器。
4.根据权利要求2所述的相似句子对判断方法，其特征在于，Robert网络使用160G训练语料，使用动态mask方法，使用FULL-SENTENCES without NSP Loss，使用batch size＝16/32/64/128。
5.根据权利要求1所述的相似句子对判断方法，其特征在于，所述收敛条件为相似句子对判断的准确率达到一定阈值。
6.一种相似句子对判断系统，其特征在于，所述系统包括：
分类模块：用于根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；
转换模块：用于使用与Robert网络对接的Encoder将多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；
输入模块：用于将Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；
优化模块：用于重复所述输入模块的训练而进行优化，直至满足收敛条件，从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。
7.一种相似句子对判断系统，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-5任一项所述方法的步骤。
8.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。
CN202011069334.6A 2020-09-30 2020-09-30 一种相似句子对判断方法、系统及存储介质 Active CN112257409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011069334.6A CN112257409B (zh) 2020-09-30 2020-09-30 一种相似句子对判断方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011069334.6A CN112257409B (zh) 2020-09-30 2020-09-30 一种相似句子对判断方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112257409A true CN112257409A (zh) 2021-01-22
CN112257409B CN112257409B (zh) 2024-08-30

Family

ID=74233763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011069334.6A Active CN112257409B (zh) 2020-09-30 2020-09-30 一种相似句子对判断方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112257409B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704563A (zh) * 2017-09-29 2018-02-16 广州多益网络股份有限公司 一种问句推荐方法及系统
CN108108449A (zh) * 2017-12-27 2018-06-01 哈尔滨福满科技有限责任公司 一种面向医疗领域的基于多源异构数据问答系统及该系统的实现方法
CN110032635A (zh) * 2019-04-22 2019-07-19 齐鲁工业大学 一种基于深度特征融合神经网络的问题对匹配方法和装置
CN110990564A (zh) * 2019-11-19 2020-04-10 北京信息科技大学 一种基于情感计算与多头注意力机制的负面新闻识别方法
CN111199149A (zh) * 2019-12-17 2020-05-26 航天信息股份有限公司 一种对话系统的语句智能澄清方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704563A (zh) * 2017-09-29 2018-02-16 广州多益网络股份有限公司 一种问句推荐方法及系统
CN108108449A (zh) * 2017-12-27 2018-06-01 哈尔滨福满科技有限责任公司 一种面向医疗领域的基于多源异构数据问答系统及该系统的实现方法
CN110032635A (zh) * 2019-04-22 2019-07-19 齐鲁工业大学 一种基于深度特征融合神经网络的问题对匹配方法和装置
CN110990564A (zh) * 2019-11-19 2020-04-10 北京信息科技大学 一种基于情感计算与多头注意力机制的负面新闻识别方法
CN111199149A (zh) * 2019-12-17 2020-05-26 航天信息股份有限公司 一种对话系统的语句智能澄清方法及系统

Also Published As

Publication number Publication date
CN112257409B (zh) 2024-08-30

Similar Documents

Publication Publication Date Title
CN108764480B (zh) 一种信息处理的系统
CN112070138B (zh) 多标签混合分类模型的构建方法、新闻分类方法及系统
CN111708882B (zh) 基于Transformer的中文文本信息缺失的补全方法
CN111858878B (zh) 从自然语言文本中自动提取答案的方法、系统及存储介质
CN107193915A (zh) 一种企业信息分类方法及装置
CN112364631B (zh) 基于层级多任务学习的中文语法错误检测方法及系统
CN109582774A (zh) 自然语言分类方法、装置、设备及存储介质
CN112036705A (zh) 一种质检结果数据获取方法、装置及设备
CN113505225A (zh) 一种基于多层注意力机制的小样本医疗关系分类方法
CN107341142B (zh) 一种基于关键词提取分析的企业关系计算方法及系统
CN115758244A (zh) 一种基于sbert的中文专利ipc分类方法
CN109543038B (zh) 一种应用于文本数据的情感分析方法
CN110532394A (zh) 订单备注文本的处理方法及系统
CN117668536A (zh) 一种基于超图注意力网络的软件缺陷报告优先级预测方法
CN117350287A (zh) 一种基于舆情大数据的文本情感分析方法
CN112257409A (zh) 一种相似句子对判断方法、系统及存储介质
CN111859915B (zh) 一种基于词频显著度水平的英文文本类别识别方法及系统
CN114912446A (zh) 一种关键词抽取方法、装置及储存介质
CN114239565A (zh) 一种基于深度学习的情绪原因识别方法及系统
CN114116969A (zh) 基于多种损失融合文本分类模型结果的训练语料筛选方法
CN113240032A (zh) 一种图像分类方法、装置、设备及存储介质
CN114328903A (zh) 基于文本聚类的客服日志回流方法及装置
CN112597776A (zh) 关键词提取方法及系统
CN113901203A (zh) 一种文本分类方法、装置、电子设备及存储介质
CN110955768A (zh) 一种基于句法分析的问答系统答案生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant