CN111859926A - 同义句对生成方法、装置、计算机设备及存储介质 - Google Patents

同义句对生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111859926A
CN111859926A CN202010738698.2A CN202010738698A CN111859926A CN 111859926 A CN111859926 A CN 111859926A CN 202010738698 A CN202010738698 A CN 202010738698A CN 111859926 A CN111859926 A CN 111859926A
Authority
CN
China
Prior art keywords
sentence
synonymous
sample
cell
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010738698.2A
Other languages
English (en)
Other versions
CN111859926B (zh
Inventor
赵知纬
高维国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202010738698.2A priority Critical patent/CN111859926B/zh
Publication of CN111859926A publication Critical patent/CN111859926A/zh
Application granted granted Critical
Publication of CN111859926B publication Critical patent/CN111859926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能，提供一种同义句对生成方法、装置、计算机设备及存储介质，通过获取样本句子以及同义句子；通过同义句对模型中的预训练模型得到样本句子中每一第一字符串对应的样本隐层向量；通过预训练模型得到同义句子中每一第二字符串对应的同义隐层向量；将样本隐层向量和同义隐层向量输入至注意力模型中，得到注意力矩阵；根据注意力矩阵生成样本句子与同义句子之间的同义句对。本申请通过引入注意力模型，在经过预训练模型提取特征向量的基础上，对特征向量之间的对齐程度和对齐关系进行进一步的检测，提高了同义短语生成的准确性和效率。本申请还涉及区块链技术，同义句对模型存储于区块链网络中。

Description

同义句对生成方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能，尤其涉及一种同义句对生成方法、装置、计算机设备及存储介质。
背景技术
随着人工智能的发展，在自然语言处理领域中，例如，文本识别，文本检测或者同义短语挖掘等领域技术也相应提高。其中，同义句挖掘在自然语言处理领域中应用很广泛，例如在信息检索领域，实体信息识别领域，知识问答领域等。其中，同义句挖掘包括同义词挖掘、同义短语挖掘和同义短句挖掘。
目前，对于同义词挖掘主要是关注挖掘词语级别的同义项，比如“北京”和“帝都”，“下岗”和“失业”。但是在很多应用场景下，往往需要挖掘的是同义短句或者同义短语。而传统的同义词挖掘的工作往往只能借助于统计机器翻译的方法，该类方法仅关注词语的统计信息而没有引入语义信息，会导致同义短语挖掘的准确率降低。
发明内容
本申请实施例提供一种同义句对生成方法、装置、计算机设备及存储介质，以解决同义短语挖掘的准确率低的问题。
一种同义句对生成方法，包括：
获取样本句子以及与所述样本句子对应的同义句子；
将所述样本句子以及所述同义句子输入至同义句对模型中，通过所述同义句对模型中的预训练模型得到所述样本句子中每一第一字符串对应的样本隐层向量；同时，通过所述预训练模型得到所述同义句子中每一第二字符串对应的同义隐层向量；
将所述样本隐层向量和所述同义隐层向量输入至注意力模型中，得到注意力矩阵；
根据所述注意力矩阵生成所述样本句子与所述同义句子之间的同义句对。
一种同义句对生成装置，其特征在于，包括：
句子获取模块，用于获取样本句子以及与所述样本句子对应的同义句子；
隐层向量生成模块，用于将所述样本句子以及所述同义句子输入至同义句对模型中，通过所述同义句对模型中的预训练模型得到所述样本句子中每一第一字符串对应的样本隐层向量；同时，通过所述预训练模型得到所述同义句子中每一第二字符串对应的同义隐层向量；
注意力矩阵生成模块，用于将所述样本隐层向量和所述同义隐层向量输入至注意力模型中，得到注意力矩阵；
同义句对生成模块，用于根据所述注意力矩阵生成所述样本句子与所述同义句子之间的同义句对。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述同义句对生成方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述同义句对生成方法。
上述同义句对生成方法、装置、计算机设备及存储介质，通过获取样本句子以及与所述样本句子对应的同义句子；将所述样本句子以及所述同义句子输入至同义句对模型中，通过所述同义句对模型中的预训练模型得到所述样本句子中每一第一字符串对应的样本隐层向量；同时，通过所述预训练模型得到所述同义句子中每一第二字符串对应的同义隐层向量；将所述样本隐层向量和所述同义隐层向量输入至注意力模型中，得到注意力矩阵；根据所述注意力矩阵生成所述样本句子与所述同义句子之间的同义句对。本申请通过引入注意力模型，在经过预训练模型提取特征向量的基础上，对特征向量之间的对齐程度和对齐关系进行进一步的检测，提高了同义短语生成的准确性和效率并且本申请不仅限于提取单个词的同义关系，还能够提取具有同义关系的短语或者是文本片段。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中同义句对生成方法的一应用环境示意图；
图2是本申请一实施例中同义句对生成方法的一流程图；
图3是本申请一实施例中同义句对生成方法中步骤S14的一流程图；
图4是本申请一实施例中同义句对生成方法中步骤S14的另一流程图；
图5是本申请一实施例中同义句对生成装置的一原理框图；
图6是本申请一实施例中同义句对生成装置中同义句对生成模块的一原理框图；
图7是本申请一实施例中同义句对生成装置中同义句对生成模块的另一原理框图；
图8是本申请一实施例中计算机设备的一示意图。
具体实施方式
本申请实施例提供一同义句对生成方法，该同义句对生成方法可应用如图1所示的应用环境中。具体地，该同义句对生成方法应用在同义句对生成系统中，该同义句对生成系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于解决图像描述文本准确率低的问题。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种同义句对生成方法，以该方法应用在图1中的服务器为例进行说明，可包括如下步骤：
S11：获取样本句子以及与样本句子对应的同义句子。
其中，样本句子为任意句子，该样本句子包含至少一个字词对应的字符串。同义句子为与样本句子具有相同含义的句子，该同义句子也包含至少一个字词对应的字符串。优选地，本实施例中，为了突出生成的同义句对，因此样本句子与同义句子为包含至少两个字词对应的字符串的句子。其中，样本句子和同义句子的字符串长度可以相同，也可以不同。
S12：将样本句子以及同义句子输入至同义句对模型中，通过同义句对模型中的预训练模型得到样本句子中每一第一字符串对应的样本隐层向量；同时，通过预训练模型得到同义句子中每一第二字符串对应的同义隐层向量。
其中，同义句对模型用于生成两个句子的同义句对。预训练模型为同义句对模型中，用于对句子进行特征提取的模型，该预训练模型可以为BRET、 ALBERT或者ELMO等文字识别模型。第一字符串为样本句子中字词对应的字符串。样本隐层向量的实质为样本句子中每一第一字符串对应的特征向量。第二字符串为同义句子中字词对应的字符串。同义隐层向量的实质为同义句子中每一第二字符串对应的特征向量。
具体地，在获取到样本句子以及同义句子之后，将样本句子以及同义句子输入至同义句对模型中，通过同义句对模型中的预训练模型，对样本句子进行特征提取，得到样本句子中每一字符串对应的特征向量，也即样本隐层向量；同时，通过同义句对模型中的预训练模型，对同义句子进行特征提取，得到同义句子中每一字符串对应的特征向量，也即同义隐层向量。
S13：将样本隐层向量和同义隐层向量输入至注意力模型中，得到注意力矩阵。
其中，注意力模型用于生成每一样本隐层向量和每一同义隐层向量的对应关系。注意力矩阵记录每一样本隐层向量和每一同义隐层向量的对齐程度与对齐关系。
具体地，在得到样本隐层向量和同义隐层向量之后，将样本隐层向量和同义隐层向量输入至注意力模型中，确定每一样本隐层向量与每一同义隐层向量之间的对齐程度和对应关系，即确定每一样本隐层向量与每一同义隐层向量之间的同义概率，得到注意力矩阵。
可以理解地，假设样本句子中包含3个字词对应的字符串，则对应3个样本隐层向量；假设同义句子中包含3个字词对应的字符串，则对应3个同义隐层向量。确定每一样本隐层向量和每一同义隐层向量之间的对齐程度和对应关系，也即确定第一个样本隐层向量和所有同义隐层向量之间的对齐程度和对应关系、第二个样本隐层向量和所有同义隐层向量之间的对齐程度和对应关系、第三个样本隐层向量和所有同义隐层向量之间的对齐程度和对应关系，得到的注意力矩阵为一个3行3列的矩阵，该注意力矩阵的每一单元格对应每一样本隐层向量和每一同义隐层向量之间的对齐程度和对应关系，也即确定每一样本隐层向量与每一同义隐层向量之间的同义概率。
S14：根据注意力矩阵生成样本句子与同义句子之间的同义句对。
其中，同义句对为样本句子和同义句子之间存在同义关系的字词或者短语对。
具体地，在将样本隐层向量和同义隐层向量输入至注意力模型中，得到注意力矩阵之后，根据注意力矩阵中每一单元格对应的每一样本隐层向量和每一同义隐层向量的同义概率，选取大于预设阈值的同义概率对应的单元格的样本隐层向量和同义隐层向量，并将上述的样本隐层向量和同义隐层向量对应的字符串的字词作为同义句对。
在本实施例中，通过引入注意力模型，在经过训练的预训练模型提取特征向量的基础上，对特征向量之间的对齐程度和对齐关系进行进一步的检测。并且本实施例中，不仅限于提取词级别的同义关系，能够提取具有同义关系的短语或者是文本片段，提高了同义短语生成的准确性和效率。
在一实施例中，如图3所示，步骤S14中，也即根据所述注意力矩阵生成所述样本句子与所述同义句子之间的同义句对的步骤可具体包括如下步骤：
S141：根据预设的选取规则，选取注意力矩阵中任一具有大于预设相似阈值的相似值的单元格作为起始单元格；注意力矩阵的每一单元格均对应一个相似值。
其中，预设的选取规则可以为随机选取、按照注意力矩阵的单元格中相似值由大到小选取或者按照选取所有大于预设相似阈值的相似值对应的单元格中处于右下方的规则。优选地，本实施例中按照选取所有大于预设相似阈值的相似值得单元格中最大值的单元格作为起始单元格。预设相似阈值可以根据样本句子或者同义句子的字符串长度进行设置，也可以为模型设定的初始值，预设相似阈值可以为0.5，0.6，或者0.7等。相似值为对样本隐层向量和同义隐层向量的对齐程度和对齐关系综合判定得到的值，其中相似值的取值范围为0-1之间的任意数值。
具体地，在得到注意力矩阵之后，将注意力矩阵中的每一单元格对应的相似值与预设相似阈值进行比较，确定大于预设相似阈值的相似值对应的单元格。选取注意力矩阵中具有大于预设相似阈值的相似值的单元格，且该单元格的相似值为注意力矩阵中的最大值，将该单元格作为起始单元格。
S142：在注意力矩阵中从起始单元格开始的至少一个移动方向上，查找除起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格。
其中，移动方向可以为向起始单元格的上方、左方、斜上方移动的方向。剩余单元格为注意力矩阵中除起始单元格之外的所有单元格。
具体地，在选取起始单元格之后，以起始单元格为起点，通过借鉴使用动态规划求解最长公共子串问题的方法，在上述提到的任意一个方向上进行移动，查找除起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格。
示例性地，假设注意力矩阵如下所示：
Figure RE-GDA0002653641030000081
样本句子的字符串长度为4，同义句子的字符串长度为4，且设定预设相似阈值为0.4。其中，
Figure RE-GDA0002653641030000082
为样本句子中第i个字符串，
Figure RE-GDA0002653641030000083
为同义句子中第j个字符串，注意力矩阵内每一单元格对应的数值即为相似值，可以理解地，0.17 为样本句子第一个字符串与同义句子第一个字符串的对齐程度和对齐关系的一个相似值。
在上述注意力矩阵中，
Figure RE-GDA0002653641030000084
与
Figure RE-GDA0002653641030000085
的相似值为0.5，该单元格的相似值大于预设相似阈值，且该单元格对应的相似值为最大值，固将该单元格作为起始单元格。从起始单元格开始，向斜上方方向查找，
Figure RE-GDA0002653641030000086
与
Figure RE-GDA0002653641030000087
的相似值为0.5，该单元格的相似值大于预设相似阈值，固继续往斜上方方向查找，
Figure RE-GDA0002653641030000088
与
Figure RE-GDA0002653641030000089
的相似值为0.43，该单元格的相似值大于预设相似阈值，固继续往斜上方方向查找，
Figure RE-GDA00026536410300000810
与
Figure RE-GDA00026536410300000811
的相似值为0.17，该单元格的相似值小于预设相似阈值，固停止查找。再从起始单元格开始，向上方方向或者左方方向查找，上方的下一单元格对应的相似值为0.40，该相似值不大于预设相似阈值，固停止上方方向的查找；左方的下一单元格对应的相似值为0.20，该相似值小于预设相似阈值，固停止左方方向的查找。
S143：将位于同一个移动方向上的起始单元格以及查找到的剩余单元格记录为该移动方向的同义单元格。
其中，同义单元格为相似值大于预设相似阈值的单元格，且该同义单元格对应的字符串具有同义关系。
具体地，在查找除所述起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格之后，将位于同一个移动方向上的起始单元格以及查找到的剩余单元格记录为该移动方向的同义单元格。
示例性地，根据步骤S142中的注意力矩阵，将
Figure RE-GDA0002653641030000091
与
Figure RE-GDA0002653641030000092
的相似值为0.5 的单元格、
Figure RE-GDA0002653641030000093
与
Figure RE-GDA0002653641030000094
的相似值为0.5的单元格以及
Figure RE-GDA0002653641030000095
与
Figure RE-GDA0002653641030000096
的相似值为0.43 的单元格记录为同义单元格。
S144：将每一个移动方向上相邻的同义单元格关联记录为同义短语单元格。
其中，同义短语单元格是由至少两个同一方向上连续的同义单元格组成的。
具体地，在将位于同一个移动方向上的起始单元格以及查找到的剩余单元格记录为该移动方向的同义单元格之后，将每一移动方向上连续相邻的同义单元格关联记录为同义短语单元格。
示例性地，根据步骤S142中的注意力矩阵，将
Figure RE-GDA0002653641030000097
与
Figure RE-GDA0002653641030000098
的相似值为0.5 的单元格、
Figure RE-GDA0002653641030000099
与
Figure RE-GDA00026536410300000910
的相似值为0.5的单元格以及
Figure RE-GDA00026536410300000911
与
Figure RE-GDA00026536410300000912
的相似值为0.43 的单元格关联记录为同义短语单元格。
S145：根据样本句子中与同义短语单元格对应的第一字符串以及同义句子中与同义短语单元格对应的第二字符串，生成同义句对。
具体地，在将每一个移动方向上相邻的同义单元格关联记录为同义短语单元格之后，根据样本句子中与同义短语单元格对应的第一字符串，生成第一匹配句对；根据同义句子中与同义短语单元格对应的第二字符串，生成第二匹配句对；根据第一匹配句对与第二匹配句对，生成同义句对。
示例性地，根据步骤S142中的注意力矩阵，在起始单元格的斜上方方向的同义单元格记录为同义短语单元格之后，通过逆向回溯方法，根据
Figure RE-GDA0002653641030000101
在样本句子中对应的第一字符串与
Figure RE-GDA0002653641030000102
在同义句子中对应的第二字符串，生成同义句对。
在一实施例中，如图4所示，步骤S142之后，也即在所述注意力矩阵中从所述起始单元格开始的至少一个移动方向上，查找除所述起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格之后，还可包括如下步骤：
S146：在检测注意力矩阵中还存在未查找单元格时，根据预设的选取规则，选取所有未查找单元格中任一具有大于预设相似阈值的相似值的单元格作为新的起始单元格。
其中，未查找单元格指的是注意力矩阵中还未被查找过的单元格。
具体地，在注意力矩阵中从起始单元格开始的至少一个移动方向上，查找除起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格之后，检测注意力矩阵中是否还存在单元格未被查找，若存在未查找单元格，则选取相似值为最大值对应的未查找单元格作为新的起始单元格。
S147：在注意力矩阵中从新的起始单元格开始的至少一个移动方向上，查找除所有新的起始单元格之外的剩余未查找单元格中所有大于预设相似阈值的相似值对应的剩余未查找单元格。
具体地，在选取新的起始单元格之后，以新的起始单元格为起点，向斜上方移动，若处于起始单元格斜上方的下一单元格的相似值大于预设相似阈值，则继续往斜上方移动至下一单元格，直到任一一个斜上方方向的单元格的相似值小于预设相似阈值时，停止查找。可以理解地，以新的起始单元格为起点，向左方方向或者向上方移动方向，也直到任一一个左方方向或者上方方向的单元格的相似值小于预设相似阈值时，停止查找。
示例性地，如步骤S142中的注意力矩阵中，除步骤S141和步骤S142确定的单元格之外，还存在未查找单元格，则检测未查找单元格中是否存在大于预设相似阈值的相似值对应的单元格，在注意力矩阵中，
Figure RE-GDA0002653641030000111
与
Figure RE-GDA0002653641030000112
的相似值为0.50，大于0.4的预设相似阈值，固将该单元格确定为新的起始单元格。以新的起始单元格为起点，向左方方向移动，下一单元格的相似值为0.30，小于预设相似阈值，固停止查找。
S148：将位于同一移动方向上的新的起始单元格以及查找到的剩余未查找单元格记录为该移动方向的剩余同义单元格。
具体地，在查找除所有新的起始单元格之外的剩余未查找单元格中所有大于预设相似阈值的相似值对应的剩余未查找单元格之后，将位于同一移动方向上的新的起始单元格以及查找到的剩余未查找单元格记录为该移动方向的剩余同义单元格。
S149：将每一个移动方向上相邻的剩余同义单元格关联记录为剩余同义短语单元格。
具体地，在将位于同一移动方向上的新的起始单元格以及查找到的剩余未查找单元格记录为该移动方向的剩余同义单元格之后，将每一个移动方向上相邻的剩余同义单元格关联记录为剩余同义短语单元格。
S150：根据所述样本句子中与剩余同义短语单元格对应的第一字符串以及同义句子中与剩余同义短语单元格对应的第二字符串，生成剩余同义句对。
具体地，在将每一个移动方向上相邻的剩余同义单元格关联记录为剩余同义短语单元格之后，根据样本句子中与剩余同义短语单元格对应的第一字符串，生成第三匹配句对；根据同义句子中与剩余同义短语单元格对应的第二字符串，生成第四匹配句对；根据第三匹配句对与第四匹配句对，生成剩余同义句对。
进一步地，若在注意力矩阵中从新的起始单元格开始的至少一个移动方向上，查找除所有新的起始单元格之外的剩余未查找单元格中所有大于预设相似阈值的相似值对应的剩余未查找单元格之后，仍然存在未查找单元格，则根据预设的选取规则，选取所有剩余未查找单元格中任一具有大于预设相似阈值的相似值的单元格作为新的起始单元格，并重复步骤S147-S150。
进一步地，若在注意力矩阵中从新的起始单元格开始的至少一个移动方向上，查找除所有新的起始单元格之外的剩余未查找单元格中所有大于预设相似阈值的相似值对应的剩余未查找单元格之后，仍然存在未查找单元格，但剩余的未查找单元格中没有大于预设相似阈值的相似值的单元格，则表征所有单元格检测完成。
进一步地，若在注意力矩阵中从新的起始单元格开始的至少一个移动方向上，查找除所有新的起始单元格之外的剩余未查找单元格中所有大于预设相似阈值的相似值对应的剩余未查找单元格之后，不存在未查找单元格，则表征所有单元格检测完成。
在一实施例中，步骤S12之前，也即将所述样本句子以及所述同义句子输入至同义句对模型中之前，还可包括如下操作：
获取同义样本集、反义样本集和初始同义句对模型，同义样本集中包含多组相同语义的第一样本句；反义样本集中包含多个与所述第一样本句具有反义关系的第二样本句；初始同义句对模型中包含初始预训练模型、循环神经网络和初始回归模型。
其中，同义样本集为包含至少两个具有相同语义的第一样本句的集合。反义样本集为包含至少一个与第一样本具有反义关系的第二样本句的集合。初始同义句对模型用于确定两个句子之间的相似度。
根据预设的句子选取规则选取第一训练句和第二训练句，并确定第一训练句和第二训练句之间的样本相似度；第一训练句为第一样本句或第二样本句；第二训练句为第一样本句或第二样本句。
其中，预设的句子选取规则可以为随机选取，也可以按照句子的字符串长度从大到小或者从小到大的顺序进行选取。第一训练句和第二训练句均用于训练初始同义句对模型，其中，第一训练句可以为第一样本句或者第二样本句，第二训练句可以为第一样本句或者第二样本句。样本相似度为第一训练句和第二训练句之间的相似度。
具体地，在获取到同义样本集和反义样本集之后，示例性地，通过随机选取的方法，任意选取同义样本集中的第一样本句和/或反义样本集中的第二样本句，得到第一训练句和第二训练句。可以理解地，第一训练句和第二训练句有以下几种类型：第一种为第一训练句为第一样本句，第二训练句也为第一样本句，此时的第一训练句与第二训练句的样本相似度为1；第二种为第一训练句为第一样本句，第二训练句为第二样本句，此时的第一训练句和第二训练句的样本相似度为0；第三种为第一训练句为第二样本句，第二训练句为第一样本句，此时的第一训练句和第二训练句之间的样本相似度为0；由于第一训练句为第二样本句，第二训练句为第二样本句时，样本相似度难以确定(也即可能出现第一训练句与第二训练句为同义句的情况，此时样本相似度为1；也可能出现第一训练句与第二训练句为反义句的情况，此时样本相似度为0)，固不在本实施例中对其进行讨论(当第一训练句为第二样本句，第二训练句为第二样本句时，若此时的第一训练句和第二训练句提前确定出样本相似度，则也可作为本实施例中讨论的内容)。
将所述第一训练句和第二训练句输入至初始预训练模型中，得到与第一训练句对应的第一特征向量集以及与第二训练句对应的第二特征向量集。
其中，预训练模型用于提取句子中每个词对应的特征。第一特征向量集为第一训练句中每一字符串对应的特征向量的集合。第二特征向量集为第二训练句中每一字符串对应的特征向量的集合。
具体地，在选取第一训练句和第二训练句之后，将第一训练句和第二训练句输入至初始预训练模型，对第一训练句进行特征提取，得到第一训练句中每一字符串对应的特征向量，也即第一特征向量，所有第一特征向量集合成第一特征向量集；同时，对第二训练句进行特征提取，得到第二训练句中每一字符串对应的特征向量，所有第二特征向量集合成第二特征向量集。
在将所述第一特征向量集和所述第二特征向量集输入至循环神经网络中，并获取循环神经网络输出新的第一特征向量集和新的第二特征向量集之后，对所述新的第一特征向量集和所述新的第二特征向量集进行池化操作和拼接操作，得到特征拼接向量。
其中，循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。
具体地，在得到与第一训练句对应的第一特征向量集以及与第二训练句对应的第二特征向量集之后，将第一特征向量集和第二特征向量集输入至循环神经网路中，以得到新的第一特征向量集和新的第二特征向量集；对新的第一特征向量集和新的第二特征向量集进行最大池化或者平均池化操作，以减少多余的特征向量，在对新的第一特征向量集和新的第二特征向量集进行最大池化或者平均池化操作之后，再进行拼接操作，得到特征拼接向量。
将所述拼接特征向量输入至初始回归模型中，得到第一训练句和第二训练句的初始相似度。
其中，初始回归模型用于判断两个句子之间的相似度。初始相似度为第一训练句和第二训练句之间的相似度，该初始相似度的阈值为0～1。
具体地，在得到拼接特征向量之后，将拼接特征向量输入至初始回归模型中，通过初始回归模型输出对第一训练句和第二训练句之间的相似度的打分，也即初始相似度。若初始相似度为0，则表示第一训练句与第二训练句无关，即第一训练句和第二训练句为反义关系。若初始相似度为1，则表示第一训练句与第二训练句相关，即第一训练句和第二训练句为同义关系。
通过所述初始相似度与所述样本相似度对所述初始同义句对模型进行参数调整，得到同义句对模型。
作为优选，该同义句对模型存储于区块链网络中。
其中，区块链网络指的是通过共识的方式将新区块纳入区块链的一系列的节点的集合。
具体地，在得到初始相似度之后，对初始相似度和样本相似度进行比较，得到初始相似度和样本相似度之间的相似度差值。根据相似度差值，通过标准的反向传播算法，调整初始同义句对模型中预训练模型、循环神经网络和初始回归模型的参数，得到同义句对模型，并将同义句对模型存储至区块链网络中，以提高同义句对模型的安全性，对该同义句对模型的训练参数进一步保护和存储。若在同义句对模型的安全性可得到保障的前提下，该同义句对模型还可以存储于其它数据库中。
在本实施例中，通过采用大规模的样本句作为训练语料，且这些样本句中包含深层语义信息，即同义关系或者反义关系，使得整个模型训练过程中可以提取带有语义关系的特征向量，避免了传统基于统计机器翻译只考虑统计信息的缺陷，提高了模型的准确率和效率。
在一实施例中，将所述第一训练句和第二训练句输入至初始预训练模型中，得到与第一训练句对应的第一特征向量集以及与第二训练句对应的第二特征向量集，具体包括：
将第一训练句和第二训练句输入至初始预训练模型中，对所述第一训练句和第二训练句进行词特征提取，得到第一训练句对应的第一词特征向量集和第二训练句对应的第二词特征向量集。
其中，第一词特征向量集为第一训练句中每一字符串对应的特征向量集合。第二词特征向量集为第二训练句中每一字符串对应的特征向量集合。
具体地，在得到第一训练句和第二训练句之后，将第一训练句和第二训练句输入至初始预训练模型中，对第一训练句进行词特征提取，得到第一训练句对应的词特征向量，也即第一词特征向量，第一词特征向量集即包含所有第一词特征向量。同时，对第二训练句进行词特征提取，得到第二训练句对应的词特征向量，也即第二词特征向量，第二词特征向量集即包含所有第二词特征向量。
示例性地，假设第一训练句的长度为la，第二训练句的长度为lb，则第一词特征向量集为Ha，第二词特征向量集为Hb。其中，
Figure RE-GDA0002653641030000161
Figure RE-GDA0002653641030000171
其中h1为第一训练句中每一字符串对应的特征长度，h2为第二训练句中每一字符串对应的特征长度。
对所述第一词特征向量集和所述第二词特征向量集进行注意力处理，得到初始注意力矩阵。
具体地，在得到第一词特征向量集和第二词特征向量集之后，对第一词特征向量集和第二词特征向量集进行归一化注意力值计算，得到初始注意力矩阵。
可选地，对第一词特征向量集和第二词特征向量集进行归一化注意力值计算，得到初始注意力矩阵A可以包括如下方法：
Figure RE-GDA0002653641030000172
Figure RE-GDA0002653641030000173
Figure RE-GDA0002653641030000174
其中，第一词特征向量集为Ha；第二词特征向量集为Hb；
Figure RE-GDA0002653641030000175
为第一词特征向量集对应的转置特征向量集；
Figure RE-GDA0002653641030000176
为第二词特征向量集对应的转置特征向量集；W为任意矩阵，示例性地，W可以为单位矩阵等；softmax()为归一化指数函数(也即用于对第一词特征向量集和第二词特征向量集进行归一化注意力值计算的函数)。
根据所述初始注意力矩阵，对所述第一词特征向量集进行扩展得到第一特征向量集；并对所述第二词特征向量集进行扩展，得到第二特征向量集。
具体地，在得到初始注意力矩阵之后，根据初始注意力矩阵，对第一词特征向量集和第二词特征向量集进行扩展拼接，得到与第一词特征向量集对应的第一特征向量集以及与第二词特征向量集对应的第二特征向量集。
进一步地，可以根据以下公式表示第一特征向量集和第二特征向量集：
H'a＝concat(Ha,Hb·AT)
H'b＝concat(Hb,Ha·A)
其中，H'a为第一特征向量集，H'b为第二特征向量集。concat()为拼接函数；A为初始注意力矩阵；AT为初始注意力矩阵对应的转置矩阵；第一词特征向量集为Ha；第二词特征向量集为Hb。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种图像描述文本生成装置，该图像描述文本生成装置与上述实施例中图像描述文本生成方法一一对应。如图5所示，该图像描述文本生成装置包括句子获取模块11、隐层向量生成模块12、注意力矩阵生成模块13以及同义句对生成模块14。各功能模块详细说明如下：
句子获取模块11，用于获取样本句子以及与样本句子对应的同义句子。
隐层向量生成模块12，用于将样本句子以及同义句子输入至同义句对模型中，通过同义句对模型中的预训练模型得到样本句子中每一第一字符串对应的样本隐层向量；同时，通过预训练模型得到同义句子中每一第二字符串对应的同义隐层向量。
注意力矩阵生成模块13，用于将样本隐层向量和同义隐层向量输入至注意力模型中，得到注意力矩阵。
同义句对生成模块14，用于根据注意力矩阵生成样本句子与同义句子之间的同义句对。
优选地，如图6所示，同义句对生成模块14包括如下单元：
第一起始单元格选取单元141，用于根据预设的选取规则，选取注意力矩阵中任一具有大于预设相似阈值的相似值的单元格作为起始单元格；注意力矩阵的每一单元格均对应一个相似值。
第一单元格查找单元142，用于在注意力矩阵中从起始单元格开始的至少一个移动方向上，查找除起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格。
同义单元格生成单元143，用于将位于同一个移动方向上的起始单元格以及查找到的剩余单元格记录为该移动方向的同义单元格。
同义短语单元格生成单元144，用于将每一个移动方向上相邻的同义单元格关联记录为同义短语单元格。
同义句对生成单元145，用于根据样本句子中与同义短语单元格对应的第一字符串以及同义句子中与同义短语单元格对应的第二字符串，生成同义句对。
优选地，如图7所示，同义句对生成模块14还包括如下单元：
第二起始单元格选取单元146，在检测注意力矩阵中还存在未查找单元格时，根据预设的选取规则，选取所有未查找单元格中任一具有大于预设相似阈值的相似值的单元格作为新的起始单元格。
第二单元格查找单元147，在注意力矩阵中从新的起始单元格开始的至少一个移动方向上，查找除所有新的起始单元格之外的剩余未查找单元格中所有大于预设相似阈值的相似值对应的剩余未查找单元格。
剩余同义单元格生成单元148，用于将位于同一移动方向上的新的起始单元格以及查找到的剩余未查找单元格记录为该移动方向的剩余同义单元格。
剩余同义短语单元格生成单元149，用于将每一个移动方向上相邻的剩余同义单元格关联记录为剩余同义短语单元格。
剩余同义句对生成单元150，用于根据所述样本句子中与剩余同义短语单元格对应的第一字符串以及同义句子中与剩余同义短语单元格对应的第二字符串，生成剩余同义句对。
优选地，同义句对生成装置还包括：
数据获取模块，用于获取同义样本集、反义样本集和初始同义句对模型，同义样本集中包含多组相同语义的第一样本句；反义样本集中包含多个与所述第一样本句具有反义关系的第二样本句；初始同义句对模型中包含初始预训练模型、循环神经网络和初始回归模型。
训练句选取模块，用于根据预设的句子选取规则选取第一训练句和第二训练句，并确定第一训练句和第二训练句之间的样本相似度；第一训练句为第一样本句或第二样本句；第二训练句为第一样本句或第二样本句。
特征向量集生成模块，用于将所述第一训练句和第二训练句输入至初始预训练模型中，得到与第一训练句对应的第一特征向量集以及与第二训练句对应的第二特征向量集。
特征拼接向量生成模块，用于在将所述第一特征向量集和所述第二特征向量集输入至循环神经网络中，并获取循环神经网络输出新的第一特征向量集和新的第二特征向量集之后，对所述新的第一特征向量集和所述新的第二特征向量集进行池化操作和拼接操作，得到特征拼接向量。
相似度生成模块，用于将所述拼接特征向量输入至初始回归模型中，得到第一训练句和第二训练句的初始相似度。
同义句对模型生成模块，用于通过所述初始相似度与所述样本相似度对所述初始同义句对模型进行参数调整，得到同义句对模型。
优选地，特征向量集生成模块包括如下单元：
词特征提取单元，用于将第一训练句和第二训练句输入至初始预训练模型中，对所述第一训练句和第二训练句进行词特征提取，得到第一训练句对应的第一词特征向量集和第二训练句对应的第二词特征向量集。
注意力处理单元，用于对所述第一词特征向量集和所述第二词特征向量集进行注意力处理，得到初始注意力矩阵。
向量集扩展单元，用于根据所述初始注意力矩阵，对所述第一词特征向量集进行扩展得到第一特征向量集；并对所述第二词特征向量集进行扩展，得到第二特征向量集。
关于同义句对生成装置的具体限定可以参见上文中对于同义句对生成方法的限定，在此不再赘述。上述同义句对生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述同义句对生成方法中使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种同义句对生成方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中同义句对生成方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中数据处理模型生成方法，或处理器执行计算机程序时实现上述实施例中同义句对生成方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM) 或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM (SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种同义句对生成方法，其特征在于，包括：
获取样本句子以及与所述样本句子对应的同义句子；
将所述样本句子以及所述同义句子输入至同义句对模型中，通过所述同义句对模型中的预训练模型得到所述样本句子中每一第一字符串对应的样本隐层向量；同时，通过所述预训练模型得到所述同义句子中每一第二字符串对应的同义隐层向量；
将所述样本隐层向量和所述同义隐层向量输入至注意力模型中，得到注意力矩阵；
根据所述注意力矩阵生成所述样本句子与所述同义句子之间的同义句对。
2.如权利要求1所述同义句对生成方法，其特征在于，所述根据所述注意力矩阵生成所述样本句子与所述同义句子之间的同义句对，包括：
根据预设的选取规则，选取所述注意力矩阵中任一具有大于预设相似阈值的相似值的单元格作为起始单元格；所述注意力矩阵的每一单元格均对应一个相似值；
在所述注意力矩阵中从所述起始单元格开始的至少一个移动方向上，查找除所述起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格；
将位于同一个移动方向上的所述起始单元格以及查找到的剩余单元格记录为该移动方向的同义单元格；
将每一个移动方向上相邻的同义单元格关联记录为同义短语单元格；
根据所述样本句子中与所述同义短语单元格对应的第一字符串以及所述同义句子中与所述同义短语单元格对应的第二字符串，生成同义句对。
3.如权利要求2所述的同义句对生成方法，其特征在于，在所述注意力矩阵中从所述起始单元格开始的至少一个移动方向上，查找除所述起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格之后，还包括：
在检测注意力矩阵中还存在未查找单元格时，根据预设的选取规则，选取所有所述未查找单元格中任一具有大于预设相似阈值的相似值的单元格作为新的起始单元格；
在注意力矩阵中从所述新的起始单元格开始的至少一个移动方向上，查找除所有新的起始单元格之外的剩余未查找单元格中所有大于预设相似阈值的相似值对应的剩余未查找单元格；
将位于同一移动方向上的新的起始单元格以及查找到的剩余未查找单元格记录为该移动方向的剩余同义单元格；
将每一个移动方向上相邻的剩余同义单元格关联记录为剩余同义短语单元格；
根据所述样本句子中与所述剩余同义短语单元格对应的第一字符串以及所述同义句子中与所述剩余同义短语单元格对应的第二字符串，生成剩余同义句对。
4.如权利要求1所述的同义句对生成方法，其特征在于，所述将所述样本句子以及所述同义句子输入至同义句对模型中之前，还包括：
获取同义样本集、反义样本集和初始同义句对模型，所述同义样本集中包含多组相同语义的第一样本句；所述反义样本集中包含多个与所述第一样本句具有反义关系的第二样本句；所述初始同义句对模型中包含初始预训练模型、循环神经网络和初始回归模型；
根据预设的句子选取规则选取第一训练句和第二训练句，并确定第一训练句和第二训练句之间的样本相似度；第一训练句为第一样本句或第二样本句；第二训练句为第一样本句或第二样本句；
将所述第一训练句和第二训练句输入至初始预训练模型中，得到与第一训练句对应的第一特征向量集以及与第二训练句对应的第二特征向量集；
在将所述第一特征向量集和所述第二特征向量集输入至循环神经网络中，并获取循环神经网络输出新的第一特征向量集和新的第二特征向量集之后，对所述新的第一特征向量集和所述新的第二特征向量集进行池化操作和拼接操作，得到特征拼接向量；
将所述拼接特征向量输入至初始回归模型中，得到第一训练句和第二训练句的初始相似度；
通过所述初始相似度与所述样本相似度对所述初始同义句对模型进行参数调整，得到同义句对模型。
5.如权利要求4所述的同义句对生成方法，其特征在于，所述将所述第一训练句和第二训练句输入至初始预训练模型中，得到与第一训练句对应的第一特征向量集以及与第二训练句对应的第二特征向量集，包括：
将第一训练句和第二训练句输入至初始预训练模型中，对所述第一训练句和第二训练句进行词特征提取，得到第一训练句对应的第一词特征向量集和第二训练句对应的第二词特征向量集；
对所述第一词特征向量集和所述第二词特征向量集进行注意力处理，得到初始注意力矩阵；
根据所述初始注意力矩阵，对所述第一词特征向量集进行扩展得到第一特征向量集；并对所述第二词特征向量集进行扩展，得到第二特征向量集。
6.如权利要求1所述的同义句对生成方法，其特征在于，所述同义句对模型存储于区块链网络中。
7.一种同义句对生成装置，其特征在于，包括：
句子获取模块，用于获取样本句子以及与所述样本句子对应的同义句子；
隐层向量生成模块，用于将所述样本句子以及所述同义句子输入至同义句对模型中，通过所述同义句对模型中的预训练模型得到所述样本句子中每一第一字符串对应的样本隐层向量；同时，通过所述预训练模型得到所述同义句子中每一第二字符串对应的同义隐层向量；
注意力矩阵生成模块，用于将所述样本隐层向量和所述同义隐层向量输入至注意力模型中，得到注意力矩阵；
同义句对生成模块，用于根据所述注意力矩阵生成所述样本句子与所述同义句子之间的同义句对。
8.如权利要求7所述的同义句对生成装置，其特征在于，所述同义句对生成模块包括：
第一起始单元格选取单元，用于根据预设的选取规则，选取所述注意力矩阵中任一具有大于预设相似阈值的相似值的单元格作为起始单元格；所述注意力矩阵的每一单元格均对应一个相似值；
第一单元格查找单元，用于在所述注意力矩阵中从所述起始单元格开始的至少一个移动方向上，查找除所述起始单元格之外的剩余单元格中所有大于预设相似阈值的相似值对应的剩余单元格；
同义单元格生成单元，用于将位于同一个移动方向上的所述起始单元格以及查找到的剩余单元格记录为该移动方向的同义单元格；
同义短语单元格生成单元，用于将每一个移动方向上相邻的同义单元格关联记录为同义短语单元格；
同义句对生成单元，用于根据所述样本句子中与所述同义短语单元格对应的第一字符串以及所述同义句子中与所述同义短语单元格对应的第二字符串，生成同义句对。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述同义句对生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述同义句对生成方法。
CN202010738698.2A 2020-07-28 2020-07-28 同义句对生成方法、装置、计算机设备及存储介质 Active CN111859926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010738698.2A CN111859926B (zh) 2020-07-28 2020-07-28 同义句对生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010738698.2A CN111859926B (zh) 2020-07-28 2020-07-28 同义句对生成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111859926A true CN111859926A (zh) 2020-10-30
CN111859926B CN111859926B (zh) 2023-07-25

Family

ID=72948156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010738698.2A Active CN111859926B (zh) 2020-07-28 2020-07-28 同义句对生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111859926B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562268A (zh) * 2023-04-07 2023-08-08 摩尔线程智能科技(北京)有限责任公司 同义句库的生成方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272664A (ja) * 1998-03-19 1999-10-08 Sharp Corp テキスト構造解析装置および抄録装置、並びにプログラム記録媒体
JP2003076687A (ja) * 2001-09-05 2003-03-14 Communication Research Laboratory 複数尺度の利用による言語変換処理システムおよびその処理プログラム
CN109522920A (zh) * 2018-09-18 2019-03-26 义语智能科技（上海）有限公司 基于结合语义特征的同义判别模型的训练方法及设备
CN110765758A (zh) * 2019-11-04 2020-02-07 北京小米智能科技有限公司 一种同义句生成模型的生成方法、装置及介质
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111274794A (zh) * 2020-01-19 2020-06-12 浙江大学 一种基于传递的同义词扩展方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272664A (ja) * 1998-03-19 1999-10-08 Sharp Corp テキスト構造解析装置および抄録装置、並びにプログラム記録媒体
JP2003076687A (ja) * 2001-09-05 2003-03-14 Communication Research Laboratory 複数尺度の利用による言語変換処理システムおよびその処理プログラム
CN109522920A (zh) * 2018-09-18 2019-03-26 义语智能科技（上海）有限公司 基于结合语义特征的同义判别模型的训练方法及设备
CN110765758A (zh) * 2019-11-04 2020-02-07 北京小米智能科技有限公司 一种同义句生成模型的生成方法、装置及介质
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111274794A (zh) * 2020-01-19 2020-06-12 浙江大学 一种基于传递的同义词扩展方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562268A (zh) * 2023-04-07 2023-08-08 摩尔线程智能科技(北京)有限责任公司 同义句库的生成方法及装置、电子设备和存储介质
CN116562268B (zh) * 2023-04-07 2024-01-23 摩尔线程智能科技(北京)有限责任公司 同义句库的生成方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111859926B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US10963637B2 (en) Keyword extraction method, computer equipment and storage medium
Lin et al. Traceability transformed: Generating more accurate links with pre-trained bert models
CN109522393A (zh) 智能问答方法、装置、计算机设备和存储介质
CN108986910B (zh) 线上问答方法、装置、计算机设备和存储介质
EP3855324A1 (en) Associative recommendation method and apparatus, computer device, and storage medium
US11922333B2 (en) Method for training information retrieval model based on weak-supervision and method for providing search result using such model
CN110955761A (zh) 文书中问答数据获取方法、装置、计算机设备和存储介质
CN112380837B (zh) 基于翻译模型的相似句子匹配方法、装置、设备及介质
CN111859986A (zh) 基于多任务孪生网络的语义匹配方法、装置、设备和介质
CN112766319A (zh) 对话意图识别模型训练方法、装置、计算机设备及介质
CN112580363A (zh) 需求文档处理方法、装置、计算机设备及存储介质
CN112632258A (zh) 文本数据处理方法、装置、计算机设备和存储介质
CN111859926B (zh) 同义句对生成方法、装置、计算机设备及存储介质
CN112580329A (zh) 文本噪声数据识别方法、装置、计算机设备和存储介质
KR20210134878A (ko) 키워드 추출 기법을 이용한 윅수퍼비전 방법론에 기초하여 정보검색모델을 학습시키는 방법
JP2019082860A (ja) 生成プログラム、生成方法及び生成装置
CN111680132A (zh) 一种用于互联网文本信息的噪声过滤和自动分类方法
WO2019148797A1 (zh) 自然语言处理方法、装置、计算机设备和存储介质
Ouyang et al. Gated pos-level language model for authorship verification
CN111723179B (zh) 基于概念图谱的反馈模型信息检索方法、系统及介质
KR102216066B1 (ko) 문장형 쿼리에 대해 검색결과를 제공하는 방법
KR102198271B1 (ko) 문서 내에 분산된 사항에 관한 쿼리에 대해 검색결과를 제공하는 방법
CN113051900A (zh) 同义词识别方法、装置、计算机设备及存储介质
KR20220068875A (ko) 설명 가능한 지식그래프 완성 방법 및 장치
CN112016297A (zh) 意图识别模型测试方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant