CN111339256A - 用于文本处理的方法和装置 - Google Patents

用于文本处理的方法和装置 Download PDF

Info

Publication number
CN111339256A
CN111339256A CN202010127184.3A CN202010127184A CN111339256A CN 111339256 A CN111339256 A CN 111339256A CN 202010127184 A CN202010127184 A CN 202010127184A CN 111339256 A CN111339256 A CN 111339256A
Authority
CN
China
Prior art keywords
vector
text
result
coding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010127184.3A
Other languages
English (en)
Inventor
彭爽
崔恒斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010127184.3A priority Critical patent/CN111339256A/zh
Publication of CN111339256A publication Critical patent/CN111339256A/zh
Priority to PCT/CN2020/132636 priority patent/WO2021169453A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书的实施例提供了用于文本处理的方法、装置、计算设备和机器可读存储介质。该方法包括：接收第一文本向量和第二文本向量，其中，第一文本向量用于表示用户问句文本，第二文本向量用于表示候选问句文本，候选问句文本是从知识库中获取的；利用RNN和CNN，对第一文本向量和第二文本向量进行编码，得到针对第一文本向量的第一编码结果和针对第二文本向量的第二编码结果；基于第一编码结果和第二编码结果，确定用户问句文本与候选问句文本之间的相似度，其中，相似度用于确定针对用户问句文本的答复。

Description

用于文本处理的方法和装置
技术领域
本说明书的实施例涉及信息技术领域，更具体地，涉及用于文本处理的方法、装置、计算设备和机器可读存储介质。
背景技术
随着机器学习等各种技术的不断发展，为了方便用户获得帮助，已经开发了智能问答系统。智能问答系统可以实现人机对话，例如，用户向智能问答系统提出问题，智能问答系统能够自动地回答问题。可见，智能问答系统不仅提供了极大的便利性，而且降低了人工回答问题的成本。然而，如何使得智能问答系统准确地回答用户的问题，成为需要解决的问题之一。
发明内容
考虑到现有技术的上述问题，本说明书的实施例提供了用于文本处理的方法、装置、计算设备和机器可读存储介质。
一方面，本说明书的实施例提供了一种用于文本处理的方法，包括：接收第一文本向量和第二文本向量，其中，所述第一文本向量用于表示用户问句文本，所述第二文本向量用于表示候选问句文本，所述候选问句文本是从知识库中获取的，所述知识库包括至少一个现有问句文本以及针对各个现有问句文本的答案文本；利用递归神经网络(RecurrentNeural Network，RNN)和卷积神经网络(Convolutional Neural Network，CNN)，对所述第一文本向量和所述第二文本向量进行编码，得到针对所述第一文本向量的第一编码结果和针对所述第二文本向量的第二编码结果；基于所述第一编码结果和所述第二编码结果，确定所述用户问句文本与所述候选问句文本之间的相似度，其中，所述相似度用于确定针对所述用户问句文本的答复。
另一方面，本说明书的实施例提供了一种用于文本处理的装置，包括：接收单元，其接收第一文本向量和第二文本向量，其中，所述第一文本向量用于表示用户问句文本，所述第二文本向量用于表示候选问句文本，所述候选问句文本是从知识库中获取的，所述知识库包括至少一个现有问句文本以及针对各个现有问句文本的答案文本；编码单元，其利用RNN和CNN，对所述第一文本向量和所述第二文本向量进行编码，得到针对所述第一文本向量的第一编码结果和针对所述第二文本向量的第二编码结果；确定单元，其基于所述第一编码结果和所述第二编码结果，确定所述用户问句文本与所述候选问句文本之间的相似度，其中，所述相似度用于确定针对所述用户问句文本的答复。
另一方面，本说明书的实施例提供了一种计算设备，包括：至少一个处理器；与所述至少一个处理器进行通信的存储器，其上存储有可执行代码，所述可执行代码在被所述至少一个处理器执行时使得所述至少一个处理器实现上述方法。
另一方面，本说明书的实施例提供了一种机器可读存储介质，其存储有可执行代码，所述可执行代码在被执行时使得机器执行上述方法。
附图说明
通过结合附图对本说明书的实施例的更详细的描述，本说明书的实施例的上述以及其它目的、特征和优势将变得更加明显，其中，在本说明书的实施例中，相同的附图标记通常代表相同的元素。
图1是根据一个实施例的智能问答系统的运行过程的示意性流程图。
图2是根据一个实施例的用于文本处理的方法的示意性流程图。
图3A是根据一个实施例的相似度模型的结构示意图。
图3B是根据一个实施例的CNN编码器的结构示意图。
图4是根据一个实施例的用于文本处理的装置的示意性框图。
图5是根据一个实施例的用于文本处理的计算设备的硬件结构图。
具体实施方式
现在将参考各实施例讨论本文描述的主题。应当理解的是，讨论这些实施例仅是为了使得本领域技术人员能够更好地理解并且实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离权利要求书的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个实施例可以根据需要，省略、替换或者添加各种过程或组件。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其它实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其它的定义，无论是明确的还是隐含的，除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
随着机器学习、深度学习等人工智能技术的快速发展，智能问答系统应运而生。目前，大部分智能问答系统都是通过检索已有的知识库来回答问题。知识库可以表示为问句-答案对的形式。即，知识库可以包括至少一个问句文本以及这些问句文本所对应的答案文本。通常，知识库可以是通过离线人工的方式来建立的。例如，基于大规模的对话语料来提取问句文本，然后人工手动补充相应的答案文本，从而建立知识库。
知识库中的问句文本可以包括标准问句文本和扩展问句文本。例如，标准问句文本可以是“花呗怎么还款”，扩展问句文本可以是“花呗如何还款”、“花呗的还款方式是什么”、“如何给花呗还款”等等。
在接收到用户问句文本时，智能问答系统可以在知识库中检索与用户问句文本相似的问句文本，然后基于与用户问句文本相似度高的问句文本，来输出针对用户问句文本的答复。为了便于理解，下面将结合具体示例来描述智能问答系统。
图1是根据一个实施例的智能问答系统的运行过程的示意性流程图。
如图1所示，在102处，智能问答系统可以接收用户问句文本。例如，可以通过文字或语音等方式接收用户的问句。在语音方式的情况下，可以将接收的语音转化为文本形式。
在104处，智能问答系统可以在知识库中进行检索，获取与用户问句文本相关联的N个候选问句文本，N为正整数。
通常，知识库包含大量的问句文本(例如，数十万)。为了降低相似度计算复杂度以及加快响应速度，智能问答系统可以通过关键词匹配等简单的检索方式，先从知识库中获取N个候选问句文本，然后基于N个候选问句文本来进行后续的相似度计算。该过程也可以称为召回候选问句文本。N可以根据实际需求、经验等来预先设定。
在106处，智能问答系统可以将用户问句文本和候选问句文本进行向量化，得到各自对应的文本向量。
此处，可以采用各种适用的向量化算法来将用户问句文本和候选问句文本转换为文本向量，比如词嵌入(Word embedding)算法等。
在108处，可以基于在106处得到的文本向量，确定用户问句文本与各个候选问句文本之间的相似度。
在110处，可以基于用户问句文本与各个候选问句文本之间的相似度，输出针对用户问句文本的答复。
例如，可以按照用户问句文本与各个候选问句文本之间的相似度从高到低，对各个候选问句文本进行排序。
在一种实现方式中，可以将相似度最高的候选问句文本以及对应的答案文本一起输出，作为针对用户问句文本的答复。
在另一种实现方式中，如果用户问句文本与各个候选问句文本之间的相似度低于某个预设阈值，则可以将排在前面的若干个候选问句文本输出，作为针对用户问句文本的答复。这样，用户可以进一步在输出的候选问句文本中选择其所期望的问句文本。然后，智能问答系统可以基于用户的选择，进一步输出相应的答案文本。
可以理解的是，图1仅是一个示例，在具体实现时，智能问答系统可以采用其它适用的流程来运行。
从图1的示例可以看出，相似度确定对于智能问答系统能否准确地输出用户所期望的答复是至关重要的。鉴于此，本说明书的实施例提供了一种文本处理的技术方案，能够准确地确定文本相似度，从而能够极大地提高智能问答系统的回答准确率，有助于提升用户体验。下面将对此进行详细描述。
图2是根据一个实施例的用于文本处理的方法的示意性流程图。
如图2所示，在步骤202中，可以接收第一文本向量和第二文本向量。
第一文本向量可以表示用户问句文本。第二文本向量可以表示候选问句文本。例如，该候选问句文本可以是在图1的104处从知识库召回的N个候选问句文本之一。
可以通过各种适用的文本向量化算法对用户问句文本和候选问句文本进行处理，来得到第一文本向量和第二文本向量。比如，可以使用词嵌入算法将用户问句文本和候选问句文本转换为第一文本向量和第二文本向量。
在步骤204中，可以利用RNN和CNN，对第一文本向量和第二文本向量进行编码，得到针对第一文本向量的第一编码结果和针对第二文本向量的第二编码结果。
在步骤206中，可以基于第一编码结果和第二编码结果，确定用户问句文本与候选问句文本之间的相似度。如前所述，相似度可以用于确定针对用户问句文本的答复。
RNN可以是以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的神经网络。CNN可以是包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。CNN通常具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。因此，RNN通常有利于捕捉文本的序列信息，而CNN通常擅长捕捉文本的关键词、词组信息。
因此，在该实施例中，通过RNN和CNN两者来对用户问句文本和候选问句文本进行编码，将RNN和CNN两者的优点相结合，能够更加充分地捕捉这两个文本的细粒度特征信息，由此能够更加准确地确定两个文本之间的相似度，从而使得智能问答系统能够更加准确地针对用户的问题作出应答，由此极大地提升用户体验。
在本说明书的实施例中，RNN可以通过各种适用的结构来实现，比如，RNN可以包括双向长短期记忆网络(Bi-directional Long Short-Term Memory，BiLSTM)、双向门控递归单元(Bi-directional Gated Recurrent Unit，BiGRU)等。在一个优选的实施例中，在步骤204中可以利用BiGRU进行编码。在实践中发现，BiGRU的编码效果更好，同时效率更高。
在一个实施例中，在步骤204中，可以利用RNN进行初始编码，然后利用CNN在RNN编码的基础上进行二次编码。这样，通过RNN能够捕捉到文本的序列特征信息，而通过CNN能够捕捉到文本的词粒度特征信息，从而实现对文本的更深层次的编码，由此有效地提升相似度确定的准确性。
具体地，可以利用RNN对第一文本向量进行编码，得到第一初始编码向量。然后，利用CNN对第一初始编码向量进行编码，得到第一二次编码向量。这样，第一编码结果可以包括第一初始编码向量和第一二次编码向量。
类似地，可以利用RNN对第二文本向量进行编码，得到第二初始编码向量。然后，利用CNN对第二初始编码向量进行编码，得到第二二次编码向量。这样，第二编码结果可以包括第二初始编码向量和第二二次编码结果。
在本说明书的实施例中，CNN可以通过各种适用的结构来实现。优选地，CNN可以基于“Network in Network(网络中的网络)”思想来实现。例如，CNN可以包括至少两级卷积层，在这至少两级卷积层中，第一级卷积层可以包括卷积核大小为1的至少一个CNN单元，而在第一级卷积层之后的各级卷积层可以包括卷积核大小大于1的至少一个CNN单元。具体地，在第一级卷积层中，各个CNN单元的卷积核大小均为1，而在第一级卷积层之后的卷积层中，各个CNN单元的卷积核大小可以大于1。
这种CNN结构能够更加高效且方便地提取文本的词粒度特征信息。而且，由于CNN卷积核特有的参数共享机制，使得参数量也能缩小，从而降低计算复杂度。
在对第一文本向量和第二文本向量进行编码之后，可以基于编码结果来确定两个文本之间的相似度。
在一个实施例中，在步骤206中，可以基于软注意力机制来充分捕捉两个文本之间的交互信息，比如两个文本之间相似或不相似的信息。具体地，可以基于软注意力机制对第一编码结果和第二编码进行处理，得到针对用户问句文本的第一交互表示结果和针对候选问句文本的第二交互表示结果。
在一个实施例中，可以基于第一初始编码向量和第二初始编码向量，确定用户问句文本相对于候选问句文本的第一相对注意力向量以及候选问句文本相对于用户问句文本的第二相对注意力向量。
例如，可以基于第一初始编码向量和第二初始编码向量，计算用户问句文本和候选问句文本之间的软注意力权重矩阵。然后，可以利用软注意力权重矩阵和第二初始编码向量，计算第一相对注意力向量。类似地，可以利用软注意力权重矩阵和第一初始编码向量，计算第二相对注意力向量。
然后，可以通过拼接和池化操作，对第一相对注意力向量、第一初始编码向量和第一二次编码向量进行处理，得到第一交互表示结果。
例如，可以对第一相对注意力向量和第一初始编码向量进行一系列拼接操作，得到第一拼接结果。然后，可以对第一拼接结果分别进行均值池化(Avg Pooling)和最大池化(Max Pooling)，得到第一池化结果。之后，可以将第一池化结果和第一二次编码向量进行进一步拼接，得到第一交互表示结果。
类似地，可以通过拼接和池化操作，对第二相对注意力向量、第二初始编码向量和第二二次编码向量进行处理，得到第二交互表示结果。
例如，可以对第二相对注意力向量和第二初始编码向量进行一系列拼接操作，得到第二拼接结果。然后，可以对第二拼接结果分别进行均值池化和最大池化，得到第二池化结果。之后，可以将第二池化结果和第二二次编码向量进行进一步拼接，得到第二交互表示结果。
之后，可以基于第一交互表示结果和第二交互表示结果，确定相似度。
例如，可以基于门限机制对第一交互表示结果和第二交互表示结果进行融合，得到融合结果。门限机制可以用于筛选出第一交互表示结果和第二交互表示结果两者中能够融合的部分。可以理解的是，门限机制也是用于过滤掉第一交互表示结果和第二交互表示结果两者中不能融合的部分。这样，能够更好地将两个交互表示结果中更加重要的信息进行融合。
然后，可以基于融合结果，确定用户问句文本与候选问句文本相似的概率，作为两者之间的相似度。
可以理解的是，上述图2的过程可以通过模型来实现，本文中将其称为相似度模型。下面将结合具体示例进一步详细描述。应当理解的是，下面的示例仅是为了帮助本领域技术人员更好地理解上述内容，而并不对上述技术方案的范围造成任何限制。
图3A是根据一个实施例的相似度模型的结构示意图。图3A的相似度模型300A可以用于实现上述图2描述的过程。
如图3A所示，相似度模型300A可以包括编码层、交互表示层、融合层和全连接层。
(1)编码层
编码层可以包括BiGRU编码器和CNN编码器。
如前所述，BiGRU编码器可以对输入到相似度模型300A的第一文本向量和第二文本向量分别进行初始编码。
第一文本向量可以用于表示用户问句文本。例如，第一文本向量可以是通过对用户问句文本进行向量化得到的，其可以是序列向量。
第二文本向量可以用于表示候选问句文本。例如，候选问句文本可以是从知识库召回的多个问句文本之一。第二文本向量可以是通过对候选问句文本进行向量化得到的，其可以是序列向量。
<1>首先，利用BiGRU编码器对第一文本向量和第二文本向量分别进行编码，以捕捉用户问句文本和候选问句文本的序列特征信息。BiGRU编码器的计算过程可以利用如下等式表示：
Figure BDA0002394758230000081
Figure BDA0002394758230000082
其中，
Figure BDA0002394758230000083
可以表示第一初始编码向量，la可以表示用户问句文本的长度。通常，用户问句文本的长度可以通过用户问句文本中的字数来表示。
类似地，
Figure BDA0002394758230000084
可以表示第二初始编码向量，lb可以表示候选问句文本的长度。通常，候选问句文本的长度可以通过候选问句文本中的字数来表示。
<2>在利用BiGRU编码器进行编码之后，可以利用CNN编码器进行二次编码。例如，CNN编码器的计算过程可以利用如下等式来表示：
Figure BDA0002394758230000085
此处，
Figure BDA0002394758230000086
可以表示BiGRU输出的初始编码向量，
Figure BDA0002394758230000087
可以表示CNN编码器输出的二次编码向量。
优选地，CNN编码器可以采用“Network in Network”的结构来实现，以便更好地捕捉词粒度特征信息。例如，图3B是根据一个实施例的CNN编码器的结构示意图。
在图3B的示例中，CNN编码器300B可以包括两级卷积层。第一级卷积层可以包括三个K＝1的CNN单元，第二级卷积层可以包括K＝2的CNN单元以及K＝3的CNN单元，其中，K可以表示卷积核大小。
第一级卷积层可以对来自BiGRU编码器的初始编码向量(例如前述第一初始编码向量和第二初始编码向量)进行处理。第二级卷积层可以对第一级卷积层中的相应CNN单元的输出结果进行处理。各个CNN单元可以采用各种适用的函数来实现，例如ReLU激活函数。
此外，CNN编码器300B还可以包括池化层和连接层。池化层可以对来自各级卷积层的结果进行均值池化和最大池化操作。连接层可以将池化结果进行拼接，从而得到二次编码向量。
应当理解的是，虽然在图3B中示出了两级卷积层以及各级卷积层所包括的CNN单元，但是在实际应用时，CNN编码器可以包括其它数量的卷积层以及其它数量的CNN单元，并且CNN单元可以具有其它不同的卷积核大小，本说明书对此不作限定。
(2)交互表示层
在交互表示层，可以基于软注意力机制来对编码层得到的初始编码向量和二次编码向量进行处理，从而充分捕捉两个文本之间的交互信息，比如相似和不相似的信息。
例如，可以利用第一初始编码向量和第二初始编码向量来计算软注意力权重矩阵eij，其可以使用如下等式来表示：
Figure BDA0002394758230000091
然后，可以利用软注意力权重矩阵和第二二次编码向量，来计算用户问句文本相对于候选问句文本的第一相对注意力向量
Figure BDA0002394758230000092
类似地，可以利用软注意力权重矩阵和第一二次编码向量，来计算候选问句文本相对于用户问句文本的第二相对注意力向量
Figure BDA0002394758230000093
该过程可以使用如下等式来表示：
Figure BDA0002394758230000094
Figure BDA0002394758230000101
然后，可以将第一相对注意力向量和第一初始编码向量进行拼接操作，得到第一拼接结果υa。类似地，可以将第二相对注意力向量和第二初始编码向量进行拼接操作，得到第二拼接结果υb。该过程可以使用如下等式来表示：
Figure BDA0002394758230000102
Figure BDA0002394758230000103
之后，可以对第一拼接结果和第二拼接结果分别进行均值池化和最大池化操作。该过程可以使用如下等式来表示：
Figure BDA0002394758230000104
Figure BDA0002394758230000105
然后，可以将池化结果和二次编码向量进行进一步拼接，得到第一交互表示结果Oa以及第二交互表示结果Ob。该过程可以使用如下等式来表示：
Figure BDA0002394758230000106
Figure BDA0002394758230000107
(3)融合层
在融合层，可以基于门限机制，将第一交互表示结果和第二交互表示结果进行融合。门限机制可以自动学习第一交互表示结果和第二交互表示结果中能够融合(或者不能融合)的部分，从而有效地融合这两个结果中更加重要的信息。
例如，融合过程可以使用如下的等式来表示：
Figure BDA0002394758230000108
o′a＝g(oa，ob)·m(oa，ob)+(1-g(oa，ob))·oa
o′b＝g(ob，oa)·m(ob，oa)+(1-g(ob，oa))·ob
mout＝[o′a，o′b]
其中，在计算Oa′时，P可以对应于Oa；Q可以对应于Ob；Wf和bf可以表示可训练的向量；m可以表示融合层的融合函数；g可以表示实现门限机制的门限函数；同理，计算Ob′的过程类似，只是融合函数和门限函数的两个输入交换位置。mout可以表示O′a和O′b的融合结果。
门限函数可以采用各种适用的算法来实现。在一个实施例中，门限函数可以使用以下等式来表示：
Figure BDA0002394758230000111
这里需要注意的是，对于融合函数m(P,Q)和门限函数g(P,Q)，m(P,Q)≠m(Q,P),g(P,Q)≠g(Q,P)。其中，wg可以表示可训练的向量，bg可以表示可训练的偏置向量，σ可以表示sigmoid函数。
(4)全连接层
在全连接层，可以基于融合结果，计算用户问句文本和候选问句文本之间相似的概率，作为这两者之间的相似度。
在该实施例中，在编码层，利用BiGRU编码器和CNN编码器两者来进行编码，能够有效地捕捉两个文本各自的序列信息和词粒度信息；在交互表示层，基于软注意力机制，能够充分地捕捉两个文本的交互信息；在融合层，基于门限机制，能够有利地融合交互表示结果中更加重要的部分；因此，通过该实施例的相似度模型，能够准确地得到文本之间的相似度，从而提升针对用户问题的答复精准度。此外，该相似度模型属于轻量级的模型，在实现上更加高效。
图4是根据一个实施例的用于文本处理的装置的示意性框图。
如图4所示，装置400可以包括接收模块402、编码模块404和确定模块406。
接收模块402可以接收第一文本向量和第二文本向量。第一文本向量可以用于表示用户问句文本，第二文本向量可以用于表示候选问句文本。候选问句文本可以是从知识库中获取的，知识库可以包括至少一个现有问句文本以及针对各个现有问句文本的答案文本。
编码模块404可以利用RNN和CNN，对第一文本向量和第二文本向量进行编码，得到针对第一文本向量的第一编码结果和针对第二文本向量的第二编码结果。
确定模块406可以基于第一编码结果和第二编码结果，确定用户问句文本与候选问句文本之间的相似度，其中，相似度用于确定针对用户问句文本的答复。
在该实施例中，通过RNN和CNN两者来对用户问句文本和候选问句文本进行编码，将RNN和CNN两者的优点相结合，能够更加充分地捕捉这两个文本的细粒度特征信息，由此能够更加准确地确定两个文本之间的相似度，从而使得智能问答系统能够更加准确地针对用户的问题作出应答，由此极大地提升用户体验。
在一个实施例中，第一编码结果可以包括第一初始编码向量和第一二次编码向量。第二编码结果可以包括第二初始编码向量和第二二次编码向量。
编码模块402可以利用RNN对第一文本向量进行编码，得到第一初始编码向量，以及利用CNN对第一初始编码向量进行编码，得到第一二次编码向量。
编码模块402可以利用RNN对第二文本向量进行编码，得到第二初始编码向量，以及利用CNN对第二初始编码向量进行编码，得到第二二次编码向量。
在一个实施例中，确定模块406可以基于软注意力机制对第一编码结果和第二编码结果进行处理，得到针对用户问句文本的第一交互表示结果和针对候选问句文本的第二交互表示结果。
确定模块406可以基于第一交互表示结果和第二交互表示结果，确定相似度。
在一个实施例中，确定模块406可以基于第一初始编码向量和第二初始编码向量，确定用户问句文本相对于候选问句文本的第一相对注意力向量、以及候选问句文本相对于用户问句文本的第二相对注意力向量。
确定模块406可以通过拼接操作和池化操作对第一相对注意力向量、第一初始编码向量和第一二次编码向量进行处理，得到第一交互表示结果。
确定模块406可以通过拼接操作和池化操作对第二相对注意力向量、第二初始编码向量和第二二次编码向量进行处理，得到第二交互表示结果。
在一个实施例中，确定模块406可以基于门限机制对第一交互表示结果和第二交互表示结果进行融合，得到融合结果，其中，门限机制用于筛选出第一交互表示结果和第二交互表示结果两者中能够融合的部分。
确定模块406可以基于融合结果，确定用户问句文本与候选问句文本相似的概率，作为相似度。
在一个实施例中，CNN可以包括至少两级卷积层，在至少两级卷积层中，第一级卷积层包括卷积核大小为1的至少一个CNN单元，在第一级卷积层之后的各级卷积层包括卷积核大小大于1的至少一个CNN单元。
在一个实施例中，RNN可以包括BiGRU。
装置400的各个模块可以执行图1至3B的方法实施例中的相应步骤，因此，为了描述的简洁，装置400的各个单元的具体操作和功能此处不再赘述。
上述装置400可以采用硬件实现，也可以采用软件实现，或者可以通过软硬件的组合来实现。例如，装置400在采用软件实现时，其可以通过其所在设备的处理器将存储器(比如非易失性存储器)中对应的可执行代码读取到内存中运行来形成。
图5是根据一个实施例的用于文本处理的计算设备的硬件结构图。如图5所示，计算设备500可以包括至少一个处理器502、存储器504、内存506和通信接口508，并且至少一个处理器502、存储器504、内存506和通信接口508经由总线510连接在一起。至少一个处理器502执行在存储器504中存储或编码的至少一个可执行代码(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器504中存储的可执行代码在被至少一个处理器502执行时，使得计算设备实现以上结合图1-3B描述的各种过程。
计算设备500可以采用本领域任何适用的形式来实现，例如，其包括但不限于台式计算机、膝上型计算机、智能电话、平板计算机、消费电子设备、可穿戴智能设备等等。
本说明书的实施例还提供了一种机器可读存储介质。该机器可读存储介质可以存储有可执行代码，可执行代码在被机器执行时使得机器实现上面参照图1-3B描述的方法实施例的具体过程。
例如，机器可读存储介质可以包括但不限于随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、静态随机存取存储器(Static Random Access Memory，SRAM)、硬盘、闪存等等。
应当理解的是，本说明书中的各个实施例均采用递进的方式来描述，各个实施例之间相同或相似的部分相互参见即可，每个实施例重点说明的都是与其它实施例的不同之处。例如，对于上述关于装置的实施例、关于计算设备的实施例以及关于机器可读存储介质的实施例而言，由于它们基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上文对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分别由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
以上结合附图详细描述了本公开内容的实施例的可选实施方式，但是，本公开内容的实施例并不限于上述实施方式中的具体细节，在本公开内容的实施例的技术构思范围内，可以对本公开内容的实施例的技术方案进行多种变型，这些变型均属于本公开内容的实施例的保护范围。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (16)

1.一种用于文本处理的方法，包括：
接收第一文本向量和第二文本向量，其中，所述第一文本向量用于表示用户问句文本，所述第二文本向量用于表示候选问句文本，所述候选问句文本是从知识库中获取的，所述知识库包括至少一个现有问句文本以及针对各个现有问句文本的答案文本；
利用递归神经网络RNN和卷积神经网络CNN，对所述第一文本向量和所述第二文本向量进行编码，得到针对所述第一文本向量的第一编码结果和针对所述第二文本向量的第二编码结果；
基于所述第一编码结果和所述第二编码结果，确定所述用户问句文本与所述候选问句文本之间的相似度，其中，所述相似度用于确定针对所述用户问句文本的答复。
2.根据权利要求1所述的方法，其中，所述第一编码结果包括第一初始编码向量和第一二次编码向量，所述第二编码结果包括第二初始编码向量和第二二次编码向量；
对所述第一文本向量和所述第二文本向量进行编码，包括：
利用所述RNN对所述第一文本向量进行编码，得到所述第一初始编码向量，以及利用所述CNN对所述第一初始编码向量进行编码，得到所述第一二次编码向量；
利用所述RNN对所述第二文本向量进行编码，得到所述第二初始编码向量，以及利用所述CNN对所述第二初始编码向量进行编码，得到所述第二二次编码向量。
3.根据权利要求2所述的方法，其中，确定所述用户问句文本与所述候选问句文本之间的相似度，包括：
基于软注意力机制对所述第一编码结果和所述第二编码结果进行处理，得到针对所述用户问句文本的第一交互表示结果和针对所述候选问句文本的第二交互表示结果；
基于所述第一交互表示结果和所述第二交互表示结果，确定所述相似度。
4.根据权利要求3所述的方法，其中，基于软注意力机制对所述第一编码结果和所述第二编码结果进行处理，包括：
基于所述第一初始编码向量和所述第二初始编码向量，确定所述用户问句文本相对于所述候选问句文本的第一相对注意力向量、以及所述候选问句文本相对于所述用户问句文本的第二相对注意力向量；
通过拼接操作和池化操作对所述第一相对注意力向量、所述第一初始编码向量和所述第一二次编码向量进行处理，得到所述第一交互表示结果；
通过拼接操作和池化操作对所述第二相对注意力向量、所述第二初始编码向量和所述第二二次编码向量进行处理，得到所述第二交互表示结果。
5.根据权利要求3或4所述的方法，其中，基于所述第一交互表示结果和所述第二交互表示结果，确定所述相似度，包括：
基于门限机制对所述第一交互表示结果和所述第二交互表示结果进行融合，得到融合结果，其中，所述门限机制用于筛选出所述第一交互表示结果和所述第二交互表示结果两者中能够融合的部分；
基于所述融合结果，确定所述用户问句文本与所述候选问句文本相似的概率，作为所述相似度。
6.根据权利要求1至5中任一项所述的方法，其中，所述CNN包括至少两级卷积层，在所述至少两级卷积层中，第一级卷积层包括卷积核大小为1的至少一个CNN单元，在所述第一级卷积层之后的各级卷积层包括卷积核大小大于1的至少一个CNN单元。
7.根据权利要求1至6中任一项所述的方法，其中，所述RNN包括双向门控递归单元BiGRU。
8.一种用于文本处理的装置，包括：
接收模块，其接收第一文本向量和第二文本向量，其中，所述第一文本向量用于表示用户问句文本，所述第二文本向量用于表示候选问句文本，所述候选问句文本是从知识库中获取的，所述知识库包括至少一个现有问句文本以及针对各个现有问句文本的答案文本；
编码模块，其利用递归神经网络RNN和卷积神经网络CNN，对所述第一文本向量和所述第二文本向量进行编码，得到针对所述第一文本向量的第一编码结果和针对所述第二文本向量的第二编码结果；
确定模块，其基于所述第一编码结果和所述第二编码结果，确定所述用户问句文本与所述候选问句文本之间的相似度，其中，所述相似度用于确定针对所述用户问句文本的答复。
9.根据权利要求8所述的装置，其中，所述第一编码结果包括第一初始编码向量和第一二次编码向量，所述第二编码结果包括第二初始编码向量和第二二次编码向量；
所述编码模块进行以下操作：
利用所述RNN对所述第一文本向量进行编码，得到所述第一初始编码向量，以及利用所述CNN对所述第一初始编码向量进行编码，得到所述第一二次编码向量；
利用所述RNN对所述第二文本向量进行编码，得到所述第二初始编码向量，以及利用所述CNN对所述第二初始编码向量进行编码，得到所述第二二次编码向量。
10.根据权利要求9所述的装置，其中，所述确定模块进行以下操作：
基于软注意力机制对所述第一编码结果和所述第二编码结果进行处理，得到针对所述用户问句文本的第一交互表示结果和针对所述候选问句文本的第二交互表示结果；
基于所述第一交互表示结果和所述第二交互表示结果，确定所述相似度。
11.根据权利要求10所述的装置，其中，所述确定模块进行以下操作：
基于所述第一初始编码向量和所述第二初始编码向量，确定所述用户问句文本相对于所述候选问句文本的第一相对注意力向量、以及所述候选问句文本相对于所述用户问句文本的第二相对注意力向量；
通过拼接操作和池化操作对所述第一相对注意力向量、所述第一初始编码向量和所述第一二次编码向量进行处理，得到所述第一交互表示结果；
通过拼接操作和池化操作对所述第二相对注意力向量、所述第二初始编码向量和所述第二二次编码向量进行处理，得到所述第二交互表示结果。
12.根据权利要求10或11所述的装置，其中，所述确定模块进行以下操作：
基于门限机制对所述第一交互表示结果和所述第二交互表示结果进行融合，得到融合结果，其中，所述门限机制用于筛选出所述第一交互表示结果和所述第二交互表示结果两者中能够融合的部分；
基于所述融合结果，确定所述用户问句文本与所述候选问句文本相似的概率，作为所述相似度。
13.根据权利要求8至12中任一项所述的装置，其中，所述CNN包括至少两级卷积层，在所述至少两级卷积层中，第一级卷积层包括卷积核大小为1的至少一个CNN单元，在所述第一级卷积层之后的各级卷积层包括卷积核大小大于1的至少一个CNN单元。
14.根据权利要求8至13中任一项所述的装置，其中，所述RNN包括双向门控递归单元BiGRU。
15.一种计算设备，包括：
至少一个处理器；
与所述至少一个处理器进行通信的存储器，其上存储有可执行代码，所述可执行代码在被所述至少一个处理器执行时使得所述至少一个处理器实现根据权利要求1至7中任一项所述的方法。
16.一种机器可读存储介质，其存储有可执行代码，所述可执行代码在被执行时使得机器执行根据权利要求1至7中任一项所述的方法。
CN202010127184.3A 2020-02-28 2020-02-28 用于文本处理的方法和装置 Pending CN111339256A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010127184.3A CN111339256A (zh) 2020-02-28 2020-02-28 用于文本处理的方法和装置
PCT/CN2020/132636 WO2021169453A1 (zh) 2020-02-28 2020-11-30 用于文本处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010127184.3A CN111339256A (zh) 2020-02-28 2020-02-28 用于文本处理的方法和装置

Publications (1)

Publication Number Publication Date
CN111339256A true CN111339256A (zh) 2020-06-26

Family

ID=71182029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010127184.3A Pending CN111339256A (zh) 2020-02-28 2020-02-28 用于文本处理的方法和装置

Country Status (2)

Country Link
CN (1) CN111339256A (zh)
WO (1) WO2021169453A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859939A (zh) * 2020-07-29 2020-10-30 中国平安人寿保险股份有限公司 文本匹配方法、系统和计算机设备
WO2021169453A1 (zh) * 2020-02-28 2021-09-02 支付宝(杭州)信息技术有限公司 用于文本处理的方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115169489B (zh) * 2022-07-25 2023-06-09 北京百度网讯科技有限公司 数据检索方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574133A (zh) * 2015-12-15 2016-05-11 苏州贝多环保技术有限公司 一种多模态的智能问答系统及方法
EP3156949A2 (en) * 2015-10-16 2017-04-19 Baidu USA LLC Systems and methods for human inspired simple question answering (hisqa)
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN108153737A (zh) * 2017-12-30 2018-06-12 北京中关村科金技术有限公司 一种语义分类的方法、系统及对话处理系统
KR101993001B1 (ko) * 2019-01-16 2019-06-25 영남대학교 산학협력단 영상 하이라이트 제작 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484681B (zh) * 2015-08-25 2019-07-09 阿里巴巴集团控股有限公司 一种生成候选译文的方法、装置及电子设备
CN107967257B (zh) * 2017-11-20 2021-01-12 哈尔滨工业大学 一种级联式作文生成方法
CN109766418B (zh) * 2018-12-13 2021-08-24 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN111339256A (zh) * 2020-02-28 2020-06-26 支付宝(杭州)信息技术有限公司 用于文本处理的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156949A2 (en) * 2015-10-16 2017-04-19 Baidu USA LLC Systems and methods for human inspired simple question answering (hisqa)
CN105574133A (zh) * 2015-12-15 2016-05-11 苏州贝多环保技术有限公司 一种多模态的智能问答系统及方法
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN108153737A (zh) * 2017-12-30 2018-06-12 北京中关村科金技术有限公司 一种语义分类的方法、系统及对话处理系统
KR101993001B1 (ko) * 2019-01-16 2019-06-25 영남대학교 산학협력단 영상 하이라이트 제작 장치 및 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANFENG DENG ET.AL: ""Self-attention-based BiGRU and capsule network for named entity recognition"", 《ARXIV》 *
JIN LIU1 ET.AL: ""Attention‑based BiGRU‑CNN for Chinese question classification"", 《JOURNAL OF AMBIENT INTELLIGENCE AND HUMANIZED COMPUTING》 *
MUHAO CHEN1 ET.AL: ""Multifaceted Protein-Protein Interaction Prediction Based on Siamese Residual RCNN"", 《PIPR》 *
NIANTAO XIE ET.AL: ""ERCNN: Enhanced Recurrent Convolutional Neural Networks for Learning Sentence Similarity"", 《CHINA NATIONAL CONFERENCE ON CHINESE COMPUTATIONAL LINGUISTICS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169453A1 (zh) * 2020-02-28 2021-09-02 支付宝(杭州)信息技术有限公司 用于文本处理的方法和装置
CN111859939A (zh) * 2020-07-29 2020-10-30 中国平安人寿保险股份有限公司 文本匹配方法、系统和计算机设备

Also Published As

Publication number Publication date
WO2021169453A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
CN111783462A (zh) 基于双神经网络融合的中文命名实体识别模型及方法
CN114556443A (zh) 使用基于注意力的融合网络的多媒体数据语义分析系统和方法
CN111461004B (zh) 基于图注意力神经网络的事件检测方法、装置和电子设备
CN110163220A (zh) 图片特征提取模型训练方法、装置和计算机设备
CN109145974B (zh) 一种基于图文匹配的多层次图像特征融合方法
CN111159485B (zh) 尾实体链接方法、装置、服务器及存储介质
WO2021169453A1 (zh) 用于文本处理的方法和装置
Wlodarczak et al. Multimedia data mining using deep learning
CN114676234A (zh) 一种模型训练方法及相关设备
US11568140B2 (en) Optical character recognition using a combination of neural network models
CN112749274A (zh) 基于注意力机制和干扰词删除的中文文本分类方法
CN109614611B (zh) 一种融合生成非对抗网络与卷积神经网络的情感分析方法
CN111597341A (zh) 一种文档级关系抽取方法、装置、设备及存储介质
CN111985525A (zh) 基于多模态信息融合处理的文本识别方法
CN113761868A (zh) 文本处理方法、装置、电子设备及可读存储介质
WO2023173552A1 (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
Srinivas et al. A comprehensive survey of techniques, applications, and challenges in deep learning: A revolution in machine learning
CN115204301A (zh) 视频文本匹配模型训练、视频文本匹配方法和装置
Tekir et al. Deep learning: Exemplar studies in natural language processing and computer vision
Bhalekar et al. Generation of image captions using VGG and ResNet CNN models cascaded with RNN approach
US20240037335A1 (en) Methods, systems, and media for bi-modal generation of natural languages and neural architectures
CN115495579A (zh) 5g通信助理文本分类的方法、装置、电子设备及存储介质
CN113779244B (zh) 文档情感分类方法、装置、存储介质以及电子设备
CN115130461A (zh) 一种文本匹配方法、装置、电子设备及存储介质
CN110969187B (zh) 一种图谱迁移的语义分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626