CN116662582B - 基于自然语言的特定领域业务知识检索方法及检索装置 - Google Patents
基于自然语言的特定领域业务知识检索方法及检索装置 Download PDFInfo
- Publication number
- CN116662582B CN116662582B CN202310954971.9A CN202310954971A CN116662582B CN 116662582 B CN116662582 B CN 116662582B CN 202310954971 A CN202310954971 A CN 202310954971A CN 116662582 B CN116662582 B CN 116662582B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- word
- intention
- vector
- language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000013598 vector Substances 0.000 claims abstract description 122
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000010606 normalization Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于自然语言的特定领域业务知识检索方法及检索装置，包括：构建预训练语言模型；对业务知识数据进行特征表示，获得由特征向量构成的数据库；构建语言理解模型；输入自然语句并通过语言理解模型获得检索提问的查询向量；计算查询向量与数据库中的特征向量的相似度；并返回前k个特征向量对应的业务知识；本发明通过构建预训练语言模型和语言理解模型，可以更好地理解用户的查询意图，从而更准确地匹配和检索相关的业务知识。同时，通过计算查询向量与数据库中的特征向量的相似度，可以更快速地找到与查询最相关的业务知识，大大提高了检索的效率。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于自然语言的特定领域业务知识检索方法及检索装置。
背景技术
现有的知识检索技术主要包括关键字搜索、文本匹配、语义匹配等。这些方法一般需要对知识库进行人工分类，然后通过设定特定的搜索算法或者规则，对输入的关键字或者查询语句进行匹配，从而返回相关的结果。这些传统的知识检索方法在处理大规模、多领域、多样性的数据时，可能会遇到搜索效率低、匹配准确性低、无法理解复杂语义等问题。
现有的知识检索方法，尤其是关键词搜索和简单的文本匹配，无法理解查询的真实意图和复杂语义，也无法处理模糊查询。例如，如果用户输入的查询句子包含一些模糊的、非关键词的表述，传统的知识检索方法可能会无法返回正确的结果。
随着互联网和信息技术的发展，特定领域的业务知识数据量日益增长，这使得知识检索变得更加困难。现有的知识检索方法可能无法有效处理大规模的数据，而且难以适应不断变化和更新的知识库。
因此，我们需要一种更智能、更灵活、更高效的知识检索方法，以提高知识检索的效率和准确性，同时也能适应大规模、多样性、不断变化的数据环境。
发明内容
本发明所要解决的技术问题是传统知识检索方法只能进行简单的关键词匹配，可能无法返回正确的结果，目的在于提供一种基于自然语言的特定领域业务知识检索方法及检索装置，实现了通过自然语言进行检索，更好地理解的查询意图，更准确地匹配和检索相关的业务知识。
本发明通过下述技术方案实现：
一种基于自然语言的特定领域业务知识检索方法，包括：
构建针对特定领域的预训练语言模型；
通过该预训练语言模型对业务知识数据进行特征表示，获得由特征向量构成的数据库；
构建进行知识检索的语言理解模型；
向语言理解模型输入进行检索提问的自然语句，并通过语言理解模型获得检索提问的查询向量；
将查询向量发送至数据库，计算查询向量与数据库中的特征向量的相似度；
按照相似度降序排序，并返回前k个特征向量对应的业务知识；
完成对特定领域业务知识的检索。
具体地，所述预训练语言模型的构建方法包括：
构建Transformer模型，并收集特定领域业务知识的文本语料；
对文本语料进行遮罩处理，获得预处理数据；遮罩策略包括掩字遮罩和掩词遮罩；
对预处理数据进行字词嵌入和位置编码，获得第一数据；
将第一数据输入至Transformer编码器，并通过多个串联的编码器逐层处理后获得第二数据；
构建掩码语言模型，并将第二数据输入至掩码语言模型，掩码语言模型输出针对预处理数据的预测数据，并将预测数据作为特征表示。
具体地，Transformer编码器的训练方法包括：
将第一数据输入至编码器的注意力层，并将注意力层的查询矩阵、键矩阵、值矩阵进行多次线性变换后计算点积注意力分数，并将注意力分数进行拼接，再经过线性变换获得多头注意力分数；
通过残差连接将注意力层的输入和输出相加，并经过归一化将神经网络中隐藏层规范化为标准正态分布，获得第一向量；
将获得的第一向量输入至编码器的前馈层，前馈层将第一向量投影至高维空间并获得前馈输出；
通过残差连接将前馈层的输入和输出相加，并经过归一化将神经网络中隐藏层规范化为标准正态分布，获得编码器输出；
具体地，所述掩码语言模型的训练优化目标函数为：，其中，/>为被遮罩的字词数量，/>为词典，/>为掩码语言模型参数，/>为模型掩码预测结构的似然函数。
具体地，所述语言理解模型的构建方法包括：
构建基于LSTM的意图编码器，并输出的自然语句的字词级别的意图特征；
构建嵌入器，根据字词的意图特征将字词与其对应的业务知识进行整合，获得字词级别的知识特征集；
通过知识特征集获得知识上下文向量；
构建解码器，以字词级别的意图特征和知识上下文向量为输入，通过解码器输出字词级别的意图预测结果；
通过字词级别的意图预测结果输出语句级别的意图预测结果，，其中，/>为语句的长度，/>为意图标签的数量，/>为第j位为1且其他位为0的/>维0-1向量，为第i个字词级别的意图预测结果，/>为衡量预测结果中字词是否与实际标签匹配的指示函数；
通过预训练的词嵌入模型将意图预测结果中的字词转换为词向量，在对所有词向量平均获得查询向量。
具体地，字词级别的意图特征的获得方法包括：
构建BERT编码器，并将字词输入至BERT编码器后通过BERT编码器输出T个维度为d的隐藏层状态向量和1个用于分类任务的d为特殊向量，并用隐藏层状态向量表示字词级别的语义槽值特征；用特殊向量表示语句级别的意图特征；其中T为输入的自然语言的长度，d为维度；
将语义槽值特征输入至意图编码器，并将特殊向量作为意图编码器的初始隐藏层状态输入，然后映射出相对应的T个维度为d的字词级别的意图特征。
具体地，字词级别的知识特征集的获得方法包括：
确定第i字词对应的意图特征，并确定与第i字词对应的n条业务知识，并获得n条业务知识的概念集/>；
使用注意力机制计算概念集中每一条业务知识与第i字词之间的相关性系数b；
通过相关性系数b进行加权计算后，获得第i字词的n维知识特征；
将第i字词的位置编码嵌入其所对应的n位知识特征，获得知识特征集。
具体地，知识上下文向量的获得方法包括：
通过注意力机制计算第i个字词与知识特征的相关性系数，并通过加权计算获得第i个字词的多维知识上下文向量：/>，/>，其中，/>为知识特征集中的元素，W为经训练的权重参数，/>为字词对应的意图特征，为字词对应的语义槽值特征；
对多维知识上下文向量进行层标准化，获得自然语句的知识上下文向量。
具体地，字词级别的意图预测结果的获得方法包括：
以字词级别的意图特征和知识上下文向量为输入，通过基于LSTM的解码器映射出字词级别意图特征，并经过层标准化处理意图特征；
计算获得字词级别的意图检测结果，其中，/>为可训练参数。
一种基于自然语言的特定领域业务知识检索装置，包括存储器、处理器以及存储在存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明通过构建预训练语言模型和语言理解模型，可以更好地理解用户的查询意图，从而更准确地匹配和检索相关的业务知识。同时，通过计算查询向量与数据库中的特征向量的相似度，可以更快速地找到与查询最相关的业务知识，大大提高了检索的效率。
本发明通过构建特征向量数据库，我们可以有效地组织和管理大规模的业务知识数据。而预训练的语言模型可以持续地学习和适应新的业务知识，保证了检索的实时性和准确性。
通过语言理解模型对自然语句进行解析，不仅可以理解用户的查询意图，而且可以处理复杂的语义和模糊的查询。还可以根据相似度的分布自动确定返回的结果数量，提供了更智能的检索服务。
附图说明
附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分，并不构成对本发明实施例的限定。
图1是根据本发明所述的一种基于自然语言的特定领域业务知识检索方法的流程示意图。
图2是根据本发明所述的构建预训练语言模型的流程示意图。
图3是根据本发明所述的构建语言理解模型的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。
实施例一
如图1所示，提供一种基于自然语言的特定领域业务知识检索方法，包括：
第一步，构建针对特定领域的预训练语言模型，通过该预训练语言模型对业务知识数据进行特征表示，获得由特征向量构成的数据库；
为了得到能够理解特定领域语言特性的模型。预训练语言模型通常通过大量的无标注文本数据进行训练，从而学习语言的语义和语法规则。对于特定领域，我们可以选择相关的文本数据进行训练，使得模型能够理解并生成该领域的语言。这一步是基于深度学习的自我监督学习，通常使用的模型包括BERT、GPT等。
为了将业务知识数据转化为机器可理解的形式，预训练语言模型会将文本数据转化为高维空间中的向量，这些向量能够保留文本数据的语义信息。然后，我们将这些特征向量组织成数据库，用于后续的知识检索。
第二步，构建进行知识检索的语言理解模型；向语言理解模型输入进行检索提问的自然语句，并通过语言理解模型获得检索提问的查询向量。
第三步，将查询向量发送至数据库，计算查询向量与数据库中的特征向量的相似度。
目的是找到与查询最相关的业务知识。我们通常使用一种相似度计算方法来计算查询向量与数据库中的特征向量的相似度，如余弦相似度或欧氏距离等，。
第四步，按照相似度降序排序，并返回前k个特征向量对应的业务知识；完成对特定领域业务知识的检索。
k值可以是动态的，根据查询的复杂度和相似度的分布来决定返回多少个结果。同时，也可以提供一个解释界面，帮助用户理解返回的结果。
在本实施例中，第一步和第二步可以同步进行也可以异步进行。
实施例二
如图2所示，本实施例中预训练语言模型的构建方法进行说明，方法包括：
构建Transformer模型，并收集特定领域业务知识的文本语料。
首先要构建一个基于 Transformer 架构的模型。Transformer 是一个自注意力（self-attention）机制的模型，能够处理变长的输入序列，处理的时候能考虑序列中所有元素之间的交互关系。然后，收集特定领域相关的大量文本数据，数据用于训练该模型，使其理解并适应特定领域。
对文本语料进行遮罩处理，获得预处理数据；遮罩策略包括掩字遮罩和掩词遮罩。
预处理数据时，随机遮盖一些字词或者字符，然后让模型预测这些被遮盖的部分。这样可以帮助模型学习理解上下文以及字词之间的关系。
对预处理数据进行字词嵌入和位置编码，获得第一数据；字词嵌入（wordembedding）是将字词或字符转化为实数向量的过程，使得语义相近的字词或者字符在向量空间中的位置更接近。位置编码则是在词向量中加入位置信息，因为在自然语言处理中，字词的顺序和位置对理解语义往往非常重要。
将第一数据输入至Transformer编码器，并通过多个串联的编码器逐层处理后获得第二数据；Transformer 模型中的编码器由多个相同的层堆叠而成，每一层主要包含一个多头自注意力机制（Multi-HeadSelf-Attention）和一个前馈神经网络（Feed ForwardNeural Network）。这两个子层都有残差连接和层归一化。第一数据（经过词嵌入和位置编码的输入）首先被送入自注意力机制，然后通过前馈神经网络，逐层处理后得到第二数据。
构建掩码语言模型，并将第二数据输入至掩码语言模型，掩码语言模型输出针对预处理数据的预测数据，并将预测数据作为特征表示。掩码语言模型是用于预训练的模型，目标是预测在输入中被掩码的部分。将经过 Transformer 编码器处理后的第二数据输入到掩码语言模型，然后让模型预测被掩码的部分，这样可以让模型在预训练阶段学习语言的内在结构和上下文关系。
本实施例中掩码语言模型的训练优化目标函数为：，其中，/>为被遮罩的字词数量，/>为词典，/>为掩码语言模型参数，/>为模型掩码预测结构的似然函数。
Transformer编码器的训练方法包括：
将第一数据输入至编码器的注意力层，并将注意力层的查询矩阵、键矩阵、值矩阵进行多次线性变换后计算点积注意力分数，并将注意力分数进行拼接，再经过线性变换获得多头注意力分数；输入数据（经过嵌入和位置编码的数据，也就是第一数据）被分成“查询（query）”、“键（key）”和“值（value）”三部分，它们都会经过一次线性变换。然后，计算查询和键的点积以得到注意力分数，这个分数表明模型应该对输入数据中的哪些部分付予更多的注意力。这个过程会在多个不同的表示空间中进行，每个空间被称为一个“头”，最后，所有头的输出被拼接起来，然后经过一次线性变换，得到多头注意力的输出。
通过残差连接将注意力层的输入和输出相加，并经过归一化将神经网络中隐藏层规范化为标准正态分布，获得第一向量；残差连接（Residual Connection）和归一化（Normalization）操作都是为了防止神经网络的训练过程中出现梯度消失或者梯度爆炸的问题。残差连接是指将输入直接添加到输出，而归一化则是让隐藏层的输出在各个维度上都接近标准正态分布。
将获得的第一向量输入至编码器的前馈层，前馈层将第一向量投影至高维空间并获得前馈输出；前馈层（Feed Forward layer）是一个全连接的神经网络，它将自注意力机制的输出进行处理，然后输出到下一个层次。它会将输入投影到一个高维空间，然后再投影回原始维度，从而产生前馈的输出。
通过残差连接将前馈层的输入和输出相加，并经过归一化将神经网络中隐藏层规范化为标准正态分布，获得编码器输出；与第二步类似，只不过是针对前馈层的。通过将前馈层的输入和输出相加，并对结果进行归一化处理，可以得到编码器的最终输出
实施例三
如图3所示，本实施例对语言理解模型的构建方法进行说明，方法包括：
构建基于LSTM的意图编码器，并输出的自然语句的字词级别的意图特征；LSTM（Long Short Term Memory）是一种特殊的循环神经网络（RNN），它能够在处理序列数据时，有效地捕获长距离的依赖关系。本步骤中使用一个基于LSTM的编码器，来读取输入的自然语句，并为每个字词生成一个含有意图信息的特征向量。这个特征向量能够捕获到该字词在整个句子中的语义信息，以及它与其他字词的关系。
构建嵌入器，根据字词的意图特征将字词与其对应的业务知识进行整合，获得字词级别的知识特征集；将意图特征与对应的业务知识进行整合，生成一个知识特征集，实现将意图特征与业务知识的关联。
通过知识特征集获得知识上下文向量；知识特征集包含了每个字词的知识特征，这些特征一起构成了一个包含了所有字词信息的集合。然后，将这些特征整合成一个单一的向量，这个向量被称为知识上下文向量。
构建解码器，以字词级别的意图特征和知识上下文向量为输入，通过解码器输出字词级别的意图预测结果；将之前生成的意图特征和知识上下文向量作为输入，输入到一个解码器（也可以是一个LSTM模型）中。解码器的任务是预测每个字词的意图。
通过字词级别的意图预测结果输出语句级别的意图预测结果，，其中，/>为语句的长度，/>为意图标签的数量，/>为第q位为1且其他位为0的/>维0-1向量，/>为第i个字词级别的意图预测结果，为衡量预测结果中字词是否与实际标签匹配的指示函数；
通过预训练的词嵌入模型将意图预测结果中的字词转换为词向量，在对所有词向量平均获得查询向量。使用一个预训练的词嵌入模型（例如Word2Vec或者GloVe）将每个字词转换为一个词向量。然后将所有的词向量进行平均，得到一个查询向量。这个查询向量可以被看作是表示整个句子语义的一个单一的向量，它可以用于后续的检索任务。
字词级别的意图特征的获得方法包括：
构建BERT编码器，并将字词输入至BERT编码器后通过BERT编码器输出T个维度为d的隐藏层状态向量和1个用于分类任务的d为特殊向量，并用隐藏层状态向量表示字词级别的语义槽值特征；用特殊向量表示语句级别的意图特征；其中T为输入的自然语言的长度，d为维度；BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的深度学习模型，用于自然语言处理任务。在此步骤中，每个字词都会被输入到BERT编码器中。对于每个输入的字词，BERT编码器会输出一个d维的隐藏层状态向量。这些向量会捕获每个字词的深层次语义信息。除了这些向量外，BERT编码器还会输出一个特殊的向量，该向量常用于执行分类任务。隐藏层状态向量被用来表示每个字词的语义槽值特征，这些特征反映了每个字词在特定上下文中的语义角色。同时，特殊向量被用来表示整个语句的意图特征，该特征能够把握语句的整体含义和目的。
将语义槽值特征输入至意图编码器，并将特殊向量作为意图编码器的初始隐藏层状态输入，然后映射出相对应的T个维度为d的字词级别的意图特征。利用一个意图编码器来处理字词级别的语义槽值特征。这个意图编码器的初始隐藏层状态输入是前面获取的特殊向量，这个向量包含了整个句子的意图信息。通过这个过程，意图编码器能够根据每个字词的语义槽值特征和整个句子的意图特征，生成对应的字词级别的意图特征。
通过使用注意力机制和位置编码，将业务知识与特定领域的字词关联起来，得到一个详细的知识特征集，字词级别的知识特征集的获得方法包括：
确定第i字词对应的意图特征，并确定与第i字词对应的n条业务知识，并获得n条业务知识的概念集/>；
使用注意力机制计算概念集中每一条业务知识与第i字词之间的相关性系数b；注意力机制是一种计算模型，可以测量输入之间的相关性。本步骤中使用注意力机制计算第i个字词与概念集中的每一条业务知识之间的相关性
通过相关性系数b进行加权计算后，获得第i字词的n维知识特征，知识特征能够反映第i个字词与各个业务知识之间的关联性；
将第i字词的位置编码嵌入其所对应的n位知识特征，获得知识特征集。把第i个字词的位置信息编码到它的知识特征中，编码过程确保了每个字词的位置信息被保存下来。
知识上下文向量的获得方法包括：
通过注意力机制计算第i个字词与知识特征的相关性系数，并通过加权计算获得第i个字词的多维知识上下文向量：/>，/>，其中，/>为知识特征集中的元素，W为经训练的权重参数，/>为字词对应的意图特征，为字词对应的语义槽值特征。
首先，利用注意力机制计算出第i个字词与知识特征集中每个元素之间的相关性系数。这个相关性系数通过比较每个字词对应的意图特征以及语义槽值特征与知识特征集中的元素进行计算，得出的相关性系数会用于后续的加权计算。通过经过训练的权重参数W进行加权计算，可以得到每个字词的多维知识上下文向量。这个向量实际上是知识特征集与每个字词的相关性系数的加权和，这一步确保了每个字词的知识上下文向量在特征空间中的位置。
对多维知识上下文向量进行层标准化，获得自然语句的知识上下文向量。在得到每个字词的多维知识上下文向量后，对这些向量进行层次化的标准化处理。这一步的目的是为了保证模型的稳定性和训练的有效性。标准化处理后得到每个字词对应的知识上下文向量，这些向量的组合形成了整个自然语句的知识上下文向量。
本步骤包括了注意力机制和层标准化，通过计算知识特征的相关性系数并进行加权计算，得到了每个字词的知识上下文向量，进一步将这些向量组合得到整个自然语句的知识上下文向量。这个向量包含了语句中每个字词的上下文知识信息，可以用于后续的自然语言理解和生成任务。
字词级别的意图预测结果的获得方法包括：
以字词级别的意图特征和知识上下文向量为输入，通过基于LSTM的解码器映射出字词级别意图特征，并经过层标准化处理意图特征；首先，取出字词级别的意图特征和知识上下文向量作为输入，输入到基于LSTM的解码器。解码器的任务是将这些输入映射到新的空间，这些特征在解码器的处理下能够获得更高层次的表达，包含更丰富的信息。然后，对这些新映射的意图特征进行层标准化处理。这样做的目的是为了保证模型的稳定性和训练的有效性，让特征值在一个固定的范围内，减少模型训练的难度。
计算获得字词级别的意图检测结果，其中，/>为可训练参数。在经过解码器和标准化处理后，我们已经获得了每个字词的意图特征。接下来，需要将这些特征转化为实际的意图预测结果。
这一步通常涉及到一个分类问题，即判断每个字词的意图是什么。这一步通过一个分类器完成，分类器会有一些可训练的参数，通过优化这些参数来获得最好的预测效果。过程中可能还涉及到一些其他的步骤，例如：解码器的训练、分类器的训练和优化等。这些步骤需要具体的环境和数据来决定，因此在实际操作中，可能需要根据实际情况进行调整。
实施例四
一种基于自然语言的特定领域业务知识检索装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的方法的步骤。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的执行程序等。
存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件、或其他易失性固态存储器件。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种基于自然语言的特定领域业务知识检索方法的步骤。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令数据结构,程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储技术,CD-ROM、DVD或其他光学存储﹑磁带盒﹑磁带﹑磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器和大容量存储设备可以统称为存储器。
在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述发明的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。
Claims (7)
1.一种基于自然语言的特定领域业务知识检索方法，其特征在于，包括：
构建针对特定领域的预训练语言模型；
通过该预训练语言模型对业务知识数据进行特征表示，获得由特征向量构成的数据库；
构建进行知识检索的语言理解模型；
向语言理解模型输入进行检索提问的自然语句，并通过语言理解模型获得检索提问的查询向量；
将查询向量发送至数据库，计算查询向量与数据库中的特征向量的相似度；
按照相似度降序排序，并返回前k个特征向量对应的业务知识；
完成对特定领域业务知识的检索；
其中，所述预训练语言模型的构建方法包括：
构建Transformer模型，并收集特定领域业务知识的文本语料；
对文本语料进行遮罩处理，获得预处理数据；遮罩策略包括掩字遮罩和掩词遮罩；
对预处理数据进行字词嵌入和位置编码，获得第一数据；
将第一数据输入至Transformer编码器，并通过多个串联的编码器逐层处理后获得第二数据；
构建掩码语言模型，并将第二数据输入至掩码语言模型，掩码语言模型输出针对预处理数据的预测数据，并将预测数据作为特征表示；
其中，所述掩码语言模型的训练优化目标函数为：，其中，/>为被遮罩的字词数量，/>为词典，/>为掩码语言模型参数，/>为模型掩码预测结构的似然函数；
所述语言理解模型的构建方法包括：
构建基于LSTM的意图编码器，并输出的自然语句的字词级别的意图特征；
构建嵌入器，根据字词的意图特征将字词与其对应的业务知识进行整合，获得字词级别的知识特征集；
通过知识特征集获得知识上下文向量；
构建解码器，以字词级别的意图特征和知识上下文向量为输入，通过解码器输出字词级别的意图预测结果；
通过字词级别的意图预测结果输出语句级别的意图预测结果，，其中，/>为语句的长度，/>为意图标签的数量，/>为第q位为1且其他位为0的/>维0-1向量，/>为第i个字词级别的意图预测结果，为衡量预测结果中字词是否与实际标签匹配的指示函数；
通过预训练的词嵌入模型将意图预测结果中的字词转换为词向量，在对所有词向量平均获得查询向量。
2.根据权利要求1所述的一种基于自然语言的特定领域业务知识检索方法，其特征在于，Transformer编码器的训练方法包括：
将第一数据输入至编码器的注意力层，并将注意力层的查询矩阵、键矩阵、值矩阵进行多次线性变换后计算点积注意力分数，并将注意力分数进行拼接，再经过线性变换获得多头注意力分数；
通过残差连接将注意力层的输入和输出相加，并经过归一化将神经网络中隐藏层规范化为标准正态分布，获得第一向量；
将获得的第一向量输入至编码器的前馈层，前馈层将第一向量投影至高维空间并获得前馈输出；
通过残差连接将前馈层的输入和输出相加，并经过归一化将神经网络中隐藏层规范化为标准正态分布，获得编码器输出。
3.根据权利要求1所述的一种基于自然语言的特定领域业务知识检索方法，其特征在于，字词级别的意图特征的获得方法包括：
构建BERT编码器，并将字词输入至BERT编码器后通过BERT编码器输出T个维度为d的隐藏层状态向量和1个用于分类任务的d为特殊向量，并用隐藏层状态向量表示字词级别的语义槽值特征；用特殊向量表示语句级别的意图特征；其中T为输入的自然语言的长度，d为维度；
将语义槽值特征输入至意图编码器，并将特殊向量作为意图编码器的初始隐藏层状态输入，然后映射出相对应的T个维度为d的字词级别的意图特征。
4.根据权利要求3所述的一种基于自然语言的特定领域业务知识检索方法，其特征在于，字词级别的知识特征集的获得方法包括：
确定第i字词对应的意图特征，并确定与第i字词对应的n条业务知识，并获得n条业务知识的概念集/>；
使用注意力机制计算概念集中每一条业务知识与第i字词之间的相关性系数b；
通过相关性系数b进行加权计算后，获得第i字词的n维知识特征；
将第i字词的位置编码嵌入其所对应的n位知识特征，获得知识特征集。
5.根据权利要求3所述的一种基于自然语言的特定领域业务知识检索方法，知识上下文向量的获得方法包括：
通过注意力机制计算第i个字词与知识特征的相关性系数，并通过加权计算获得第i个字词的多维知识上下文向量：/>，/>，其中，为知识特征集中的元素，W为经训练的权重参数，/>为字词对应的意图特征，/>为字词对应的语义槽值特征；
对多维知识上下文向量进行层标准化，获得自然语句的知识上下文向量。
6.根据权利要求5所述的一种基于自然语言的特定领域业务知识检索方法，其特征在于，字词级别的意图预测结果的获得方法包括：
以字词级别的意图特征和知识上下文向量为输入，通过基于LSTM的解码器映射出字词级别意图特征，并经过层标准化处理意图特征；
计算获得字词级别的意图检测结果，其中，为可训练参数。
7.一种基于自然语言的特定领域业务知识检索装置，包括存储器、处理器以及存储在存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954971.9A CN116662582B (zh) | 2023-08-01 | 2023-08-01 | 基于自然语言的特定领域业务知识检索方法及检索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954971.9A CN116662582B (zh) | 2023-08-01 | 2023-08-01 | 基于自然语言的特定领域业务知识检索方法及检索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116662582A CN116662582A (zh) | 2023-08-29 |
| CN116662582B true CN116662582B (zh) | 2023-10-10 |
Family
ID=87721037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310954971.9A Active CN116662582B (zh) | 2023-08-01 | 2023-08-01 | 基于自然语言的特定领域业务知识检索方法及检索装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662582B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117171413B (zh) * | 2023-09-07 | 2024-03-08 | 滨州八爪鱼网络科技有限公司 | 用于数字藏品管理的数据处理系统及其方法 |
| CN117271557A (zh) * | 2023-09-25 | 2023-12-22 | 星环信息科技(上海)股份有限公司 | 一种基于业务规则的sql生成解释方法、装置、设备及介质 |
| CN116992942B (zh) * | 2023-09-26 | 2024-02-02 | 苏州元脑智能科技有限公司 | 自然语言模型优化方法、装置、自然语言模型、设备和介质 |
| CN117093729B (zh) * | 2023-10-17 | 2024-01-09 | 北方健康医疗大数据科技有限公司 | 一种基于医疗科研信息的检索方法、系统及检索终端 |
| CN117473071B (zh) * | 2023-12-27 | 2024-04-05 | 珠海格力电器股份有限公司 | 数据检索方法、装置、设备及计算机可读介质 |
| CN117992068A (zh) * | 2024-04-02 | 2024-05-07 | 天津南大通用数据技术股份有限公司 | Lstm和trm组合的智能数据库语法解析方法 |
| CN118070812B (zh) * | 2024-04-19 | 2024-07-05 | 深圳市中壬银兴信息技术有限公司 | 一种基于nlp的行业数据分析方法 |
| CN118586504A (zh) * | 2024-08-05 | 2024-09-03 | 中国科学院深圳先进技术研究院 | 检索增强生成方法、系统、设备及介质和问答方法及系统 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109074353A (zh) * | 2016-10-10 | 2018-12-21 | 微软技术许可有限责任公司 | 语言理解和信息检索的组合 |
| CN110516055A (zh) * | 2019-08-16 | 2019-11-29 | 西北工业大学 | 一种结合bert的用于教学任务的跨平台智能问答实现方法 |
| CN111625641A (zh) * | 2020-07-30 | 2020-09-04 | 浙江大学 | 一种基于多维度语义交互表征模型的对话意图识别方法及系统 |
| CN111680511A (zh) * | 2020-04-21 | 2020-09-18 | 华东师范大学 | 一种多神经网络协作的军事领域命名实体识别方法 |
| CN112000805A (zh) * | 2020-08-24 | 2020-11-27 | 平安国际智慧城市科技股份有限公司 | 基于预训练模型的文本匹配方法、装置、终端及存储介质 |
| CN113377844A (zh) * | 2021-06-29 | 2021-09-10 | 哈尔滨工业大学 | 面向大型关系型数据库的对话式数据模糊检索方法及装置 |
| CN113962219A (zh) * | 2021-10-13 | 2022-01-21 | 国网浙江省电力有限公司电力科学研究院 | 面向电力变压器知识检索和问答的语义匹配方法及系统 |
| CN114047929A (zh) * | 2022-01-12 | 2022-02-15 | 广东省科技基础条件平台中心 | 基于知识增强的用户定义函数识别方法、装置及介质 |
| CN114416927A (zh) * | 2022-01-24 | 2022-04-29 | 招商银行股份有限公司 | 智能问答方法、装置、设备及存储介质 |
| CN114491024A (zh) * | 2021-12-31 | 2022-05-13 | 长城信息股份有限公司 | 一种基于小样本的特定领域多标签文本分类方法 |
| US11334565B1 (en) * | 2016-10-28 | 2022-05-17 | Intuit, Inc. | System to convert natural-language financial questions into database queries |
| CN114817494A (zh) * | 2022-04-02 | 2022-07-29 | 华南理工大学 | 基于预训练和注意力交互网络的知识型检索式对话方法 |
| CN115048447A (zh) * | 2022-06-27 | 2022-09-13 | 华中科技大学 | 一种基于智能语义补全的数据库自然语言接口系统 |
| CN115292457A (zh) * | 2022-06-30 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 知识问答方法、装置、计算机可读介质及电子设备 |
| CN115309879A (zh) * | 2022-08-05 | 2022-11-08 | 中国石油大学(华东) | 一种基于bart的多任务语义解析模型 |
| CN115510814A (zh) * | 2022-11-09 | 2022-12-23 | 东南大学 | 一种基于双重规划的篇章级复杂问题生成方法 |
| CN115759062A (zh) * | 2022-10-09 | 2023-03-07 | 阿里巴巴（中国）有限公司 | 基于知识注入的文图预训练模型处理方法和文图检索系统 |
| CN116257616A (zh) * | 2023-03-14 | 2023-06-13 | 山东师范大学 | 面向音乐领域的实体关系抽取方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220292262A1 (en) * | 2021-03-10 | 2022-09-15 | At&T Intellectual Property I, L.P. | System and method for hybrid question answering over knowledge graph |
-
2023
- 2023-08-01 CN CN202310954971.9A patent/CN116662582B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109074353A (zh) * | 2016-10-10 | 2018-12-21 | 微软技术许可有限责任公司 | 语言理解和信息检索的组合 |
| US11334565B1 (en) * | 2016-10-28 | 2022-05-17 | Intuit, Inc. | System to convert natural-language financial questions into database queries |
| CN110516055A (zh) * | 2019-08-16 | 2019-11-29 | 西北工业大学 | 一种结合bert的用于教学任务的跨平台智能问答实现方法 |
| CN111680511A (zh) * | 2020-04-21 | 2020-09-18 | 华东师范大学 | 一种多神经网络协作的军事领域命名实体识别方法 |
| CN111625641A (zh) * | 2020-07-30 | 2020-09-04 | 浙江大学 | 一种基于多维度语义交互表征模型的对话意图识别方法及系统 |
| CN112000805A (zh) * | 2020-08-24 | 2020-11-27 | 平安国际智慧城市科技股份有限公司 | 基于预训练模型的文本匹配方法、装置、终端及存储介质 |
| CN113377844A (zh) * | 2021-06-29 | 2021-09-10 | 哈尔滨工业大学 | 面向大型关系型数据库的对话式数据模糊检索方法及装置 |
| CN113962219A (zh) * | 2021-10-13 | 2022-01-21 | 国网浙江省电力有限公司电力科学研究院 | 面向电力变压器知识检索和问答的语义匹配方法及系统 |
| CN114491024A (zh) * | 2021-12-31 | 2022-05-13 | 长城信息股份有限公司 | 一种基于小样本的特定领域多标签文本分类方法 |
| CN114047929A (zh) * | 2022-01-12 | 2022-02-15 | 广东省科技基础条件平台中心 | 基于知识增强的用户定义函数识别方法、装置及介质 |
| CN114416927A (zh) * | 2022-01-24 | 2022-04-29 | 招商银行股份有限公司 | 智能问答方法、装置、设备及存储介质 |
| CN114817494A (zh) * | 2022-04-02 | 2022-07-29 | 华南理工大学 | 基于预训练和注意力交互网络的知识型检索式对话方法 |
| CN115048447A (zh) * | 2022-06-27 | 2022-09-13 | 华中科技大学 | 一种基于智能语义补全的数据库自然语言接口系统 |
| CN115292457A (zh) * | 2022-06-30 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 知识问答方法、装置、计算机可读介质及电子设备 |
| CN115309879A (zh) * | 2022-08-05 | 2022-11-08 | 中国石油大学(华东) | 一种基于bart的多任务语义解析模型 |
| CN115759062A (zh) * | 2022-10-09 | 2023-03-07 | 阿里巴巴（中国）有限公司 | 基于知识注入的文图预训练模型处理方法和文图检索系统 |
| CN115510814A (zh) * | 2022-11-09 | 2022-12-23 | 东南大学 | 一种基于双重规划的篇章级复杂问题生成方法 |
| CN116257616A (zh) * | 2023-03-14 | 2023-06-13 | 山东师范大学 | 面向音乐领域的实体关系抽取方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孙毅等.自然语言预训练模型知识增强方法综述.中文信息学报.2021,第35卷(第7期),10-29. * |
| 赵良等.用BERT 和改进PCNN 模型抽取食品安全领域关系.农业工程学报.2022,第38卷(第8期),263-270. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116662582A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116662582B (zh) | 基于自然语言的特定领域业务知识检索方法及检索装置 | |
| CN108875074B (zh) | 基于交叉注意力神经网络的答案选择方法、装置和电子设备 | |
| CN113239700A (zh) | 改进bert的文本语义匹配设备、系统、方法及存储介质 | |
| CN108932342A (zh) | 一种语义匹配的方法、模型的学习方法及服务器 | |
| CN111611361A (zh) | 抽取式机器智能阅读理解问答系统 | |
| CN113010693A (zh) | 融合指针生成网络的知识图谱智能问答方法 | |
| CN111414481A (zh) | 基于拼音和bert嵌入的中文语义匹配方法 | |
| CN110990555B (zh) | 端到端检索式对话方法与系统及计算机设备 | |
| CN111985205A (zh) | 一种方面级情感分类模型 | |
| CN117435716B (zh) | 电网人机交互终端的数据处理方法及系统 | |
| CN114548101B (zh) | 基于可回溯序列生成方法的事件检测方法和系统 | |
| CN111462749A (zh) | 基于对话状态导向和知识库检索的端到端对话系统及方法 | |
| CN113705238A (zh) | 基于bert和方面特征定位模型的方面级情感分析方法及模型 | |
| CN115600597A (zh) | 基于注意力机制和词内语义融合的命名实体识别方法、装置、系统及存储介质 | |
| CN114781375A (zh) | 一种基于bert与注意力机制的军事装备关系抽取方法 | |
| CN118245564B (zh) | 一种支持语义查重查新的特征比对库构建方法及装置 | |
| CN118312600B (zh) | 一种基于知识图谱与大语言模型的智能客服问答方法 | |
| CN115510230A (zh) | 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法 | |
| Parvin et al. | Transformer-based local-global guidance for image captioning | |
| CN118093834A (zh) | 一种基于aigc大模型的语言处理问答系统及方法 | |
| CN117709358A (zh) | 保险智能问答系统的对话应答方法、装置、设备和介质 | |
| CN117876929B (zh) | 一种渐进式多尺度上下文学习的时序目标定位方法 | |
| CN111581365B (zh) | 一种谓词抽取方法 | |
| Sabharwal et al. | Introduction to word embeddings | |
| CN115964497A (zh) | 一种融合注意力机制与卷积神经网络的事件抽取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |