CN112035645A - 数据查询方法以及系统 - Google Patents

数据查询方法以及系统 Download PDF

Info

Publication number
CN112035645A
CN112035645A CN202010905604.6A CN202010905604A CN112035645A CN 112035645 A CN112035645 A CN 112035645A CN 202010905604 A CN202010905604 A CN 202010905604A CN 112035645 A CN112035645 A CN 112035645A
Authority
CN
China
Prior art keywords
sequence
word
attention
sample
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010905604.6A
Other languages
English (en)
Inventor
王昊
张乐情
罗水权
刘剑
李果夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010905604.6A priority Critical patent/CN112035645A/zh
Priority to PCT/CN2020/123092 priority patent/WO2021174871A1/zh
Publication of CN112035645A publication Critical patent/CN112035645A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据领域，提供一种数据查询方法，包括接收第一请求，所述第一请求携带第一原始语句；对所述第一原始语句进行分类，生成序列标注结果；获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵；基于所述多个词注意力矩阵生成多个意图流解析结果；通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果。本发明通过意图的提取和注意力机制关联多意图词和非意图词，有效解决了原始查询句中多意图的情况下查询结果不准确的问题，提高了查询效率。

Description

数据查询方法以及系统
技术领域
本发明实施例涉及大数据技术领域，尤其涉及一种数据查询方法以及系统。
背景技术
目前，以搜索引擎为主的基于知识图谱的自动检索一般是通过实体识别替换和文本匹配的方式，首先通过命名实体识别找出实体词进行替换，如用户查询“姚明的身高是多少”时，则查找到[姚明]，将[姚明]替换为[名人]，查找到[身高]，将[身高]替换为[资料]，即用户句子转变为“[名人]的[资料]是多少”，然后该句子与后台数据库的样本句通过文本匹配算法进行匹配，成功匹配到“[名人]的[资料]”这个意图，最后在知识图谱数据库中查询人名叫“姚明”，资料为“身高”的属性值即可返回给用户答案。
然而，发明人意识到，通过上述意图识别搜索查询的方式需要人工维护大量的样本句，对于多意图的查询句的查询，以及当查询句不符合样本句的模板时，不能返回正确地查询答案。通过上述意图识别搜索查询的方式查询效率低，准确率低。
发明内容
有鉴于此，本发明实施例提供了一种数据查询方法、系统、计算机设备及计算机可读存储介质，用于解决通过上述实体识别和文本匹配的搜索查询的方式查询效率低和准确率低的问题。
本发明实施例是通过下述技术方案来解决上述技术问题：
一种数据查询方法，包括：
接收第一请求，所述第一请求携带第一原始语句；
对所述第一原始语句进行分类，生成序列标注结果；
获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵；
基于所述多个词注意力矩阵生成多个意图流解析结果；
通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果。
进一步地，所述接收第一请求，所述第一请求携带第一原始语句包括：
将所述第一原始语句映射为第一标识序列和第二标识序列；
将所述第一标识序列映射为第一字向量序列，将所述第二标识序列映射为第一位置向量序列。
进一步地，所述对所述第一原始语句进行分类，生成序列标注结果包括：
将所述第一字向量序列和第一位置向量序列按位置相加输入至序列标注任务模型中；
基于所述序列标注任务模型的多个编码器对所述第一字向量序列和第一位置向量序列执行编码，输出向量集；
将所述向量集输入至序列标注任务模型的多个解码器中，基于所述多个解码器对所述向量集执行解码和降维处理，输出目标向量；
通过分类器对所述目标向量进行线性变换，输出序列标注结果。
进一步地，所述获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵包括：
从所述编码器的第一层编码器中获取所述自注意力矩阵参数；
基于所述自注意力矩阵参数生成每个字的自注意力矩阵；
基于序列标注结果获取多个目标词以及每个目标词中的每个字的自注意力矩阵；
基于每个目标词中的每个字的自注意力矩阵，计算得到对应的目标词的词注意力矩阵。
进一步地，所述基于所述多个词注意力矩阵生成多个意图流解析结果包括：
从多个所述目标词的词注意力矩阵中取均值，将所述均值定义为阈值；
将多个所述目标词的词注意力矩阵与所述阈值进行比对，生成比对结果；
基于所述比对结果：确定所述词注意力矩阵大于所述阈值的目标词为意图关联词；
基于所述序列标注结果和意图关联词生成多个意图流解析结果。
进一步地，所述知识图谱库存储于区块链中，通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果还包括：
将所述多个意图流解析结果分别组装成对应的第二语句；
识别所述第二语句，生成所述第二语句对应的意图类型；
基于所述第二语句的意图类型和所述第二语句在对应的知识图谱库中查询，以得到查询结果。
进一步地，所述方法还包括：
获取多个样本原始语句以及所述多个样本原始语句对应的样本标注标签；
将所述多个样本原始语句映射为第一样本标识序列和第二样本标识序列；
将所述第一样本标识序列映射为第一样本字向量序列，将所述第二样本标识序列映射为第一样本位置向量；
将所述第一样本字向量序列和第一样本位置向量输入至所述序列标注任务模型，通过所述序列标注任务模型输出样本序列标注结果；
通过样本标注标签和样本序列标注结果计算交叉熵损失值，并基于所述交叉熵损失值调整所述序列标注任务模型，以得到优化后的序列标注任务模型。
为了实现上述目的，本发明实施例还提供一种数据查询系统，包括：
接收模块，用于接收第一请求，所述第一请求携带第一原始语句；
序列标注模块，用于对所述第一原始语句进行分类，生成序列标注结果；
第一生成模块，用于获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵；
第二生成模块，用于基于所述多个词注意力矩阵生成多个意图流解析结果；
查询模块，用于通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果。
为了实现上述目的，本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述数据查询方法的步骤。
为了实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的数据查询方法的步骤。
本发明实施例提供的数据查询方法、系统、计算机设备及计算机可读存储介质，通过序列标注以实现意图的提取和注意力机制关联多意图词和非意图词，有效解决了原始查询句中多意图的情况下查询结果不准确的问题，提高了查询效率。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明实施例一之数据查询方法的步骤流程图；
图2为本发明实施例一之数据查询方法中将第一原始语句转化为向量序列的步骤流程图；
图3为本发明实施例一之数据查询方法中生成序列标注结果的步骤流程图；
图4为本发明实施例一之数据查询方法中生成多个词注意力矩阵的步骤流程图；
图5为本发明实施例一之数据查询方法中生成多个意图流解析结果的步骤流程图；
图6为本发明实施例一之数据查询方法中通过知识图谱库进行查询的步骤流程图；
图7为本发明实施例一之数据查询方法中训练序列标注任务模型的步骤流程图；
图8为本发明实施例二之数据查询系统的程序模块示意图；
图9为本发明实施例三之计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
请参阅图1，示出了本发明实施例之数据查询方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：
如图1所示，所述数据查询方法可以包括步骤S100～S500，其中：
步骤S100，接收第一请求，所述第一请求携带第一原始语句。
在示例性的实施例中，所述第一请求用于请求对所述第一原始语句进行搜索查询。接收到第一请求之后，获取第一请求中的第一原始语句，将第一原始语句转变为向量序列。
在示例性的实施例中，如图2所示，所述接收第一请求，所述第一请求携带第一原始语句的步骤S100包括：
步骤S101，将所述第一原始语句映射为第一标识序列和第二标识序列。
步骤S102，将所述第一标识序列映射为第一字向量序列，将所述第二标识序列映射为第一位置向量序列。
在示例性的实施例中，预先设置一个常用字的字表(如字典中常用的2w个字，每个字在字典中对应有一个数字ID)，第一标识序列指的是第一原始语句中每个字在字典中对应的数字ID。
第一原始语句以“海南航空发行的债券的名称价格以及其控股母公司发行的债券名称”为例，对于该句只有29个字，将29个字映射到数字ID，即[12，23，13，42，56，……]，并且对上述数字ID不足的部分补0扩展长度到512，其中，512为模型中默认的句子最大长度，也可以根据实际需求进行更改。句子最大长度以512为例，如果一句话长度大于512，即第一原始语句对应的数字ID超出的部分就截断。即、第一原始语句的第一标识序列为[12，23，13，42，56，0，0，……，0]。上述长度为512的第一标识序列通过embeding(词嵌入)层映射为512*768(参数为bert默认，可改)的第一字向量序列，即将第一标识序列映射为分布式的第一字向量序列。
进一步地，第二标识序列为第一原始语句中每个字在第一原始语句中的位置ID号，第一位置向量为512*768的位置向量编码。
在示例性的实施例中，按照如下公式：
Figure BDA0002661316880000061
映射为第一位置向量，其中p代表位置ID号，即按照位置对应到[0-511]，2i和2i+1分别对应p的偶数和奇数位置，dpos在这里指位置向量维度，即768维。
步骤S200，对所述第一原始语句进行分类，生成序列标注结果。
在示例性的实施例中，可以通过序列标注任务模型对所述第一原始语句进行分类，其中，序列标注任务模型是以bert模型为基础架构的模型。具体的，序列标注任务模型包括编码器和解码器，其中编码器为以bert作为主干的编码器，提取句子特征，隐藏层维度设置为768。编码器输出为512*768维。编码器有6个，每个编码器由结构完全一致的transformer(转换神经网络)块连接而成，其中，每个transformer块都由自注意力层、前馈神经网络层和归一化层组成。将第一字向量序列和第一位置序列按位置相加，并输入序列标注任务模型的编码器中，即可通过多个编码器输出512*768的向量集。
进一步地，编码器后面跟解码器。每个解码器包括：解码器中的自注意力层、编码-解码注意力层和前向传播神经网络层。解码器还包括512个输出维度为9的全连接层，通过全连接，将编码器最终输出的512*768维向量集降维到512*9维。512对应每个位置，9对应标注的每个种类，其中，标注的每个种类为预先设置的。通过最后一个解码器，每个位置输出一个9维向量，每一维对应一个标注，相加形成一个实数向量，再将该实数向量通过softmax(归一化)层分类后即可得到概率最大的位置，输出序列标注结果。
在示例性的实施例中，如图3所示，所述对所述第一原始语句进行分类，生成序列标注结果的步骤S200包括：
步骤S201，将所述第一字向量序列和第一位置向量序列按位置相加输入至序列标注任务模型中。
步骤S202，基于所述序列标注任务模型的多个编码器对所述第一字向量序列和第一位置向量序列执行编码，输出向量集。
步骤S203，将所述向量集输入至序列标注任务模型的多个解码器中，基于所述多个解码器对所述向量集执行解码和降维处理，输出目标向量。
步骤S204，通过分类器对所述目标向量进行线性变换，输出序列标注结果。
在示例性的实施例中，以“海南航空发行的债券的名称价格以及其控股母公司发行的债券名称”为例，输出序列标注结果为：
[E_B，E_I，E_I，E_I，A_B，A_I，A_I，A_I，A_I，O，T_B，T_I，T_B，T_I，O，O，R_B，A_B，A_I，A_I，A_I，A_I，A_B，A_I，A_I，A_I，A_I，T_B，T_I]。其中_B代表某个词的句首字，_I代表某个词的其他位置的字，E代表实体entity，A代表属性attribute，T代表意图词target，R代表指代词replace word。该序列标注结果也可以解析为易于理解的形式，即{实体词(知识图谱节点)：[“海南航空”]，属性词(知识图谱边缘)：[“发行的债券”,“控股母公司”,“发型的债券”]，指代词：[“其”]，意图词：[“名称”，“价格”，“名称”]}。
步骤S300，获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵。
在示例性的实施例中，所述自注意力矩阵可以从编码器中的第一层的transformer块进行提取，所述自注意力矩阵是一个对称的512*512的矩阵，可以用以代表字与字之间的相关性。
在示例性的实施例中，如图4所示，所述获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵的步骤S300还可以进一步包括：
步骤S301，从所述编码器的第一层编码器中获取所述自注意力矩阵参数。
步骤S302，基于所述自注意力矩阵参数生成每个字的自注意力矩阵。
具体的，每个字的自注意力矩阵为序列标注任务模型中的中间数据。
进一步地，可以通过相似度公式
Figure BDA0002661316880000081
其中，向量Q、K、V为序列标注任务模型的输入向量矩阵与自注意力矩阵参数的乘积得到的。F为字的自注意力矩阵，Q为查询样本向量、K为关键字向量，KT为关键字向量的转置，V为值向量，dk为输入向量的维度。
步骤S303，基于序列标注结果获取多个目标词以及每个目标词中的每个字的自注意力矩阵。
步骤S304，基于每个目标词中的每个字的自注意力矩阵，计算得到对应的目标词的词注意力矩阵。
具体的，将序列标注与所述自注意力矩阵结合，构造成每个词和其他词的词注意力矩阵，来表示词与词之间的相关性。每个词的注意力矩阵为对应每个字的注意力平方和
Figure BDA0002661316880000082
相加求平均得到，其中，i表示第i个位置的字，j表示第j个位置的字，aij表示第i个字与第j个字之间的自注意力矩阵，m指的是目标词中字的数量，n指的是第一原始语句中某个词中字的数量。
步骤S400，基于所述多个词注意力矩阵生成多个意图流解析结果。
在示例性的实施例中，如图5所示，所述基于所述多个词注意力矩阵生成多个意图流解析结果的步骤S400还可以进一步包括：
步骤S401，从多个所述目标词的词注意力矩阵中取均值，将所述均值定义为阈值。
步骤S402，将多个所述目标词的词注意力矩阵与所述阈值进行比对，生成比对结果。
步骤S403，基于所述比对结果：确定所述词注意力矩阵大于所述阈值的目标词为意图关联词。
步骤S404，基于所述序列标注结果和意图关联词生成多个意图流解析结果。
在示例性的实施例中，当所述序列标注结果包含代词时，需要将所述代词替换为与其的词注意力矩阵最高的词。接上例，将多意图流解析结果中的代词替换为与其注意力最高的词，这里即将“其”替换为了“海南航空”。
在示例性的实施例中，对于上例的第一原始语句中得到的三个意图(两类){1_名称，2_价格，3_名称}，分别找到与这三个词满足注意力得分大于M的词，即得到多意图流解析结果{1_名称：[海南航空，发行的债券]，2_价格：[海南航空，发行的债券]，3_名称：[海南航空，控股母公司，发行的债券]}。
步骤S500，通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果。
在示例性的实施例中，当所述知识图谱表/库为小型知识图谱库/表时，可以直接通过所述当所述知识图谱表/库查询得到查询结果，并将查询结果返回给用户端。相对于传统检索只能返回关联的网页，本发明实施例基于知识图谱，可以直接返回用户需要的结果，提高了用户体验。
在示例性的实施例中，所述知识图谱库存储于区块链中。示例性的，如图6所示，当所述知识图谱表/库为海量知识图谱表/库时，通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果的步骤S500还可以进一步包括：
步骤S501，将所述多个意图流解析结果分别组装成对应的第二语句。
步骤S502，识别所述第二语句，生成所述第二语句对应的意图类型。
步骤S503，基于所述第二语句的意图类型和所述第二语句在对应的知识图谱库中查询，以得到查询结果。
具体的，直接用分隔符将多个意图流解析结果进行拼接即可组成多个对应的第二语句，如{1_名称：[海南航空，发行的债券]，2_价格：[海南航空，发行的债券]，3_名称:[其,控股母公司，发行的债券]}，拼接成三句话，例如采用&&&作为分隔符，三句话分别为海南航空&&&发行的债券&&&名称，海南航空&&&发行的债券&&&价格，海南航空(其替换得到)&&&控股母公司&&&发行的债券)。
具体的，将多意图流识别结果组装成一句话，送到Textcnn(文本分类)模型中进行分类，如意图分为十类：1、查询债券名，2、查询债券价格，3、……，其中意图类别1、2对应知识图谱债券表。Textcnn模型为现有模型，在此不作赘述。
在示例性的实施例中，如图7所示，所述方法还包括：
步骤S601，获取多个样本原始语句以及所述多个样本原始语句对应的样本标注标签。
步骤S602，将所述多个样本原始语句映射为第一样本标识序列和第二样本标识序列。
步骤S603，将所述第一样本标识序列映射为第一样本字向量序列，将所述第二样本标识序列映射为第一样本位置向量。
步骤S604，将所述第一样本字向量序列和第一样本位置向量输入至所述序列标注任务模型，通过所述序列标注任务模型输出样本序列标注结果。
步骤S605，通过样本标注标签和样本序列标注结果计算交叉熵损失值，并基于所述交叉熵损失值调整所述序列标注任务模型，以得到优化后的序列标注任务模型。
具体的，人工构建的样本标注标签为ylabel，模型输出的样本序列标注结果为ypredict，通过最小化交叉熵损失函数
Figure BDA0002661316880000101
训练序列标注任务模型即可。
在示例性的实施例中，当样本数据过少训练不足时，所述方法还包括：额外构建一个损失函数
Figure BDA0002661316880000102
辅助训练。其中Iij为指示函数，
Figure BDA0002661316880000111
xi与xj为两个字的字向量经过一层全连接层变换得到，即是第一个transformer块的中间结果，x＝W*字向量序列+b，W和b都是可训练的模型参数，维度为512*768，d为隐藏层维度，本例中d恒等于768。该额外构建的损失函数与上述的最小化交叉熵损失函数L相加，得到最终的损失函数Ltotal＝L+Lextra，根据最小化交叉熵损失函数的值，进行序列标注任务模型的训练。
本发明通过序列标注以实现意图的提取和注意力机制关联多意图词和非意图词，查询信息流的解析情况，能够准确识别多意图的查询语句，提高了准确率，提高了查询效率；并且基于知识图谱，可以直接返回用户需要的结果，提高了用户体验；本发明采用序列标注任务模型提取意图，不需要对大量的句子样式模板进行维护，节省人力成本；且通过增加额外的注意力损失函数保证模型精度在小训练集样本下依旧足以有效地应用。
实施例二
请继续参阅图8，示出了本发明数据查询系统的程序模块示意图。在本实施例中，数据查询系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述数据查询方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述数据查询系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
接收模块700，用于接收第一请求，所述第一请求携带第一原始语句。
序列标注模块710，用于对所述第一原始语句进行分类，生成序列标注结果。
第一生成模块720，用于获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵。
第二生成模块730，用于基于所述多个词注意力矩阵生成多个意图流解析结果。
查询模块740，用于通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果。
在示例性的实施例中，所述接收模块700还用于：将所述第一原始语句映射为第一标识序列和第二标识序列；将所述第一标识序列映射为第一字向量序列，将所述第二标识序列映射为第一位置向量序列。
在示例性的实施例中，所述序列标注模块710还用于：将所述第一字向量序列和第一位置向量序列按位置相加输入至序列标注任务模型中；基于所述序列标注任务模型的多个编码器对所述第一字向量序列和第一位置向量序列执行编码，输出向量集；将所述向量集输入至序列标注任务模型的多个解码器中，基于所述多个解码器对所述向量集执行解码和降维处理，输出目标向量；通过分类器对所述目标向量进行线性变换，输出序列标注结果。
在示例性的实施例中，所述第一生成模块720还用于：从所述编码器的第一层编码器中获取所述自注意力矩阵参数；基于所述自注意力矩阵参数生成每个字的自注意力矩阵；基于序列标注结果获取多个目标词以及每个目标词中的每个字的自注意力矩阵；基于每个目标词中的每个字的自注意力矩阵，计算得到对应的目标词的词注意力矩阵。
在示例性的实施例中，所述第二生成模块730还用于：从多个所述目标词的词注意力矩阵中取均值，将所述均值定义为阈值；将多个所述目标词的词注意力矩阵与所述阈值进行比对，生成比对结果；基于所述比对结果：确定所述词注意力矩阵大于所述阈值的目标词为意图关联词；基于所述序列标注结果和意图关联词生成多个意图流解析结果。
在示例性的实施例中，所述知识图谱库存储于区块链中，所述查询模块740还用于：将所述多个意图流解析结果分别组装成对应的第二语句；识别所述第二语句，生成所述第二语句对应的意图类型；基于所述第二语句的意图类型和所述第二语句在对应的知识图谱库中查询，以得到查询结果。
在示例性的实施例中，所述系统还包括训练模块750，所述训练模块750还用于：获取多个样本原始语句以及所述多个样本原始语句对应的样本标注标签；将所述多个样本原始语句映射为第一样本标识序列和第二样本标识序列；所述第一样本标识序列映射为第一样本字向量序列，将所述第二样本标识序列映射为第一样本位置向量；将所述第一样本字向量序列和第一样本位置向量输入至所述序列标注任务模型，通过所述序列标注任务模型输出样本序列标注结果；通过样本标注标签和样本序列标注结果计算交叉熵损失值，并基于所述交叉熵损失值调整所述序列标注任务模型，以得到优化后的序列标注任务模型。
实施例三
参阅图9，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图9所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及数据查询系统20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如上述实施例的数据查询系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行数据查询系统20，以实现上述实施例的数据查询方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图9仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述数据查询系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图8示出了所述实现数据查询系统20实施例二的程序模块示意图，该实施例中，所述基于数据查询系统20可以被划分为接收模块700、序列标注模块710、第一生成模块720、第二生成模块730以及查询莫夸740。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述数据查询系统20在所述计算机设备2中的执行过程。所述程序模块700-740的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储数据查询系统20，被处理器执行时实现上述实施例的数据查询方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据查询方法，其特征在于，包括：
接收第一请求，所述第一请求携带第一原始语句；
对所述第一原始语句进行分类，生成序列标注结果；
获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵；
基于所述多个词注意力矩阵生成多个意图流解析结果；
通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果。
2.根据权利要求1所述的数据查询方法，其特征在于，所述接收第一请求，所述第一请求携带第一原始语句包括：
将所述第一原始语句映射为第一标识序列和第二标识序列；
将所述第一标识序列映射为第一字向量序列，将所述第二标识序列映射为第一位置向量序列。
3.根据权利要求2所述的数据查询方法，其特征在于，所述对所述第一原始语句进行分类，生成序列标注结果包括：
将所述第一字向量序列和第一位置向量序列按位置相加输入至序列标注任务模型中；
基于所述序列标注任务模型的多个编码器对所述第一字向量序列和第一位置向量序列执行编码，输出向量集；
将所述向量集输入至序列标注任务模型的多个解码器中，基于所述多个解码器对所述向量集执行解码和降维处理，输出目标向量；
通过分类器对所述目标向量进行线性变换，输出序列标注结果。
4.根据权利要求3所述的数据查询方法，其特征在于，所述获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵包括：
从所述编码器的第一层编码器中获取所述自注意力矩阵参数；
基于所述自注意力矩阵参数生成每个字的自注意力矩阵；
基于序列标注结果获取多个目标词以及每个目标词中的每个字的自注意力矩阵；
基于每个目标词中的每个字的自注意力矩阵，计算得到对应的目标词的词注意力矩阵。
5.根据权利要求4所述的数据查询方法，其特征在于，所述基于所述多个词注意力矩阵生成多个意图流解析结果包括：
从多个所述目标词的词注意力矩阵中取均值，将所述均值定义为阈值；
将多个所述目标词的词注意力矩阵与所述阈值进行比对，生成比对结果；
基于所述比对结果：确定所述词注意力矩阵大于所述阈值的目标词为意图关联词；
基于所述序列标注结果和意图关联词生成多个意图流解析结果。
6.根据权利要求1所述的数据查询方法，其特征在于，所述知识图谱库存储于区块链中，通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果还包括：
将所述多个意图流解析结果分别组装成对应的第二语句；
识别所述第二语句，生成所述第二语句对应的意图类型；
基于所述第二语句的意图类型和所述第二语句在对应的知识图谱库中查询，以得到查询结果。
7.根据权利要求1所述的数据查询方法，其特征在于，所述方法还包括：
获取多个样本原始语句以及所述多个样本原始语句对应的样本标注标签；
将所述多个样本原始语句映射为第一样本标识序列和第二样本标识序列；
将所述第一样本标识序列映射为第一样本字向量序列，将所述第二样本标识序列映射为第一样本位置向量；
将所述第一样本字向量序列和第一样本位置向量输入至所述序列标注任务模型，通过所述序列标注任务模型输出样本序列标注结果；
通过样本标注标签和样本序列标注结果计算交叉熵损失值，并基于所述交叉熵损失值调整所述序列标注任务模型，以得到优化后的序列标注任务模型。
8.一种数据查询系统，其特征在于，包括：
接收模块，用于接收第一请求，所述第一请求携带第一原始语句；
序列标注模块，用于对所述第一原始语句进行分类，生成序列标注结果；
第一生成模块，用于获取预设的自注意力矩阵参数，基于所述自注意力矩阵参数和序列标注结果生成多个词注意力矩阵；
第二生成模块，用于基于所述多个词注意力矩阵生成多个意图流解析结果；
查询模块，用于通过知识图谱库对所述多个意图流解析结果进行查询，以得到查询结果。
9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据查询方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至7中任一项所述的数据查询方法的步骤。
CN202010905604.6A 2020-09-01 2020-09-01 数据查询方法以及系统 Pending CN112035645A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010905604.6A CN112035645A (zh) 2020-09-01 2020-09-01 数据查询方法以及系统
PCT/CN2020/123092 WO2021174871A1 (zh) 2020-09-01 2020-10-23 数据查询方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010905604.6A CN112035645A (zh) 2020-09-01 2020-09-01 数据查询方法以及系统

Publications (1)

Publication Number Publication Date
CN112035645A true CN112035645A (zh) 2020-12-04

Family

ID=73590913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010905604.6A Pending CN112035645A (zh) 2020-09-01 2020-09-01 数据查询方法以及系统

Country Status (2)

Country Link
CN (1) CN112035645A (zh)
WO (1) WO2021174871A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590779A (zh) * 2021-06-30 2021-11-02 四川大学 一种空管领域知识图谱的智能问答系统构建方法
CN113821533A (zh) * 2021-09-30 2021-12-21 北京鲸鹳科技有限公司 数据查询的方法、装置、设备以及存储介质
CN115690552A (zh) * 2022-12-30 2023-02-03 智慧眼科技股份有限公司 多意图识别方法、装置、计算机设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761207A (zh) * 2021-09-14 2021-12-07 广州汇通国信科技有限公司 一种基于textCNN模型和知识图谱的电网数据分类方法及装置
CN114494791B (zh) * 2022-04-06 2022-07-08 之江实验室 一种基于注意力选择的transformer运算精简方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446286A (zh) * 2017-02-16 2018-08-24 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
KR101924215B1 (ko) * 2018-01-18 2018-11-30 주식회사 머니브레인 소정의 목표를 갖는 대화 이해 ai 서비스 시스템을 위한 대화 템플릿의 생성 방법 및 컴퓨터 판독가능 기록 매체
WO2019046463A1 (en) * 2017-08-29 2019-03-07 Zhoa Tiancheng SYSTEM AND METHOD FOR THE DEFINITION OF DIALOGUE INTENTIONS AND THE CONSTRUCTION OF INTENTION RECOGNITION MODELS WITHOUT PRIOR KNOWLEDGE
CN109597994A (zh) * 2018-12-04 2019-04-09 挖财网络技术有限公司 短文本问题语义匹配方法和系统
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
CN110543566A (zh) * 2019-09-06 2019-12-06 上海海事大学 一种基于自注意力近邻关系编码的意图分类方法
CN111177393A (zh) * 2020-01-02 2020-05-19 广东博智林机器人有限公司 一种知识图谱的构建方法、装置、电子设备及存储介质
CN111552821A (zh) * 2020-05-14 2020-08-18 北京华宇元典信息服务有限公司 法律意图搜索方法、法律意图搜索装置和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544259B2 (en) * 2018-11-29 2023-01-03 Koninklijke Philips N.V. CRF-based span prediction for fine machine learning comprehension
CN109885698A (zh) * 2019-02-13 2019-06-14 北京航空航天大学 一种知识图谱构建方法及装置、电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446286A (zh) * 2017-02-16 2018-08-24 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
WO2019046463A1 (en) * 2017-08-29 2019-03-07 Zhoa Tiancheng SYSTEM AND METHOD FOR THE DEFINITION OF DIALOGUE INTENTIONS AND THE CONSTRUCTION OF INTENTION RECOGNITION MODELS WITHOUT PRIOR KNOWLEDGE
US20200251091A1 (en) * 2017-08-29 2020-08-06 Tiancheng Zhao System and method for defining dialog intents and building zero-shot intent recognition models
KR101924215B1 (ko) * 2018-01-18 2018-11-30 주식회사 머니브레인 소정의 목표를 갖는 대화 이해 ai 서비스 시스템을 위한 대화 템플릿의 생성 방법 및 컴퓨터 판독가능 기록 매체
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
CN109597994A (zh) * 2018-12-04 2019-04-09 挖财网络技术有限公司 短文本问题语义匹配方法和系统
CN110543566A (zh) * 2019-09-06 2019-12-06 上海海事大学 一种基于自注意力近邻关系编码的意图分类方法
CN111177393A (zh) * 2020-01-02 2020-05-19 广东博智林机器人有限公司 一种知识图谱的构建方法、装置、电子设备及存储介质
CN111552821A (zh) * 2020-05-14 2020-08-18 北京华宇元典信息服务有限公司 法律意图搜索方法、法律意图搜索装置和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕诗宁等: "融合神经网络与电力领域知识的智能客服对话系统研究", 浙江电力, vol. 39, no. 08, 25 August 2020 (2020-08-25), pages 80 - 86 *
林民 等: "端到端对话系统意图语义槽联合识别研究综述", 计算机工程与应用, no. 14 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590779A (zh) * 2021-06-30 2021-11-02 四川大学 一种空管领域知识图谱的智能问答系统构建方法
CN113590779B (zh) * 2021-06-30 2023-04-25 四川大学 一种空管领域知识图谱的智能问答系统构建方法
CN113821533A (zh) * 2021-09-30 2021-12-21 北京鲸鹳科技有限公司 数据查询的方法、装置、设备以及存储介质
CN113821533B (zh) * 2021-09-30 2023-09-08 北京鲸鹳科技有限公司 数据查询的方法、装置、设备以及存储介质
CN115690552A (zh) * 2022-12-30 2023-02-03 智慧眼科技股份有限公司 多意图识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2021174871A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN112035645A (zh) 数据查询方法以及系统
CN111475617B (zh) 事件主体抽取方法、装置及存储介质
CN110704588A (zh) 基于长短期记忆网络的多轮对话语义分析方法和系统
CN111222317A (zh) 序列标注方法、系统和计算机设备
CN110825949A (zh) 基于卷积神经网络的信息检索方法、及其相关设备
CN112307168B (zh) 基于人工智能的问诊会话处理方法、装置和计算机设备
CN111522839A (zh) 一种基于深度学习的自然语言查询方法
CN111767375A (zh) 语义召回方法、装置、计算机设备及存储介质
CN110362798B (zh) 裁决信息检索分析方法、装置、计算机设备和存储介质
CN114580424B (zh) 一种用于法律文书的命名实体识别的标注方法和装置
CN110866115A (zh) 序列标注方法、系统、计算机设备及计算机可读存储介质
CN111814482B (zh) 文本关键数据的提取方法、系统和计算机设备
CN111401065A (zh) 实体识别方法、装置、设备及存储介质
CN112836521A (zh) 问答匹配方法、装置、计算机设备及存储介质
CN114241499A (zh) 表格图片识别方法、装置、设备和可读存储介质
CN113268560A (zh) 用于文本匹配的方法和装置
CN113947095A (zh) 多语种文本翻译方法、装置、计算机设备及存储介质
CN112446209A (zh) 一种意图标签的设置方法、设备、装置及存储介质
CN112418291A (zh) 一种应用于bert模型的蒸馏方法、装置、设备及存储介质
CN113326698A (zh) 检测实体关系的方法、模型训练方法及电子设备
CN112396111A (zh) 文本意图分类方法、装置、计算机设备及存储介质
CN113469237A (zh) 用户意图识别方法、装置、电子设备及存储介质
CN114626378A (zh) 命名实体识别方法、装置、电子设备及计算机可读存储介质
CN112949320A (zh) 基于条件随机场的序列标注方法、装置、设备及介质
CN117235629B (zh) 一种基于知识域检测的意图识别方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination