CN110083692A - 一种金融知识问答的文本交互匹配方法及装置 - Google Patents

一种金融知识问答的文本交互匹配方法及装置 Download PDF

Info

Publication number
CN110083692A
CN110083692A CN201910324242.9A CN201910324242A CN110083692A CN 110083692 A CN110083692 A CN 110083692A CN 201910324242 A CN201910324242 A CN 201910324242A CN 110083692 A CN110083692 A CN 110083692A
Authority
CN
China
Prior art keywords
character
training
vector
question
knowledge base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910324242.9A
Other languages
English (en)
Other versions
CN110083692B (zh
Inventor
鹿文鹏
张旭
吴昊
黄河燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Qilu University of Technology
Original Assignee
Beijing Institute of Technology BIT
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Qilu University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN201910324242.9A priority Critical patent/CN110083692B/zh
Publication of CN110083692A publication Critical patent/CN110083692A/zh
Application granted granted Critical
Publication of CN110083692B publication Critical patent/CN110083692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种金融知识问答的文本交互匹配方法及装置，属于自然语言处理领域，本发明要解决的技术问题为如何准确地判断用户的金融知识问题与标准的金融知识问题的匹配程度，将用户问题映射到标准问题，技术方案为：①该方法包括如下步骤：S1、构建问题对知识库；S2、构建问题对匹配模型训练数据集；S3、构建问题对匹配模型，步骤如下：S301、构建字符映射转换表；S302、构建输入层；S303、构建字符向量映射层；S304、构建注意力机制的文本编码模型；S305、构建文本交互匹配层；S4、训练问题对匹配模型和意图相同的问题选择。②该装置包括问题对知识库构建单元、问题对匹配模型训练数据集生成单元、问题对匹配模型构建单元以及问题对匹配模型训练单元。

Description

一种金融知识问答的文本交互匹配方法及装置
技术领域
本发明涉及自然语言处理技术领域，具体地说是一种金融知识问答的文本交互匹配方法及装置。
背景技术
随着信息化时代的发展，人们习惯于借助于网络解决各种生活中遇到的问题，比如金融知识问答平台，用户可在网上咨询贷款、投资、理财等金融知识，相关领域从业者会回答用户的问题，类似网络问答社区、百度知道等，这些问答社区为用户提供了极大的便利。随着在线提问的用户数量的增加，各种各样的新问题被不断提出，但是能够解答问题的专家却相对数量较少，解答问题的速度也难以提高，这给网络问答社区的用户体验造成了较大的不良影响。面对迅速增长的咨询用户所提出的海量问题，如何为用户快速找到答案并答复是一个亟待解决的问题。
随着人工智能技术的快速发展，传统行业开始拥抱人工智能，涌现了一大批适用于服务行业的应用；其中的智能问答系统发展极为迅速，已广泛应用于各种自助金融客服(咨询)系统。自动问答系统能够减少消费者与人工客服之间交流的环节，大大减轻了客服的工作量，降低企业运营成本。用户可以直接在线进行问题提问，系统会根据相应问题，自动给出合理答案；避免了传统问询需要等待人工客服答复的麻烦，也降低了用户的咨询成本。随着使用人数的激增，自动问答系统的优势更加明显，其快速处理能力和全天候服务能力远远超出人工客服。
显然，对于传统的金融网络问答社区所面临的困境，自动问答系统是一种有效的解决方案。尽管用户的数量以及用户提出的问题的数量在迅速增长，不同用户提出的问题的形式可能会有所差异，但是他们本质上的意图可能会是一致的。即：针对同一问题有不同的表述形式，虽然问题表述形式不同，但是用户表示的是同一问题，即意图上是相同的。也就是说，金融问答社区中存在着大量的重复问题。对于这些重复的问题，其实并不需要人工专家来进行答复处理，只需要将这些重复问题，映射为标准问答知识库中已有的标准问题；将标准问题的答案，答复给用户，就能圆满地解决用户的问题，故如何准确地判断用户问题与标准问题的匹配程度，将用户问题映射到标准问题，成为金融知识问答系统的一个核心问题。
专利号为CN106682137A的专利文献公开了一种智能股票投顾问答交互方法，包括：服务器端获取用户提出的股票相关问题的文本信息，对所述股票相关问题的文本信息进行分词及过滤处理，得到股票关键词和/或相关操作关键词；服务器端根据所述股票关键词和/或相关操作关键词，以及预先设定的场景知识库匹配规则确定与所述股票相关问题相匹配的股票场景知识库；服务器端在所述股票场景知识库中获取与所述股票相关问题相对应的问题答案，并将所述问题答案发送给所述客户端，以使所述客户端将所述问题答案输出给所述用户。但是该技术方案不能准确地判断用户问题与标准问题的匹配程度，将用户问题映射到标准问题。
发明内容
本发明的技术任务是提供一种金融知识问答的文本交互匹配方法及装置，来解决如何准确地判断用户的金融知识问题与标准的金融知识问题的匹配程度，将用户问题映射到标准问题的问题。
本发明的技术任务是按以下方式实现的，一种金融知识问答的文本交互匹配方法，该方法包括如下步骤：
S1、构建问题对知识库：从金融知识问答平台爬取问题对，并对问题对进行预处理，初步构建问题对知识库；
S2、构建问题对匹配模型训练数据集：对于每个问题，在问题对知识库中至少有一个与该问题相匹配的标准问题，将标准问题与该问题构建训练正例；将除标准问题以外的问题与该问题构建训练负例；用户依据收集的问题对知识库的大小设定训练负例的数量，构建训练数据集；
S3、构建问题对匹配模型：利用注意力机制的文本编码模型构建问题对匹配模型，具体步骤如下：
S301、构建字符映射转换表；
S302、构建输入层：输入层包括两个输入，从问题对知识库中分别获取question1、question2，将其形式化为：(question1,question2)；再根据步骤S301中得到的字符映射转换表将输入数据中的字符转化为数字表示；
S303、构建字符向量映射层；
S304、构建注意力机制的文本编码模型；
S305、构建文本交互匹配层；
S4、训练问题对匹配模型和意图相同的问题选择：在步骤S2所得的训练集上对步骤S3构建的问题对匹配模型进行训练。
作为优选，所述步骤S304中构建注意力机制的文本编码模型的具体步骤如下：
S30401、将步骤S303处理后的输入文本进行编码和语义提取；
S30402、使用双向长短期记忆网络BiLSTM对文本进行编码；
S30403、编码结果作为注意力机制编码层输入，进行二次编码及特征提取，具体公式如下：
其中，i表示相应词向量在句子中的相对位置；pi为句子question1中每个字符的相应向量表示；表示经过BiLSTM编码后的question1句子向量；表示再次经过BiLSTM编码后的question1句子向量；表示将和二者进行连接，作为注意力编码层的输入；表示使用注意力机制编码的句子向量，即为句子编码的最终向量表示；使用vectorquestion1、vectorquestion2来具体表示question1、question2编码结果的最终向量。
更优地，所述步骤S305中构建文本交互匹配层的具体步骤如下：
S30501、将步骤S304得到的question1、question2最终向量表示为vectorquestion1、vectorquestion2；
S30502、针对步骤S30501中得到的两个向量分别按照如下公式计算两个向量之间的差异：
其中，abs_m表示向量vectorquestion1与其均值作差以及vectorquestion2与其均值作差后逐元素之间求差取绝对值；add_m表示向量vectorquestion1与vectorquestion2的均值作差以及vectorquestion2与vectorquestion1的均值作差后逐元素之间求和取绝对值；
S30503、将步骤S30502中得到的结果进行连接，作为问题对的相似度的全面表征，这种相似度表征方法，能够全面捕捉问题对之间的交互匹配特征；公式如下；
con＝[abs_m，add_m]；
其中，con表示将步骤S30502中的两个结果进行连接后得到的相似度表征；
S30504、将步骤S30503中得到的相似度表征向量经过全连接层进行解码，采用sigmoid函数进行相似度计算，得到处于[0,1]之间的相似度表示ypred，通过相似度的值判别问题对相似程度。
作为优选，所述S1中构建问题对知识库的具体步骤如下：
S101、利用爬虫技术，从金融知识问答平台爬取问题对，问答社区均采用Web形式进行展示，利用Scrapy工具获取意图相似的问题集合，构建问题对知识库；
S102、对问题对知识库进行预处理，对句子进行断字处理：将金融问答知识库中的每个问题对，以汉字字符为基本单位，进行断字处理，每个字之间用空格分开，保留文本中所有内容，文本中所有内容包括数字、标点及特殊字符。
作为优选，所述步骤S2中构建问题对匹配模型训练数据集的具体步骤如下：
S201、构建训练正例：将问题与其意图相同的问题进行组合，可构建正例；正例形式化为：(question1，question2，1)；
其中，question1表示问题1，question2表示问题2，1表示正例，即问题1和问题2两者意图相同；
S202、构建训练负例：选中一个问题q1，再从问题对知识库中随机选择一个与问题q1不同的问题q2，将q1与q2组合，构建负例；负例形式化为：(question1，question2，0)；
其中，question1指问题q1，question2指问题q2，0表示负例，即问题q1和问题q2二者意图不同；
S203、构建训练数据集：将步骤S201和步骤S202所得的全部问答的正例样本和负例样本组合在一起，并随机打乱顺序构成最终的训练数据集；其中，正例和负例均包含三个维度，即question1、question2、1或0，前两个维度根据实际包含的词语构建二维的张量表示，第三个维度构建一个数值类型表示相似度；
所述步骤S301中构建字符映射转换表的具体为：根据步骤S102断字处理后的问题对知识库，构建字符表；并将字符表中的每个字符映射为唯一的数字表示，按照字符加入字符表的顺序从1开始依次递增，据此构建字符映射转换表；其中，字符表是指单个字及字符的集合；
所述步骤S303中构建字符向量映射层的具体为：用户指定的字符向量的维度大小为embedding_dim，步骤S301中获取的字符表大小为1en(tokenizer.word_index)，使用[-1，1]的均匀分布定义(len(tokenizer.word_index)+1)×embedding_dim的二维矩阵并将其作为模型的字符向量映射层的权重矩阵；其中，每一行对应问题对知识库中单个字符的向量表示。
作为优选，所述步骤S4中训练问题对匹配模型和意图相同的问题选择的具体步骤如下：
S401、构建损失函数：为了解决在匹配过程中出现的过拟合问题，使模型在优化时将注意力更集中于难以分类的样本，利用单位阶跃函数来修正均方误差损失函数，公式如下：
得到新的均方误差损失函数，公式如下：
其中，ypred为根据步骤S305得到的相似度计算结果；ytrue为两个句子相似与否的真实表示，取值为0或1；m表示阈值，m∈(0.5,1)；n为数据集大小,n∈N+；
S402、构建优化函数：使用Adam算法作为模型的优化函数，学习率设置为0.002，超参数使用Keras中的默认值即可；超参数是指在开始训练过程之前，需要人工设置值的参数；该参数不能通过训练而自动优化，需要用于根据实际数据集的不同自行人工设置；
S403、问题对选择：将一个新的问题与问题对知识库中的所有候选的意图相同的问题组成输入样本；再分别利用步骤S3训练完成的问题对匹配模型，计算问题与候选意图相同的问题之间相似度的数值；最后从所有结果中选取相似度值最高的一组作为新问题最有可能匹配的问题并将该问题推送给用户。
一种金融知识问答的文本交互匹配装置，该装置包括，
问题对知识库构建单元，用于利用爬虫技术，从互联网上的金融知识问答平台爬取问题对，再进行问题对知识库预处理，进行问题对的句子断字处理，构建问题对知识库；
问题对匹配模型训练数据集生成单元，用于根据问题对知识库构建训练正例和训练负例，再利用训练正例和训练负例构建训练数据；
问题对匹配模型构建单元，用于利用注意力机制的文本编码模型构建问题对匹配模型；
问题对匹配模型训练单元，用于在问题对匹配模型训练数据集生成单元所得的训练集上对问题对匹配模型构建单元构建的问题对匹配模型进行训练并选择出意图相同的问题。
作为优选，所述问题对知识库构建单元包括，
爬虫单元，用于从互联网上抓取金融知识问答平台中的内容，将结果保存为问题对的形式；
爬虫数据处理单元，用于将爬虫获取的问题对组合构建训练正例和训练负例，并将问题对的句子进行断字处理，构建问题对知识库；
所述问题对匹配模型训练数据集生成单元包括，
训练正例构建单元，用于将问题对意图相似的进行组合，构建为训练正例；
训练负例构建单元，用于从问题对知识库选中一个问题q1，再从问题对知识库中随机选择一个与问题q1意图不同的问题q2，将q1与q2组合，构建训练负例；
训练数据集构建单元，用于将训练正例构建单元和训练负例构建单元所得的全部问题对的正例样本、负例样本组合在一起，并随机打乱顺序构成最终的训练数据集；
所述问题对匹配模型构建单元包括，
字符映射转换表构建单元，用于将问题对知识库中的所有字符构建为字符表，并将字符表中的每个字符映射为唯一的数字表示，按照字符加入字符表的顺序从1开始依次递增，据此构建字符映射转换表；
输入层构建单元，用于从问题对中获取输入数据，分别获取question1、question2，将其形式化为：(question1、question2)；
字符向量映射层构建单元，用于构建并存储字符映射转换表中每个字符的向量表示；
文本交互匹配层构建单元，用于基于注意力机制的神经网络针对输入的文本进行编码和语义提取，双向长短期记忆网络(BiLSTM)对文本进行编码；同时使用注意力机制对BiLSTM层输出进行编码，得到语义表征信息；
相似度匹配构建单元，用于将句子对的编码结果进行相似度匹配，区分问题之间是否匹配；
所述问题对匹配模型训练单元包括，
损失函数构建单元，用于计算问题1和问题2的相似度之间的误差；
优化函数构建单元，用于调整模型中的参数，减小模型训练中问题1与问题2的相似度与真实相似度之间误差；
意图相同的问题选择单元，用于处理新的问题时，从问题对知识库中使用训练好的模型选择与新问题意图相同的问题对。
一种存储介质，其中存储有多条指令，所述指令由处理器加载，执行上述的文本交互匹配方法的步骤。
一种电子设备，所述电子设备包括：
上述的存储介质；以及
处理器，用于执行所述存储介质中的指令。
本发明的金融知识问答的文本交互匹配方法及装置具有以下优点：
(一)、为了解决金融知识问题匹配过程中出现的语义缺失问题，本发明采用基于注意力机制的语义编码模型用来进行句子语义提取、采用相似度表征方法来捕捉问题对之间的交互匹配特征以及采用修正的loss函数来解决在训练过程中出现的过拟合现象，本发明所提出的模型在真实的问题匹配数据集上取得了显著效果，在自动问答系统领域有很大的应用前景。
(二)、本发明能够有效地对句子进行建模，捕获句子的深层次语义特征及句子表达的意图导向；
(三)、本发明能够对语义特征进行有效提取，使用注意力机制重点关注文本中的重要语义特征；
(四)、本发明使用文本交互匹配策略能够更好的捕捉问题对之间联系与区别；
(五)、本发明提出一种修正的loss函数，解决在训练过程中出现的过拟合现象，定义并实现一套完整的问题对匹配模型。
附图说明
下面结合附图对本发明进一步说明。
附图1为金融知识问答的文本交互匹配方法的流程框图；
附图2为构建问题对知识库的流程框图；
附图3为构建问题对匹配模型训练数据集的流程框图；
附图4为构建问题对匹配模型的流程框图；
附图5为训练问题对匹配模型和意图相同的问题选择流程框图；
附图6为构建文本交互匹配层的流程框图；
附图7为面向金融领域的文本交互匹配装置的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种金融知识问答的文本交互匹配方法及装置作以下详细地说明。
实施例：
如附图1所示，本发明的金融知识问答的文本交互匹配方法,该方法包括如下步骤：
S1、构建问题对知识库：从金融知识问答平台爬取问题对，并对问题对进行预处理，初步构建问题对知识库；如附图2所示，构建问题对知识库的具体步骤如下：
S101、利用爬虫技术，从金融知识问答平台爬取问题对，问答社区均采用Web形式进行展示，利用Scrapy工具获取意图相似的问题集合，构建问题对知识库；除了自行爬取数据之外，也可以使用公开的问题对数据集作为知识库，比如BQ数据集,该数据集出自论文：Jing Chen,Qingcai Chen,Xin Liu,Ha ijun Yang,Daohe Lu,Buzhou Tang,The BQCorpus:A Large-scale Domai n-specific Chinese Corpus For Sentence SemanticEquivalence Identifi cation,EMNLP2018。
举例：金融问答社区中的问题对示例，如下表所示：
问题1 可以换其他银行卡吗？
问题2 分期的如何用别的银行卡还
S102、对问题对知识库进行预处理，对句子进行断字处理：将金融问答知识库中的每个问题对，以汉字字符为基本单位，进行断字处理，每个字之间用空格分开，保留文本中所有内容，文本中所有内容包括数字、标点及特殊字符。
举例：对步骤S101中的示例问题1，“可以换其他银行卡吗？”进行断字处理，得到“可以换其他银行卡吗？”。
S2、构建问题对匹配模型训练数据集：对于每个问题，在问题对知识库中至少有一个与该问题相匹配的标准问题，将标准问题与该问题构建训练正例；将除标准问题以外的问题与该问题构建训练负例；用户依据收集的问题对知识库的大小设定训练负例的数量，构建训练数据集。其中，本实施例中，当使用BQ数据集时，训练负例和训练正例的数量比例设为1:2；如附图3所示，构建问题对匹配模型训练数据集的具体步骤如下：
S201、构建训练正例：将问题与其意图相同的问题进行组合，可构建正例；正例形式化为：(question1，question2，1)；
其中，question1表示问题1，question2表示问题2，1表示正例，即问题1和问题2两者意图相同；
举例：对步骤S101中的示例数据问题1和问题2，经过步骤S102分词处理后，构建的正例为：
(“可以换其他银行卡吗？”，“分期的如何用别的银行卡还”，1)。
S202、构建训练负例：选中一个问题q1，再从问题对知识库中随机选择一个与问题q1不同的问题q2，将q1与q2组合，构建负例；负例形式化为：(question1，question2，0)；
其中，question1指问题q1，question2指问题q2，0表示负例，即问题q1和问题q2二者意图不同；
举例：对比步骤S201中的示例数据，抽取原问题，即为q1，再从问题对知识库中随机选择一个与问题q1意图不同的问题q2，将q1与q2组合，可构建负例：
(“可以换其他银行卡吗？”，“怎么样才能把微粒贷删掉”，0)。
S203、构建训练数据集：将步骤S201和步骤S202所得的全部问答的正例样本和负例样本组合在一起，并随机打乱顺序构成最终的训练数据集；其中，正例和负例均包含三个维度，即question1、question2、1或0，前两个维度根据实际包含的词语构建二维的张量表示，第三个维度构建一个数值类型表示相似度；
举例：使用vectorquestion1、vectorquestion2分别表示训练数据集的问题1的张量表示、问题2的张量表示。假定每个字符用一个embedding_dim维的向量表示，则vectorquestion1、vectorquestion2的张量维度为word_num×embedding_dim，其中word_num指question1、question2中字符的个数。
S3、构建问题对匹配模型：利用注意力机制的文本编码模型构建问题对匹配模型，如附图4所示，具体步骤如下：
S301、构建字符映射转换表：根据步骤S102断字处理后的问题对知识库，构建字符表；并将字符表中的每个字符映射为唯一的数字表示，按照字符加入字符表的顺序从1开始依次递增，据此构建字符映射转换表；
举例：以步骤S102断字后的内容，“可以换其他银行卡吗？”，构建字符表及字符映射转换表如下表所示：
字符 可 以 换 其 他 银 行 卡 吗
映射 1 2 3 4 5 6 7 8 9
字符 ？
映射 10
S302、构建输入层：输入层包括两个输入，从问题对知识库中分别获取question1、question2，将其形式化为：(question1,question2)；再根据步骤S301中得到的字符映射转换表将输入数据中的字符转化为数字表示；
举例说明：以步骤S201和步骤S202中的问题对示例构建一条输入数据，结果为：(可以换其他银行卡吗？”，“分期的如何用别的银行卡还”)
根据词表中的映射将上述的输入数据转换为数值表示，结果如下：
(“1，2，3，4，5，6，7，8，9，10”,“11，12，13，14，15，16，17，18，7，8，9，19”)；
S303、构建字符向量映射层：用户指定的字符向量的维度大小为embedding_dim，步骤S301中获取的字符表大小为len(tokenizer.word_index)，使用[-1,1]的均匀分布定义(len(tokenizer.word_index)+1)×embedding_dim的二维矩阵并将其作为模型的字符向量映射层的权重矩阵；其中，每一行对应问题对知识库中单个字符的向量表示；
举例：在Keras中，示例的代码实现如下：
该层是问题对匹配模型的通用层，存储了全部字符对应的字符向量；对于question1、question2的处理操作均完全相同，故在此不再分别说明。后面步骤S304和步骤S305，对question1、question2的处理也完全相同，故也不再分别说明。
S304、构建注意力机制的文本编码模型，具体步骤如下：
S30401、将步骤S303处理后的输入文本进行编码和语义提取；
S30402、使用双向长短期记忆网络BiLSTM，对文本进行编码；
S30403、编码结果作为注意力机制编码层输入，进行二次编码及特征提取，具体公式如下：
其中，i表示相应词向量在句子中的相对位置；pi为句子question1中每个字符的相应向量表示；表示经过LSTM编码后的question1句子向量；表示再次经过LSTM编码后的question1句子向量；表示将和二者进行连接，作为注意力编码层的输入；表示使用注意力机制编码的句子向量，即为句子编码的最终向量表示，使用vectorquestion1、vectorquestion2来具体表示question1、question2编码结果的最终向量。
S305、构建文本交互匹配层，如附图6所示，具体步骤如下：
S30501、将步骤S304得到的question1、question2最终向量表示为vectorquestion1、vectorquestion2；
S30502、针对步骤S30501中得到的两个向量分别按照如下公式计算两个向量之间的差异：
其中，abs_m表示向量vectorquestion1与其均值作差以及vectorquestion2与其均值作差后逐元素之间求差取绝对值；add_m表示向量vectorquestion1与vectorquestion2的均值作差以及vectorquestion2与vectorquestion1的均值作差后逐元素之间求和取绝对值；在keras中上述操作具体代码如下:
abs_m＝Lambda(lambda x:K.abs((x[0]-K.mean(x[0],axis＝1,keepdims＝True))-x[1]-K.mean(x[1],axis＝1,keepdims＝True))))([vectorquestion1,vectorquestion2])；
add_m＝Lambda(lambda x:K.abs((x[0]-K.mean(x[1],axis＝1,keepdims＝True))+(x[1]-K.mean(x[0],axis＝1,keepdims＝True))))([vectorquestion1,vectorquestion2])；
S30503、将步骤S30502中得到的结果进行连接，作为问题对的相似度的全面表征，这种相似度表征方法，能够全面捕捉问题对之间的交互匹配特征；公式如下；
con＝[abs_m，add_m]；
其中，con表示将步骤S30502中的两个结果进行连接后得到的相似度表征；
S30504、将步骤S30503中得到的相似度表征向量经过全连接层进行解码，采用sigmoid函数进行相似度计算，得到处于[0,1]之间的相似度表示ypred，通过相似度的值判别问题对相似程度。
S4、训练问题对匹配模型和意图相同的问题选择：在步骤S2所得的训练集上对步骤S3构建的问题对匹配模型进行训练，如附图5所示，具体步骤如下：
S401、构建损失函数：为了解决在匹配过程中出现的过拟合问题，使模型在优化时将注意力更集中于难以分类的样本，利用单位阶跃函数来修正均方误差损失函数，公式如下：
得到新的均方误差损失函数，公式如下：
其中，ypred为根据步骤S305得到的相似度计算结果；ytrue为两个句子相似与否的真实表示，取值为0或1；m表示阈值，m∈(0.5,1)；n为数据集大小,n∈N+；
S402、构建优化函数：使用Adam算法作为模型的优化函数，学习率设置为0.002，超参数使用Keras中的默认值即可；
举例，在Keras中，定义Adam优化函数可用如下代码实现：
optim＝keras.optimizers.Adam(lr＝0.002)；
S403、问题对选择：将一个新的问题与问题对知识库中的所有候选的意图相同的问题组成输入样本；再分别利用步骤S3训练完成的问题对匹配模型，计算问题与候选意图相同的问题之间相似度的数值；最后从所有结果中选取相似度值最高的一组作为新问题最有可能匹配的问题并将该问题推送给用户。
本发明的模型在微众银行问题对数据集即BQ数据集上，取得了优于现有模型的结果，具体见表1。
表1:BQ上的实验结果.
本发明的模型和现有模型进行了比较，实验结果显示本发明的模型有了很大的提升。表1中前四行是现有模型的数据【来自：Jing Chen,Qingcai Chen,Xin Liu,HaijunYang,Daohe Lu,Buzhou Tang,The BQ Corpus:A Large-scale Domain-specific ChineseCorpus For Sentence Semantic Equivalence Identification,EMNLP2018.】，最后一行是利用本发明模型的数据，显然本发明模型相比现有模型有了较大提升。
实施例2：
如附图7所示，本发明的金融知识问答的文本交互匹配装置，该装置包括，
问题对知识库构建单元，用于利用爬虫技术，从互联网上的金融知识问答平台爬取问题对，再进行问题对知识库预处理，进行问题对的句子断字处理，构建问题对知识库；其中，问题对知识库构建单元包括，
爬虫单元，用于从互联网上抓取金融知识问答平台中的内容，将结果保存为问题对的形式；
爬虫数据处理单元，用于将爬虫获取的问题对组合构建训练正例和训练负例，并将问题对的句子进行断字处理，构建问题对知识库；
问题对匹配模型训练数据集生成单元，用于根据问题对知识库构建训练正例和训练负例，再利用训练正例和训练负例构建训练数据；其中，问题对匹配模型训练数据集生成单元包括，
训练正例构建单元，用于将问题对意图相似的进行组合，构建为训练正例；
训练负例构建单元，用于从问题对知识库选中一个问题q1，再从问题对知识库中随机选择一个与问题q1意图不同的问题q2，将q1与q2组合，构建训练负例；
训练数据集构建单元，用于将训练正例构建单元和训练负例构建单元所得的全部问题对的正例样本、负例样本组合在一起，并随机打乱顺序构成最终的训练数据集；
问题对匹配模型构建单元，用于利用注意力机制的文本编码模型构建问题对匹配模型；其中，问题对匹配模型构建单元包括，
字符映射转换表构建单元，用于将问题对知识库中的所有字符构建为字符表，并将字符表中的每个字符映射为唯一的数字表示，按照字符加入字符表的顺序从1开始依次递增，据此构建字符映射转换表；
输入层构建单元，用于从问题对中获取输入数据，分别获取question1、question2，将其形式化为：(question1、question2)；
字符向量映射层构建单元，用于构建并存储字符映射转换表中每个字符的向量表示；
文本交互匹配层构建单元，用于基于注意力机制的神经网络针对输入的文本进行编码和语义提取，双向长短期记忆网络(BiLSTM)对文本进行编码；同时使用注意力机制对BiLSTM层输出进行编码，得到语义表征信息；
相似度匹配构建单元，用于将句子对的编码结果进行相似度匹配，区分问题之间是否匹配；
问题对匹配模型训练单元，用于在问题对匹配模型训练数据集生成单元所得的训练集上对问题对匹配模型构建单元构建的问题对匹配模型进行训练并选择出意图相同的问题；其中，问题对匹配模型训练单元包括，
损失函数构建单元，用于计算问题1和问题2的相似度之间的误差；
优化函数构建单元，用于调整模型中的参数，减小模型训练中问题1与问题2的相似度与真实相似度之间误差；
意图相同的问题选择单元，用于处理新的问题时，从问题对知识库中使用训练好的模型选择与新问题意图相同的问题对。
实施例3：
基于实施例1的存储介质，其中存储有多条指令，指令由处理器加载，执行实施例中的文本交互匹配方法的步骤。
实施例4：
基于实施例3的电子设备，电子设备包括：实施例3中的存储介质；以及处理器，用于执行实施例3中存储介质中的指令。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种金融知识问答的文本交互匹配方法，其特征在于，该方法包括如下步骤：
S1、构建问题对知识库：从金融知识问答平台爬取问题对，并对问题对进行预处理，初步构建问题对知识库；
S2、构建问题对匹配模型训练数据集：对于每个问题，在问题对知识库中至少有一个与该问题相匹配的标准问题，将标准问题与该问题构建训练正例；将除标准问题以外的问题与该问题构建训练负例；
S3、构建问题对匹配模型：利用注意力机制的文本编码模型构建问题对匹配模型，具体步骤如下：
S301、构建字符映射转换表；
S302、构建输入层：输入层包括两个输入，从问题对知识库中分别获取question1、question2，将其形式化为：(question1,question2)；再根据步骤S301中得到的字符映射转换表将输入数据中的字符转化为数字表示；
S303、构建字符向量映射层；
S304、构建注意力机制的文本编码模型；
S305、构建文本交互匹配层；
S4、训练问题对匹配模型和意图相同的问题选择：在步骤S2所得的训练集上对步骤S3构建的问题对匹配模型进行训练。
2.根据权利要求1所述的金融知识问答的文本交互匹配方法，其特征在于，所述步骤S304中构建注意力机制的文本编码模型的具体步骤如下：
S30401、将步骤S303处理后的输入文本进行编码和语义提取；
S30402、使用双向长短期记忆网络BiLSTM对文本进行编码；
S30403、编码结果作为注意力机制编码层输入，进行二次编码及特征提取，具体公式如下：
其中，i表示相应词向量在句子中的相对位置；pi为句子question1中每个字符的相应向量表示；表示经过BiLSTM编码后的question1句子向量；表示再次经过BiLSTM编码后的question1句子向量；表示对和二者进行连接，作为注意力编码层的输入；表示使用注意力机制编码的句子向量，即为句子编码的最终向量表示；使用vectorquestion1、vectorquestion2来具体表示question1、question2编码结果的最终向量。
3.根据权利要求1或2所述的金融知识问答的文本交互匹配方法，其特征在于，所述步骤S305中构建文本交互匹配层的具体步骤如下：
S30501、将步骤S304得到的question1、question2最终向量表示为vectorquestion1、vectorquestion2；
S30502、针对步骤S30501中得到的两个向量分别按照如下公式计算两个向量之间的差异：
其中，abs_m表示向量vectorquestion1与其均值作差以及vectorquestion2与其均值作差后逐元素之间求差取绝对值；add_m表示向量vectorquestion1与vectorquestion2的均值作差以及vectorquestion2与vectorquestion1的均值作差后逐元素之间求和取绝对值；
S30503、将步骤S30502中得到的结果进行连接，作为问题对的相似度的全面表征，公式如下；
con＝[abs_m，add_m]；
其中，con表示将步骤S30502中的两个结果进行连接后得到的相似度表征；
S30504、将步骤S30503中得到的相似度表征向量经过全连接层进行解码，采用sigmoid函数进行相似度计算，得到处于[0,1]之间的相似度表示ypred，通过相似度的值判别问题对相似程度。
4.根据权利要求1所述的金融知识问答的文本交互匹配方法，其特征在于，所述S1中构建问题对知识库的具体步骤如下：
S101、利用爬虫技术，从金融知识问答平台爬取问题对，问答社区均采用Web形式进行展示，利用Scrapy工具获取意图相似的问题集合，构建问题对知识库；
S102、对问题对知识库进行预处理，对句子进行断字处理：将金融问答知识库中的每个问题对，以汉字字符为基本单位，进行断字处理，每个字之间用空格分开，保留文本中所有内容，文本中所有内容包括数字、标点及特殊字符。
5.根据权利要求1所述的金融知识问答的文本交互匹配方法，其特征在于，所述步骤S2中构建问题对匹配模型训练数据集的具体步骤如下：
S201、构建训练正例：将问题与其意图相同的问题进行组合，可构建正例；正例形式化为：(question1,question2,1)；
其中，question1表示问题1，question2表示问题2，1表示正例，即问题1和问题2两者意图相同；
S202、构建训练负例：选中一个问题q1，再从问题对知识库中随机选择一个与问题q1不同的问题q2，将q1与q2组合，构建负例；负例形式化为：(question1,question2,0)；
其中，question1指问题q1，question2指问题q2，0表示负例，即问题q1和问题q2二者意图不同；
S203、构建训练数据集：将步骤S201和步骤S202所得的全部问答的正例样本和负例样本组合在一起，并随机打乱顺序构成最终的训练数据集；其中，正例和负例均包含三个维度，即question1、question2、1或0，前两个维度根据实际包含的词语构建二维的张量表示，第三个维度构建一个数值类型表示相似度；
所述步骤S301中构建字符映射转换表的具体为：根据步骤S102断字处理后的问题对知识库，构建字符表；并将字符表中的每个字符映射为唯一的数字表示，按照字符加入字符表的顺序从1开始依次递增，据此构建字符映射转换表；
所述步骤S303中构建字符向量映射层的具体为：用户指定的字符向量的维度大小为embedding_dim，步骤S301中获取的字符表大小为len(tokenizer.word_index)，使用[-1,1]的均匀分布定义(len(tokenizer.word_index)+1)×embedding_dim的二维矩阵并将其作为模型的字符向量映射层的权重矩阵；其中，每一行对应问题对知识库中单个字符的向量表示。
6.根据权利要求1所述的金融知识问答的文本交互匹配方法，其特征在于，所述步骤S4中训练问题对匹配模型和意图相同的问题选择的具体步骤如下：
S401、构建损失函数：为了解决在匹配过程中出现的过拟合问题，使模型在优化时将注意力更集中于难以分类的样本，利用单位阶跃函数来修正均方误差损失函数，公式如下：
得到新的均方误差损失函数，公式如下：
其中，ypred为根据步骤S305得到的相似度计算结果；ytrue为两个句子相似与否的真实表示，取值为0或1；m表示阈值，m∈(0.5，1)；n为数据集大小，n∈N+；
S402、构建优化函数：使用Adam算法作为模型的优化函数，学习率设置为0.002，超参数使用Keras中的默认值即可；
S403、问题对选择：将一个新的问题与问题对知识库中的所有候选的意图相同的问题组成输入样本；再分别利用步骤S3训练完成的问题对匹配模型，计算问题与候选意图相同的问题之间相似度的数值；最后从所有结果中选取相似度值最高的一组作为新问题最有可能匹配的问题并将该问题推送给用户。
7.一种金融知识问答的文本交互匹配装置，其特征在于，该装置包括，
问题对知识库构建单元，用于利用爬虫技术，从互联网上的金融知识问答平台爬取问题对，再进行问题对知识库预处理，进行问题对的句子断字处理，构建问题对知识库；
问题对匹配模型训练数据集生成单元，用于根据问题对知识库构建训练正例和训练负例，再利用训练正例和训练负例构建训练数据；
问题对匹配模型构建单元，用于利用注意力机制的文本编码模型构建问题对匹配模型；
问题对匹配模型训练单元，用于在问题对匹配模型训练数据集生成单元所得的训练集上对问题对匹配模型构建单元构建的问题对匹配模型进行训练并选择出意图相同的问题。
8.根据权利要求7所述的金融知识问答的文本交互匹配装置，其特征在于，所述问题对知识库构建单元包括，
爬虫单元，用于从互联网上抓取金融知识问答平台中的内容，将结果保存为问题对的形式；
爬虫数据处理单元，用于将爬虫获取的问题对组合构建训练正例和训练负例，并将问题对的句子进行断字处理，构建问题对知识库；
所述问题对匹配模型训练数据集生成单元包括，
训练正例构建单元，用于将问题对意图相似的进行组合，构建为训练正例；
训练负例构建单元，用于从问题对知识库选中一个问题q1，再从问题对知识库中随机选择一个与问题q1意图不同的问题q2，将q1与q2组合，构建训练负例；
训练数据集构建单元，用于将训练正例构建单元和训练负例构建单元所得的全部问题对的正例样本、负例样本组合在一起，并随机打乱顺序构成最终的训练数据集；
所述问题对匹配模型构建单元包括，
字符映射转换表构建单元，用于将问题对知识库中的所有字符构建为字符表，并将字符表中的每个字符映射为唯一的数字表示，按照字符加入字符表的顺序从1开始依次递增，据此构建字符映射转换表；
输入层构建单元，用于从问题对中获取输入数据，分别获取question1、question2，将其形式化为：(question1、question2)；
字符向量映射层构建单元，用于构建并存储字符映射转换表中每个字符的向量表示；
文本交互匹配层构建单元，用于基于注意力机制的神经网络针对输入的文本进行编码和语义提取，双向长短期记忆网络对文本进行编码；同时使用注意力机制对BiLSTM层输出进行编码，得到语义表征信息；
相似度匹配构建单元，用于将句子对的编码结果进行相似度匹配，区分问题之间是否匹配；
所述问题对匹配模型训练单元包括，
损失函数构建单元，用于计算问题1和问题2的相似度之间的误差；
优化函数构建单元，用于调整模型中的参数，减小模型训练中问题1与问题2的相似度与真实相似度之间误差；
意图相同的问题选择单元，用于处理新的问题时，从问题对知识库中使用训练好的模型选择与新问题意图相同的问题对。
9.一种存储介质，其中存储有多条指令，其特征在于，所述指令由处理器加载，执行权利要求1-6中所述的文本交互匹配方法的步骤。
10.一种电子设备，其特征在于，所述电子设备包括：
权利要求9所述的存储介质；以及
处理器，用于执行所述存储介质中的指令。
CN201910324242.9A 2019-04-22 2019-04-22 一种金融知识问答的文本交互匹配方法及装置 Active CN110083692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910324242.9A CN110083692B (zh) 2019-04-22 2019-04-22 一种金融知识问答的文本交互匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910324242.9A CN110083692B (zh) 2019-04-22 2019-04-22 一种金融知识问答的文本交互匹配方法及装置

Publications (2)

Publication Number Publication Date
CN110083692A true CN110083692A (zh) 2019-08-02
CN110083692B CN110083692B (zh) 2023-01-24

Family

ID=67415962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910324242.9A Active CN110083692B (zh) 2019-04-22 2019-04-22 一种金融知识问答的文本交互匹配方法及装置

Country Status (1)

Country Link
CN (1) CN110083692B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516054A (zh) * 2019-08-15 2019-11-29 出门问问(武汉)信息科技有限公司 一种垃圾分类问答方法、设备以及可读存储介质
CN110543557A (zh) * 2019-09-06 2019-12-06 北京工业大学 一种基于注意力机制的医疗智能问答系统的构建方法
CN111046152A (zh) * 2019-10-12 2020-04-21 平安科技（深圳）有限公司 Faq问答对自动构建方法、装置、计算机设备及存储介质
CN111191034A (zh) * 2019-12-30 2020-05-22 科大讯飞股份有限公司 人机交互方法、相关设备及可读存储介质
CN111259625A (zh) * 2020-01-16 2020-06-09 平安科技（深圳）有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN111310438A (zh) * 2020-02-20 2020-06-19 齐鲁工业大学 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN111310439A (zh) * 2020-02-20 2020-06-19 齐鲁工业大学 一种基于深度特征变维机制的智能语义匹配方法和装置
CN111325028A (zh) * 2020-02-20 2020-06-23 齐鲁工业大学 一种基于深度分层编码的智能语义匹配方法和装置
CN111339249A (zh) * 2020-02-20 2020-06-26 齐鲁工业大学 一种联合多角度特征的深度智能文本匹配方法和装置
CN111339278A (zh) * 2020-02-28 2020-06-26 支付宝(杭州)信息技术有限公司 训练话术生成模型、生成应答话术的方法和装置
CN111597319A (zh) * 2020-05-26 2020-08-28 成都不问科技有限公司 一种基于faq问答系统的问句匹配方法
CN111680145A (zh) * 2020-06-10 2020-09-18 北京百度网讯科技有限公司 知识表示学习方法、装置、设备以及存储介质
CN112000772A (zh) * 2020-08-24 2020-11-27 齐鲁工业大学 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN112035629A (zh) * 2020-08-17 2020-12-04 北京理工大学 基于符号化知识与神经网络的问答模型的实现方法
CN112463924A (zh) * 2020-11-27 2021-03-09 齐鲁工业大学 面向智能问答基于内部相关性编码的文本意图匹配方法
CN112948417A (zh) * 2021-01-29 2021-06-11 上海维外科技有限公司 一种基于选择交互的样本知识聚合度计算方法、系统以及存储介质
CN113656660A (zh) * 2021-10-14 2021-11-16 北京中科闻歌科技股份有限公司 跨模态数据的匹配方法、装置、设备及介质
CN113761106A (zh) * 2021-09-08 2021-12-07 上海快确信息科技有限公司 一种强化自注意力的债券交易意图识别系统
CN114780709A (zh) * 2022-03-22 2022-07-22 北京三快在线科技有限公司 文本匹配方法、装置及电子设备
CN116882496A (zh) * 2023-09-07 2023-10-13 中南大学湘雅医院 一种多级逻辑推理的医学知识库构建方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140316768A1 (en) * 2012-12-14 2014-10-23 Pramod Khandekar Systems and methods for natural language processing
CN108021616A (zh) * 2017-11-06 2018-05-11 大连理工大学 一种基于循环神经网络的社区问答专家推荐方法
CN108345585A (zh) * 2018-01-11 2018-07-31 浙江大学 一种基于深度学习的自动问答方法
CN108846077A (zh) * 2018-06-08 2018-11-20 泰康保险集团股份有限公司 问答文本的语义匹配方法、装置、介质及电子设备
CN108932349A (zh) * 2018-08-17 2018-12-04 齐鲁工业大学 医疗自动问答方法及装置、存储介质、电子设备
CN109492679A (zh) * 2018-10-24 2019-03-19 杭州电子科技大学 基于注意力机制与联结时间分类损失的文字识别方法
CN109522393A (zh) * 2018-10-11 2019-03-26 平安科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质
CN109558477A (zh) * 2018-10-23 2019-04-02 深圳先进技术研究院 一种基于多任务学习的社区问答系统、方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140316768A1 (en) * 2012-12-14 2014-10-23 Pramod Khandekar Systems and methods for natural language processing
CN108021616A (zh) * 2017-11-06 2018-05-11 大连理工大学 一种基于循环神经网络的社区问答专家推荐方法
CN108345585A (zh) * 2018-01-11 2018-07-31 浙江大学 一种基于深度学习的自动问答方法
CN108846077A (zh) * 2018-06-08 2018-11-20 泰康保险集团股份有限公司 问答文本的语义匹配方法、装置、介质及电子设备
CN108932349A (zh) * 2018-08-17 2018-12-04 齐鲁工业大学 医疗自动问答方法及装置、存储介质、电子设备
CN109522393A (zh) * 2018-10-11 2019-03-26 平安科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质
CN109558477A (zh) * 2018-10-23 2019-04-02 深圳先进技术研究院 一种基于多任务学习的社区问答系统、方法及电子设备
CN109492679A (zh) * 2018-10-24 2019-03-19 杭州电子科技大学 基于注意力机制与联结时间分类损失的文字识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王丹丹: ""文本宏特征抽取与基于质心的自动分类方法研究"", 《中国博士学位论文全文数据库 信息科技辑(月刊)》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516054A (zh) * 2019-08-15 2019-11-29 出门问问(武汉)信息科技有限公司 一种垃圾分类问答方法、设备以及可读存储介质
CN110543557A (zh) * 2019-09-06 2019-12-06 北京工业大学 一种基于注意力机制的医疗智能问答系统的构建方法
CN111046152A (zh) * 2019-10-12 2020-04-21 平安科技（深圳）有限公司 Faq问答对自动构建方法、装置、计算机设备及存储介质
CN111046152B (zh) * 2019-10-12 2023-09-29 平安科技（深圳）有限公司 Faq问答对自动构建方法、装置、计算机设备及存储介质
CN111191034A (zh) * 2019-12-30 2020-05-22 科大讯飞股份有限公司 人机交互方法、相关设备及可读存储介质
CN111191034B (zh) * 2019-12-30 2023-01-17 科大讯飞股份有限公司 人机交互方法、相关设备及可读存储介质
CN111259625A (zh) * 2020-01-16 2020-06-09 平安科技（深圳）有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN111259625B (zh) * 2020-01-16 2023-06-27 平安科技（深圳）有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN111325028A (zh) * 2020-02-20 2020-06-23 齐鲁工业大学 一种基于深度分层编码的智能语义匹配方法和装置
CN111339249A (zh) * 2020-02-20 2020-06-26 齐鲁工业大学 一种联合多角度特征的深度智能文本匹配方法和装置
CN111310439A (zh) * 2020-02-20 2020-06-19 齐鲁工业大学 一种基于深度特征变维机制的智能语义匹配方法和装置
CN111310438A (zh) * 2020-02-20 2020-06-19 齐鲁工业大学 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN111310439B (zh) * 2020-02-20 2023-06-27 齐鲁工业大学 一种基于深度特征变维机制的智能语义匹配方法和装置
WO2021164200A1 (zh) * 2020-02-20 2021-08-26 齐鲁工业大学 一种基于深度分层编码的智能语义匹配方法和装置
WO2021164199A1 (zh) * 2020-02-20 2021-08-26 齐鲁工业大学 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN111339278A (zh) * 2020-02-28 2020-06-26 支付宝(杭州)信息技术有限公司 训练话术生成模型、生成应答话术的方法和装置
CN111597319A (zh) * 2020-05-26 2020-08-28 成都不问科技有限公司 一种基于faq问答系统的问句匹配方法
CN111597319B (zh) * 2020-05-26 2021-02-09 成都不问科技有限公司 一种基于faq问答系统的问句匹配方法
CN111680145B (zh) * 2020-06-10 2023-08-15 北京百度网讯科技有限公司 知识表示学习方法、装置、设备以及存储介质
CN111680145A (zh) * 2020-06-10 2020-09-18 北京百度网讯科技有限公司 知识表示学习方法、装置、设备以及存储介质
CN112035629A (zh) * 2020-08-17 2020-12-04 北京理工大学 基于符号化知识与神经网络的问答模型的实现方法
CN112000772B (zh) * 2020-08-24 2022-09-06 齐鲁工业大学 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN112000772A (zh) * 2020-08-24 2020-11-27 齐鲁工业大学 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN112463924B (zh) * 2020-11-27 2022-07-05 齐鲁工业大学 面向智能问答基于内部相关性编码的文本意图匹配方法
CN112463924A (zh) * 2020-11-27 2021-03-09 齐鲁工业大学 面向智能问答基于内部相关性编码的文本意图匹配方法
CN112948417A (zh) * 2021-01-29 2021-06-11 上海维外科技有限公司 一种基于选择交互的样本知识聚合度计算方法、系统以及存储介质
CN113761106A (zh) * 2021-09-08 2021-12-07 上海快确信息科技有限公司 一种强化自注意力的债券交易意图识别系统
CN113656660B (zh) * 2021-10-14 2022-06-28 北京中科闻歌科技股份有限公司 跨模态数据的匹配方法、装置、设备及介质
CN113656660A (zh) * 2021-10-14 2021-11-16 北京中科闻歌科技股份有限公司 跨模态数据的匹配方法、装置、设备及介质
CN114780709A (zh) * 2022-03-22 2022-07-22 北京三快在线科技有限公司 文本匹配方法、装置及电子设备
CN116882496A (zh) * 2023-09-07 2023-10-13 中南大学湘雅医院 一种多级逻辑推理的医学知识库构建方法
CN116882496B (zh) * 2023-09-07 2023-12-05 中南大学湘雅医院 一种多级逻辑推理的医学知识库构建方法

Also Published As

Publication number Publication date
CN110083692B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN110083692A (zh) 一种金融知识问答的文本交互匹配方法及装置
CN110032635A (zh) 一种基于深度特征融合神经网络的问题对匹配方法和装置
CN111274800B (zh) 基于关系图卷积网络的推理型阅读理解方法
WO2021164200A1 (zh) 一种基于深度分层编码的智能语义匹配方法和装置
CN112231447B (zh) 一种中文文档事件抽取的方法和系统
CN113051916B (zh) 一种社交网络中基于情感偏移感知的交互式微博文本情感挖掘方法
CN111310439B (zh) 一种基于深度特征变维机制的智能语义匹配方法和装置
CN110222188A (zh) 一种多任务学习的公司公告处理方法及服务端
CN112818105B (zh) 一种融合上下文信息的多轮对话方法及系统
CN111143507B (zh) 一种基于复合式问题的阅读理解方法
CN111914553B (zh) 一种基于机器学习的金融信息负面主体判定的方法
CN108256968A (zh) 一种电商平台商品专家评论生成方法
CN113065358A (zh) 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法
CN109033294A (zh) 一种融入内容信息的混合推荐方法
CN115878904A (zh) 基于深度学习的知识产权个性化推荐方法、系统及介质
CN116796251A (zh) 一种基于图文多模态的不良网站分类方法、系统及设备
CN113220856A (zh) 一种基于中文预训练模型的多轮对话系统
Giveki et al. A new method for image classification and image retrieval using convolutional neural networks
CN113807079A (zh) 一种基于序列到序列的端到端实体和关系联合抽取方法
Sakarwala et al. Use advances in data science and computing power to invest in stock market
CN110287396A (zh) 文本匹配方法及装置
CN114881038A (zh) 基于跨度和注意力机制的中文实体与关系抽取方法及装置
CN115186079A (zh) 基于人物画像的业务问题单分类方法及装置
CN114004220A (zh) 一种基于cpc-ann的文本情绪原因识别方法
CN113326676A (zh) 一种将金融文本结构化为表格的深度学习模型装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant