CN113886531A - 智能问答话术确定方法、装置、计算机设备和存储介质 - Google Patents

智能问答话术确定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113886531A
CN113886531A CN202111266352.8A CN202111266352A CN113886531A CN 113886531 A CN113886531 A CN 113886531A CN 202111266352 A CN202111266352 A CN 202111266352A CN 113886531 A CN113886531 A CN 113886531A
Authority
CN
China
Prior art keywords
score
dialogs
standard
preliminary
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111266352.8A
Other languages
English (en)
Other versions
CN113886531B (zh
Inventor
黄良斌
马双阳
任笑笑
童鑫
彭锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111266352.8A priority Critical patent/CN113886531B/zh
Publication of CN113886531A publication Critical patent/CN113886531A/zh
Application granted granted Critical
Publication of CN113886531B publication Critical patent/CN113886531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Mathematical Physics (AREA)
  • Finance (AREA)
  • Evolutionary Biology (AREA)
  • Marketing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及人工智能领域，提供了一种智能问答话术确定方法、装置、计算机设备和存储介质，获取用户语句，并对用户语句进行预处理得到标准语句；根据标准语句，从预设的话术数据库中获取多个预备话术；根据标准语句计算各个预备话术的第一评分；其中，第一评分基于标准语句与预备话术的问题之间的字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配中的一种或多种计算得到；根据标准语句，通过预设评分模型计算各个预备话术的第二评分；根据第一评分和第二评分计算各个预备话术的目标评分；根据目标评分确定目标话术。通过本申请提供的一种智能问答话术确定方法、装置、计算机设备和存储介质，能够准确的获取到与用户提出的问题匹配的话术。

Description

智能问答话术确定方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能的技术领域，特别涉及一种智能问答话术确定方法、装置、计算机设备和存储介质。
背景技术
在险企数字化转型和以客户为中心的进程下，已有众多的保险公司开始利用通讯程序实现公司、代理人、客户的三端互联，如利用微信或企业微信实现三端互联，客户可以直接在通讯程序上提出问题，根据问题获取到相应的话术进行展示，但目前的话术大都基于意图或者实体单一的特征进行匹配，导致获取到的话术与用户提出的问题之间匹配的准确性较低。
发明内容
本申请的主要目的为提供一种智能问答话术确定方法、装置、计算机设备和存储介质，旨在解决目前话术匹配的准确性较低的技术问题。
为实现上述目的，本申请提供了一种智能问答话术确定方法，包括以下步骤：
获取用户语句，并对所述用户语句进行预处理得到标准语句；
根据所述标准语句，从预设的话术数据库中获取多个预备话术；其中，所述预备话术包括问题和答案；
根据所述标准语句计算各个所述预备话术的第一评分；其中，所述第一评分基于所述标准语句与所述预备话术的问题之间的字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配中的一种或多种计算得到；
根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分；其中，所述预设评分模型基于RE2模型训练得到；
根据各个所述预备话术的所述第一评分和所述第二评分计算各个所述预备话术的目标评分；
根据所述目标评分确定所述用户语句对应的目标话术。
进一步地，所述根据所述标准语句，从预设的话术数据库中获取多个预备话术的步骤之前，包括：
将所述话术数据库的各个预备话术通过预设的分类模型进行分组处理，得到多个话术分组；其中所述预设的分类模型基于LR模型和Deep&wide模型融合训练得到；
计算各个所述话术分组中各个预备话术的问题两两之间的余弦相似度；
在同一所述话术分组中，分别根据各个所述问题与除自身以外的所有问题之间的余弦相似度计算各个所述预备话术的平均相似度；
将同一所述话术分组中平均相似度最高的所述预备话术作为对应的所述话术分组的中心话术；
所述根据所述标准语句，从预设的话术数据库中获取多个预备话术的步骤，包括：
计算所述标准语句与各个所述中心话术之间的相似度；
选择相似度最高的中心话术所在的目标话术分组，并选取所述目标话术分组中所有预备话术作为所述标准语句对应的所述多个预备话术。
进一步地，所述根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分的步骤之前，包括：
获取训练样本，将所述训练样本进行样本增强操作，得到多个训练样本；
提取所述训练样本的特征，通过预设方法对所述训练样本进行特征优化；
将特征优化后的训练样本输入RE2模型进行计算得到输出结果；
通过Focal loss损失函数计算所述训练样本的损失值；
根据所述损失值对所述训练样本进行RE2模型进行迭代训练，得到训练完成的评分模型。
进一步地，所述根据所述目标评分确定所述用户语句对应的目标话术的步骤，包括：
根据所述目标评分进行对所述预备话术降序排列，根据所述排列提取N个预备话术作为推荐话术；
计算各个所述推荐话术与所述标准语句之间的实体是否对齐；
选择实体对齐的所述推荐话术中所述目标评分最高的推荐话术作为目标话术。
进一步地，所述获取用户语句，并对所述用户语句进行预处理得到标准语句的步骤之后，包括：
检测所有所述预备话术中是否都与所述标准语句的意图匹配；
若所有预备话术都未与所述标准语句的意图匹配，展示预设模块；其中，所述预设模块为供用户操作的功能模块。
进一步地，所述根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分的步骤，包括：
根据所述第一评分对各个所述预备话术进行降序排序；
根据排序，通过top-K方法选取k个所述预备话术；其中，所述k小于所述预备话术的个数；
根据所述标准语句，通过预设评分模型计算k个所述预备话术的第二评分。
进一步地，所述根据所述标准语句计算各个所述预备话术的第一评分的步骤，包括：
计算各个所述预备话术与所述标准语句之间的字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分；
通过公式Y＝ak1+bk2+ck3+dk4+ek5计算各个所述预备话术的第一评分，其中，k1至k5分别为字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分，a、b、c、d、e分别为字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分的预设权重。
本申请还提供一种智能问答话术确定装置，包括：
第一获取单元，用于获取用户语句，并对所述用户语句进行预处理得到标准语句；
第二获取单元，用于根据所述标准语句，从预设的话术数据库中获取多个预备话术；其中，所述预备话术包括问题和答案；
第一计算单元，用于根据所述标准语句计算各个所述预备话术的第一评分；其中，所述第一评分基于所述标准语句与所述预备话术的问题之间的字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配中的一种或多种计算得到；
第二计算单元，用于根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分；其中，所述预设评分模型基于RE2模型训练得到；
第三计算单元，用于根据各个所述预备话术的所述第一评分和所述第二评分计算各个所述预备话术的目标评分；
确定单元，用于根据所述目标评分确定所述用户语句对应的目标话术。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的智能问答话术确定方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的智能问答话术确定方法的步骤。
本申请提供的智能问答话术确定方法、装置、计算机设备和存储介质，通过从字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配多个方面去计算第一评分，第一评分高的代表在这多个方面的匹配度较高，再通过训练好的评分模型去计算第二评分，评分模型基于RE2模型训练得到，能够准确的根据标准语句的特征对预备话术进行评分，再融合两种评分去计算目标评分，目标评分结合了多种方面的匹配以及标准语句的特征，根据目标评分去确定目标话术，能够快速、准确的找到用户输入语句对应的目标话术。
附图说明
图1是本申请一实施例中智能问答话术确定方法步骤示意图；
图2是本申请一实施例中智能问答话术确定装置结构框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例提供一种智能问答话术确定方法，包括以下步骤：
步骤S1，获取用户语句，并对所述用户语句进行预处理得到标准语句；
步骤S2，根据所述标准语句，从预设的话术数据库中获取多个预备话术；其中，所述预备话术包括问题和答案；
步骤S3，根据所述标准语句计算各个所述预备话术的第一评分；其中，所述第一评分基于所述标准语句与所述预备话术的问题之间的字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配中的一种或多种计算得到；
步骤S4，根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分；其中，所述预设评分模型基于RE2模型训练得到；
步骤S5，根据各个所述预备话术的所述第一评分和所述第二评分计算各个所述预备话术的目标评分；
步骤S6，根据所述目标评分确定所述用户语句对应的目标话术。
本实施例中，如上述步骤S1所述，用户语句为用户输入的想要得到答案的语句，可以是文字或语音，若是语音，将语音转换为文字便于后续处理，对用户语句进行预处理得到标准语句，预处理可包括分词处理、实体识别、实体归一化、纠错处理、关键词提取、句子表征、意图识别、问题改写和上下文词中的一种或多种。
具体的，可通过结巴分词，HanLP等进行分词处理；通过预设的实体提取模型提取用户语句中的实体；可通过TF-IDF提取关键词。TF-IDF(TermFrequency-InverseDocumentFrequency，词频-逆文档频率)是一种统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF用于评估一个词在预备话术中的重要程度，具体公式为
Figure BDA0003327097570000051
nw,d为词w在预备话术d中出现的次数，{wd}表示预备话术d中所有词的集合；IDF表示逆文档频率，具体公式为：
Figure BDA0003327097570000052
nw代表包含词w的预备话术数目。TF-IDF为TF和IDF的乘积，TF-IDF(w，d)＝TF(w，d)×IDF(w，d)；通过One-hot、word2vec等构建用户语句的表征向量；意图识别是通过分类的办法将用户语句分到相应的意图种类。
如上述步骤S2所述，话术数据库中包括有多个预备话术，预备话术包括问题和答案，预备话术的问题通过经过预处理后存储在话术数据库中。通过标准语句的关键词从话术数据库中提取若干个预备话术，具体的，可根据标准语句的关键词从话术数据库中提取，同时对标准语句的关键词进行同义词扩展，得到更多的关键词，从而获取更多的预备话术。在另一实施例中，通过预设的分类模型对话术数据库中的预备话术进行分类，得到多个类别的话术分组，分类模型基于LR模型和Deep&wide模型的融合训练得到，将与标准语句处于同一类别的预备话术提取出来。
如上述步骤S3所述，从字面得分、关键词得分、实体对齐、语义得分和意图对齐5个方面进行不同维度的打分，对每个方面赋予一个权重，计算最终的加权平均数作为第一评分，在这个过程中，会通过较为明确的规则特征，专业性较强的业务特征等进行多维度的特征相关性计算，从而过滤掉一些相关性低的答案。
具体的，字面得分即将标准语句与预备话术的问题之间的字面相似度，具体的，可通过计算两者之间的余弦相似度，欧几里得距离等进行字面匹配，当两者之间的相似度超过预设相似度阈值，则字面得分可为1，若两者之间的相似度未超过相似度阈值，则字面得分为0。
关键词得分为标准语句与预备话术的问题之间的关键词重合比例，通过重合的关键词个数处于标准语句的关键词个数得到重合比例，当重合比例超过关键词阈值，则标准语句与预备话术之间的关键词得分为1，反之为0。具体的，标准语句所提取到的关键词有3个，预备话术A的关键词有4个，其中，标准语句与预备话术A的关键词之间有2个关键词是相同的，则标准语句与预备话术A的重合比例为两者之间相同的关键词的个数除以标准语句的关键词的个数，即2/3。
实体对齐，旨在判断两个或者多个不同信息来源的实体是否为指向真实世界中同一个对象。如果多个实体表征同一个对象，则在这些实体之间构建对齐关系，同时对实体包含的信息进行融合和聚集。当标准语句与预备话术之间的实体能对齐，则可得到实体对齐预设的分值，如1分，反之则0分。具体的，预先基于BERT(Bidirectional EncoderRepresentations from Transformers)模型训练有实体提取模型，通过实体提取模型提取标准语句和各个预备话术的实体，当两者之间的实体相同时，则两者之间的实体对齐。
语义得分，通过语义分析方法得到用户语句的语义，将用户语句的语义与预备话术的问题的语义进行比较，当两者之间的语义相同，则语义得分可为1分，反之则为0分；具体的，通过预设的语义模型得到标准语句和预备话术的问题各自所对应的的句子表征向量，语义模型可基于自注意力机制训练得到，计算标准语句的句子表征向量和预备话术的问题的句子表征向量之间的相似度，当两者之间的相似度大于预设的相似度阈值，则可人为两者之间的语义相同。
同样的，意图匹配，通过意图提取方法得到用户语句的意图，将用户语句的意图与预备话术的问题的意图进行比较，当两者之间的意图相同，则意图匹配的得分可为1分，反之则为0分。预先通过训练样本对神经网络模型进行训练得到一个意图识别模型，通过意图识别模型提取标准语句和预备话术的意图，如标准语句的意图是咨询保险A的投保年龄，若预备话术B的意图是保险B的投保年龄，则两者之间的意图不匹配。
如上述步骤S4所述，评分模型基于RE2(Residual vectors；Embedding vectors；Encoded vectors)模型训练得到，RE2模型包括对齐层、融合层、和预测层，标准语句和预备话术这两个文本序列在预测层前对称处理，除预测层中参数外的所有参数在两个序列之间共享。
其中，对齐融合层的输入分为三个部分：原始点态特征(嵌入向量，用空白矩形表示)、先前对齐特征(剩余向量，用对角线矩形表示)和上下文特征(编码向量，用实矩形表示)。为了给对齐过程提供更丰富的特性，RE2采用了增强版的剩余连接来连接连续块。在增强剩余连接的情况下，对齐层和融合层的输入分为三个部分，即原始的点方向特征(嵌入向量)、先前对齐特征(残差向量)和后编码层上下文特征(编码向量)。这三个部分在文本匹配过程中都起到了互补的作用，通过RE2模型训练得到的评分模型能够更加准确的对预备话术进行评分。
如上述步骤S5所述，将第一评分和第二评分进行加权求和，如第一评分的预设权重为0.3，第二评分的预设权重为0.7，通过Y＝0.3X1+0.7X2计算目标评分，X1为第一评分，X2为第二评分，通过对第一评分和第二评分进行加权求和，更注重第二评分。
如上述步骤S6所述，通过上述步骤计算，便会得到综合处理过的各个预备话术根据目标评分按照降序进行排序的列表，排序在第一的预备话术会成为用户语句的最优答案，排序在第二至第六的会成为相似问答案。
本实施例中，通过从字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配多个方面去计算第一评分，再通过训练好的评分模型去计算第二评分，再融合两种评分去计算目标评分，根据目标评分确定目标话术，能够快速、准确的找到用户输入语句对应的目标话术。当应用在核保内勤上时，能够提高核保咨询的服务效率。
在一实施例中，所述根据所述标准语句，从预设的话术数据库中获取多个预备话术的步骤S2之前，包括：
步骤S2A，将所述话术数据库的各个预备话术通过预设的分类模型进行分组处理，得到多个话术分组；其中所述预设的分类模型基于LR模型和Deep&wide模型融合训练得到；
步骤S2B，计算各个所述话术分组中各个预备话术的问题两两之间的余弦相似度；
步骤S2C，在同一所述话术分组中，分别根据各个所述问题与除自身以外的所有问题之间的余弦相似度计算各个所述预备话术的平均相似度；
步骤S2D，将同一所述话术分组中平均相似度最高的所述预备话术作为对应的所述话术分组的中心话术；
所述根据所述标准语句，从预设的话术数据库中获取多个预备话术的步骤S2，包括：
步骤S21，计算所述标准语句与各个所述中心话术之间的相似度；
步骤S22，选择相似度最高的中心话术所在的目标话术分组，并选取所述目标话术分组中所有预备话术作为所述标准语句对应的所述多个预备话术。
本实施例中，分类模型基于LR(Logistic Regression，逻辑回归)模型和Deep&wide模型融合得到，通过LR模型生成预备话术的问题的特征向量，再将特征向量作为Deep&wide模型的输入进行后续的分类，Deep&wide模型分为两个部分wide部分和Deep部分，wide部分是个广义线性模型：Deep输入的是稀疏特征，首先将其转化为低纬稠密特征(训练得到)，再输入接下来的若干层的Deep网络中：Deep&wide通过联合训练得到结果，即Deep部分和wide部分同时训练，loss同时传回这两个部分进行训练。
每个话术分组中包括有一个或多个预备话术，当预备话术在两个以上时，计算预备话术的问题与标准语句两两之间的相似度，如一个话术分组中包括有4个预备话术A、B、C、D，计算两两之间的相似度，即得到6个相似度，计算各个预备话术的平均相似度，即A的平均相似度是由A-B、A-C、A-D的相似度求算数平均数得到的，A-B代表预备话术A和预备话术B，其余同理。将每个话术分组中平均相似度最高的那个预备话术组作为中心预备话术，当有两个预备话术的平均相似度相等时，任选其一作为中心预备话术即可，因为同一话术分组中的预备话术相似度较高，任选其一作为中心预备话术也能代表整个话术分组。在后续获取预备话术时，计算用户语句与各个分组的中心预备话术的相似度，选择相似度最高的分组中的所有预备话术作为后续评分的基础。
在一实施例中，所述根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分的步骤S4之前，包括：
步骤S4A，获取训练样本，将所述训练样本进行样本增强操作，得到多个训练样本；
步骤S4B，提取所述训练样本的特征，通过预设方法对所述训练样本进行特征优化；
步骤S4C，将特征优化后的训练样本输入RE2模型进行计算得到输出结果；
步骤S4D，通过Focal loss损失函数计算所述训练样本的损失值；
步骤S4E，根据所述损失值对所述训练样本进行RE2模型进行迭代训练，得到训练完成的评分模型。
本实施例中，如上述步骤S4A所述，对训练样本进行样本增强操作，例如根据bad-case构造训练样本；对训练样本随机增删改字/词构造训练样本；通过Ensemble的多种预训练模型增加训练样本等，预训练模型包括Bert(Bidirectional Encoder Representationfrom Transformers)模型、Xlnet模型、ELECTRA(Efficiently Learning an Encoder thatClassifies Token Replacements Accurately)模型。
如上述步骤S4B所述，对训练样本的特征进行特征优化，例如使用Deep&wide模型增加字面、实体、长度、语义等特征；融合term weight到attention对齐矩阵中。通过特征优化，使得训练样本能够得到更多的特征，提高后续的评分准确性。
如上述步骤S4C所述，将训练样本输入到RE2模型进行训练，首先是进行embedding层，然后经过一个神经网络的特征提取层，将两个句子分别变成向量。然后通过attention的句子交互以及一些融合操作，得到两个句子的交互向量，最后再经过pooling以及全连接网络进行分类。得到对应的输出结果，通过Focal loss损失函数计算损失值，Focal loss是在交叉熵损失函数基础上进行的修改，Focal loss在原有的基础上加了一个因子，其中gamma>0使得减少易分类样本的损失，使得更关注于困难的、错分的样本。加入平衡因子alpha，用来平衡正负样本本身的比例不均的问题，gamma调节简单样本权重降低的速率，当gamma为0时，Focal loss即为交叉熵损失函数，当gamma增加时，调整因子的影响也在增加。
本实施例中，第二评分是在有限的召回结果上利用更复杂的模型进行精细的评分，能够更加准确的进行评分。
在一实施例中，所述根据所述目标评分确定所述用户语句对应的目标话术的步骤S6，包括：
步骤S61，根据所述目标评分对所述预备话术进行降序排列，根据所述排列提取N个预备话术作为推荐话术；
步骤S62，计算各个所述推荐话术与所述标准语句之间的实体是否对齐；
步骤S63，选择实体对齐的所述推荐话术中所述目标评分最高的推荐话术作为目标话术。
本实施例中，如上述步骤S61所述，计算得到各个预备话术的目标评分，根据目标评分对预备话术进行降序排序，选取排名选择N个预备话术作为推荐话术，如，选取排名前6的预备话术作为推荐话术。
如上述步骤S62-S63所述，进行实体对齐，如前述在计算第一评分的实体匹配一致，将实体不匹配的推荐话术不作为目标话术对用户进行展示，这个6个推荐话术中可能存在4个推荐话术的实体与标准语句的实体对齐，在这4个推荐话术中选择目标评分最高的那个推荐话术作为目标话术对用户进行展示。
本实施例中，选择目标话术时，不单单依据目标评分进行选择，还将实体对齐作为一种硬性条件对推荐话术进行规定，使得最终选择的目标话术与用户语句的实体一定是匹配的，能够更加准确的得到用户语句的答案。
在另一实施例中，得到推荐话术后，会提取标准语句的机构对象或地点对象等特定特征词，当标准语句中存在特定特征词时，需检测推荐话术中是否存在相同的特定特征词，若存在，再从推荐话术中选择目标评分最高的那个推荐话术作为目标话术对用户进行展示。
在一实施例中，所述获取用户语句，并对所述用户语句进行预处理得到标准语句的步骤S1之后，包括：
检测所有所述预备话术中是否都与所述标准语句的意图匹配；
若所有预备话术都未与所述标准语句的意图匹配，展示预设模块；其中，所述预设模块为供用户操作的功能模块。
本实施例中，搭建了企业微信核保咨询服务平台，在平台中，当标准语句都未与预备话术的意图匹配到，表明用户输入的用户语句没有明显的意图，无法确定用户语句对应的答案，因此向用户展示一些预设模块，供用户操作，例如想找平安福相关的投保规则(包含投保年龄限制、投保职业限制、健康限制等)时，可通过专门的产品规则模块去查找对应答案；除了产品规则分类，还提供疾病核保、投保指南、理赔指南等分类查找能力；在其他实施例中，例如就想随便看看最近代理人们主要在关注哪些核保问题时，可通过知识问答模块的猜你想问、最热、最新等列表，查看平台根据核保人查看行为、根据平台内其他核保人最近经常通过机器人或搜索主动查询、以及根据知识库内容的最近更新等多个维度推荐的核保问题，辅助核保管家无论任何咨询场景，都可以快速找到对应的核保答案。
在一实施例中，所述根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分的步骤S4，包括：
根据所述第一评分对各个所述预备话术进行降序排序；
根据排序，通过top-K方法选取k个所述预备话术；其中，所述k小于所述预备话术的个数；
根据所述标准语句，通过预设评分模型计算k个所述预备话术的第二评分。
本实施例中，通过top-K方法选取k个预备话术，top-K方法能够从海量的预备话术中选出排名前k个预备话术，这k个预备话术的第一评分较高，未被选取到的预备话术的第一评分较低，无需后续计算第二评分，减少计算量。
在一实施例中，所述根据所述标准语句计算各个所述预备话术的第一评分的步骤，包括：
计算各个所述预备话术与所述标准语句之间的字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分；
通过公式Y＝ak1+bk2+ck3+dk4+ek5计算各个所述预备话术的第一评分，其中，k1至k5分别为字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分，a、b、c、d、e分别为字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分的预设权重。
本实施例中，每种匹配都能得到对应的得分，通过上述5种得分计算第一评分，每个得分都预先设置有一个权重值，如上述字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配的预设权重依次为0.4、0.2、0.2、0.1、0.1，用户的第一评分可为Y＝0.4*1+0.2*1+0.2*0+0.1*0+0.1*1＝0.7。
参见图2，本申请一实施例提供了一种智能问答话术确定装置，包括：
第一获取单元10，用于获取用户语句，并对所述用户语句进行预处理得到标准语句；
第二获取单元20，用于根据所述标准语句，从预设的话术数据库中获取多个预备话术；其中，所述预备话术包括问题和答案；
第一计算单元30，用于根据所述标准语句计算各个所述预备话术的第一评分；其中，所述第一评分基于所述标准语句与所述预备话术的问题之间的字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配中的一种或多种计算得到；
第二计算单元40，用于根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分；其中，所述预设评分模型基于RE2模型训练得到；
第三计算单元50，用于根据各个所述预备话术的所述第一评分和所述第二评分计算各个所述预备话术的目标评分；
确定单元60，用于根据所述目标评分确定所述用户语句对应的目标话术。
在一实施例中，所述智能问答话术确定装置，包括：
分组处理单元，用于将所述话术数据库的各个预备话术通过预设的分类模型进行分组处理，得到多个话术分组；其中所述预设的分类模型基于LR模型和Deep&wide模型融合训练得到；
第四计算单元，用于计算各个所述话术分组中各个预备话术的问题两两之间的余弦相似度；
第五计算单元，用于在同一所述话术分组中，分别根据各个所述问题与除自身以外的所有问题之间的余弦相似度计算各个所述预备话术的平均相似度；
作为单元，用于将同一所述话术分组中平均相似度最高的所述预备话术作为对应的所述话术分组的所述中心话术；
所述第二获取单元20，包括：
第一计算子单元，用于计算所述标准语句与各个所述中心话术之间的相似度；
选择子单元，用于选择相似度最高的中心话术所在的目标话术分组，并选取所述目标话术分组中所有预备话术作为所述标准语句对应的所述多个预备话术。
在一实施例中，所述智能问答话术确定装置，包括：
第三获取单元，用于获取训练样本，将所述训练样本进行样本增强操作，得到多个训练样本；
提取单元，用于提取所述训练样本的特征，通过预设方法对所述训练样本进行特征优化；
输入单元，用于将特征优化后的训练样本输入RE2模型进行计算得到输出结果；
第六计算单元，用于通过Focalloss损失函数计算所述训练样本的损失值；
迭代训练单元，用于根据所述损失值对所述训练样本进行RE2模型进行迭代训练，得到训练完成的评分模型。
在一实施例中，所述确定单元60，包括：
降序排列子单元，用于根据所述目标评分对所述预备话术进行降序排列，根据所述排列提取N个预备话术作为推荐话术；
第二计算子单元，用于计算各个所述推荐话术与所述标准语句之间的实体是否对齐；
选择子单元，用于选择实体对齐的所述推荐话术中所述目标评分最高的推荐话术作为目标话术。
在一实施例中，所述智能问答话术确定装置，包括：
检测单元，用于检测所有所述预备话术中是否都与所述标准语句的意图匹配；
展示单元，用于若所有预备话术都未与所述标准语句的意图匹配，展示预设模块；其中，所述预设模块为供用户操作的功能模块。
在一实施例中，所述第二计算单元40，包括：
排序子单元，用于根据所述第一评分对各个所述预备话术进行降序排序；
选取子单元，用于根据排序，通过top-K方法选取k个所述预备话术；其中，所述k小于所述预备话术的个数；
第三计算子单元，用于根据所述标准语句，通过预设评分模型计算k个所述预备话术的第二评分。
在一实施例中，所述第一计算单元30，包括：
第四计算子单元，用于计算各个所述预备话术与所述标准语句之间的字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分；
第五计算子单元，用于通过公式Y＝ak1+bk2+ck3+dk4+ek5计算各个所述预备话术的第一评分，其中，k1至k5分别为字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分，a、b、c、d、e分别为字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分的预设权重。
在本实施例中，上述各个单元、子单元的具体实现请参照上述方法实施例中所述，在此不再进行赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种智能问答话术确定方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种智能问答话术确定方法。
综上所述，为本申请实施例中提供的智能问答话术确定方法、装置、计算机设备和存储介质，获取用户语句，并对所述用户语句进行预处理得到标准语句；根据所述标准语句，从预设的话术数据库中获取多个预备话术；其中，所述预备话术包括问题和答案；根据所述标准语句计算各个所述预备话术的第一评分；其中，所述第一评分基于所述标准语句与所述预备话术的问题之间的字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配中的一种或多种计算得到；根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分；其中，所述预设评分模型基于RE2模型训练得到；根据各个所述预备话术的所述第一评分和所述第二评分计算各个所述预备话术的目标评分；根据所述目标评分确定所述用户语句对应的目标话术。本申请通过从字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配多个方面去计算第一评分，再通过训练好的评分模型去计算第二评分，再融合两种评分去计算目标评分，根据目标评分确定目标话术，能够快速、准确的找到用户输入语句对应的目标话术。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种智能问答话术确定方法，其特征在于，包括以下步骤：
获取用户语句，并对所述用户语句进行预处理得到标准语句；
根据所述标准语句，从预设的话术数据库中获取多个预备话术；其中，所述预备话术包括问题和答案；
根据所述标准语句计算各个所述预备话术的第一评分；其中，所述第一评分基于所述标准语句与所述预备话术的问题之间的字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配中的一种或多种计算得到；
根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分；其中，所述预设评分模型基于RE2模型训练得到；
根据各个所述预备话术的所述第一评分和所述第二评分计算各个所述预备话术的目标评分；
根据所述目标评分确定所述用户语句对应的目标话术。
2.根据权利要求1所述的智能问答话术确定方法，其特征在于，所述根据所述标准语句，从预设的话术数据库中获取多个预备话术的步骤之前，包括：
将所述话术数据库的各个预备话术通过预设的分类模型进行分组处理，得到多个话术分组；其中所述预设的分类模型基于LR模型和Deep&wide模型融合训练得到；
计算各个所述话术分组中各个预备话术的问题两两之间的余弦相似度；
在同一所述话术分组中，分别根据各个所述问题与除自身以外的所有问题之间的余弦相似度计算各个所述预备话术的平均相似度；
将同一所述话术分组中平均相似度最高的所述预备话术作为对应的所述话术分组的中心话术；
所述根据所述标准语句，从预设的话术数据库中获取多个预备话术的步骤，包括：
计算所述标准语句与各个所述中心话术之间的相似度；
选择相似度最高的中心话术所在的目标话术分组，并选取所述目标话术分组中所有预备话术作为所述标准语句对应的所述多个预备话术。
3.根据权利要求1所述的智能问答话术确定方法，其特征在于，所述根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分的步骤之前，包括：
获取训练样本，将所述训练样本进行样本增强操作，得到多个训练样本；
提取所述训练样本的特征，通过预设方法对所述训练样本进行特征优化；
将特征优化后的训练样本输入RE2模型进行计算得到输出结果；
通过Focal loss损失函数计算所述训练样本的损失值；
根据所述损失值对所述训练样本进行RE2模型进行迭代训练，得到训练完成的评分模型。
4.根据权利要求1所述的智能问答话术确定方法，其特征在于，所述根据所述目标评分确定所述用户语句对应的目标话术的步骤，包括：
根据所述目标评分对所述预备话术进行降序排列，根据所述排列提取N个预备话术作为推荐话术；
计算各个所述推荐话术与所述标准语句之间的实体是否对齐；
选择实体对齐的所述推荐话术中所述目标评分最高的推荐话术作为目标话术。
5.根据权利要求1所述的智能问答话术确定方法，其特征在于，所述获取用户语句，并对所述用户语句进行预处理得到标准语句的步骤之后，包括：
检测所有所述预备话术中是否都与所述标准语句的意图匹配；
若所有预备话术都未与所述标准语句的意图匹配，展示预设模块；其中，所述预设模块为供用户操作的功能模块。
6.根据权利要求1所述的智能问答话术确定方法，其特征在于，所述根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分的步骤，包括：
根据所述第一评分对各个所述预备话术进行降序排序；
根据排序，通过top-K方法选取k个所述预备话术；其中，所述k小于所述预备话术的个数；
根据所述标准语句，通过预设评分模型计算k个所述预备话术的第二评分。
7.根据权利要求1所述的智能问答话术确定方法，其特征在于，所述根据所述标准语句计算各个所述预备话术的第一评分的步骤，包括：
计算各个所述预备话术与所述标准语句之间的字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分；
通过公式Y＝ak1+bk2+ck3+dk4+ek5计算各个所述预备话术的第一评分，其中，k1至k5分别为字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分，a、b、c、d、e分别为字面匹配得分、关键词匹配得分、实体匹配得分、语义匹配得分和意图匹配得分的预设权重。
8.一种智能问答话术确定装置，其特征在于，包括：
第一获取单元，用于获取用户语句，并对所述用户语句进行预处理得到标准语句；
第二获取单元，用于根据所述标准语句，从预设的话术数据库中获取多个预备话术；其中，所述预备话术包括问题和答案；
第一计算单元，用于根据所述标准语句计算各个所述预备话术的第一评分；其中，所述第一评分基于所述标准语句与所述预备话术的问题之间的字面匹配、关键词匹配、实体匹配、语义匹配和意图匹配中的一种或多种计算得到；
第二计算单元，用于根据所述标准语句，通过预设评分模型计算各个所述预备话术的第二评分；其中，所述预设评分模型基于RE2模型训练得到；
第三计算单元，用于根据各个所述预备话术的所述第一评分和所述第二评分计算各个所述预备话术的目标评分；
确定单元，用于根据所述目标评分确定所述用户语句对应的目标话术。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的智能问答话术确定方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的智能问答话术确定方法的步骤。
CN202111266352.8A 2021-10-28 2021-10-28 智能问答话术确定方法、装置、计算机设备和存储介质 Active CN113886531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111266352.8A CN113886531B (zh) 2021-10-28 2021-10-28 智能问答话术确定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111266352.8A CN113886531B (zh) 2021-10-28 2021-10-28 智能问答话术确定方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113886531A true CN113886531A (zh) 2022-01-04
CN113886531B CN113886531B (zh) 2024-08-02

Family

ID=79014172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111266352.8A Active CN113886531B (zh) 2021-10-28 2021-10-28 智能问答话术确定方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113886531B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519094A (zh) * 2022-02-16 2022-05-20 平安普惠企业管理有限公司 基于随机状态的话术推荐方法、装置及电子设备
CN114969339A (zh) * 2022-05-30 2022-08-30 中电金信软件有限公司 一种文本匹配方法、装置、电子设备及可读存储介质
CN115168537A (zh) * 2022-06-30 2022-10-11 北京百度网讯科技有限公司 语义检索模型的训练方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767765A (zh) * 2019-01-17 2019-05-17 平安科技（深圳）有限公司 话术匹配方法及装置、存储介质、计算机设备
CN110309279A (zh) * 2019-05-23 2019-10-08 平安国际智慧城市科技股份有限公司 基于语言模型的话语训练方法、装置及计算机设备
US20200050636A1 (en) * 2016-10-24 2020-02-13 Koninklijke Philips N.V. Multi domain real-time question answering system
CN111160017A (zh) * 2019-12-12 2020-05-15 北京文思海辉金信软件有限公司 关键词抽取方法、话术评分方法以及话术推荐方法
US20200210462A1 (en) * 2018-12-30 2020-07-02 Paypal, Inc. Identifying False Positives Between Matched Words
CN112328813A (zh) * 2020-10-30 2021-02-05 中国平安人寿保险股份有限公司 基于ai的推荐信息生成方法、装置及计算机设备
CN113254624A (zh) * 2021-07-07 2021-08-13 中国平安人寿保险股份有限公司 基于人工智能的智能问答处理方法、装置、设备及介质
CN113434651A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 话术推荐方法、装置及相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200050636A1 (en) * 2016-10-24 2020-02-13 Koninklijke Philips N.V. Multi domain real-time question answering system
US20200210462A1 (en) * 2018-12-30 2020-07-02 Paypal, Inc. Identifying False Positives Between Matched Words
CN109767765A (zh) * 2019-01-17 2019-05-17 平安科技（深圳）有限公司 话术匹配方法及装置、存储介质、计算机设备
CN110309279A (zh) * 2019-05-23 2019-10-08 平安国际智慧城市科技股份有限公司 基于语言模型的话语训练方法、装置及计算机设备
CN111160017A (zh) * 2019-12-12 2020-05-15 北京文思海辉金信软件有限公司 关键词抽取方法、话术评分方法以及话术推荐方法
CN112328813A (zh) * 2020-10-30 2021-02-05 中国平安人寿保险股份有限公司 基于ai的推荐信息生成方法、装置及计算机设备
CN113434651A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 话术推荐方法、装置及相关设备
CN113254624A (zh) * 2021-07-07 2021-08-13 中国平安人寿保险股份有限公司 基于人工智能的智能问答处理方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519094A (zh) * 2022-02-16 2022-05-20 平安普惠企业管理有限公司 基于随机状态的话术推荐方法、装置及电子设备
CN114969339A (zh) * 2022-05-30 2022-08-30 中电金信软件有限公司 一种文本匹配方法、装置、电子设备及可读存储介质
CN115168537A (zh) * 2022-06-30 2022-10-11 北京百度网讯科技有限公司 语义检索模型的训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113886531B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN111160017B (zh) 关键词抽取方法、话术评分方法以及话术推荐方法
CN111708873B (zh) 智能问答方法、装置、计算机设备和存储介质
WO2021042503A1 (zh) 信息分类抽取方法、装置、计算机设备和存储介质
CN110727779A (zh) 基于多模型融合的问答方法及系统
CN113886531B (zh) 智能问答话术确定方法、装置、计算机设备和存储介质
CN111611807B (zh) 一种基于神经网络的关键词提取方法、装置及电子设备
CN113094578B (zh) 基于深度学习的内容推荐方法、装置、设备及存储介质
CN112069298A (zh) 基于语义网和意图识别的人机交互方法、设备及介质
CN113312501A (zh) 基于知识图谱的安全知识自助查询系统的构建方法及装置
CN111222305A (zh) 一种信息结构化方法和装置
WO2021204017A1 (zh) 文本意图识别方法、装置以及相关设备
CN114678014A (zh) 意图识别方法、装置、计算机设备及计算机可读存储介质
CN113220862A (zh) 标准问识别方法、装置及计算机设备及存储介质
CN115827819A (zh) 一种智能问答处理方法、装置、电子设备及存储介质
CN113449084A (zh) 基于图卷积的关系抽取方法
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN110377618B (zh) 裁决结果分析方法、装置、计算机设备和存储介质
CN111460114A (zh) 检索方法、装置、设备及计算机可读存储介质
CN117332788B (zh) 一种基于英语口语文本的语义分析方法
CN114491023A (zh) 一种文本处理方法、装置、电子设备和存储介质
CN114330318A (zh) 一种金融领域中文细粒度实体识别方法及装置
CN112749530B (zh) 文本编码方法、装置、设备及计算机可读存储介质
WO2021217866A1 (zh) 用于ai智能面试的识别的方法、装置、计算机设备及存储介质
CN110362592B (zh) 裁决指引信息推送方法、装置、计算机设备和存储介质
CN117076946A (zh) 一种短文本相似度确定方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant