CN113987151A - 智能客服回复方法及装置 - Google Patents

智能客服回复方法及装置 Download PDF

Info

Publication number
CN113987151A
CN113987151A CN202111276612.XA CN202111276612A CN113987151A CN 113987151 A CN113987151 A CN 113987151A CN 202111276612 A CN202111276612 A CN 202111276612A CN 113987151 A CN113987151 A CN 113987151A
Authority
CN
China
Prior art keywords
question
answer
knowledge
model
customer service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111276612.XA
Other languages
English (en)
Inventor
刘宇琦
田林
朱阿龙
张亚泽
狄潇然
李瑞男
豆敏娟
张靖羚
刘琦
何聪聪
石慧彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202111276612.XA priority Critical patent/CN113987151A/zh
Publication of CN113987151A publication Critical patent/CN113987151A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能领域，提供一种智能客服回复方法及装置，该方法包括：若未查询到问题的答案，将人工客服回复的问题的答案，反馈给用户；对人工客服回复的问题的答案进行语义识别，按照问题类型，将问答数据分类后存储至实时批量知识库中；利用SpanBERT模型，对FAQ知识库进行训练得到语义知识，通过知识蒸馏方法得到base模型；基于base模型，调整每种类型词性的权重，得到调整后的TinyBERT模型；利用TinyBERT模型，对实时批量知识库进行训练，得到增量问答知识，存储入FAQ知识库中。针对知识库无法回复的问题，人工客服回复后，及时记录问答数据，进行训练整理后，更新至知识库中，实现回复智能化。

Description

智能客服回复方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种智能客服回复方法及装置。
背景技术
客服作为银行与用户之间建立信任关系的桥梁，其提供良好的用户体验不仅可以维护企业信誉，同时也可以方便用户解决问题。随着智能客服的出现，极大地提高的人工客服工作效率。
但是目前客服系统中大多数问题与答案的数据，来自于预先建立的FAQ知识库，一般通过知识图谱与智能问答系统交互模块，实现多轮问答，然后将用户的问句输入分类模型，最终通过模型反馈问句类别结果，将对应的答案反馈给用户。通过将问题答案结果进行分类，根据分类级别返回不同答案，这种答案往往都是根据现有的语料中所拥有的数据集进行回答，依赖性较强，适合回答规律的问题。而对于不规律的问题，回复的内容缺少多样性，机器无法表征更丰富的信息，使得用户体验感不佳。且FAQ知识库不能及时更新，导致需要更多地借助人工客服，来获取想要答案，没有做到真正的智能化，增加了人工客服的工作量。
发明内容
本发明实施例提供一种智能客服回复方法，用以改善用户体验，实现回复智能化，减少人工客服的工作量，该方法包括：
接收用户输入的问题，在预先建立的FAQ知识库中查询所述问题的答案；
若未查询到所述问题的答案，向人工客服发送所述问题，接收人工客服回复的所述问题的答案，将人工客服回复的所述问题的答案，反馈给用户；
对人工客服回复的所述问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；
利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；
基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；
利用调整后的TinyBERT模型，对所述实时批量知识库进行训练，得到增量问答知识，将所述增量问答知识存储入所述FAQ知识库中。
本发明实施例还提供一种智能客服回复装置，用以改善用户体验，实现回复智能化，减少人工客服的工作量，该装置包括：
答案查找模块，用于接收用户输入的问题，在预先建立的FAQ知识库中查询所述问题的答案；
人工回复模块，用于若未查询到所述问题的答案，向人工客服发送所述问题，接收人工客服回复的所述问题的答案，将人工客服回复的所述问题的答案，反馈给用户；
问答数据存储模块，用于对人工客服回复的所述问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；
知识蒸馏模块，用于利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；
模型调整模块，用于基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；
知识库更新模块，用于利用调整后的TinyBERT模型，对所述实时批量知识库进行训练，得到增量问答知识，将所述增量问答知识存储入所述FAQ知识库中。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述智能客服回复方法。
本发明实施例也提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述智能客服回复方法的计算机程序。
本发明实施例中，通过接收用户输入的问题，在预先建立的FAQ知识库中查询问题的答案；若未查询到问题的答案，向人工客服发送问题，接收人工客服回复的问题的答案，将人工客服回复的问题的答案，反馈给用户；对人工客服回复的问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；利用调整后的TinyBERT模型，对实时批量知识库进行训练，得到增量问答知识，将增量问答知识存储入FAQ知识库中。针对知识库无法回复的问题，人工客服回复后，及时记录问答数据，进行训练整理后，更新至知识库中，不断丰富知识库的语义理解，从而不断提高知识库的回答准确性和全面性，从而实现回复智能化，减少人工客服的工作量，并改善用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中智能客服回复方法的示意图。
图2为本发明具体实施例中步骤103的具体实现过程示意图。
图3为本发明具体实施例中步骤105的具体实现过程示意图。
图4为本发明具体实施例中步骤106的具体实现过程示意图。
图5为本发明具体实例中智能客服回复的工作逻辑示意图。
图6为本发明实施例中智能客服回复装置的示意图。
图7为本发明实施例中一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种智能客服回复方法，用以改善用户体验，实现回复智能化，减少人工客服的工作量，如图1所示，该方法包括：
步骤101：接收用户输入的问题，在预先建立的FAQ知识库中查询该问题的答案；
步骤102：若未查询到该问题的答案，向人工客服发送该问题，接收人工客服回复的该问题的答案，将人工客服回复的该问题的答案，反馈给用户；
步骤103：对人工客服回复的该问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；
步骤104：利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；
步骤105：基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；
步骤106：利用调整后的TinyBERT模型，对该实时批量知识库进行训练，得到增量问答知识，将该增量问答知识存储入该FAQ知识库中。
由图1所示流程可以得知，本发明实施例中，通过接收用户输入的问题，在预先建立的FAQ知识库中查询问题的答案；若未查询到问题的答案，向人工客服发送问题，接收人工客服回复的问题的答案，将人工客服回复的问题的答案，反馈给用户；对人工客服回复的问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；利用调整后的TinyBERT模型，对实时批量知识库进行训练，得到增量问答知识，将增量问答知识存储入FAQ知识库中。针对知识库无法回复的问题，人工客服回复后，及时记录问答数据，进行训练整理后，更新至知识库中，不断丰富知识库的语义理解，从而不断提高知识库的回答准确性和全面性，从而实现回复智能化，减少人工客服的工作量，并改善用户体验。
具体实施时，首先接收用户输入的问题，在预先建立的FAQ知识库中查询该问题的答案。其中，FAQ(Frequently Asked Questions)知识库是提前根据常见的问答数据，以及历史上的问答情况，将问答数据整理成不同分类知识的知识库。若能够查询到该问题的答案，直接将此答案反馈给用户。
若未查询到该问题的答案，向人工客服发送该问题，接收人工客服回复的该问题的答案，将人工客服回复的该问题的答案，反馈给用户。
对人工客服回复的该问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中。具体实施时，对人工客服回复的该问题的答案进行语义识别，得到问答数据，具体过程，如图2所示，包括：
步骤201：对人工客服回复的该问题的答案进行语义识别，得到语义识别后的问答数据；
步骤202：对语义识别后的问答数据进行预处理，得到问答数据。
其中，上述预处理，包括：分词、去除无意义停词和数据清洗等常规的预处理方法。
得到问答数据，按照问题类型，例如，理财、存款、外汇等问题类型，将问答数据分类后存储至实时批量知识库中。
利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型。其中，SpanBERT：ImprovingPre-training by Representing and Predicting Spans，SpanBERT是专门设计来更好地表示和预测文本的区间的，顾名思义它是BERT的一种扩展。相对于BERT，SpanBERT做了如下的改动：相比于BERT是对于随机的token进行masking，spanBERT会对连续的span进行masking。spanBERT通过训练span的边界的表示，来对整个被mask的span来进行预测，而非其中的单个token。具体的说，引入了span-boundary objective(SPO)，来鼓励模型将span层面的信息存储在其边界的token表示上，以在finetune阶段获得更好的效果。由于这两个机制，spanBERT在span选择的任务上明显地比BERT表现要好，包括问答匹配和指代消岐。同时在SQuAD和OntoNotes上都取得了state-of-the-art的效果。在SQuAD上，相比于BERT，SpanBERT降低了27％的误差，在各种抽取式问答benchmark(NewsQA,TriviaQA,SearchQA,HotpotQA,Natural Questions)也观察到了类似的收益。
利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，使用K层蒸馏的方式，每隔K层网络层提取一个新层，提取得到base模型。基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型。具体实施时，如图3所示，包括：
步骤301：利用softmax函数对训练得到的语义知识进行词性分类标签，确定得分超出预设值的词性类型；
步骤302：对得分超出预设值的词性类型增加权重，基于提取得到的base模型，调整TinyBERT模型，得到调整后的TinyBERT模型。
其中，softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。可利用其对训练得到的语义知识中的不同类型词性进行概率值打分，打分高的证明该类型词性比较重要，例如一般名词与动词等词性，预先设置一个值，如果超过这个数值则认为词性重要，例如设置为0.3，将base模型中超过0.3的词性类型的权重增加后，以此来微调TinyBERT模型，得到调整后的轻量化TinyBERT模型。其中，TinyBERT模型是基于transformer的模型专门设计的知识蒸馏方法，模型大小不到BERT的1/7，但速度提高了9倍，而且性能没有出现明显下降。
利用调整后的TinyBERT模型，对上述实时批量知识库进行训练，得到增量问答知识，将上述增量问答知识存储入上述FAQ知识库中。具体实施例中，为了避免资源浪费，并能够实时更新FAQ知识库，在实时批量知识库的数据量超出预设阈值时，自动进行上述过程，以此更新FAQ知识库。因此，具体实施过程，如图4所示，包括：
步骤401：监测到实时批量知识库的数据量超出预设阈值后，利用调整后的TinyBERT模型，对实时批量知识库进行训练，得到增量问答知识；
步骤402：将上述增量问答知识存储入FAQ知识库中；
步骤403：将实时批量知识库存储的数据清空。
基于上述过程，使得实时批量知识库中的数据量达到一定的阈值时，会自动触发模型训练，并将新的增量问答知识更新到已有的FAQ知识库。
下面给出一具体实例说明本发明实施例如何实现智能问答。本例采用SpanBERT和TinyBERT网络模型组合的方式，通过知识蒸馏，特定词性权重增加等过程优化网络模型训练结果，设置自触发机制，可以让轻量化的网络模型自适应训练同时不断更新FAQ知识库，具体的工作逻辑，如图5所示，主要包括：
由用户提出问题，智能问答系统接收用户输入的数据(input)，通过问题与FAQ知识库中的数据进行比对，将用户提问数据进行预处理，然后做相似度计算，并选择相似度最高的答案作为目标结果返回，对用户实时问题进行回答；即，通过Teacher model BERT的已有知识库，实现回答。
若有匹配的答案则不做进一步操作，若无匹配的答案则转接到人工客服；
对已存在的FAQ知识库中的数据采用SpanBERT模型进行预训练；
若人工客服(人工客服n)回答用户(回答n)，则经过Student model TinyBERT，通过语音/语义识别技术(语音/语义识别n)，采集用户与客服实时沟通的问答数据，并采用大数据技术，将用户与人工客服的问答数据按标签分类采集到实时批量知识库中(基于实时批量的知识库)，进行实时存储；
通过对已有的FAQ知识库的训练学习到语义知识，使用K层蒸馏的方式，每隔K层网络层提取一个新层，作为新的网络模型训练；同时通过softmax函数对词性分类标签，若得分较高的词性，增加其在新的网络模型中的权重；提取增加权重后的新网络模型的关键参数，并用于TinyBERT模型对实时批量知识库的训练，得到训练好的数据；
将训练好的数据分类后，形成新的知识更新至FAQ知识库中，完成知识库的更新，对更新后的FAQ知识库，重新采用SpanBERT模型进行预训练，以留待后续知识库更新使用(新知识库)。
通过大数据技术完成金融业用户与客服问答数据的实时采集，完成实时数据的更新，数据量可以不断增加，并设置一定的数据量阈值，可以触发网络模型训练机制，同时可以扩充已有的FAQ知识库，不断丰富语义理解，强化智能问答系统的准确率。
采用优化后的SpanBERT模型，以及轻量化后的TinyBERT模型组合方式，使得网络泛化能力强，架构轻量化，并且可以实现一次训练多端部署。
上述具体应用的实施仅为举例，其余实施方式不再一一赘述。
基于同一发明构思，本发明实施例还提供一种智能客服回复装置，由于智能客服回复装置所解决问题的原理与智能客服回复方法相似，因此智能客服回复装置的实施可以参见智能客服回复方法的实施，重复之处不再赘述，具体结构如图6所示：
答案查找模块601，用于接收用户输入的问题，在预先建立的FAQ知识库中查询该问题的答案；
人工回复模块602，用于若未查询到该问题的答案，向人工客服发送该问题，接收人工客服回复的该问题的答案，将人工客服回复的该问题的答案，反馈给用户；
问答数据存储模块603，用于对人工客服回复的该问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；
知识蒸馏模块604，用于利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；
模型调整模块605，用于基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；
知识库更新模块606，用于利用调整后的TinyBERT模型，对该实时批量知识库进行训练，得到增量问答知识，将该增量问答知识存储入该FAQ知识库中。
具体实施例中，问答数据存储模块603，具体用于：
对人工客服回复的该问题的答案进行语义识别，得到语义识别后的问答数据；
对语义识别后的问答数据进行预处理，得到问答数据；
上述预处理，包括：分词、去除无意义停词和数据清洗。
具体实施例中，模型调整模块605，具体用于：
利用softmax函数对训练得到的语义知识进行词性分类标签，确定得分超出预设值的词性类型；
对得分超出预设值的词性类型增加权重，基于提取得到的base模型，调整TinyBERT模型，得到调整后的TinyBERT模型。
具体实施时，知识库更新模块606，具体用于：
监测到该实时批量知识库的数据量超出预设阈值后，利用调整后的TinyBERT模型，对该实时批量知识库进行训练，得到增量问答知识；
将该增量问答知识存储入该FAQ知识库中；
将该实时批量知识库存储的数据清空。
本发明实施例还提供一种计算机设备，图7为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的智能客服回复方法中全部步骤，该计算机设备具体包括如下内容：
处理器(processor)701、存储器(memory)702、通信接口(CommunicationsInterface)703和通信总线704；
其中，所述处理器701、存储器702、通信接口703通过所述通信总线704完成相互间的通信；所述通信接口703用于实现相关设备之间的信息传输；
所述处理器701用于调用所述存储器702中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的智能客服回复方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述智能客服回复方法的计算机程序。
综上所述，本发明实施例提供的智能客服回复方法及装置具有如下优点：
通过接收用户输入的问题，在预先建立的FAQ知识库中查询问题的答案；若未查询到问题的答案，向人工客服发送问题，接收人工客服回复的问题的答案，将人工客服回复的问题的答案，反馈给用户；对人工客服回复的问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；利用调整后的TinyBERT模型，对实时批量知识库进行训练，得到增量问答知识，将增量问答知识存储入FAQ知识库中。针对知识库无法回复的问题，人工客服回复后，及时记录问答数据，进行训练整理后，更新至知识库中，不断丰富知识库的语义理解，从而不断提高知识库的回答准确性和全面性，从而实现回复智能化，减少人工客服的工作量，并改善用户体验。
虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或用户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员应明白，本说明书的实施例可提供为方法、装置(系统)或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种智能客服回复方法，其特征在于，包括：
接收用户输入的问题，在预先建立的FAQ知识库中查询所述问题的答案；
若未查询到所述问题的答案，向人工客服发送所述问题，接收人工客服回复的所述问题的答案，将人工客服回复的所述问题的答案，反馈给用户；
对人工客服回复的所述问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；
利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；
基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；
利用调整后的TinyBERT模型，对所述实时批量知识库进行训练，得到增量问答知识，将所述增量问答知识存储入所述FAQ知识库中。
2.如权利要求1所述的智能客服回复方法，其特征在于，对人工客服回复的所述问题的答案进行语义识别，得到问答数据，包括：
对人工客服回复的所述问题的答案进行语义识别，得到语义识别后的问答数据；
对语义识别后的问答数据进行预处理，得到问答数据；
所述预处理，包括：分词、去除无意义停词和数据清洗。
3.如权利要求1所述的智能客服回复方法，其特征在于，基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型，包括：
利用softmax函数对训练得到的语义知识进行词性分类标签，确定得分超出预设值的词性类型；
对得分超出预设值的词性类型增加权重，基于提取得到的base模型，调整TinyBERT模型，得到调整后的TinyBERT模型。
4.如权利要求1所述的智能客服回复方法，其特征在于，利用调整后的TinyBERT模型，对所述实时批量知识库进行训练，得到增量问答知识，将所述增量问答知识存储入所述FAQ知识库中，包括：
监测到所述实时批量知识库的数据量超出预设阈值后，利用调整后的TinyBERT模型，对所述实时批量知识库进行训练，得到增量问答知识；
将所述增量问答知识存储入所述FAQ知识库中；
将所述实时批量知识库存储的数据清空。
5.一种智能客服回复装置，其特征在于，包括：
答案查找模块，用于接收用户输入的问题，在预先建立的FAQ知识库中查询所述问题的答案；
人工回复模块，用于若未查询到所述问题的答案，向人工客服发送所述问题，接收人工客服回复的所述问题的答案，将人工客服回复的所述问题的答案，反馈给用户；
问答数据存储模块，用于对人工客服回复的所述问题的答案进行语义识别，得到问答数据，按照问题类型，将问答数据分类后存储至实时批量知识库中；
知识蒸馏模块，用于利用SpanBERT模型，对预先建立的FAQ知识库进行训练得到语义知识，通过知识蒸馏方法对训练得到的语义知识进行蒸馏，提取得到base模型；
模型调整模块，用于基于提取得到的base模型，调整每种类型词性的权重，调整TinyBERT模型，得到调整后的TinyBERT模型；
知识库更新模块，用于利用调整后的TinyBERT模型，对所述实时批量知识库进行训练，得到增量问答知识，将所述增量问答知识存储入所述FAQ知识库中。
6.如权利要求5所述的智能客服回复装置，其特征在于，所述问答数据存储模块，具体用于：
对人工客服回复的所述问题的答案进行语义识别，得到语义识别后的问答数据；
对语义识别后的问答数据进行预处理，得到问答数据；
所述预处理，包括：分词、去除无意义停词和数据清洗。
7.如权利要求5所述的智能客服回复装置，其特征在于，所述模型调整模块，具体用于：
利用softmax函数对训练得到的语义知识进行词性分类标签，确定得分超出预设值的词性类型；
对得分超出预设值的词性类型增加权重，基于提取得到的base模型，调整TinyBERT模型，得到调整后的TinyBERT模型。
8.如权利要求5所述的智能客服回复装置，其特征在于，所述知识库更新模块，具体用于：
监测到所述实时批量知识库的数据量超出预设阈值后，利用调整后的TinyBERT模型，对所述实时批量知识库进行训练，得到增量问答知识；
将所述增量问答知识存储入所述FAQ知识库中；
将所述实时批量知识库存储的数据清空。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。
CN202111276612.XA 2021-10-29 2021-10-29 智能客服回复方法及装置 Pending CN113987151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111276612.XA CN113987151A (zh) 2021-10-29 2021-10-29 智能客服回复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111276612.XA CN113987151A (zh) 2021-10-29 2021-10-29 智能客服回复方法及装置

Publications (1)

Publication Number Publication Date
CN113987151A true CN113987151A (zh) 2022-01-28

Family

ID=79744833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111276612.XA Pending CN113987151A (zh) 2021-10-29 2021-10-29 智能客服回复方法及装置

Country Status (1)

Country Link
CN (1) CN113987151A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599889A (zh) * 2022-10-31 2023-01-13 北京力码科技有限公司（Cn） 一种应用于金融保险平台在线客服智能回答方法和系统
CN116955575A (zh) * 2023-09-20 2023-10-27 深圳智汇创想科技有限责任公司 一种信息智能回复方法以及跨境电商系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599889A (zh) * 2022-10-31 2023-01-13 北京力码科技有限公司（Cn） 一种应用于金融保险平台在线客服智能回答方法和系统
CN115599889B (zh) * 2022-10-31 2023-09-22 北京力码科技有限公司 一种应用于金融保险平台在线客服智能回答方法和系统
CN116955575A (zh) * 2023-09-20 2023-10-27 深圳智汇创想科技有限责任公司 一种信息智能回复方法以及跨境电商系统
CN116955575B (zh) * 2023-09-20 2023-12-22 深圳智汇创想科技有限责任公司 一种信息智能回复方法以及跨境电商系统

Similar Documents

Publication Publication Date Title
US11687811B2 (en) Predicting user question in question and answer system
US20190272269A1 (en) Method and system of classification in a natural language user interface
CN109241258A (zh) 一种应用税务领域的深度学习智能问答系统
CN112800170A (zh) 问题的匹配方法及装置、问题的回复方法及装置
CN109918489A (zh) 一种多策略融合的知识问答方法和系统
CN111125334A (zh) 一种基于预训练的搜索问答系统
CN110046230B (zh) 生成推荐话术集合的方法、推荐话术的方法和装置
CN113987151A (zh) 智能客服回复方法及装置
CN109063100A (zh) 一种数据处理方法、服务器及电子设备
CN112989761B (zh) 文本分类方法及装置
Dong et al. A natural language question answering system as a participant in human Q&A portals
CN111858854A (zh) 一种基于历史对话信息的问答匹配方法及相关装置
CN109325780A (zh) 一种面向电子政务领域的智能客服系统的交互方法
CN108287848B (zh) 用于语义解析的方法和系统
CN105630890A (zh) 基于智能问答系统会话历史的新词发现方法及系统
CN111221936A (zh) 一种信息匹配方法、装置、电子设备及存储介质
CN114238373A (zh) 一种自然语言问题转换为结构化查询语句的方法及装置
CN116956068A (zh) 基于规则引擎的意图识别方法、装置、电子设备及介质
CN115587192A (zh) 关系信息抽取方法、设备及计算机可读存储介质
CN109657047B (zh) 一种基于爬虫技术和机器学习的语音自动问答方法及系统
CN116431779B (zh) 法律领域faq问答的匹配方法、装置、存储介质及电子装置
CN117708307B (zh) 一种大语言模型微调和Adapter融合方法及装置
CN117591658B (zh) 一种智能问答方法、装置、设备及存储介质
US11086914B2 (en) Archiving of topmost ranked answers of a cognitive search
CN117312506B (zh) 一种页面语义信息提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination