CN110795559A - 用于客服问答的数据处理方法及装置 - Google Patents

用于客服问答的数据处理方法及装置 Download PDF

Info

Publication number
CN110795559A
CN110795559A CN201910972662.8A CN201910972662A CN110795559A CN 110795559 A CN110795559 A CN 110795559A CN 201910972662 A CN201910972662 A CN 201910972662A CN 110795559 A CN110795559 A CN 110795559A
Authority
CN
China
Prior art keywords
question
data
customer service
user side
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910972662.8A
Other languages
English (en)
Inventor
徐涛
吴峰
郭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yidianshikong Network Co Ltd
Original Assignee
Shanghai Yidianshikong Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yidianshikong Network Co Ltd filed Critical Shanghai Yidianshikong Network Co Ltd
Priority to CN201910972662.8A priority Critical patent/CN110795559A/zh
Publication of CN110795559A publication Critical patent/CN110795559A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3346Query execution using probabilistic model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种用于客服问答的数据处理方法及装置。该方法包括:将历史问答数据输入预训练模型进行预训练,以提取特征向量,所述历史问答数据是指用户端与客服端的历史问答数据;基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型;基于所述问题分类模型对所述用户端输入的问题进行分类,以得到与所述问题对应的答案;将所述答案反馈至所述用户端。本申请解决了相关技术中客服问答的匹配方法由于模型训练流程复杂导致匹配效率较低的技术问题。通过本申请,达到了简化模型训练过程的目的,从而实现了提高客服问答匹配效率的技术效果。

Description

用于客服问答的数据处理方法及装置
技术领域
本申请涉及自然语言处理技术领域,具体而言,涉及一种用于客服问答的数据处理方法及装置。
背景技术
随着互联网的发展,网站常常面临着巨大的用户咨询压力,传统人工客服存在响应慢、服务时间有限、流动性大等局限性。大部分客服问题其实是高频重复问题,这些问题往往都有标准的答案,可以利用机器去解决,通过构建一套智能客服系统去自动匹配用户的提问,当用户对答案不满意时,可以再寻求人工客服的帮助,这不仅提升了用户体验也提高了客服人员的工作效率。相关技术中的智能客服系统匹配客服问答的方法是对用户输入的问题做处理,如分词、抽取关键词、同义词扩展、计算句子向量等,然后基于向量相似度匹配出一个问题集合,从问题集合中挑出最相似的那个问题,将这个问题对应的答案返回给用户。
发明人发现,相关技术中客服问答的匹配方法至少存在如下问题:1)匹配问题的模型训练流程复杂,需要消耗的时间长;2)匹配问题的在线系统需要单独开发,模型对接过程复杂,支持并发访问量少。
针对相关技术中客服问答的匹配方法由于模型训练流程复杂导致匹配效率较低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于客服问答的数据处理方法及装置,以解决相关技术中客服问答的匹配方法由于模型训练流程复杂导致匹配效率较低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种用于客服问答的数据处理方法。
根据本申请的用于客服问答的数据处理方法包括:将历史问答数据输入预训练模型进行预训练,以提取特征向量,所述历史问答数据是指用户端与客服端的历史问答数据;基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型;基于所述问题分类模型对所述用户端输入的问题进行分类,以得到与所述问题对应的答案;将所述答案反馈至所述用户端。
进一步地,所述将历史问答数据输入预训练模型进行预训练,以提取特征向量包括:确定所述历史问答数据的分类标签;根据所述历史问答数据的分类标签对所述历史问答数据进行数据标注;将标注后的历史问答数据按照预设格式存储至数据库中。
进一步地,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括:获取所述用户端输入的问题数据;根据预设规则对所述问题数据进行编码,以得到向量数据;将所述向量数据作为参数输入所述问题分类模型进行预判,以输出所述问题数据属于每个问题类别的概率;根据所述问题数据属于每个问题类别的概率确定与所述问题类别对应的答案,并将所述答案返回至所述用户端。
进一步地,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括:获取所述用户端的提问请求;将所述提问请求中的问题数据输入所述问题分类模型,以得到问题分类结果;根据所述问题分类结果确定与所述用户端的提问请求相对应的客服端回复结果。
进一步地,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括:按照预设规则配置监听端口;通过所述监听端口接收所述用户端的提问请求。
为了实现上述目的,根据本申请的另一方面,提供了一种用于客服问答的数据处理装置。
根据本申请的用于客服问答的数据处理装置包括:训练模块,用于将历史问答数据输入预训练模型进行预训练,以提取特征向量,所述历史问答数据是指用户端与客服端的历史问答数据;调整模块,用于基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型;分类模块,用于基于所述问题分类模型对所述用户端输入的问题进行分类,以得到与所述问题对应的答案;反馈模块,用于将所述答案反馈至所述用户端。
进一步地,所述训练模块包括:确定单元,用于确定所述历史问答数据的分类标签;标注单元,用于根据所述历史问答数据的分类标签对所述历史问答数据进行数据标注;存储单元,用于将标注后的历史问答数据按照预设格式存储至数据库中。
进一步地,所述装置还包括:第一获取模块,用于获取所述用户端输入的问题数据;编码模块,用于根据预设规则对所述问题数据进行编码,以得到向量数据;预判模块,用于将所述向量数据作为参数输入所述问题分类模型进行预判,以输出所述问题数据属于每个问题类别的概率;第一确定模块,用于根据所述问题数据属于每个问题类别的概率确定与所述问题类别对应的答案,并将所述答案返回至所述用户端。
进一步地,所述装置还包括:第二获取模块,用于获取所述用户端的提问请求;输入模块,用于将所述提问请求中的问题数据输入所述问题分类模型,以得到问题分类结果;第二确定模块,用于根据所述问题分类结果确定与所述用户端的提问请求相对应的客服端回复结果。
进一步地,所述装置还包括:监听模块,用于按照预设规则配置监听端口;接收模块,用于通过所述监听端口接收所述用户端的提问请求。
在本申请实施例中,采用将历史问答数据输入预训练模型进行预训练,以提取特征向量,基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型的方式,通过基于所述问题分类模型对所述用户端输入的问题进行分类,以得到与所述问题对应的答案,并将所述答案反馈至所述用户端,达到了简化模型训练过程的目的,从而实现了提高客服问答匹配效率的技术效果,进而解决了相关技术中客服问答的匹配方法由于模型训练流程复杂导致匹配效率较低的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请第一实施例的用于客服问答的数据处理方法的流程示意图;
图2是根据本申请第二实施例的用于客服问答的数据处理方法的流程示意图;
图3是根据本申请第三实施例的用于客服问答的数据处理方法的流程示意图;
图4是根据本申请第四实施例的用于客服问答的数据处理方法的流程示意图;
图5是根据本申请第五实施例的用于客服问答的数据处理方法的流程示意图;
图6是根据本申请第一实施例的用于客服问答的数据处理装置的组成结构示意图;
图7是根据本申请第二实施例的用于客服问答的数据处理装置的组成结构示意图;
图8是根据本申请第三实施例的用于客服问答的数据处理装置的组成结构示意图;以及
图9是根据本申请第四实施例的用于客服问答的数据处理装置的组成结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明实施例,提供了一种用于客服问答的数据处理方法,如图1所示,该方法包括如下的步骤S101至步骤S104:
步骤S101,将历史问答数据输入预训练模型进行预训练,以提取特征向量,所述历史问答数据是指用户端与客服端的历史问答数据。
具体实施时,本申请实施例采用的预训练模型可以是BERT模型(BidirectionalEncoder Representation from Transformers),BERT模型是一个新的语言表达模型,它在11个自然语言处理任务中刷新了成绩,效果惊人。在实际使用时只需要根据具体任务额外加入一个输出层进行微调即可,而不用为特定任务来修改模型结构。Google提供了多种预训练好的BERT模型,本申请实施例中选择下载中文模型Bert-Base,Chinese(ChineseSimplified and Traditional,12-layer,768-hidden,12-heads,110M parameters)。将用户与客服之间通过历史交互问答产生的数据输入到上述BERT模型中进行预训练,进而提取出客服问答的特征向量数据,作为后续调整预训练模型的基础。
步骤S102,基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型。
具体实施时,将上述提取到的特征向量对BERT预训练模型进行微调,具体地,可以采用BERT模型的fine-tuning(微调)入口脚本run_classifier.py对模型进行微调,使用如下命令进行模型训练:
python run_classifier.py--task_name=custom_question
--do_train=true
--do_eval=true
--data_dir=/data/finetune
--vocab_file=/data/model/chinese_L-12_H-768_A-12/vocab.txt
--bert_config_file=/data/model/chinese_L-12_H-768_A-12/bert_config.json
--init_checkpoint=/data/model/chinese_L-12_H-768_A-12/bert_model.ckpt
--max_seq_length=64
--train_batch_size=32
--learning_rate=2e-5
--num_train_epochs=3.0
--output_dir=/data/model/finetune_models
通过上述命令对模型进行训练和调整后,得到最终的问题分类模型,以对用户输入的问题进行类别划分。
步骤S103,基于所述问题分类模型对所述用户端输入的问题进行分类,以得到与所述问题对应的答案。
具体实施时,对用户输入的问题进行识别,并通过上述得到的问题分类模型对识别到的问题进行预判和分类,确定问题所属类型,根据问题对应的类别获取该问题对应的答案。
步骤S104,将所述答案反馈至所述用户端。
具体实施时,将与用户输入的问题对应的答案反馈给用户端,进行完成客服问答过程,通过对用户输入问题的精准和快速分类,实现提高客服问答匹配效率的效果。
作为本申请实施例的一种优选实施方式,如图2所示,所述将历史问答数据输入预训练模型进行预训练,以提取特征向量包括如下的步骤S201至步骤S203:
步骤S201,确定所述历史问答数据的分类标签。
具体实施时,首先需要收集用户与客服之间产生的历史交互问答数据,之后对历史问答数据进行一系列的预处理,包括数据清洗和标注等过程,对于数据标注过程,首先需要根据收集到的用户端与客服端之间产生的历史问答数据确定问题的分类标签,并针对不同分类标签进行赋值,用于作为后续对历史问答数据进行标签标注的基础。
步骤S202,根据所述历史问答数据的分类标签对所述历史问答数据进行数据标注。
具体实施时,根据上述确定的分类标签对每个历史问答数据进行数据标注,通过数据标注过程,可以确定收集到的每个历史问答数据的分类情况,进一步地将标注后的数据按照一定比例,如9:0.2:0.8的比例随机分为train.tsv(训练集),dev.tsv(验证集)和test.tsv(测试集)三个数据文件,文件中的字段格式及样例如下表1所示:
表一 数据文件字段格式
Figure BDA0002228667500000081
步骤S203,将标注后的历史问答数据按照预设格式存储至数据库中。
具体实施时,将上述标注后的历史问答数据作为模型训练的原始语料存储至数据库中。
作为本申请实施例的一种优选实施方式,如图3所示,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括如下的步骤S301至步骤S304:
步骤S301,获取所述用户端输入的问题数据。
具体实施时,在构建好问题分类模型之后,需要进一步获取用户端输入的问题数据。
步骤S302,根据预设规则对所述问题数据进行编码,以得到向量数据。
具体实施时,在得到用户输入的问题数据之后,需要对问题数据进行一定的预处理,例如通过调用BERT模型的bert server对用户输入的问题数据进行编码,使之转化为768维的向量数据,以使用户输入的问题数据格式符合上述问题分类模型的格式。
步骤S303,将所述向量数据作为参数输入所述问题分类模型进行预判,以输出所述问题数据属于每个问题类别的概率。
具体实施时,将上述转化后得到的向量数据作为参数,通过调用softmax多分类模型进行预判,输出用户输入的问题属于每个类别的概率。
步骤S304,根据所述问题数据属于每个问题类别的概率确定与所述问题类别对应的答案,并将所述答案返回至所述用户端。
具体实施时,基于用户输入的问题属于每个类别的概率,将其中所属类别的概率最大的分类所对应的答案作为与该问题最匹配的答案返回至用户端。
作为本申请实施例的一种优选实施方式,如图4所示,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括如下的步骤S401至步骤S403:
步骤S401,获取所述用户端的提问请求。
具体实施时,在构建好问题分类模型之后,需要进一步获取用户端的提问请求,所述提问请求中可以包括用户提问的问题。
步骤S402,将所述提问请求中的问题数据输入所述问题分类模型,以得到问题分类结果。
具体实施时,基于提问请求中的问题数据,将所述问题数据进行一系列的格式转换等预处理操作后输入到上述问题分类模型中,进行问题类别的预判。
步骤S403,根据所述问题分类结果确定与所述用户端的提问请求相对应的客服端回复结果。
具体实施时,通过问题类别的预判结果确定与用户端输入的问题相匹配的问题类别,并获取与该问题类别对应的答案返回至用户端,作为客服端的回复结果。
作为本申请实施例的一种优选实施方式,如图5所示,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括如下的步骤S501至步骤S502:
步骤S501,按照预设规则配置监听端口。
具体实施时,利用BERT模型的bert_as_service启动server监听8125端口提供超文本传输协议(http)接口服务,具体地,使用如下命令进行监听端口的配置:
bert-serving-server-model_dir=/data/model/chinese_L-12_H-768_A-12/
-tuned_model_dir=/data/model/finetune_models/
-num_worker=2
-max_seq_len=64
-http_max_connect=1000
-http_port 8125
步骤S502,通过所述监听端口接收所述用户端的提问请求。
具体实施时,通过上述配置好的监听端口实时监听并接收用户端发送的提问请求,上述利用bert_as_service的http服务接口,可以直接提供在线系统服务,支持高并发访问,简化模型与单独在线系统开发的对接过程。
从以上的描述中,可以看出,本发明实现了如下技术效果:通过将历史问答数据输入预训练模型进行预训练,提取特征向量,基于所述特征向量对所述预训练模型进行调整,得到问题分类模型;基于所述问题分类模型对所述用户端输入的问题进行分类,得到与所述问题对应的答案;并将所述答案反馈至所述用户端。通过本发明,利用BERT预训练模型数据加上fine-tuning进行微调,可以大大减少模型训练的复杂度和训练时长,达到简化模型训练过程的目的,从而实现了提高客服问答匹配效率的技术效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种用于实施上述用于客服问答的数据处理方法的装置,如图6所示,该装置包括:训练模块1、调整模块2、分类模块3和反馈模块4。
本申请实施例的训练模块1,用于将历史问答数据输入预训练模型进行预训练,以提取特征向量,所述历史问答数据是指用户端与客服端的历史问答数据。
具体实施时,本申请实施例采用的预训练模型可以是BERT模型(BidirectionalEncoder Representation from Transformers),BERT模型是一个新的语言表达模型,它在11个自然语言处理任务中刷新了成绩,效果惊人。在实际使用时只需要根据具体任务额外加入一个输出层进行微调即可,而不用为特定任务来修改模型结构。Google提供了多种预训练好的BERT模型,本申请实施例中选择下载中文模型Bert-Base,Chinese(ChineseSimplified and Traditional,12-layer,768-hidden,12-heads,110M parameters)。通过训练模块将用户与客服之间通过历史交互问答产生的数据输入到上述BERT模型中进行预训练,进而提取出客服问答的特征向量数据,作为后续调整预训练模型的基础。
本申请实施例的调整模块2,用于基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型。
具体实施时,通过调整模块将上述提取到的特征向量对BERT预训练模型进行微调,具体地,可以采用BERT模型的fine-tuning(微调)入口脚本run_classifier.py对模型进行微调,得到最终的问题分类模型,以对用户输入的问题进行类别划分。
本申请实施例的分类模块3,用于基于所述问题分类模型对所述用户端输入的问题进行分类,以得到与所述问题对应的答案。
具体实施时,通过分类模块对用户输入的问题进行识别,并通过上述得到的问题分类模型对识别到的问题进行预判和分类,确定问题所属类型,根据问题对应的类别获取该问题对应的答案。
本申请实施例的反馈模块4,用于将所述答案反馈至所述用户端。
具体实施时,反馈模块将与用户输入的问题对应的答案反馈给用户端,进行完成客服问答过程,通过对用户输入问题的精准和快速分类,实现提高客服问答匹配效率的效果。
作为本申请实施例的一种优选实施方式,如图7所示,所述训练模块1包括:确定单元11、标注单元12和存储单元13。
本申请实施例的确定单元11,用于确定所述历史问答数据的分类标签。
具体实施时,首先需要通过确定单元收集用户与客服之间产生的历史交互问答数据,之后对历史问答数据进行一系列的预处理,包括数据清洗和标注等过程,对于数据标注过程,首先需要根据收集到的用户端与客服端之间产生的历史问答数据确定问题的分类标签,并针对不同分类标签进行赋值,用于作为后续对历史问答数据进行标签标注的基础。
本申请实施例的标注单元12,用于根据所述历史问答数据的分类标签对所述历史问答数据进行数据标注。
具体实施时,标注单元根据上述确定的分类标签对每个历史问答数据进行数据标注,通过数据标注过程,可以确定收集到的每个历史问答数据的分类情况,进一步地将标注后的数据按照一定比例,如9:0.2:0.8的比例随机分为train.tsv(训练集),dev.tsv(验证集)和test.tsv(测试集)三个数据文件。
本申请实施例的存储单元13,用于将标注后的历史问答数据按照预设格式存储至数据库中。
具体实施时,存储单元将上述标注后的历史问答数据作为模型训练的原始语料存储至数据库中。
作为本申请实施例的一种优选实施方式,如图8所示,所述装置还包括:第一获取模块5、编码模块6、预判模块7和第一确定模块8。
本申请实施例的第一获取模块5,用于获取所述用户端输入的问题数据。
具体实施时,在构建好问题分类模型之后,需要通过第一获取模块进一步获取用户端输入的问题数据。
本申请实施例的编码模块6,用于根据预设规则对所述问题数据进行编码,以得到向量数据。
具体实施时,在得到用户输入的问题数据之后,需要通过编码模块对问题数据进行一定的预处理,例如通过调用BERT模型的bert server对用户输入的问题数据进行编码,使之转化为768维的向量数据,以使用户输入的问题数据格式符合上述问题分类模型的格式。
本申请实施例的预判模块7,用于将所述向量数据作为参数输入所述问题分类模型进行预判,以输出所述问题数据属于每个问题类别的概率。
具体实施时,将上述转化后得到的向量数据作为参数,通过预判模块调用softmax多分类模型进行预判,输出用户输入的问题属于每个类别的概率。
本申请实施例的第一确定模块8,用于根据所述问题数据属于每个问题类别的概率确定与所述问题类别对应的答案,并将所述答案返回至所述用户端。
具体实施时,基于用户输入的问题属于每个类别的概率,通过第一确定模块将其中所属类别的概率最大的分类所对应的答案作为与该问题最匹配的答案返回至用户端。
作为本申请实施例的一种优选实施方式,如图9所示,所述装置还包括:第二获取模块9、输入模块10和第二确定模块11。
本申请实施例的第二获取模块9,用于获取所述用户端的提问请求。
具体实施时,在构建好问题分类模型之后,需要通过第二获取模块进一步获取用户端的提问请求,所述提问请求中可以包括用户提问的问题。
本申请实施例的输入模块10,用于将所述提问请求中的问题数据输入所述问题分类模型,以得到问题分类结果。
具体实施时,基于提问请求中的问题数据,通过输入模块将所述问题数据进行一系列的格式转换等预处理操作后输入到上述问题分类模型中,进行问题类别的预判。
本申请实施例的第二确定模块11,用于根据所述问题分类结果确定与所述用户端的提问请求相对应的客服端回复结果。
具体实施时,第二确定模块通过问题类别的预判结果确定与用户端输入的问题相匹配的问题类别,并获取与该问题类别对应的答案返回至用户端,作为客服端的回复结果。
作为本申请实施例的一种优选实施方式,所述装置还包括:监听模块和接收模块。
本申请实施例的监听模块,用于按照预设规则配置监听端口。
具体实施时,监听模块利用BERT模型的bert_as_service启动server监听8125端口提供超文本传输协议(http)接口服务,以对用户端的请求进行监听和接收。
本申请实施例的接收模块,用于通过所述监听端口接收所述用户端的提问请求。
具体实施时,接收模块通过上述配置好的监听端口实时监听并接收用户端发送的提问请求,上述利用bert_as_service的http服务接口,可以直接提供在线系统服务,支持高并发访问,简化模型与单独在线系统开发的对接过程。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于客服问答的数据处理方法,其特征在于,包括:
将历史问答数据输入预训练模型进行预训练,以提取特征向量,所述历史问答数据是指用户端与客服端的历史问答数据;
基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型;
基于所述问题分类模型对所述用户端输入的问题进行分类,以得到与所述问题对应的答案;
将所述答案反馈至所述用户端。
2.根据权利要求1所述的用于客服问答的数据处理方法,其特征在于,所述将历史问答数据输入预训练模型进行预训练,以提取特征向量包括:
确定所述历史问答数据的分类标签;
根据所述历史问答数据的分类标签对所述历史问答数据进行数据标注;
将标注后的历史问答数据按照预设格式存储至数据库中。
3.根据权利要求1所述的用于客服问答的数据处理方法,其特征在于,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括:
获取所述用户端输入的问题数据;
根据预设规则对所述问题数据进行编码,以得到向量数据;
将所述向量数据作为参数输入所述问题分类模型进行预判,以输出所述问题数据属于每个问题类别的概率;
根据所述问题数据属于每个问题类别的概率确定与所述问题类别对应的答案,并将所述答案返回至所述用户端。
4.根据权利要求1所述的用于客服问答的数据处理方法,其特征在于,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括:
获取所述用户端的提问请求;
将所述提问请求中的问题数据输入所述问题分类模型,以得到问题分类结果;
根据所述问题分类结果确定与所述用户端的提问请求相对应的客服端回复结果。
5.根据权利要求1所述的用于客服问答的数据处理方法,其特征在于,所述基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型之后包括:
按照预设规则配置监听端口;
通过所述监听端口接收所述用户端的提问请求。
6.一种用于客服问答的数据处理装置,其特征在于,包括:
训练模块,用于将历史问答数据输入预训练模型进行预训练,以提取特征向量,所述历史问答数据是指用户端与客服端的历史问答数据;
调整模块,用于基于所述特征向量对所述预训练模型进行调整,以得到问题分类模型;
分类模块,用于基于所述问题分类模型对所述用户端输入的问题进行分类,以得到与所述问题对应的答案;
反馈模块,用于将所述答案反馈至所述用户端。
7.根据权利要求6所述的用于客服问答的数据处理装置,其特征在于,所述训练模块包括:
确定单元,用于确定所述历史问答数据的分类标签;
标注单元,用于根据所述历史问答数据的分类标签对所述历史问答数据进行数据标注;
存储单元,用于将标注后的历史问答数据按照预设格式存储至数据库中。
8.根据权利要求6所述的用于客服问答的数据处理装置,其特征在于,还包括:
第一获取模块,用于获取所述用户端输入的问题数据;
编码模块,用于根据预设规则对所述问题数据进行编码,以得到向量数据;
预判模块,用于将所述向量数据作为参数输入所述问题分类模型进行预判,以输出所述问题数据属于每个问题类别的概率;
第一确定模块,用于根据所述问题数据属于每个问题类别的概率确定与所述问题类别对应的答案,并将所述答案返回至所述用户端。
9.根据权利要求6所述的用于客服问答的数据处理装置,其特征在于,还包括:
第二获取模块,用于获取所述用户端的提问请求;
输入模块,用于将所述提问请求中的问题数据输入所述问题分类模型,以得到问题分类结果;
第二确定模块,用于根据所述问题分类结果确定与所述用户端的提问请求相对应的客服端回复结果。
10.根据权利要求6所述的用于客服问答的数据处理装置,其特征在于,还包括:
监听模块,用于按照预设规则配置监听端口;
接收模块,用于通过所述监听端口接收所述用户端的提问请求。
CN201910972662.8A 2019-10-10 2019-10-10 用于客服问答的数据处理方法及装置 Withdrawn CN110795559A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910972662.8A CN110795559A (zh) 2019-10-10 2019-10-10 用于客服问答的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910972662.8A CN110795559A (zh) 2019-10-10 2019-10-10 用于客服问答的数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN110795559A true CN110795559A (zh) 2020-02-14

Family

ID=69439070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910972662.8A Withdrawn CN110795559A (zh) 2019-10-10 2019-10-10 用于客服问答的数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110795559A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297360A (zh) * 2021-04-29 2021-08-24 天津汇智星源信息技术有限公司 基于弱监督学习和联合学习机制的法律问答方法及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710770A (zh) * 2019-01-31 2019-05-03 北京牡丹电子集团有限责任公司数字电视技术中心 一种基于迁移学习的文本分类方法及装置
CN109885664A (zh) * 2019-01-08 2019-06-14 厦门快商通信息咨询有限公司 一种智能对话方法、机器人对话系统、服务器及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885664A (zh) * 2019-01-08 2019-06-14 厦门快商通信息咨询有限公司 一种智能对话方法、机器人对话系统、服务器及存储介质
CN109710770A (zh) * 2019-01-31 2019-05-03 北京牡丹电子集团有限责任公司数字电视技术中心 一种基于迁移学习的文本分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谭志明: "《健康医疗大数据与人工智能》", 31 March 2019 *
高扬: "《智能摘要与深度学习》", 30 April 2019, 北京理工大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297360A (zh) * 2021-04-29 2021-08-24 天津汇智星源信息技术有限公司 基于弱监督学习和联合学习机制的法律问答方法及设备

Similar Documents

Publication Publication Date Title
US20210232761A1 (en) Methods and systems for improving machine learning performance
CN110377911B (zh) 对话框架下的意图识别方法和装置
US11651236B2 (en) Method for question-and-answer service, question-and-answer service system and storage medium
CN109145290B (zh) 基于字向量与自注意力机制的语义相似度计算方法
EP3540612A1 (en) Cluster processing method and device for questions in automatic question and answering system
WO2019014066A1 (en) SYSTEM AND METHOD FOR IDENTIFYING AND PROVIDING PERSONALIZED SELF-ASSISTANCE CONTENTS USING ARTIFICIAL INTELLIGENCE IN A CLIENT SELF-ASSISTANCE SYSTEM
CN111310440B (zh) 文本的纠错方法、装置和系统
CN107784033B (zh) 一种基于会话进行推荐的方法和装置
EP3617896A1 (en) Method and apparatus for intelligent response
CN110321409B (zh) 基于人工智能的辅助面试方法、装置、设备及存储介质
CN110717021B (zh) 人工智能面试中获取输入文本和相关装置
CN111523324A (zh) 命名实体识别模型的训练方法及装置
US20220058349A1 (en) Data processing method, device, and storage medium
CN116595150A (zh) 一种对话推荐方法、装置、设备及存储介质
CN115221276A (zh) 基于clip的中文图文检索模型训练方法、装置、设备及介质
CN111078855A (zh) 信息处理方法、装置、电子设备及存储介质
CN110674276A (zh) 机器人自学习方法、机器人终端、装置及可读存储介质
CN110162769B (zh) 文本主题输出方法和装置、存储介质及电子装置
CN110990527A (zh) 自动问答方法及装置、存储介质及电子设备
CN110795559A (zh) 用于客服问答的数据处理方法及装置
CN113591463A (zh) 意图识别方法、装置、电子设备及存储介质
CN113590771A (zh) 一种数据挖掘方法、装置、设备及存储介质
CN109145124B (zh) 信息的存储方法、装置、存储介质及电子装置
CN111353027A (zh) 聊天机器人中的答案反馈方法、装置、计算机设备和介质
CN114528851B (zh) 回复语句确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200214