CN115098290A - 基于自动更新的nlp模型的智能人工服务方法和装置 - Google Patents

基于自动更新的nlp模型的智能人工服务方法和装置 Download PDF

Info

Publication number
CN115098290A
CN115098290A CN202210750148.1A CN202210750148A CN115098290A CN 115098290 A CN115098290 A CN 115098290A CN 202210750148 A CN202210750148 A CN 202210750148A CN 115098290 A CN115098290 A CN 115098290A
Authority
CN
China
Prior art keywords
model
nlp
data
nlp model
automatically updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210750148.1A
Other languages
English (en)
Inventor
裴洪斌
李金泽
赵滢
宫婉钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210750148.1A priority Critical patent/CN115098290A/zh
Publication of CN115098290A publication Critical patent/CN115098290A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于自动更新的NLP模型的智能人工服务方法和装置，涉及人工智能技术领域，包括：获取用户的输入信息；将输入信息作为最新更新的NLP模型的输入数据，经NLP模型处理后得到代表用户意图的输出数据；根据所输出数据调用人工回复信息反馈给所述用户；NLP模型通过如下方式进行自动更新：通过网关收集NLP模型服务调用数据进行训练；根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控，若发生报警，则从模型仓库中读取指定版本的NLP模型至模型部署容器中完成更新。及本申请可以及时将训练过的模型与旧模型进行替换完成模型迭代，使得本申请的智能人工服务反馈的信息更加精准，更加符合用户的意图。

Description

基于自动更新的NLP模型的智能人工服务方法和装置
技术领域
本发明涉及人工智能技术领域，可用于金融领域，尤其涉及一种基于自动更新的NLP模型的智能人工服务方法和装置。
背景技术
目前在金融领域，自然语言处理(Natural Language Processing，NLP)模型广泛应用于智能客服、智能催收、智能HR等智能人工服务场景，这些面对客户的场景，其背后需要的是一种高效稳定，且迭代更新快的业务系统。目前传统NLP模型的更新模式下，NLP模型的落地效果反馈机制仍停留在人工反馈，且反馈信息没有统一的收集入口，而且传统NLP模型也没有自动化的迭代更新方式。而这种待开发团队受理反馈再进行模型训练和迭代的方式，难免会造成智能人工服务业务的滞后。
发明内容
有鉴于此，本发明提供一种基于自动更新的NLP模型的智能人工服务方法和装置，以解决上述提及的至少一个问题。
为了实现上述目的，本发明采用以下方案：
在本发明一个实施例中，本发明提供一种基于自动更新的NLP模型的智能人工服务方法，包括：获取用户基于客户端发出的输入信息；将所述输入信息作为最新更新的NLP模型的输入数据，经所述NLP模型处理后得到代表用户意图的输出数据；根据所述输出数据调用人工回复信息反馈给所述用户；所述NLP模型通过如下方式进行自动更新：通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据；将训练后的NLP模型及其模型指标存储在计算机模型仓库中；根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控，若发生报警，则从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
在本发明另一个实施例中，本发明提供一种基于自动更新的NLP模型的智能人工服务装置，所述装置包括：输入信息获取单元，用于获取用户基于客户端发出的输入信息；NLP模型处理单元，用于将所述输入信息作为最新更新的NLP模型的输入数据，经NLP模型处理后得到代表用户意图的输出数据；输出反馈单元，用于根据所述输出数据调用人工回复信息反馈给所述用户；自动更新单元，用于所述NLP模型的自动更新，其进一步包括：训练模块，通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据；存储模块，用于将训练后的NLP模型及模型指标存储在计算机模型仓库中；报警监控模块，用于根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控；更新模块，用于当所述报警监控模块发现报警信息时，从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
在本发明另一个实施例中，本发明提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，该处理器执行所述计算机程序时实现上述实施例所述基于自动更新的NLP模型的智能人工服务方法的步骤。
在本发明的一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例所述基于自动更新的NLP模型的智能人工服务方法的步骤。
在本发明的一个实施例中，一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述实施例所述基于自动更新的NLP模型的智能人工服务方法的步骤。
本发明的提供的基于自动更新的NLP模型的智能人工服务方法和装置，通过在生产环境下定期获取NLP模型调用数据，利用调用数据进行模型训练，同时监控NLP模型的运行情况，当NLP模型运行产生报警时，及时将训练过的模型与旧模型进行替换完成模型迭代，大大加快了模型迭代速度。使得本申请的智能人工服务反馈的信息更加精准，更加符合用户的意图。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例提供的基于自动更新的NLP模型的智能人工服务方法流程示意图；
图2是本发明一实施例的NLP模型自动更新的流程示意图；
图3是本发明一实施例的NLP模型训练流程示意图；
图4是本发明另一实施例的NLP模型训练流程示意图；
图5是本发明一实施例的拉取指定版本的NLP模型至模型部署容器中完成NLP模型的智能更新的方法流程示意图；
图6是本发明另一实施例的基于自动更新的NLP模型的智能人工服务方法的流程示意图；
图7是本发明一实施例的扩容操作的流程示意图；
图8是本发明一实施例的缩容操作的流程示意图；
图9是本发明另一实施例的基于自动更新的NLP模型的智能人工服务装置的结构示意图；
图10是本发明实施例的一种NLP模型自动更新的系统架构图；
图11是本发明另一实施例的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
需要说明的是，本申请公开的基于自动更新的NLP模型的智能人工服务方法和装置可用于人工智能技术领域，也可用于金融领域或其他任何技术领域，本申请对公开的基于自动更新的NLP模型的智能人工服务方法和装置的应用领域不做限定。
为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关技术方案进行说明。
术语“FASTTEXT”算法：一种开源的NLP模型训练算法，支持中文、英文、德文等多种语言。
术语“Kafka”：是一个开源的流处理平台，支持高吞吐量的分布式消息处理，普遍使用该工具进行日志或调用记录的收集。
术语“Zookeeper”：是一个开源的分布式协调服务，其具有数据发布/订阅功能。
术语“K8S”：全称kubernetes，是针对容器服务的一个开源的可移植容器的编排管理工具，普遍使用该工具进行集群容器的管理。
术语“数据湖”：泛指一类存储数据原始格式的系统，一般存储企业的全量数据。
图1是本发明一实施例提供的基于自动更新的NLP模型的智能人工服务方法流程示意图，包括如下步骤：
S101：获取用户基于客户端发出的输入信息。
S102：将所述输入信息作为最新更新的NLP模型的输入数据，经所述NLP模型处理后得到代表用户意图的输出数据。
S103：根据所述输出数据调用人工回复信息反馈给所述用户。
该NLP模型通过如图2所示的方式进行自动更新：
步骤S210：通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据；
NLP模型可以应用在多种场合，包括但不限于金融领域的智能客服、智能催收、智能HR等智能人工服务场景。当NLP模型应用在上述服务场合的时候，在NLP模型运行过程中会产生大量的输入和输出数据，即本步骤中所描述的NLP模型服务调用数据，本步骤就是对这些服务调用数据进行收集并进行NLP模型的训练。NLP模型训练可以通过多种不同算法进行训练，在本实施例中对此并不加以限定。
步骤S220：将训练后的NLP模型及模型指标存储在计算机模型仓库中。
模型仓库中存储有经过训练后的各个模型信息以及对应的指标信息，这些模型信息可以被后续模型部署容器拉取进行部署，而模型指标信息比如可以包括准确率、错误率、召回率等，这些指标信息可以用来评价模型运行情况。
步骤S230：根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控，判断是否发生报警，若发生报警，则进入步骤S240。
监控条件可以根据模型指标来设定，比如当准确率低于设定值、错误率高于设定值、召回率高于设定值中的一种情况或多种情况发生时，触发报警。具体的监控条件在本实施例中并不加以限定。
步骤S240：从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
当报警发生时，说明当前模型产生了衰变，已经无法满足实际业务需求，因此需要拉取新版本的NLP模型来进行NLP模型的迭代。
本发明实施例提供的基于自动更新的NLP模型的智能人工服务方法，通过在生产环境下定期获取NLP模型调用数据，利用调用数据进行模型训练，同时监控NLP模型的运行情况，当NLP模型运行产生报警时，及时将训练过的模型与旧模型进行替换完成模型迭代，大大加快了模型迭代速度。即本发明可以将模型效果反馈、模型训练、模型部署形成一个闭环的自动化流程，大大降低了人工操作，提高迭代速度。
优选的，如图3所示，上述步骤S210具体可以包括如下子步骤：
S211：通过网关收集NLP模型服务调用数据并将所述调用数据写入数据湖。
这里的数据湖泛指一类存储数据原始格式的系统，一般存储企业的全量数据。
S212：根据所述NLP模型实际应用情况对所述数据湖中的调用数据重新打上标签。
在步骤S211所收集的服务调用数据中，有些输出数据和输入数据之间会存在错误匹配的情况，或者说输出数据无法反映输入数据的意图，这时候就需要对这些错误的服务调用数据进行重新打标签操作，来反映输入数据的真实意图。这里的打标签操作可以由处理器根据预设规则来自行完成，也可以是由操作人员通过业务系统人工操作完成，本发明实施例对此并不加以限定。
S213：获取所述数据湖中重新打上标签的调用数据，并利用所述重新打上标签的调用数据进行NLP模型训练。
下面通过例举一具体业务场景来对上述步骤进行进一步的说明，需要指出的是，该业务场景的描述并非用于对本发明实施例进行限定，任何利用NLP模型的其他业务场景同样也适用上述方法：
某银行用户A与智能客服进行对话，用户A提出如下问题：“我想购买xx银行理财产品，能给我推荐一下吗？”，智能客服将该段文字的意图识别为“该用户A想要存款”，然后给该用户A回复了存款的流程。在这轮对话中，用户A的提问话术就是NLP模型服务的输入，而智能客服识别的意图就是NLP模型服务的输出。这些输入输出数据就会通过步骤S110进行收集并写入数据湖。
上述智能客服识别的意图明显是错误的，是与模型实际应用情况不符的，因此需要对这些错误数据进行识别，具体可以通过业务人员人工反馈进行识别，也可以通过业务系统自动识别。识别后，业务人员或业务系统可以将用户A的提问话术重新打上标签，在这里可以打上“推荐理财产品”的标签，为后续模型训练做准备。
到了预设的时间点，就可以将智能客服在对话过程中产生的所有错误意图数据进行收集并进行模型训练产生新版本的NLP模型，并根据模型实际运行的衰变情况选择是否进行模型的迭代操作。
优选的，上述步骤S211中通过网关收集NLP模型服务调用数据并将所述调用数据写入数据湖具体可包括：通过网关将NLP模型服务调用数据发送至Kafka集群，并由所述Kafka集群将所述NLP模型服务调用数据写入数据湖。
Kafka是一个开源的流处理平台，它支持高吞吐量的分布式消息处理，使用该工具进行日志或调用记录的收集，可以满足高吞吐量的业务场景数据处理要求。
优选的，步骤S210中NLP模型训练选用了FASTTEXT算法。在本实施例中，选用FASTTEXT算法进行NLP模型训练具有如下有益效果：首先，FASTTEXT算法是开源的NLP模型训练算法，支持中文、英文、德文等多种语言，适用范围广，能够适配大部分NLP场景需求，尤其是金融领域大部分对客服务场景需求。其次，FASTTEXT算法使用了分层softmax函数，通过构建霍夫曼树的方式可以将计算复杂度从N降低至logN，不仅能适配大型数据量和标签，还具备高效的训练速度。最后，FASTTEXT训练出的模型仅三层网络结构，即输入层、隐含层、输出层，只需依赖CPU即可完成模型的训练和服务部署，无需使用高性能GPU，模型加载速度快，模型版本切换几乎可以做到用户无感知，能够达到后续NLP模型迭代时热更新的目的。
优选的，如图4所示，步骤S213中获取所述数据湖中重新打上标签的调用数据，并利用所述重新打上标签的调用数据进行NLP模型训练，具体可以包括：
步骤S2131：根据预设频度在训练时间点触发模型训练。
在本实施例中，预设频度可以支持以“日”、“周”、“月”、“季”、“年”等单位进行设置，假设本实施例中以“月”为单位，则将在每月月底时触发模型训练。
步骤S2132：根据设置的训练数据时间区块选择所述时间区块内被重新打上标签的调用数据。
本步骤中的训练数据时间区块是为选取一段时间内的调用数据，例如，当预设频度以“月”为单位，训练数据时间区块为当前时间的前四个月月初到当前时间的前两个月月底时，那么2021年6月触发模型训练时，训练数据为2021年2月1日至2021年4月30日之间的被重新打上标签的调用数据。
步骤S2133：将所述调用数据与基础数据进行拼接。
步骤S2134：使用FASTTEXT算法对拼接后的数据进行NLP模型训练。
在本实施例中仅对本发明的特化参数做了介绍，而FASTTEXT算法本身的训练参数不再列举。通过设定模型训练的频度和选择合适的训练数据时间区块，可以即使进行模型训练，并即使更新模型仓库中的NLP模型，为后续NLP模型的智能迭代做准备。
优选的，上述步骤中将训练后的NLP模型及模型指标存储在模型仓库中可以包括：将训练后的NLP模型根据预设指标参数进行分类，将满足预设指标参数要求的NLP模型及模型指标存储在模型仓库中。
在本实施例中，上述指标参数比如可以为准确率、错误率或者召回率等，需要指出的是，任何可以评价NLP模型运行效果的参数都可以作为指标参数，本发明实施例对此并不加以限定。以准确率参数为例，当准确率阈值设置为0.9时，若训练后的NLP模型准确率指标低于0.9，则该NLP模型不满足指标参数要求，将不被存入模型仓库，反之当训练后的NLP模型准确率指标大于等于0.9时，则该NLP模型满足指标参数要求，将其存入模型仓库中。
通过对训练后的NLP模型根据指标参数进行筛选，可以有效地选取实施效果更好的NLP模型，也可以大幅模型仓库中NLP模型的数量，节约存储资源。
优选的，步骤S230中的模型指标阈值可以为准确率阈值，则可以根据准确率阈值对NLP模型运行进行报警监控。例如，在上述智能客服的业务场景下，业务人员对搜集的实际的模型输入&输出数据进行标注，该标注过程同时也是一次模型预测准确率的判断过程，即识别正确的不需要重新标注，识别错误的需要业务人员重新标注。若此时准确率报警的时间区段为近1个月，准确率阈值为0.9，当实际的识别准确率(计算公式为：实际识别准确率＝近1个月业务人员未重新标注的记录数/近1个月记录总数)小于0.9时会触发报警。当然，当模型指标阈值选取的不同，报警判断标准也会变化，比如当以错误率阈值作为模型指标阈值时，则需判断实际的识别错误率是否大于错误率阈值，若大于，则触发报警。
优选的，如图5所示，步骤S240中从所述模型仓库中拉取指定版本的NLP模型至模型部署容器中完成NLP模型的更新可以进一步包括：
S241：从模型仓库中获取NLP模型的版本号、版本入库时间和准确率。
S242：在准确率高于预设阈值的NLP模型版本中选择最高准确率所对应的NLP模型版本作为最新模型版本，若所述最高准确率所对应的NLP模型版本数量在两个以上，则选择入库时间最晚的NLP模型版本作为最新模型版本。
S243：将所述最新模型版本推送至Zookeeper，并通过Zookeeper将所述最新模型版本广播给模型部署容器。
S244：所述模型部署容器收到广播后从所述模型仓库中拉取所述最新模型版本，并替换所述模型部署容器中的旧模型版本完成NLP模型的智能迭代。
在本实施例中，图5所示步骤的实施主体可以由一准确率报警器来实施，例如，在本实施例中准确率的预设阈值为0.9，则准确率报警器可以获取模型仓库中的NLP模型相关信息，通过对模型仓库中NLP模型的筛选，准确率高于预设阈值0.9的模型有3个，参见下表1：
表1
版本号 入库时间 准确率
V6 2021-10-31 0.94
V7 2021-11-30 0.92
V8 2021-12-31 0.94
由表1可知，版本号为V6和V8的模型的准确率最高，但V6和V8准确率相同，因此通过入库时间进行筛选，从而入库时间更晚的V8作为最新模型版本。准确率报警器向Zookeeper发送请求，更新该NLP模型的所有的记录信息中的版本号为V8。Zookeeper上该模型版本号变化为V8后，会将该变化信息广播给所有注册的模型部署容器，模型部署容器在接收到广播后，会向模型仓库发送请求获取V8版本的NLP模型介质，NLP模型介质拉取完毕后会覆盖原本的模型介质。在该过程中，模型部署容器不会重启，服务不会停机，能够实现NLP模型有效的热更新。
如图6所示为本发明另一实施例的NLP模型自动更新方法的流程示意图，包括如下步骤：
步骤S610：通过网关收集NLP模型服务调用数据并将所述调用数据写入数据湖；
步骤S620：根据所述NLP模型实际应用情况对所述数据湖中的调用数据重新打上标签。
步骤S630：获取所述数据湖中重新打上标签的调用数据，并利用所述重新打上标签的调用数据进行NLP模型训练。
步骤S640：将训练后的NLP模型及模型指标存储在计算机模型仓库中。
步骤S650：根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控，判断是否发生报警，若发生报警，则进入步骤S660。
步骤S660：从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
步骤S670：对网关流量进行监控，根据预设流量报警策略对模型部署容器进行扩容或缩容操作。
在本实施例中，上述步骤S610-S660与前述实施例相类似，在此不再进行赘述。本实施例中可以通过设置一流量监控器，实时监控网关的流量，通过步骤S670的操作，可以解决传统模式中因业务高峰期服务超时而导致的服务效果降低的问题，可在调用方无感知的情况下完成服务的动态扩缩容。
优选的，上述步骤S670中根据预设流量报警策略对模型部署容器进行扩容或缩容操作可以包括：当监控到网关流量大于流量阈值时，向集群控制节点K8S发送扩容请求，当监控到网关流量小于或等于流量阈值时，向集群控制节点K8S发送缩容请求，所述集群控制节点K8S根据所述扩容请求或所述缩容请求执行相应的扩容操作或缩容操作。这里的流量阈值可以是管理人员预设的，也可以是系统根据模型服务运行情况动态调整的，比如当模型服务首次上线时，可以预设该模型服务的高峰期和低谷期的每秒并发量TPS，模型服务启动时默认根据该模型服务高峰期的阈值确定容器启动数量。待模型服务调用一段时间后，流量监控器完成“热车”，即可对模型服务高峰期和低谷期进行准确判断，而进行流量报警，并根据预设的流量报警策略进行动态扩容或缩容。
优选的，如图7所示，上述集群控制节点K8S根据所述扩容请求执行扩容操作可以进一步包括：
步骤S701：集群控制节点K8S根据扩容请求新增模型部署容器。
步骤S702：所述新增模型部署容器从模型仓库中拉取当前版本的NLP模型。
步骤S703：向Zookeeper发送当前版本的NLP模型的注册请求信息并完成注册。
步骤S704：所述新增模型部署容器启动模型服务并向网关进行注册。
通过这种动态扩容操作，可以解决传统模式下由于业务高峰期服务超时导致的模型服务整体效果下降的问题。
优选的，如图8所示，上述集群控制节点K8S根据所述缩容请求执行缩容操作可以进一步包括：
步骤S801：集群控制节点K8S根据缩容请求删除模型部署容器；
步骤S802：向Zookeeper发送模型信息更新请求，更新删除的模型部署容器信息；
步骤S803：将删除的模型部署容器的模型服务在网关上解除注册。
通过上述模型部署缩容操作，又可以解决业务低谷期占用大量容器资源、增加系统负荷的问题。
下面通过一具体实施方式对上述动态扩容和缩容操作进行进一步的说明：
在某智能客服业务场景下，原本启动的模型服务容器数量为5个，单个容器TPS上限为10，当网关的流量监控器监控到业务达到高峰期(TPS阈值>50)时，向集群控制节点K8S发送容器扩容请求(扩充数量公式：扩充容器数量＝(当前TPS-阈值TPS)/单个容器TPS上限)。集群控制节点K8S收到容器扩容请求后，根据该请求新增响应数量的模型部署容器，假设当前正在使用的NLP模型名为NLP_EXAMPLE，版本号为V4，那么新增的模型部署容器启动时会向模型仓库发出请求，获取V4版本的NLP_EXAMPLE模型介质；拉取完毕后向Zookeeper发送请求注册信息(注册内容：{‘exeIp’:’xxx.xxx.xxx.xxx’,’version’:’V4’})；注册完毕后，新增的模型部署容器内会启动模型服务，并向网关上进行注册；网关注册后，业务流量就能得到疏通。
同理，当网关的流量监控器监控到业务恢复到正常值(TPS阈值<＝50)时，向集群控制节点K8S发送容器缩容请求，将容器数量恢复到正常数量，集群控制节点K8S根据缩容请求删除模型部署容器，同时向Zookeeper发送模型信息更新请求，更新删除的模型部署容器信息，最后将删除的模型部署容器的模型服务在网关上解除注册。
本发明的基于自动更新的NLP模型的智能人工服务方法通过在生产环境下定期获取NLP模型调用数据，并根据模型实际应用情况对调用数据进行打标签操作，再利用打标签的数据进行模型训练，同时监控NLP模型的运行情况，当NLP模型运行产生报警时，及时将训练过的模型与旧模型进行替换完成模型迭代，大大加快了模型迭代速度。即本发明可以将模型效果反馈、模型训练、模型部署形成一个闭环的自动化流程，大大降低了人工操作，提高迭代速度。另外本发明的动态容器扩缩容操作可以解决传统模式下，由于业务高峰期服务超时导致的模型服务整体效果下降的问题以及由于业务低谷期占用大量容器资源、增加系统负荷的问题。而且本发明还解决了传统模式下，由于模型衰变后模型容器需要重启来加载模型导致的服务中断问题，大大提高了模型服务的稳定性。
基于与图1及图2所示的基于自动更新的NLP模型的智能人工服务方法相同的发明构思，本发明实施例还提供了一种基于自动更新的NLP模型的智能人工服务装置，如下面实施例所述。由于该基于自动更新的NLP模型的智能人工服务装置解决问题的原理与前述智能人工服务方法相似，因此该基于自动更新的NLP模型的智能人工服务装置的实施可以参见基于自动更新的NLP模型的智能人工服务方法的实施，重复之处不再赘述。
如图9所示为本发明另一实施例的基于自动更新的NLP模型的智能人工服务装置的结构示意图，该装置包括：输入信息获取单元910、NLP模型处理单元920、输出反馈单元930和自动更新单元940，NLP模型处理单元920分别和输入信息获取单元910、输出反馈单元930及自动更新单元940相连。其中自动更新单元940又包括：训练模块941、存储模块942、报警监控模块943和更新模块944，它们之间依次相连。
输入信息获取单元910用于获取用户基于客户端发出的输入信息。
NLP模型处理单元920用于将所述输入信息作为输入数据，经NLP模型处理后得到代表用户意图的输出数据。
输出反馈单元930用于根据所述输出数据调用人工回复信息反馈给所述用户。
自动更新单元940用于所述NLP模型的自动更新。
训练模块941用于通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据。
存储模块942用于将训练后的NLP模型及模型指标存储在计算机模型仓库中。
报警监控模块943用于根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控。
更新模块944用于当所述报警监控模块发现报警信息时，从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
本发明的基于自动更新的NLP模型的智能人工服务装置，通过在生产环境下定期获取NLP模型调用数据，利用调用数据进行模型训练，同时监控NLP模型的运行情况，当NLP模型运行产生报警时，及时将训练过的模型与旧模型进行替换完成模型迭代，大大加快了模型迭代速度。即本发明可以将模型效果反馈、模型训练、模型部署形成一个闭环的自动化流程，大大降低了人工操作，提高迭代速度。
优选的，本实施例的训练模块941进一步可以包括：数据收集子模块、标签子模块和训练子模块，其中数据收集子模块用于通过网关收集NLP模型服务调用数据并将所述调用数据写入数据湖；标签子模块用于根据所述NLP模型实际应用情况对所述数据湖中的调用数据重新打上标签；训练子模块用于获取所述数据湖中重新打上标签的调用数据，并利用所述重新打上标签的调用数据进行NLP模型训练。
优选的，数据收集子模块具体用于通过网关将NLP模型服务调用数据发送至Kafka集群，并由所述Kafka集群将所述NLP模型服务调用数据写入数据湖。
优选的，训练子模块进一步可以包括触发模块、选择模块、拼接模块和训练模块，它们之间依次相连，其中：
触发模块用于根据预设频度在训练时间点触发模型训练。
选择模块用于根据设置的训练数据时间区块选择所述时间区块内被重新打上标签的调用数据。
拼接模块用于将所述调用数据与基础数据进行拼接。
训练模块用于使用FASTTEXT算法对拼接后的数据进行NLP模型训练。
优选的，存储模块942具体可用于将训练后的NLP模型根据预设指标参数进行分类，将满足预设指标参数要求的NLP模型及模型指标存储在模型仓库中。
优选的，模型指标包括准确率指标，报警监控模块943具体用于在预设时间段内，对实际识别的准确率进行监控，当实际识别的准确率小于预设阈值时触发报警。
优选的，更新模块944可以进一步包括：获取子模块、版本选择子模块、推送子模块、Zookeeper子模块和模型部署容器，他们之间依次相连，其中：
获取子模块用于从模型仓库中获取NLP模型的版本号、版本入库时间和准确率。
版本选择子模块用于在准确率高于预设阈值的NLP模型版本中选择最高准确率所对应的NLP模型版本作为最新模型版本，若所述最高准确率所对应的NLP模型版本数量在两个以上，则选择入库时间最晚的NLP模型版本作为最新模型版本。
推送子模块用于将最新模型版本推送至Zookeeper。
Zookeeper子模块用于将所述最新模型版本广播给模型部署容器。
模型部署容器用于在收到广播后可以从所述模型仓库中拉取所述最新模型版本，并替换所述模型部署容器中的旧模型版本完成NLP模型的智能迭代。
优选的，如图9所示的基于自动更新的NLP模型的智能人工服务装置还可以包括容器调整单元，用于对网关流量进行监控，根据预设流量报警策略对模型部署容器进行扩容或缩容操作。
优选的，上述容器调整单元可以包括扩容模块、缩容模块和集群控制节点K8S，其中，扩容模块用于当监控到网关流量大于流量阈值时，向集群控制节点K8S发送扩容请求。缩容模块用于当监控到网关流量小于或等于流量阈值时，向集群控制节点K8S发送缩容请求。集群控制节点K8S用于根据所述扩容请求或所述缩容请求执行相应的扩容操作或缩容操作。
优选的，上述集群控制节点K8S进一步可用于根据扩容请求新增模型部署容器，使得的新增模型部署容器可以从模型仓库中拉取当前版本的NLP模型；向Zookeeper发送当前版本的NLP模型的注册请求信息并完成注册使得新增的模型部署容器可以启动模型服务并向网关进行注册。
优选的，上述集群控制节点K8S进一步可用于根据缩容请求删除模型部署容器；并向Zookeeper发送模型信息更新请求，更新删除的模型部署容器信息使得删除的模型部署容器的模型服务可以在网关上解除注册。
本发明的基于自动更新的NLP模型的智能人工服务装置通过在生产环境下定期获取NLP模型调用数据，并根据模型实际应用情况对调用数据进行打标签操作，再利用打标签的数据进行模型训练，同时监控NLP模型的运行情况，当NLP模型运行产生报警时，及时将训练过的模型与旧模型进行替换完成模型迭代，大大加快了模型迭代速度。即本发明可以将模型效果反馈、模型训练、模型部署形成一个闭环的自动化流程，大大降低了人工操作，提高迭代速度。另外本发明的动态容器扩缩容操作可以解决传统模式下，由于业务高峰期服务超时导致的模型服务整体效果下降的问题以及由于业务低谷期占用大量容器资源、增加系统负荷的问题。而且本发明还解决了传统模式下，由于模型衰变后模型容器需要重启来加载模型导致的服务中断问题，大大提高了模型服务的稳定性。
下面再结合一具体实施方式对本发明的NLP模型自动更新进行进一步的阐述，如图10所示为本发明实施例提供的一种NLP模型自动更新的系统架构图，该系统包括：网关901、Kafka集群902、数据湖903、标签单元904、FASTTEXT模型训练器905、模型仓库906、准确率报警器907、Zookeeper集群908、模型部署容器909、流量监控器910、集群控制节点911和CPU集群912，其中，网关901分别和模型部署容器909、Kafka集群902及流量监控器910相连，数据湖903分别和Kafka集群902、标签单元904、FASTTEXT模型训练器905及准确率报警器907相连，模型仓库906分别和准确率报警器907、FASTTEXT模型训练器905及模型部署容器909相连，Zookeeper集群908分别和准确率报警器907及模型部署容器909相连，集群控制节点911分别和流量监控器910及CPU集群912相连，且CPU集群912还和模型部署容器909相连。
Kafka集群902通过网关901收集NLP模型服务调用数据，并将该调用数据写入数据湖903中，业务人员可以根据NLP模型实际应用情况，通过标签单元904对数据湖中不符合规则的调用数据重新打上标签。FASTTEXT模型训练器905根据预设频度获取数据湖903中指定时间段内被重新打上标签的调用数据，利用FASTTEXT算法进行模型训练，训练完毕后将满足预设指标参数要求的NLP模型及模型指标存储在模型仓库906中。准确率报警器907根据预设的监控时间区间和准确率阈值对数据湖903中的调用数据进行监控，并根据监控结果进行模型准确率报警，当发生报警时，准确率报警器907可以从模型仓库906中获取模型清单和相应的评估指标，模型清单比如可以包括NLP模型的版本号、版本入库时间和准确率，评估指标在这里是准确率指标，需要指出的是，这里的评估指标也可以为准确率、召回率、错误率等其他一种或多种指标的组合。准确率报警器907从模型清单中获取最新的模型版本，并将该最新模型版本信息推送至Zookeeper集群908，Zookeeper集群908收到该最新版本信息后将其广播给所有模型部署容器909。模型部署容器909收到广播后会向模型仓库906中拉取该最新模型版本，并替换模型部署容器909中的旧模型版本完成NLP模型的智能迭代。
在NLP模型运行过程中，流量监控器910可以通过网关901对NLP模型服务调用数据的网关流量进行监控，当监控到网关流量大于流量阈值时，向集群控制节点911发送扩容请求，或当监控到网关流量小于或等于流量阈值时，向集群控制节点911发送缩容请求，这里的集群控制节点911比如可以为K8S。集群控制节点911根据所述扩容请求或所述缩容请求执行相应的扩容操作或缩容操作，具体来说，集群控制节点911可以通过控制CPU集群912来实现对模型部署容器909的新增和删除操作。模型部署容器909的新增和删除操作可参见前述方法或装置实施例中的描述。
从硬件层面来说，为了能够在生产环境下完成NDL模型的自动化更新迭代，加快NDL模型的迭代速度，并将该自动更新的NDL模型用于智能人工服务中，本申请提供一种用于实现所述基于自动更新的NLP模型的智能人工服务方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现NDL模型智能迭代装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的基于自动更新的NLP模型的智能人工服务方法的实施例，以及基于自动更新的NLP模型的智能人工服务装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，基于自动更新的NLP模型的智能人工服务方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图11为本申请实施例的电子设备9600的系统构成的示意框图。如图11所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图11是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现上述功能。
一实施例中，基于自动更新的NLP模型的智能人工服务方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
S101：获取用户基于客户端发出的输入信息。
S102：将所述输入信息作为最新更新的NLP模型的输入数据，经所述NLP模型处理后得到代表用户意图的输出数据。
S103：根据所述输出数据调用人工回复信息反馈给所述用户。
该NLP模型通过如下方式进行自动更新：
步骤S210：通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据；
步骤S220：将训练后的NLP模型及模型指标存储在计算机模型仓库中。
步骤S230：根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控，判断是否发生报警，若发生报警，则进入步骤S240。
步骤S240：从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
从上述描述可知，本申请实施例提供的电子设备，通过在生产环境下定期获取NLP模型调用数据，并利用调用数据进行模型训练，同时监控NLP模型的运行情况，当NLP模型运行产生报警时，及时将训练过的模型与旧模型进行替换完成模型迭代，大大加快了模型迭代速度。即本发明可以将模型效果反馈、模型训练、模型部署形成一个闭环的自动化流程，大大降低了人工操作，提高迭代速度。
在另一个实施方式中，基于自动更新的NLP模型的智能人工服务装置可以与中央处理器9100分开配置，例如可以将基于自动更新的NLP模型的智能人工服务装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现基于自动更新的NLP模型的智能人工服务方法功能。
如图11所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图11中所示的所有部件；此外，电子设备9600还可以包括图11中没有示出的部件，可以参考现有技术。
如图11所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的基于自动更新的NLP模型的智能人工服务方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的基于自动更新的NLP模型的智能人工服务方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S101：获取用户基于客户端发出的输入信息。
S102：将所述输入信息作为最新更新的NLP模型的输入数据，经所述NLP模型处理后得到代表用户意图的输出数据。
S103：根据所述输出数据调用人工回复信息反馈给所述用户。
该NLP模型通过如下方式进行自动更新：
步骤S210：通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据；
步骤S220：将训练后的NLP模型及模型指标存储在计算机模型仓库中。
步骤S230：根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控，判断是否发生报警，若发生报警，则进入步骤S240。
步骤S240：从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过在生产环境下定期获取NLP模型调用数据，并利用调用数据进行模型训练，同时监控NLP模型的运行情况，当NLP模型运行产生报警时，及时将训练过的模型与旧模型进行替换完成模型迭代，大大加快了模型迭代速度。即本发明可以将模型效果反馈、模型训练、模型部署形成一个闭环的自动化流程，大大降低了人工操作，提高迭代速度。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的基于自动更新的NLP模型的智能人工服务方法中全部步骤的一种计算机程序产品，该计算机程序/指令被处理器执行时实现所述的基于自动更新的NLP模型的智能人工服务方法的步骤，例如，所述计算机程序/指令实现下述步骤：
S101：获取用户基于客户端发出的输入信息。
S102：将所述输入信息作为最新更新的NLP模型的输入数据，经所述NLP模型处理后得到代表用户意图的输出数据。
S103：根据所述输出数据调用人工回复信息反馈给所述用户。
该NLP模型通过如下方式进行自动更新：
步骤S210：通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据；
步骤S220：将训练后的NLP模型及模型指标存储在计算机模型仓库中。
步骤S230：根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控，判断是否发生报警，若发生报警，则进入步骤S240。
步骤S240：从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
从上述描述可知，本申请实施例提供的计算机程序产品，通过在生产环境下定期获取NLP模型调用数据，并利用调用数据进行模型训练，同时监控NLP模型的运行情况，当NLP模型运行产生报警时，及时将训练过的模型与旧模型进行替换完成模型迭代，大大加快了模型迭代速度。即本发明可以将模型效果反馈、模型训练、模型部署形成一个闭环的自动化流程，大大降低了人工操作，提高迭代速度。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述方法包括：
获取用户基于客户端发出的输入信息；
将所述输入信息作为最新更新的NLP模型的输入数据，经所述NLP模型处理后得到代表用户意图的输出数据；
根据所述输出数据调用人工回复信息反馈给所述用户；
所述NLP模型通过如下方式进行自动更新：
通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据；将训练后的NLP模型及其模型指标存储在计算机模型仓库中；
根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控，若发生报警，则从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
2.如权利要求1所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练包括：
通过网关收集NLP模型服务调用数据并将所述调用数据写入数据湖；
根据所述NLP模型实际应用情况对所述数据湖中的调用数据重新打上标签；
获取所述数据湖中重新打上标签的调用数据，并利用所述重新打上标签的调用数据进行NLP模型训练。
3.如权利要求2所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述通过网关收集NLP模型服务调用数据并将所述调用数据写入数据湖包括：
通过网关将NLP模型服务调用数据发送至Kafka集群，并由所述Kafka集群将所述NLP模型服务调用数据写入数据湖。
4.如权利要求2所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述获取所述数据湖中重新打上标签的调用数据，并利用所述重新打上标签的调用数据进行NLP模型训练包括：
根据预设频度获取所述数据湖中重新打上标签的调用数据，并使用FASTTEXT算法进行NLP模型训练。
5.如权利要求4所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述根据预设频度获取所述数据湖中重新打上标签的调用数据，并使用FASTTEXT算法进行NLP模型训练包括：
根据预设频度在训练时间点触发模型训练；
根据设置的训练数据时间区块选择所述时间区块内被重新打上标签的调用数据；
将所述调用数据与基础数据进行拼接；
使用FASTTEXT算法对拼接后的数据进行NLP模型训练。
6.如权利要求4或5所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述将训练后的NLP模型及模型指标存储在计算机模型仓库中包括：
将训练后的NLP模型根据预设指标参数进行分类，将满足预设指标参数要求的NLP模型及模型指标存储在计算机模型仓库中。
7.如权利要求1所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述模型指标包括准确率指标，所述根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控包括：
在预设时间段内，对实际识别的准确率进行监控，当实际识别的准确率小于预设阈值时触发报警。
8.如权利要求7所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新包括：
从计算机模型仓库中获取NLP模型的版本号、版本入库时间和准确率；
在准确率高于预设阈值的NLP模型版本中选择最高准确率所对应的NLP模型版本作为最新模型版本，若所述最高准确率所对应的NLP模型版本数量在两个以上，则选择入库时间最晚的NLP模型版本作为最新模型版本；
将所述最新模型版本推送至Zookeeper，并通过Zookeeper将所述最新模型版本广播给模型部署容器；
所述模型部署容器收到广播后从所述计算机模型仓库中拉取所述最新模型版本，并替换所述模型部署容器中的旧模型版本完成NLP模型的更新。
9.如权利要求1所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，还包括：
对网关流量进行监控，根据预设流量报警策略对模型部署容器进行扩容或缩容操作。
10.如权利要求9所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述根据预设流量报警策略对模型部署容器进行扩容或缩容操作包括：
当监控到网关流量大于流量阈值时，向集群控制节点K8S发送扩容请求；
当监控到网关流量小于或等于流量阈值时，向集群控制节点K8S发送缩容请求；
所述集群控制节点K8S根据所述扩容请求或所述缩容请求执行相应的扩容操作或缩容操作。
11.如权利要求10所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述集群控制节点K8S根据所述扩容请求执行扩容操作包括：
所述集群控制节点K8S根据扩容请求新增模型部署容器；
所述新增模型部署容器从模型仓库中拉取当前版本的NLP模型；
向Zookeeper发送当前版本的NLP模型的注册请求信息并完成注册；
所述新增模型部署容器启动模型服务并向网关进行注册。
12.如权利要求10所述的基于自动更新的NLP模型的智能人工服务方法，其特征在于，所述集群控制节点K8S根据所述缩容请求执行缩容操作包括：
所述集群控制节点K8S根据缩容请求删除模型部署容器；
向Zookeeper发送模型信息更新请求，更新删除的模型部署容器信息；
将删除的模型部署容器的模型服务在网关上解除注册。
13.一种基于自动更新的NLP模型的智能人工服务装置，其特征在于，所述装置包括：
输入信息获取单元，用于获取用户基于客户端发出的输入信息；
NLP模型处理单元，用于将所述输入信息作为最新更新的NLP模型的输入数据，经NLP模型处理后得到代表用户意图的输出数据；
输出反馈单元，用于根据所述输出数据调用人工回复信息反馈给所述用户；
自动更新单元，用于所述NLP模型的自动更新，其进一步包括：
训练模块，通过网关收集NLP模型服务调用数据并根据所述调用数据进行NLP模型训练，所述调用数据包括所述输入数据和所述输出数据；
存储模块，用于将训练后的NLP模型及模型指标存储在计算机模型仓库中；
报警监控模块，用于根据存储单元中预存的模型指标阈值对NLP模型运行进行报警监控；
更新模块，用于当所述报警监控模块发现报警信息时，从所述计算机模型仓库中读取指定版本的NLP模型至模型部署容器中完成NLP模型的更新。
14.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12任一项所述基于自动更新的NLP模型的智能人工服务方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12任一项所述基于自动更新的NLP模型的智能人工服务方法的步骤。
16.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至12任一项所述基于自动更新的NLP模型的智能人工服务方法的步骤。
CN202210750148.1A 2022-06-29 2022-06-29 基于自动更新的nlp模型的智能人工服务方法和装置 Pending CN115098290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210750148.1A CN115098290A (zh) 2022-06-29 2022-06-29 基于自动更新的nlp模型的智能人工服务方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210750148.1A CN115098290A (zh) 2022-06-29 2022-06-29 基于自动更新的nlp模型的智能人工服务方法和装置

Publications (1)

Publication Number Publication Date
CN115098290A true CN115098290A (zh) 2022-09-23

Family

ID=83295422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210750148.1A Pending CN115098290A (zh) 2022-06-29 2022-06-29 基于自动更新的nlp模型的智能人工服务方法和装置

Country Status (1)

Country Link
CN (1) CN115098290A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117540827A (zh) * 2024-01-08 2024-02-09 杭州吉利汽车数字科技有限公司 模型热更新方法、装置、设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117540827A (zh) * 2024-01-08 2024-02-09 杭州吉利汽车数字科技有限公司 模型热更新方法、装置、设备及计算机可读存储介质
CN117540827B (zh) * 2024-01-08 2024-04-09 杭州吉利汽车数字科技有限公司 模型热更新方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN105068869A (zh) 在移动终端中的信息推送的方法及装置
CN104854567A (zh) 鉴于数据使用统计的设备备份和更新
US10552235B2 (en) Uniform event framework
CN107968842B (zh) 基于分布式系统的新闻推送方法、装置及设备
CN103218705A (zh) 一种日程提醒方法和装置
CN101378561B (zh) 提供终端外观内容的方法、外观定制服务器和系统
CN115098290A (zh) 基于自动更新的nlp模型的智能人工服务方法和装置
CN112328905A (zh) 线上营销内容推送方法、装置、计算机设备及存储介质
CN112862544B (zh) 对象信息的获取方法、装置以及存储介质
US20230388403A1 (en) Machine learning for determining communication protocols
CN112396511A (zh) 分布式风控变量数据处理方法、装置及系统
CN111311015A (zh) 个性化点击率预测方法、设备及可读存储介质
CN113572841B (zh) 信息推送方法及装置
CN113553509B (zh) 一种内容推荐方法、装置、电子设备及存储介质
CN114071382A (zh) 消息发送方法及装置
CN112989236B (zh) 一种信息展示方法、装置、电子设备及存储介质
KR101188961B1 (ko) 컨텐츠 업데이트 방법 및 시스템
WO2022008261A1 (en) Flexible routing of outbound contacts requests
CN115221307A (zh) 一种文章识别方法、装置、计算机设备及存储介质
CN109285035A (zh) 预测应用留存数据的方法、装置、设备及存储介质
CN112929751A (zh) 用于确定动作执行的系统、方法及终端
CN104811748A (zh) 播放视频片段的控制方法、装置及系统
CN113744066B (zh) 信息推送方法及装置
CN118134563A (zh) 多渠道信息推送方法、系统、设备及存储介质
CN106302671A (zh) 一种下载时间设置方法及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination