CN111367633A - 问答系统中的模型服务治理方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种问答系统中的模型服务治理方法、装置、计算机可读存储介质和计算机设备，方法包括：接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理，采集目标模型流在进行问答处理时的指标数据，当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流，将目标模型流的问答数据分流至备选模型流进行问答处理。一方面，通过配置模型流的方式进行问答处理，实现了多模型智能化组合，保障了问答服务的准确率，另一方面，通过配置多个模型流进行分流切换，根据模型流在进行问答处理过程中的指标数据来判断是否需要切换模型流，达到智能化的模型服务治理的目的，保障了问答系统的稳定运营。

Description

问答系统中的模型服务治理方法、装置和计算机设备

技术领域

本申请涉及人工智能技术领域，特别是涉及一种问答系统中的模型服务治理方法、装置、计算机可读存储介质和计算机设备。

背景技术

随着人工智能技术的发展，出现了智能问答技术，在智能问答系统中，往往会使用机器学习模型、深度学习模型等方法对用户的问题进行理解、分析，再给出答案实现智能问答。

然而，目前的智能问答方式，由于模型的性能和效果在不同时期会随着线上数据量的规模和数据的种类而发生变化，一方面导致在智能问答系统在线上的运营后，效果性能变的越来越差，维护成本也越来越大，另一方面，某些模型虽然预测效果好但是性能会比较差，如果线上的用户流量突增，很可能导致问答服务的不可用，无法保证智能问答系统的稳定运营。

发明内容

基于此，有必要针对无法保证智能问答系统的稳定运营的技术问题，提供一种问答系统中的模型服务治理方法、装置、计算机可读存储介质和计算机设备。

一种问答系统中的模型服务治理方法，包括：

接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理；

采集目标模型流在进行问答处理时的指标数据；

当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流；

将目标模型流的问答数据分流至备选模型流进行问答处理。

一种问答系统中的模型服务治理装置，装置包括：

目标模型流获取模块，用于接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理；

指标数据获取模块，用于采集目标模型流在进行问答处理时的指标数据；

备选模型流获取模块，用于当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流；

问答数据分流模块，用于将目标模型流的问答数据分流至备选模型流进行问答处理。

一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理；

采集目标模型流在进行问答处理时的指标数据；

当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流；

将目标模型流的问答数据分流至备选模型流进行问答处理。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理；

采集目标模型流在进行问答处理时的指标数据；

当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流；

将目标模型流的问答数据分流至备选模型流进行问答处理。

上述问答系统中的模型服务治理方法、装置、计算机可读存储介质和计算机设备，一方面，通过配置模型流的方式进行问答处理，实现了问答系统中多个模型的智能化组合，相较于单一或分散的模型处理方式，保障了问答服务的准确率，另一方面，通过目标模型流对接收的问答数据进行处理，采集目标模型流在进行问答处理时的指标数据，当指标数据满足模型流切换指标条件时，将问答数据分流至备份模型流进行问答处理，通过配置多个模型流进行分流切换，根据模型流的在进行问答处理过程中的指标数据来判断是否需要切换进行问答处理的模型流，达到智能化的模型服务治理的目的，保障了问答系统的稳定运营。

附图说明

图1为一个实施例中智能问答系统中的模型服务治理方法的应用环境图；

图2为一个实施例中智能问答系统中的模型服务治理方法的流程示意图；

图3为另一个实施例中智能问答系统中的模型服务治理方法的流程示意图；

图4为再一个实施例中智能问答系统中的模型服务治理方法的流程示意图；

图5为又一个实施例中智能问答系统中的模型服务治理方法的流程示意图；

图6(a)为一个实施例中智能问答系统中的模型服务治理方法中的串行连接方式的模型流示意图；

图6(b)为一个实施例中智能问答系统中的模型服务治理方法中的并行连接方式的模型流示意图；

图6(c)为一个实施例中智能问答系统中的模型服务治理方法中的判断执行连接方式的模型流示意图；

图7为还一个实施例中智能问答系统中的模型服务治理方法的流程示意图；

图8为另一个实施例中智能问答系统中的模型服务治理方法的流程示意图；

图9为一个实施例中智能问答系统中的模型服务治理方法的应用客户端界面图；

图10为一个实施例中智能问答系统中的模型服务治理方法的流程架构图；

图11为一个实施例中智能问答系统中的模型服务治理方法数据流切换控制示意图；

图12为另一个实施例中智能问答系统中的模型服务治理方法的流程示意图；

图13为另一个实施例中智能问答系统中的模型服务治理装置的结构框图；

图14为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请实施例提供的方案中的智能问答系统涉及人工智能中的自然语言处理技术(NatureLanguage processing,NLP)。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

图1为一个实施例中智能问答系统中的模型服务治理方法的应用环境图。参照图1，该问答系统中的模型服务治理方法应用于智能问答系统。该智能问答系统包括终端110和服务器120。终端110和服务器120通过网络连接。服务器120可以接收用户通过终端110输入的问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理，采集目标模型流在进行问答处理时的指标数据，当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流，将目标模型流的问答数据分流至备选模型流进行问答处理。其中，终端110具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种问答系统中的模型服务治理方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该问答系统中的模型服务治理方法具体包括如下步骤S210至S240。

S210，接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理。

问答数据是指智能问答系统中用户通过客户端输入的数据，在实施例中，智能问答系统包括客户端和服务端，用户通过客户端输入数据，客户端将输入的数据发送至服务端，服务端对接收的数据进行分析，并反馈对应的数据处理结果至客户端，其中反馈的数据可以是输入数据的答案。智能问答系统的服务端对问答数据进行处理时，可以通过多个语言处理模型的配合运用来实现，其中，语言处理模型可以包括分词模型、特征提取模型、实体识别模型、意图识别模型、实体纠错模型以及意图纠错模型等。通过多个语言处理模型中的一个或多个，可以构成模型流，通过模型流可以对问答数据进行问答处理，从而得到问答数据对应的问答结果。目标模型流是指用于对当前接收的问答数据进行分析的模型流。目标模型流可是模型流集合的多个模型流中优先级最高的模型流，其中优先级可以通过预测数据对多个模型进行测试得到的初始指标数据来确定。指标数据包括模型的承载流量上限、模型流的准确率以及无答案率等等。其中，模型流的准确率以及无答案率等指标会在模型流进行问答处理的过程中发生变化，模型流的承载流量上限一般为固定值，但接收的问答数据对应的业务流量为变化的数据。在实施例中，优先级可以配置为通过其中一个指标数据来确定，也可以通过多个指标的综合数据来确定，例如通过多个指标数据进行设定的与或逻辑运算来得到综合数据。

智能问答系统用于针对某类数据的问答处理。以游戏信息的智能问答系统为例，随着游戏的更新和升级，用户对于游戏信息的了解侧重点也会发生变化，此时，原有的模型流如果不进行对应升级调整，其对问答数据进行问答处理的准确率和无答案率等指标数据均可能发生改变，此时原有的模型流即目标模型流可能无法满足系统的运营要求。模型流切换指标条件是用于评估模型流是否适用于当前问答数据的业务场景的判断依据，可以理解，模型流切换条件的具体阈值参数可以根据业务场景需求进行设定。

S220，采集目标模型流在进行问答处理时的指标数据。

指标数据的类型与模型流切换指标条件相对应，模型流切换指标条件的数量可以是一个或多个，其中，多个是指两个或两个以上。对于多个模型流切换指标条件的场景，对于每一个模型流切换指标条件，获取目标模型流对应的指标数据，例如，模型流切换指标条件包括目标模型流的业务流量承载上限、模型流问答准确率最低阈值以及模型流问答无答案率最高阈值，此时，对应的指标数据分别为接收的问答数据对应的业务流量、目标模型流的问答准确率以及问答无答案率，其中目标模型流的业务流量承载上限为固定值，接收的问答数据对应的业务流量为变化值，例如，目标模型流的业务流量承载上限可以是固定值60qps(Queries-per-second，每秒查询率，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准)，接收的问答数据对应的业务流量需要通过实时分析得到。目标模型流的问答准确率以及问答无答案率均为变化值，会随着模型流的使用情况发生变化，模型流问答准确率最低阈值以及模型流问答无答案率最高阈值为固定值。

S230，当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流。

当模型流切换指标条件的数量为多个时，数据指标满足模型流切换指标条件是指存在一个满足模型流切换指标条件的数据指标。当存在一个满足模型流切换指标条件的数据指标，表征目标模型流不能满足对当前接收的业务数据的处理需求。具体原因包括目标模型流的业务流量承载能力不足或是目标模型流的准确度过低或是目标模型流的无答案率过高等。

在具体的实施例中，在出现以下任意一种情况时，即为指标数据满足模型流切换指标条件，执行从模型流集合中获取优先级次高的备选模型流的步骤。

第一种，模型流切换指标条件包括目标模型流的业务流量承载上限，指标数据包括接收的问答数据对应的业务流量，在业务流量达到目标模型流的业务流量承载上限时。

目标模型流的业务流量承载上限由模型流的组成模型决定，根据模型流的各组成模型的业务流量承载上限来确定模型流的业务流量承载上限。不同的模型流的业务流量承载上限可能存在差异，当模型流切换指标条件为目标模型流的业务流量承载上限时，根据业务流量承载上限来确定备选模型流。当业务流量达到目标模型流的业务流量承载上限时，将目标模型流的问答数据分流至备选模型流。

第二种，模型流切换指标条件包括模型流问答准确率最低阈值，指标数据包括目标模型流的问答准确率，在目标模型流的问答准确率小于模型流问答准确率最低阈值时。

第三种，模型流切换指标条件包括模型流无答案率最高阈值，指标数据包括目标模型流的无答案率，在目标模型流的无答案率大于模型流无答案率最高阈值时。

模型流问答准确率最低阈值和模型流无答案率最高阈值可以根据应用场景的需求进行设定，当对于问答处理要求高时，可以将模型流问答准确率最低阈值设置为较大的数值，例如95％，或者将模型流无答案率最高阈值设置为较小的数值，例如2％等。

目标模型流的问答准确率和目标模型流的无答案率，可以在目标模型流处理完固定数量的问答数据时进行统计，例如，统计前5000条问答数据的问答结果，获取问答数据对应的标准答案，统计与标准答案相同的问答结果的数据量根据该数据量占总问答数据数量的比例，得到目标模型流的问答准确率。统计问答结果为无答案的数据量，根据该数据量占总问答数据数量的比例，得到目标模型流的无答案率。在目标模型流的问答准确率小于模型流问答准确率最低阈值时或在目标模型流的无答案率大于模型流无答案率最高阈值时，将目标模型流的问答数据分流至备选模型流。

S240，将目标模型流的问答数据分流至备选模型流进行问答处理。

问答数据分流是指将目标模型流的待处理数据转移到备选模型流进行问答处理的过程。在实施例中，可以是将问答数据分多次转移到备选模型流，也可以是将问答数据一次全部转移到备选模型流。

模型服务治理是指对问答系统进行问答处理的过程中的建立决策并执行决策的过程，在实施例中，决策可以理解为配置的模型流，其中模型流的配置、选择以及切换的控制方法即为决策的建立。

上述问答系统中的模型服务治理方法，一方面，通过配置模型流的方式进行问答处理，实现了问答系统中多个模型的智能化组合，相较于单一或分散的模型处理方式，保障了问答服务的准确率，另一方面，通过目标模型流对接收的问答数据进行处理，采集目标模型流在进行问答处理时的指标数据，当指标数据满足模型流切换指标条件时，将问答数据分流至备份模型流进行问答处理，通过配置多个模型流进行分流切换，根据模型流的在进行问答处理过程中的指标数据来判断是否需要切换进行问答处理的模型流，达到智能化的模型服务治理的目的，保障了问答系统的稳定运营。

在一个实施例中，可以根据指标数据与模型流切换指标条件的类别来进行分析。例如，当问答数据分流的原因是目标模型流的业务流量承载能力不足时，可以将全部问答数据一次性转移到备选模型流进行处理。比如目标模型流modelflow1可以承受的业务流量上限是60qps，备选模型流modelflow2可以承受的业务流量上限是300qps，当业务流量低于60qps的时候默认采用modelflow1，当业务流量大于60qps的时候，智能换到modelflow2。在线上的用户流量突增的情况下，有效避免业务流量突增导致问答服务的不可用的情况发生。

目标模型流的准确度过低或是目标模型流的无答案率过高时，可以通过多次少量的问答数据分流方式即AB测试的分流策略，将目标模型流的待处理数据转移到备选模型流。其中，AB测试是为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本并正式采用。当需要新上线一个模型的时候，可以针对这个模型配置成新的模型流，然后在配置AB测试的分流策略。基于问答数据分流可以根据线上流量和组件的效果来判断是否切换问答的模型流，从而达到智能化的模型服务治理的目的。

在一个实施例中，如图3所示，多次少量的问答数据分流方式包括步骤S310至S320。

S310，将预设比例的问答数据分流至备选模型流进行问答处理，获取备选模型流对分流问答数据进行处理后对应的指标数据。

S320，当备选模型流的指标数据不满足模型流切换指标条件时，根据预设比例，依次增加分流的问答数据，直至将目标模型流的全部问答数据分流至备选模型流。

以预设比例的问答数据为10％为例，首先将初始值90％的流量通过modelflow1进行处理,10％的流量通过modelflow2进行处理，modelflow2可以是新配置的模型流也可以是作为分流对象的备选模型流，然后根据modelflow2的问答数据处理效果，根据问答数据处理效果与模型流切换指标条件的关系，实现智能的动态的问答数据分流，每次转移10％的问答数据，直至最终将所有的流量切换到modelflow2。通过按比例少量多次地进行问答数据分流，可以实现在分流过程中的性能测试，实现平滑过渡，减小性能突变造成的结果影响。

在一个实施例中，如图4所示，接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理之前，还包括步骤S410至S430。

S410，获取问答系统的业务场景信息，确定业务场景所需的数据处理模块。

S420，配置多个包含各数据处理模块的数据处理流。

S430，查找各数据处理模块对应的可选模型，根据数据处理流和可选模型，得到多个模型流。

S440，获取测试数据，对多个模型流进行测试处理，得到各模型流的初始指标数据。

S450，根据初始指标数据，确定各模型流的优先级，并将携带有优先级标识的模型流添加至模型流集合。

问答系统可以具有多个不同的业务场景信息，例如游戏信息问答业务场景、商品信息问答业务场景等，不同的游戏类型也可以对应配置为不同的游戏场景，具体可以根据需要进行配置，数据处理模型是指按照数据处理流程划分，具体可以划分为分词模块、特征提取模块、实体识别模块、意图识别模块、实体纠错模块以及意图纠错模块等。数据处理流是指将多个模块按照一定的流程编排方式连接起来的结果，其中，流程编排方式包括串行连接、并行连接、判断执行连接以及循环连接等等。查找各数据处理模块对应的可选模型，根据数据处理流和可选模型，得到多个模型流，在得到多个模型流之后，获取测试数据，通过将各测试数据输入各模型流，得到各模型流的初始指标数据，从而根据初始指标数据确定各模型流的优先级，将各模型流中优先级最高的模型流标记为该业务场景的默认模型流即目标模型流。通过配置多个模型流至模型流集合，并在应用过程中，根据优先级来从模型流集合中选择目标模型流，实现了模型流的优化配置，确保了智能问答系统的稳定运营。

在一个实施例中，如图5所示，配置多个包含各数据处理模块的数据处理流包括步骤S510至S520。

S510，获取预设的流程编排方式，流程编排方式包括串行连接、并行连接以及判断执行连接。

S520，采用不同的流程编排方式，将各数据处理模块进行连接，得到多个包含各数据处理模块的数据处理流。

其中，数据处理模块的连接是指将上一数据处理模块的输出数据作为下一数据处理模块的输入数据。

流程编排方式包括串行连接、并行连接以及判断执行连接。具体来说，以model1和model2之间的串行连接为例，问答数据经过model1处理后，用model1的输出结果来当做model2的输入数据，参见图6(a)所示的串行连接方式,在问答系统中可以配置如图6(a)所示模型流，该modelflow中分词组件到实体识别组件到意图识别组件都是串行执行的，其中分词组件的输出是实体识别组件的输入，实体识别的输出是意图识别的输入。

以model2和model3之间的并行连接为例，问答数据经过model1后再并行经过model2和model3，即用model1的输出结果当做model2和model3的输入数据，且model2和model3没有依赖可并行执行。参见图6(b)，在问答系统中可以配置如图6(b)所示的并行连接方式，该modelflow中分词组件的输出结果可以分别当实体识别组件和意图识别组件的输入，且意图识别组件和实体识别组件没有相互依赖，可并行执行。

以model1、model2以及model3之间的判断执行连接为例，问答数据经过model1后判断model1输出数据的某个字段是否复合某种条件，符合条件1经过model2，如果符合条件2则经过model3。参见图6(c)，在问答系统中可以配置如图6(c)所示的判断执行连接方式，该modelflow中意图识别组件识别出的结果会经过一个条件判断，根据条件判断来确定是否要使用意图纠错组件。

通过采用多种编排方式来构建多个数据处理流，为选择合理有效的模型流创造了条件，避免了单一方式造成的局限性，有利于得到最优模型流。

在一个实施例中，如图7所示，查找各数据处理模块对应的可选模型，根据数据处理流和可选模型，得到多个模型流包括步骤S710至S730。

S710，查找各数据处理模块对应的可选模型。

S720，从组件库中获取与可选模型对应的模型组件，模型组件携带有包括模型类别信息和模型版本信息的组件标识。

S730，基于数据处理流，对携带有组件标识的模型组件进行排列组合，得到多个由模型组件构成的模型流。

数据处理模块对应的可选模型是指用于实现该模块的功能的函数或模型的集合。例如分词模块的可选模型包括基于hmm(Hidden Markov Model，隐马尔可夫模型，是一种是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程)的分词模型、基于词库的分词模型、基于深度模型的分词模型等；实体识别模块可选模型包括基于crf(conditionalrandom field，条件随机场)的实体识别模型、基于bilstm-crf(双向LSTM条件随机场)的实体识别模型等，意图分类模块的可选模型包括基于svm(Support Vector Machine,SVM支持向量机，是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面)的意图分类模型、基于textcnn(文本分类)的意图分类模型和基于bert(基于Transformer的双向编码器表征)的意图分类模型等。模型组件是携带有模型类别信息和模型版本信息的数据处理模型，通过将数据处理模型配置成携带有标识的组件，可以针对不同版本的模型进行区分，其中不同版本是指通过不同的样本数据对相同的数据处理模型训练得到的数据处理。对于多个数据处理流中的任意一个，其组成模块的位置关系是确定的，但每个组成模块具有一个或多个可选的模型组件，通过排列组合的方式，可以得到多个模型流。比如一个数据处理流中有实体提取模块和分类模块，每个模块有2个可选模型组件，则可生成2*2个模型流。通过将不同版本的模型单独作为一个选项来进行排列组合，提供了多种组合方案，有利于得到更多合理有效的模型流，实现有效的模型服务治理。

在一个实施例中，如图8所示，从组件库中获取与可选模型对应的模型组件，模型组件携带有包括模型类别信息和模型版本信息的组件标识之前，还包括步骤S810至S840。

S810，根据问答系统中各数据处理流程进行模块划分。

S820，获取划分得到的各数据处理模块对应的多个初始模型。

S830，采用不同样本数据，对各初始模型进行训练，得到相同类别不同版本的模型。

S840，将模型类别信息和模型版本信息作为模型的组件标识，生成携带有组件标识的模型组件。

S850，将生成的模型组件更新至初始组件库，构建组件库。

为提高智能问答系统的数据处理能力，对于同一问答数据会进行对此数据处理。例如分词处理、特征提取、实体识别、意图识别等。为进一步提高数据处理效果，按照数据过程中的处理效果，对数据处理流程进行模块划分。例如，对问答数据进行分词处理的处理流程划分为分词模块，对问答数据进行特征提取的处理流程划分为特征提取模块等等，其中，具体实现每个模块的功能的模型可能包括多个，例如，分词模块可以通过基于hmm的分词模型、基于词库的分词模型、基于深度模型的分词模型等，同一模块的不同模型属于不同的模型类别，可能具有不同的数据处理效果。采用不同的样本数据对相同的初始模型进行训练，得到的模型为相同类型不同版本的模型，比如分词模块中hmm的分词组件可以根据不同的训练数据集生成不同的版本号(v1,v2,v3等)，相同类型不同版本的模型也可能具有不同的数据处理效果。通过按模型类型和模型版本对每一个模块的可选模型进行区分，配置为多个具有不同组件标签的模型组件。并添加至组件库中，在组建模型流时，可以通过查找组件库得到每个模块的可选模型组件。通过模型类别和模型版本的区分，实现了模型的多样化，增加了模型流的可选数量，便于得到优选的模型流。

在一个实施例中，以该问答系统中的模型服务治理方法应用于游戏知识问答系统为例进行说明。如图9所示，用户通过游戏知识问答系统的客户端输入“akm怎么玩”，游戏知识问答系统的服务端通过目标模型流对客户端上传的数据进行分析，可以得到“AKM是没有固定使用技巧的，游戏中的任何枪械，只要勤于练习，都有机会成为最强”。再例如，用户通过游戏知识问答系统的客户端输入“akm用什么子弹”，游戏知识问答系统的服务端通过目标模型流对客户端上传的数据进行分析，可以得到“AKM使用的是7.62mm的子弹哦，在游戏中是黄色的模型，非常容易辨别呢”。

具体来说，该方法包括测试和应用两个主要场景，其中，测试过程包括前期准备工作，如图10所示，前期准备工作主要包括问答服务模块拆分和定义、模块组件定义、模块组件版本生成、模型流定制以及模块流切换策略配置。第一步，通过分析智能问答中的涉及的功能，划分多个模块，具体包括分词模块、特征提取模块、实体识别模块、意图识别模块、实体纠错模块以及意图纠错模块等。第二步，确定每个模块常用的模型或函数方法并配置成组件。举例来说，分词模块可以生成基于hmm的分词组件、基于词库的分词组件、基于深度模型的分词组件。实体识别模块可以生成基于crf的实体识别组件、基于bilstm-crf的实体识别组件。意图分类模块可以生成基于svm的意图分类组件、基于textcnn的分类组件和基于bert的分类组件等等。第三步，给每个组件自增的方式生成唯一的版本号，生成版本号的规则可以自定义，比如分词模块中hmm的分词组件可以根据不同的训练数据集生成不同的版本号v1,v2,v3等。第四部根据业务场景需求，利用组件库中不同的组件或同一组件的不同版本设计多种模型流(modelflow)，modelflow可以把所需要用的组件以编排的形式连接起来，具体的流程编排方式包括串行连接、并行连接以及判断执行连接等，第五步，利用模型组价，配置出每个业务场景可用到的多个modelflow。比如一个modelflow中有实体提取模块和分类模块，每个模块有2个组件，则该业务可生成2*2个modelflow。第六步，指定modelflow的切换策略和分流策略。其中，切换策略包括确定每个业务场景的目标模型流、备选模型流等，确定模型流切换指标条件等。其中目标模型流可以是在测试过程中通过数据处理效果比较，得到的综合处理效果最佳的模型流，从而将目标模型流上线进行智能问答处理。分流策略包括一次全部分流和多次少量分流。例如，统计当前业务流量和无答案率或者其他自定义的指标，根据设计的模型流切换指标条件来进行modelflow的切换和分流。具体应用场景可以包括以下几种：

智能降级：比如modelflow1可以承受的上限是60qps，modelflow2可以承受的上限是300qps，当业务流量低于60qps的时候默认采用modelflow1，当业务流量大于60qps的时候，智能换到modelflow2。

AB测试：当需要新上线一个模型的时候，可以针对这个模型组件配置成新modelflow，然后基于配置的AB测试的分流策略，比如初始值90％的流量走modelflow1,10％的流量走新的modelflow2，然后根据最终统计效果智能的动态的分流。最终将所有的流量切换到新的modelflow2上面了。

根据准确率或无答案率等模型评价指标切换模型流：随着线上运营，当问答服务探测到当前服务的模型流准确率低于其他模型流，或是当前服务的模型流无答案率高于其他模型流的时候，会逐渐将流量切换到新的备选模型流。

在一个实施例中，模型流的切换控制过程如图11所示，客户端与服务端进行交互，通过统计当前使用的模型流在问答处理过程中的指标数据，控制组件actian获取统计结果，通过判断统计结果是否满足模型流切换指标条件确定是否进行模型流的切换，其中模型流的切换包括一级降级和二级降级，具体来说，可以向将部分数据分流至一级降级对应的第一备选模型流，当第一备选模型流无法满足运营要求，例如第一备选模型流的指标数据也满足模型流切换指标条件时，将问答数据分流至二级降级对应的第二备选模型流，保障了智能问答系统在工业界的稳定运营，降低了模型维护的成本和智能化的选择最佳的模型作为线上的模型来保障线上服务的准确率。

如图12所示，提供了一种问答系统中的模型服务治理方法的流程示意图，具体包括步骤S1202至S1232。

S1202，获取问答系统的业务场景信息，确定业务场景所需的数据处理模块。

S1204，获取预设的流程编排方式，流程编排方式包括串行连接、并行连接以及判断执行连接。

S1206，采用不同的流程编排方式，将各数据处理模块进行连接，得到多个包含各数据处理模块的数据处理流。

S1208，查找各数据处理模块对应的可选模型。

S1210，根据问答系统中各数据处理流程进行模块划分。

S1212，获取划分得到的各数据处理模块对应的多个初始模型。

S1214，采用不同样本数据，对各初始模型进行训练，得到相同类别不同版本的模型。

S1216，将模型类别信息和模型版本信息作为模型的组件标识，生成携带有组件标识的模型组件并更新至初始组件库，构建组件库。

S1218，从组件库中获取与可选模型对应的模型组件，模型组件携带有包括模型类别信息和模型版本信息的组件标识。

S1220，基于数据处理流，对携带有组件标识的模型组件进行排列组合，得到多个由模型组件构成的模型流。

S1222，获取测试数据，对多个模型流进行测试处理，得到各模型流的初始指标数据。

S1224，根据初始指标数据，确定各模型流的优先级，并将携带有优先级标识的模型流添加至模型流集合。

S1226，接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理，分别进入步骤S1228、S1230以及S1232。

S1228，在接收的问答数据对应的业务流量达到目标模型流的业务流量承载上限时，进入步骤S1234。

S1230，在目标模型流的问答准确率小于模型流问答准确率最低阈值时，进入步骤S1234。

S1232，在目标模型流的无答案率大于模型流无答案率最高阈值时，进入步骤S1234。

S1234，从模型流集合中获取优先级次高的备选模型流。

S1236，将目标模型流的问答数据分流至备选模型流进行问答处理。

图2-5、图7-8以及图12为一个实施例中问答系统中的模型服务治理方法的流程示意图。应该理解的是，虽然图2-5、图7-8以及图12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5、图7-8以及图12中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图13所示，提供了一种问答系统中的模型服务治理装置1300，装置包括：目标模型流获取模块1302、指标数据获取模块1304、备选模型流获取模块1306以及问答数据分流模块1308。

目标模型流获取模块1302，用于接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理。

指标数据获取模块1304，用于采集目标模型流在进行问答处理时的指标数据。

备选模型流获取模块1306，用于当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流。

问答数据分流模块1308，用于将目标模型流的问答数据分流至备选模型流进行问答处理。

在一个实施例中，问答系统中的模型服务治理装置1300还包括模型流构建模块，模型流构建模块用于获取问答系统的业务场景信息，确定业务场景所需的数据处理模块；配置多个包含各数据处理模块的数据处理流；查找各数据处理模块对应的可选模型，根据数据处理流和可选模型，得到多个模型流。获取测试数据，对多个模型流进行测试处理，得到各模型流的初始指标数据；根据初始指标数据，确定各模型流的优先级，并将携带有优先级标识的模型流添加至模型流集合。

在一个实施例中，模型流构建模块，还用于获取预设的流程编排方式，流程编排方式包括串行连接、并行连接以及判断执行连接；采用不同的流程编排方式，将各数据处理模块进行连接，得到多个包含各数据处理模块的数据处理流。

在一个实施例中，模型流构建模块，还用于查找各数据处理模块对应的可选模型；从组件库中获取与可选模型对应的模型组件，模型组件携带有包括模型类别信息和模型版本信息的组件标识；基于数据处理流，对携带有组件标识的模型组件进行排列组合，得到多个由模型组件构成的模型流。

在一个实施例中，问答系统中的模型服务治理装置还包括模型组件生产模块，模型组件生产模块用于根据问答系统中各数据处理流程进行模块划分；获取划分得到的各数据处理模块对应的多个初始模型；采用不同样本数据，对各初始模型进行训练，得到相同类别不同版本的模型；将模型类别信息和模型版本信息作为模型的组件标识，生成携带有组件标识的模型组件；将生成的模型组件更新至初始组件库，构建组件库。

在一个实施例中，问答数据分流模块还用于将预设比例的问答数据分流至备选模型流进行问答处理，获取备选模型流对分流问答数据进行处理后对应的指标数据；当备选模型流的指标数据不满足模型流切换指标条件时，根据预设比例，依次增加分流的问答数据，直至将目标模型流的全部问答数据分流至备选模型流。

在一个实施例中，备选模型流获取模块还用于在接收的问答数据对应的业务流量达到目标模型流的业务流量承载上限时，从模型流集合中获取优先级次高的备选模型流；在目标模型流的问答准确率小于模型流问答准确率最低阈值时，从模型流集合中获取优先级次高的备选模型流，在目标模型流的无答案率大于模型流无答案率最高阈值时，从模型流集合中获取优先级次高的备选模型流。

上述问答系统中的模型服务治理装置，一方面，通过配置模型流的方式进行问答处理，实现了问答系统中多个模型的智能化组合，相较于单一或分散的模型处理方式，保障了问答服务的准确率，另一方面，通过目标模型流对接收的问答数据进行处理，采集目标模型流在进行问答处理时的指标数据，当指标数据满足模型流切换指标条件时，将问答数据分流至备份模型流进行问答处理，通过配置多个模型流进行分流切换，根据模型流的在进行问答处理过程中的指标数据来判断是否需要切换进行问答处理的模型流，达到智能化的模型服务治理的目的，保障了问答系统的稳定运营。

图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图14所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现问答系统中的模型服务治理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行问答系统中的模型服务治理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的问答系统中的模型服务治理装置可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该问答系统中的模型服务治理装置的各个程序模块，比如，图13所示的目标模型流获取模块1302、指标数据获取模块1304、备选模型流获取模块1306以及问答数据分流模块1308。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的问答系统中的模型服务治理方法中的步骤。

例如，图14所示的计算机设备可以通过如图13所示的问答系统中的模型服务治理装置中的目标模型流获取模块1302执行接收问答数据，从模型流集合中选取优先级最高的目标模型流，对问答数据进行问答处理。计算机设备可通过指标数据获取模块1304执行采集目标模型流在进行问答处理时的指标数据。计算机设备可通过备选模型流获取模块1306执行当指标数据满足模型流切换指标条件时，从模型流集合中获取优先级次高的备选模型流。计算机设备可通过问答数据分流模块1308执行将目标模型流的问答数据分流至备选模型流进行问答处理。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述问答系统中的模型服务治理方法的步骤。此处问答系统中的模型服务治理方法的步骤可以是上述各个实施例的问答系统中的模型服务治理方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述问答系统中的模型服务治理方法的步骤。此处问答系统中的模型服务治理方法的步骤可以是上述各个实施例的问答系统中的模型服务治理方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种问答系统中的模型服务治理方法，包括：

接收问答数据，从模型流集合中选取优先级最高的目标模型流，对所述问答数据进行问答处理；

采集所述目标模型流在进行问答处理时的指标数据；

当所述指标数据满足模型流切换指标条件时，从所述模型流集合中获取优先级次高的备选模型流；

将所述目标模型流的问答数据分流至所述备选模型流进行问答处理。

2.根据权利要求1所述的方法，其特征在于，所述接收问答数据，从模型流集合中选取优先级最高的目标模型流，对所述问答数据进行问答处理之前，还包括：

获取问答系统的业务场景信息，确定业务场景所需的数据处理模块；

配置多个包含各所述数据处理模块的数据处理流；

查找各所述数据处理模块对应的可选模型，根据所述数据处理流和所述可选模型，得到多个模型流；

获取测试数据，对多个模型流进行测试处理，得到各所述模型流的初始指标数据；

根据所述初始指标数据，确定各所述模型流的优先级，并将携带有优先级标识的模型流添加至模型流集合。

3.根据权利要求2所述的方法，其特征在于，所述配置多个包含各所述数据处理模块的数据处理流包括：

获取预设的流程编排方式，所述流程编排方式包括串行连接、并行连接以及判断执行连接；

采用不同的流程编排方式，将各所述数据处理模块进行连接，得到多个包含各所述数据处理模块的数据处理流。

4.根据权利要求2所述的方法，其特征在于，所述查找各所述数据处理模块对应的可选模型，根据所述数据处理流和所述可选模型，得到多个模型流包括：

查找各所述数据处理模块对应的可选模型；

从组件库中获取与所述可选模型对应的模型组件，所述模型组件携带有包括模型类别信息和模型版本信息的组件标识；

基于所述数据处理流，对所述携带有组件标识的模型组件进行排列组合，得到多个由所述模型组件构成的模型流。

5.根据权利要求4所述的方法，其特征在于，所述从组件库中获取与所述可选模型对应的模型组件，所述模型组件携带有包括模型类别信息和模型版本信息的组件标识之前，还包括：

根据所述问答系统中各数据处理流程进行模块划分；

获取划分得到的各数据处理模块对应的多个初始模型；

采用不同样本数据，对各所述初始模型进行训练，得到相同类别不同版本的模型；

将模型类别信息和模型版本信息作为所述模型的组件标识，生成携带有组件标识的模型组件；

将生成的所述模型组件更新至初始组件库，构建所述组件库。

6.根据权利要求1所述的方法，其特征在于，所述将所述目标模型流的问答数据分流至所述备选模型流进行问答处理包括：

将预设比例的问答数据分流至所述备选模型流进行问答处理，获取所述备选模型流对分流问答数据进行处理后对应的指标数据；

当所述备选模型流的指标数据不满足所述模型流切换指标条件时，根据所述预设比例，依次增加分流的所述问答数据，直至将所述目标模型流的全部问答数据分流至所述备选模型流。

7.根据权利要求1所述的方法，其特征在于，所述当所述指标数据满足所述模型流切换指标条件时，从所述模型流集合中获取优先级次高的备选模型流至少包括以下一种：

第一种，当接收的问答数据对应的业务流量达到目标模型流的业务流量承载上限时，从所述模型流集合中获取优先级次高的备选模型流；

第二种，当目标模型流的问答准确率小于模型流问答准确率最低阈值时，从所述模型流集合中获取优先级次高的备选模型流；

第三种，当目标模型流的无答案率大于模型流无答案率最高阈值时，从所述模型流集合中获取优先级次高的备选模型流。

8.一种问答系统中的模型服务治理装置，其特征在于，所述装置包括：

目标模型流获取模块，用于接收问答数据，从模型流集合中选取优先级最高的目标模型流，对所述问答数据进行问答处理；

指标数据获取模块，用于读取所述目标模型流在进行问答处理时的指标数据；

备选模型流获取模块，用于当所述指标数据满足所述模型流切换指标条件时，从所述模型流集合中获取优先级次高的备选模型流；

问答数据分流模块，用于将所述目标模型流的问答数据分流至所述备选模型流进行问答处理。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

Images