CN110020425B - 模型运营方法和装置 - Google Patents

Abstract

本申请实施例提了一种模型运营方法和装置，其中方法包括：获取目标事件的处理结果数据；根据所述目标事件的处理结果数据，确定用于处理所述目标事件的目标模型的模型监控数据；自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

Description

模型运营方法和装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种模型运营方法和装置。

背景技术

目前计算机在处理各种事件时，通常需要借助多种模型来处理，比如，处理用户投诉事件时，需要利用特定模型对用户投诉事件进行分析，以判断该投诉是否成立。目前，运维人员在开发模型后，需要花费大量时间运营模型，比如监控模型的各项运行数据是否正常，在模型异常时及时调整模型等。基于人工手动的方式进行模型运营，具有耗费大量时间成本和人力成本以及模型运营效率低的问题。

发明内容

本申请实施例的目的是提供一种模型运营方法和装置，以解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，本申请实施例提供了一种模型运营方法，包括：

获取目标事件的处理结果数据；

根据所述目标事件的处理结果数据，确定用于处理所述目标事件的目标模型的模型监控数据；

自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

第二方面，本申请实施例提供了一种模型运营方法，包括：

获取风险控制场景下用户投诉事件的处理结果数据；

根据所述用户投诉事件的处理结果数据，确定用于处理所述用户投诉事件的目标模型的模型监控数据；

自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

第三方面，本申请实施例提供了一种模型运营装置，包括：

第一获取模块，用于获取目标事件的处理结果数据；

第一确定模块，用于根据所述目标事件的处理结果数据，确定用于处理所述目标事件的目标模型的模型监控数据；

第一优化模块，用于自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

第四方面，本申请实施例提供了一种模型运营装置，包括：

第二获取模块，用于获取风险控制场景下用户投诉事件的处理结果数据；

第二确定模块，用于根据所述用户投诉事件的处理结果数据，确定用于处理所述用户投诉事件的目标模型的模型监控数据；

第二优化模块，用于自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

第五方面，本申请实施例提供了一种模型运营设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述第一方面所述的模型运营方法的步骤，或者，所述计算机可执行指令在被执行时使所述处理器实现上述第二方面所述的模型运营方法的步骤。

第六方面，本申请实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述第一方面所述的模型运营方法的步骤，或者，所述计算机可执行指令在被执行时实现上述第二方面所述的模型运营方法的步骤。

本申请实施例中，首先获取目标事件的处理结果数据，然后根据目标事件的处理结果数据，确定用于处理目标事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于目标事件的处理结果数据自动确定并输出用于处理目标事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的模型运营方法的应用场景示意图；

图2为本申请一实施例提供的模型运营方法的流程示意图；

图3为本申请一实施例提供的分值分布直方图的示意图；

图4为本申请一实施例提供的分值分布曲线图的示意图；

图5为本申请又一实施例提供的模型运营方法的流程示意图；

图6为本申请一实施例提供的模型运营装置的模块组成示意图；

图7为本申请另一实施例提供的模型运营装置的模块组成示意图；

图8为本申请一实施例提供的模型运营设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请实施例提供了一种模型运营方法和装置，以解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。

图1为本申请一实施例提供的模型运营方法的应用场景示意图，如图1所示，该场景包括计算机集群100，该计算机集群100用于处理目标事件，目标事件通过计算机集群100中运行的两个在线模型101和102以及两个离线模型103和104处理。比如，计算机集群100获取到目标事件的事件数据后，将该事件数据输入至在线模型101或在线模型102，通过在线模型101或在线模型102处理目标事件，得到目标事件的处理结果数据，或者，将该事件数据输入至离线模型103或离线模型104，通过离线模型103或离线模型104处理目标事件，得到目标事件的处理结果数据。本申请实施例中的模型运营方法可以应用于图1中所示的计算机集群100，计算机集群100通过实施本实施例中的模型运营方法，能够达到自动运营模型的效果，从而解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。

图2为本申请一实施例提供的模型运营方法的流程示意图，如图2所示，该流程包括以下步骤：

步骤S202，获取目标事件的处理结果数据；

步骤S204，根据目标事件的处理结果数据，确定用于处理目标事件的目标模型的模型监控数据；

步骤S206，自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。

本申请实施例中，首先获取目标事件的处理结果数据，然后根据目标事件的处理结果数据，确定用于处理目标事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于目标事件的处理结果数据自动确定并输出用于处理目标事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。

本实施例中，“自动”是指无需人工操作、设备自主执行相应步骤的意思。以上述步骤S206中“自动输出该模型监控数据”为例，计算机设备在获取到模型监控数据后，若判断系统时间达到预设的输出时间，则自动输出该模型监控数据。以上述步骤S206中“自动优化目标模型”为例，计算机设备在获取到模型监控数据后，若目标模型达到预设的优化条件，则自动优化目标模型。其中，计算机设备可以自动判断系统时间是否达到预设的输出时间，以及自动判断目标模型是否达到预设的优化条件，无需人工干预或外部触发。

上述步骤S202中，获取目标事件的处理结果数据。其中，目标事件可以举例为用户投诉事件、用户识别事件等，其中，用户投诉事件可以为用户主动投诉其他用户涉嫌赌博、涉嫌洗钱、涉嫌刷单等，用户识别事件可以为根据用户的行为主动识别用户是否涉嫌赌博、涉嫌洗钱、涉嫌刷单等。当然，目标事件不限于上述事件，这里不做限定。

目标事件的处理结果数据可以包括目标事件标识、目标事件的处理开始时间、处理结束时间、处理用时、用于处理目标时间的模型标识、目标事件的处理结果等数据。下表1为本申请一实施例提供的一种目标事件的处理结果数据的示意表。

表1

上述步骤S204中，根据目标事件的处理结果数据，确定用于处理目标事件的目标模型的模型监控数据。本实施例中，用于处理目标事件的目标模型分为在线模型和离线模型两类。在获取到目标事件的事件数据后，判断该事件数据是否符合在线模型对应的数据要求，该数据要求可以是事件数据中包含的数据量大于指定量，若符合，则利用在线模型处理目标事件的事件数据，若不符合，则利用离线模型处理目标事件的事件数据。

本实施例中，对目标事件的处理结果数据进行统计，得到目标模型的模型监控数据。目标模型的模型监控数据包括以下数据中的一项或多项：

(a)目标事件中基于目标模型得到离线处理结果的目标事件的数量占目标事件的数量的第一比例；

(b)目标事件中基于目标模型得到在线处理结果的目标事件的数量占目标事件的数量的第二比例；

(c)目标事件中基于目标模型确定的在线处理超时的目标事件的数量占目标事件的数量的第三比例；

(d)目标事件中对应的处理结果表示指定含义的目标事件的数量占目标事件的数量的第四比例；

(e)目标模型的针对目标事件的事件打分对应的分值分布数据；其中，该事件打分用于指示目标事件的处理结果所表示的含义。

对目标事件的处理结果数据进行统计，得到上述数据(a)的具体过程为：统计目标事件的处理结果数据中，模型标识包括离线模型的目标事件的数量，将该数量作为基于目标模型得到离线处理结果的目标事件的数量，进而统计目标事件中基于目标模型得到离线处理结果的目标事件的数量占目标事件的数量的第一比例，该第一比例即为基于目标模型得到离线处理结果的目标事件的数量除以目标事件的数量的值。

对目标事件的处理结果数据进行统计，得到上述数据(b)的具体过程为：统计目标事件的处理结果数据中，模型标识包括在线模型的目标事件的数量，将该数量作为基于目标模型得到在线处理结果的目标事件的数量，进而统计目标事件中基于目标模型得到在线处理结果的目标事件的数量占目标事件的数量的第一比例，该第一比例即为基于目标模型得到在线处理结果的目标事件的数量除以目标事件的数量的值。

对目标事件的处理结果数据进行统计，得到上述数据(c)的具体过程为：统计目标事件的处理结果数据中，处理用时超过指定时长(如10分钟)的、且模型标识包括在线模型的目标事件的数量，将该数量作为基于目标模型确定的在线处理超时的目标事件的数量，进而统计目标事件中基于目标模型确定的在线处理超时的目标事件的数量占目标事件的数量的第三比例，该第三比例即为基于目标模型确定的在线处理超时的目标事件的数量除以目标事件的数量的值。

对目标事件的处理结果数据进行统计，得到上述数据(d)的具体过程为：确定指定含义，比如指定含义包括“被投诉用户为赌博用户”、“被投诉用户为洗钱用户”、“被投诉用户为刷单用户”等。然后统计目标事件的处理结果数据中，对应的处理结果表示指定含义的目标事件的数量，进而统计目标事件中对应的处理结果表示指定含义的目标事件的数量占目标事件的数量的第四比例，该第四比例即为对应的处理结果表示指定含义的目标事件的数量除以目标事件的数量的值。

以指定含义为“被投诉用户为赌博用户”为例，在目标事件的处理结果数据中，统计对应的处理结果为“被投诉用户为赌博用户”的目标事件的数量，然后计算该数量占目标事件的数量的第四比例。通过统计该第四比例，能够确定目标事件的处理结果表示指定含义的占比，从而方便了解目标模型的结果输出情况。该第四比例又可以称为定性率。

对目标事件的处理结果数据进行统计，得到上述数据(e)的具体过程为：获取目标模型的针对目标事件的事件打分，对该事件打分进行统计分布，得到该事件打分对应的分值分布数据，其中，该事件打分用于指示目标事件的处理结果所表示的含义。

以上述表1为例，目标模型对目标事件进行处理时，能够输出针对目标事件的事件打分，该事件打分用于指示目标事件的处理结果所表示的含义，比如，对于表1中的用户投诉1，当事件打分大于60分时，确定处理结果为“被投诉用户为赌博用户”，反之，确定处理结果为“被投诉用户不为赌博用户”；对于表1中的用户投诉2，当事件打分大于60分时，指示处理结果为“被投诉用户为赌博用户”，反之，指示处理结果为“被投诉用户不为赌博用户”。

本实施例中，对目标模型的针对目标事件的事件打分进行统计分布，得到该事件打分对应的分值分布数据，可以为，对目标模型的针对目标事件的事件打分进行统计，确定不同分值对应的目标事件的数量，基于不同分值对应的目标事件的数量，确定该事件打分对应的分值分布数据。该分值分布数据可以通过分值分布直方图的形式表示，该分值分布直方图的横轴为分值区间，纵轴为各个分值区间内的目标事件的数量。或者，该分值分布数据可以通过分值分布曲线图的形式表示，该分值分布曲线图的横轴为分值，纵轴为各个分值对应的目标事件的数量，从而通过曲线的方式反映分值和目标事件的数量之间的函数关系，该分值分布曲线图可以根据分值分布直方图拟合得到，具体拟合方法这里不再限定。图3为本申请一实施例提供的分值分布直方图的示意图，如图3所示，该分值分布直方图的横轴为分值区间，纵轴为各个分值区间内的目标事件的数量。图4为本申请一实施例提供的分值分布曲线图的示意图，如图4所示，该分值分布曲线图的横轴为分值，纵轴为各个分值对应的目标事件的数量，图4中的曲线图通过图3中的直方图拟合得到。

本实施例中，除了统计上述(a)至(e)五种数据中的一项或多项以外，类似地，本实施例中还能够根据目标事件的处理结果数据，统计目标事件中基于目标模型确定的离线处理超时的目标事件的数量占目标事件的数量的比例。具体地，统计目标事件的处理结果数据中，处理用时超过指定时长(如4小时)的、且模型标识包括离线模型的目标事件的数量，将该数量作为基于目标模型确定的离线处理超时的目标事件的数量，进而统计目标事件中基于目标模型确定的离线处理超时的目标事件的数量占目标事件的数量的比例，该比例即为基于目标模型确定的离线处理超时的目标事件的数量除以目标事件的数量的值。或者，本实施例中还能够根据目标事件的处理结果数据，统计目标事件的量级，并且，将目标事件的量级和目标事件中基于目标模型确定的离线处理超时的目标事件的数量占目标事件的数量的比例，作为目标模型的模型监控数据的一部分。

通过上述过程可知，本实施例中，能够根据目标事件的处理结果数据，确定用于处理目标事件的目标模型的一项或多项模型监控数据，从而达到自动运营目标模型的效果。

上述步骤S206中，自动输出模型监控数据，可以为：确定各模型监控数据各自对应的监控周期，按照各监控周期，周期性自动输出各模型监控数据。

以模型监控数据包括上述数据(a)、(b)和(c)为例，确定模型监控数据(a)对应的监控周期为每天，确定模型监控数据(b)对应的监控周期为每星期，确定模型监控数据(c)对应的监控周期为每个月，然后，在每天的0点，输出对前一天24小时内的目标事件的处理结果数据统计得到的上述数据(a)，在每周一的0点，输出对前一周7天内的目标事件的处理结果数据统计得到的上述数据(b)，在每个月1号的0点，输出对上个月内的目标事件的处理结果数据统计得到的上述数据(c)，从而达到按照各个模型监控数据各自对应的监控周期，周期性自动输出各个模型监控数据的效果。

本实施例中，可以在显示器上预设有输出界面，在该输出界面上自动输出各个模型监控数据，比如，按照预设的报表格式，将各个模型监控数据以报表的形式自动显示在显示器上。还可以将各个模型监控数据以报表的形式自动发送到指定的邮箱内。

本实施例中，通过自动输出各个模型监控数据，能够免去人工查询模型监控数据的繁琐操作，解决人工手动查询数据耗费大量时间成本和人力成本的问题，提高模型的运营效率。

上述步骤S206中，根据模型监控数据自动优化目标模型，可以为：根据模型监控数据，自动优化目标模型中用于在线处理目标事件的第一子模型和/或用于离线处理目标事件的第二子模型。

本实施例中，用于处理目标事件的目标模型分为第一子模型和第二子模型，第一子模型为在线模型，用于在线处理目标事件，第二子模型为离线模型，用于离线处理目标事件。一个具体的实施例中，在获取到目标事件的事件数据后，判断该事件数据是否符合在线模型对应的数据要求，该数据要求可以是事件数据中包含的数据量大于指定数据量，或者包含的数据种类的数量大于指定数量，若符合，则利用在线模型(即第一子模型)处理目标事件的事件数据，若不符合，则利用离线模型(即第二子模型)处理目标事件的事件数据。

本实施例中，根据模型监控数据，自动优化目标模型中用于在线处理目标事件的第一子模型和/或用于离线处理目标事件的第二子模型，可以为：

(a1)若第一比例大于预设的第一阈值，或者，第二比例小于预设的第二阈值，则自动优化第一子模型，以提高第一子模型的目标事件处理数量；

(a2)若第三比例大于预设的第三阈值，则自动优化第一子模型，以提高第一子模型的目标事件处理速度，或者，自动优化第二子模型，以提高第二子模型的目标事件处理数量；

(a3)若第四比例大于预设的第四阈值，则自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理准确率；

(a4)若分值分布数据与分值分布数据对应的上个监控周期内的分值分布数据之间的差距大于预设差距，则自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理准确率；

(a5)若第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理数量。

上述动作(a1)中，第一比例越大，说明基于目标模型得到离线处理结果的目标事件的数量越多，第二比例约小，说明基于目标模型得到在线处理结果的目标事件的数量越少。实际应用中，希望更多的目标事件通过在线模型进行处理，得到在线处理结果，从而提高目标事件的处理效率，因此本实施例中，当第一比例大于预设的第一阈值，或者，第二比例小于预设的第二阈值时，自动优化第一子模型，以提高第一子模型的目标事件处理数量，从而使得更多的目标事件通过在线模型进行处理，提高目标事件的处理效率。其中，第一阈值和第二阈值可以根据实际应用场景的应用需求进行确定。

本实施例中，可以通过以下方式优化第一子模型，以提高第一子模型的目标事件处理数量：确定由第二子模型处理得到离线处理结果的目标事件的事件数据，利用该事件数据训练第一子模型，从而使得第一子模型能够处理第二子模型所处理的目标事件，提高第一子模型的目标事件处理数量。其中，事件数据可以包括用户的投诉数据和该投诉数据的离线处理结果，当离线处理结果表示投诉成立时，该离线处理结果的标签值为1，当离线处理结果表示投诉不成立时，该离线处理结果的标签值为0。通过为离线处理结果设置标签值，基于用户的投诉数据、该投诉数据的离线处理结果和该离线处理结果的标签值训练第一子模型，能够使得第一子模型能够处理第二子模型所处理的目标事件，提高第一子模型的目标事件处理数量。

上述动作(a2)中，第三比例越大，说明基于目标模型确定的在线处理超时的目标事件的数量越多，实际应用中，希望更多的目标事件通过在线模型进行处理，并且希望目标事件处理不超时，从而在第一时间向用户提供目标事件的处理结果，因此本实施例中，当第三比例大于预设的第三阈值时，自动优化第一子模型，以提高第一子模型的目标事件处理速度，从而使得更多的目标事件通过在线模型进行处理，并且处理不超时。

或者，当第三比例大于预设的第三阈值时，自动优化第二子模型，以提高第二子模型的目标事件处理数量，使得更多的目标事件通过离线模型进行处理，从而使得在线模型处理超时的目标事件由离线模型进行处理，避免在线模型长时间无法输出目标事件的处理结果导致用户获取不到处理结果的问题。其中，第三阈值可以根据实际应用场景的应用需求进行确定。

本实施例中，可以通过以下方式优化第一子模型，以提高第一子模型的目标事件处理速度：在第一子模型中选取与事件处理速度有关的参数，通过遗传算法或贝叶斯算法等算法调节该参数，从而提高第一子模型的目标事件处理速度。

本实施例中，可以通过以下方式优化第二子模型，以提高第二子模型的目标事件处理数量：确定由第一子模型处理得到在线处理结果的目标事件的事件数据，利用该事件数据训练第二子模型，从而使得第二子模型能够处理第一子模型所处理的目标事件，提高第二子模型的目标事件处理数量。其中，事件数据可以包括用户的投诉数据和该投诉数据的在线处理结果，当在线处理结果表示投诉成立时，该在线处理结果的标签值为1，当在线处理结果表示投诉不成立时，该在线处理结果的标签值为0。通过为在线处理结果设置标签值，基于用户的投诉数据、该投诉数据的在线处理结果和该在线处理结果的标签值训练第二子模型，能够使得第二子模型能够处理第一子模型所处理的目标事件，提高第二子模型的目标事件处理数量。

上述动作(a3)中，第四比例为目标事件中对应的处理结果表示指定含义的目标事件的数量占目标事件的数量的比例，若第四比例大于预设的第四阈值，则确定第四比例过大，表示可能出现第一子模型和第二子模型的目标事件处理准确率降低的问题，因此自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理准确率。其中，第四阈值可以根据实际应用场景的应用需求进行确定。

一个实施例中，第四阈值为80％，指定含义为“被投诉用户为赌博用户”，当第四比例为90％超过第四阈值80％时，怀疑第一子模型和第二子模型的目标事件处理准确率降低，将部分非赌博用户识别为赌博用户，因此自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理准确率。

本实施例中，可以通过以下方式自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理准确率：在第一子模型中选取与目标事件处理准确率有关的参数，通过遗传算法或贝叶斯算法等算法调节该参数，从而提高第一子模型的目标事件处理准确率；在第二子模型中选取与目标事件处理准确率有关的参数，通过遗传算法或贝叶斯算法等算法调节该参数，从而提高第二子模型的目标事件处理准确率。

上述动作(a4)中，分值分布数据具有对应的监控周期，如每两天自动输出这两天内的分值分布数据。若当前输出的分值分布数据与分值分布数据对应的上个监控周期内的分值分布数据之间的差距大于预设差距，则确定第一子模型和第二子模型的目标事件处理准确率降低，由于准确率降低，因此使得分值分布数据出现较大波动，因此自动优化第一子模型和第二子模型，提高第一子模型和第二子模型的目标事件处理准确率，以使分值分布数据与上个监控周期内的分值分布数据之间的差距小于预设差距。

具体地，以分值分布数据为分值分布直方图为例，可以将当前输出的分值分布直方图与上个监控周期的分值分布直方图进行比对，计算二者之间的差距，该差距可以表示为每个分值区间对应的目标事件的数量差，若任意一个分值区间的该数量差大于预设数量差，则确定分值分布直方图与上个监控周期的分值分布直方图之间的差距大于预设差距。

以分值分布数据为分值分布曲线图为例，可以将当前输出的分值分布曲线图与上个监控周期的分值分布曲线图进行比对，计算二者之间的差距，该差距可以通过曲线函数之间的差的形式表示，并判断该差距是否大于预设差距。

本实施例中，若上述差距大于预设差距，则自动优化第一子模型和第二子模型，提高第一子模型和第二子模型的目标事件处理准确率，以使分值分布数据与上个监控周期内的分值分布数据之间的差距小于预设差距。自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理准确率的过程可以参考前述的描述，这里不再重复。

上述动作(a5)中，目标事件的处理结果包括在线处理结果、离线处理结果、在线处理超时和离线处理超时，其中，离线处理超时的情况很少发生，因此可以忽略不计，因此，上述第一比例、第二比例、第三比例之和可以作为目标事件的处理结果的数量，该数量可以看做通过目标模型进行处理的目标事件的数量，若该数量小于预设的第五阈值，则说明通过目标模型进行处理的目标事件过少，因此自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理数量，使得更多的目标事件通过目标模型进行处理，提高目标事件的处理效率。本实施例中，第五阈值可以根据实际应用场景的应用需求进行确定，除了可以通过目标模型处理目标事件外，还可以通过特定的规则或者策略处理目标事件，特定的规则或者策略为非模型的处理方式，具有准确性差的问题。

本实施例中，可以通过以下方式自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理数量：获取通过上述特定的规则或者策略处理的目标事件的事件数据，基于该事件数据优化第一子模型和第二子模型，使得第一子模型和第二子模型可以处理上述特定的规则或者策略所处理的目标事件，提高第一子模型和第二子模型的目标事件处理数量。

本实施例中，还能够实时监测第一子模型的目标事件处理准确率，若该准确率低于预设准确率，则自动优化第一子模型，提高第一子模型的目标事件处理准确率。同理，还能够实时监测第二子模型的目标事件处理准确率，若该准确率低于预设准确率，则自动优化第二子模型，提高第二子模型的目标事件处理准确率。

可见，通过本实施例，能够通过上述多种方式自动优化目标模型，从而达到目标模型自动运营的效果，免去人工手动优化模型的繁琐操作，提高模型的运营效率。

本实施例中，在通过上述方式自动优化目标模型时，还可以在第一比例大于第一阈值时，进行自动报警，在第二比例小于第二阈值时，进行自动报警，以及，在第三比例大于预设的第三阈值时，进行自动报警，以及，在第四比例大于预设的第四阈值时，进行自动报警，以及，在上述差距大于预设差距时，进行自动报警，以及，在第一比例、第二比例、第三比例之和小于预设的第五阈值时，进行自动报警，从而在模型异常时进行自动地监督和报警，以及时提示用户模型异常。

本实施例中，自动优化目标模型中用于在线处理目标事件的第一子模型和/或用于离线处理目标事件的第二子模型，还可以为：

(b1)根据第一子模型的模型类型，确定第一子模型对应的第一优化工具，利用第一优化工具，从第一子模型对应的特征池中选取第一特征，并对第一特征进行训练，利用训练后的第一特征优化第一子模型；

和/或，

(b2)根据第二子模型的模型类型，确定第二子模型对应的第二优化工具，利用第二优化工具，从第二子模型对应的特征池中选取第二特征，并对第二特征进行训练，利用训练后的第二特征优化第二子模型。

具体地，上述动作(b1)中，确定第一子模型的模型类型，该模型类型包括树模型和深度学习模型两种类型。若第一子模型为树模型，则确定对应的第一优化工具为featuretools，通过feature tools从第一子模型对应的特征池中选取第一特征，并对第一特征进行训练，利用训练后的第一特征优化第一子模型，并利用遗传算法进行自动调参。如果第一子模型为深度学习模型，则确定对应的第一优化工具为autoe keras，基于autoe keras自动生成神经网络结构的功能，从第一子模型对应的特征池中选取第一特征，并对第一特征进行训练，利用训练后的第一特征优化第一子模型，并利用autoe keras自动调节第一子模型的神经网络结构。

上述动作(b2)中，确定第二子模型的模型类型，该模型类型包括树模型和深度学习模型两种类型。若第二子模型为树模型，则确定对应的第二优化工具为feature tools，通过feature tools从第二子模型对应的特征池中选取第二特征，并对第二特征进行训练，利用训练后的第二特征优化第二子模型，并利用遗传算法进行自动调参。如果第二子模型为深度学习模型，则确定对应的第二优化工具为autoe keras，基于autoe keras自动生成神经网络结构的功能，从第二子模型对应的特征池中选取第二特征，并对第二特征进行训练，利用训练后的第二特征优化第二子模型，并利用autoe keras自动调节第二子模型的神经网络结构。

可见，通过本实施例能够利用优化工具自动优化目标模型，从而达到目标模型自动运营的效果，免去人工手动优化模型的繁琐操作，提高模型的运营效率。

综上，本实施例具有以下有益效果：

(1)能够免去人工手动运营模型的繁琐操作，达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题；

(2)通过可视化界面自动输出目标模型的模型监控数据，能够帮助用户快速定位问题，总结汇报工作内容，加速工作进展，让模型人员把更多的时间花在建模本身和算法研究；

(3)可以借助优化工具如feature tools和autoe keras实现自动的模型特征机器学习和自动的深度学习工作，可以有效地完成相关的自动机器学习建模任务和深度学习建模任务。

以目标事件为用户投诉事件为例，图5为本申请又一实施例提供的模型运营方法的流程示意图，如图5所示，该方法包括：

步骤S502，获取风险控制场景下用户投诉事件的处理结果数据；

步骤S504，根据用户投诉事件的处理结果数据，确定用于处理用户投诉事件的目标模型的模型监控数据；

步骤S506，自动输出模型监控数据，并根据模型监控数据自动优化目标模型。

本实施例中，风险控制场景包括但不限于金融领域内的风险控制场景等，风险控制场景是根据用户行为进行风险分析、风险判断、用户行为控制的场景。

可选地，模型监控数据包括以下数据中的一项或多项：

用户投诉事件中基于目标模型得到离线处理结果的用户投诉事件的数量占用户投诉事件的数量的第一比例；

用户投诉事件中基于目标模型得到在线处理结果的用户投诉事件的数量占用户投诉事件的数量的第二比例；

用户投诉事件中基于目标模型确定的在线处理超时的用户投诉事件的数量占用户投诉事件的数量的第三比例；

用户投诉事件中对应的处理结果表示指定含义的用户投诉事件的数量占用户投诉事件的数量的第四比例；

目标模型的针对用户投诉事件的事件打分对应的分值分布数据，其中，事件打分用于指示用户投诉事件的处理结果所表示的含义。

可选地，根据模型监控数据自动优化目标模型，包括：根据模型监控数据，自动优化目标模型中用于在线处理用户投诉事件的第一子模型和/或用于离线处理用户投诉事件的第二子模型。

可选地，根据模型监控数据，自动优化目标模型中用于在线处理用户投诉事件的第一子模型和/或用于离线处理用户投诉事件的第二子模型，包括：

若第一比例大于预设的第一阈值，或者，第二比例小于预设的第二阈值，则自动优化第一子模型，以提高第一子模型的用户投诉事件处理数量；

若第三比例大于预设的第三阈值，则自动优化第一子模型，以提高第一子模型的用户投诉事件处理速度，或者，自动优化第二子模型，以提高第二子模型的用户投诉事件处理数量；

若第四比例大于预设的第四阈值，则自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的用户投诉事件处理准确率；

若分值分布数据与目标模型在上个监控周期内的分值分布数据之间的差距大于预设差距，则自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的目标事件处理准确率；

若第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化第一子模型和第二子模型，以提高第一子模型和第二子模型的用户投诉事件处理数量。

本实施例的具体过程可以参考前述对图2中的方法流程的解释，这里不再赘述。本申请实施例中，首先获取用户投诉事件的处理结果数据，然后根据用户投诉事件的处理结果数据，确定用于处理用户投诉事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于用户投诉事件的处理结果数据自动确定并输出用于处理用户投诉事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。

本申请实施例提供一种模型运营装置，图6为本申请一实施例提供的模型运营装置的模块组成示意图，如图6所示，该装置包括：

第一获取模块61，用于获取目标事件的处理结果数据；

第一确定模块62，用于根据所述目标事件的处理结果数据，确定用于处理所述目标事件的目标模型的模型监控数据；

第一优化模块63，用于自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

可选地，所述模型监控数据包括以下数据中的一项或多项：

所述目标事件中基于所述目标模型得到离线处理结果的所述目标事件的数量占所述目标事件的数量的第一比例；

所述目标事件中基于所述目标模型得到在线处理结果的所述目标事件的数量占所述目标事件的数量的第二比例；

所述目标事件中基于所述目标模型确定的在线处理超时的所述目标事件的数量占所述目标事件的数量的第三比例；

所述目标事件中对应的处理结果表示指定含义的所述目标事件的数量占所述目标事件的数量的第四比例；

所述目标模型的针对所述目标事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述目标事件的处理结果所表示的含义。

可选地，所述第一优化模块63具体用于：

确定各所述模型监控数据各自对应的监控周期；

按照各所述监控周期，周期性自动输出各所述模型监控数据。

可选地，所述第一优化模块63具体用于：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型。

可选地，所述第一优化模块63还具体用于：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的目标事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述分值分布数据与所述分值分布数据对应的上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理数量。

可选地，所述第一优化模块63还具体用于：

根据所述第一子模型的模型类型，确定所述第一子模型对应的第一优化工具；利用所述第一优化工具，从所述第一子模型对应的特征池中选取第一特征，并对所述第一特征进行训练；利用训练后的所述第一特征优化所述第一子模型；

和/或，

根据所述第二子模型的模型类型，确定所述第二子模型对应的第二优化工具；利用所述第二优化工具，从所述第二子模型对应的特征池中选取第二特征，并对所述第二特征进行训练；利用训练后的所述第二特征优化所述第二子模型。

本申请实施例中，首先获取目标事件的处理结果数据，然后根据目标事件的处理结果数据，确定用于处理目标事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于目标事件的处理结果数据自动确定并输出用于处理目标事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。通过本申请实施例中的模型运营装置，能够实现前述图2中的模型运营方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

本申请实施例提供一种模型运营装置，图7为本申请另一实施例提供的模型运营装置的模块组成示意图，如图7所示，该装置包括：

第二获取模块71，用于获取风险控制场景下用户投诉事件的处理结果数据；

第二确定模块72，用于根据所述用户投诉事件的处理结果数据，确定用于处理所述用户投诉事件的目标模型的模型监控数据；

第二优化模块73，用于自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

可选地，所述模型监控数据包括以下数据中的一项或多项：

所述用户投诉事件中基于所述目标模型得到离线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第一比例；

所述用户投诉事件中基于所述目标模型得到在线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第二比例；

所述用户投诉事件中基于所述目标模型确定的在线处理超时的所述用户投诉事件的数量占所述用户投诉事件的数量的第三比例；

所述用户投诉事件中对应的处理结果表示指定含义的所述用户投诉事件的数量占所述用户投诉事件的数量的第四比例；

所述目标模型的针对所述用户投诉事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述用户投诉事件的处理结果所表示的含义。

可选地，所述第二优化模块72具体用于：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述用户投诉事件的第一子模型和/或用于离线处理所述用户投诉事件的第二子模型。

可选地，所述第二优化模块72还具体用于：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的用户投诉事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理准确率；

若所述分值分布数据与所述目标模型在上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理数量。

本申请实施例中，首先获取用户投诉事件的处理结果数据，然后根据用户投诉事件的处理结果数据，确定用于处理用户投诉事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于用户投诉事件的处理结果数据自动确定并输出用于处理用户投诉事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。通过本申请实施例中的模型运营装置，能够实现前述图5中的模型运营方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

进一步地，本申请实施例还提供了一种模型运营设备，图8为本申请一实施例提供的模型运营设备的结构示意图，如图8所示，模型运营设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器901和存储器902，存储器902中可以存储有一个或一个以上存储应用程序或数据。其中，存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对模型运营设备中的一系列计算机可执行指令。更进一步地，处理器901可以设置为与存储器902通信，在模型运营设备上执行存储器902中的一系列计算机可执行指令。模型运营设备还可以包括一个或一个以上电源903，一个或一个以上有线或无线网络接口904，一个或一个以上输入输出接口905，一个或一个以上键盘906等。

在一个具体的实施例中，模型运营设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对模型运营设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取目标事件的处理结果数据；

根据所述目标事件的处理结果数据，确定用于处理所述目标事件的目标模型的模型监控数据；

自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

可选地，计算机可执行指令在被执行时，所述模型监控数据包括以下数据中的一项或多项：

所述目标事件中基于所述目标模型得到离线处理结果的所述目标事件的数量占所述目标事件的数量的第一比例；

所述目标事件中基于所述目标模型得到在线处理结果的所述目标事件的数量占所述目标事件的数量的第二比例；

所述目标事件中基于所述目标模型确定的在线处理超时的所述目标事件的数量占所述目标事件的数量的第三比例；

所述目标事件中对应的处理结果表示指定含义的所述目标事件的数量占所述目标事件的数量的第四比例；

所述目标模型的针对所述目标事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述目标事件的处理结果所表示的含义。

可选地，计算机可执行指令在被执行时，自动输出所述模型监控数据，包括：

确定各所述模型监控数据各自对应的监控周期；

按照各所述监控周期，周期性自动输出各所述模型监控数据。

可选地，计算机可执行指令在被执行时，根据所述模型监控数据自动优化所述目标模型，包括：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型。

可选地，计算机可执行指令在被执行时，根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型，包括：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的目标事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述分值分布数据与所述分值分布数据对应的上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理数量。

可选地，计算机可执行指令在被执行时，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型，包括：

根据所述第一子模型的模型类型，确定所述第一子模型对应的第一优化工具；利用所述第一优化工具，从所述第一子模型对应的特征池中选取第一特征，并对所述第一特征进行训练；利用训练后的所述第一特征优化所述第一子模型；

和/或，

根据所述第二子模型的模型类型，确定所述第二子模型对应的第二优化工具；利用所述第二优化工具，从所述第二子模型对应的特征池中选取第二特征，并对所述第二特征进行训练；利用训练后的所述第二特征优化所述第二子模型。

本申请实施例中，首先获取目标事件的处理结果数据，然后根据目标事件的处理结果数据，确定用于处理目标事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于目标事件的处理结果数据自动确定并输出用于处理目标事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。通过本申请实施例中的模型运营设备，能够实现前述图2中的模型运营方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

在另一个具体的实施例中，模型运营设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对模型运营设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取风险控制场景下用户投诉事件的处理结果数据；

根据所述用户投诉事件的处理结果数据，确定用于处理所述用户投诉事件的目标模型的模型监控数据；

自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

可选地，计算机可执行指令在被执行时，所述模型监控数据包括以下数据中的一项或多项：

所述用户投诉事件中基于所述目标模型得到离线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第一比例；

所述用户投诉事件中基于所述目标模型得到在线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第二比例；

所述用户投诉事件中基于所述目标模型确定的在线处理超时的所述用户投诉事件的数量占所述用户投诉事件的数量的第三比例；

所述用户投诉事件中对应的处理结果表示指定含义的所述用户投诉事件的数量占所述用户投诉事件的数量的第四比例；

所述目标模型的针对所述用户投诉事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述用户投诉事件的处理结果所表示的含义。

可选地，计算机可执行指令在被执行时，根据所述模型监控数据自动优化所述目标模型，包括：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述用户投诉事件的第一子模型和/或用于离线处理所述用户投诉事件的第二子模型。

可选地，计算机可执行指令在被执行时，根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述用户投诉事件的第一子模型和/或用于离线处理所述用户投诉事件的第二子模型，包括：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的用户投诉事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理准确率；

若所述分值分布数据与所述目标模型在上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理数量。

本申请实施例中，首先获取用户投诉事件的处理结果数据，然后根据用户投诉事件的处理结果数据，确定用于处理用户投诉事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于用户投诉事件的处理结果数据自动确定并输出用于处理用户投诉事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。通过本申请实施例中的模型运营设备，能够实现前述图5中的模型运营方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

进一步地，本申请实施例还提供了一种存储介质，用于存储计算机可执行指令，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：

获取目标事件的处理结果数据；

根据所述目标事件的处理结果数据，确定用于处理所述目标事件的目标模型的模型监控数据；

自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述模型监控数据包括以下数据中的一项或多项：

所述目标事件中基于所述目标模型得到离线处理结果的所述目标事件的数量占所述目标事件的数量的第一比例；

所述目标事件中基于所述目标模型得到在线处理结果的所述目标事件的数量占所述目标事件的数量的第二比例；

所述目标事件中基于所述目标模型确定的在线处理超时的所述目标事件的数量占所述目标事件的数量的第三比例；

所述目标事件中对应的处理结果表示指定含义的所述目标事件的数量占所述目标事件的数量的第四比例；

所述目标模型的针对所述目标事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述目标事件的处理结果所表示的含义。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，自动输出所述模型监控数据，包括：

确定各所述模型监控数据各自对应的监控周期；

按照各所述监控周期，周期性自动输出各所述模型监控数据。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，根据所述模型监控数据自动优化所述目标模型，包括：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型，包括：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的目标事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述分值分布数据与所述分值分布数据对应的上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理数量。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型，包括：

根据所述第一子模型的模型类型，确定所述第一子模型对应的第一优化工具；利用所述第一优化工具，从所述第一子模型对应的特征池中选取第一特征，并对所述第一特征进行训练；利用训练后的所述第一特征优化所述第一子模型；

和/或，

根据所述第二子模型的模型类型，确定所述第二子模型对应的第二优化工具；利用所述第二优化工具，从所述第二子模型对应的特征池中选取第二特征，并对所述第二特征进行训练；利用训练后的所述第二特征优化所述第二子模型。

本申请实施例中，首先获取目标事件的处理结果数据，然后根据目标事件的处理结果数据，确定用于处理目标事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于目标事件的处理结果数据自动确定并输出用于处理目标事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。通过本申请实施例中的存储介质，能够实现前述图2中的模型运营方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

在另一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：

获取风险控制场景下用户投诉事件的处理结果数据；

根据所述用户投诉事件的处理结果数据，确定用于处理所述用户投诉事件的目标模型的模型监控数据；

自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述模型监控数据包括以下数据中的一项或多项：

所述用户投诉事件中基于所述目标模型得到离线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第一比例；

所述用户投诉事件中基于所述目标模型得到在线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第二比例；

所述用户投诉事件中基于所述目标模型确定的在线处理超时的所述用户投诉事件的数量占所述用户投诉事件的数量的第三比例；

所述用户投诉事件中对应的处理结果表示指定含义的所述用户投诉事件的数量占所述用户投诉事件的数量的第四比例；

所述目标模型的针对所述用户投诉事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述用户投诉事件的处理结果所表示的含义。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，根据所述模型监控数据自动优化所述目标模型，包括：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述用户投诉事件的第一子模型和/或用于离线处理所述用户投诉事件的第二子模型。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述用户投诉事件的第一子模型和/或用于离线处理所述用户投诉事件的第二子模型，包括：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的用户投诉事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理准确率；

若所述分值分布数据与所述目标模型在上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理数量。

本申请实施例中，首先获取用户投诉事件的处理结果数据，然后根据用户投诉事件的处理结果数据，确定用于处理用户投诉事件的目标模型的模型监控数据，最后自动输出该模型监控数据，并根据该模型监控数据自动优化目标模型。可见，通过本申请实施例，能够基于用户投诉事件的处理结果数据自动确定并输出用于处理用户投诉事件的目标模型的模型监控数据，并自动优化目标模型，从而达到自动运营模型的效果，解决基于人工手动的方式进行模型运营具有的耗费大量时间成本和人力成本以及模型运营效率低的问题。通过本申请实施例中的存储介质，能够实现前述图5中的模型运营方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种模型运营方法，其特征在于，包括：

获取目标事件的处理结果数据；

根据所述目标事件的处理结果数据，确定用于处理所述目标事件的目标模型的模型监控数据；

自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型；

其中，所述模型监控数据包括以下数据中的一项或多项：

所述目标事件中基于所述目标模型得到离线处理结果的所述目标事件的数量占所述目标事件的数量的第一比例；

所述目标事件中基于所述目标模型得到在线处理结果的所述目标事件的数量占所述目标事件的数量的第二比例；

所述目标事件中基于所述目标模型确定的在线处理超时的所述目标事件的数量占所述目标事件的数量的第三比例；

所述目标事件中对应的处理结果表示指定含义的所述目标事件的数量占所述目标事件的数量的第四比例；

所述目标模型的针对所述目标事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述目标事件的处理结果所表示的含义；

所述根据所述模型监控数据自动优化所述目标模型，包括：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型；

所述根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型，包括：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的目标事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述分值分布数据与所述分值分布数据对应的上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理数量。

2.根据权利要求1所述的方法，其特征在于，自动输出所述模型监控数据，包括：

确定各所述模型监控数据各自对应的监控周期；

按照各所述监控周期，周期性自动输出各所述模型监控数据。

3.根据权利要求1所述的方法，其特征在于，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型，包括：

根据所述第一子模型的模型类型，确定所述第一子模型对应的第一优化工具；利用所述第一优化工具，从所述第一子模型对应的特征池中选取第一特征，并对所述第一特征进行训练；利用训练后的所述第一特征优化所述第一子模型；

和/或，

根据所述第二子模型的模型类型，确定所述第二子模型对应的第二优化工具；利用所述第二优化工具，从所述第二子模型对应的特征池中选取第二特征，并对所述第二特征进行训练；利用训练后的所述第二特征优化所述第二子模型。

4.一种模型运营方法，其特征在于，包括：

获取风险控制场景下用户投诉事件的处理结果数据；

根据所述用户投诉事件的处理结果数据，确定用于处理所述用户投诉事件的目标模型的模型监控数据；

自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型；

其中，所述模型监控数据包括以下数据中的一项或多项：

所述用户投诉事件中基于所述目标模型得到离线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第一比例；

所述用户投诉事件中基于所述目标模型得到在线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第二比例；

所述用户投诉事件中基于所述目标模型确定的在线处理超时的所述用户投诉事件的数量占所述用户投诉事件的数量的第三比例；

所述用户投诉事件中对应的处理结果表示指定含义的所述用户投诉事件的数量占所述用户投诉事件的数量的第四比例；

所述目标模型的针对所述用户投诉事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述用户投诉事件的处理结果所表示的含义；

根据所述模型监控数据自动优化所述目标模型，包括：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述用户投诉事件的第一子模型和/或用于离线处理所述用户投诉事件的第二子模型；

所述根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述用户投诉事件的第一子模型和/或用于离线处理所述用户投诉事件的第二子模型，包括：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的用户投诉事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理准确率；

若所述分值分布数据与所述目标模型在上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理数量。

5.一种模型运营装置，其特征在于，包括：

第一获取模块，用于获取目标事件的处理结果数据；

第一确定模块，用于根据所述目标事件的处理结果数据，确定用于处理所述目标事件的目标模型的模型监控数据；

第一优化模块，用于自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型；

其中，所述模型监控数据包括以下数据中的一项或多项：

所述目标事件中基于所述目标模型得到离线处理结果的所述目标事件的数量占所述目标事件的数量的第一比例；

所述目标事件中基于所述目标模型得到在线处理结果的所述目标事件的数量占所述目标事件的数量的第二比例；

所述目标事件中基于所述目标模型确定的在线处理超时的所述目标事件的数量占所述目标事件的数量的第三比例；

所述目标事件中对应的处理结果表示指定含义的所述目标事件的数量占所述目标事件的数量的第四比例；

所述目标模型的针对所述目标事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述目标事件的处理结果所表示的含义；

所述第一优化模块具体用于：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述目标事件的第一子模型和/或用于离线处理所述目标事件的第二子模型；

所述第一优化模块还具体用于：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的目标事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的目标事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述分值分布数据与所述分值分布数据对应的上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理数量。

6.一种模型运营装置，其特征在于，包括：

第二获取模块，用于获取风险控制场景下用户投诉事件的处理结果数据；

第二确定模块，用于根据所述用户投诉事件的处理结果数据，确定用于处理所述用户投诉事件的目标模型的模型监控数据；

第二优化模块，用于自动输出所述模型监控数据，并根据所述模型监控数据自动优化所述目标模型；

其中，所述模型监控数据包括以下数据中的一项或多项：

所述用户投诉事件中基于所述目标模型得到离线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第一比例；

所述用户投诉事件中基于所述目标模型得到在线处理结果的所述用户投诉事件的数量占所述用户投诉事件的数量的第二比例；

所述用户投诉事件中基于所述目标模型确定的在线处理超时的所述用户投诉事件的数量占所述用户投诉事件的数量的第三比例；

所述用户投诉事件中对应的处理结果表示指定含义的所述用户投诉事件的数量占所述用户投诉事件的数量的第四比例；

所述目标模型的针对所述用户投诉事件的事件打分对应的分值分布数据；其中，所述事件打分用于指示所述用户投诉事件的处理结果所表示的含义；

所述第二优化模块具体用于：

根据所述模型监控数据，自动优化所述目标模型中用于在线处理所述用户投诉事件的第一子模型和/或用于离线处理所述用户投诉事件的第二子模型；

所述第二优化模块还具体用于：

若所述第一比例大于预设的第一阈值，或者，所述第二比例小于预设的第二阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理数量；

若所述第三比例大于预设的第三阈值，则自动优化所述第一子模型，以提高所述第一子模型的用户投诉事件处理速度，或者，自动优化所述第二子模型，以提高所述第二子模型的用户投诉事件处理数量；

若所述第四比例大于预设的第四阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理准确率；

若所述分值分布数据与所述目标模型在上个监控周期内的所述分值分布数据之间的差距大于预设差距，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的目标事件处理准确率；

若所述第一比例、第二比例、第三比例之和小于预设的第五阈值，则自动优化所述第一子模型和所述第二子模型，以提高所述第一子模型和所述第二子模型的用户投诉事件处理数量。

7.一种模型运营设备，其特征在于，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述权利要求1至3任一项所述的模型运营方法的步骤，或者，所述计算机可执行指令在被执行时使所述处理器实现上述权利要求4所述的模型运营方法的步骤。

8.一种存储介质，用于存储计算机可执行指令，其特征在于，所述计算机可执行指令在被执行时实现上述权利要求1至3任一项所述的模型运营方法的步骤，或者，所述计算机可执行指令在被执行时实现上述权利要求4所述的模型运营方法的步骤。

Images