CN111753963B - 用于输出信息的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种用于输出信息的方法，涉及风险控制、大数据领域。具体实现方案为：获取多个用户在预设第一时间点和预设第二时间点的特征；根据获取的特征以及目标模型，确定每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数；根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级；根据多个用户对应的等级以及预设条件，确定目标模型的稳定性评估结果；输出稳定性评估结果。本实现方式通过结合对多个用户在不同时间点的特征对应的分数的整体效果以及每个用户的第一分数和第二分数对应的等级的局部细节，为模型的稳定性分析判定提供了全面准确的指标。

Description

用于输出信息的方法、装置、设备及存储介质

技术领域

本申请涉及数据处理领域，具体涉及风险控制、大数据领域，尤其涉及一种用于输出信息的方法、装置、设备及存储介质。

背景技术

随着机器学习技术(machine learning,简称ML)的不断进步，各大机构使用模型进行各种产品的风控也越来越多。通过根据模型分数的高低将用户区分为不同风险等级的用户，并依此制定相应的风控策略。对于模型的稳定性目前常用指标PSI(populationstability index)来评判。然而PSI反应的是一个整体的指标，效果表示不完整，存在误导。

发明内容

本公开提供了一种用于输出信息的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种用于输出信息的方法，该方法包括：获取多个用户在预设第一时间点和预设第二时间点的特征；根据获取的特征以及目标模型，确定每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数，其中，目标模型用于表征特征与分数的对应关系；根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级；根据多个用户对应的等级以及预设条件，确定目标模型的稳定性评估结果；输出稳定性评估结果。

根据本公开的另一方面，提供了一种用于输出信息的装置，该装置包括：信息获取单元，配置用于获取多个用户在预设第一时间点和预设第二时间点的特征；分数确定单元，配置用于根据获取的特征以及目标模型，确定每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数，其中，目标模型用于表征特征与分数的对应关系；等级划分单元，配置用于根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级；评估单元，配置用于根据多个用户对应的等级以及预设条件，确定目标模型的稳定性评估结果；结果输出单元，配置用于输出稳定性评估结果。

根据本公开的再一方面，提供了一种用于输出信息的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述用于输出信息的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上述用于输出信息的方法。

根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上述用于输出信息的方法。

根据本申请的技术解决了应用整体指标对模型的稳定性进行评判时效果表示不完整，存在误导的问题，通过结合对多个用户在不同时间点的特征对应的分数的整体效果以及每个用户的第一分数和第二分数对应的等级的局部细节，为模型的稳定性分析判定提供了全面准确的指标。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的用于输出信息的方法的一个实施例的流程图；

图3是根据本申请的用于输出信息的方法的一个应用场景的示意图；

图4是根据本申请的用于输出信息的方法的另一个实施例的流程图；

图5是根据本申请的用于输出信息的装置的一个实施例的结构示意图；

图6是用来实现本申请实施例的用于输出信息的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览类应用、搜索类应用、语音识别类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上提供的用户数据进行分析的后台服务器。后台服务器可以接收用户数据，并对用户数据利用目标模型进行分析，得到模型稳定性分析结果，并将模型稳定性分析结果反馈给终端设备101、102、103。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的用于输出信息的方法一般由服务器105执行。相应地，用于输出信息的装置一般设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的用于输出信息的方法的一个实施例的流程200。本实施例的用于输出信息的方法，包括以下步骤：

步骤201，获取多个用户在预设第一时间点和预设第二时间点的特征。

本实施例中，执行主体可以通过网络爬虫等互联网技术，也可以通过调查问卷等方式获取用户在预设第一时间点和预设第二时间点的相关特征。具体地，预设第一时间点和预设第二时间点可以是间隔预设时间段的两个时间点。例如，第一时间点和第二时间点分别可以是2018年6月1日和2019年5月12日，本申请对此不做具体限定。上述特征可以为用户在预设第一时间点和预设第二时间点变化很小的特征，例如，可以是兴趣爱好、作息时间以及婚姻状况等较稳定的数据。可以理解的是，第一时间点与第二时间点之间的时间间隔与上述特征之间存在对应关系。变化频率较快的特征对应的时间间隔较小，变化频率较慢的特征对应的时间间隔较大。技术人员可以预先维护一个特征与时间间隔之间的对应关系，这样在获取不同的特征时，可以选取用户在对应的时间间隔的两个时间点的特征。

步骤202，根据获取的特征以及目标模型，确定每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数。

本实施例中，执行主体在获取多个用户在预设第一时间点和预设第二时间点的特征之后，根据获取的特征以及目标模型，确定每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数。其中，目标模型可以为经过训练的卷积神经网络，用于表征特征与分数的对应关系。将获取的每个用户在对应的预设第一时间点和预设第二时间点的特征输入目标模型中，目标模型对输入的特征自动匹配对应的分数，由此即可确定每个用户在对应的预设第一时间点的特征对应的分数，即为第一分数；以及确定用户在对应预设第二时间点的特征对应的分数，即为第二分数。

步骤203，根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级。

本实施例中，执行主体在确定每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数后，根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级。具体地，预设的等级划分规则可以是在不限定划分的等级的个数的情况下，分别将多个用户的第一分数、第二分数中的相同分数划分到同一等级中，并且将第二分数中与第一分数相同的分数划分到与第一分数相同的等级中。在第二分数中，如果存在与第一分数不同的分数时，将该分数归入在第二分数中与之相邻的分数所在的等级中或者直接舍弃。

执行主体基于上述预设的等级划分规则对多个用户的第一分数和第二分数进行等级划分，根据等级划分结果可以确定每个用户的第一分数和第二分数分别对应的等级。例如，多个用户的第一分数分别为：75、75、76、77、78、79。多个用户的第二分数分别为74、75、76、77、77、78。根据分别将多个用户的第一分数、第二分数中的相同分数划分到同一等级中的规则，将多个用户的第一分数划分等级如下：等级1：75、75，等级2：76，等级3：77，等级4：78，等级5：79。将多个用户的第二分数划分等级如下：等级1：75，等级2：76，等级3：77、77，等级4：78，第二分数中的74由于没有对应的第一分数，故可以将其舍弃或者将其归入等级1中。可以理解的是，第一分数划分的等级的个数与第二分数划分的等级的个数可以相同，也可以不同，本申请对此不做具体限定。由此，即可得到每个用户的第一分数和第二分数对应的等级。

此外，预设的等级划分规则还可以是在不限定划分的等级的个数的情况下，根据所需划分出的等级的个数，分别将多个用户的第一分数、第二分数中的相同分数划分到同一等级中。例如，多个用户的第一分数分别为：75、75、76、77、78、79。多个用户的第二分数分别为74、75、76、77、77、78。将多个用户的第一分数划分等级如下：等级1：75、75，等级2：76，等级3：77，等级4：78，等级5：79。将多个用户的第二分数划分等级如下：等级1：74，等级2：75，等级3：76，等级4：77、77，等级5：78。可以理解的是，对多个用户的第一分数划分等级与对多个用户的第二分数划分等级时，相同等级所对应的分数可以相同，也可以不同，本申请对此不做具体限定。

步骤204，根据多个用户对应的等级以及预设条件，确定目标模型的稳定性评估结果。

本实施例中，执行主体在确定每个用户的第一分数和第二分数对应的等级后，根据多个用户对应的等级以及预设条件，确定目标模型的稳定性评估结果。具体地，多个用户对应的等级可以为多个用户在第一时间点的第一分数对应的等级以及该多个用户在第二时间点的第二分数对应的等级。具体地，在多个用户在第一时间点的第一分数对应的等级与该多个用户在第二时间点的第二分数对应的等级中，如果相同等级的分数相同或差值在预设阈值范围内，则确定目标模型是稳定的；如果相同等级的分数差值超过预设阈值，则确定目标模型不稳定，其中，预设阈值可以设置为1分或2分，本申请对预设阈值的分数不做具体限定。

步骤205，输出稳定性评估结果。

本实施例中，执行主体可以通过显示屏或语音输出目标模型的稳定性评估结果。

继续参考图3，其示出了根据本申请的用于输出信息的方法的一个应用场景的示意图。在图3的应用场景中，膝上型便携计算机303获取多个用户301在预设第一时间点和预设第二时间点的较稳定的变化不大的特征302，例如可以是喝咖啡的种类，用餐习惯，饮茶习惯等，当然也可以是婚姻状况、兴趣爱好等，并由膝上型便携计算机将获取到的预设第一时间点(例如2019年1月1日)和预设第二时间点(例如2019年7月1日)的较稳定的特征302通过有线或无线的方式传输至服务器304，由服务器304中的对用户进行稳定性评价的模型(也就是目标模型)确定每个用户在预设第一时间点和预设第二时间点的特征302分别对应的第一分数和第二分数；并由服务器304中的对用户进行稳定性评价的模型根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级；并根据多个用户对应的等级以及预设条件，确定服务器中对用户进行稳定性评价的模型的稳定性评估结果，并输出服务器中对用户进行稳定性评价的模型的稳定性评估结果。

根据本申请的实施例，通过结合对多个用户在不同时间点的特征对应的分数的整体效果以及每个用户的第一分数和第二分数对应的等级的局部细节，为模型的稳定性分析判定提供了全面准确的指标。

继续参考图4，其示出了根据本申请的用于输出信息的方法的另一个实施例的流程400。如图4所示，本实施例的用于输出信息的方法，可以包括以下步骤：

步骤401，获取多个用户在预设第一时间点和预设第二时间点的特征。

步骤402，根据获取的特征以及目标模型，确定每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数。

步骤401和步骤402的原理与步骤201和步骤202的原理类似，此处不再赘述。

执行主体在得到每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数后，根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级。具体地，根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级，可以通过以下步骤来确定：

步骤403，对多个用户的第一分数、第二分数按照预设顺序排序，得到第一排序和第二排序。

本实施例中，执行主体在得到第一分数和第二分数之后，对多个用户的第一分数、第二分数按照预设顺序排序，得到第一排序和第二排序。具体地，执行主体对多个用户的第一分数、第二分数可以按照递增或递减的顺序排序，得到第一排序和第二排序，本申请对此不做具体限定。第一排序可以为对应多个用户的第一分数按照递增或递减顺序进行的排序，第二排序可以为对应多个用户的第二分数按照递增、递减或者自定义顺序进行的排序。本实施例优选选用相同的预设顺序排序规则(递增或递减)对多个用户的第一分数、第二分数进行排序。

步骤404，根据第一排序以及预设等级数量，确定每个用户的第一分数对应的等级。

步骤405，根据第二排序以及预设等级数量，确定每个用户的第二分数对应的等级。

本实施例中，执行主体在得到第一排序和第二排序后，根据第一排序、第二排序以及预设等级数量，确定每个用户的第一分数对应的等级。预设等级数量可以为需要将第一排序的第一分数、第二排序的第二分数划分成的等级的数量。可以理解的是，第一排序的分数对应的预设等级数量与第二排序的分数对应的预设等级数量可以相同也可以不同。优选地，本申请设定二者的预设等级数量相同。具体地，在根据第一排序以及预设等级数量对多个用户中的每个用户的第一分数划分等级时，在保证预设数量的等级的前提下，将相同或相近的分数划分至同一等级中。

例如，多个用户的第一分数经第一排序后为：83、85、88、99、110、120、126，预设分成5个等级，则等级1：83、85、88，等级2：99，等级3：110，等级4：120，等级5：126。其中，相同或相近的分数可以是差值在预设差值阈值范围内的分数，本申请对预设差值阈值范围不做具体限定。可以理解的是，在对第一排序的第一分数根据预设等级数量进行划分等级时，也可以按照第一排序对第一分数的个数n等分，也即每个等级中第一分数的数量是相同的，并将等分的第一分数依次设定为对应等级1、等级2、等级3…等级n。本实施例优选选用在保证预设数量的等级的前提下，将相同或相近的分数划分至同一等级中的分级方法。由此，即可确定每个用户的第一分数对应的等级。

执行主体在根据第二排序以及预设等级数量，确定每个用户的第二分数对应的等级时，可以独立地对第二分数划分预设等级数量的等级；也可以在多个用户的第一分数划分的等级的基础上进行第二分数对应的等级的划分；还可以以第一分数划分的等级对应的分数范围为基准，根据第二排序以及预设等级数量，确定每个用户的第二分数对应的等级，当第二排序的分数中存在分数与第一排序对应的分数差值超过一定阈值时，将第二排序中的该分数舍弃，本申请对上述一定阈值不做具体限定。

具体地，当执行主体独立地根据第二排序以及预设等级数量对多个用户中每个用户的第二分数划分等级时，在保证预设数量的等级的前提下，将相同或相近的分数划分至同一等级中。例如，多个用户的第二分数经第二排序后为：76、85、88、89、110、120、150，预设分成5个等级，则等级1：76，等级2：85、88、89，等级3：110，等级4：120，等级5：150。具体地，相同或相近的分数可以是差值在预设差值阈值范围内的分数，本申请对预设差值阈值范围不做具体限定。可以理解的是，在对第二排序的第二分数根据预设等级数量进行划分等级时，也可以按照第二排序对第二分数的个数n等分，也即每个等级中第二分数的数量是相同的，并将等分的第二分数依次设定为对应等级1、等级2、等级3…等级n。本实施例优选选用在保证预设数量的等级的前提下，将相同或相近的分数划分至同一等级中的分级方法。由此即可确定每个用户的第二分数对应的等级。

具体地，当执行主体在多个用户的第一分数划分的等级的基础上进行第二分数对应的等级的划分时，保留第一分数划分的等级所对应的分数范围，在该范围的基础上划分每个用户的第二分数对应的等级。例如，上述举例中的多个用户的第一分数经第一排序后为：83、85、88、99、110、120、126，预设分成5个等级，则等级1：83、85、88，等级2：99，等级3：110，等级4：120，等级5：126。当多个用户的第二分数经第二排序后为：76、85、88、89、110、120、150时，对第二分数划分5个等级。则根据将负无穷至83的范围内的分数全部划分为等级1，将126至正无穷的范围内的分数全部划分为等级5，位于分数83-126之间的分数根据预设的分数差值阈值划分至对应的等级2-4中的原则，将76划分为等级1，将85、88、89划分至等级2，将110划分至等级3，将120划分至等级4，将150划分至等级5。即可确定每个用户的第二分数对应的等级。

具体地，当第二排序的分数中存在分数与第一排序对应的分数差值超过一定阈值时，将第二排序中的该分数舍弃，本申请对上述一定阈值不做具体限定。例如，多个用户的第一分数经第一排序后为：83、85、88、99、110、120、126，预设分成5个等级，则等级1：83、85、88，等级2：99，等级3：110，等级4：120，等级5：126。当多个用户的第二分数经第二排序后为：76、85、88、89、110、120、1000时，对第二分数划分5个等级。将76划分为等级1，将85、88、89划分至等级2，将110划分至等级3，将120划分至等级4，由于1000与120的差值为880远大于85与76、88与85、89与88、110与89、120与110之间的差值9、3、1、21、10，因此将1000舍弃，等级5不存在分数。即确定了每个用户的第二分数对应的等级。

本实施例通过在第一排序、第二排序的基础上，根据预设等级数量，对第一分数、第二分数划分等级，通过对第一分数和第二分数进行排序后再划分等级，可以保证将相同或相近的分数划分至同一等级中，避免了同一等级中的分数范围差距过大而造成的对目标模型的评估结果不准确，为目标模型的稳定性分析判定提供了准确的指标。

在本实施例的一些可选的实现方式中，用于输出信息的方法中，根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级，还可以进一步通过图4中未示出的以下步骤来确定：根据预设的等级与分数区间的对应关系，确定每个用户的第一分数和第二分数对应的等级。

本实现方式中，执行主体预先设定好第一分数和第二分数的每个等级的分数区间，优选地，本实现方式对第一分数和第二分数划分的每个等级的分数区间是一致的。然后将每个用户的第一分数和第二分数分别对应置于相应的分数区间中，即可确定出每个用户的第一分数和第二分数对应的区间所对应的等级。

本实现方式通过预先划分好等级并且设定好每个等级对应的分数区间，可以省却每次根据每个用户在每个时间点的分数确定分数对应的等级的时间，实现简便快捷地划分每个用户的第一分数和第二分数对应的等级。

步骤406，对每个用户的第一分数对应的等级与每个用户的第二分数对应的等级作差值，得到每个用户的等级变化幅度。

本实施例中，执行主体在确定每个用户的第一分数对应的等级和第二分数对应的等级后，对每个用户的第一分数对应的等级与每个用户的第二分数对应的等级作差值，得到每个用户的等级变化幅度。具体地，执行主体可以按照递增或递减的顺序将多个用户的第一分数对应的各等级分别减去多个用户的第二分数对应的各等级。可以理解的是，本申请也可以按照任意顺序对每个用户的第一分数对应的等级与每个用户的第二分数对应的等级作差值，得到每个用户的等级变化幅度。

示例的，第一分数对应的等级假设分为10个等级，第二分数对应的等级也分为10个等级，则用第一分数对应的等级1分别减去第二分数对应的等级1-10，得到第一分数对应的等级1中每个用户的等级变化幅度分别为：0、-1、-2、-3、-4、-5、-6、-7、-8、-9，用第一分数对应的等级2分别减去第二分数对应的等级1-10，得到第一分数对应的等级2中每个用户的等级变化幅度分别为：1、0、-1、-2、-3、-4、-5、-6、-7、-8，…，用第一分数对应的等级10分别减去第二分数对应的等级1-10，得到第一分数对应的等级10中每个用户的等级变化幅度分别为：9、8、7、6、5、4、3、2、1、0。可以理解的是，也可以用第二分数对应的等级减去各第一分数对应的等级得到各个等级中每个用户的等级变化幅度。此外，对于第一分数、第二分数对应的等级的排序顺序不做具体限定，包括但不限于递增或递减排序。

步骤407，根据各用户的等级变化幅度，确定各等级变化幅度对应的用户数量。

本实施例中，执行主体在得到各用户的等级变化幅度后，确定各等级变化幅度对应的用户数量。具体地，执行主体根据每个用户的第一分数对应的等级和每个用户的第二分数对应的等级，可以得到第一分数的各个等级中的用户数量以及第二分数的各个等级中的用户数量。将第一分数的各个等级减去第二分数的各个等级得到第一分数的各个等级中各用户在预设第一时间点的等级相对于在预设第二时间点的等级的等级变化幅度。将所有相同的等级变化幅度涉及的相减的等级所对应的用户数量相加(在相减的等级对应的用户不同的情况下)即为各等级变化幅度对应的用户数量。

步骤408，根据各等级的等级变化幅度对应的用户数量以及多个用户，确定各等级变化幅度对应的用户占比。

本实施例中，执行主体在得到各等级的等级变化幅度对应的用户数量后，根据多个用户的用户数量，计算各等级变化幅度对应的用户占比。各等级变化幅度对应的用户占比＝每个等级变化幅度对应的用户数量/多个用户的用户总数量。根据各用户占比以及预设条件，确定目标模型的稳定性评估结果。

执行主体在得到各等级变化幅度对应的用户占比后，根据各用户占比以及预设条件，确定目标模型的稳定性评估结果。具体地，可以根据各等级变化幅度在5～9之间的用户占比之和是否超过预设比例，例如该预设比例可以是50％或80％，如果超过预设比例，则此时的目标模型是不稳定的，如果不超过预设比例，则说明此时的目标模型是稳定的。本申请对上述预设比例不做具体限定。

此外，在本实施例的一些可选的实现方式中，根据各用户占比以及预设条件，确定目标模型的稳定性评估结果，还可以通过图3所示的以下步骤来确定：

步骤409，根据预设的等级变化幅度与用户占比的对应关系以及各用户占比，确定目标模型的稳定性评估结果。

执行主体在得到各等级变化幅度对应的用户占比后，可以根据预设的等级变化幅度与用户占比的对应关系以及各用户占比，确定目标模型的稳定性评估结果。例如，当风险等级变化幅度为0的用户占比在25％以上(本申请对该占比不做具体限定)；风险等级变化幅度不超过1个等级(包括风险等级变化幅度为-1,0,1)的用户占比在60％以上(本申请对该比例不做具体限定)；风险等级变化幅度不超过2个等级(包括风险等级变化幅度为-2，-1,0,1，2)的用户占比在80％以上(本申请对该比例不做具体限定)时，则确定此时的目标模型是稳定的。

本实施例通过引入每个用户的第一分数和第二分数对应的各等级的风险等级变化幅度和各用户占比以及二者之间的对应关系作为评价模型稳定性指标的一部分，为模型的稳定性分析提供了完整可靠的指标。

步骤410，输出稳定性评估结果。

步骤410的原理与步骤205的原理类似，此处不再赘述。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于输出信息的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的用于输出信息的装置500包括：信息获取单元501、分数确定单元502、等级划分单元503、评估单元504和结果输出单元505。

信息获取单元501，被配置为获取多个用户在预设第一时间点和预设第二时间点的特征。

分数确定单元502，被配置为根据获取的特征以及目标模型，确定每个用户对应预设第一时间点的第一分数和对应预设第二时间点的第二分数，其中，目标模型用于表征特征与分数的对应关系。

等级划分单元503，被配置为根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级。

评估单元504，被配置为根据多个用户对应的等级以及预设条件，确定目标模型的稳定性评估结果。

结果输出单元505，被配置为输出稳定性评估结果。

在本实施例的一些可选的实现方式中，等级划分单元503进一步被配置成：对多个用户的第一分数、第二分数按照预设顺序排序，得到第一排序和第二排序；根据第一排序以及预设等级数量，确定每个用户的第一分数对应的等级；根据第二排序以及预设等级数量，确定每个用户的第二分数对应的等级。

在本实施例的一些可选的实现方式中，等级划分单元503进一步被配置成：根据预设的等级与分数区间的对应关系，确定每个用户的第一分数和第二分数对应的等级。

在本实施例的一些可选的实现方式中，评估单元504进一步被配置成：对每个用户的第一分数对应的等级与每个用户的第二分数对应的等级作差值，得到每个用户的等级变化幅度；根据各用户的等级变化幅度，确定各等级变化幅度对应的用户数量；根据各等级的等级变化幅度对应的用户数量以及多个用户，确定各等级变化幅度对应的用户占比；根据各用户占比以及预设条件，确定目标模型的稳定性评估结果。

在本实施例的一些可选的实现方式中，评估单元504进一步被配置成：根据预设的等级变化幅度与用户占比的对应关系以及各用户占比，确定目标模型的稳定性评估结果。

根据本申请的实施例，本申请还提供了一种用于输出信息的电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的用于输出信息的方法的电子设备的框图600。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线605互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的用于输出信息的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于输出信息的方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及单元，如本申请实施例中的用于输出信息的方法对应的程序指令/单元(例如，附图5所示的信息获取单元501、分数确定单元502、等级划分单元503、评估单元504和结果输出单元505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于输出信息的方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于输出信息的方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于输出信息的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于输出信息的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线605或者其他方式连接，图6中以通过总线605连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与用于输出信息的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过结合对多个用户在不同时间点的特征对应的分数的整体效果以及每个用户的第一分数和第二分数对应的等级的局部细节，为模型的稳定性分析判定提供了全面准确的指标。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种用于输出信息的方法，包括：

获取多个用户在预设第一时间点和预设第二时间点的特征；

根据获取的所述特征以及目标模型，确定每个用户对应所述预设第一时间点的第一分数和对应所述预设第二时间点的第二分数，其中，所述目标模型用于表征特征与分数的对应关系；

根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级；

根据所述多个用户对应的等级以及预设条件，确定所述目标模型的稳定性评估结果，包括：对所述每个用户的第一分数对应的等级与所述每个用户的第二分数对应的等级作差值，得到每个用户的等级变化幅度；根据各用户的等级变化幅度，确定各等级变化幅度对应的用户数量；根据各等级的等级变化幅度对应的用户数量以及所述多个用户，确定各等级变化幅度对应的用户占比；根据各所述用户占比以及预设条件，确定所述目标模型的稳定性评估结果；

输出所述稳定性评估结果。

2.根据权利要求1所述的方法，其中，所述根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级包括：

对所述多个用户的第一分数、第二分数按照预设顺序排序，得到第一排序和第二排序；

根据所述第一排序以及预设等级数量，确定每个用户的第一分数对应的等级；

根据所述第二排序以及所述预设等级数量，确定每个用户的第二分数对应的等级。

3.根据权利要求1所述的方法，其中，所述根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级包括：

根据预设的等级与分数区间的对应关系，确定所述每个用户的第一分数和第二分数对应的等级。

4.根据权利要求1所述的方法，其中，所述根据各所述用户占比以及预设条件，确定所述目标模型的稳定性评估结果包括：

根据预设的等级变化幅度与用户占比的对应关系以及各用户占比，确定所述目标模型的稳定性评估结果。

5.一种用于输出信息的装置，包括：

信息获取单元，被配置为获取多个用户在预设第一时间点和预设第二时间点的特征；

分数确定单元，被配置为根据获取的所述特征以及目标模型，确定每个用户对应所述预设第一时间点的第一分数和对应所述预设第二时间点的第二分数，其中，所述目标模型用于表征特征与分数的对应关系；

等级划分单元，被配置为根据预设的等级划分规则，确定每个用户的第一分数和第二分数对应的等级；

评估单元，被配置为根据所述多个用户对应的等级以及预设条件，确定所述目标模型的稳定性评估结果，包括：对所述每个用户的第一分数对应的等级与所述每个用户的第二分数对应的等级作差值，得到每个用户的等级变化幅度；根据各用户的等级变化幅度，确定各等级变化幅度对应的用户数量；根据各等级的等级变化幅度对应的用户数量以及所述多个用户，确定各等级变化幅度对应的用户占比；根据各所述用户占比以及预设条件，确定所述目标模型的稳定性评估结果；

结果输出单元，被配置为输出所述稳定性评估结果。

6.根据权利要求5所述的装置，其中，所述等级划分单元进一步被配置成：

对所述多个用户的第一分数、第二分数按照预设顺序排序，得到第一排序和第二排序；

根据所述第一排序以及预设等级数量，确定每个用户的第一分数对应的等级；

根据所述第二排序以及所述预设等级数量，确定每个用户的第二分数对应的等级。

7.根据权利要求5所述的装置，其中，所述等级划分单元进一步被配置成：

根据预设的等级与分数区间的对应关系，确定所述每个用户的第一分数和第二分数对应的等级。

8.根据权利要求5所述的装置，其中，所述评估单元进一步被配置成：

根据预设的等级变化幅度与用户占比的对应关系以及各用户占比，确定所述目标模型的稳定性评估结果。

9. 一种用于输出信息的电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。