CN110033123A - 用于业务评估的方法和装置 - Google Patents

Abstract

本公开提供了业务评估的方法及装置，该方法包括：确定与所述业务相关的多个因素的多项特征；利用一预测模型对所述多项特征进行处理以输出所述业务的评估分值；以及确定所述多项特征中的每一项特征在所述预测模型中对所述评估分值的贡献度。根据本发明，在对业务进行评估的同时，还可以方便查看各因素对评估结果的影响，并因此可以梳理评估逻辑、统一化评估标准。

Description

用于业务评估的方法和装置

技术领域

概括地说，本公开涉及业务评估，具体地说，本公开涉及解释业务中各因素对评估结果的影响。

背景技术

预测分析广泛地运用于各种业务中，例如市场营销、信用风险评估、欺诈检测、制造、医疗保健和政府运营等等领域。预测分析通过建立的预测模型来分析当前和历史事实以预测未来或未知事件的解决方案。预测分析所使用的预测模型通常涉及来自数据建模、机器学习、人工智能、深度学习算法和数据挖掘的各种技术。以金融领域为例，预测分析利用预测模型可以对用户信用进行评估，也可以用于欺诈防范，而预测模型考虑客户的信用历史、贷款申请、客户身份资料数据等因素，分析各个因素所包含的特征，来对客户的信用打分或者对于交易的可靠性进行评估，指导金融业务的实现。预测模型一般根据影响预测结果的许多因素之间的关系，来允许评估某一业务的风险或潜力，进而指导用户的决策。

发明内容

现有技术中，预测分析所使用的预测模型在建立之后往往是“黑盒子”，也就是说，用户或者分析师一般只会得到最终的评估分值，而不知道各个因素对于评估分值的影响是多少，而本发明提供一种对于预测模型的评估结果进行解释的方案，不但可以了解到在评估结果中考虑了哪些因素，还可以确定这些因素在评估结果中所占的比重。

根据本发明的一个方面，提供了一种业务评估的方法，包括：确定与所述业务相关的多个因素的多项特征；利用一预测模型对所述多项特征进行处理以输出所述业务的评估分值；以及确定所述多项特征中的每一项特征在所述预测模型中对所述评估分值的贡献度。

在一个优选实施例中，所述方法进一步包括：依次屏蔽所述多个特征中的一项特征；利用所述预测模型对所述多项特征中屏蔽了所述一项特征的剩余特征的k个子集进行处理以确定所述屏蔽的一项特征对所述评估分值的贡献度，其中1≤k≤K，其中K代表所述剩余特征中不同特征组合构成的全部子集个数。

在一个优选实施例中，所述方法进一步包括：将所屏蔽的一项特征与所述k个子集中的每个子集中的特征分别组合以形成k个特征集；利用所述预测模型分别处理所述k个特征集以产生k个第一临时值P1_VAL_i，1≤i≤k；利用所述预测模型处理所述k个子集中的每个子集中的特征，以产生k个第二临时值P2_VAL_i，1≤i≤k，基于所述k个第一临时值P1_VAL_i与k个第二临时值P2_VAL_i确定所述屏蔽的一项特征对所述评估分值的贡献度。

在一个优选实施例中，所述方法进一步包括：计算所述k个第一临时值P1_VAL_i的logodds函数值与k个第二临时值P2_VAL的logodds函数值之间的k个差值；计算所述k个差值的平均值，作为所屏蔽的一项特征对所述评估分值的贡献度。

根据本发明的另一个方面，还提供了一种业务评估的装置，包括：一种业务评估的装置，包括：特征确定模块，用于确定与所述业务相关的多个因素的多项特征；预测模块，配置为利用一预测模型对所述多项特征进行处理以输出所述业务的评估分值；以及解释模块，配置为确定所述多项特征中的每一项特征在所述预测模型中对所述评估分值的贡献度。

本公开还提供了一种用于业务评估的设备，包括：存储指令的存储器；以及耦合到所述存储器的处理器，所述指令在被所述处理器执行时执行根据本公开的方法。

本公开还提供了一种具有指令的计算机可读介质，所述指令在被处理器执行时，使所述处理器执行根据本公开的方法。

根据本公开的实施例，通过对预测模型进行解释并输出明确的评估理由，对梳理评估逻辑、统一化评估标准有重要意义。同时，解释模块输出的不合理的评估原因信息还能反馈到预测模型，对预测模型进行调整，提高预测模型评估的准确率。此外，由于采用分别移除单个特征进行多次计算的方式，本公开的实施例并不限制预测模型的结构，因此适用于所有形式的预测模型。

附图说明

为了更完整地理解本公开，应当参考以下详细描述和附图，在附图中相似的附图标记标识相似的元素，其中：

图1描绘了根据本公开的实施例的业务评估装置；

图2描绘了根据本公开的实施例的进行业务评估的方法；

图3描绘了根据本公开的实施例的解释预测结果的方法流程图；

图4描绘了根据本公开的实施例的展示积极的贡献度的示意图；

图5描绘了根据本公开的实施例的展示消极的贡献度的示意图；

图6描绘了根据本公开的实施例的以状态图和表展示所有贡献度的示意图；

图7描绘了根据本公开的实施例的用于欺诈审理业务的展示各因素贡献度的示意性示图；

图8描绘了根据本公开的实施例的用于业务评估的业务评估装置800的硬件结构图。

具体实施方式

下面结合附图对本公开实施例提供的方法和装置进行详细说明。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1描绘了根据本公开的实施例的业务评估装置100。如图所示，业务评估装置100包括特征确定模块101、预测模块102以及解释模块103。在接收到用户提交的业务请求时，特征确定模块101可以确定与该业务请求相关联的多个因素，这些因素影响对用户请求的业务的评估。基于所确定的因素，特征确定模块101进一步确定这些因素的多个特征。如图1所示，示意性地示出了影响业务预测的因素包括因素1、因素2、因素3等5个因素，并且基于每个因素可以确定其对应的特征值，例如如图1所示的5个特征即特征特征确定模块101在确定了影响业务评估的各特征后，将其作为后续计算的输入数据。这里需要指出的是，图1中特征确定模块101所确定的各因素及其特征仅是以示例的方式示出，而不限制因素及特征的数量和顺序。例如在另一个实施例中，每个业务可能有一个或多个影响该业务的因素，而每个因素又可能各自具有一个或多个具体的影响业务的特征。在以下说明中，以特征确定模块101确定了M个因素及其对应的M项特征为例来说明后续处理，这里M是任意大于1的正整数。

预测模块102利用一个事先训练好的预测模型PM对特征确定模块101所确定的M个特征进行处理，进而计算出用户请求的业务的评估分值s，该分值例如可以表示用户所请求业务属于某种类型的概率(例如对于用户提交的交易欺诈处理请求，该概率可以指示用户交易属于欺诈的可能性。)的函数，该函数例如可以是logodds函数。在这里预测模型PM可以是利用现有技术已知的任意类型的预测分析技术实现的模型，例如包括任意的回归技术和机器学习技术，回归技术例如包括分类和回归树(CART)模型、多变量自适应回归样条(MARS)模型等；而机器学习技术例如包括神经网络、多层感知器(MLP)等，应当理解，预测模型PM也可以基于以上一种或多种技术的组合。在本公开中，采用现有的预测分析技术来训练本发明使用的预测模型PM的过程为本领域人员所熟知，再此不再赘述。

在预测模块102利用预测模型PM计算出针对用户请求的业务的评估分值s之后，评估装置100可以根据评估分值给出对应的评估结果的提示，例如属于欺诈交易或不属于欺诈交易。

解释模块103用于对评估分值s进行解释，即解释在预测模块102的评估结果中所考虑有哪些因素以及这些因素对评估结果的影响，即贡献度，在本例中，解释模块103解释M个因素对评估结果的贡献度S₁～S_M。为此，解释模块103获取预测模块102所使用的预测模型PM，例如，当预测模型PM是一经过训练的神经网络模型时，解释模块103可以从预测模块102获取有关预测模型的结构和/或参数的信息，而预测模型PM是树模型时，解释模块103所获取的可以是每棵决策树的参数。在另一个可选实施例中，解释模块103也可以从其它位置处获取预测模型PM。解释模块103进一步获取预测模块102利用预测模型PM进行计算时所使用的M个特征，如前所述，这些特征对应了在确定评估结果s时所考虑的因素。在本发明中，解释模块103可以直接从特征确定模块101获取各个因素以及对应的特征，或者在另一个可选示例中，解释模块103也可以从预测模块102获取这些因素以及特征。

不难理解。解释模块103利用提获取的预测模型PM，实际上能够通过对所获取的M个特征值而再次计算得出与预测模块102输出的评估分值s相同的评估分值。由此，解释模块103基于所获取的M个特征确定其中的每一项特征在所述预测模型PM中对所述评估分值的贡献度，以下S_i表示，其中i表示M个特征中第i个特征。在一个实施例中，解释模块103屏蔽M个特征中的一项特征，例如第i个特征，然后利用所述预测模型PM对屏蔽了第i个特征的剩余特征中的k个子集进行处理以确定所屏蔽的第i项特征对所述评估分值s的贡献度，其中1≤k≤K，其中K代表所述剩余特征中不同特征组合构成的全部子集个数。例如对于图1所示的利用5个特征 来预测的情况(即M＝5)，在屏蔽一项特征的情况下，剩余特征有4个，因此这4个剩余特征的全部子集个数K＝16。

这里需要指出的是，从M个特征中屏蔽第i项特征其目的是在于消除第i项特征对预测模型PM的输出结果s的影响，因此这里‘屏蔽’既可以是指删除第i项特征；也可是指基于所使用的预测模型PM的特性，而将原对应于第i项特征的输入赋与一个特定值，该值不会对剩余的其它特征的处理结果产生影响，例如该值可以是0、1、或者反映第i项特征的一个平均值等。

由此，解释模块103通过逐一屏蔽M项特征中每项特征对于评估分值的影响，来确定该屏蔽的特征对于评估分值的贡献度。进而评估装置100可利用输出装置(图中未示出)以图表的形式向操作人员呈现影响评估结果的各因素及其对评估结果的贡献度。对于特征确定模块102针对一个因素确定了多项特征的情况，可以将该多项特征的贡献度的总和作为该因素对评估分值s的贡献度。

图2描绘了根据本公开的实施例的进行业务评估的方法200。在图2中方法200从步骤201开始，接收用户的业务请求。方法200进入步骤202，其中，评估装置100确定与业务相关的M个因素并确定这些因素的M项特征。这里需要指出的是，从与业务相关的多个因素中确定待输入给预测模型PM的M项特征可以采用本领域已知的现有技术实现，在此不再赘述。随后步进程前进到步骤203。

在步骤203，评估装置100中的预测模块105利用事先建立或训练好的预测模型PM处理输入的M项特征，并生成可指示评估结果的评估分值s。同时进程前进到步骤204。

在步骤204，评估装置100中的解释模块103获取预测模块102所使用的预测模型PM及该模型所使用的M项特征，在一个示例中，解释模块可以直接从预测模块103获取模型PM及M项特征。然后，解释模块103通过屏蔽M项特征中的每一项特征来确定所屏蔽的特征在预测模型PM中对所述评估分值s的贡献度。具体地，解释模块103屏蔽M项特征中的一项特征，然后利用所述预测模型PM对M项特征中屏蔽了所述一项特征的剩余的M-1项特征中的k个子集进行处理以确定所述移除的一项特征对评估分值s的贡献度S。图3示意性地说明了确定特征贡献度的方法，在该方法描述中，以图1所示的5个特征为例来阐述本发明的一个实施例。

如图3所示，方法300从步骤301开始，预测模块102生成了评估分值s，并且操作人员希望查看该评估分值的影响因素。随后方法300进入步骤302，其中，解释模块103获取预测模型PM以及该预测模型PM所使用的5项特征输入方法300进入步骤303。

在步骤303，解释模块103选取所述5项特征中的一项特征例如特征以确认定其对评估分值s的贡献度S₁，然后进入步骤304。

在步骤304，解释模块103确定剩余特征的全部子集组合。在确定特征的贡献度的情况下，所述剩余特征的子集组合包括：

(1):

(2):

(3):

(4):

(5):

(6):

(7):

(8):

(9):

(10):

(11):

(12):

(13):

(14):

(15):

(16):{NULL}。

即K＝16个子集，其中第(16)个子集{NULL}代表空集。这里对不同子集的排序是任意的，而非限制性的。

然后，解释模块103进一步选取这16个子集中的用于确定特征的贡献度的候选子集组合。在以下说明中以选取全部的16个子集作为候选子集组合为例。但不难想到，候选子集组合中的子集数量与不同的子集选择决定了计算的复杂度及贡献度的精度，因此如何选取候选子集组合可以自行设定。

在步骤305，针对候选子集组合中的每一个子集中的特征，确定所屏蔽的特征与每一个子集中的特征相结合来评估所述业务时的子贡献度Sub_S₁。具体地，选择第(1)个子集即然后利用预测模型PM处理特征以生成第一临时评估分值P1_VAL₁，然后利用预测模型PM处理特征以生成第二临时评估分值P2_VAL₁。由此可以确定在仅利用特征来评估业务的情况下特征对评估结果的子贡献度Sub_S₁。在本发明的一个实施例中，例如采用logodds函数来计算贡献度，即

Sub_S₁＝logodds(P1_VAL₁)-logodds(P2_VAL₁)。

在确定并存储了子贡献度Sub_S₁后，方法前进到步骤306，在此判断是否已经处理完候选子集组合中的所有子集，如果没有，则进程返回步骤305，继续处理下一个子集。在本例中，返回到步骤305来选择第(2)个子集即然后利用预测模型PM处理特征以生成第一临时评估分值P1_VAL₂，然后利用预测模型PM处理特征以生成第二临时评估分值P2_VAL₂。由此可以确定在仅利用特征来评估业务的情况下特征对评估结果的子贡献度Sub_S₂，即：

Sub_S₂＝logodds(P1_VAL₂)-logodds(P2_VAL₂)。

通过循环处理，处理完候选子集组合中的其它子集以得到相应的子贡献度，Sub_S₃、Sub_S₄、Sub_S₅、Sub_S₆、Sub_S₇、Sub_S₈、Sub_S₉、Sub_S₁₀、Sub_S₁₁、Sub_S₁₂、Sub_S₁₃、Sub_S₁₆。例如对于第(13)个子集利用预测模型PM处理特征以生成第一临时评估分值P1_VAL₁₃，然后利用预测模型PM处理特征以生成第二临时评估分值P2_VAL₁₃。由此可以确定在仅利用特征来评估业务的情况下特征对评估结果的子贡献度Sub_S₁₃，即：

Sub_S₁₃＝logodds(P1_VAL₁₃)-logodds(P2_VAL₁₃)。

这里需要注意的是，对于第(16)个子集即空集{NULL}：利用预测模型PM处理特征以生成第一临时评估分值P1_VAL₁₆，然后直接由P1_VAL₁₆确定在仅利用特征来评估业务的情况下的子贡献度Sub_S₁₆，即：

Sub_S₁₆＝logodds(P1_VAL₁₆)。

在处理完候选子集组合中所有子集后，进程前进到步骤307。在步骤307，利用步骤306所获得的特征的各个子贡献度Sub_S₁～Sub_S₁₆计算特征对预测模块102的评估分值s的贡献度S₁。按照本发明的一个示例，特征对预测模块的评估分值s的贡献度S₁可通过计算子贡献度的平均值来实现，即S₁＝Avg(Sub_S₁,Sub_S₂,Sub_S₃……Sub_S₁₆)。可以采用现有技术中已知的任何平均算法来计算s₁，例如算术平均、加权平权等。

在确定了计算特征的贡献度S₁后，进程前到步骤308，确定是否确定了全部特征的贡献度。如果还有其它特征未处理，则进程返回步骤303，以选择下一个特征，例如在本例中，选择特征并重复执行步骤304至308，从而确定出特征对预测模块102的评估分值s的贡献度S₂。以此方式，可以确定出其它特征分别对预测模块102的评估分值s的贡献度S₃，S₄，S₅。在步骤308确定处理完所有特征之后，进程结束。

这里需要指出的是，预测分值s是预测模块101利用预测模型PM处理全部5个特征输入而得到的。而在利用预测模型PM处理不同子集来计算各子贡献度Sub_S_i时，对于子集中未包含的特征，可以采用屏蔽未包含的特征的方式来应用该预测模型PM。如前所述，这里的‘屏蔽’可以是根据所使用的预测模型PM，针对未包含的特征赋与对所述预测模型PM的输出没有影响的值；因此不需要对预测模型PM的结构做任何修改。例如在利用预测模型PM处理特征时，可以将当前待分析的特征进行屏蔽外，还进一步将特征屏蔽；而在利用预测模型PM处理特征时，则将特征屏蔽。在另一示例中，‘屏蔽’也可以移除那些未包含的特征。

在步骤308确定所有特征都处理之后，方法300进入步骤309，进程结束并返回到图2所示的方法流程的步骤205。

现在回到图2，在步骤205，在对所有的特征的贡献度S_i计算完成之后，评估装置100根据解释模块103所确定的各项特征的贡献度，利用输出装置例如显示器输出各项特征所对应的因素以及每项特征的贡献度，从而便于操作人员查看影响用户请求的业务的评估结果的各因素及其影响大小，方法200结束。

如前所述，上述实施例中针对一项因素具有一个特征的情况予以说明。但如果在步骤202特征确定模块101针对影响所述业务评估的一个因素确定出不只一个特征的情况下，例如对于图1中的因素5，可确定出二个特征即特征那么在按照步骤303-304确定了特征的贡献度S₅，S₆后，解释模块103可以将贡献度S₅，S₆之和作为因素5对评估结果s的子贡献度Sub_S₅。

根据本公开的上述实施例，通过采用独立于预测模块的解释模块来对评估分值进行解释，并输出每个特征的贡献度，能够向用户提供详细的特征分析结果，即每个特征对于最终得出的评估分值有多大的影响，从而便于直观地查看影响业务评估的各因素。因此，解释模块的引入对于梳理评估逻辑、统一化评估标准有重要意义。另外，解释模块输出的不合理的评估原因信息还能反馈给预测模型，方便开发人员对预测模型进行调整，从而进一步提高预测模型评估的准确率。而且，针对现有技术中的一些通过分析预测模型中各特征间相互逻辑的复杂的评估方法，本申请通过逐一屏蔽单个特征的影响，来确定该特征对于评估分值的贡献度，具有使用场景广泛，不需要对预测模型的复杂结构进行分析的优势。

图4-6示出了步骤205中评估装置100利用输出装置输出各项特征所对应的因素以及相应的贡献度的示例。根据该示例，可以采用状态图和/或表的形式对解释模块的输出进行展示。

图4描绘了根据本公开的实施例的展示积极贡献度的状态图。如图所示，图4中包含数轴402，在数轴402上定义有代表预测模型的预测基准的基准值404，该基准值404定义了在没有输入与业务有关的任何特征的情况下，预测模型计算出(预先设定)的评估分值406。在数轴402上还示出了代表所述预测模块102的评估分值s的值406。在这里，“积极”表示促进评估分值406的增大。数轴402指向评估分值406增大的方向。该基准值404可以由开发人员进行指定，例如，在关于某个人的信用等级进行评判的预测模型中，如果没有输入该人的任何与信用评判有关的特征，可以将此时预测模型的基准值404设定为100。另一方面，该基准值404也可以基于群体的平均水平来进行设定，例如，在欺诈分析的模型中，如果在对历史数据进行挖掘后发现欺诈投诉为真的概率为10％，则可以将基准值404设定为10％，即在没有输入与交易欺诈相关的任何特征的情况下，预测模型的基准值404可以被开发人员设定为群体的平均水平。本领域技术人员应当认识到，本公开中给出的任何具体数值仅是示例性的，可以根据需要以任何标准设定基准值404的数值。

在数轴402的下方，示例性地示出了三个燕尾形408、410、412。其中燕尾形408表示特征Var₁，其长度(燕尾形408的尾部到头部的水平距离，在图4中标示为l₁)表示该特征Var₁对评估分值406的贡献度，而燕尾形408的指向代表该特征Var₁将评估分值推向更高。在图4中还给出了另外两个燕尾形410、412，其中燕尾形410代表特征Var₂，其长度为l₂，燕尾形412代表特征Var₃，其长度为l₃。图4中的所有燕尾形都将评估分值推向更高的方向，因此产生了积极的贡献度。另外，l₁<l₂<l₃，表示在贡献度方面，特征Var₁最小，Var₂次之，而Var₃最大。l₁，l₂和l₃之间的比例还可以表示贡献度的比例，例如，如果l1:l3＝1:3，则说明特征Var₃的贡献度是特征Var₁的三倍。在燕尾形412的头部不是箭头，而是垂直的直线段，该直线段以虚线对应到数轴402上的评估分值406，表示三个特征Var₁、Var₂、Var₃作为输入时，预测模型所得到的评估分值406，其高于基准值404。因此从图4中可以直观的看出，三个特征Var₁、Var₂、Var₃产生了积极的贡献度，以及贡献度的大小。

图5描绘了根据本公开的实施例的展示消极贡献度的状态图。在这里，“消极”表示促进评估分值506的减小。与图4相类似地，燕尾形514、516分别表示两个特征Var₄、Var₅，但是这两个燕尾形都指向与数轴502相反的方向，因此表示将评估分值506推向更低。在图5中，从基准值504开始，特征Var₅对应的燕尾形516长度为l₅，而特征Var₄对应的燕尾形514长度为l₄，其中l₄:l₅＝2:1，表示特征Var₄的贡献度是特征Var₅的贡献度的两倍，特征Var₄对应的燕尾形514的前端对应于评估分值506，很显然该评估分值506低于基准值504。

图6描绘了根据本公开的实施例的以状态图和表同时综合展示所有积极与消极贡献度的方式。与上面关于图4、5描述的方式相类似，图6中也包含数轴602和基准值604，在数轴602的下方，对应着两组不同方向的燕尾形。其中，燕尾形608、610、612表示将评估分值606推向更高的具有积极贡献度的特征Var₁、Var₂、Var₃，其长度分别为l₁、l₂、l₃；而燕尾形614、616表示将评估分值606推向更低的具有消极贡献度的特征Var₄、Var₅，其长度分别为l₄、l₅。可以看到，燕尾形608的左侧已经低于基准值604并且偏移的距离为d₁，这可以被理解为在具有消极贡献度的特征Var₄、Var₅的作用下，具有积极贡献度的特征Var₁、Var₂、Var₃的整体贡献度被抵消了一部分，即d₁＝l₄+l₅。

除了以状态图的方式直观地表示特征Var₁、Var₂、Var₃、Var₄、Var₅对评估分值的影响外，评估装置100还可以同时将各特征的影响汇聚于列表中，如表618所示。表618中的行620中给出当前任务的任务ID，例如其可以代表一个特定的用户业务请求。行622示出真值，即用户设定的对于评估为真的值。行624显示由预测模块101确定的评估分值606为0.85(在本例中，基准值604被设定为-0.05，而各项特征Var₁-Var₅的贡献度的总和为0.9，因此评估分值606被计算为-0.05+0.9＝0.85)。接下来在行626-634中给出了具体各个特征或因素的贡献度，如行626表示特征Var1所代表的因素为“转账时间”，其值为“-1”，表示交易的时间是昨天，而贡献度为“0.6”；同理其他特征Var2-Var5的具体名称、特征值和贡献度也依次被示出。表中各个特征的贡献度与燕尾形608-616的长度和方向(正值表示积极贡献，负值表示消极贡献)是对应的关系。

这里需要指出的是，在图6所示的示例中，Var₁(转账时间)、Var₂(总金额)两个特征均属于用户历史交易特征，Var₃(对方资产)属于对方历史交易特征，Var₄(实名认证)、Var₅(注册时间)属于交易环境特征。这些特征常用于与金融相关的业务评估，应当认识到可以根据业务的需要，在进行预测和解释的过程中包含任何特征，例如在欺诈审理业务中的用户填写的欺诈过程信息。

通过采用如图6示出的状态图和表的形式，用户可以容易地看出影响评估分值的各个特征的具体名称、特征值、贡献度的大小，以及其将评估分值推向更高还是更低。这种直观的表示方式有助于用户理解预测模型得出该评估分值的原因，有助于理解评估逻辑。在存在多个分析人员进行评估的场景中，还能够避免由于标准不统一导致的分析差异。同时，解释模块输出的不合理的评估原因信息还能反馈到预测模型，有助于对预测模型进行调整，进而能改进预测模型，提高预测准确率。

图7描绘了根据本公开的实施例的用于欺诈审理业务的展示贡献度的示意性示图。在用户进行电子交易时，风控体系会对交易风险进行识别，根据风险大小，对交易进行多元化管控，例如限权(2个小时内限制交易)、失败(中断此笔交易)等。但是，仍有小部分风险交易绕过上述风险识别，用户成功完成交易，但事后意识到被骗。对这种情况，欺诈定性业务提供了事后的投诉举报入口。对用户的投诉，采用一套欺诈审理策略体系，来判断用户举报的交易是否真的是欺诈交易，并在此基础上对欺诈账户做出管控。

在欺诈审理中，大部分欺诈审理案件是由预测模块利用预测模型PM判断定性的。传统的判断过程是个黑盒操作，人工抽查复审一些重要(比如大额案件)举报案件时，不能直观理解预测模型为何输出高/低分(对应高/低欺诈风险)。同时，虽然有人工审理案件的基本规则与思路，但不同复审人员复审案件时对定性结果仍有不一致的意见。根据本公开的实施例，在欺诈审理业务中，通过引入解释模块103对预测模型PM进行解释，可以分析出各个特征对于评估分值的贡献度，从而在人工抽查时使用户能够清楚预测模型打分中各个特征的影响程度。

如图7示出的，解释模块103所确定的贡献度可以进行直观的输出显示。在本例中，填充网格的燕尾形表示有积极贡献的特征，而填充斜线的燕尾形表示有消极贡献的特征，在实践中，也可以选择采用不同的颜色对两种燕尾形进行填充以更醒目地表示其作用。在表中仅列出了将评估分值推向更高的十个特征的影响因素名称、特征值以及贡献度。实际上，在图7中可以看出，影响评估分值的特征有很多并且同时包含积极和消极的特征，但是在欺诈审理业务中，复审人员往往关心对于将评估分值推向更高的主要的几个特征，以及它们的贡献度。因此在表格中仅列出了前十个具有积极贡献的特征及其相关参数。这里需要指出的是，在本例中，由于消极贡献度对评估分值影响很小，因此在图7的排名表中未能示出，但如果该消极贡献度的绝对值很大，则应出现在该排名表中，也就是说，该排名表可按照各特征贡献度的绝对值大小来排列。

通过采用本公开的逐个屏蔽每个特征计算贡献度的方式，并可结合如图4-7所示的输出方式，能够使得复审人员明确案件定性的主要原因，有助于正确地向用户进行反馈并在必要时改进预测模型。

需要指出的是，虽然如上参照图1到图7，对根据本公开的评估装置及评估方法的实施例进行了描述，但本发明并不限于此。图1中的各模块可以包括处理器、电子设备、硬件设备、电子部件、逻辑电路、存储器、软件代码、固件代码等，或者它们的任意组合。技术人员还将认识到的是，结合本文公开内容描述的各种说明性的逻辑方框、模块和方法步骤可以实现为电子硬件、计算机软件或二者的组合。以软件实现为例，作为一个逻辑意义上的评估装置，是通过处理器将非易失性存储器中对应的计算机程序指令读取内存到中运行形成的。从硬件层面而言，如图8所示，在一种实现方式中，根据本发明的评估装置可以由一个或多个计算机实现，该评估装置800可以包括至少一个处理器810、非易失存储设备820、存储器830和通信接口840，并且至少一个处理器810、存储设备820、存储器830和通信接口840经由总线连接在一起。至少一个处理器810执行在非易失存储装置820中存储或编码的至少一个机器可读指令。在一个实施例中，在存储设备820中存储有机器可执行指令，其当执行时使得至少一个处理器810：确定与所述业务相关的多个因素的多项特征；利用一预测模型对所述多项特征进行处理以输出所述业务的评估分值；以及确定所述多项特征中的每一项特征在所述预测模型中对所述评估分值的贡献度。需要注意的是，除了图8所示的处理器、通信接口以及非易失性存储设备之外，实施例中实现评估装置的计算机通常根据其实际功能，还可以包括其它硬件，对此不再赘述。

本发明另一实施例提供的机器可读介质上存储有机器可读指令，该机器可读指令在被计算机执行时，使计算机执行本文公开的前述的任一种方法。具体地，可以提供配有机器可读介质的系统或者装置，在该机器可读介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统的机器读出并执行存储在该机器可读介质中的机器可读指令。在这种情况下，从机器可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的机器可读介质构成了本发明的一部分。

需要说明的是，上述各流程和评估装置的结构图中不是所有的步骤或模块都是必须的，可以根据实际的需要忽略或合并某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

上文通过附图和优选实施例对本公开进行了详细展示和说明，然而本公开不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本公开更多的实施例，这些实施例也在本公开的保护范围之内。

Claims (22)

1.一种业务评估的方法，包括：

确定与所述业务相关的多个因素的多项特征；

利用一预测模型对所述多项特征进行处理以输出所述业务的评估分值；以及

确定所述多项特征中的每一项特征在所述预测模型中对所述评估分值的贡献度。

2.根据权利要求1所述的方法，其中，确定所述多项特征中的每一项特征在所述预测模型中对所述评估分值的贡献度进一步包括：

依次屏蔽所述多个特征中的一项特征；

利用所述预测模型对所述多项特征中屏蔽了所述一项特征的剩余特征的k个子集进行处理以确定所述屏蔽的一项特征对所述评估分值的贡献度，其中1≤k≤K，其中K代表所述剩余特征中不同特征组合构成的全部子集个数。

3.如权利要求2的方法，其中所述利用所述预测模型对所述多项特征中屏蔽了所述一项特征的剩余特征的k个子集进行处理进一步包括：

将所屏蔽的一项特征与所述k个子集中的每个子集中的特征分别组合以形成k个特征集；

利用所述预测模型分别处理所述k个特征集以产生k个第一临时值；

利用所述预测模型处理所述k个子集中的每个子集中的特征，以产生k个第二临时值；

基于所述k个第一临时值与k个第二临时值确定所述屏蔽的一项特征对所述评估分值的贡献度。

4.如权利要求3的方法，其中基于所述k个第一临时值与k个第二临时值确定所述屏蔽的一项特征对所述评估分值的贡献度包括：

针对所述k个子集中的每一子集，计算所述第一临时值的logodds函数值与第二临时值的logodds函数值之间的差值；

计算所述k个差值的平均值，作为所屏蔽的一项特征对所述评估分值的贡献度。

5.根据权利要求2-4之一所述的方法，其中，其中屏蔽所述多个特征中的一项特征包括：

根据所述预测模型，对所屏蔽的一项特征赋与对所述预测模型的输出没有影响的值；或者

从所述多项特征中移除所述一项特征。

6.根据权利要求1-5之一所述的方法，进一步包括采用表和/或状态图的方式显示与所述业务相关的多个因素及其对应的贡献度。

7.根据权利要求6所述的方法，其中，在表中按贡献度从高到低的顺序显示所述多个因素。

8.根据权利要求6所述的方法，其中，所述状态图以对比方式分别显示对所述评估分值具有积极贡献度与消极贡献度的所述多个因素。

9.如权利要求8的所述方法，其中在所述状态图中，所述积极贡献度意味着相应的因素将所述评估分值推向更高，而所述消极贡献意味着相应的因素将所述评估分值推向更低。

10.根据权利要求1-9中任一项所述的方法，其中，所述业务为支付交易，并且所述多个因素包括用户历史交易、对方历史交易、交易环境特征、交易过程。

11.一种业务评估的装置，包括：

特征确定模块，用于确定与所述业务相关的多个因素的多项特征；

预测模块，配置为利用一预测模型对所述多项特征进行处理以输出所述业务的评估分值；以及

解释模块，配置为确定所述多项特征中的每一项特征在所述预测模型中对所述评估分值的贡献度。

12.根据权利要求11所述的装置，所述解释模块进一步配置为：

屏蔽所述多个特征中的一项特征；

利用所述预测模型对所述多项特征中屏蔽了所述一项特征的剩余特征中的k个子集进行处理以确定所述移除的一项特征对所述评估分值的贡献度，其中1≤k≤K，其中K代表所述剩余特征中不同特征组合构成的全部子集个数。

13.如权利要求12的方法，其中所述解释模块进一步配置为：

将所屏蔽的一项特征与所述k个子集中的每个子集中的特征分别组合以形成k个特征集；

利用所述预测模型分别处理所述k个特征集以产生k个第一临时值；

利用所述预测模型处理所述k个子集中的每个子集中的特征，以产生k个第二临时值；

基于所述k个第一临时值与k个第二临时值确定所述屏蔽的一项特征对所述评估分值的贡献度。

14.如权利要求13的方法，其中所述解释模块进一步配置为：

针对所述k个子集中的每一子集，计算所述第一临时值的logodds函数值与第二临时值P2_VAL的logodds函数值之间的k个差值；

计算所述k个差值的平均值，作为所屏蔽的一项特征对所述评估分值的贡献度。

15.如权利要求12-14之一所述的装置，其中屏蔽所述多个特征中的一项特征包括：

根据所述预测模型，将所述一项特征赋与对所述预测模型的输出没有影响的值；或者

从所述多项特征中移除所述一项特征。

16.根据权利要求11-15之一所述的装置，进一步包括采用表和/或状态图的方式显示与所述业务相关的多个因素及其对应的贡献度。

17.根据权利要求16所述的装置，其中，在表中按贡献度从高到低的顺序显示所述多个因素。

18.根据权利要求16所述的装置，其中，所述状态图以对比方式分别显示对所述评估分值具有积极贡献度与消极贡献度的所述多个因素。

19.如权利要求18所述的装置，其中在所述状态图中，所述积极贡献度意味着相应的因素将所述评估分值推向更高，而所述消极贡献意味着相应的因素将所述评估分值推向更低。

20.根据权利要求11-19中任一项所述的装置，其中，所述业务为支付交易，并且所述多个因素包括用户历史交易、对方历史交易、交易环境特征、交易过程。

21.一种用于业务评估的设备，包括：

存储指令的存储器；以及

耦合到所述存储器的处理器，所述指令在被所述处理器执行时执行根据权利要求1-10中的任一项所述的方法。

22.一种具有指令的计算机可读介质，所述指令在被处理器执行时，使所述处理器执行根据权利要求1-10中的任一项所述的方法。