CN115037442A - 一种模型效果检测方法、装置、存储介质及设备 - Google Patents

Abstract

本申请实施例提供一种模型效果检测方法、装置、存储介质及设备，该方法借助半同态加密算法，生成公私钥对的数据源方将公钥以及利用公钥对标注值队列进行加密而得到的第二密文发送给模型方，而模型方利用公钥对预测值队列进行加密得到第一密文，并对第一密文和第二密文进行同态减运算以得到第三密文，这样，数据源方基于私钥对第三密文进行解密后，解密结果表征标注值队列和标注值队列之间的匹配程度，因而，数据源方可以根据解密结果确定出模型方的模型效果。如此，实现在不泄露双方数据的情况下，确定出模型方建立的模型的效果。

Description

一种模型效果检测方法、装置、存储介质及设备

技术领域

本申请涉及互联网技术领域，具体而言，涉及一种模型效果检测方法、装置、存储介质及设备。

背景技术

算法模型是为了求解给定的问题而经过充分设计的计算过程和数学模型，模型的效果是决定该模型是否能投入应用的关键指标。在一些场景中，两个不同的建模团队对同一问题进行建模，得到不同的模型，出于竞争关系、数据隐私保护等原因，两个建模团队互相不知道对方的模型预测结果，在这种情况下，难以比较两个模型的效果。

发明内容

本申请实施例的目的在于提供一种模型效果检测方法、装置、存储介质及设备，旨在解决相关技术中因无法获取对方的模型预测结果而难以确定其模型效果的问题。

第一方面，本申请实施例提供的一种模型效果检测方法，应用于数据源方，包括：基于半同态加密算法生成公钥及私钥，并将所述公钥发送给模型方，以使所述模型方利用所述公钥对预测值队列进行加密以得到第一密文，所述预测值队列是由所述模型方针对一组测试数据计算得到的模型预测结果组成的队列；利用所述公钥对标注值队列进行加密以得到第二密文，并将所述第二密文发送给所述模型方，以使所述模型方对所述第一密文和所述第二密文进行同态减运算，得到第三密文；获取所述模型方发送的第三密文，并利用所述私钥对所述第三密文进行解密，根据解密结果确定所述模型方的模型效果。

在上述实现过程中，借助半同态加密算法，生成公私钥对的数据源方将公钥以及利用公钥对标注值队列进行加密而得到的第二密文发送给模型方，而模型方利用公钥对预测值队列进行加密得到第一密文，并对第一密文和第二密文进行同态减运算以得到第三密文，这样，数据源方基于私钥对第三密文进行解密后，解密结果表征标注值队列和标注值队列之间的匹配程度，因而，数据源方可以根据解密结果确定出模型方的模型效果。如此，实现在不泄露双方数据的情况下，确定出模型方建立的模型的效果。

进一步地，在一些实施例中，所述标注值队列是所述数据源方针对所述测试数据计算得到的模型预测结果组成的队列；或，所述标注值队列是所述测试数据对应的真实结果组成的队列。

在上述实现过程中，利用数据源方针对测试数据计算得到的模型预测结果组成标注值队列，实现以数据方的模型效果为基准来确定模型方的模型效果；利用测试数据对应的真实结果组成标注值队列，实现以真实结果为基准来确定模型方的模型效果。

进一步地，在一些实施例中，若所述标注值队列是所述数据源方针对所述测试数据计算得到的模型预测结果组成的队列，所述根据解密结果确定所述模型方的模型效果包括：

根据解密得到的明文中0的占比率，确定所述模型方的模型效果和所述数据源方的模型效果之间的匹配度。

在上述实现过程中，提供以数据方的模型效果为基准来确定模型方的模型效果的解决手段。

进一步地，在一些实施例中，若所述标注值队列是所述测试数据对应的真实结果组成的队列，所述根据解密结果确定所述模型方的模型效果包括：根据解密得到的明文中0的占比率，确定所述模型方的模型预测结果的准确率。

在上述实现过程中，提供以真实结果为基准来确定模型方的模型效果的解决手段。

进一步地，在一些实施例中，所述方法还包括：根据所述测试数据对应的真实结果与所述数据源方针对所述测试数据计算得到的模型预测结果之间的匹配度，确定所述数据源方的模型预测结果的准确率；根据所述模型方的模型预测结果的准确率和所述数据源方的模型预测结果的准确率之间的大小关系，比较所述模型方的模型效果和所述数据源方的模型效果。

在上述实现过程中，以真实结果为基准时，数据源方的模型效果直接由其对应的模型预测结果和真实结果之间的匹配度得到，进而实现两个模型的模型效果的比较。

进一步地，在一些实施例中，所述模型方对所述第一密文和所述第二密文进行同态减运算的过程中，随机地采取第一密文减去第二密文，或第二密文减去第一密文的形式，其中，采取第一密文减去第二密文的形式的概率为二分之一。

在上述实现过程中，通过随机地以二分之一的概率做减法，维护了模型方的数据隐私性。

进一步地，在一些实施例中，所述第三密文是基于将同态减运算的结果进行乱序处理而得到的。

在上述实现过程中，通过对减法结果做乱序处理，维护了模型方的数据隐私性。

第二方面，本申请实施例提供的一种模型效果检测装置，包括：生成模块，用于基于半同态加密算法生成公钥及私钥，并将所述公钥发送给模型方，以使所述模型方利用所述公钥对预测值队列进行加密以得到第一密文，所述预测值队列是由所述模型方针对一组测试数据计算得到的模型预测结果组成的队列；加密模块，用于利用所述公钥对标注值队列进行加密以得到第二密文，并将所述第二密文发送给所述模型方，以使所述模型方对所述第一密文和所述第二密文进行同态减运算，得到第三密文；解密模块，用于获取所述模型方发送的第三密文，并利用所述私钥对所述第三密文进行解密，根据解密结果确定所述模型方的模型效果。

第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。

第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。

第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。

本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种模型效果检测方法的流程图；

图2为本申请实施例提供的一种模型效果检测系统的示意图；

图3为本申请实施例提供的一种模型效果检测装置的框图；

图4为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

算法模型是为了求解给定的问题而经过充分设计的计算过程和数学模型，模型的效果是决定该模型是否能投入应用的关键指标。在一些场景中，两个不同的建模团队对同一问题进行建模，得到不同的模型，出于竞争关系、数据隐私保护等原因，两个建模团队互相不知道对方的模型预测结果，在这种情况下，难以比较两个模型的效果。基于此，本申请实施例提供一种模型效果检测方案，以解决上述问题。

如图1所示，图1是本申请实施例提供的一种模型效果检测方法的流程图，所述方法应用于数据源方，该数据源方可以是指具备针对测试数据对应的真实结果的获取权限的一方，本实施例中提及的数据源方和模型方均可以是终端或服务器，该终端可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携式计算机和台式计算机等；该服务器可以是单个服务器，也可以是多个服务器组成的分布式服务器集群。该终端或服务器提供各种应用运行的环境，这一环境包括软件部分和硬件部分，其中，软件部分主要包括操作系统，如Windows、Linux等，硬件部分主要包括计算资源、存储资源等，如CPU（CentralProcessing Unit，中央处理器）、内存、硬盘等。需要说明的是，该终端/服务器也可以实现成多个软件或软件模块，或者还可以实现成单个软件或软件模块，本申请对此不作限制。

所述方法包括：

在步骤101、基于半同态加密算法生成公钥及私钥，并将所述公钥发送给模型方，以使所述模型方利用所述公钥对预测值队列进行加密以得到第一密文，所述预测值队列是由所述模型方针对一组测试数据计算得到的模型预测结果组成的队列；

同态加密（Homomorphic Encryption，HE）是一种加密方法，它允许直接对加密数据执行计算，如加法和乘法，而计算过程不会泄露原文的任何信息，计算结果仍然是加密的，拥有密钥的用户对处理过的密文数据进行解密后，得到的正好是处理后原文的结果。本步骤中提到的半同态加密（Partially Homomorphic Encryption，PHE）就是同态加密的一种类型，它是一种非对称加密，可以在密域里进行加减法计算，只有拥有私钥的一方可以对结果进行解密。可选地，该半同态加密算法可以是Paillier算法，其是一个支持加法同态的公钥密码系统，具有效率高、安全性证明完备的特点。当然，在其他实施例中，该半同态加密算法也可以是其他类型的PHE方案，如DGK加密算法。

本步骤中提到的模型方可以是指具有建立好的算法模型的一方，其中，该算法模型可以是二分类模型，一般来说，二分类模型的预测结果可以由标签“0”和标签“1”来表示，在使用二分类模型对待预测数据进行预测时，若待预测数据的特征与正样本数据的特征相符合时，可以认为待预测数据为标签“1”对应的类型，相应地，若待预测数据的特征与正样本数据的特征不符合，或与负样本数据的特征相符合时，可以认为待预测数据为标签“0”对应的类型。本实施例中，模型方基于自身的算法模型对一组测试数据进行计算，并将计算得到的模型预测结果依序排列后，得到预测值队列；数据源方基于半同态加密算法生成公钥（Public Key，PK）和私钥（Secret Key，SK），并将公钥发送给模型方，而模型方在接收到公钥后，利用该公钥对其预测值队列进行加密，相当于是对其模型预测结果依序进行加密，从而得到第一密文。

在步骤102、利用所述公钥对标注值队列进行加密以得到第二密文，并将所述第二密文发送给所述模型方，以使所述模型方对所述第一密文和所述第二密文进行同态减运算，得到第三密文；

本步骤中提到的标注值队列是用于对模型方的模型预测结果进行比较的数据队列。在一些实施例中，所述标注值队列可以是所述数据源方针对所述测试数据计算得到的模型预测结果组成的队列，也就是说，数据源方也具有自身的算法模型，数据源方基于自身的算法模型对相同的一组测试数据进行计算，并将计算得到模型预测结果依序排列后，得到标注值队列，这种情况下，后续步骤中所确定的模型方的模型效果是以数据方的模型效果为基准的。

在另外一些实施例中，所述标注值队列可以是所述测试数据对应的真实结果组成的队列，这里的真实结果是指测试数据的真实值或标注，例如，金融贷款平台可以提供一组用户数据作为测试数据，该测试数据的真实结果是该平台针对各个用户数据评估的信用风险，标签“1”的类型表示有逾期或欺诈风险的用户，标签“0”的类型表示没有逾期和欺诈风险的用户。将测试数据的真实结果依序排列后，得到标注值队列，这样，后续步骤中所确定的模型方的模型效果就是以真实结果为基准的。

数据源方利用公钥对标注值队列进行加密，得到第二密文。半同态加密的密文一般是不确定的，也就是说，用相同的公钥对同一数字进行加密时，两次加密的结果是不同的。因此，即便预测值队列和标注值队列是完全相同的，第一密文和第二密文也是不同的。基于此，数据源方将第二密文发送给模型方后，没有私钥的模型方无法探测到第二密文的原文内容，保障了数据源方的数据隐私性。而为了确定模型方的模型效果，模型方对第一密文和第二密文进行同态减运算，由于对经半同态加密的密文进行某些特定的计算后，得到的密文计算结果在进行对应的同态解密后的明文等同于对明文数据直接进行相同的计算，这样，数据源方基于私钥对同态减运算的结果进行解密后，解密结果中0的个数就相当于两个密文对应的明文数据中相同值的个数。以标注值队列是数据源方针对测试数据计算得到的模型预测结果组成的队列为例，模型方在密域逐对地对双方的对应的模型预测结果做减法，数据源方对减法结果进行解密后，根据解密结果中0的个数就可以确定双方的模型预测结果的匹配度，若0的个数超过预设值，可以认为双方的模型预测结果基本一致。

在步骤103、获取所述模型方发送的第三密文，并利用所述私钥对所述第三密文进行解密，根据解密结果确定所述模型方的模型效果。

数据源方基于私钥对第三密文进行解密后，解密得到的明文体现了预测值队列和标注值队列之间的匹配程度，基于此，可以确定模型方的模型效果。

可选地，若所述标注值队列是所述数据源方针对所述测试数据计算得到的模型预测结果组成的队列，所述根据解密结果确定所述模型方的模型效果包括：根据解密得到的明文中0的占比率，确定所述模型方的模型效果和所述数据源方的模型效果之间的匹配度。当标注值队列中的数据是数据源方基于自身的模型得到的预测值时，解密得到的明文中0的占比率表征了双方的模型预测结果的匹配度，同时也表征了双方的模型效果的匹配度，该占比率介于0和1之间，当该占比率为1时，表明双方的模型预测结果完全相符，则相应地，双方的模型效果也完全一致。

可选地，若所述标注值队列是所述测试数据对应的真实结果组成的队列，所述根据解密结果确定所述模型方的模型效果包括：根据解密得到的明文中0的占比率，确定所述模型方的模型预测结果的准确率。当标注值队列由测试数据的真实结果组成时，解密得到的明文中0的占比率表征了模型方的模型预测结果的准确率，同样地，该占比率介于0和1之间，当该占比率为1时，表明模型方的模型预测结果与真实结果完全相符，此时可以认为模型方的模型效果达到最佳。这种情况下，若数据源方拥有自身的模型，可以通过以下方式比较两个模型的效果：根据所述测试数据对应的真实结果与所述数据源方针对所述测试数据计算得到的模型预测结果之间的匹配度，确定所述数据源方的模型预测结果的准确率；根据所述模型方的模型预测结果的准确率和所述数据源方的模型预测结果的准确率之间的大小关系，比较所述模型方的模型效果和所述数据源方的模型效果。也就是说，数据源方的模型预测结果的准确率可以直接通过与真实结果的匹配而计算得到，之后，通过对比两个模型各自的准确率，可以比较两个模型的效果，这样，可以确定出效果更优的模型，方便投入应用。

本申请实施例，借助半同态加密算法，生成公私钥对的数据源方将公钥以及利用公钥对标注值队列进行加密而得到的第二密文发送给模型方，而模型方利用公钥对预测值队列进行加密得到第一密文，并对第一密文和第二密文进行同态减运算以得到第三密文，这样，数据源方基于私钥对第三密文进行解密后，解密结果表征标注值队列和标注值队列之间的匹配程度，因而，数据源方可以根据解密结果确定出模型方的模型效果。如此，实现在不泄露双方数据的情况下，确定出模型方建立的模型的效果。

在一些实施例中，所述模型方对所述第一密文和所述第二密文进行同态减运算的过程中，随机地采取第一密文减去第二密文，或第二密文减去第一密文的形式，其中，采取第一密文减去第二密文的形式的概率为二分之一。将第一密文记为CT1，第二密文记为CT2，假设测试数据共有50项，即预测值队列和标注值队列的维度均是50，则在同态减运算的过程中，模型方随机地以0.5的概率进行

或

的运算，即随机地选取25个密文值进行

的运算，针对其余的密文值则进行

的运算。这样，拥有私钥的数据源方只能从第三密文中检测出模型方的模型效果，而无法探测出模型方的模型预测结果，如此，保障了模型方的数据隐私性。

进一步地，在一些实施例中，所述第三密文是基于将同态减运算的结果进行乱序处理而得到的。也就是说，模型方可以对减法结果的顺序做打乱（shuffle），这样，数据源方基于私钥对第三密文进行解密后，可以根据解密结果确定出预测值队列和标注值队列的匹配程度，而无法确定出具体哪些值是匹配的，如此，保障了模型方的数据隐私性。

为了对本申请的模型效果检测方案做更为详细的说明，接下来介绍一具体实施例：

如图2所示，图2是本申请实施例提供的一种模型效果检测系统的示意图，该系统包括A方21和B方22，A方21是数据源方，B方22是模型方，在实际场景中，A方21和B方22是两个不同的建模团队，其建立的算法模型均是针对判断申请贷款用户是否具有逾期或欺诈风险的二分类问题的模型，其预测结果用标签“0”和标签“1”表示，其中，标签“1”表示当前用户有逾期或欺诈风险，标签“0”表示当前用户没有逾期和欺诈风险。

该系统基于以下工作流程，比较两个模型的效果：

S201、A方21基于半同态加密算法，生成公钥PK和私钥SK；

S202、A方21将公钥PK发送给B方22；

S203、B方22用公钥PK对其预测值

依序进行加密，得到密文

；该预测值

是B方22基于其建立的模型对一组测试数据进行预测得到的；

S204、A方21用公钥PK对测试数据的真实值

依序进行加密，得到密文

；需要说明的是，S203和S204没有固定的前后顺序，其可以同时进行；

S205、A方21将密文

发送给B方22；

S206、B方22在密域，逐对地两个密文做减法，具体地，其随机地以二分之一的概率采取

的形式或

的形式；

S207、B方22对减法结果做乱序处理，得到密文

；

S208、B方22将密文

发送给A方21；

S209、A方21基于私钥SK对密文

进行解密，并计算解密得到的明文中0的个数。

通过解密得到的明文中0的个数，可以确定B方22的模型效果，例如，该明文中共有100项，0的个数为85，因此，明文中0的占比率为85%，即B方22的模型预测结果的准确率为85%；而A方21的模型效果可以直接基于其预测值

和真实值

之间的匹配度而确定，例如，该匹配度为80%，表明A方21的模型预测结果的准确率为80%。如此，可以比较得到B方22的模型效果更佳。

由上可知，本实施例的系统可以实现在不知道对方的模型预测结果的前提下，得到对方的模型效果，如此，保障了双方的数据安全性。

与前述方法的实施例相对应，本申请还提供了模型效果检测装置及其应用的终端的实施例。

如图3所示，图3是本申请实施例提供的一种模型效果检测装置的框图，包括：

生成模块31，用于基于半同态加密算法生成公钥及私钥，并将所述公钥发送给模型方，以使所述模型方利用所述公钥对预测值队列进行加密以得到第一密文，所述预测值队列是由所述模型方针对一组测试数据计算得到的模型预测结果组成的队列；

加密模块32，用于利用所述公钥对标注值队列进行加密以得到第二密文，并将所述第二密文发送给所述模型方，以使所述模型方对所述第一密文和所述第二密文进行同态减运算，得到第三密文；

解密模块33，用于获取所述模型方发送的第三密文，并利用所述私钥对所述第三密文进行解密，根据解密结果确定所述模型方的模型效果。

本申请还提供一种电子设备，请参见图4，图4为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器410、通信接口420、存储器430和至少一个通信总线440。其中，通信总线440用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口420用于与其他节点设备进行信令或数据的通信。处理器410可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器410可以是通用处理器，包括中央处理器(CPU，Central ProcessingUnit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器410也可以是任何常规的处理器等。

存储器430可以是，但不限于，随机存取存储器（RAM，Random Access Memory），只读存储器（ROM，Read Only Memory），可编程只读存储器（PROM ，Programmable Read-OnlyMemory），可擦除只读存储器（EPROM ，Erasable Programmable Read-Only Memory），电可擦除只读存储器（EEPROM ，Electric Erasable Programmable Read-Only Memory）等。存储器430中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器410执行时，电子设备可以执行上述图1方法实施例涉及的各个步骤。

可选地，电子设备还可以包括存储控制器、输入输出单元。

所述存储器430、存储控制器、处理器410、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线440实现电性连接。所述处理器410用于执行存储器430中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。

输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。

可以理解，图4所示的结构仅为示意，所述电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种模型效果检测方法，其特征在于，应用于数据源方，包括：

基于半同态加密算法生成公钥及私钥，并将所述公钥发送给模型方，以使所述模型方利用所述公钥对预测值队列进行加密以得到第一密文，所述预测值队列是由所述模型方针对一组测试数据计算得到的模型预测结果组成的队列；

利用所述公钥对标注值队列进行加密以得到第二密文，并将所述第二密文发送给所述模型方，以使所述模型方对所述第一密文和所述第二密文进行同态减运算，得到第三密文；

获取所述模型方发送的第三密文，并利用所述私钥对所述第三密文进行解密，根据解密结果确定所述模型方的模型效果。

2.根据权利要求1所述的方法，其特征在于，所述标注值队列是所述数据源方针对所述测试数据计算得到的模型预测结果组成的队列；或，

所述标注值队列是所述测试数据对应的真实结果组成的队列。

3.根据权利要求2所述的方法，其特征在于，若所述标注值队列是所述数据源方针对所述测试数据计算得到的模型预测结果组成的队列，所述根据解密结果确定所述模型方的模型效果包括：

根据解密得到的明文中0的占比率，确定所述模型方的模型效果和所述数据源方的模型效果之间的匹配度。

4.根据权利要求2所述的方法，其特征在于，若所述标注值队列是所述测试数据对应的真实结果组成的队列，所述根据解密结果确定所述模型方的模型效果包括：

根据解密得到的明文中0的占比率，确定所述模型方的模型预测结果的准确率。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述测试数据对应的真实结果与所述数据源方针对所述测试数据计算得到的模型预测结果之间的匹配度，确定所述数据源方的模型预测结果的准确率；

根据所述模型方的模型预测结果的准确率和所述数据源方的模型预测结果的准确率之间的大小关系，比较所述模型方的模型效果和所述数据源方的模型效果。

6.根据权利要求1所述的方法，其特征在于，所述模型方对所述第一密文和所述第二密文进行同态减运算的过程中，随机地采取第一密文减去第二密文，或第二密文减去第一密文的形式，其中，采取第一密文减去第二密文的形式的概率为二分之一。

7.根据权利要求1所述的方法，其特征在于，所述第三密文是基于将同态减运算的结果进行乱序处理而得到的。

8.一种模型效果检测装置，其特征在于，包括：

生成模块，用于基于半同态加密算法生成公钥及私钥，并将所述公钥发送给模型方，以使所述模型方利用所述公钥对预测值队列进行加密以得到第一密文，所述预测值队列是由所述模型方针对一组测试数据计算得到的模型预测结果组成的队列；

加密模块，用于利用所述公钥对标注值队列进行加密以得到第二密文，并将所述第二密文发送给所述模型方，以使所述模型方对所述第一密文和所述第二密文进行同态减运算，得到第三密文；

解密模块，用于获取所述模型方发送的第三密文，并利用所述私钥对所述第三密文进行解密，根据解密结果确定所述模型方的模型效果。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

10.一种计算机设备，其特征在于，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

Images