CN115982004A - 隐私保护算法的性能评估方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开一种隐私保护算法的性能评估方法、装置、电子设备及存储介质，方法包括：获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据；确定对多个隐私保护算法进行性能评估所采用的评估指标，并展示评估指标对应的多个计算单元；获取基于展示的多个计算单元为评估指标创建的目标评估流程；根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值；基于多个隐私保护算法在评估指标下的评估值，确定多个隐私保护算法的性能评估结果。本发明能够满足更多场景下对隐私保护算法进行性能评估的需求，提高了评估效率。

Description

隐私保护算法的性能评估方法、装置、设备及存储介质

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种隐私保护算法的性能评估方法、装置、电子设备及存储介质。

背景技术

大数据时代的来临，推动了企业的数字化转型，同时也给用户的隐私造成了巨大威胁。保护用户的隐私对企业来说非常重要，一旦发生用户隐私信息泄露，将直接威胁用户的财产及人身安全，并给企业带来难以估量的经济损失和声誉损害。

面对日渐频发的隐私泄露事件，研究人员在近些年来提出来大量的隐私保护算法。在众多隐私保护算法面前，想要选取合适的隐私保护算法对数据进行保护，就需要对隐私保护算法的性能进行评估，以衡量不同隐私保护算法对相同内容保护上的表现力。目前采用的对隐私保护算法的性能进行评估的方案，多是固定的，即评估指标、评估流程均固定，然而在不同应用场景下，对隐私保护算法的性能需求可能不同，目前的这种评估方式已无法满足实际应用需求。

发明内容

本发明实施例提供一种隐私保护算法的性能评估方法、装置、电子设备及存储介质，能够满足更多场景下对隐私保护算法进行性能评估的需求，提高了评估效率。

第一方面，本发明提供一种隐私保护算法的性能评估方法，包括：

获取原始数据，并获取利用多个隐私保护算法分别对所述原始数据进行隐私保护操作得到的多个目标数据；

确定对所述多个隐私保护算法进行性能评估所采用的评估指标，并展示所述评估指标对应的多个计算单元；

获取基于展示的所述多个计算单元为所述评估指标创建的目标评估流程；

根据所述原始数据和所述多个目标数据执行所述目标评估流程，得到所述多个隐私保护算法在所述评估指标下的评估值；

基于所述多个隐私保护算法在所述评估指标下的评估值，确定所述多个隐私保护算法的性能评估结果。

第二方面，本发明提供一种隐私保护算法的性能评估装置，包括：

数据获取模块，用于获取原始数据，并获取利用多个隐私保护算法分别对所述原始数据进行隐私保护操作得到的多个目标数据；

展示模块，用于确定对所述多个隐私保护算法进行性能评估所采用的评估指标，并展示所述评估指标对应的多个计算单元；

流程获取模块，用于获取基于展示的所述多个计算单元为所述评估指标创建的目标评估流程；

执行模块，用于根据所述原始数据和所述多个目标数据执行所述目标评估流程，得到所述多个隐私保护算法在所述评估指标下的评估值；

确定模块，用于基于所述多个隐私保护算法在所述评估指标下的评估值，确定所述多个隐私保护算法的性能评估结果。

第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的隐私保护算法的性能评估方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的隐私保护算法的性能评估方法。

本发明的方案中，可以获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据；确定对多个隐私保护算法进行性能评估所采用的评估指标，并展示评估指标对应的多个计算单元；获取基于展示的多个计算单元为评估指标创建的目标评估流程；根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值；基于多个隐私保护算法在评估指标下的评估值，确定多个隐私保护算法的性能评估结果。即本发明可以让用户参与评估指标的设置和评估流程的构建，由于用户可以更直观地了解所需的隐私保护算法的性能及实际中想要将隐私保护算法所应用的场景，因而，利用用户设置的评估指标以及创建的评估流程对隐私保护算法进行性能评估，将更贴合实际应用需求；另外，让用户参与隐私保护算法的性能评估的设计的实现方案，可扩展性强，节省了相关群体在算法评估对比上花费的时间和精力，提高了评估效率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明提供的隐私保护算法的性能评估方法的一个流程示意图；

图2是本发明提供的隐私保护算法的性能评估方法的另一流程示意图；

图3a是本发明提供的隐私保护算法的性能评估方法的一个数据获取示例图；

图3b是本发明提供的隐私保护算法的性能评估方法中计算单元的一个处理顺序示例图；

图3c是本发明提供的隐私保护算法的性能评估方法的一个目标评估流程示例图；

图3d是本发明提供的隐私保护算法的性能评估方法的一个流程到代码的转换过程图；

图4是本发明提供的隐私保护算法的性能评估装置的一个结构示意图；

图5是本发明提供的电子设备的一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本发明提供的隐私保护算法的性能评估方法的一个流程示意图，该方法可以由本发明提供的隐私保护算法的性能评估装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、服务器等。以下实施例将以该装置集成在电子设备中为例进行说明，参考图1，该方法具体可以包括如下步骤：

步骤101，获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据。

其中，原始数据为需要进行隐私保护的数据库中的数据，如涉及到客户隐私的银行数据，相关机构中群众的身份信息等；隐私保护算法为用系统的方法对敏感数据进行保护的策略机制，主要有联邦学习，同态加密，差分隐私和多方安全计算等技术。具体实现中，本发明先获取原始数据，再获取通过多种隐私保护算法对原始数据进行处理得到的多个目标数据。

步骤102，确定对多个隐私保护算法进行性能评估所采用的评估指标，并展示评估指标对应的多个计算单元。

其中，隐私保护算法的性能评估主要是从可用性和安全性两方面对隐私保护算法进行评估的；评估指标指的是对评估目标某一方面的具体规定，通过实际测量得出明确的结论，可以是现有的评估指标，如豪斯多夫距离，肯德尔系数和Jensen-Shannon散度等，也可以是根据用户需求新设定的能够达成评估效果的评估指标。计算单元指的是，在评估指标的计算过程中，根据计算特点将完整的指标计算过程拆分成的几大类计算单元。具体实现中，先从多个评估指标中根据用户的需求确定要选择的评估指标，并将该评估指标中的多个计算单元进行展示。

步骤103，获取基于展示的多个计算单元为评估指标创建的目标评估流程。

具体的，根据用户的隐私保护需求，确定评估指标及其需要的计算单元后，根据每一个计算单元的计算特点和配置信息，配置信息可以是计算单元自身的信息参数，如方法名、要执行的函数、输入输出数据类型和参数数量等，从而确定计算单元的执行顺序，排列各计算单元后得到为该评估指标创建的目标评估流程。

步骤104，根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值。

具体的，将原始数据与多个目标数据执行目标评估流程，其中每个目标数据都有其对应的隐私保护算法，在执行目标评估流程后，得到多个隐私保护算法在评估指标下的评估值，如豪斯多夫距离，肯德尔系数和Jensen-Shannon散度的值等。

步骤105，基于多个隐私保护算法在评估指标下的评估值，确定多个隐私保护算法的性能评估结果。

具体的，将多个隐私保护算法在评估指标下的评估值进行结合，如将各评估值求取平均值，求取方差，加权等，得到综合评估值。通过比较综合评估值的值大小，确定多个隐私保护算法的性能评估结果。

本发明的方案，获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据；确定对多个隐私保护算法进行性能评估所采用的评估指标，并展示评估指标对应的多个计算单元；获取基于展示的多个计算单元为评估指标创建的目标评估流程；根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值；基于多个隐私保护算法在评估指标下的评估值，确定多个隐私保护算法的性能评估结果。本发明能够满足更多场景下对隐私保护算法进行性能评估的需求，提高了评估效率。

图2是本发明提供的隐私保护算法的性能评估方法的另一流程示意图，如图2所示，该方法可以包括如下步骤：

步骤201，获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据。

具体的，本步骤的任务执行过程如图3a所示，先获取原始数据，再从隐私保护算法集合中分解出多个隐私保护算法任务，并提交给隐私保护算法执行引擎进行处理。每个隐私保护算法任务执行完毕后，都将得到经当次任务处理保护后的目标数据，这些目标数据作为隐私保护算法任务的结果也会被本发明获取。即以原始数据文件作为输入，执行隐私保护算法，输出目标数据文件并进行存储。

步骤202，从预设页面获取新建指标，并将新建指标确定为对多个隐私保护算法进行性能评估所采用的评估指标。

其中，评估指标可以是豪斯多夫距离，肯德尔系数和Jensen-Shannon散度等。

具体的，豪斯多夫距离指的是度量空间中真子集间的距离，被广泛用于测量两个数据集中点的相似性，能从空间上通过距离去衡量保护前后的两个数据集的偏移程度。该指标的数值越小，说明数据集在全局上的空间分布被相应的隐私保护机制保护的更好，从而数据可用性也就越好，计算公式如下所示：

H₁＝max{原始数据集中每个位置距离目标数据集的最近距离}

H₂＝max{目标数据集中每个位置距离原始数据集的最近距离}

H₃＝max{H₁，H₂}

从计算公式中可以看出，H₁和H₂是同样的操作，区别在于比较对象互换了位置，因此可以看成是同一个操作，即计算数据集A中的每个位置距离数据集B的最近距离，只不过输入参数不同。接着再进行集合操作，对所获取的两个集合求出其中的最大值，即为最终的结果值。

肯德尔系数是被用来测量多个随机变量相关程度的统计值。在隐私保护算法评估的应用中，可以作为衡量保护前后的两个数据集在其中任意两个点上的访问次数相对大小变化情况的判断，该指标的数值越大，说明相关程度越高，数据可用性也就保持得越好，计算公式如下所示：

其中保序表示为经过隐私保护前后的访问频率相对大小不发生变化，n表示样本个数。

Jensen-Shannon散度被用来评价隐私保护前后的访问频率变化，该指标的数值越大，说明相关程度越高，隐私保护性也就保持得越好,计算公式如下所示：

其中的

表示Kullback-Leibler散度，P＝{p₁,…p_n}和Q＝{q₁,…,q_n}分别表示隐私保护前后的访问频率分布。公式中两个KL可以看做是同样的操作，只是处理的对象存在区别。同时

为集合操作，代表求得P和Q两个集合中每个对应下标元素的平均值。在计算散度和肯德尔系数两种指标的过程中，为了尽量降低算法中不同实现细节带来的影响，要以基于聚类中心的访问分布作为统计对象，因此他们在真正计算前都要先聚类，显然这部分操作能够复用。

具体实现中，预设页面指的是预先设置的确定隐私保护算法的评估指标的页面，用户可以在预设页面自定义创建所需的指标(即新建指标)，可以将新建指标确定为对多个隐私保护算法进行性能评估所采用的评估指标，新建指标可以包括一个或多个指标。

步骤203，从预设页面获取从候选指标中选择的指标，将选择的指标确定为对多个隐私保护算法进行性能评估所采用的评估指标。

具体实现中，预设页面中包括几种常见的性能评估指标，根据用户需求从预设页面中选择已有指标，并将其确定为对多个隐私保护算法进行性能评估所采用的评估指标。

步骤204，确定评估指标对应的原始评估流程中的共性计算单元。

示例性的，评估指标的计算过程中，计算单元的普遍处理顺序如图3b所示，主要分为数据处理，单步计算，集合运算三部分。其中，在将多个评估指标按照其特点将该指标的计算过程拆分为多个计算单元时，会出现一部分相同的计算单元，确定的这一部分计算单元即为共性计算单元。

步骤205，展示共性计算单元。

步骤206，确定基于展示的共性计算单元创建的扩展计算单元。

具体的，确定展示的共性计算单元后，根据用户需求，对计算单元进行扩展，得到一部分扩展计算单元，使计算单元可以共同构成一个完整的评估指标计算过程。

步骤207，根据对共性计算单元和扩展计算单元分别对应的控件的操作确定单元执行顺序。

其中，共性计算单元和扩展计算单元分别具有对应的控件。具体的，用户可以利用共性计算单元和扩展计算单元分别对应的控件对这两类计算单元进行排序，可以根据排序确定各个计算单元的执行顺序。

步骤208，根据共性计算单元的执行配置信息、扩展计算单元的执行配置信息和单元执行顺序为评估指标创建目标评估流程。

其中，执行配置信息指的是计算单元自身的信息参数，如方法名、要执行的函数、输入输出数据类型和参数数量等。根据共性计算单元的执行配置信息、扩展计算单元的执行配置信息和单元执行顺序为评估指标创建目标评估流程。示例性的，以评估指标为豪斯多夫距离为例，豪斯多夫距离的目标评估流程可如图3c所示，该流程分为两部分同时进行，其中一部分为首先将获取的原始数据输入评估指标计算中，该计算过程读取原始数据文件，获取签到信息；将原始签到点输入列表中，再从签到信息中获取原始数据的经纬度坐标；然后将原始坐标输入到原始数据集中；接下来计算原始数据集中每个位置距离目标数据集的最近距离。另一部分为先将目标数据输入评估指标计算中，该计算过程读取目标数据文件，获取签到信息；将目标签到点输入列表中，再从签到信息中获取目标数据的经纬度坐标；然后将目标坐标输入到目标数据集中；接下来计算目标数据集中每个位置距离原始数据集的最近距离。最后，计算得到两个距离集合中的最大值，将其作为输出结果，得到豪斯多夫距离的值。

步骤209，根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值。

步骤210，根据多个隐私保护算法中每个隐私保护算法在多个评估指标下的评估值，确定每个隐私保护算法的综合评估值。

其中，评估指标可以包括多个，根据多个评估值确定每个隐私保护算法的综合评估值。示例性的，隐私保护算法中有算法1、算法2、算法3，分别对文件X进行保护，得到文件X1、文件X2和文件X3；同时有评估指标A、B、C，可以根据文件X和X1计算得到算法1在指标A、B、C下的值，根据文件X和X2计算计算得到算法2在指标A、B、C下的值，以及根据文件X和X3计算计算得到算法3在指标A、B、C下的值；将三个评估值相结合，分别得到算法1，2，3的综合评估值；结合方式可以是求取平均值，加权等。

步骤211，根据每个隐私保护算法的综合评估值确定多个隐私保护算法的性能评估结果。

具体的，根据综合评估值的计算方式确定综合评估值对性能评估结果的影响，进而确定隐私保护算法的性能评估结果，如豪斯多夫距离值越小，该算法的隐私保护性能就越好。

步骤212，展示每个隐私保护算法在多个评估指标下的评估值。

步骤213，展示每个隐私保护算法的综合评估值。

步骤214，展示多个隐私保护算法的性能评估结果。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本发明的方案，获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据；确定对多个隐私保护算法进行性能评估所采用的评估指标，并展示评估指标对应的多个计算单元；获取基于展示的多个计算单元为评估指标创建的目标评估流程；根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值；基于多个隐私保护算法在评估指标下的评估值，确定多个隐私保护算法的性能评估结果。本发明能够满足更多场景下对隐私保护算法进行性能评估的需求，提高了评估效率。

示例性的，图3d是本发明提供的隐私保护算法的性能评估方法的一个流程到代码的转换过程图，整个流程图的执行过程按照所绘制流程中连线的顺序从开始节点一直执行到结束节点为止，在执行当前节点所代表的代码块时，需保证以该节点为后继的所有前驱节点必须已经全部执行完毕。为了形象地反映出整个计算流程中各个计算单元之间的先后关系，该过程类比为一张有向图，并且具有只有一个节点的入度为0和一个节点的出度为0的特点，这样流程图的入口和出口能够唯一确定。其中除了图的入口节点以外，其他节点的执行均受到指向该节点连线的起始节点的约束。图中的顶点代表计算单元，有向边代表节点的先后执行关系和参数传递方向，只有当起点的计算执行完成之后，其终点的计算才能进行，同时前序节点执行完毕后所返回的结果将作为后序节点计算所需的某一个参数值。流程到代码的转换是动态的根据计算单元对应的方法名和传输的参数执行代码的过程，事先并不确定要初始化的对象，因而每个步骤节点对应函数的执行过程都要通过反射去执行。每个计算单元在执行前，都需要提前得知该计算单元所对应方法所获取的具体参数值，根据每个计算单元中输入参数的类型来传递。

图4是本发明提供的隐私保护算法的性能评估装置的一个结构示意图，该装置适用于执行本发明提供的隐私保护算法的性能评估方法。如图4所示，该装置具体可以包括：

数据获取模块401，用于获取原始数据，并获取利用多个隐私保护算法分别对所述原始数据进行隐私保护操作得到的多个目标数据；

展示模块402，用于确定对所述多个隐私保护算法进行性能评估所采用的评估指标，并展示所述评估指标对应的多个计算单元；

流程获取模块403，用于获取基于展示的所述多个计算单元为所述评估指标创建的目标评估流程；

执行模块404，用于根据所述原始数据和所述多个目标数据执行所述目标评估流程，得到所述多个隐私保护算法在所述评估指标下的评估值；

确定模块405，用于基于所述多个隐私保护算法在所述评估指标下的评估值，确定所述多个隐私保护算法的性能评估结果。

一实施例中，展示模块402具体用于：

从预设页面获取新建指标，并将所述新建指标确定为对所述多个隐私保护算法进行性能评估所采用的评估指标；或者

从所述预设页面获取从候选指标中选择的指标，将所述选择的指标确定为对所述多个隐私保护算法进行性能评估所采用的评估指标。

一实施例中，展示模块402具体用于：

确定所述评估指标对应的原始评估流程中的共性计算单元；

展示所述共性计算单元。

一实施例中，流程获取模块403具体用于：

确定基于展示的所述共性计算单元创建的扩展计算单元；

获取基于所述共性计算单元和所述扩展计算单元为所述评估指标创建的目标评估流程。

一实施例中，所述共性计算单元和所述扩展计算单元分别具有对应的控件，流程获取模块403具体用于：

根据对所述共性计算单元和所述扩展计算单元分别对应的控件的操作确定单元执行顺序；

根据所述共性计算单元的执行配置信息、所述扩展计算单元的执行配置信息和所述单元执行顺序为所述评估指标创建所述目标评估流程。

一实施例中，所述评估指标包括多个，确定模块405具体用于：

根据所述多个隐私保护算法中每个隐私保护算法在所述多个评估指标下的评估值，确定所述每个隐私保护算法的综合评估值；

根据所述每个隐私保护算法的综合评估值确定所述多个隐私保护算法的性能评估结果。

一实施例中，所述装置还包括：

评估值展示模块，用于展示所述每个隐私保护算法在所述多个评估指标下的评估值；

综合展示模块，用于展示所述每个隐私保护算法的综合评估值；

评估结果展示模块，用于展示所述多个隐私保护算法的性能评估结果。

本发明的装置，获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据；确定对多个隐私保护算法进行性能评估所采用的评估指标，并展示评估指标对应的多个计算单元；获取基于展示的多个计算单元为评估指标创建的目标评估流程；根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值；基于多个隐私保护算法在评估指标下的评估值，确定多个隐私保护算法的性能评估结果。本发明能够满足更多场景下对隐私保护算法进行性能评估的需求，提高了评估效率。

本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例提供的隐私保护算法的性能评估方法。

本发明还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述任一实施例提供的隐私保护算法的性能评估方法。

下面参考图5，其示出了适于用来实现本发明的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本发明的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有计算机系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、展示模块、流程获取模块、执行模块和确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据；确定对多个隐私保护算法进行性能评估所采用的评估指标，并展示评估指标对应的多个计算单元；获取基于展示的多个计算单元为评估指标创建的目标评估流程；根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值；基于多个隐私保护算法在评估指标下的评估值，确定多个隐私保护算法的性能评估结果。

根据本发明的技术方案，获取原始数据，并获取利用多个隐私保护算法分别对原始数据进行隐私保护操作得到的多个目标数据；确定对多个隐私保护算法进行性能评估所采用的评估指标，并展示评估指标对应的多个计算单元；获取基于展示的多个计算单元为评估指标创建的目标评估流程；根据原始数据和多个目标数据执行目标评估流程，得到多个隐私保护算法在评估指标下的评估值；基于多个隐私保护算法在评估指标下的评估值，确定多个隐私保护算法的性能评估结果。本发明能够满足更多场景下对隐私保护算法进行性能评估的需求，提高了评估效率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

本申请技术方案对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种隐私保护算法的性能评估方法，其特征在于，包括：

获取原始数据，并获取利用多个隐私保护算法分别对所述原始数据进行隐私保护操作得到的多个目标数据；

确定对所述多个隐私保护算法进行性能评估所采用的评估指标，并展示所述评估指标对应的多个计算单元；

获取基于展示的所述多个计算单元为所述评估指标创建的目标评估流程；

根据所述原始数据和所述多个目标数据执行所述目标评估流程，得到所述多个隐私保护算法在所述评估指标下的评估值；

基于所述多个隐私保护算法在所述评估指标下的评估值，确定所述多个隐私保护算法的性能评估结果。

2.根据权利要求1所述的方法，其特征在于，所述确定对所述多个隐私保护算法进行性能评估所采用的评估指标，包括：

从预设页面获取新建指标，并将所述新建指标确定为对所述多个隐私保护算法进行性能评估所采用的评估指标；或者

从所述预设页面获取从候选指标中选择的指标，将所述选择的指标确定为对所述多个隐私保护算法进行性能评估所采用的评估指标。

3.根据权利要求1所述的方法，其特征在于，所述展示所述评估指标对应的多个计算单元，包括：

确定所述评估指标对应的原始评估流程中的共性计算单元；

展示所述共性计算单元。

4.根据权利要求3所述的方法，其特征在于，所述获取基于展示的所述多个计算单元为所述评估指标创建的评估流程，包括：

确定基于展示的所述共性计算单元创建的扩展计算单元；

获取基于所述共性计算单元和所述扩展计算单元为所述评估指标创建的目标评估流程。

5.根据权利要求4所述的方法，其特征在于，所述共性计算单元和所述扩展计算单元分别具有对应的控件，所述获取基于所述共性计算单元和所述扩展计算单元为所述评估指标创建的目标评估流程，包括：

根据对所述共性计算单元和所述扩展计算单元分别对应的控件的操作确定单元执行顺序；

根据所述共性计算单元的执行配置信息、所述扩展计算单元的执行配置信息和所述单元执行顺序为所述评估指标创建所述目标评估流程。

6.根据权利要求1所述的方法，其特征在于，所述评估指标包括多个，所述基于所述多个隐私保护算法在所述评估指标下的评估值，确定所述多个隐私保护算法的性能评估结果，包括：

根据所述多个隐私保护算法中每个隐私保护算法在所述多个评估指标下的评估值，确定所述每个隐私保护算法的综合评估值；

根据所述每个隐私保护算法的综合评估值确定所述多个隐私保护算法的性能评估结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

展示所述每个隐私保护算法在所述多个评估指标下的评估值；和/或

展示所述每个隐私保护算法的综合评估值；和/或

展示所述多个隐私保护算法的性能评估结果。

8.一种隐私保护算法的性能评估装置，其特征在于，包括：

数据获取模块，用于获取原始数据，并获取利用多个隐私保护算法分别对所述原始数据进行隐私保护操作得到的多个目标数据；

展示模块，用于确定对所述多个隐私保护算法进行性能评估所采用的评估指标，并展示所述评估指标对应的多个计算单元；

流程获取模块，用于获取基于展示的所述多个计算单元为所述评估指标创建的目标评估流程；

执行模块，用于根据所述原始数据和所述多个目标数据执行所述目标评估流程，得到所述多个隐私保护算法在所述评估指标下的评估值；

确定模块，用于基于所述多个隐私保护算法在所述评估指标下的评估值，确定所述多个隐私保护算法的性能评估结果。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一所述的隐私保护算法的性能评估方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的隐私保护算法的性能评估方法。

Images