CN111538671B - 系统测试方法和装置 - Google Patents

Abstract

本申请提供了一种系统测试方法和装置，其中，该方法包括：获取样本数据集和目标计算逻辑；采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果；在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1；根据所述表征值和明文计算结果验证所述目标隐私计算系统计算结果的正确性。在本申请实施例中，将上述表征值与不考虑数据隐私性的明文计算结果比较以验证系统计算结果的正确性，并且可以利用对外通讯流量验证系统的安全性，从而可以有效提高对目标隐私计算系统进行测试的结果的可靠性。

Description

系统测试方法和装置

技术领域

本申请涉及数据处理技术领域，特别涉及一种系统测试方法和装置。

背景技术

人工智能技术是一种可以通过统计、机器学习算法等从海量数据中自动提取出反应数据内在规律的新技术，而海量的数据获取和管理是进行人工智能的前提基础。在现实中，完整、大量的数据通常是分布在多个机构或者各个个体的手中的，并且这些数据由于涉及商业利益、数据隐私性等因素，往往不可以直接的进行明文的分享、交互。安全多方计算(MPC)可以基于可靠的密码学理论为多参与方在多份数据上进行联合计算时保障各自数据不会泄露给其他人的同时计算得到所需要的结果。一种可行的方法是在基于TensorFlow机器学习框架，在多方共同处理计算逻辑图的过程中动态的对原来针对明文数据进行的操作算子(OP)替换为MPC下针对密文状态的数据处理的隐私化操作算子(MPC OP)，根据上述技术组合得到的系统一般称为基于MPC的隐私计算系统。

在基于MPC的隐私计算系统的实现和运行过程中，由于是多方参与、各方处理的数据都处于密文而非有语义、可理解的明文状态，所以需要对该系统的正确性、安全性进行理论上的分析以及实际有效、易用的验证方案。只有在对上述隐私计算系统的计算结果的正确性和计算过程的安全性进行验证之后，才能实际的将其可靠的部署到各参与方的线上系统中。

现有技术中已有一些针对分布式系统的自动化测试框架，例如：SOFAACTS、Robot框架等。但是由于使用了MPC技术的隐私计算系统中各个组件本地所能看到的都是本地的密文值，无法独立、自动的进行计算结果的正确性验证，更加无法在计算交互的全过程中对可能存在的数据泄露情况进行分析，从而使得现有技术中的针对分布式系统的自动化测试框架无法直接应用到基于MPC的隐私计算系统中去。

进一步的，当前处理类似问题使用的针对分布式系统的自动化安全验证技术主要验证的是系统中是否存在网络安全等方面的问题，而非针对数据本身可能存在的泄露风险进行自动化的测试验证，从而无法针对隐私计算系统本身的特性进行测试验证。并且上述针对分布式系统的自动化安全验证技术的框架所采用的测试技术主要是提供通用性的测试部署、数据模型生成、测试脚本辅助生成等功能，应用到基于MPC的隐私计算系统中需要大量改造。而一般通用型分布式系统的自动化测试技术即使被定制化改造后也只能针对基于MPC的隐私计算方案的最终结果进行复杂的比对(在计算机测试中，称这种测试方式为“黑盒测试”)，这种关注外部最终直接结果的测试方式存在覆盖全部可能的输入困难、难以定位问题模块等明显的缺陷。因此，采用现有技术中的技术方案无法可靠地针对隐私计算系统的正确性进行测试。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种系统测试方法和装置，以解决现有技术中无法可靠地针对隐私计算系统的正确性进行系统测试的问题。

本申请实施例提供了一种系统测试方法，用于对目标隐私计算系统进行测试，所述系统测试方法包括：获取样本数据集和目标计算逻辑；采集所述样本数据集在明文状态下根据所述目标计算逻辑计算得到的明文计算结果，其中，所述目标计算逻辑为所述目标隐私计算系统中使用的计算逻辑；在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，所述预设次数大于1；根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性。

在一个实施例中，在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数之后，还包括：监听目标对象的通讯端口，并确定所述目标对象在重复运行所述预设次数的过程中对外通讯流量的表征值，其中，所述目标对象为所述目标隐私计算系统在预设运行环境下的处理对象；对所述对外通讯流量的表征值进行概率分布分析以验证所述目标隐私计算系统计算过程的安全性。

在一个实施例中，确定所述目标对象在重复运行所述预设次数的过程中对外通讯流量的表征值，包括：采集所述目标对象在重复运行所述预设次数的过程中每次运行的对外通讯流量；对每次运行的对外通讯流量取平均值，得到对外通讯流量的流量平均值；将所述流量平均值作为所述对外通讯流量的表征值。

在一个实施例中，在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，包括：根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数，并采集所述目标隐私计算系统在重复运行所述预设次数的过程中每次运行得到的密文计算结果；利用安全多方计算算法将所述每次运行得到的密文计算结果分别恢复为明文计算结果，得到多个目标明文计算结果；对所述多个目标明文计算结果取平均值，得到所述目标明文计算的结果平均值；将所述结果平均值作为所述明文计算结果的表征值。

在一个实施例中，根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数，包括：对所述样本数据集进行随机切分得到多份密文输入数据；将所述多份密文输入数据和所述目标计算逻辑分别发送给所述目标隐私计算系统的多个参与方，并运行所述目标隐私计算系统；在所述目标隐私计算系统完成一次运行的情况下，采集所述目标隐私计算系统本次运行得到的密文计算结果；获取所述目标隐私计算系统当前运行总次数，并确定所述当前运行总次数是否等于所述预设次数；在确定所述当前运行总次数等于所述预设次数的情况下，结束对所述目标隐私计算系统的重复运行。

在一个实施例中，在确定所述当前运行总次数是否等于所述预设次数之后，还包括：在确定所述当前运行总次数小于所述预设次数的情况下，重新对所述样本数据集进行随机切分并根据重新随机切分得到的多份密文输入数据运行所述目标隐私计算系统。

在一个实施例中，根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性，包括：对所述表征值和所述明文计算结果进行误差分析，得到绝对误差值；在所述绝对误差值在预设范围内的情况下，确定所述目标隐私计算系统计算结果的正确性验证通过。

在一个实施例中，在根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性之后，还包括：针对所述目标隐私计算系统中的单个算子或者局部组合算子进行计算结果的正确性验证和计算过程的安全性验证。

本申请实施例还提供了一种系统测试装置，用于对目标隐私计算系统进行测试，所述系统测试装置包括：获取模块，用于获取样本数据集和目标计算逻辑；采集模块，用于采集所述样本数据集在明文状态下根据所述目标计算逻辑计算得到的明文计算结果，其中，所述目标计算逻辑为所述目标隐私计算系统中使用的计算逻辑；确定模块，用于在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，所述预设次数大于1；正确性验证模块，用于根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性。

在一个实施例中，还包括：单元验证模块，用于针对所述目标隐私计算系统中的单个算子或者局部组合算子进行计算结果的正确性验证和计算过程的安全性的验证。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述系统测试方法的步骤。

本申请实施例提供了一种系统测试方法和装置，可以通过获取样本数据集，采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果。并在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1。从而有效解决了目标隐私计算系统多方参与时数据处于密文状态下难以直接验证计算结果准确性的问题。进一步的，可以根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性。将上述表征值与不考虑数据隐私性的明文状态下明文计算结果进行比较以验证目标隐私计算系统计算结果的正确性，从而可以对目标隐私系统进行正确性验证，有效提高了对目标隐私计算系统测试的结果的可靠性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：

图1是根据本申请实施例提供的系统测试方法的步骤示意图；

图2是根据本申请实施例提供的系统测试装置的结构示意图；

图3是根据本申请具体实施例提供的系统测试方法的示意图；

图4是根据本申请实施例提供的系统测试设备的结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域的技术人员知道，本申请的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本申请公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

虽然下文描述流程包括以特定顺序出现的多个操作，但是应该清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。

所述系统测试可以是指自动化的在系统运行过程中通过采集相关数据验证系统运行结果的正确性以及系统运行过程中的安全性。上述系统测试可以用于对目标隐私计算系统进行测试，其中，上述目标隐私计算系统可以待测试的隐私计算系统，可以为基于原生TensorFlow机器学习框架，在多方共同处理计算逻辑图的过程中动态的对原来针对明文数据进行的操作算子(OP)替换为安全多方计算(Secure Multi-Party Computation，MPC)下针对密文状态的数据处理的隐私化操作算子(MPC OP)的系统，可以实现多方参与、各方处理的数据均都处于密文状态的隐私计算。其中，上述TensorFlow是谷歌研发的第二代人工智能学习系统，Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程，上述原生TensorFlow可以为谷歌发布的原始TensorFlow系统。

请参阅图1。本实施方式可以提供一种系统测试方法。该系统测试方法可以用于自动化地在系统运行过程中通过采集相关数据，并验证系统运行结果的正确性。上述系统测试方法可以用于对目标隐私计算系统进行测试。上述系统测试方法可以包括以下步骤。

S101：获取样本数据集和目标计算逻辑。

在本实施方式中，样本数据集可以为需要处理的数据集合。由于隐私计算系统为多方参与、各方处理的系统，因此，在一个实施例中，上述样本数据集中可以包括至少两个需要处理数据。其中，上述样本数据集可以是用户实时定义的、也可以是用户预先存储在计算机中预设位置处的，具体的可以根据实际情况确定，本申请对此不作限定。

在本实施方式中，上述目标计算逻辑可以用于表征对上述样本数据集计算的逻辑，可以采用图片、代码等方式来呈现。优选的可以采用计算逻辑图，其中，计算逻辑图可以是以特定的图形符号加上说明，由若干输入节点到一个输出节点的表示算法逻辑的图。

在本实施方式中，获取样本数据集的方式可以包括：接收用户向系统测试装置中输入的样本数据集，或者，可以按照预设路径查询得到。当然可以理解的是，还可以采用其它可能的方式获取上述样本数据集，例如，在网页中按照一定的查找条件搜索样本数据集，具体的可以根据实际情况确定，本申请对此不作限定。

在本实施方式中，上述样本数据集中可以为明文状态下的数据，明文可以是用自然语言描述的，用户可以直接读取识别的字符。

S102：采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果，其中，目标计算逻辑为目标隐私计算系统中使用的计算逻辑。

在本实施方式中，可以将不考虑数据隐私性的明文状态下计算的结果作为正确性验证依据，具体的，可以采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果，其中，此处使用的目标计算逻辑与在目标隐私计算系统中使用的计算逻辑是相同的，上述目标隐私计算系统可以为待测试的隐私计算系统。

由于目标隐私计算系统可以为基于原生TensorFlow机器学习框架，在多方共同处理目标计算逻辑的过程中动态的对原来针对明文数据进行的操作算子替换为安全多方计算下针对密文状态的数据处理的隐私化操作算子的系统，因此，上述目标隐私计算系统应用的人工智能学习框架可以为原生TensorFlow。为了使用于验证的数据更加准确、可靠，可以在原生TensorFlow的系统环境下将上述目标计算逻辑和样本数据集同时输入至原生TensorFlow中，在目标计算逻辑上对样本数据集进行明文状态计算，得到上述明文计算结果。

在一些实施例中，还可以基于其它机器学习框架构建目标隐私计算系统，例如，caffe、keras等，具体的可以根据实际情况确定，本申请对此不作限定。

在本实施方式中，采集明文计算结果的方式可以包括：直接在上述人工智能学习系统的输出端采集，或者，从上述人工智能学习系统存储计算结果的文件中采集明文计算结果。其中，上述明文计算结果可以为一个具体的数值，也可以为包括多个计算结果的集合。

S103：在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1。

为了验证计算结果的正确性，在本实施方式中，可以在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，采集目标隐私计算系统在重复运行预设次数后得到的多个密文计算结果，并且可以根据得到的多个密文计算结果确定对应的明文计算结果的表征值。

在本实施方式中，上述明文计算结果的表征值可以为能够代表多个密文计算结果对应多个明文计算结果的最优值。例如，可以为多个明文计算结果中出现频率最高的计算结果，或者，可以为最接近多个明文计算结果的平均值的计算结果，或者，可以为多个明文计算结果的平均值，具体的可以根据实际情况确定，本申请对此不作限定。

为了避免目标隐私计算系统运行一次得到的密文计算结果具有随机性和不确定性，在本实施方式中，可以采集目标隐私计算系统在运行预设次数后得到的多个密文计算结果，以提高用于验证的数据的准确性。其中，上述预设运行次数可以为大于1的正整数，优选的可以为100、120等，具体的运行次数可以根据实际情况确定，本申请对此不作限定。

在本实施方式中，上述目标隐私计算系统的初始状态可以为非运行状态，可以根据上述样本数据集运行目标隐私计算系统，即运行条件可以为：目标隐私计算系统的各个参与方均已接收到对应的密文输入数据。具体的，由于目标隐私计算系统有多个参与方，可以将样本数据集随机切分得到多份密文输入数据，并将得到的多份密文输入数据分别发送给目标隐私计算系统的多个参与方，从而运行目标隐私计算系统。

在本实施方式中，在对样本数据集进行随机切分时可以根据设定的目标隐私计算系统的参与方的个数(N)，在目前大整数范围内随机的生成N-1个大整数，并将最后一方的输入数据设为样本数据集减去这N-1个随机数的结果。上述N可以为大于1的正整数，例如：3、5、8等，具体的可以根据实际情况确定，本申请对此不作限定。

在本实施方式中，在上述样本数据集中为明文数据的情况下，可以对随机切分后得到的多份数据先进行加密，从而得到多份密文输入数据。目标隐私计算系统中的各个参与方均需要根据分发得到的密文输入数据和目标计算逻辑进行计算。

在本实施方式中，由于目标隐私计算系统有多个参与方，每个参与方均会计算得到一个密文计算结果，因此，在采集密文计算结果时在目标隐私计算系统运行完成一次后需要先按照各参与方之间的协议将各个参与方的密文计算结果合成得到一个最终的密文计算结果，上述各参与方之间的协议可以根据实际情况设计，本申请对此不作限定。

S104：根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性。

由于上述目标隐私计算系统在设计、开发完成后必须要确保在一定精度范围内的正确性才可以投入如实际使用，因此，在本实施方式中，在目标隐私计算系统在密文状态下的计算结果和不考虑数据隐私性的明文下计算的结果之间的误差符合标准的情况下，可以认为上述目标隐私计算系统的计算结果正确性验证通过。在一个实施例中，可根据上述表征值和明文计算结果验证目标隐私计算系统计算结果的正确性。

在一个实施方式中，根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性可以包括以下步骤。

S41：对表征值和明文计算结果进行误差分析，得到绝对误差值。

S42：在绝对误差值在预设范围内的情况下，确定目标隐私计算系统计算结果的正确性验证通过。

在本实施方式中，上述预设范围可以用于表征期望达到的误差精度，具体的可以为：

可以理解的是还可以取其它可能的任意数值，具体的可以根据实际情况确定，本申请对此不作限定。

如果上述绝对误差值不在预设范围内的情况下，则验证目标隐私计算系统当前的计算结果正确性存在问题。在一些实施例中，在确定目标隐私计算系统的计算结果正确性存在问题的情况下，可以生成目标隐私系统计算结果正确性不合格的测试报告，该测试报告中可以包括：结对误差值、分析得到的可能存在的问题等。

在一些实施例中，在明文状态下和在密文状态下均需要在用户预先定义的计算逻辑图上进行计算，计算逻辑图可以包括：不存在随机性算子、内部集成了随机性算子(例如：采用了TensorFlow中的随机梯度下降优化器)两种情况。对于计算逻辑图的两种不同情况可以分别采取不同的方式来验证目标隐私计算系统计算结果的正确性，即可以先确认计算逻辑图中是否存在随机性算子。

在确认不存在的情况下可以直接对表征值和明文计算结果进行误差分析，以验证目标隐私计算系统计算结果的正确性。在确定计算逻辑图内部集成了随机性算子的情况下，可以采用比较概率分布统计学的显著性来验证目标隐私计算系统计算结果的正确性。

在一个实施方式中，为了可靠地验证目标隐私计算系统计算过程的安全性，在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后可以还包括以下步骤。

S51：监听目标对象的通讯端口，并确定目标对象在重复运行预设次数的过程中对外通讯流量的表征值，其中，目标对象为目标隐私计算系统在预设运行环境下的处理对象。

S52：对对外通讯流量的表征值进行概率分布分析以验证目标隐私计算系统计算过程的安全性。

其中，上述对外通讯流量的表征值可以为能够代表多个对外通讯流量的最优值。例如，可以为多个对外通讯流量中出现频率最高的对外通讯流量，或者，可以为最接近多个对外通讯流量的平均值的对外通讯流量，或者，可以为多个对外通讯流量的平均值，具体的可以根据实际情况确定，本申请对此不作限定。

在本实施方式中，上述目标对象可以为目标隐私计算系统在预设运行环境下的处理对象。由于原生TensorFlow这一人工智能(深度学习)框架自身支持单机模拟和分布式两种运行环境，因此，在本实施方式中的系统测试方法也可以支持单机模拟验证和分布式多机验证两种方式。

而无论是在单机模拟场景还是在分布式运行环境下，都以目标对象为处理对象进行处理。例如，在单机模拟场景下，目标对象就是不同的操作系统进程组，对应的多个参与方就是多个进程，可以采集该进程组整体的对外通讯流量等信息，具体采集方法可以使用计算机虚拟化容器等标准技术；在分布式运行环境下，则可以直接的以单台物理计算机为目标对象进行各种数据的采集，对应的多个参与方就是单台物理计算机中不同用户操作的操作系统。

为了避免目标隐私计算系统运行一次得到的对外通讯流量具有随机性和不确定性，在本实施方式中，可以利用计算机流量捕获、抓包工具(比如Linux操作系统中的tcpdump工具)等监听目标对象的通讯端口并采集目标对象在重复运行预设次数的过程中每次运行的对外通讯流量，并根据每次运行的对外通讯流量确定对外通讯流量的表征值。

具体的，可以采集目标对象在运行预设次数的过程中每次的对外通讯流量，再对每次的对外通讯流量取平均值，得到对外通讯流量的流量平均值，并将流量平均值作为对外通讯流量的表征值。其中，上述预设运行次数可以为大于1的正整数，优选的可以为100、120等，具体的运行次数可以根据实际情况确定，本申请对此不作限定。

其中，上述对外通讯流量可以为目标对象在运行过程中全量的网络数据传输层(TCP层)数据。在一些实施例中，还可以采集目标对象对应的多个参与方每次通讯的上下文信息，例如：这是参与方A向参与方B进行的第几次数据传输、此次数据传输的消息ID等。

在本实施方式中，可以对对外通讯流量的流量平均值进行概率分布分析以验证目标隐私计算系统计算过程的安全性。由于在目标隐私计算系统中传输的数据理论上都是随机大整数，因此，可以通过对对外通讯流量的流量平均值进行概率分布分析，从而确定各个参与方之间发送和接收的数据是否近似于随机的、各个参与方之间的通讯流量的分布情况、在运行过程中多个参与方的通讯流量的整体分布情况等。在一些实施例中，可以通过比较进行概率分布分析得到均值、方差与均匀随机分布的差别，如果不存在显著的差别，则认为目标隐私计算系统可以保护数据隐私性，计算过程的安全性验证通过。

在本实施方式中，上述概率分布分析具体的可以采用统计学上较为标准的分布显著性检验方法，例如：T检验(Student's t test)方法。在一些实施例中，在进行安全性验证是还可以选择是进行全量的流量分析(分析结果更全面但是需要的时间较长)还是采样某几个特定上下文处的通讯数据进行分析，具体的可以根据实际情况进行选择，本申请对此不作限定。

在本实施方式中，在确定目标隐私计算系统的计算过程安全性存在问题的情况下，可以生成目标隐私系统计算过程安全性不合格的测试报告，该测试报告中可以包括：对外通讯流量、概率分布分析的结果、分析得到的可能存在的问题等。

在一个实施方式中，在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值可以包括以下步骤。

S31：根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数，并采集目标隐私计算系统在重复运行预设次数的过程中每次运行得到的密文计算结果。

S32：利用安全多方计算算法将每次运行得到的密文计算结果分别恢复为明文计算结果，得到多个目标明文计算结果。

S33：对多个目标明文计算结果取平均值，得到目标明文计算的结果平均值。

S34：将结果平均值作为明文计算结果的表征值。

在本实施方式中，采用计算逻辑图来体现目标计算逻辑时，由于计算逻辑图是由若干输入节点到一个输出节点的“图”，这个“逻辑图”可以看作是系统的输入，可以在计算逻辑图中有输出节点的地方，附上TensorFlow中的SaveV2算子，以使目标隐私计算系统的多个参与方可以将密文计算结果保存在一个固定的对应于上述目标对象的文件中。在检测到系统运行完成后，可以主动的从各参与方的文件中采集密文计算结果，并利用安全多方计算算法将每次运行得到的密文计算结果分别恢复为明文计算结果。

在本实施方式中，上述目标隐私计算系统的初始状态可以为非运行状态，可以根据样本数据集运行目标隐私计算系统，即运行条件可以为：目标隐私计算系统的各个参与方均已接收到对应的密文输入数据。具体的，由于目标隐私计算系统有多个参与方，可以将样本数据集随机切分得到多份密文输入数据，并将得到的多份密文输入数据分别发送给目标隐私计算系统的多个参与方，从而运行目标隐私计算系统。

在本实施方式中，可以在目标隐私计算系统完成一次运行的情况下，采集目标隐私计算系统本次运行得到的密文计算结果。进一步的，可以获取目标隐私计算系统当前运行总次数，并确定当前运行总次数是否等于预设次数。在确定当前运行总次数等于预设次数的情况下，结束对目标隐私计算系统的重复运行，得到目标隐私计算系统在运行预设次数的过程中每次运行得到的密文计算结果。在确定当前运行总次数小于预设次数的情况下，可以重新对样本数据集进行随机切分并根据重新随机切分得到的多份密文输入数据运行目标隐私计算系统，直至目标隐私计算系统运行次数达到上述预设次数。

在一个实施方式中，由于整体的通讯流量分布具有随机性并不能说明局部过程中的通讯中没有泄露隐私数据的可能性，因此，在根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性之后，还可以针对目标隐私计算系统中的单个算子或者局部组合算子进行计算结果的正确性验证和计算过程的安全性的验证，即可以自由的根据安全验证的需要对计算逻辑图中的逻辑子图进行系统测试。其中，当整体的计算逻辑中包含以下逻辑_：(a×b+c/d)/10的情况下_，单个算子或者局部算子组成的逻辑子图可以包括：a×b、c/d、a×b+c/d等。

在本实施方式中，对目标隐私计算系统中的单个算子或者局部组合算子进行测试的方式与对目标隐私计算系统中整体的测试的方式相似，具体的可以参照对目标隐私计算系统中整体的测试的方式，重复之处不再赘述。需要注意的是，由于是对单个算子或者局部组合算子进行测试，因此，在采集对外通讯流量时需要根据上述单个算子或者局部组合算子配置需要监听的具体对象。对应的，在采集明文计算结果和密文计算结果时也需要采集上述单个算子或者局部组合算子对应的计算结果。

从以上的描述中，可以看出，本申请实施例实现了如下技术效果：可以通过获取样本数据集，采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果。并在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1。从而有效解决了目标隐私计算系统多方参与时数据处于密文状态下难以直接验证计算结果准确性的问题。进一步的，可以根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性。将上述表征值与不考虑数据隐私性的明文状态下明文计算结果进行比较以验证目标隐私计算系统计算结果的正确性，从而可以对目标隐私系统进行正确性验证，有效提高了对目标隐私计算系统测试的结果的可靠性。

基于同一发明构思，本申请实施例中还提供了一种系统测试装置，用于对目标隐私计算系统进行测试，如下面的实施例。由于系统测试装置解决问题的原理与系统测试方法相似，因此系统测试装置的实施可以参见系统测试方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图2是本申请实施例的系统测试装置的一种结构框图，如图2所示，可以包括：获取模块201、采集模块202、确定模块203和正确性验证模块204，下面对该结构进行说明。

获取模块201，可以用于获取样本数据集和目标计算逻辑。

采集模块202，可以用于采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果，其中，目标计算逻辑为目标隐私计算系统中使用的计算逻辑。

确定模块203，可以用于在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1。

正确性验证模块204，可以用于根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性。

在一个实施例中，上述系统测试装置还可以包括：单元验证模块，可以用于针对目标隐私计算系统中的单个算子或者局部组合算子进行计算结果的正确性验证和计算过程的安全性的验证。

本申请说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，上述实施方式阐明的装置、模块或单元，具体可以由计算机芯片、实体或Python语言实现，或者由具有某种功能的产品来实现。为了描述的方便，在本说明书中，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

此外，在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。

从以上的描述中，可以看出，本申请实施例提供的系统测试装置，可以通过获取样本数据集，采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果。并在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1。从而有效解决了目标隐私计算系统多方参与时数据处于密文状态下难以直接验证计算结果准确性的问题。进一步的，可以根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性。将上述表征值与不考虑数据隐私性的明文状态下明文计算结果进行比较以验证目标隐私计算系统计算结果的正确性，从而可以对目标隐私系统进行正确性验证，有效提高了对目标隐私计算系统测试的结果的可靠性。

下面结合一个具体实施例对上述方法和装置进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

本申请实施提供了一种系统测试方法，如图3所示，可以包括：

步骤1：将用户定义的样本数据集和计算逻辑图输入原生TensorFlow系统中，并采集在明文状态下根据样本数据集在计算逻辑图上进行计算得到的明文计算结果。

步骤2：对样本数据集进行随机切分得到多份密文输入数据，并将多份密文输入数据分别发送给目标隐私计算系统的多个参与方(参与方A、参与方B、参与方C)。

步骤3：分别从参与方A、参与方B和参与方C的本地文件中采集目标隐私计算系统在重复运行100次的过程中每次运行得到的密文计算结果，利用安全多方计算算法将每次运行得到的密文计算结果分别恢复为明文计算结果，并确定运行100次得到的100个明文计算结果对应的结果平均值。

步骤4：根据上述结果平均值和明文计算结果进行分析以验证目标隐私计算系统计算结果的正确性。

具体的，可以对结果平均值和明文计算结果进行误差分析，得到绝对误差值。在绝对误差值在预设范围内的情况下，确定误差符合标准，输出目标隐私计算系统计算结果正确性“合格”的测试报告。在绝对误差值不在预设范围内的情况下，认为误差不符合标准，则输出目标隐私计算系统计算结果正确性“不合格”的测试报告。

步骤5：采集参与方A、参与方B和参与方C在目标隐私计算系统重复运行100过程中每次的对外通讯流量，再对每次的对外通讯流量取平均值，得到对外通讯流量的流量平均值

步骤6：对流量平均值进行概率分布分析以验证目标隐私计算系统计算过程的安全性。

在确定目标隐私计算系统计算过程的安全性符合标准的情况下，输出目标隐私计算系统计算过程的安全性“合格”的测试报告。在确定目标隐私计算系统计算过程的安全性不符合标准的情况下，输出目标隐私计算系统计算过程的安全性“不合格”的测试报告。

在本实施方式中，上述步骤3和步骤5可以顺序执行也可以并行执行，具体的可以根据实际情况确定，本申请对此不作限定。

本申请实施方式还提供了一种电子设备，具体可以参阅图4所示的基于本申请实施例提供的系统测试方法的电子设备组成结构示意图，电子设备具体可以包括输入设备41、处理器42、存储器43。其中，输入设备41具体可以用于输入样本数据集。处理器42具体可以用于获取样本数据集和目标计算逻辑；采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果，其中，目标计算逻辑为目标隐私计算系统中使用的计算逻辑；在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1；根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性。存储器43具体可以用于存储明文计算结果、多个密文计算结果和表征值等参数。

在本实施方式中，输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。输入设备还可以获取接收其他模块、单元、设备传输过来的数据。处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。存储器具体可以是现代信息技术中用于保存信息的记忆设备。存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。

在本实施方式中，该电子设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

本申请实施方式中还提供了一种基于系统测试方法的计算机存储介质，计算机存储介质存储有计算机程序指令，在计算机程序指令被执行时可以实现：获取样本数据集和目标计算逻辑；采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果，其中，目标计算逻辑为目标隐私计算系统中使用的计算逻辑；在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1；根据表征值和明文计算结果验证目标隐私计算系统计算结果的正确性。

在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。

在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。

虽然本申请提供了如上述实施例或流程图所述的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述的方法的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本申请的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种系统测试方法，其特征在于，用于对目标隐私计算系统进行测试，所述系统测试方法包括：

获取样本数据集和目标计算逻辑；

采集所述样本数据集在明文状态下根据所述目标计算逻辑计算得到的明文计算结果，其中，所述目标计算逻辑为所述目标隐私计算系统中使用的计算逻辑；

在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，所述预设次数大于1；

根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性。

2.根据权利要求1所述的方法，其特征在于，在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数之后，还包括：

监听目标对象的通讯端口，并确定所述目标对象在重复运行所述预设次数的过程中对外通讯流量的表征值，其中，所述目标对象为所述目标隐私计算系统在预设运行环境下的处理对象；

对所述对外通讯流量的表征值进行概率分布分析以验证所述目标隐私计算系统计算过程的安全性。

3.根据权利要求2所述的方法，其特征在于，确定所述目标对象在重复运行所述预设次数的过程中对外通讯流量的表征值，包括：

采集所述目标对象在重复运行所述预设次数的过程中每次运行的对外通讯流量；

对每次运行的对外通讯流量取平均值，得到对外通讯流量的流量平均值；

将所述流量平均值作为所述对外通讯流量的表征值。

4.根据权利要求1所述的方法，其特征在于，在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，包括：

根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数，并采集所述目标隐私计算系统在重复运行所述预设次数的过程中每次运行得到的密文计算结果；

利用安全多方计算算法将所述每次运行得到的密文计算结果分别恢复为明文计算结果，得到多个目标明文计算结果；

对所述多个目标明文计算结果取平均值，得到所述目标明文计算结果的结果平均值；

将所述结果平均值作为所述明文计算结果的表征值。

5.根据权利要求4所述的方法，其特征在于，根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数，包括：

对所述样本数据集进行随机切分得到多份密文输入数据；

将所述多份密文输入数据和所述目标计算逻辑分别发送给所述目标隐私计算系统的多个参与方，并运行所述目标隐私计算系统；

在所述目标隐私计算系统完成一次运行的情况下，采集所述目标隐私计算系统本次运行得到的密文计算结果；

获取所述目标隐私计算系统当前运行总次数，并确定所述当前运行总次数是否等于所述预设次数；

在确定所述当前运行总次数等于所述预设次数的情况下，结束对所述目标隐私计算系统的重复运行。

6.根据权利要求5所述的方法，其特征在于，在确定所述当前运行总次数是否等于所述预设次数之后，还包括：

在确定所述当前运行总次数小于所述预设次数的情况下，重新对所述样本数据集进行随机切分并根据重新随机切分得到的多份密文输入数据运行所述目标隐私计算系统。

7.根据权利要求1所述的方法，其特征在于，根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性，包括：

对所述表征值和所述明文计算结果进行误差分析，得到绝对误差值；

在所述绝对误差值在预设范围内的情况下，确定所述目标隐私计算系统计算结果的正确性验证通过。

8.根据权利要求1所述的方法，其特征在于，在根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性之后，还包括：针对所述目标隐私计算系统中的单个算子或者局部组合算子进行计算结果的正确性验证和计算过程的安全性验证。

9.一种系统测试装置，其特征在于，用于对目标隐私计算系统进行测试，所述系统测试装置包括：

获取模块，用于获取样本数据集和目标计算逻辑；

采集模块，用于采集所述样本数据集在明文状态下根据所述目标计算逻辑计算得到的明文计算结果，其中，所述目标计算逻辑为所述目标隐私计算系统中使用的计算逻辑；

确定模块，用于在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，所述预设次数大于1；

正确性验证模块，用于根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性。

10.根据权利要求9所述的装置，其特征在于，还包括：

单元验证模块，用于针对所述目标隐私计算系统中的单个算子或者局部组合算子进行计算结果的正确性验证和计算过程的安全性的验证。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至8中任一项所述方法的步骤。

Images