CN113159316A - 模型训练方法、进行预测业务的方法及装置 - Google Patents

模型训练方法、进行预测业务的方法及装置 Download PDF

Info

Publication number
CN113159316A
CN113159316A CN202110379664.3A CN202110379664A CN113159316A CN 113159316 A CN113159316 A CN 113159316A CN 202110379664 A CN202110379664 A CN 202110379664A CN 113159316 A CN113159316 A CN 113159316A
Authority
CN
China
Prior art keywords
matrix
execution environment
data
trusted
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110379664.3A
Other languages
English (en)
Other versions
CN113159316B (zh
Inventor
王莹桂
贾晓玮
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110379664.3A priority Critical patent/CN113159316B/zh
Publication of CN113159316A publication Critical patent/CN113159316A/zh
Application granted granted Critical
Publication of CN113159316B publication Critical patent/CN113159316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例中提供了一种基于隐私保护的模型训练方法、进行预测业务的方法及装置。模型训练方法用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，该业务预测模型包括第1至第n个网络层，该方法应用于包括可信执行环境和非可信执行环境的模型训练方，该方法包括：在可信执行环境中，通过增强卷积层对来自数据提供方并且对应于样本数据的变形数据执行预设可信计算，预设可信计算对变形数据进行预设处理以得到计算结果，该计算结果与利用第1个网络层对样本数据进行处理的结果等同；在非可信执行环境中，根据计算结果和样本数据对应的标签更新第2至第n个网络层的参数。

Description

模型训练方法、进行预测业务的方法及装置
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及模型训练方法、进行预测业务的方法及装置。
背景技术
通过包含若干样本数据的训练数据集训练得到业务预测模型后，可以利用该业务预测模型对业务数据进行处理以获得相应的预测结果。比如，可以利用业务预测模型预测医学影像、人脸图像或者音频等业务数据所属的分类；还可以利用业务预测模型预测业务对象在图像中的位置，其中该业务对象可以包括但不限于人物对象、车辆、人物对象的脸部或者眼部等等。
提供样本数据的数据提供方，可能不同于业务预测模型的模型训练方，而样本数据往往是对隐私性和安全性具有较高要求的私有数据，私有数据并不应当被直接暴露给模型训练方。
因此希望有一种新的技术方案，以期实现在训练业务预测模型的过程中，确保私有数据的安全性和隐私性。
发明内容
本说明书一个或多个实施例中提供了一种基于隐私保护的模型训练方法、进行预测业务的方法及装置。
第一方面，提供了一种基于隐私保护的模型训练方法，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述方法应用于模型训练方，所述模型训练方包括可信执行环境和非可信执行环境。所述方法包括：
在所述可信执行环境中，对于从数据提供方接收的样本数据对应的变形数据，通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同；
在所述非可信执行环境中，利用第2至第n个所述网络层对所述计算结果进行处理以得到处理结果，并根据所述处理结果和所述样本数据对应的标签，更新第2至第n个所述网络层的参数。
在一种可能的实施方式中，第1个所述网络层是卷积层，所述卷积层包括的若干卷积权重参数对应于卷积矩阵；所述预设可信计算具体利用混淆矩阵对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用所述卷积矩阵对所述样本数据进行所述预设处理的结果相等同。
在一种可能的实施方式中，所述变形数据通过变形矩阵与所述样本数据相乘得到，所述混淆矩阵基于所述变形矩阵的逆矩阵与所述卷积矩阵得到。
在一种可能的实施方式中，所述混淆矩阵基于所述变形矩阵的逆矩阵与拼接矩阵得到，所述拼接矩阵通过打乱所述卷积矩阵而得到。
在一种可能的实施方式中，所述卷积层包括若干卷积通道，所述卷积矩阵基于所述若干卷积通道对应的若干卷积子矩阵得到；所述拼接矩阵通过打乱所述若干卷积子矩阵的顺序得到。
在一种可能的实施方式中，还包括：在所述非可信执行环境中，向所述数据提供方发送所述卷积矩阵，使所述数据提供方根据所述变形矩阵的逆矩阵和所述卷积矩阵确定所述混淆矩阵；在所述可信执行环境中，从所述数据提供方接收所述混淆矩阵，根据所述混淆矩阵配置所述预设可信计算。
在一种可能的实施方式中，还包括：在所述非可信执行环境中，向所述数据提供方发送所述若干卷积权重参数，使所述数据提供方根据所述若干卷积权重参数确定所述卷积矩阵，并根据所述变形矩阵的逆矩阵和所述卷积矩阵确定所述混淆矩阵；以及，在所述可信执行环境中，从所述数据提供方接收所述混淆矩阵，根据所述混淆矩阵配置所述预设可信计算。
在一种可能的实施方式中，还包括：在所述可信执行环境中，从所述数据提供方或者可信第三方接收所述变形矩阵的逆矩阵；以及，在所述可信执行环境中，从所述非可信执行环境获取所述卷积矩阵，根据所述变形矩阵的逆矩阵和所述卷积矩阵确定所述混淆矩阵，并根据所述混淆矩阵配置所述预设可信计算。
在一种可能的实施方式中，还包括：在所述可信执行环境中，从所述数据提供方接收所述样本数据对应的标签，并将所述样本数据对应的标签发送到所述非可信执行环境；或者，在所述非可信执行环境中，从数据提供方接收所述样本数据对应的标签。
第二方面，提供了一种基于隐私保护的模型训练方法，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述方法应用于数据提供方。所述方法包括：获取样本数据对应的变形数据；向模型训练方包括的可信执行环境发送所述变形数据，使所述模型训练方在所述可信执行环境中通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同，所述计算结果用于在所述模型训练方包括的非可信执行环境中更新第2至第n个所述网络层的参数。
在一种可能的实施方式中，第1个所述网络层是卷积层，所述卷积层包括的若干卷积权重参数对应于卷积矩阵；所述预设可信计算具体利用混淆矩阵对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用所述卷积矩阵对所述样本数据进行所述预设处理的结果相等同。
在一种可能的实施方式中，所述变形数据通过变形矩阵与所述样本数据相乘得到，所述混淆矩阵基于所述变形矩阵的逆矩阵与所述卷积矩阵得到。
在一种可能的实施方式中，所述混淆矩阵基于所述变形矩阵的逆矩阵与拼接矩阵得到，所述拼接矩阵通过打乱所述卷积矩阵而得到。
在一种可能的实施方式中，所述卷积层包括若干卷积通道，所述卷积矩阵基于所述若干卷积通道对应的若干卷积子矩阵得到；所述拼接矩阵通过打乱所述若干卷积子矩阵的顺序得到。
在一种可能的实施方式中，还包括：从所述模型训练方包括的非可信执行环境，接收所述卷积矩阵；根据所述变形矩阵的逆矩阵和所述卷积矩阵，确定所述混淆矩阵；向模型训练方包括的可信执行环境发送所述混淆矩阵。
在一种可能的实施方式中，还包括：从所述模型训练方包括的非可信执行环境，接收所述若干卷积权重参数；确定所述若干权重参数对应的所述卷积矩阵；根据所述变形矩阵的逆矩阵和所述卷积矩阵，确定混淆矩阵；向模型训练方包括的可信执行环境发送所述混淆矩阵。
在一种可能的实施方式中，还包括：从可信第三方接收所述变形矩阵。
在一种可能的实施方式中，还包括：向模型训练方包括的可信执行环境或者非可信执行环境，发送所述样本数据对应的标签。
第三方面，提供了一种利用业务预测模型进行预测业务的方法，所述业务预测模型通过第一方面或第二方面中任一项所述的方法获得，所述业务预测模型包括作为第1个网络层的增强卷积层，以及第2至第n个网络层，所述方法应用于模型提供方，所述模型提供方包括可信执行环境和非可信执行环境，所述增强卷积层部署在所述可信执行环境中，第2至第n个所述网络层部署在所述非可信执行环境中。所述方法包括：对于从数据提供方接收的业务数据对应的变形数据，通过所述增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果；通过第2至第n个所述网络层对所述计算结果进行处理以得到预测结果。
第四方面，提供了一种基于隐私保护的模型训练装置，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述装置应用于模型训练方，所述模型训练方包括可信执行环境和非可信执行环境。所述装置包括：可信处理单元，其部署在所述可信执行环境中，配置为对于从数据提供方接收的样本数据对应的变形数据，通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同；非可信处理单元，其部署在所述非可信执行环境中，配置为利用第2至第n个所述网络层对所述计算结果进行处理以得到处理结果，并根据所述处理结果和所述样本数据对应的标签，更新第2至第n个所述网络层的参数。
第五方面，提供了一种基于隐私保护的模型训练装置，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述装置应用于数据提供方。所述装置包括：变形处理单元，配置为获取样本数据对应的变形数据；交互处理单元，配置为向模型训练方包括的可信执行环境发送所述变形数据，使所述模型训练方在所述可信执行环境中通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同，所述计算结果用于在所述模型训练方包括的非可信执行环境中更新第2至第n个所述网络层的参数。
第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算设备中执行时，计算设备执行前述的第一方面、第二方面或第三方面中任一项所述的方法。
第七方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现前述的第一方面、第二方面或第三方面中任一项所述的方法。
通过本说明书一个或多个实施例中提供的方法及装置，训练业务预测模型的过程中，通过部署在可信执行环境中的增强卷积层，对来自数据提供方的并且与样本数据对应的变形数据进行预设可信计算，确保样本数据不会被直接暴露给模型训练方，同时确保对变形数据执行预设可信计算的过程不会被直接暴露给模型训练方，避免入侵者通过特定的破解方法将将变形数据还原为样本数据。综上所述，本说明书实施例中提供的技术方案，有利于实现在训练业务预测模型的过程中，确保样本数据的安全性和隐私性。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书实施例中提供的技术方案的系统框架图；
图2为本说明书实施例中提供的一种基于隐私保护的模型训练方法的流程示意图；
图3为本说明书实施例中模型训练方包括的可信执行环境获得混淆矩阵的过程示意图之一；
图4为本说明书实施例中模型训练方包括的可信执行环境获得混淆矩阵的过程示意图之二；
图5为本说明书实施例中模型训练方包括的可信执行环境获得混淆矩阵的过程示意图之三；
图6为本说明书实施例中确定卷积通道对应的卷积子矩阵的示意图；
图7为本说明书实施例中提供的一种利用业务预测模型进行预测业务的流程示意图；
图8为本说明书实施例中提供的一种模型训练装置的示意图之一；
图9为本说明书实施例中提供的一种模型训练装置的示意图之二。
具体实施方式
下面结合附图，对本说明书所提供的各个非限制性实施例进行详细描述。
如前所述，数据提供方可能不同于模型训练方，其提供的样本数据是对隐私性和安全性具有较高要求的私有数据时，如果样本数据被直接暴露给模型训练方，则不符合相关隐私保护要求，甚至带来相应的安全风险。其中需要说明的是，数据提供方和模型训练方，可以各自实现为任何具有计算能力的计算设备、计算平台或设备集群。
为了确保样本数据的隐私性和安全性，本说明书实施例中至少提供了一种基于隐私保护的模型训练方法。请参考图1所示的系统框架，模型训练方包括可信执行环境(Trusted Execution Environment，TEE)和非可信执行环境。可以首先在模型训练方的非可信执行环境中，通过相应的公开数据进行预训练或者其它方式，获得经过预训练的业务预测模型，然后再利用数据提供方专有的样本数据对经过预训练的业务预测模型进行基于隐私保护的增强训练，其中经过预训练的业务预测模型包括第1至第n个网络层，其中第1个网络层可以是卷积层，该卷积层包括的若干卷积权重参数对应相应的卷积矩阵。
对经过预训练的业务预测模型进行基于隐私保护的增强训练时，可以首先在模型训练方包括的可信执行环境中，从数据提供方接收样本数据对应的变形数据，并通过增强卷积层执行预设可信计算，该预设可信计算对变形数据进行预设处理以得到计算结果，该计算结果与利用第1个网络层对样本数据进行处理的结果相等同；换而言之，增强卷积层对变形数据执行预设可信计算的效果，等同于第1个网络层对样本数据的处理效果。接着在模型训练方包括的非可信执行环境中，利用第2至第n个网络层对计算结果进行处理以得到处理结果，并根据该处理结果和样本数据对应的标签，更新第2至第n个网络层的参数。
训练业务预测模型的过程中，通过部署在可信执行环境中的增强卷积层，对来自数据提供方的并且与样本数据对应的变形数据进行预设可信计算，确保样本数据不会被直接暴露给模型训练方，同时确保对变形数据执行预设可信计算的过程不会被直接暴露给模型训练方，避免入侵者通过特定的破解方法将变形数据还原成样本数据。综上，本说明书实施例中提供的技术方案，有利于实现在训练业务预测模型的过程中，确保样本数据的安全性和隐私性。
前述的业务预测模型具体可以是针对图像的目标检测模型，或者是针对声音的对象检测模型；相应的，样本数据可以是图片信息或者声音信息。以样本数据是图片信息为例，作为第1个网络层的卷积层/增强卷积层可以用于实现对图片进行特征提取，第2至第n个网络层可以用于对卷积层/增强卷积层提取的特征进行进一步处理，例如通过其它卷积层进一步提取特征、通过全连接层进行线性变换，以及通过Relu非线性激活函数进行非线性变换等等。特别的，业务预测模型可以是人脸识别模型或者声纹识别模型，包含用户的人脸特征或者声纹特征的样本数据，是特别需要进行隐私保护的人脸特征。
需要说明的是，可信执行环境可以通过硬件结合软件的方式，实现为独立的可信计算单元；或者，可信计算环境可以通过软件的方式，实现为可信的内存区域(Enclave)，例如基于软件保护扩展(software guard extension，SGX)或信任域(Trust Zone)等技术实现可信的内存区域。
下面结合图1所示的系统框架，详细描述业务预测模型的训练过程。
图2为本说明书实施例中提供的一种基于隐私保护的模型训练方法的示意图。该方法是对经过预训练的业务预测模型进行增强训练，模型训练方可以在其包括的非可信执行环境中，通过相似于样本数据的公开数据进行预训练或者其它方式，获得经过预训练的业务预测模型。如前所述，经过预训练的业务预测模型包括网络层1至网络层n共n个网络层，第1个网络层/网络层1可以是卷积层，卷积层包括的若干卷积权重参数对应于相应的卷积矩阵。
图2所示的方法中，由数据提供方所执行的方法步骤，具体可以由部署在数据提供方的模型训练装置执行；在模型训练方包括的可信执行环境中实现的方法步骤，可以由部署在可信执行环境中的可信处理单元执行；在模型训练方包括的非可信执行环境中实现的方法步骤，可以由部署在非可信执行环境中的非可信处理单元执行。
如图2所示，该方法可以包括如下步骤201至步骤207。
步骤201，数据提供方获取样本数据对应的变形数据。
数据提供方可以获得用于训练业务预测模型的训练数据集，该训练数据集中可以包括若干样本数据以及其各自对应的标签。实际应用时，数据提供方可以获取训练数据集中包括的若干样本数据各自对应的变形数据。
变形数据可以根据变形矩阵对样本数据进行处理得到。例如通过行向量或列向量来表达样本数据，将用于表达样本数据的行向量或列向量与变形矩阵相乘，即可获得样本数据对应的变形数据。其中，通过包含m*n*p个元素的行向量来表达样本数据时，可以将该行向量左乘行列数均为m*n*p的变形矩阵，获得样本数据对应的变形数据；通过包含m*n*p个元素的列向量来表达该样本数据时，可以将列向量右乘行列数均为m*n*p的变形矩阵，获得样本数据对应的变形数据。
变形矩阵是可逆矩阵，可以由数据提供方设置，或者来自可信第三方。
步骤203，数据提供方向模型训练方包括的可信执行环境发送变形数据。
在一些实施例中，数据提供方还可以向模型训练方包括的可信执行环境发送样本数据对应的标签；或者，数据提供方还可以向模型训练方包括的非可信执行环境发送样本数据对应的标签。
步骤205，在模型训练方包括的可信执行环境中，通过增强卷积层执行预设可信计算。
预设可信计算对变形数据进行预设处理以得到计算结果，计算结果与利用网络层1对样本数据进行处理的结果相等同。其中，具体可以通过接收到变形数据的可信处理单元向增强卷积层输入变形数据，并且由可信处理单元接收增强卷积层输出的计算结果。此外，还可以由可信处理单元将计算结果写入非可信执行环境中的预设内存区域，以便非可信处理单元在后续过程中对计算结果进行使用。
在一个较为具体的示例中，网络层1可以是卷积层，卷积层包括的若干卷积权重参数对应于卷积矩阵；预设可信计算具体利用混淆矩阵对变形数据进行预设处理以得到计算结果，还计算结果与利用该卷积矩阵对样本数据进行预设处理的结果相等同。其中，可以通过多种实施方式，使模型训练方包括的可信执行环境获得用于进行预设可信计算的混淆矩阵。
在一种可能的实施方式中，可以通过如图3所示的方式，使模型训练方包括的可信执行环境获得用于进行预设可信计算的混淆矩阵。即对经过预训练的业务预测模型进行增强训练的方法，还可以包括如图3中所示的步骤2001至步骤2004。
步骤2001，在模型训练方包括的非可信执行环境中，确定卷积层包括的若干卷积权重参数对应的卷积矩阵。其中图3中利用网络层1表征该卷积层。
可以由部署在模型训练方的非可信执行环境中的非可信处理单元，确定卷积层包括的若干卷积权重参数对应的卷积矩阵，并将卷积矩阵存储于非可信执行环境中的预设内存区域，以便部署在可信执行环境中的可信处理单元从该预设内存区域获取卷积矩阵。
步骤2002，在模型训练方包括的可信执行环境中，从数据提供方或者可信第三方接收变形矩阵的逆矩阵。
如果变形矩阵由数据提供方设置，则变形矩阵的逆矩阵同样由数据提供方设置，步骤2002中具体可以是从模型训练方接收变形矩阵的逆矩阵。
如果变形矩阵由可信第三方设置，则变形矩阵的逆矩阵同样由可信第三方设置，步骤2002中具体可以是从可信第三方接收变形矩阵的逆矩阵。
步骤2003，在模型训练方包括的可信执行环境中，从模型训练方包括的非可信执行环境获取卷积矩阵。
如前所述，卷积矩阵可以存储于非可信执行环境中的预设内存区域。步骤2003中具体可以由部署在可信执行环境中的可信处理单元，从该预设内存区域中获取卷积矩阵。
步骤2004，在模型训练方包括的可信执行环境中，根据卷积矩阵和变形矩阵的逆矩阵确定混淆矩阵。
在一种可能的实施方式中，可以通过如图4所示的方式，使模型训练方包括的可信执行环境获得用于进行预设可信计算的混淆矩阵。即对经过预训练的业务预测模型进行增强训练的方法，还可以包括如图4中所示的步骤2005至步骤2008。
步骤2005，在模型训练方包括的非可信执行环境中，向数据提供方发送卷积层包括的若干卷积权重参数。其中图4中利用网络层1表征该卷积层。
步骤2006，数据提供方确定若干卷积权重参数对应的卷积矩阵。
步骤2007，数据提供方根据卷积矩阵和变形矩阵的逆矩阵确定混淆矩阵。
步骤2008，数据提供方将混淆矩阵发送到模型训练方的可信执行环境。
在一种可能的实施方式中，可以通过如图5所示的方式，使模型训练方的可信执行环境获得用于进行预设可信计算的混淆矩阵。即对经过预训练的业务预测模型进行增强训练的方法，还可以包括如图5中所示的步骤2009至步骤2012。
步骤2009，在模型训练方包括的非可信执行环境中，确定卷积层包括的若干卷积权重参数对应的卷积矩阵。其中图5中利用网络层1表征该卷积层。
步骤2010，在模型训练方包括的非可信执行环境中，向数据提供方发送卷积矩阵。
步骤2011，数据提供方根据变形矩阵的逆矩阵和卷积矩阵确定混淆矩阵。
如果变形矩阵由数据提供方设置，则变形矩阵的逆矩阵同样由数据提供方设置。如果变形矩阵来自可信第三方，即变形矩阵由可信第三方设置，则变形矩阵的逆矩阵由可信第三方设置；与之相应的，数据提供方还可以从可信第三方接收变形矩阵的逆矩阵。
步骤2012，数据提供方向模型训练方的可信执行环境发送混淆矩阵。
前述各种使模型训练方获得混淆矩阵的方式中，根据卷积矩阵和变形矩阵的逆矩阵确定混淆矩阵时：如果前述样本数据通过行向量表达，则将变形矩阵的逆矩阵左乘卷积矩阵以获得混淆矩阵；如果前述样本数据通过列向量表达，则将变形矩阵的逆矩阵右乘卷积矩阵以获得混淆矩阵。
前述各种使模型训练方获得混淆矩阵的方式中，可以通过相同的方法确定卷积层包括的若干卷积权重参数对应的卷积矩阵C。下面示例性描述确定卷积层包括的若干权重参数对应的卷积矩阵C的过程。
请参考图6，假设经过预训练的业务预测模型中，作为第1个网络层的卷积层包括k个卷积通道/卷积核，则该卷积层对公开数据或样本数据进行卷积运算时，可以对应的输出特征图1至k共k个特征图。继续假设单个卷积通道进行卷积运算的步长为1，单个卷积通道的规模为w*w*p，其中p表征样本数据/公开数据的输入通道的数量，w表征单个卷积通道中与单个输入通道相对应的权重矩阵的大小。则，该卷积层可以包括w*w*p*k个卷积权重参数，每个卷积通道各自对应w*w*p个卷积权重参数。
首先，对于单个卷积通道对应的w*w*p个卷积权重参数，可以根据进行卷积运算的步长1以及样本数据/公开数据的长度m、宽度n、输入通道p等信息，将该卷积通道对应的w*w*p个卷积权重参数，转换成行数为m*n*p并且列数为(m-w+1)*(n-w+1)*p的乘法矩阵，使通过该卷积通道对样本数据/公开数据进行卷积运算的结果，等同于该样本数据/公开数据与该乘法矩阵相乘的结果。其中单个卷积通道对应的乘法矩阵还可以被表述为该卷积通道对应的卷积子矩阵。
接着，将卷积层包括的k卷积通道各自对应的卷积子矩阵，拼接为卷积层包括的w*w*p*k个卷积权重参数对应的卷积矩阵C。例如，行数为m*n*p并且列数为(m-w+1)*(n-w+1)*p的k个卷积子矩阵，可以依次拼接形成行数为m*n*p并且列数为(m-w+1)*(n-w+1)*p*k的卷积矩阵C。
前述各种使模型训练方获得混淆矩阵P的方式中，当模型训练方的可信执行环境或者数据提供方成功获得卷积矩阵C后，还可以随机打乱卷积矩阵C以获得拼接矩阵shuffle(C)，例如打乱由k个卷积子矩阵拼接形成的卷积矩阵C中各卷积子矩阵的顺序。与之相应的，具体可以根据变形矩阵M的逆矩阵M-1和拼接矩阵shuffle(C)确定混淆矩阵P，例如将变形矩阵M的逆矩阵M-1与拼接矩阵相乘以获得混淆矩阵P。
前述各种使模型训练方获得混淆矩阵P的方式中，当模型训练方的可信执行环境或者数据提供方成功获得混淆矩阵P后，还可以随机打乱混淆矩阵P。例如，卷积矩阵由k个卷积子矩阵拼接形成，可以将混淆矩阵划分为列数相同的k个矩阵单元，然后随机打乱k个矩阵单元对应在混淆矩阵P中的位置。与之相应的，模型训练方包括的可信执行环境中，执行预设可信计算时所使用的混淆矩阵P，是经过随机打乱后的混淆矩阵P。
在一些实施例中，模型训练方的可信执行环境获得混淆矩阵后，还可以根据混淆矩阵配置预设可信计算，或者说是根据混淆矩阵配置增强卷积层。
需要说明的是，如果入侵者成功获知对变形数据进行预设可信计算的过程，即如果获得混淆矩阵P、卷积矩阵C和样本数据D对应的变形数据T，则可能通过混淆矩阵P破解样本数据D与变形数据T的转换关系，从而可能造成隐私数据被恶意窃取而带来相应的安全风险。
举例来说，可以首先判断卷积矩阵C的单个卷积子矩阵的满秩情况，即判断与卷积层包括的单个卷积通道相对应的卷积子矩阵的满秩情况。
如果卷积子矩阵为方阵并且满秩，则对每个卷积子矩阵求逆，获得相应的逆矩阵；如果卷积子矩阵行满秩但并非方阵，则对矩阵单元求其伪逆，获得相应的伪逆矩阵。接着，从混淆矩阵中任选两个矩阵单元，其中假设卷积层的通道数量是k，则可将混淆矩阵P划分为列数相同的k个矩阵单元。接着，将前面获得的逆矩阵或者伪逆矩阵依次右乘前面选择的两个矩阵单元，得到两个乘法结果。接着在两个乘法结果中找出相同的值或元素，乘法结果中由相同的值或元素所组成的矩阵即为变形矩阵M的逆矩阵M-1。变形矩阵M的逆矩阵M-1可以表征样本数据D与变形数据T＝D*M(样本数据D与变形矩阵M相乘的结果)之间的转换关系。
如果卷积子矩阵列满秩并且不是方阵，卷积子矩阵右乘其伪逆矩阵不能得到精确的单位矩阵，实际上会得到近似对角矩阵。卷积矩阵C的k个矩阵单元各自对应的近似对角矩阵中，对角元素基本相同，大部分非对角元素与对角元素差两个数量级以上，对其按照前述处理满秩方阵或者行满秩的方法进行处理，则并不能准确的得到变形矩阵M的逆矩阵M-1。此时可以采用如下方法获得变形矩阵M的逆矩阵M-1。
如果卷积子矩阵列满秩并且不是方阵，同样对卷积矩阵C的每个卷积子矩阵求其伪逆，获得相应的伪逆矩阵。接着，对于每个伪逆矩阵，从混淆矩阵中选择两个矩阵单元，伪逆矩阵依次右乘选出的两个矩阵单元，得到两个乘法结果，并且对前面获得的两个乘法结果求相关系数(差值)，记录下相关系数最小的卷积子矩阵和矩阵单元对(可以通过相应的索引来表征卷积子矩阵和矩阵单元对)；其中需要说明的是，从混淆矩阵P中选择两个矩阵单元时，存在k*(k-1)/2种组合情况，可以对k*(k-1)/2对矩阵单元执行前述记录相关系数最小的卷积子矩阵和矩阵单元对，获得单个伪逆矩阵对应的单个卷积子矩阵和矩阵单元对；这样，因存在64个伪逆矩阵，最终可以获得64个相关系数最小的卷积子矩阵和矩阵单元对，构成shuffle结果。最后，根据shuffle结果获得变形矩阵M的逆矩阵M-1。
举例来说，M-1大小为3468*3468，卷积矩阵C中每个矩阵单元的大小为3468*1024，共64个矩阵单元。假设M-1*shuffle(Ci)是混淆矩阵P中的第i个矩阵单元，Ci表征卷积矩阵的第i个卷积子矩阵，为了从M-1*shuffle(Ci)中求出M-1，需要从前述记录的各个卷积子矩阵和矩阵单元对中，选出n个(M-1*shuffle(Ci)，Ci)对组成满秩矩阵方程，其中n的选择要满足n个Ci组成的矩阵的秩等于3468；如果求得的shuffle结果正确，则shuffle(Ci)＝Ci，或者说是M-1*shuffle(Ci)正确对应Ci，进而通过寻找M-1*shuffle(Ci)和Ci的关系来求出M-1；与此同时，还可以另选n个(M-1*shuffle(Ci)，Ci)对用同样的方法求出M-1，相互校验M-1，如果两次计算结果相差非常小即说明求得的M-1正确；如果相差较大说明所选对中有不匹配的对，需要从64个(M-1*shuffle(Ci)，Ci)对中再选两次，重复上述计算过程，直到两次计算结果相差非常小时得到最终的M-1。
如果来自数据提供方发的变形数据T＝D*M被入侵者窃取，入侵者就可以通过其破解的M-1，对变形数据T＝D*M执行D*M*M-1操作获得样本数据D。
而在本说明书实施例中，在可信执行环境中限定对输入数据进行预设可信计算，该预设可信计算被限定为仅可以对输入数据按照特定的方式施加混淆矩阵。从以上描述可以看到，破解变形矩阵时所需要对变形数据执行的复杂处理，实质上完全不同于上述预设可信计算，并且可信执行环境中运算的数据对于其他方都是保密不可见的；因此，不管是模型训练方自身，还是其他入侵者，既不能直接获知上述混淆矩阵，也无法在可信执行环境中执行破解变形矩阵的逆矩阵的运算，进一步确保样本数据的安全性和隐私性。
举例来说，当通过行向量表达样本数据时，可信执行环境中限定允许进行的预设处理是矩阵A左乘矩阵B，相应的禁止进行矩阵A右乘矩阵B，其中矩阵A表征未赋值的变形数据，矩阵B表征未赋值的混淆矩阵；配置预设可信计算或者说配置增强卷积层时，可以将通过前述各种方式获得的混淆矩阵赋值给矩阵B；最后针对样本数据对应的变形数据执行预设可信计算时，可以将变形数据赋值给矩阵A，进而计算出计算结果。此种情况下，可信执行环境中禁止对矩阵B执行左乘，而破解变形矩阵的逆矩阵却需要对表征混淆矩阵的矩阵B执行左乘；因此，对于模型训练方自身或者其它入侵者，将会因无法对表征混淆矩阵的矩阵B执行左乘，无法破解变形矩阵的逆矩阵。
回到图2，在步骤207，在模型训练方包括的非可信执行环境中，利用第2至第n个网络层对计算结果进行处理以得到处理结果，并根据处理结果和样本数据对应的标签，更新第2至第n个网络层的参数。其中图2中利用网络层2至网络层n对应的表征第2至第n个网络层。
如前所述，可信执行环境中获得的计算结果，可以被写入非可信执行环境中的预设内存区域。相应的，具体可以由非可信处理单元从该预设内存区域中读取计算结果，基于读取的计算结果执行步骤207。
样本数据对应的标签可以由数据提供方直接发送到非可信处理单元。或者，样本数据对应的标签可以由可信处理单元转发到非可信处理单元；例如，由可信计算单元将样本数据对应的标签和计算结果，均写入非可信执行环境中的预设内存区域，由非可信计算单元从该预设内存区域读取样本数据对应的计算结果和标签。
基于步骤207多次对第2至第n个网络层的参数进行更新后，即可完成对经过业务预测模型的增强训练。完成增强训练的业务预测模型可以独立的进行预测业务，比如对业务数据进行处理并对应的输出预测结果。此处需要说明的是，完成增强训练的业务预测模型可以包括未更新参数的第1个网络层和更新参数后的第2至第n个网络层；或者，完成增强训练的业务预测模型可以包括增强卷积层和第2至第n个网络层；通过包括增强卷积层的业务预测模型进行预测业务时，同样的可以确保业务数据的安全性和隐私性。
在一些实施例中，模型训练方可以同时作为模型提供方，通过包含增强卷积层的业务预测模型进行预测业务，获得相应业务数据对应的预测结果。
在一些实施例中，可以将包含增强卷积层的业务预测模型对应的迁移到不同于模型训练方的模型提供方，通过迁移到模型提供方的业务预测模型进行预测业务。其中，模型提供方同样可以实现为任何具有计算能力的计算设备、计算平台或设备集群。
与之相应的，本说明书实施例中还提供了一种利用业务预测模型进行预测业务的方法，业务预测模型通过前述任意实施例中提供的模型训练方法得到，其包括作为第1个网络层的增强卷积层，以及第2至第n个网络层。该方法应用于包括可信执行环境和非可信执行环境的模型提供方，增强卷积层部署在可信执行环境中，第2至第n个网络层部署在非可信执行环境中。如图7所示，该方法包括：
步骤701，对于从数据提供方接收的业务数据对应的变形数据，通过增强卷积层执行预设可信计算。其中，数据提供方获得业务数据对应的变形数据的方法，相同于前述任意实施例中获得样本数据对应的变形数据的方法，例如将变形矩阵与业务数据相乘以获得业务数据对应的变形数据。
步骤703，通过第2至第n个网络层对计算结果进行处理以得到预测结果。其中，业务预测模型的第2至第n个网络层，即是经过增强训练的业务预测模型的第2至第n个网络层。
与前述对业务预测模型进行增强训练的方法相似，通过部署在可信执行环境中的增强卷积层，对来自数据提供方的并且与业务数据对应的变形数据进行处理，可以确保业务数据不会被直接暴露给模型训练方，有利于确保业务数据的安全性和隐私性。
与前述方法实施例基于相同的构思，本说明书实施例中还提供了一种基于隐私保护的模型训练装置，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述装置应用于模型训练方，所述模型训练方包括可信执行环境和非可信执行环境，使模型训练方可以执行前述各个方法实施例中由模型训练方所执行的方法步骤。如图8所示，所述装置包括：可信处理单元801，其部署在所述可信执行环境中，配置为对于从数据提供方接收的样本数据对应的变形数据，通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同；非可信处理单元803，其部署在所述非可信执行环境中，配置为利用第2至第n个所述网络层对所述计算结果进行处理以得到处理结果，并根据所述处理结果和所述样本数据对应的标签，更新第2至第n个所述网络层的参数。
与前述方法实施例基于相同的构思，本说明书实施例中还提供了一种基于隐私保护的模型训练装置，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述装置应用于数据提供方，使数据提供方可以执行前述各个方法实施例中由数据提供方所执行的方法步骤。如图9所示，所述装置包括：变形处理单元901，配置为获取样本数据对应的变形数据；交互处理单元903，配置为向模型训练方包括的可信执行环境发送所述变形数据，使所述模型训练方在所述可信执行环境中通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同，所述计算结果用于在所述模型训练方包括的非可信执行环境中更新第2至第n个所述网络层的参数。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能所对应的计算机程序存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令/代码进行传输，以便这些功能所对应的计算机程序被计算机执行时，通过计算机实现本说明书任意一个实施例中提供的由数据提供方、模型训练方或模型提供方所执行的方法。
本说明书实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算设备中执行时，计算设备执行本说明书任意一个实施例中提供的由数据提供方、模型训练方或者模型提供方所执行的方法。
本说明书实施例中还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书任意一个实施例中提供的由数据提供方、模型训练方或者模型提供方所执行的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例中相同、相似的部分互相参见即可，每个实施例中重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (23)

1.一种基于隐私保护的模型训练方法，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述方法应用于模型训练方，所述模型训练方包括可信执行环境和非可信执行环境，所述方法包括：
在所述可信执行环境中，对于从数据提供方接收的样本数据对应的变形数据，通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同；
在所述非可信执行环境中，利用第2至第n个所述网络层对所述计算结果进行处理以得到处理结果，并根据所述处理结果和所述样本数据对应的标签，更新第2至第n个所述网络层的参数。
2.根据权利要求1所述的方法，其中，第1个所述网络层是卷积层，所述卷积层包括的若干卷积权重参数对应于卷积矩阵；所述预设可信计算具体利用混淆矩阵对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用所述卷积矩阵对所述样本数据进行所述预设处理的结果相等同。
3.根据权利要求2所述的方法，其中，所述变形数据通过变形矩阵与所述样本数据相乘得到，所述混淆矩阵基于所述变形矩阵的逆矩阵与所述卷积矩阵得到。
4.根据权利要求3所述的方法，其中，所述混淆矩阵基于所述变形矩阵的逆矩阵与拼接矩阵得到，所述拼接矩阵通过打乱所述卷积矩阵而得到。
5.根据权利要求4所述的方法，其中，所述卷积层包括若干卷积通道，所述卷积矩阵基于所述若干卷积通道对应的若干卷积子矩阵得到；所述拼接矩阵通过打乱所述若干卷积子矩阵的顺序得到。
6.根据权利要求3所述的方法，其中，还包括：
在所述非可信执行环境中，向所述数据提供方发送所述卷积矩阵，使所述数据提供方根据所述变形矩阵的逆矩阵和所述卷积矩阵确定所述混淆矩阵；
在所述可信执行环境中，从所述数据提供方接收所述混淆矩阵，根据所述混淆矩阵配置所述预设可信计算。
7.根据权利要求3所述的方法，其中，还包括：
在所述非可信执行环境中，向所述数据提供方发送所述若干卷积权重参数，使所述数据提供方根据所述若干卷积权重参数确定所述卷积矩阵，并根据所述变形矩阵的逆矩阵和所述卷积矩阵确定所述混淆矩阵；以及，
在所述可信执行环境中，从所述数据提供方接收所述混淆矩阵，根据所述混淆矩阵配置所述预设可信计算。
8.根据权利要求3所述的方法，其中，还包括：
在所述可信执行环境中，从所述数据提供方或者可信第三方接收所述变形矩阵的逆矩阵；以及，
在所述可信执行环境中，从所述非可信执行环境获取所述卷积矩阵，根据所述变形矩阵的逆矩阵和所述卷积矩阵确定所述混淆矩阵，并根据所述混淆矩阵配置所述预设可信计算。
9.根据权利要求1至8中任一项所述的方法，其中，还包括：在所述可信执行环境中，从所述数据提供方接收所述样本数据对应的标签，并将所述样本数据对应的标签发送到所述非可信执行环境；或者，在所述非可信执行环境中，从数据提供方接收所述样本数据对应的标签。
10.一种基于隐私保护的模型训练方法，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述方法应用于数据提供方，所述方法包括：
获取样本数据对应的变形数据；
向模型训练方包括的可信执行环境发送所述变形数据，使所述模型训练方在所述可信执行环境中通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同，所述计算结果用于在所述模型训练方包括的非可信执行环境中更新第2至第n个所述网络层的参数。
11.根据权利要求10所述的方法，其中，第1个所述网络层是卷积层，所述卷积层包括的若干卷积权重参数对应于卷积矩阵；所述预设可信计算具体利用混淆矩阵对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用所述卷积矩阵对所述样本数据进行所述预设处理的结果相等同。
12.根据权利要求11所述的方法，其中，所述变形数据通过变形矩阵与所述样本数据相乘得到，所述混淆矩阵基于所述变形矩阵的逆矩阵与所述卷积矩阵得到。
13.根据权利要求12所述的方法，其中，所述混淆矩阵基于所述变形矩阵的逆矩阵与拼接矩阵得到，所述拼接矩阵通过打乱所述卷积矩阵而得到。
14.根据权利要求13所述的方法，其中，所述卷积层包括若干卷积通道，所述卷积矩阵基于所述若干卷积通道对应的若干卷积子矩阵得到；所述拼接矩阵通过打乱所述若干卷积子矩阵的顺序得到。
15.根据权利要求12所述的方法，其中，还包括：
从所述模型训练方包括的非可信执行环境，接收所述卷积矩阵；
根据所述变形矩阵的逆矩阵和所述卷积矩阵，确定所述混淆矩阵；
向模型训练方包括的可信执行环境发送所述混淆矩阵。
16.根据权利要求12所述的方法，其中，还包括：
从所述模型训练方包括的非可信执行环境，接收所述若干卷积权重参数；
确定所述若干权重参数对应的所述卷积矩阵；
根据所述变形矩阵的逆矩阵和所述卷积矩阵，确定混淆矩阵；
向模型训练方包括的可信执行环境发送所述混淆矩阵。
17.根据权利要求12所述的方法，其中，还包括：从可信第三方接收所述变形矩阵。
18.根据权利要求10至17中任一项所述的方法，其中，还包括：向模型训练方包括的可信执行环境或者非可信执行环境，发送所述样本数据对应的标签。
19.一种利用业务预测模型进行预测业务的方法，所述业务预测模型通过权利要求1至18中任一项所述的方法获得，所述业务预测模型包括作为第1个网络层的增强卷积层，以及第2至第n个网络层，所述方法应用于模型提供方，所述模型提供方包括可信执行环境和非可信执行环境，所述增强卷积层部署在所述可信执行环境中，第2至第n个所述网络层部署在所述非可信执行环境中，所述方法包括：
对于从数据提供方接收的业务数据对应的变形数据，通过所述增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果；
通过第2至第n个所述网络层对所述计算结果进行处理以得到预测结果。
20.一种基于隐私保护的模型训练装置，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述装置应用于模型训练方，所述模型训练方包括可信执行环境和非可信执行环境，所述装置包括：
可信处理单元，其部署在所述可信执行环境中，配置为对于从数据提供方接收的样本数据对应的变形数据，通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同；
非可信处理单元，其部署在所述非可信执行环境中，配置为利用第2至第n个所述网络层对所述计算结果进行处理以得到处理结果，并根据所述处理结果和所述样本数据对应的标签，更新第2至第n个所述网络层的参数。
21.一种基于隐私保护的模型训练装置，用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，所述业务预测模型包括第1至第n个网络层，所述装置应用于数据提供方，所述装置包括：
变形处理单元，配置为获取样本数据对应的变形数据；
交互处理单元，配置为向模型训练方包括的可信执行环境发送所述变形数据，使所述模型训练方在所述可信执行环境中通过增强卷积层执行预设可信计算，所述预设可信计算对所述变形数据进行预设处理以得到计算结果，所述计算结果与利用第1个所述网络层对所述样本数据进行处理的结果相等同，所述计算结果用于在所述模型训练方包括的非可信执行环境中更新第2至第n个所述网络层的参数。
22.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算设备中执行时，计算设备执行权利要求1-19中任一项所述的方法。
23.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-19中任一项所述的方法。
CN202110379664.3A 2021-04-08 2021-04-08 模型训练方法、进行预测业务的方法及装置 Active CN113159316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110379664.3A CN113159316B (zh) 2021-04-08 2021-04-08 模型训练方法、进行预测业务的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110379664.3A CN113159316B (zh) 2021-04-08 2021-04-08 模型训练方法、进行预测业务的方法及装置

Publications (2)

Publication Number Publication Date
CN113159316A true CN113159316A (zh) 2021-07-23
CN113159316B CN113159316B (zh) 2022-05-17

Family

ID=76889054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110379664.3A Active CN113159316B (zh) 2021-04-08 2021-04-08 模型训练方法、进行预测业务的方法及装置

Country Status (1)

Country Link
CN (1) CN113159316B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548255A (zh) * 2022-02-17 2022-05-27 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991462A (zh) * 2019-10-31 2020-04-10 福建师范大学 基于隐私保护cnn的密态图像识别方法及系统
CN111045829A (zh) * 2020-03-13 2020-04-21 支付宝(杭州)信息技术有限公司 业务预测模型的划分处理及预测方法和装置
CN111260053A (zh) * 2020-01-13 2020-06-09 支付宝(杭州)信息技术有限公司 使用可信执行环境来进行神经网络模型训练的方法和装置
CN112199702A (zh) * 2020-10-16 2021-01-08 鹏城实验室 一种基于联邦学习的隐私保护方法、存储介质及系统
CN112288757A (zh) * 2020-10-30 2021-01-29 中山大学 一种基于数据打包技术的加密域图像分割优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991462A (zh) * 2019-10-31 2020-04-10 福建师范大学 基于隐私保护cnn的密态图像识别方法及系统
CN111260053A (zh) * 2020-01-13 2020-06-09 支付宝(杭州)信息技术有限公司 使用可信执行环境来进行神经网络模型训练的方法和装置
CN111045829A (zh) * 2020-03-13 2020-04-21 支付宝(杭州)信息技术有限公司 业务预测模型的划分处理及预测方法和装置
CN112199702A (zh) * 2020-10-16 2021-01-08 鹏城实验室 一种基于联邦学习的隐私保护方法、存储介质及系统
CN112288757A (zh) * 2020-10-30 2021-01-29 中山大学 一种基于数据打包技术的加密域图像分割优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUANRR: "矩阵在信息加密中的应用(密码学)", 《HTTPS://BLOG.CSDN.NET/WEIXIN_43809290/ARTICLE/DETAILS/84636189》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548255A (zh) * 2022-02-17 2022-05-27 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备

Also Published As

Publication number Publication date
CN113159316B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN110490128B (zh) 一种基于加密神经网络的手写识别方法
Ghodsi et al. Safetynets: Verifiable execution of deep neural networks on an untrusted cloud
CN111784001B (zh) 一种模型训练方法、设备及计算机可读存储介质
EP3809301B1 (en) Privacy-preserving machine learning
US20170091620A1 (en) Scalable architecture for analog matrix operations with resistive devices
Georgieva et al. Ensuring social acceptability of technological tracking in the COVID-19 context
US11558403B2 (en) Quantum computing machine learning for security threats
CN112597540B (zh) 基于隐私保护的多重共线性检测方法、装置及系统
CN113033823B (zh) 一种模型训练方法、系统及装置
CN111131658B (zh) 图像隐写方法、装置、电子设备及介质
CN113159316B (zh) 模型训练方法、进行预测业务的方法及装置
JP7327482B2 (ja) 学習装置、予測装置、学習方法、予測方法、及びプログラム
CN113704372B (zh) 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN111582284A (zh) 用于图像识别的隐私保护方法、装置和电子设备
CN113254996B (zh) 图神经网络训练方法、装置、计算设备及存储介质
CN115409512A (zh) 异常信息检测方法、装置、计算机设备、存储介质
CN114510592A (zh) 图像分类方法、装置、电子设备及存储介质
CN117874825B (zh) 基于lu分解的用户隐私保护方法、装置、设备及介质
CN117454185B (zh) 联邦模型训练方法、装置、计算机设备和存储介质
US20220100847A1 (en) Neural Network Robustness through Obfuscation
CN113517983B (zh) 生成安全计算密钥、进行安全计算的方法及装置
KR102153923B1 (ko) 3차원 공간 상에 분포되어 있는 통신 노드들을 통해 아날로그 협력 빔포밍에 기반한 신호 전송 처리를 수행하는 무선 통신 제어 장치 및 그 동작 방법
US20220138527A1 (en) Process for processing data by an artificial neural network with grouped executions of individual operations to avoid side-channel attacks, and corresponding system
US20230325435A1 (en) Set of resonator networks for factorizing hypervectors
Kumar et al. Secure and Efficient Regression Analysis Outsourcing Algorithm for Cloud Server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant