CN117150516A - 模型训练方法、装置、计算机设备和存储介质 - Google Patents

模型训练方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117150516A
CN117150516A CN202310677425.5A CN202310677425A CN117150516A CN 117150516 A CN117150516 A CN 117150516A CN 202310677425 A CN202310677425 A CN 202310677425A CN 117150516 A CN117150516 A CN 117150516A
Authority
CN
China
Prior art keywords
training
model
data
data set
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310677425.5A
Other languages
English (en)
Inventor
葛琪超
林子涯
杜亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310677425.5A priority Critical patent/CN117150516A/zh
Publication of CN117150516A publication Critical patent/CN117150516A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及信息安全技术领域，特别是涉及一种模型训练方法、装置、计算机设备和存储介质。该方法包括：获取原始数据集；基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集；基于所述训练噪声数据集，对初始模型进行训练，得到目标模型；向终端下发所述目标模型，以供所述终端基于所述目标模型，对加噪后的待处理数据进行处理。本申请能够提高模型使用安全性。

Description

模型训练方法、装置、计算机设备和存储介质
技术领域
本申请涉及信息安全技术领域，特别是涉及一种模型训练方法、装置、计算机设备和存储介质。
背景技术
近年来，深度学习如同雨后春笋，在各个领域得到了广泛的应用，并创造了巨大的价值，也正因为此，不仅仅是数据的安全需要保障，模型的安全性也受到了质疑，模型是非常有价值的知识产权资产，例如，银行保险库的人脸识别模型、医疗公司的患者病历和诊病模型、银行内部的推荐模型或者客户发现的模型，这些模型一旦被攻击盗用，造成的损失可谓巨大。
传统技术中，缺乏对模型安全性保护，故，存在安全隐患，亟需改进。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高模型使用安全性的模型训练方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种模型训练方法，该方法包括：
获取原始数据集；
基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集；
基于所述训练噪声数据集，对初始模型进行训练，得到目标模型；
向终端下发所述目标模型，以供所述终端基于所述目标模型，对加噪后的待处理数据进行处理。
在其中一个实施例中，所述基于所述训练噪声数据集，对初始模型进行训练，得到目标模型，包括：
基于所述训练噪声数据集，对初始模型进行训练，直至经训练的初始模型精度达到目标精度时，将经训练的初始模型作为目标模型；
其中，所述目标精度是参考模型的精度，所述参考模型是基于所述原始数据集，对所述初始模型进行训练得到。
在其中一个实施例中，所述基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集，包括：
将所述原始数据集输入至对抗生成网络，得到所述对抗生成网络基于预设的噪声幅度，生成的训练噪声数据集。
在其中一个实施例中，所述方法还包括：
基于所述原始数据集和所述训练噪声数据集，对可逆模型进行训练；其中，所述训练完成的可逆模型用于对加噪后的待处理数据进行还原。
在其中一个实施例中，所述可逆模型包括压缩函数、拆分函数和流函数；所述基于所述原始数据集和所述训练噪声数据集，对可逆模型进行训练，包括：
针对于所述训练噪声数据集中的任一训练噪声数据，以及该训练噪声数据在所述原始数据集中的原始数据，基于所述压缩函数对该训练噪声数据和该原始数据进行压缩，得到压缩后的输入数据对；
基于所述拆分函数对压缩后的输入数据对进行拆分，得到通道维度数据对和特征维度数据对，并将所述通道维度数据对和所述特征维度数据对进行双向连接，得到双向连接后的输入数据对；
基于所述流函数中的原子层，对双向连接后的输入数据对进行前向计算，得到前向计算后的输入数据对；
基于所述流函数中的可逆卷积，对前向计算后的输入数据对之间的可逆关系进行解析，直至所述流函数中的损失函数达到预设精度，得到训练完成的可逆模型。
第二方面，本申请还提供了一种模型训练装置，该装置包括：
获取模块，用于获取原始数据集；
噪声生成模块，用于基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集；
模型训练模块，用于基于所述训练噪声数据集，对初始模型进行训练，得到目标模型；
部署模块，用于向终端下发所述目标模型，以供所述终端基于所述目标模型，对加噪后的待处理数据进行处理。
第三方面，本申请提供了一种模型使用方法，该方法包括：
获取服务器下发的加噪后的待处理数据；
将加噪后的待处理数据输入至目标模型中，得到所述待处理数据的处理结果；其中，所述目标模型是所述服务器采用训练加噪数据集，对初始模型进行训练得到。
在其中一个实施例中，述方法还包括：
向所述服务器发送数据还原请求，以指示所述服务器采用可逆模型对加噪后的待处理数据进行还原，并反馈；
获取所述服务器反馈的经还原的待处理数据。
第四方面，本申请提供了一种模型使用装置，该装置包括：
数据接收模块，用于获取服务器下发的加噪后的待处理数据；
模型使用模块，用于将加噪后的待处理数据输入至目标模型中，得到所述待处理数据的处理结果；其中，所述目标模型是所述服务器采用训练加噪数据集，对初始模型进行训练得到。
第五方面，本申请还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取原始数据集；
基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集；
基于所述训练噪声数据集，对初始模型进行训练，得到目标模型；
向终端下发所述目标模型，以供所述终端基于所述目标模型，对加噪后的待处理数据进行处理。
第六方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取原始数据集；
基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集；
基于所述训练噪声数据集，对初始模型进行训练，得到目标模型；
向终端下发所述目标模型，以供所述终端基于所述目标模型，对加噪后的待处理数据进行处理。
第七方面，本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取原始数据集；
基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集；
基于所述训练噪声数据集，对初始模型进行训练，得到目标模型；
向终端下发所述目标模型，以供所述终端基于所述目标模型，对加噪后的待处理数据进行处理。
第八方面，本申请还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取服务器下发的加噪后的待处理数据；
将加噪后的待处理数据输入至目标模型中，得到所述待处理数据的处理结果；其中，所述目标模型是所述服务器采用训练加噪数据集，对初始模型进行训练得到。
第九方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取服务器下发的加噪后的待处理数据；
将加噪后的待处理数据输入至目标模型中，得到所述待处理数据的处理结果；其中，所述目标模型是所述服务器采用训练加噪数据集，对初始模型进行训练得到。
第十方面，本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取服务器下发的加噪后的待处理数据；
将加噪后的待处理数据输入至目标模型中，得到所述待处理数据的处理结果；其中，所述目标模型是所述服务器采用训练加噪数据集，对初始模型进行训练得到。
上述模型训练方法、装置、计算机设备和存储介质，基于训练噪声数据集对初始模型进行训练，得到目标模型，该目标模型针对于对加噪后的数据进行识别，因此，当窃取方想要攻击目标模型或目标模型对应的待处理数据时，由于目标模型只能识别加噪后的数据，窃取方在没有获得加噪方式的情况下，无法正常使用该模型；进一步的，目标模型接收加噪后的待处理数据并进行处理、识别，使得窃取方无法在目标模型的部署处窃取有效的模型数据，故，相比于传统技术，本申请实现对模型数据以及模型自身安全的保护。
附图说明
图1为一个实施例中模型训练方法的应用环境图；
图2为一个实施例中模型训练方法的流程示意图；
图3为一个实施例中对可逆模型进行训练的流程示意图；
图4为一个实施例中使用目标模型的流程示意图；
图5为另一个实施例中模型训练方法的流程示意图；
图6为一个实施例中模型训练装置的结构框图；
图7为一个实施例中模型使用装置的结构框图；
图8为一个实施例中计算机设备的内部结构图；
图9为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
近年来，深度学习如同雨后春笋，在各个领域得到了广泛的应用，并创造了巨大的价值，也正因为此，不仅仅是数据的安全需要保障，模型的安全性也受到了质疑，模型是非常有价值的知识产权资产，例如，银行保险库的人脸识别模型、医疗公司的患者病历和诊病模型、银行内部的推荐模型或者客户发现的模型，这些模型一旦被攻击盗用，造成的损失可谓巨大。传统技术中，缺乏对模型数据以及模型自身的安全保护，故，存在安全隐患，亟需改进。
本申请实施例提供的模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104获取原始数据集；基于原始数据集和预设的噪声幅度，生成训练噪声数据集；基于训练噪声数据集，对初始模型进行训练，得到目标模型；向终端102下发目标模型，以供终端基于目标模型，对加噪后的待处理数据进行处理。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种模型训练方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S201，获取原始数据集。
其中，根据模型的功能，原始数据可以为图片、文字等形式的数据。例如，该模型为图片识别模型，则对应的原始数据可以图片。
具体的，去除原始数据中的脏数据、重复项，完成数据的清洗工作生成原始数据集。
S202，基于原始数据集和预设的噪声幅度，生成训练噪声数据集。
其中，图像噪声是指图像数据中由干扰因素所引起的信息。
具体的，可以通过加密、对抗生成等方式对原始噪声数据加入噪声幅度，生成训练噪声数据集，训练噪声数据集中的每个噪声数据与原始数据集中的每个原始数据一一对应。如上示例，以图片识别为例，相互对应的噪音数据和原始数据用人眼难以区分。
S203，基于训练噪声数据集，对初始模型进行训练，得到目标模型。
其中，基于训练噪声数据集，对初始模型进行训练，直至初始模型达到预设识别精度，即可得到目标模型，该目标模型的训练过程是在服务器104中完成的，该目标模型的使用过程是在上述终端102中完成的。
S204，向终端下发目标模型，以供终端基于目标模型，对加噪后的待处理数据进行处理。
具体的，向终端102下发该目标模型后，终端102部署该目标模型；可选的，使用方(认证方)上传待处理数据至服务器104，服务器104将该待处理数据进行加噪，并将加噪后的待处理数据下发至终端102，终端102对该加噪后的待处理数据进行识别或验证，得到待处理数据的处理结果。
上述模型训练方法中，基于训练噪声数据集对初始模型进行训练，得到目标模型，该目标模型针对于对加噪后的数据进行识别，因此，当窃取方想要攻击目标模型或目标模型对应的待处理数据时，由于目标模型只能识别加噪后的数据，窃取方在没有获得加噪方式的情况下，无法正常使用该模型；进一步的，目标模型接收加噪后的待处理数据并进行处理、识别，使得窃取方无法在目标模型的部署处(终端102)窃取有效的模型数据，故，相比于传统技术，本申请实现对模型数据以及模型自身安全的保护。
本实施例提供了一种基于原始数据集和预设的噪声幅度，生成训练噪声数据集的可选方式，即提供了一种对S202进行细化的方式。具体实现过程可以包括：将原始数据集输入至对抗生成网络，得到对抗生成网络基于预设的噪声幅度，生成的训练噪声数据集。
其中，本实施例中的对抗生成网络为基于I-FGSM(Iterative Fast GradientSign Method，I-FGSM)构建的玩过，I-FGSM是FGSM的改进版，原始将FGSM所有的像素进行了一次性变化。
具体的，I-FGSM如下式-式(1)所示：
其中，X是原始图片，α代表每次迭代图像像素更新的幅值。
迭代的含义：每次在上一步的对抗样本的基础上，各个像素增长(或者减少)α，然后再执行裁剪，保证新样本的各个像素都在的Xi,j的ε邻域内。这种迭代的方法是有可能在各个像素变化小于ε的情况下找到对抗样本的。
本实施例中，基于对抗生成的数据隐藏方法具有广泛的应用，比传统的密码学更具有安全性的优势，提高了加噪数据安全性。
本实施例提供了一种基于训练噪声数据集，对初始模型进行训练，得到目标模型的可选方式，即提供了一种对S203进行细化的方式。具体实现过程可以包括：基于训练噪声数据集，对初始模型进行训练，直至经训练的初始模型精度达到目标精度时，将经训练的初始模型作为目标模型。
其中，目标精度是参考模型的精度，参考模型是基于原始数据集，对初始模型进行训练得到。
具体的，参考模型可以部署在服务器104中，或者是通过服务器104下发至其他终端。
本实施例中，通过原始数据集训练得到参考模型，目的是确定参考模型所能达到的处理精度，进一步的，在训练目标模型时，使目标精度的精度与参考模型的精度一致，目的是使得加噪处理后的目标训练模型能够不会受到加噪的影响，达到与参考模型所能达到的处理精度，保证模型处理数据的有效性。
如图3所示，在一个实施例中，该模型训练方法所还包括：基于原始数据集和训练噪声数据集，对可逆模型进行训练。
其中，训练完成的可逆模型用于对加噪后的待处理数据进行还原。
具体的，可逆模型包括压缩函数、拆分函数和流函数；基于原始数据集和训练噪声数据集，对可逆模型进行训练，包括：
S301，针对于训练噪声数据集中的任一训练噪声数据，以及该训练噪声数据在原始数据集中的原始数据，基于压缩函数对该训练噪声数据和该原始数据进行压缩，得到压缩后的输入数据对。
其中，压缩函数相当于重塑函数，会把输入扩大或缩小为n倍。
S302，基于拆分函数对压缩后的输入数据对进行拆分，得到通道维度数据对和特征维度数据对，并将通道维度数据对和特征维度数据对进行双向连接，得到双向连接后的输入数据对。
具体的，可选的，拆分函数会将输入数据通过特征和通道维度拆分成分为A和B两部分，将A进入之后的层进入迭代，让其进行排列B进入损失函数，之后进行concat()操作将这些层连接起来，让A更新B，B更新A，然后让A再更新B，以此往复，这种双向信息流会让模型变得更加灵活，让模型学会对抗样本上面的噪声，可以降低计算成本，提高正则化能力。
S303，基于流函数中的原子层，对双向连接后的输入数据对进行前向计算，得到前向计算后的输入数据对。
流函数有又为原子层和1x1可逆卷积，分别在前向计算，求逆计算。损失函数的计算方法如下：其中W为随机矩阵，权重W＝m×n×c，C＝c×c，使用对数行列式计算，如下式-式(2)：
其中，Det(c)计算的是C矩阵的行列式；dcon2D(W；C)计算的是卷积层。
进一步的，原子层的前向函数，逆函数，损失函数分别为公式(3)、(4)、(5)：
m×n×sum(log|s|) (5)
其中，s表示原始样本的图片矩阵；m、n表示可逆网络的参数；b表示可逆网络的超参数；假设x是二维矩阵，那i，j表示的是行和列。
S304，基于流函数中的可逆卷积，对前向计算后的输入数据对之间的可逆关系进行解析，直至流函数中的损失函数达到预设精度，得到训练完成的可逆模型。
具体的，
可逆卷积层的三个函数为公式(6)、(7)、(5)：
m×n×sum(log|s|) (5)
可以理解的是，可逆模型可以配置在服务器104上，通过可逆模型可以学习到噪声数据集到原始数据集之间的映射关系。
本实施例中，通过可逆模型对加噪处理后的数据进行还原，得到原始数据，窃取方即便破解了目标模型以及目标模型对应的模型数据，在未窃取到可逆模型的前提下，也无法获取原始数据，原始数据对其他人不可见，达到了保护数据的功效。
在一个实施例中，如图4所示，提供了一种模型使用方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
S401，获取服务器下发的加噪后的待处理数据。
其中，待处理数据可以由使用方直接上传至服务器104，经服务器104对该待处理数据进行加噪。
S402，将加噪后的待处理数据输入至目标模型中，得到待处理数据的处理结果。
其中，目标模型是服务器采用训练加噪数据集，对初始模型进行训练得到。
在一个实施例中，该模型使用方法还包括：向服务器发送数据还原请求，以指示服务器采用可逆模型对加噪后的待处理数据进行还原，并反馈；获取服务器反馈的经还原的待处理数据。
具体的，目标模型在对待处理数据进行处理时，得到数据处理结果，若需要对数据处理结果进行进一步验证，终端102处对应的有相应管理权限的人员可以向服务器发送数据还原请求，以指示服务器采用可逆模型对加噪后的待处理数据进行还原，使得终端102处对也可以得到原始的数据。
示例性的，在上述实施例的基础上，本实施例提供了一种模型训练方法的可选实例。如图5所示，具体实现过程包括：
S501，获取原始数据集。
S502，将原始数据集输入至对抗生成网络，得到对抗生成网络基于预设的噪声幅度，生成的训练噪声数据集。
S503，基于训练噪声数据集，对初始模型进行训练，直至经训练的初始模型精度达到目标精度时，将经训练的初始模型作为目标模型。
S504，向终端下发目标模型，以供终端基于目标模型，对加噪后的待处理数据进行处理。
S505，基于原始数据集和训练噪声数据集，对可逆模型进行训练。
其中，训练完成的可逆模型用于对加噪后的待处理数据进行还原；
具体的，可逆模型包括压缩函数、拆分函数和流函数；基于原始数据集和训练噪声数据集，对可逆模型进行训练，包括：针对于训练噪声数据集中的任一训练噪声数据，以及该训练噪声数据在原始数据集中的原始数据，基于压缩函数对该训练噪声数据和该原始数据进行压缩，得到压缩后的输入数据对；基于拆分函数对压缩后的输入数据对进行拆分，得到通道维度数据对和特征维度数据对，并将通道维度数据对和特征维度数据对进行双向连接，得到双向连接后的输入数据对；基于流函数中的原子层，对双向连接后的输入数据对进行前向计算，得到前向计算后的输入数据对；基于流函数中的可逆卷积，对前向计算后的输入数据对之间的可逆关系进行解析，直至流函数中的损失函数达到预设精度，得到训练完成的可逆模型。
上述S501-S505的具体过程可以参见上述方法实施例的描述，其实现原理和技术效果类似，在此不再赘述。
本提案在进行身份认证时，基于训练完成的原始模型、对抗样本生成算法、可逆模型和目标模型进行数据的加密识别；采用噪声数据集训练目标模型，能够防止因为噪声相近而攻破模型，更注重信息的隐藏；待认证人员在进行身份认证时，将待认证的原始数据经过加密，生成对抗样本(基于I-FGSM生成的对抗样本)，避免原始数据在认证过程中被直接窃取；另外，即便原始模型和加噪对应的认证数据被窃取，窃取方也需要同时获得加噪和可逆网络才能破解原始数据，难度较大，提高了模型在使用过程中的安全性；另外原始模型和目标模型均达到相同精度，在保证安全性的同时，保证了身份认证的准确性。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的模型训练方法的模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个模型训练装置实施例中的具体限定可以参见上文中对于模型训练方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种模型训练装置1，包括：获取模块11、噪声生成模块12、模型训练模块13和部署模块14，其中：
获取模块11，用于获取原始数据集；
噪声生成模块12，用于基于原始数据集和预设的噪声幅度，生成训练噪声数据集；
模型训练模块13，用于基于训练噪声数据集，对初始模型进行训练，得到目标模型；
部署模块14，用于向终端下发目标模型，以供终端基于目标模型，对加噪后的待处理数据进行处理。
在一个实施例中，训练模块，还用于：基于训练噪声数据集，对初始模型进行训练，直至经训练的初始模型精度达到目标精度时，将经训练的初始模型作为目标模型；
其中，目标精度是参考模型的精度，参考模型是基于原始数据集，对初始模型进行训练得到。
在一个实施例中，噪声生成模块12，还用于：将原始数据集输入至对抗生成网络，得到对抗生成网络基于预设的噪声幅度，生成的训练噪声数据集。
在一个实施例中，该模型训练装置还包括还原模块，该还原模块用于：基于原始数据集和训练噪声数据集，对可逆模型进行训练；其中，训练完成的可逆模型用于对加噪后的待处理数据进行还原。
在一个实施例中，可逆模型包括压缩函数、拆分函数和流函数；该还原模块，还用于：
针对于训练噪声数据集中的任一训练噪声数据，以及该训练噪声数据在原始数据集中的原始数据，基于压缩函数对该训练噪声数据和该原始数据进行压缩，得到压缩后的输入数据对；
基于拆分函数对压缩后的输入数据对进行拆分，得到通道维度数据对和特征维度数据对，并将通道维度数据对和特征维度数据对进行双向连接，得到双向连接后的输入数据对；
基于流函数中的原子层，对双向连接后的输入数据对进行前向计算，得到前向计算后的输入数据对；
基于流函数中的可逆卷积，对前向计算后的输入数据对之间的可逆关系进行解析，直至流函数中的损失函数达到预设精度，得到训练完成的可逆模型。
上述模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型训练方法的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型训练方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的模型训练方法的模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个模型训练装置实施例中的具体限定可以参见上文中对于模型训练方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种模型使用装置2，包括：数据接收模块21和模型使用模块22，其中：
数据接收模块21，用于获取服务器下发的加噪后的待处理数据；
模型使用模块22，用于将加噪后的待处理数据输入至目标模型中，得到待处理数据的处理结果；其中，目标模型是服务器采用训练加噪数据集，对初始模型进行训练得到。
在一个实施例中，该装置还包括请求模块，用于：向服务器发送数据还原请求，以指示服务器采用可逆模型对加噪后的待处理数据进行还原，并反馈；
获取服务器反馈的经还原的待处理数据。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种模型使用方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取原始数据集；
基于原始数据集和预设的噪声幅度，生成训练噪声数据集；
基于训练噪声数据集，对初始模型进行训练，得到目标模型；
向终端下发目标模型，以供终端基于目标模型，对加噪后的待处理数据进行处理。
在一个实施例中，处理器执行计算机程序基于训练噪声数据集，对初始模型进行训练，得到目标模型的逻辑时，具体实现以下步骤：基于训练噪声数据集，对初始模型进行训练，直至经训练的初始模型精度达到目标精度时，将经训练的初始模型作为目标模型；其中，目标精度是参考模型的精度，参考模型是基于原始数据集，对初始模型进行训练得到。
在一个实施例中，处理器执行计算机程序基于原始数据集和预设的噪声幅度，生成训练噪声数据集的逻辑时，具体实现以下步骤：将原始数据集输入至对抗生成网络，得到对抗生成网络基于预设的噪声幅度，生成的训练噪声数据集。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于原始数据集和训练噪声数据集，对可逆模型进行训练；其中，训练完成的可逆模型用于对加噪后的待处理数据进行还原。
在一个实施例中，可逆模型包括压缩函数、拆分函数和流函数，处理器执行计算机程序基于原始数据集和训练噪声数据集，对可逆模型进行训练的逻辑时，具体实现以下步骤：针对于训练噪声数据集中的任一训练噪声数据，以及该训练噪声数据在原始数据集中的原始数据，基于压缩函数对该训练噪声数据和该原始数据进行压缩，得到压缩后的输入数据对；基于拆分函数对压缩后的输入数据对进行拆分，得到通道维度数据对和特征维度数据对，并将通道维度数据对和特征维度数据对进行双向连接，得到双向连接后的输入数据对；基于流函数中的原子层，对双向连接后的输入数据对进行前向计算，得到前向计算后的输入数据对；基于流函数中的可逆卷积，对前向计算后的输入数据对之间的可逆关系进行解析，直至流函数中的损失函数达到预设精度，得到训练完成的可逆模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取原始数据集；
基于原始数据集和预设的噪声幅度，生成训练噪声数据集；
基于训练噪声数据集，对初始模型进行训练，得到目标模型；
向终端下发目标模型，以供终端基于目标模型，对加噪后的待处理数据进行处理。
在一个实施例中，计算机程序基于训练噪声数据集，对初始模型进行训练，得到目标模型的逻辑被处理器执行时，具体实现以下步骤：基于训练噪声数据集，对初始模型进行训练，直至经训练的初始模型精度达到目标精度时，将经训练的初始模型作为目标模型；其中，目标精度是参考模型的精度，参考模型是基于原始数据集，对初始模型进行训练得到。
在一个实施例中，计算机程序基于原始数据集和预设的噪声幅度，生成训练噪声数据集的逻辑被处理器执行时，具体实现以下步骤：将原始数据集输入至对抗生成网络，得到对抗生成网络基于预设的噪声幅度，生成的训练噪声数据集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于原始数据集和训练噪声数据集，对可逆模型进行训练；其中，训练完成的可逆模型用于对加噪后的待处理数据进行还原。
在一个实施例中，可逆模型包括压缩函数、拆分函数和流函数；计算机程序基于原始数据集和训练噪声数据集，对可逆模型进行训练的逻辑被处理器执行时，具体实现以下步骤：针对于训练噪声数据集中的任一训练噪声数据，以及该训练噪声数据在原始数据集中的原始数据，基于压缩函数对该训练噪声数据和该原始数据进行压缩，得到压缩后的输入数据对；基于拆分函数对压缩后的输入数据对进行拆分，得到通道维度数据对和特征维度数据对，并将通道维度数据对和特征维度数据对进行双向连接，得到双向连接后的输入数据对；基于流函数中的原子层，对双向连接后的输入数据对进行前向计算，得到前向计算后的输入数据对；基于流函数中的可逆卷积，对前向计算后的输入数据对之间的可逆关系进行解析，直至流函数中的损失函数达到预设精度，得到训练完成的可逆模型。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取原始数据集；
基于原始数据集和预设的噪声幅度，生成训练噪声数据集；
基于训练噪声数据集，对初始模型进行训练，得到目标模型；
向终端下发目标模型，以供终端基于目标模型，对加噪后的待处理数据进行处理。
在一个实施例中，计算机程序基于训练噪声数据集，对初始模型进行训练，得到目标模型的逻辑被处理器执行时，具体实现以下步骤：基于训练噪声数据集，对初始模型进行训练，直至经训练的初始模型精度达到目标精度时，将经训练的初始模型作为目标模型；其中，目标精度是参考模型的精度，参考模型是基于原始数据集，对初始模型进行训练得到。
在一个实施例中，计算机程序基于原始数据集和预设的噪声幅度，生成训练噪声数据集的逻辑被处理器执行时，具体实现以下步骤：将原始数据集输入至对抗生成网络，得到对抗生成网络基于预设的噪声幅度，生成的训练噪声数据集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于原始数据集和训练噪声数据集，对可逆模型进行训练；其中，训练完成的可逆模型用于对加噪后的待处理数据进行还原。
在一个实施例中，可逆模型包括压缩函数、拆分函数和流函数；计算机程序基于原始数据集和训练噪声数据集，对可逆模型进行训练的逻辑被处理器执行时，具体实现以下步骤：针对于训练噪声数据集中的任一训练噪声数据，以及该训练噪声数据在原始数据集中的原始数据，基于压缩函数对该训练噪声数据和该原始数据进行压缩，得到压缩后的输入数据对；基于拆分函数对压缩后的输入数据对进行拆分，得到通道维度数据对和特征维度数据对，并将通道维度数据对和特征维度数据对进行双向连接，得到双向连接后的输入数据对；基于流函数中的原子层，对双向连接后的输入数据对进行前向计算，得到前向计算后的输入数据对；基于流函数中的可逆卷积，对前向计算后的输入数据对之间的可逆关系进行解析，直至流函数中的损失函数达到预设精度，得到训练完成的可逆模型。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取服务器下发的加噪后的待处理数据；
将加噪后的待处理数据输入至目标模型中，得到待处理数据的处理结果；其中，目标模型是服务器采用训练加噪数据集，对初始模型进行训练得到。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：向服务器发送数据还原请求，以指示服务器采用可逆模型对加噪后的待处理数据进行还原，并反馈；获取服务器反馈的经还原的待处理数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取服务器下发的加噪后的待处理数据；
将加噪后的待处理数据输入至目标模型中，得到待处理数据的处理结果；其中，目标模型是服务器采用训练加噪数据集，对初始模型进行训练得到。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：向服务器发送数据还原请求，以指示服务器采用可逆模型对加噪后的待处理数据进行还原，并反馈；获取服务器反馈的经还原的待处理数据。
在一个实施例中，提供了一种计算机程序产品，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取服务器下发的加噪后的待处理数据；
将加噪后的待处理数据输入至目标模型中，得到待处理数据的处理结果；其中，目标模型是服务器采用训练加噪数据集，对初始模型进行训练得到。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：向服务器发送数据还原请求，以指示服务器采用可逆模型对加噪后的待处理数据进行还原，并反馈；获取服务器反馈的经还原的待处理数据。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种模型训练方法，其特征在于，所述方法包括：
获取原始数据集；
基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集；
基于所述训练噪声数据集，对初始模型进行训练，得到目标模型；
向终端下发所述目标模型，以供所述终端基于所述目标模型，对加噪后的待处理数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述训练噪声数据集，对初始模型进行训练，得到目标模型，包括：
基于所述训练噪声数据集，对初始模型进行训练，直至经训练的初始模型精度达到目标精度时，将经训练的初始模型作为目标模型；
其中，所述目标精度是参考模型的精度，所述参考模型是基于所述原始数据集，对所述初始模型进行训练得到。
3.根据权利要求1所述的方法，其特征在于，所述基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集，包括：
将所述原始数据集输入至对抗生成网络，得到所述对抗生成网络基于预设的噪声幅度，生成的训练噪声数据集。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述原始数据集和所述训练噪声数据集，对可逆模型进行训练；其中，所述训练完成的可逆模型用于对加噪后的待处理数据进行还原。
5.根据权利要求4所述的方法，其特征在于，所述可逆模型包括压缩函数、拆分函数和流函数；所述基于所述原始数据集和所述训练噪声数据集，对可逆模型进行训练，包括：
针对于所述训练噪声数据集中的任一训练噪声数据，以及该训练噪声数据在所述原始数据集中的原始数据，基于所述压缩函数对该训练噪声数据和该原始数据进行压缩，得到压缩后的输入数据对；
基于所述拆分函数对压缩后的输入数据对进行拆分，得到通道维度数据对和特征维度数据对，并将所述通道维度数据对和所述特征维度数据对进行双向连接，得到双向连接后的输入数据对；
基于所述流函数中的原子层，对双向连接后的输入数据对进行前向计算，得到前向计算后的输入数据对；
基于所述流函数中的可逆卷积，对前向计算后的输入数据对之间的可逆关系进行解析，直至所述流函数中的损失函数达到预设精度，得到训练完成的可逆模型。
6.一种模型使用方法，其特征在于，所述方法包括：
获取服务器下发的加噪后的待处理数据；
将加噪后的待处理数据输入至目标模型中，得到所述待处理数据的处理结果；其中，所述目标模型是所述服务器采用训练加噪数据集，对初始模型进行训练得到。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
向所述服务器发送数据还原请求，以指示所述服务器采用可逆模型对加噪后的待处理数据进行还原，并反馈；
获取所述服务器反馈的经还原的待处理数据。
8.一种模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取原始数据集；
噪声生成模块，用于基于所述原始数据集和预设的噪声幅度，生成训练噪声数据集；
模型训练模块，用于基于所述训练噪声数据集，对初始模型进行训练，得到目标模型；
部署模块，用于向终端下发所述目标模型，以供所述终端基于所述目标模型，对加噪后的待处理数据进行处理。
9.一种模型使用装置，其特征在于，所述装置包括：
数据接收模块，用于获取服务器下发的加噪后的待处理数据；
模型使用模块，用于将加噪后的待处理数据输入至目标模型中，得到所述待处理数据的处理结果；其中，所述目标模型是所述服务器采用训练加噪数据集，对初始模型进行训练得到。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310677425.5A 2023-06-08 2023-06-08 模型训练方法、装置、计算机设备和存储介质 Pending CN117150516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310677425.5A CN117150516A (zh) 2023-06-08 2023-06-08 模型训练方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310677425.5A CN117150516A (zh) 2023-06-08 2023-06-08 模型训练方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117150516A true CN117150516A (zh) 2023-12-01

Family

ID=88885631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310677425.5A Pending CN117150516A (zh) 2023-06-08 2023-06-08 模型训练方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117150516A (zh)

Similar Documents

Publication Publication Date Title
CN110892693B (zh) 用于生物特征识别的系统和方法
CN104091108B (zh) 生物体认证方法及生物体认证系统
CN109886417A (zh) 基于联邦学习的模型参数训练方法、装置、设备及介质
KR102289419B1 (ko) 바이오메트릭을 이용한 사용자의 인증 방법 및 장치
JP7389446B2 (ja) 暗号化／復号化装置、暗号化／復号化方法並びに該方法を実行するためのコンピュータプログラム
JP2023504569A (ja) プライバシ保存バイオメトリック認証
JP2017103634A (ja) 秘匿データ照合装置、秘匿データ照合プログラムおよび秘匿データ照合方法
CN103220455B (zh) 秘密信息隐藏装置和方法、秘密信息还原装置和方法
Shukla et al. Thinking unveiled: An inference and correlation model to attack eeg biometrics
Manisha et al. CBRC: a novel approach for cancelable biometric template generation using random permutation and Chinese Remainder Theorem
Chai et al. SE-NDEND: A novel symmetric watermarking framework with neural network-based chaotic encryption for Internet of Medical Things
JP5503050B2 (ja) 生体認証方法及び生体認証システム
CN117150516A (zh) 模型训练方法、装置、计算机设备和存储介质
CN114553556B (zh) 数据加密方法、装置、计算机设备和存储介质
JP5913041B2 (ja) 秘密情報隠蔽装置、秘密情報復元装置、秘密情報隠蔽プログラムおよび秘密情報復元プログラム
Jung et al. A holistic cyber-physical security protocol for authenticating the provenance and integrity of structural health monitoring imagery data
Mehta et al. Biometric data security using joint encryption and watermarking
Pant et al. Visual Cryptography: A Study And Its Application To Biometric Authentication
Seksak et al. Choice-Based Graphical Password (CGP) Scheme for web applications
Vachaspati et al. A novel soft computing authentication scheme for textual and graphical passwords
Al-Rubaie Towards privacy-aware mobile-based continuous authentication systems
El-Shafai et al. Enhancing biometric authentication security through the novel integration of graph theory encryption and chaotic logistic mapping
Xu et al. Reversible anonymization for privacy of facial biometrics via cyclic learning
Liu et al. A one-card-pass user authentication scheme using image morphing
CN118195617A (zh) 交易行为管理方法、装置、计算机设备、存储介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination