CN115048661A - 一种模型的处理方法、装置及设备 - Google Patents
一种模型的处理方法、装置及设备 Download PDFInfo
- Publication number
- CN115048661A CN115048661A CN202210571111.2A CN202210571111A CN115048661A CN 115048661 A CN115048661 A CN 115048661A CN 202210571111 A CN202210571111 A CN 202210571111A CN 115048661 A CN115048661 A CN 115048661A
- Authority
- CN
- China
- Prior art keywords
- model
- target
- preset
- weight
- steganography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Bioethics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例公开了一种模型的处理方法、装置及设备,该方法应用于服务器,包括:获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到。
Description
技术领域
本文件涉及计算机技术领域,尤其涉及一种模型的处理方法、装置及设备。
背景技术
近年来,随着终端技术和网络技术的不断发展,人工智能成为当前需要研究和发展的重要技术课题,在近年来人工智能也得到了一定的发展和应用,例如,人脸识别、自动驾驶以及智能客服等应用都需要用到各类人工智能算法。人工智能算法的核心一般是深度学习模型,因此,一旦深度学习模型被泄漏,整个人工智能系统都会陷入到巨大的风险中,因此,对深度学习模型进行脱敏和保护就成为了一个重要课题。
通常,可以通过信息加密的方式对重要信息进行保护,具体地,使用简单的线性操作对一些重要信息进行加密或行列混淆等处理,但上述方式原子操作简单、流程单一、且很容易被诸如暴力破解等方式破解。基于此,需要提供一种安全性更高、进行模型保护的效率更高的模型保护方案。
发明内容
本说明书实施例的目的是提供一种安全性更高、进行模型保护的效率更高的模型保护方案。
为了实现上述技术方案,本说明书实施例是这样实现的:
本说明书实施例提供的一种模型的处理方法,应用于服务器,所述方法包括:获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重。基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量。将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体。基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
本说明书实施例提供的一种模型的处理方法,应用于目标设备,所述方法包括:接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型。获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息。基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重。将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
本说明书实施例提供的一种模型的处理装置,所述装置包括:模型信息获取模块,获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重。模型信息转换模块,基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量。载体生成模块,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体。模型隐写模块,基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
本说明书实施例提供的一种模型的处理装置,所述装置包括:模型接收模块,接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型。请求获取模块,获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息。信息解析模块,基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重。模型重构模块,将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
本说明书实施例提供的一种模型的处理设备,所述模型的处理设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重。基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量。将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体。基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
本说明书实施例提供的一种模型的处理设备,所述模型的处理设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型。获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息。基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重。将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
本说明书实施例还提供了一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下流程:获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重。基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量。将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体。基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
本说明书实施例还提供了一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下流程:接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型。获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息。基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重。将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一种模型的处理方法实施例;
图2为本说明书另一种模型的处理方法实施例;
图3A为本说明书又一种模型的处理方法实施例;
图3B为本说明书一种模型的处理过程的示意图;
图4为本说明书一种模型的处理系统的结构示意图;
图5为本说明书又一种模型的处理方法实施例;
图6为本说明书一种模型的处理装置实施例;
图7为本说明书一种模型的处理装置实施例;
图8为本说明书一种模型的处理设备实施例。
具体实施方式
本说明书实施例提供一种模型的处理方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
实施例一
如图1所示,本说明书实施例提供一种模型的处理方法,该方法的执行主体可以为服务器,其中,该服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的后台服务器等。该方法具体可以包括以下步骤:
在步骤S102中,获取待保护的目标模型,并获取目标模型的模型结构和模型权重。
其中,目标模型可以是任意模型,例如,目标模型可以是进行面部识别的模型,也可以是对某业务进行风险识别的模型等,此外,目标模型可以是通过任意算法构建,例如,目标模型可以通过神经网络算法构建,也可以通过多层感知机算法构建,还可以通过如分类算法、聚类算法构建等,具体可以根据实际情况设定,本说明书实施例对此不做限定。模型结构可以是为了解决某种问题而创建的模型自身各种要素之间的相互关联和相互作用的方式,其中可以包括构成要素的数量比例、排列次序、结合方式和因发展而引起的变化等,在实际应用中,模型结构中往往可以包括如多个不同的网络层,以及不同网络层之间的关联关系,例如,目标模型为卷积神经网络模型,则其模型结构中可以包括输入层、一个或多个卷积层、一个或多个池化层,以及输出层,还可以包括多个卷积层之间,多个池化层之间,以及卷积层与池化层的排列关系等,具体可以根据实际情况设定。模型权重可以用于表征目标模型中包含的每个网络层在目标模型的整个网络层中的重要程度,在实际应用中,可以是目标模型中包含的每个网络层对应一个模型权重,模型权重通常可以是一个64位浮点数。
在实施中,近年来,随着终端技术和网络技术的不断发展,人工智能成为当前需要研究和发展的重要技术课题,在近年来人工智能也得到了一定的发展和应用,例如,人脸识别、自动驾驶以及智能客服等应用都需要用到各类人工智能算法。人工智能算法的核心一般是深度学习模型,因此,一旦深度学习模型被泄漏,整个人工智能系统都会陷入到巨大的风险中,例如,如果用于进行人脸识别的模型被泄漏,攻击者就可以盗用其他账户,进行人脸识别,造成安全风险,因此,对深度学习模型进行脱敏和保护就成为了一个重要课题。
针对模型的保护方式,可以从模型结构和模型权重两个方面进行保护,模型加密的方法指对模型的权重进行加密,只有对应的解密算法才能解析出模型权重,从而破解该模型,从而使得攻击者即使得到了模型结构也很难得到模型权重,从而起到保护模型的目的,但是,目前的加密方法均比较简单,攻击者花费一定的时间和算力成本就可以破解。另一方面,模型结构的泄漏也会造成安全隐患,为此,可以通过模型混淆的方式对模型结构进行保护,即对模型结构进行调整和/或增减,从而大幅改变该模型的模型结构,从而使得攻击者即使得到了模型权重也无法破解该模型,但是,模型混淆的方式会带来很多额外的无用计算,使得该模型在应用的过程中变得效率低下,基于此,需要提供一种安全性更高、进行模型保护的效率更高的模型保护方案。本说明书实施例提供一种可实现的技术方案,具体可以包括以下内容:
当需要对某模型(即目标模型)进行保护时,可以获取该目标模型,并可以对该目标模型进行分析,通过分析结果可以确定目标模型中包含的网络层的类型、网络层的数量、不同类型的网络层的数量、不同网络层之间的关联关系、不同网络层的模型参数等信息,并可以基于上述信息确定目标模型的模型结构,此外,还可以获取每个网络层的模型权重等。
例如,需要对某业务中的面部识别模型进行保护,如果该面部识别模型是基于卷积神经网络模型构建,其中包括输入层、3个卷积层、3个池化层和输出层,其中的3个卷积层和3个池化层相互交错排列,面部识别模型中各个网络层的排列顺序如下:输入层-卷积层1-池化层1-卷积层2-池化层2-卷积层3-池化层3-输出层,可以对上述面部识别模型进行分析,得到上述网络层的数量和类型,以及不同网络层的排列顺序等信息,可以基于上述信息构建模型结构,此外,还可以获取输入层、卷积层、池化层和输出层等各网络层的模型权重。
在步骤S104中,基于上述模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到目标模型包含的每个网络层对应的第一数据,并对上述模型权重进行结构化处理,得到该模型权重对应的预设维度的张量。
其中,第一数据可以具有固定的数据位数,例如第一数据为具有20位的数据,或者,第一数据为具有26位的数据等,具体可以根据实际情况设定。预设维度可以根据实际情况设定,具体如4维或6维等。
在实施中,对于模型结构来说,由于模型结构为非数据类的信息,因此,需要对模型结构进行转换,即对模型结构进行数据化处理,具体处理方式可以根据实际情况设定,例如,可以预先设定模型结构转换规则,该模型结构转换规则可以如将目标模型中的每个网络层转换为具有一定数据位数的数据(具体如20位或26位的数据等),该一定数据位数的数据可以由多种不同的数据进行组合或拼接构成,例如针对目标模型中的某个网络层,该网络层对应的模型结构可以包括类型(如输入层类型、卷积层类型、池化层类型、输出层类型等)、相对位置、模型参数的相关信息等,可以将上述信息转换为数据的表示方式,具体如,该网络层为输入层,则类型可以用0001表示,相对位置可以用10000000表示,模型参数等相关信息可以用00030128表示,可以将上述数据进行拼接,得到00011000000000030128,可以使用00011000000000030128表示该网络层对应的模型结构,同样的,其它网络层也可以通过上述方式进行数据化处理,得到目标模型包含的每个网络层对应的第一数据。
对于模型权重来说,模型权重一般可以为64位浮点数,可以将其进行结构化处理,从而将其重塑为具有一定维度的张量,具体如,可以将其重塑为4维张量或6维张量等。例如,对于输入通道为128维、输出通道为256维、卷积核为3*3的卷积层,其参数可以结构化为256*3*3*128的张量,再例如,对于输入通道为128维、输出通道为256维的全连接层可以结构化为256*1*1*128的张量。同样的,其它网络层的模型权重也可以通过上述方式进行结构化处理,得到目标模型包含的每个网络层的模型权重对应的预设维度的张量。
在步骤S106中,将上述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入目标模型的数据的目标载体。
其中,载体生成模型可以用于生成用于承载写入其中的目标模型的数据的载体,载体生成模型可以通过多种不同的算法构建,例如可以通过神经网络算法构建等,具体可以根据实际情况设定,本说明书实施例对此不做限定。目标载体可以是图像,也可以是除图像外的其它类型的对象(具体如文本文件、某网页的页面数据等),此外,目标载体可以与目标模型的数据无关,在某些场景下,目标载体也可以与目标模型的数据相关,具体可以根据实际情况设定。
在实施中,通常,信息隐写技术(即以信息隐藏的方式写入将一种信息写入指定的对象内的技术)不会被用于进行模型的保护,因为对模型使用隐写的方式进行隐私保护时,其所要求的准确度和效率是一般的隐写机制无法达到的。为此,可以使用生成的载体代替自然载体(即现实中载体,如拍摄的图像或绘制的图像等),从而提升隐写处理的性能和效率,使得隐写机制可以应用于对模型的保护上,具体地,可以通过预设的算法构建载体生成模型的初始架构,然后,可以获取不同模型的模型结构和模型权重构成的训练样本,可以设定相应的损失函数,可以使用获取的训练样本和该损失函数,对该载体生成模型进行训练,得到训练后的载体生成模型,通过训练后的载体生成模型可以为训练样本的隐写处理生成相应的载体,即目标载体。
当获取到包含目标模型的模型结构和模型权重,并将模型结构和模型权重分别转换为第一数据和预设维度的张量后,可以将预设维度的张量输入到上述载体生成模型中,通过载体生成模型为模型权重生成用于承载以信息隐藏的方式写入目标模型的数据的目标载体。
需要说明的是,上述是通过模型权重来生成相应的载体,在实际应用中,还可以将第一数据和预设维度的张量输入到上述载体生成模型中,通过载体生成模型为模型权重和模型结构生成用于承载以信息隐藏的方式写入目标模型的数据的目标载体,具体可以根据实际情况设定。
在步骤S108中,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定目标模型对应的隐写信息,该隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
其中,隐写模型可以是用于将一个信息通过信息隐写的方式写入另一个信息内的模型,隐写模型可以通过多种不同的算法构建,例如,可以通过神经网络算法构建隐写模型,或者,可以通过HUGO(Highly Undetectable stego)算法构建隐写模型等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
在实施中,可以通过预设的算法构建隐写模型的初始架构,然后,可以获取不同模型的模型结构和模型权重,以及相应的载体构成的训练样本,可以设定相应的第一损失函数,考虑到通常往往会忽略载体的频域信息,因此,可以基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数。可以使用获取的训练样本和第一损失函数,对该隐写模型进行训练,得到训练后的隐写模型,通过训练后的隐写模型可以将模型结构(即转换后的数据)和模型权重(即转换后的数据)隐写入相应的载体。
当获取到目标载体、第一数据和模型权重对应的预设维度的张量后,可以将上述目标载体、第一数据和模型权重对应的预设维度的张量输入到上述训练后的隐写模型中,通过隐写模型将第一数据和模型权重对应的预设维度的张量通过信息隐藏的方式写入目标载体内,得到从而实现以对目标模型进行隐私保护处理,从而使得目标模型的隐私信息(即模型结构和模型权重)以被隐藏的方式写入上述生成的目标载体内。在实际应用中,上述处理过程仅是一种可选的方式,还可以包括多种不同的处理方式,具体可以根据实际情况设定。
本说明书实施例提供一种模型的处理方法,通过获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到,这样,为了提升隐写处理的精确度,重新设计了针对目标模型的隐写处理方案,同时提出了局部一致性损失,并基于上述损失训练了载体生成模型,以生成类似自然载体(如自然图像等)的用于进行隐写处理的目标载体,使得生成的载体具有更好的隐写性能,从上述两个方面大幅提升了隐写的性能,使得隐写处理可以被用于模型的隐私保护中。
实施例二
如图2所示,本说明书实施例提供一种模型的处理方法,该方法的执行主体可以为服务器,其中,该服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的后台服务器等。该方法具体可以包括以下步骤:
在步骤S202中,获取多个不同的预设模型,并获取每个预设模型的模型结构和模型权重。
其中,预设模型可以是任意模型,例如,预设模型可以是进行面部识别的模型,也可以是对某业务进行风险识别的模型等,此外,预设模型可以是通过任意算法构建,例如,预设模型可以通过神经网络算法构建,也可以通过多层感知机算法构建,还可以通过如分类算法、聚类算法构建等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
在步骤S204中,基于预设模型的模型结构,对预设模型包含的每个网络层的结构进行数据化处理,得到预设模型包含的每个网络层对应的第二数据,并对预设模型的模型权重进行结构化处理,得到预设模型的模型权重对应的预设维度的张量。
其中,第二数据可以为预设位数的数据,例如,第二数据可以是具有20位的数据,可以类似于第一数据。第二数据可以由用于表征预设模型对应的模型结构所属的类型的数据和用于表征预设模型对应的模型结构中的参数的形状的数据构建,例如,第二数据为00010256000300030128,其中,前4为数据0001可以表征预设模型对应的模型结构所属的类型,剩余的0256000300030128可以表征预设模型对应的模型结构中的参数的形状等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
上述步骤S204的具体处理过程可以参见上述实施例中的相关内容,在此不再赘述。
在步骤S206中,基于第二数据和/或预设模型的模型权重对应的预设维度的张量,确定用于承载以信息隐藏的方式写入预设模型的数据的载体样本。
其中,载体样本可以是图像等,本实施例中涉及的载体以图像为例,对于其它类型的载体可以参见下述内容并根据实际情况进行相应处理,在此不再赘述。
在实施中,可以对第二数据和/或预设模型的模型权重对应的预设维度的张量进行分析,得到相应的分析结果,可以基于该分析结果从预先设置的载体库中选取用于承载以信息隐藏的方式写入预设模型的数据的载体,可以将选取的载体作为载体样本,或者,可以预先设置载体的生成规则,该载体的生成规则可以包括多种,例如可以是预先设定载体生成算法或相应的模型,通过上述算法或模型生成相应的载体等。可以基于该分析结果,通过该载体的生成规则生成与该分析结果相匹配的载体,并可以将生成的载体作为载体样本,或者,可以结合上述两种方式确定载体样本等,在实际应用中,除了可以通过上述方式确定载体样本外,还可以通过其他多种方式确定载体样本,具体可以根据实际情况设定,在此不再赘述。
由于本方法最终会在生成的载体上进行隐写处理,因此,在进行模型训练的过程中,如果直接在自然载体上进行隐写处理,则可能会降低相应模型的性能,为此,可以上述确定的载体样本中一定比例(如50%或70%等)的载体样本可以来自于生成的载体,基于此,上述步骤S204的具体处理方式可以多种多样,以下提供一种可选的处理方式,具体可以包括以下内容:将第二数据和预设模型的模型权重对应的预设维度的张量输入到训练后的载体生成模型中,得到用于承载以信息隐藏的方式写入预设模型的数据的载体样本。
上述步骤的具体处理过程可以参见前述或后续相关内容,在此不再赘述。
在步骤S208中,将第二数据和预设模型的模型权重对应的预设维度的张量,以及载体样本作为训练样本,并基于第一损失函数,对隐写模型、RGB域解析模型、频域解析模型和频域特征提取模型进行联合训练,得到训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型,RGB域解析模型用于从隐写模型的输出信息的RGB信息中还原出第二数据和预设模型的模型权重对应的预设维度的张量,频域解析模型用于从隐写模型的输出信息的频域信息中还原出第二数据和预设模型的模型权重对应的预设维度的张量,频域特征提取模型用于提取载体样本和隐写模型的输出信息的频域信息中的特征。
其中,隐写模型可以基于多种不同的方式构建,例如,可以基于U-Net构建,该U-Net由全连接网络构建,U-Net呈现出形似字母“U”的结构,它由左半边的压缩通道(Contracting Path)和右半边扩展通道(Expansive Path)组成,压缩通道可以通过卷积神经网络构建,可以重复采用2个卷积层和1个最大池化层的结构,每进行一次池化操作后,数据的维数会增加。在扩展通道,先进行1次反卷积操作,使数据的维数减半,然后,将其拼接对应压缩通道进行裁剪,可以得到相应的特征数据,基于上述特征数据重新组成新的特征数据,再采用2个卷积层进行特征提取,并重复上述结构,在最后的输出层,用2个卷积层将高维度的特征数据局映射成低维度的输出数据,U-Net具体可以分为上采样和下采样等两个部分,下采样部分主要利用连续的卷积池化层提取数据中的特征信息,并逐步将特征信息映射至高维,在整个网络的最高维度存在整个数据中丰富的特征信息,U-Net可以不需要直接将该数据进行池化处理并直接上采样至与原数据大小一致的输出数据,而是通过反卷积处理,将高维度特征再次向低维映射,映射的过程中为了增强分割的精度,会将同维度下收缩网络中与其维度相同的数据进行融合,由于在融合的过程中维度会变成原维度的2倍,因此需要再次进行卷积处理,保证处理过后的维度与融合操作之前的维度相同,以便于进行再一次的反卷积处理后能够和同维度下的数据进行二次融合,直到能够与原数据的维度相同时输出数据。本实施例中的隐写模型的结构可以由一定数量的网络层的U-Net构成,具体如,可以由具有8或10个网络层的U-Net构成等,具体可以根据实际情况设定。再例如,可以通过多层感知机MLP构建,MLP中除了输入层和输出层之外,它中间可以有多个隐藏层,最简单的MLP只含一个隐藏层,即三层的结构,MLP的层与层之间是全连接的,MLP的最底层是输入层,中间是隐藏层,最后是输出层。该隐写模型具体如,可以通过一个三层的MLP构建该隐写模型,具体可以根据实际情况设定。RGB域解析模型和频域解析模型也可以基于多种不同的方式构建,例如,可以基于U-Net构建等,具体可以根据实际情况设定,本说明书实施例对此不做限定。频域特征提取模型可以基于多种不同的方式构建,例如可以通过某种指定的特征提取算法构建,或者,可以基于残差网络ResNet构建,残差网络ResNet是由一系列残差块组成的,残差块分成两部分,分别是直接映射部分和残差部分,ResNet可以包括多个网络层,包括多个网络层的残差网络还可以表示为ResNet+网络层层数,如ResNet50,即50个网络层的残差网络等,具体可以根据实际情况设定。第一损失函数可以基于隐写模型的输出信息与载体样本之间的相似度的最大值、第二数据和预设模型的模型权重对应的预设维度的张量与从隐写模型的输出信息中还原出的第二数据和预设模型的模型权重对应的预设维度的张量之间的相似度的最大值、隐写模型的输出信息的频域信息与载体样本的频域信息之间的相似度的最大值和隐写模型的输出信息的频域信息对应的特征与载体样本的频域信息对应的特征之间的相似度的最大值确定,具体地,
Loss=LI(x,xstan)+LR(m,mR)+LI-f(xf,xstan-f)+LF-f(xf,xstan-f)
其中,Loss表示第一损失函数,LI(x,xstan)表示隐写模型的输出信息与载体样本之间的相似度的最大值,以此来约束进行隐写处理前的载体样本x和隐写处理后的隐写模型的输出信息xstan尽量保持一致,从而保证信息的隐秘性,LR(m,mR)表示第二数据和预设模型的模型权重对应的预设维度的张量与从隐写模型的输出信息中还原出的第二数据和预设模型的模型权重对应的预设维度的张量之间的相似度的最大值,以此来约束第二数据和预设模型的模型权重对应的预设维度的张量m和从隐写模型的输出信息中还原出的第二数据和预设模型的模型权重对应的预设维度的张量mR的一致性,从而确保第二数据和预设模型的模型权重对应的预设维度的张量被准确隐写,LI-f(xf,xstan-f)表示隐写模型的输出信息的频域信息与载体样本的频域信息之间的相似度的最大值,以此来约束频域信息在进行隐写处理前后的一致性,从而进一步保证隐写的隐秘性,LF-f(xf,xstan-f)表示隐写模型的输出信息的频域信息对应的特征与载体样本的频域信息对应的特征之间的相似度的最大值,以此来约束频域信息在进行隐写处理前后的特征尽量接近,这对要求隐写信息不仅仅在视觉上,而且在语义上更加接近隐写处理前的信息,从而可以进一步提升安全水位。
在实施中,可以将将第二数据和预设模型的模型权重对应的预设维度的张量,以及载体样本输入到隐写模型中,得到输出信息(即隐写处理后的数据,也即是将第二数据和预设模型的模型权重对应的预设维度的张量通过信息隐写的方式写入载体样本内后得到的数据),可以将上述隐写模型的输出信息中的RGB信息输入到RGB域解析模型中,通过RGB域解析模型可以从隐写模型的输出信息的RGB信息中还原出第二数据和预设模型的模型权重对应的预设维度的张量,此外,可以将上述隐写模型的输出信息中的频域信息输入到频域解析模型中,通过频域解析模型可以从隐写模型的输出信息的频域信息中还原出第二数据和预设模型的模型权重对应的预设维度的张量,另外,还可以将载体样本和隐写模型的输出信息的频域信息输入到频域特征提取模型中,通过频域特征提取模型可以提取载体样本和隐写模型的输出信息的频域信息中的特征,然后,可以通过第一损失函数计算相应的损失值,可以基于计算的损失值判断上述隐写模型、RGB域解析模型、频域解析模型和频域特征提取模型是否收敛,如果收敛,则得到训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型,如果未收敛,则基于预设模型的模型结构和模型权重继续对隐写模型、RGB域解析模型、频域解析模型和频域特征提取模型进行训练,直到隐写模型、RGB域解析模型、频域解析模型和频域特征提取模型收敛,得到训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型。
在步骤S210中,将第二数据和预设模型的模型权重对应的预设维度的张量输入到预先构建的载体生成模型中,生成用于承载以信息隐藏的方式写入预设模型的数据的第一载体。
其中,载体生成模型可以通过多种不同的方式构建,例如,可以基于StyleGAN构建的载体生成模型,StyleGAN中的“Style”可以是指数据集中的数据的主要属性,比如人物的姿态等信息,而不是风格转换中的图像风格,以人脸图像为例,这里Style可以是指人脸的风格,包括了脸型上面的表情、人脸朝向、发型等,还包括纹理细节上的人脸样式、人脸光照等方面。StyleGAN可以用风格(即style)来影响人脸的姿态、身份特征等,用噪声(noise)来影响头发丝、皱纹、样式等细节部分。
在实施中,可以在Place365数据集上对载体生成模型进行预训练,得到可以生成载体样本的StyleGAN预训练模型,具体可以根据实际情况设定,本说明书实施例对此不做限定。
在步骤S212中,将第二数据和预设模型的模型权重对应的预设维度的张量,以及第一载体输入到训练后的隐写模型中,并将隐写模型的输出信息的RGB信息输入到训练后的RGB域解析模型中,将隐写模型的输出信息的频域信息输入到训练后的频域解析模型中,将隐写模型的输出信息和第一载体输入到训练后的频域特征提取模型中,分别得到训练后的RGB域解析模型的输出信息、训练后的频域解析模型的输出信息和训练后的频域特征提取模型的输出信息。
在步骤S214中,基于第一载体、第二数据和预设模型的模型权重对应的预设维度的张量、隐写模型的输出信息、训练后的RGB域解析模型的输出信息、训练后的频域解析模型的输出信息和训练后的频域特征提取模型的输出信息,并通过第二损失函数,确定载体生成模型是否收敛,如果载体生成模型未收敛,则基于预设模型的模型结构和模型权重,继续对载体生成模型、训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型进行联合训练,直到载体生成模型收敛,得到训练后的载体生成模型。
其中,第二损失函数可以包括多种,例如,可以基于第二数据和预设模型的模型权重对应的预设维度的张量,以及最终的输出信息确定,还可以基于各个模型的输出信息和输入信息确定等,具体可以根据实际情况设定,本说明书实施例对此不做限定。本实施例中,第二损失函数可以基于第一损失函数和第一载体中相邻的两个区域的特征之间的距离处于预设的距离范围内对应的数值确定,具体地,
LossSGAN=Loss+Lpc(fp1,fp2)
其中,LossSGAN表示第二损失函数,Loss表示第一损失函数,Lpc(fp1,fp2)表示第一载体中相邻的两个区域的特征之间的距离处于预设的距离范围内,fp1和fp2分别表示第一载体中相邻的两个区域p1和p2的特征,
Lpc(fp1,fp2)=max(||fp1-fp2||2-m,0)
第一损失函数可以在这里进行联合优化,从而保证StyleGAN生成的第一载体能够最小化隐写处理产生的损失,最大程度提升隐写处理的性能,Lpc(fp1,fp2)为局部一致性损失,即随机选取相邻的两个n*p(例如n=4,p=4等)的区域的特征,两者的距离要在距离范围m之内,以此来约束生成第一载体的自然性和可理解性,避免生成不可理解的噪声载体。
在实施中,上述训练过程可以包括5个模型,基于StyleGAN构建的载体生成模型以及训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型,在训练的过程中只有载体生成模型的权重会被改变,其余的模型均保持不变。训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型的输入信息和输出信息与上述训练过程基本保持一致,不同的是训练后的隐写模型的输入信息中的载体样本变成了载体生成模型生成的第一载体(即载体生成模型的输出信息)。载体生成模型的输入信息是第二数据和预设模型的模型权重对应的预设维度的张量,其中的第二数据和预设模型的模型权重对应的预设维度的张量会被编码成特征向量(具体如可以通过1个卷积层和1个全连接层实现),通过控制载体生成模型中的特征向量,即可生成不同载体,生成的载体均能保证在隐写模型上有较好的性能,以此来实现控制载体生成模型的载体生成。
在步骤S216中,获取待保护的目标模型,并获取目标模型的模型结构和模型权重。
在步骤S218中,基于上述模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到目标模型包含的每个网络层对应的第一数据,并对模型权重进行结构化处理,得到该模型权重对应的预设维度的张量。
其中,第一数据为预设位数的数据,第一数据可以由用于表征目标模型对应的模型结构所属的类型的数据和用于表征目标模型对应的模型结构中的参数的形状的数据构建。
在步骤S220中,将上述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入目标模型的数据的目标载体。
其中,目标载体为图像。
在步骤S222中,将目标载体和模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到预选隐写信息。
在步骤S224中,将第一数据设置为预选隐写信息的预设固有属性的属性信息,将设置有属性信息的预选隐写信息作为目标模型对应的隐写信息。
其中,预设固有属性可以是预先设定的规定属性项的信息,例如名称、类型等,具体可以根据实际情况设定。属性信息可以是上述属性项的具体信息,如预设固有属性为名称,相应的属性信息可以为00010256000300030128等。
在实际应用中,上述确定隐写信息的处理方式可以多种多样,以下在提供一种可选的处理方式,具体可以包括以下内容:将目标载体、第一数据和模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到目标模型对应的隐写信息。
在步骤S226中,将训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型,以及目标模型对应的隐写信息发送给目标设备,目标模型对应的隐写信息用于触发目标设备基于训练后的RGB域解析模型和训练后的频域解析模型重构目标模型。
本说明书实施例提供一种模型的处理方法,通过获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到,这样,为了提升隐写处理的精确度,重新设计了针对目标模型的隐写处理方案,同时提出了局部一致性损失,并基于上述损失训练了载体生成模型,以生成类似自然载体(如自然图像等)的用于进行隐写处理的目标载体,使得生成的载体具有更好的隐写性能,从上述两个方面大幅提升了隐写的性能,使得隐写处理可以被用于模型的隐私保护中。
实施例三
如图3A和图3B所示,本说明书实施例提供一种模型的处理方法,该方法的执行主体可以为目标设备,其中,目标设备可以为终端设备或服务器等,该终端设备可以如手机、平板电脑等一定终端设备,还可以如笔记本电脑或台式电脑等计算机设备,或者,也可以为IoT设备(具体如智能手表、车载设备等)等。该服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的后台服务器等。其系统架构可以如图4所示,该方法具体可以包括以下步骤:
在步骤S302中,接收服务器发送的训练后的RGB域解析模型和训练后的频域解析模型。
在步骤S304中,获取对目标模型的重构请求,该重构请求中包括目标模型对应的隐写信息,目标模型对应的隐写信息是基于目标模型的模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到目标模型包含的每个网络层对应的第一数据,并对目标模型的模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入目标模型的数据的目标载体,并基于目标载体、第一数据和模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息。
在步骤S306中,基于目标模型对应的隐写信息、训练后的RGB域解析模型和训练后的频域解析模型,确定目标模型的模型结构和模型权重。
在实施中,可以将目标模型对应的隐写信息的RGB信息输入到训练后的RGB域解析模型中,得到从隐写信息的RGB信息中还原出的目标模型的模型结构和模型权重的相关信息,同时,也可以将目标模型对应的隐写信息的频域信息输入到训练后的频域解析模型中,得到从隐写信息的频域信息中还原出的目标模型的模型结构和模型权重的相关信息,可以从上述还原出的相关信息中选择一个信息,并可以基于选择的信息确定目标模型的模型结构和模型权重。
在步骤S308中,将上述模型权重加载到相应的模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
上述步骤S302~步骤S308的具体处理过程,可以参见上述相关内容,在此不再赘述。
本说明书实施例提供一种模型的处理方法,通过获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到,后续可以对隐写信息进行重构,得到重构的目标模型,以进行相应的业务处理,这样,为了提升隐写处理的精确度,重新设计了针对目标模型的隐写处理方案,同时提出了局部一致性损失,并基于上述损失训练了载体生成模型,以生成类似自然载体(如自然图像等)的用于进行隐写处理的目标载体,使得生成的载体具有更好的隐写性能,从上述两个方面大幅提升了隐写的性能,使得隐写处理可以被用于模型的隐私保护中。
实施例四
如图5所示,本发明实施例提供的一种模型的处理方法,该方法的执行主体可以为目标设备,其中,目标设备可以为终端设备或服务器等,该终端设备可以如手机、平板电脑等一定终端设备,还可以如笔记本电脑或台式电脑等计算机设备,或者,也可以为IoT设备(具体如智能手表、车载设备等)等。该服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的后台服务器等。其系统架构可以如图4所示,该方法具体可以包括以下步骤:
在步骤S502中,接收服务器发送的训练后的RGB域解析模型和训练后的频域解析模型。
在步骤S504中,获取对目标模型的重构请求,该重构请求中包括目标模型对应的隐写信息,目标模型对应的隐写信息是基于目标模型的模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到目标模型包含的每个网络层对应的第一数据,并对目标模型的模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入目标模型的数据的目标载体,并基于目标载体、第一数据和模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息。
在步骤S506中,基于目标模型对应的隐写信息的预设固有属性的属性信息,确定目标模型的模型结构。
在实施中,可以从目标模型对应的隐写信息的属性中获取预设固有属性,并可以获取该预设固有属性的属性信息,可以对预设固有属性的属性信息进行分析,从而确定目标模型中包含的网络层的类型和相应参数的形状等信息,进而得到目标模型的模型结构。
在步骤S508中,将目标模型对应的隐写信息分别输入到训练后的RGB域解析模型和训练后的频域解析模型中,得到从目标模型对应的隐写信息中还原出的目标模型的预选模型权重。
在实施中,可以将目标模型对应的隐写信息的RGB信息输入到训练后的RGB域解析模型中,得到从隐写信息的RGB信息中还原出的目标模型的模型权重的相关信息,同时,也可以将目标模型对应的隐写信息的频域信息输入到训练后的频域解析模型中,得到从隐写信息的频域信息中还原出的目标模型的模型权重的相关信息,可以基于还原出的目标模型的模型权重的相关信息,分别确定预选模型权重。
在步骤S510中,计算预选模型权重的平均值,并将计算得到的平均值作为目标模型的模型权重。
在步骤S512中,将上述模型权重加载到相应的模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
上述步骤S502~步骤S512的具体处理过程,可以参见上述相关内容,在此不再赘述。
本说明书实施例提供一种模型的处理方法,通过获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到,后续可以对隐写信息进行重构,得到重构的目标模型,以进行相应的业务处理,这样,为了提升隐写处理的精确度,重新设计了针对目标模型的隐写处理方案,同时提出了局部一致性损失,并基于上述损失训练了载体生成模型,以生成类似自然载体(如自然图像等)的用于进行隐写处理的目标载体,使得生成的载体具有更好的隐写性能,从上述两个方面大幅提升了隐写的性能,使得隐写处理可以被用于模型的隐私保护中。
实施例五
基于同样的思路,本说明书实施例还提供一种模型的处理装置,如图6所示。
该模型的处理装置包括:模型信息获取模块601、模型信息转换模块602、载体生成模块603和模型隐写模块604,其中:
模型信息获取模块601,获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重;
模型信息转换模块602,基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量;
载体生成模块603,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体;
模型隐写模块604,基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
本说明书实施例中,所述模型隐写模块604,将所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到所述目标模型对应的隐写信息。
本说明书实施例中,所述模型隐写模块604,包括:
第一隐写单元,将所述目标载体和所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到预选隐写信息;
设置单元,将所述第一数据设置为所述预选隐写信息的预设固有属性的属性信息,将设置有所述属性信息的预选隐写信息作为所述目标模型对应的隐写信息。
本说明书实施例中,所述第一数据为预设位数的数据,所述第一数据由用于表征所述目标模型对应的模型结构所属的类型的数据和用于表征所述目标模型对应的模型结构中的参数的形状的数据构建,所述目标载体为图像。
本说明书实施例中,所述装置还包括:
模型样本获取模块,获取多个不同的预设模型,并获取每个所述预设模型的模型结构和模型权重;
载体样本确定模块,基于所述预设模型的模型结构和/或模型权重,确定用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本;
第一训练模块,将所述预设模型的模型结构和模型权重,以及所述载体样本作为训练样本,并基于所述第一损失函数,对所述隐写模型、RGB域解析模型、频域解析模型和频域特征提取模型进行联合训练,得到训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型,所述RGB域解析模型用于从所述隐写模型的输出信息的RGB信息中还原出所述预设模型的模型结构和模型权重,所述频域解析模型用于从所述隐写模型的输出信息的频域信息中还原出所述预设模型的模型结构和模型权重,所述频域特征提取模型用于提取所述载体样本和所述隐写模型的输出信息的频域信息中的特征。
本说明书实施例中,所述第一损失函数基于所述隐写模型的输出信息与所述载体样本之间的相似度的最大值、所述预设模型的模型结构和模型权重与从所述隐写模型的输出信息中还原出所述预设模型的相应模型结构和模型权重之间的相似度的最大值、所述隐写模型的输出信息的频域信息与所述载体样本的频域信息之间的相似度的最大值和所述隐写模型的输出信息的频域信息对应的特征与所述载体样本的频域信息对应的特征之间的相似度的最大值确定。
本说明书实施例中,所述装置还包括:
第一载体生成模块,将所述预设模型的模型结构和模型权重输入到预先构建的载体生成模型中,生成用于承载以信息隐藏的方式写入所述预设模型的数据的第一载体;
模型的处理模块,将所述预设模型的模型结构和模型权重,以及所述第一载体输入到所述训练后的隐写模型中,并将所述隐写模型的输出信息的RGB信息输入到所述训练后的RGB域解析模型中,将所述隐写模型的输出信息的频域信息输入到所述训练后的频域解析模型中,将所述隐写模型的输出信息和所述第一载体输入到所述训练后的频域特征提取模型中,分别得到所述训练后的RGB域解析模型的输出信息、所述训练后的频域解析模型的输出信息和所述训练后的频域特征提取模型的输出信息;
第二训练模块,基于所述第一载体、所述预设模型的模型结构和模型权重、所述隐写模型的输出信息、所述训练后的RGB域解析模型的输出信息、所述训练后的频域解析模型的输出信息和所述训练后的频域特征提取模型的输出信息,并通过第二损失函数,确定所述载体生成模型是否收敛,如果所述载体生成模型未收敛,则使用所述预设模型的模型结构和模型权重,继续对所述载体生成模型、所述训练后的隐写模型、所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型进行联合训练,直到所述载体生成模型收敛,得到训练后的载体生成模型。
本说明书实施例中,所述载体样本确定模块,将所述预设模型的模型结构和模型权重输入到所述训练后的载体生成模型中,得到用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本。
本说明书实施例中,所述第二损失函数基于所述第一损失函数和所述第一载体中相邻的两个区域的特征之间的距离处于预设的距离范围内对应的数值确定,所述载体生成模型是基于StyleGAN构建的模型。
本说明书实施例中,所述装置还包括:
信息发送模块,将所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型,以及所述目标模型对应的隐写信息发送给目标设备,所述目标模型对应的隐写信息用于触发所述目标设备基于所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型重构所述目标模型。
本说明书实施例提供一种模型的处理装置,通过获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到,后续可以对隐写信息进行重构,得到重构的目标模型,以进行相应的业务处理,这样,为了提升隐写处理的精确度,重新设计了针对目标模型的隐写处理方案,同时提出了局部一致性损失,并基于上述损失训练了载体生成模型,以生成类似自然载体(如自然图像等)的用于进行隐写处理的目标载体,使得生成的载体具有更好的隐写性能,从上述两个方面大幅提升了隐写的性能,使得隐写处理可以被用于模型的隐私保护中。
实施例六
基于同样的思路,本说明书实施例还提供一种模型的处理装置,如图7所示。
该模型的处理装置包括:模型接收模块701、请求获取模块702、信息解析模块703和模型重构模块704,其中:
模型接收模块701,接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型;
请求获取模块702,获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息;
信息解析模块703,基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重;
模型重构模块704,将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
本说明书实施例中,所述信息解析模块703,包括:
第一解析单元,基于所述目标模型对应的隐写信息的预设固有属性的属性信息,确定所述目标模型的模型结构;
第二解析单元,所述目标模型对应的隐写信息分别输入到所述训练后的RGB域解析模型和所述训练后的频域解析模型中,得到从所述目标模型对应的隐写信息中还原出的所述目标模型的预选模型权重;
权重确定单元,计算所述预选模型权重的平均值,并将计算得到的平均值作为所述目标模型的模型权重。
本说明书实施例提供一种模型的处理装置,通过获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到,后续可以对隐写信息进行重构,得到重构的目标模型,以进行相应的业务处理,这样,为了提升隐写处理的精确度,重新设计了针对目标模型的隐写处理方案,同时提出了局部一致性损失,并基于上述损失训练了载体生成模型,以生成类似自然载体(如自然图像等)的用于进行隐写处理的目标载体,使得生成的载体具有更好的隐写性能,从上述两个方面大幅提升了隐写的性能,使得隐写处理可以被用于模型的隐私保护中。
实施例七
以上为本说明书实施例提供的模型的处理装置,基于同样的思路,本说明书实施例还提供一种模型的处理设备,如图8所示。
所述模型的处理设备可以为上述实施例提供目标设备或服务器等。
模型的处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器801和存储器802,存储器802中可以存储有一个或一个以上存储应用程序或数据。其中,存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对模型的处理设备中的一系列计算机可执行指令。更进一步地,处理器801可以设置为与存储器802通信,在模型的处理设备上执行存储器802中的一系列计算机可执行指令。模型的处理设备还可以包括一个或一个以上电源803,一个或一个以上有线或无线网络接口804,一个或一个以上输入输出接口805,一个或一个以上键盘806。
具体在本实施例中,模型的处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对模型的处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重;
基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量;
将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体;
基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
本说明书实施例中,所述基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,包括:
将所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到所述目标模型对应的隐写信息。
本说明书实施例中,所述基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,包括:
将所述目标载体和所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到预选隐写信息;
将所述第一数据设置为所述预选隐写信息的预设固有属性的属性信息,将设置有所述属性信息的预选隐写信息作为所述目标模型对应的隐写信息。
本说明书实施例中,所述第一数据为预设位数的数据,所述第一数据由用于表征所述目标模型对应的模型结构所属的类型的数据和用于表征所述目标模型对应的模型结构中的参数的形状的数据构建,所述目标载体为图像。
本说明书实施例中,还包括:
获取多个不同的预设模型,并获取每个所述预设模型的模型结构和模型权重;
基于所述预设模型的模型结构和/或模型权重,确定用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本;
将所述预设模型的模型结构和模型权重,以及所述载体样本作为训练样本,并基于所述第一损失函数,对所述隐写模型、RGB域解析模型、频域解析模型和频域特征提取模型进行联合训练,得到训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型,所述RGB域解析模型用于从所述隐写模型的输出信息的RGB信息中还原出所述预设模型的模型结构和模型权重,所述频域解析模型用于从所述隐写模型的输出信息的频域信息中还原出所述预设模型的模型结构和模型权重,所述频域特征提取模型用于提取所述载体样本和所述隐写模型的输出信息的频域信息中的特征。
本说明书实施例中,所述第一损失函数基于所述隐写模型的输出信息与所述载体样本之间的相似度的最大值、所述预设模型的模型结构和模型权重与从所述隐写模型的输出信息中还原出所述预设模型的相应模型结构和模型权重之间的相似度的最大值、所述隐写模型的输出信息的频域信息与所述载体样本的频域信息之间的相似度的最大值和所述隐写模型的输出信息的频域信息对应的特征与所述载体样本的频域信息对应的特征之间的相似度的最大值确定。
本说明书实施例中,还包括:
将所述预设模型的模型结构和模型权重输入到预先构建的载体生成模型中,生成用于承载以信息隐藏的方式写入所述预设模型的数据的第一载体;
将所述预设模型的模型结构和模型权重,以及所述第一载体输入到所述训练后的隐写模型中,并将所述隐写模型的输出信息的RGB信息输入到所述训练后的RGB域解析模型中,将所述隐写模型的输出信息的频域信息输入到所述训练后的频域解析模型中,将所述隐写模型的输出信息和所述第一载体输入到所述训练后的频域特征提取模型中,分别得到所述训练后的RGB域解析模型的输出信息、所述训练后的频域解析模型的输出信息和所述训练后的频域特征提取模型的输出信息;
基于所述第一载体、所述预设模型的模型结构和模型权重、所述隐写模型的输出信息、所述训练后的RGB域解析模型的输出信息、所述训练后的频域解析模型的输出信息和所述训练后的频域特征提取模型的输出信息,并通过第二损失函数,确定所述载体生成模型是否收敛,如果所述载体生成模型未收敛,则使用所述预设模型的模型结构和模型权重,继续对所述载体生成模型、所述训练后的隐写模型、所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型进行联合训练,直到所述载体生成模型收敛,得到训练后的载体生成模型。
本说明书实施例中,所述基于所述预设模型的模型结构和/或模型权重,确定用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本,包括:
将所述预设模型的模型结构和模型权重输入到所述训练后的载体生成模型中,得到用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本。
本说明书实施例中,所述第二损失函数基于所述第一损失函数和所述第一载体中相邻的两个区域的特征之间的距离处于预设的距离范围内对应的数值确定,所述载体生成模型是基于StyleGAN构建的模型。
本说明书实施例中,还包括:
将所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型,以及所述目标模型对应的隐写信息发送给目标设备,所述目标模型对应的隐写信息用于触发所述目标设备基于所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型重构所述目标模型。
具体在本实施例中,模型的处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对模型的处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型;
获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息;
基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重;
将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
本说明书实施例中,所述基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重,包括:
基于所述目标模型对应的隐写信息的预设固有属性的属性信息,确定所述目标模型的模型结构;
所述目标模型对应的隐写信息分别输入到所述训练后的RGB域解析模型和所述训练后的频域解析模型中,得到从所述目标模型对应的隐写信息中还原出的所述目标模型的预选模型权重;
计算所述预选模型权重的平均值,并将计算得到的平均值作为所述目标模型的模型权重。
本说明书实施例提供一种模型的处理设备,通过获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到,后续可以对隐写信息进行重构,得到重构的目标模型,以进行相应的业务处理,这样,为了提升隐写处理的精确度,重新设计了针对目标模型的隐写处理方案,同时提出了局部一致性损失,并基于上述损失训练了载体生成模型,以生成类似自然载体(如自然图像等)的用于进行隐写处理的目标载体,使得生成的载体具有更好的隐写性能,从上述两个方面大幅提升了隐写的性能,使得隐写处理可以被用于模型的隐私保护中。
实施例八
进一步地,基于上述图1到图5所示的方法,本说明书一个或多个实施例还提供了一种存储介质,用于存储计算机可执行指令信息,一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令信息在被处理器执行时,能实现以下流程:
获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重;
基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量;
将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体;
基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
本说明书实施例中,所述基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,包括:
将所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到所述目标模型对应的隐写信息。
本说明书实施例中,所述基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,包括:
将所述目标载体和所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到预选隐写信息;
将所述第一数据设置为所述预选隐写信息的预设固有属性的属性信息,将设置有所述属性信息的预选隐写信息作为所述目标模型对应的隐写信息。
本说明书实施例中,所述第一数据为预设位数的数据,所述第一数据由用于表征所述目标模型对应的模型结构所属的类型的数据和用于表征所述目标模型对应的模型结构中的参数的形状的数据构建,所述目标载体为图像。
本说明书实施例中,还包括:
获取多个不同的预设模型,并获取每个所述预设模型的模型结构和模型权重;
基于所述预设模型的模型结构和/或模型权重,确定用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本;
将所述预设模型的模型结构和模型权重,以及所述载体样本作为训练样本,并基于所述第一损失函数,对所述隐写模型、RGB域解析模型、频域解析模型和频域特征提取模型进行联合训练,得到训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型,所述RGB域解析模型用于从所述隐写模型的输出信息的RGB信息中还原出所述预设模型的模型结构和模型权重,所述频域解析模型用于从所述隐写模型的输出信息的频域信息中还原出所述预设模型的模型结构和模型权重,所述频域特征提取模型用于提取所述载体样本和所述隐写模型的输出信息的频域信息中的特征。
本说明书实施例中,所述第一损失函数基于所述隐写模型的输出信息与所述载体样本之间的相似度的最大值、所述预设模型的模型结构和模型权重与从所述隐写模型的输出信息中还原出所述预设模型的相应模型结构和模型权重之间的相似度的最大值、所述隐写模型的输出信息的频域信息与所述载体样本的频域信息之间的相似度的最大值和所述隐写模型的输出信息的频域信息对应的特征与所述载体样本的频域信息对应的特征之间的相似度的最大值确定。
本说明书实施例中,还包括:
将所述预设模型的模型结构和模型权重输入到预先构建的载体生成模型中,生成用于承载以信息隐藏的方式写入所述预设模型的数据的第一载体;
将所述预设模型的模型结构和模型权重,以及所述第一载体输入到所述训练后的隐写模型中,并将所述隐写模型的输出信息的RGB信息输入到所述训练后的RGB域解析模型中,将所述隐写模型的输出信息的频域信息输入到所述训练后的频域解析模型中,将所述隐写模型的输出信息和所述第一载体输入到所述训练后的频域特征提取模型中,分别得到所述训练后的RGB域解析模型的输出信息、所述训练后的频域解析模型的输出信息和所述训练后的频域特征提取模型的输出信息;
基于所述第一载体、所述预设模型的模型结构和模型权重、所述隐写模型的输出信息、所述训练后的RGB域解析模型的输出信息、所述训练后的频域解析模型的输出信息和所述训练后的频域特征提取模型的输出信息,并通过第二损失函数,确定所述载体生成模型是否收敛,如果所述载体生成模型未收敛,则使用所述预设模型的模型结构和模型权重,继续对所述载体生成模型、所述训练后的隐写模型、所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型进行联合训练,直到所述载体生成模型收敛,得到训练后的载体生成模型。
本说明书实施例中,所述基于所述预设模型的模型结构和/或模型权重,确定用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本,包括:
将所述预设模型的模型结构和模型权重输入到所述训练后的载体生成模型中,得到用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本。
本说明书实施例中,所述第二损失函数基于所述第一损失函数和所述第一载体中相邻的两个区域的特征之间的距离处于预设的距离范围内对应的数值确定,所述载体生成模型是基于StyleGAN构建的模型。
本说明书实施例中,还包括:
将所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型,以及所述目标模型对应的隐写信息发送给目标设备,所述目标模型对应的隐写信息用于触发所述目标设备基于所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型重构所述目标模型。
此外,在另一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令信息在被处理器执行时,能实现以下流程:
接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型;
获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息;
基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重;
将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
本说明书实施例中,所述基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重,包括:
基于所述目标模型对应的隐写信息的预设固有属性的属性信息,确定所述目标模型的模型结构;
所述目标模型对应的隐写信息分别输入到所述训练后的RGB域解析模型和所述训练后的频域解析模型中,得到从所述目标模型对应的隐写信息中还原出的所述目标模型的预选模型权重;
计算所述预选模型权重的平均值,并将计算得到的平均值作为所述目标模型的模型权重。
本说明书实施例提供一种存储介质,通过获取待保护的目标模型,并获取目标模型的模型结构和模型权重,然后,基于模型结构,对目标模型包含的每个网络层的结构进行数据化处理,得到每个网络层对应的第一数据,并对模型权重进行结构化处理,得到模型权重对应的预设维度的张量,将模型权重对应的预设维度的张量输入到载体生成模型中,生成用于承载目标模型的数据的目标载体,基于目标载体、第一数据和模型权重对应的预设维度的张量,以及隐写模型,确定目标模型对应的隐写信息,隐写模型基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到,后续可以对隐写信息进行重构,得到重构的目标模型,以进行相应的业务处理,这样,为了提升隐写处理的精确度,重新设计了针对目标模型的隐写处理方案,同时提出了局部一致性损失,并基于上述损失训练了载体生成模型,以生成类似自然载体(如自然图像等)的用于进行隐写处理的目标载体,使得生成的载体具有更好的隐写性能,从上述两个方面大幅提升了隐写的性能,使得隐写处理可以被用于模型的隐私保护中。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串并设备的处理器以产生一个机器,使得通过计算机或其他可编程欺诈案例的串并设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程欺诈案例的串并设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程欺诈案例的串并设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (18)
1.一种模型的处理方法,应用于服务器,所述方法包括:
获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重;
基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量;
将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体;
基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
2.根据权利要求1所述的方法,所述基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,包括:
将所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到所述目标模型对应的隐写信息。
3.根据权利要求1所述的方法,所述基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,包括:
将所述目标载体和所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的隐写模型中,得到预选隐写信息;
将所述第一数据设置为所述预选隐写信息的预设固有属性的属性信息,将设置有所述属性信息的预选隐写信息作为所述目标模型对应的隐写信息。
4.根据权利要求1-3中任一项所述的方法,所述第一数据为预设位数的数据,所述第一数据由用于表征所述目标模型对应的模型结构所属的类型的数据和用于表征所述目标模型对应的模型结构中的参数的形状的数据构建,所述目标载体为图像。
5.根据权利要求4所述的方法,所述方法还包括:
获取多个不同的预设模型,并获取每个所述预设模型的模型结构和模型权重;
基于所述预设模型的模型结构,对所述预设模型包含的每个网络层的结构进行数据化处理,得到所述预设模型包含的每个网络层对应的第二数据,并对所述预设模型的模型权重进行结构化处理,得到所述预设模型的模型权重对应的预设维度的张量;
基于所述第二数据和/或所述预设模型的模型权重对应的预设维度的张量,确定用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本;
将所述第二数据和所述预设模型的模型权重对应的预设维度的张量,以及所述载体样本作为训练样本,并基于所述第一损失函数,对所述隐写模型、RGB域解析模型、频域解析模型和频域特征提取模型进行联合训练,得到训练后的隐写模型、训练后的RGB域解析模型、训练后的频域解析模型和训练后的频域特征提取模型,所述RGB域解析模型用于从所述隐写模型的输出信息的RGB信息中还原出所述第二数据和所述预设模型的模型权重对应的预设维度的张量,所述频域解析模型用于从所述隐写模型的输出信息的频域信息中还原出所述第二数据和所述预设模型的模型权重对应的预设维度的张量,所述频域特征提取模型用于提取所述载体样本和所述隐写模型的输出信息的频域信息中的特征。
6.根据权利要求5所述的方法,所述第一损失函数基于所述隐写模型的输出信息与所述载体样本之间的相似度的最大值、所述第二数据和所述预设模型的模型权重对应的预设维度的张量与从所述隐写模型的输出信息中还原出的所述第二数据和所述预设模型的模型权重对应的预设维度的张量之间的相似度的最大值、所述隐写模型的输出信息的频域信息与所述载体样本的频域信息之间的相似度的最大值和所述隐写模型的输出信息的频域信息对应的特征与所述载体样本的频域信息对应的特征之间的相似度的最大值确定。
7.根据权利要求6所述的方法,所述方法还包括:
将所述第二数据和所述预设模型的模型权重对应的预设维度的张量输入到预先构建的载体生成模型中,生成用于承载以信息隐藏的方式写入所述预设模型的数据的第一载体;
将所述第二数据和所述预设模型的模型权重对应的预设维度的张量,以及所述第一载体输入到所述训练后的隐写模型中,并将所述隐写模型的输出信息的RGB信息输入到所述训练后的RGB域解析模型中,将所述隐写模型的输出信息的频域信息输入到所述训练后的频域解析模型中,将所述隐写模型的输出信息和所述第一载体输入到所述训练后的频域特征提取模型中,分别得到所述训练后的RGB域解析模型的输出信息、所述训练后的频域解析模型的输出信息和所述训练后的频域特征提取模型的输出信息;
基于所述第一载体、所述第二数据和所述预设模型的模型权重对应的预设维度的张量、所述隐写模型的输出信息、所述训练后的RGB域解析模型的输出信息、所述训练后的频域解析模型的输出信息和所述训练后的频域特征提取模型的输出信息,并通过第二损失函数,确定所述载体生成模型是否收敛,如果所述载体生成模型未收敛,则基于所述预设模型的模型结构和模型权重,继续对所述载体生成模型、所述训练后的隐写模型、所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型进行联合训练,直到所述载体生成模型收敛,得到训练后的载体生成模型。
8.根据权利要求7所述的方法,所述基于所述第二数据和所述预设模型的模型权重对应的预设维度的张量,确定用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本,包括:
将所述第二数据和所述预设模型的模型权重对应的预设维度的张量输入到所述训练后的载体生成模型中,得到用于承载以信息隐藏的方式写入所述预设模型的数据的载体样本。
9.根据权利要求7所述的方法,所述第二损失函数基于所述第一损失函数和所述第一载体中相邻的两个区域的特征之间的距离处于预设的距离范围内对应的数值确定,所述载体生成模型是基于StyleGAN构建的模型。
10.根据权利要求5所述的方法,所述方法还包括:
将所述训练后的RGB域解析模型、所述训练后的频域解析模型和所述训练后的频域特征提取模型,以及所述目标模型对应的隐写信息发送给目标设备,所述目标模型对应的隐写信息用于触发所述目标设备基于所述训练后的RGB域解析模型和所述训练后的频域解析模型重构所述目标模型。
11.一种模型的处理方法,应用于目标设备,所述方法包括:
接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型;
获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息;
基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重;
将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
12.根据权利要求11所述的方法,所述基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重,包括:
基于所述目标模型对应的隐写信息的预设固有属性的属性信息,确定所述目标模型的模型结构;
将所述目标模型对应的隐写信息分别输入到所述训练后的RGB域解析模型和所述训练后的频域解析模型中,得到从所述目标模型对应的隐写信息中还原出的所述目标模型的预选模型权重;
计算所述预选模型权重的平均值,并将计算得到的平均值作为所述目标模型的模型权重。
13.一种模型的处理装置,所述装置包括:
模型信息获取模块,获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重;
模型信息转换模块,基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量;
载体生成模块,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体;
模型隐写模块,基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
14.一种模型的处理装置,所述装置包括:
模型接收模块,接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型;
请求获取模块,获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息;
信息解析模块,基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重;
模型重构模块,将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
15.一种模型的处理设备,所述模型的处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重;
基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量;
将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体;
基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
16.一种模型的处理设备,所述模型的处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型;
获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息;
基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重;
将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
17.一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下流程:
获取待保护的目标模型,并获取所述目标模型的模型结构和模型权重;
基于所述模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量;
将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体;
基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型,确定所述目标模型对应的隐写信息,所述隐写模型是基于包括在频域内对预设模型的数据进行隐写处理前后的一致性约束构建的第一损失函数进行模型训练而得到的模型。
18.一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下流程:
接收所述服务器发送的训练后的RGB域解析模型和训练后的频域解析模型;
获取对目标模型的重构请求,所述重构请求中包括所述目标模型对应的隐写信息,所述目标模型对应的隐写信息是基于所述目标模型的模型结构,对所述目标模型包含的每个网络层的结构进行数据化处理,得到所述目标模型包含的每个网络层对应的第一数据,并对所述目标模型的模型权重进行结构化处理,得到所述模型权重对应的预设维度的张量,将所述模型权重对应的预设维度的张量输入到预先通过模型训练得到的载体生成模型中,生成用于承载以信息隐藏的方式写入所述目标模型的数据的目标载体,并基于所述目标载体、所述第一数据和所述模型权重对应的预设维度的张量,以及预先通过模型训练得到的隐写模型确定的隐写信息;
基于所述目标模型对应的隐写信息、所述训练后的RGB域解析模型和所述训练后的频域解析模型,确定所述目标模型的模型结构和模型权重;
将所述模型权重加载到相应的所述模型结构中,得到重构的目标模型,并基于重构的目标模型进行目标业务的业务处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210571111.2A CN115048661A (zh) | 2022-05-24 | 2022-05-24 | 一种模型的处理方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210571111.2A CN115048661A (zh) | 2022-05-24 | 2022-05-24 | 一种模型的处理方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115048661A true CN115048661A (zh) | 2022-09-13 |
Family
ID=83159722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210571111.2A Pending CN115048661A (zh) | 2022-05-24 | 2022-05-24 | 一种模型的处理方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115048661A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115238250A (zh) * | 2022-09-15 | 2022-10-25 | 支付宝(杭州)信息技术有限公司 | 一种模型的处理方法、装置及设备 |
-
2022
- 2022-05-24 CN CN202210571111.2A patent/CN115048661A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115238250A (zh) * | 2022-09-15 | 2022-10-25 | 支付宝(杭州)信息技术有限公司 | 一种模型的处理方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10740640B2 (en) | Image processing method and processing device | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN115359219B (zh) | 虚拟世界的虚拟形象处理方法及装置 | |
CN111401037B (zh) | 自然语言的生成方法、装置、电子设备及存储介质 | |
CN113961736A (zh) | 文本生成图像的方法、装置、计算机设备和存储介质 | |
CN114358243A (zh) | 通用特征提取网络训练方法、装置及通用特征提取网络 | |
CN114880706A (zh) | 一种信息处理方法、装置及设备 | |
CN113221717B (zh) | 一种基于隐私保护的模型构建方法、装置及设备 | |
CN115048661A (zh) | 一种模型的处理方法、装置及设备 | |
CN114462039A (zh) | 一种基于Transformer结构的安卓恶意软件检测方法 | |
CN117612269A (zh) | 一种生物攻击检测方法、装置及设备 | |
CN117422783A (zh) | 图像样本生成模型的训练方法、图像样本生成方法及装置 | |
CN116630480A (zh) | 一种交互式文本驱动图像编辑的方法、装置和电子设备 | |
CN115238250B (zh) | 一种模型的处理方法、装置及设备 | |
CN111723186A (zh) | 用于对话系统的基于人工智能的知识图谱生成方法、电子设备 | |
CN115577336A (zh) | 一种生物识别处理方法、装置及设备 | |
CN113239852B (zh) | 一种基于隐私保护的隐私图像处理方法、装置及设备 | |
CN115499635A (zh) | 数据压缩处理方法及装置 | |
CN118568276A (zh) | 基于索引的虚拟形象数据处理方法及装置 | |
CN114912140A (zh) | 基于差分隐私的待共享数据处理方法、装置、设备和介质 | |
CN115358777A (zh) | 虚拟世界的广告投放处理方法及装置 | |
CN113515753A (zh) | 一种信息隐藏方法及装置 | |
CN115204264A (zh) | 一种模型的处理方法、装置及设备 | |
CN115982757B (zh) | 一种模型的隐私保护程度的确定方法、装置及设备 | |
KR20200083751A (ko) | 다차원 임베딩을 이용한 시퀀스 데이터 태깅 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |