CN114331791A - 模型水印生成、模型侵权鉴定方法、装置和计算机设备 - Google Patents

模型水印生成、模型侵权鉴定方法、装置和计算机设备 Download PDF

Info

Publication number
CN114331791A
CN114331791A CN202111188742.8A CN202111188742A CN114331791A CN 114331791 A CN114331791 A CN 114331791A CN 202111188742 A CN202111188742 A CN 202111188742A CN 114331791 A CN114331791 A CN 114331791A
Authority
CN
China
Prior art keywords
model
information
current
target
watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111188742.8A
Other languages
English (en)
Inventor
黄灏
唐梦云
郑兴
李海炜
甘祥
杨勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111188742.8A priority Critical patent/CN114331791A/zh
Publication of CN114331791A publication Critical patent/CN114331791A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种模型水印生成、模型侵权鉴定方法、装置、计算机设备和存储介质。本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等场景。该方法包括:将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息,初始融合信息是融合样本预测信息和对应的初始模型水印得到,基于模型版权信息和初始预测版权信息对当前融合信息进行更新得到新的当前融合信息,返回将当前融合信息输入模型的步骤,直至满足收敛条件,得到目标融合信息,基于样本预测信息和对应的目标融合信息得到目标模型水印,并嵌入待保护模型得到目标模型,目标模型和当前版权信息提取模型用于保护待保护模型的模型版权。

Description

模型水印生成、模型侵权鉴定方法、装置和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种模型水印生成、模型侵权鉴定方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的不断发展,深度学习的研究成果在自然语言处理、图像识别、工业控制、信号处理、安全等领域得到广泛应用。
目前,训练一个性能有益的深度学习模型往往需要大量高质量的数据和昂贵的计算资源。然而,训练好的模型存在着被侵权的风险,例如,攻击者可以通过使用一个替代模型来模仿已训练的模型从而窃取该模型的模型信息。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高模型安全性,保护模型版权的模型水印生成、模型侵权鉴定方法、装置、计算机设备和存储介质。
一种模型水印生成方法,所述方法包括:
获取待保护模型对应的模型版权信息,获取所述待保护模型的当前样本预测信息所对应的当前融合信息;其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印;
将所述目标模型水印嵌入所述待保护模型,得到目标模型,所述目标模型和当前版权信息提取模型用于对所述待保护模型进行模型版权保护。
一种模型水印生成装置,所述装置包括:
信息获取模块,用于获取待保护模型对应的模型版权信息,获取所述待保护模型的当前样本预测信息所对应的当前融合信息;其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
信息预测模块,用于将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;
信息更新模块,用于基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
水印确定模块,用于基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印;
水印嵌入模块,用于将所述目标模型水印嵌入所述待保护模型,得到目标模型,所述目标模型和当前版权信息提取模型用于对所述待保护模型进行模型版权保护。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待保护模型对应的模型版权信息,获取所述待保护模型的当前样本预测信息所对应的当前融合信息;其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印;
将所述目标模型水印嵌入所述待保护模型,得到目标模型,所述目标模型和当前版权信息提取模型用于对所述待保护模型进行模型版权保护。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待保护模型对应的模型版权信息,获取所述待保护模型的当前样本预测信息所对应的当前融合信息;其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印;
将所述目标模型水印嵌入所述待保护模型,得到目标模型,所述目标模型和当前版权信息提取模型用于对所述待保护模型进行模型版权保护。
一种模型侵权鉴定方法,所述方法包括:
获取待鉴定模型和模型版权信息,获取所述模型版权信息对应的当前版权信息提取模型;
基于当前版权信息提取模型和模型版权信息,对所述待鉴定模型进行侵权鉴定,得到侵权鉴定结果;
其中,当前版权信息提取模型用于从目标输入数据中提取所述模型版权信息,所述目标输入数据包含所述模型版权信息对应的目标模型水印,所述目标模型水印的生成过程如下:
将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;当前样本预测信息对应的初始融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印。
一种模型侵权鉴定装置,所述装置包括:
数据获取模块,用于获取待鉴定模型和模型版权信息,获取所述模型版权信息对应的当前版权信息提取模型;
模型侵权鉴定模块,用于基于当前版权信息提取模型和模型版权信息,对所述待鉴定模型进行侵权鉴定,得到侵权鉴定结果;
其中,当前版权信息提取模型用于从目标输入数据中提取所述模型版权信息,所述目标输入数据包含所述模型版权信息对应的目标模型水印,所述目标模型水印的生成过程如下:
将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;当前样本预测信息对应的初始融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待鉴定模型和模型版权信息,获取所述模型版权信息对应的当前版权信息提取模型;
基于当前版权信息提取模型和模型版权信息,对所述待鉴定模型进行侵权鉴定,得到侵权鉴定结果;
其中,当前版权信息提取模型用于从目标输入数据中提取所述模型版权信息,所述目标输入数据包含所述模型版权信息对应的目标模型水印,所述目标模型水印的生成过程如下:
将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;当前样本预测信息对应的初始融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待鉴定模型和模型版权信息,获取所述模型版权信息对应的当前版权信息提取模型;
基于当前版权信息提取模型和模型版权信息,对所述待鉴定模型进行侵权鉴定,得到侵权鉴定结果;
其中,当前版权信息提取模型用于从目标输入数据中提取所述模型版权信息,所述目标输入数据包含所述模型版权信息对应的目标模型水印,所述目标模型水印的生成过程如下:
将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;当前样本预测信息对应的初始融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印。
上述模型水印生成、模型侵权鉴定方法、装置、计算机设备和存储介质,通过获取待保护模型对应的模型版权信息,获取待保护模型的当前样本预测信息所对应的当前融合信息,其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的,将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息,基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息,基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印,将目标模型水印嵌入待保护模型,得到目标模型,目标模型和当前版权信息提取模型用于对待保护模型进行模型版权保护。这样,基于准确的模型版权信息和模型输出的预测版权信息之间的信息差异,调整融合有初始模型水印的数据,通过迭代可以将模型版权信息最终嵌入到模型水印中,从而得到融合有目标模型水印的数据,即目标融合信息。将从目标融合信息中提取到的目标模型水印嵌入待保护模型,目标模型水印嵌有模型版权信息,可以对待保护模型形成保护,提高待保护模型的模型安全性,保护模型版权。
附图说明
图1为一个实施例中模型水印生成、模型侵权鉴定方法的应用环境图;
图2为一个实施例中模型水印生成方法的流程示意图;
图3为一个实施例中训练目标版权信息提取模型的流程示意图;
图4为另一个实施例中训练目标版权信息提取模型的流程示意图;
图5为又一个实施例中训练目标版权信息提取模型的流程示意图;
图6为一个实施例中模型侵权鉴定的流程示意图;
图7为一个实施例中模型侵权鉴定方法的流程示意图;
图8为一个实施例中保护模型版权的流程示意图;
图9为一个实施例中生成模型水印和训练提取器的流程示意图;
图10为一个实施例中模型水印生成装置的结构框图;
图11为一个实施例中模型侵权鉴定装置的结构框图;
图12为一个实施例中计算机设备的内部结构图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术和语音合成技术以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉、语音、机器学习等技术,具体通过如下实施例进行说明:
本申请提供的模型水印生成、模型侵权鉴定方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、车载终端和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云服务器来实现。
终端102和服务器104均可单独用于执行本申请实施例中提供的模型水印生成、模型侵权鉴定方法。
例如,服务器获取待保护模型对应的模型版权信息,服务器获取待保护模型的当前样本预测信息所对应的当前融合信息,初始的当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的。服务器将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息。服务器基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息。服务器基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印。服务器将目标模型水印嵌入待保护模型,得到目标模型,目标模型和当前版权信息提取模型用于对待保护模型进行模型版权保护。
终端获取待鉴定模型和模型版权信息,获取模型版权信息对应的当前版权信息提取模型。终端基于当前版权信息提取器和模型版权信息,对待鉴定模型进行侵权鉴定,得到侵权鉴定结果。
终端102和服务器104也可协同用于执行本申请实施例中提供的模型水印生成、模型侵权鉴定方法。
例如,服务器从终端获取待保护模型对应的模型版权信息,从终端获取待保护模型的当前样本预测信息所对应的当前融合信息。服务器将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息。服务器基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息。服务器基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印。服务器将目标模型水印嵌入待保护模型,得到目标模型。服务器将目标模型发送至终端。
服务器从终端获取待鉴定模型和模型版权信息,基于模型版权信息和对应的当前版权信息提取器,对待鉴定模型进行侵权鉴定,得到侵权鉴定结果。服务器将侵权鉴定结果发送至终端。
本发明实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
在一个实施例中,如图2所示,提供了一种模型水印生成方法,以该方法应用于图1中的计算机为例进行说明,可以理解的是,计算机设备可以是终端102,也可以是服务器104。本实施例中,模型水印生成方法包括以下步骤:
步骤S202,获取待保护模型对应的模型版权信息,获取待保护模型的当前样本预测信息所对应的当前融合信息;其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的。
其中,待保护模型是指待保护模型版权、模型知识产权的深度学习模型。待保护模型可以是已训练的深度学习模型。模型版权信息用于标识模型的所有权,模型版权信息可以是基于模型版权持有者的用户属性信息生成的,例如,将模型版权持有者的用户标识作为模型版权信息,将模型版权持有者的归属机构标识作为模型版权信息。
当前样本预测信息是指当前使用的样本预测信息。样本预测信息是指待保护模型的输出数据、预测数据。将训练样本输入待保护模型,经过待保护模型的内部数据处理,待保护模型会输出样本预测信息。例如,待保护模型为图像去雨模型,将带雨纹的图像输入图像去雨模型,模型可以输出去了雨纹的图像,该去了雨纹的图像即为样本预测信息。
初始模型水印是指初始的模型水印。模型水印可以和待保护模型的输出数据进行融合,构造出用户无法感知其中水印信息或对原始的输出数据理解无影响的特殊数据。可以理解,待保护模型的训练样本可以有多个,那么样本预测信息也有多个。各个样本预测信息对应的初始模型水印可以是随机初始化的模型水印,各个样本预测信息对应的初始模型水印可以相同可以不同。此外,当前训练样本的样本预测信息对应的初始模型水印也可以是基于上一训练样本的样本预测信息对应的模型水印得到的。
当前融合信息是指当前使用的融合信息。初始的融合信息是将样本预测信息和初始模型水印融合得到的,后续,经过迭代调整,融合信息会不断发生变化,不断更新,直至不再更新,得到最终的融合信息。
具体地,计算机设备可以在本地、或从其他终端、服务器获取待保护模型对应的模型版权信息,获取待保护模型的当前样本预测信息所对应的当前融合信息。当用户存在保护模型版权的需求时,用户需要提供待保护模型和对应的模型版权信息。待保护模型的训练样本可以是用户提供的,也可以是在获知待保护模型输入数据格式的基础上,计算机设备自主确定的。进而,计算机设备将训练样本输入待保护模型,即可得到样本预测信息,再将样本预测信息和对应的初始模型水印进行融合,即可得到初始的融合信息。
在一个实施例中,待保护模型包括图像处理模型和语音处理模型中的任意一种。
具体地,待保护模型可以是图像处理模型,图像处理模型是对图像进行数据处理的深度学习模型。图像处理模型的输入数据为图像,输出数据也为图像。例如,图像处理模型可以是图像去雨模型、图像超分模型、图像风格迁移模型等。图像去雨模型用于去除输入图像中的雨纹。图像超分模型用于提高输入图像的分辨率。图像风格迁移模型用于改变输入图像的样式、风格,例如,将拍摄的原始图像转换为油画风格的图像,将采用第一艺术字体的签名图像转换为采用第二艺术字体的签名图像。可以理解,当待保护模型为图像处理模型,模型水印可以为图像类型的水印,模型水印的图像尺寸小于或等于待添加水印的图像的尺寸。将样本预测信息和初始模型水印进行融合,就是将图像处理模型的输出图像和水印图像中对应像素点的像素值进行叠加,从而得到新的图像。
待保护模型也可以是语音处理模型,语音处理模型是对语音进行数据处理的深度学习模型。语音处理模型的输入数据为语音,输出数据也为语音。例如,语音处理模型可以是语音风格迁移模型、语音质量优化模型等。与图像风格迁移模型类似,语音风格迁移模型用于改变输入语音的风格。语音质量优化模型用于提高输入语音的清晰度、可懂性。可以理解,当待保护模型为语音处理模型,模型水印可以为语音类型的水印。模型水印的语音长度小于或等于待添加水印的语音的长度。将样本预测信息和初始模型水印进行融合,就是将语音处理模型的输出语音和水印语音中对应采样点的语音值进行叠加,从而得到新的语音。
步骤S204,将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息。
步骤S206,基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息。
其中,当前版权信息提取模型是指当前使用的版权信息提取模型。版权信息提取模型是从输入数据中提取版权信息的深度学习模型。预测版权信息是指版权信息提取模型的输出数据、预测数据。版权信息提取模型的输入数据为融合信息,输出数据为预测版权信息,预期输出数据为模型版权信息。
具体地,计算机设备可以将训练样本对应的融合信息作为当前版权信息提取模型的输入,迭代地攻击当前版权信息提取模型,不断更新融合信息中的初始模型水印,从而得到融合有目标模型水印的数据,即目标融合信息。计算机设备具体可以先将当前训练样本的当前样本预测信息所对应的初始融合信息输入当前版权信息提取模型,通过模型内部的数据处理,从当前融合信息中提取模型版权信息,从而得到当前样本预测信息对应的初始预测版权信息。进而,计算机设备基于模型版权信息和初始预测版权信息之间的信息差异,对初始融合信息进行更新,例如,基于模型版权信息和初始预测版权信息之间的相似度对初始融合信息进行更新。计算机设备再将更新后的初始融合信息输入当前版权信息提取模型,得到更新的初始预测版权信息,基于模型版权信息和更新的初始预测版权信息之间的信息差异,对更新后的初始融合信息进行进一步的更新,以此类推,通过多次迭代处理,直至满足收敛条件,将最终的初始融合信息作为当前训练样本对应的目标融合信息。也就是,计算机设备将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息,基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息。
其中,收敛条件具体可以是迭代次数达到预设次数、融合信息在连续的目标次数迭代中不再变化或变化量小于预设阈值等。预设次数、目标次数和预设阈值可以根据实际需要进行设置。
可以理解,计算机设备可以通过自定义公式或算法,基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新。
在一个实施例中,计算机设备可以基于单个样本迭代地攻击当前版权信息提取模型,进而得到单样本对应的目标融合信息,再从目标融合信息中提取单样本对应的模型水印。计算机设备也可以基于一批样本迭代地攻击同一版权信息提取模型,进而得到该批次中各个样本分别对应的目标融合信息,再从目标融合信息中提取各个样本分别对应的模型水印。
步骤S208,基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印。
具体地,在得到目标融合信息后,计算机设备可以计算样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印,例如,计算样本预测信息和对应的目标融合信息之间的差值得到目标模型水印。可以理解,通过迭代处理,目标模型水印中最终嵌入了模型版权信息。进一步的,若训练样本对应的初始模型水印是随机初始化的,那么计算机设备可以融合各个训练样本对应的最终模型水印得到通用的目标模型水印。若训练样本对应的初始模型水印是基于上一训练样本的模型水印生成的,那么计算机设备可以将最后一个训练样本对应的最终模型水印作为目标模型水印。
步骤S210,将目标模型水印嵌入待保护模型,得到目标模型,目标模型和当前版权信息提取模型用于对待保护模型进行模型版权保护。
具体地,在得到目标模型水印后,计算机设备可以将目标模型水印嵌入待保护模型,使得待保护模型的输出数据中嵌有目标模型水印,从而得到目标模型。例如,计算机设备可以将目标模型水印作为目标网络层的参数,将目标网络层连接在待保护模型之后,得到目标模型,这样,通过目标网络层将待保护模型的输出数据和目标模型水印进行融合,将目标模型水印嵌入待保护模型的输出数据中,将融合结果作为目标模型的输出数据。
目标模型和当前版权信息提取模型可以用于对待保护模型进行模型版权保护。计算机设备可以将目标模型反馈给用户。在用户获取到目标模型后,用户可以选择对外发布目标模型,而不是发布待保护模型。那么,攻击者通过模仿而生成的侵权模型的输出数据会携带目标模型水印。当前版权信息提取模型可以用于鉴定模型的输出数据是否携带目标模型水印,具体可以通过是否能从模型的输出数据提取出模型版权信息来判断。将待鉴定模型的输出数据输入当前版权信息提取模型,若当前版权信息提取模型的输出数据包括待保护模型的模型版权信息,那么可以确定待鉴定模型为侵权模型,侵犯了待保护模型的模型版权。
在一个实施例中,初始模型水印和目标模型水印对应的水印属性信息在预设区间内。
其中,水印属性信息用于表征模型水印的属性,可以将模型水印的水印内容作为水印属性信息,例如,当模型水印为水印图像时,可以将水印图像中像素点的像素值作为水印属性信息。也可以将对模型水印进行数据分析得到的信息作为水印属性信息,例如,当模型水印为水印语音时,可以将水印语音的频率作为水印属性信息,语音的频率可以通过相关算法(例如傅里叶变换)或设备对语音进行处理得到。
具体地,为了使模型水印不被用户感知,可以限制模型水印的水印属性信息在预设区间内,将初始模型水印和目标模型水印的水印属性信息限制在预设区间内。预设区间可以根据人们对信息的感知特性进行设置。例如,当图像中像素的像素值在较小的像素值范围内变化,针对变换前后的图像,人眼无法感知二者的区别。因此,若模型水印为水印图像,预设区间可以设置为人眼无法感知发生变化的像素变化区间,例如,将模型水印的像素大小限制在[-∈,∈]之间,∈约为0.05。同理,若模型水印为水印语音,预设区间可以设置为人耳无法感知发生变化的频率变化区间。这样,将初始模型水印和目标模型水印对应的水印属性信息限制在预设区间内,可以使得初始模型水印和目标模型水印不被用户感知,从而不影响待保护模型的输出数据。可以理解,当然也可以适当放宽限制条件,只要模型水印不会影响用户对待保护模型的输出数据的理解即可。
在一个实施例中,当前版权信息提取模型可以是模型参数固定的初始版权信息提取模型,例如,初始版权信息提取模型可以是预训练得到的模型,具有良好的模型参数。因此,计算机设备可以直接根据初始版权信息提取模型确定当前样本预测信息对应的目标融合信息,进而基于目标融合信息确定目标模型水印,将目标模型水印嵌入待保护模型得到目标模型。后续,可以通过目标模型和当前版权信息提取模型对待保护模型进行模型版权保护。
当然,为了进一步提高目标模型水印的准确性,计算机设备也可以进一步对初始版权信息提取模型进行模型训练,微调初始版权信息提取模型的模型参数。计算机设备可以先将训练样本对应的初始融合信息作为初始版权信息提取模型的输入,迭代地攻击初始版权信息提取模型,不断更新融合信息中的初始模型水印,从而得到训练样本对应的目标融合信息,再基于训练样本对应的目标融合信息微调初始版权信息提取模型的模型参数,将下一训练样本对应的初始融合信息作为更新后的初始版权信息提取模型的输入,迭代地攻击更新后的初始版权信息提取模型,不断更新融合信息中的初始模型水印,从而得到该下一训练样本对应的中间融合信息,再基于该下一训练样本对应的目标融合信息微调初始版权信息提取模型的模型参数依次类推,直至满足预设条件,得到目标版权信息提取模型。那么,也可以通过目标模型和目标版权信息提取模型对待保护模型进行模型版权保护。
上述模型水印生成方法中,通过获取待保护模型对应的模型版权信息,获取待保护模型的当前样本预测信息所对应的当前融合信息,其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的,将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息,基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息,基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印,将目标模型水印嵌入待保护模型,得到目标模型,目标模型和当前版权信息提取模型用于对待保护模型进行模型版权保护。这样,基于准确的模型版权信息和模型输出的预测版权信息之间的信息差异,调整融合有初始模型水印的数据,通过迭代可以将模型版权信息最终嵌入到模型水印中,从而得到融合有目标模型水印的数据,即目标融合信息。将从目标融合信息中提取到的目标模型水印嵌入待保护模型,目标模型水印嵌有模型版权信息,可以对待保护模型形成保护,提高待保护模型的模型安全性,保护模型版权。
在一个实施例中,获取待保护模型的当前样本预测信息所对应的当前融合信息,包括:
获取训练样本集,从训练样本集中确定当前训练样本;将当前训练样本输入待保护模型,得到当前训练样本对应的样本预测信息;获取当前训练样本对应的初始模型水印;将当前训练样本对应的样本预测信息和初始模型水印进行融合,得到对应的初始融合信息;将当前训练样本对应的样本预测信息和初始融合信息作为当前样本预测信息和对应的当前融合信息。
其中,训练样本集包括多个训练样本。训练样本集中的训练样本用于确定目标模型水印,可以作为待保护模型的输入的数据都可以作为训练样本。
具体地,计算机设备可以在本地、或从其他终端、服务器获取训练样本集,从训练样本集中随机选取一个训练样本作为当前训练样本。计算机设备将当前训练样本输入待保护模型,经过待保护模型的内部数据处理,待保护模型输出当前训练样本对应的样本预测信息。计算机设备再获取当前训练样本对应的初始模型水印,将当前训练样本对应的样本预测信息和初始模型水印进行融合,从而得到当前训练样本对应的初始融合信息。计算机设备可以从训练样本集中选取另一个训练样本作为下一训练样本,按照同样的方法,得到下一训练样本对应的初始融合信息,最终可以得到各个训练样本分别对应的初始融合信息。
后续,计算机设备可以将当前训练样本对应的样本预测信息和初始融合信息作为当前样本预测信息和对应的当前融合信息,将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,通过迭代处理,不断更新当前融合信息,最终得到目标融合信息。
本实施例中,通过将当前训练样本输入待保护模型,得到当前训练样本对应的样本预测信息,得到当前样本预测信息。通过将当前训练样本对应的样本预测信息和对应的初始模型水印进行融合,得到对应的初始融合信息,得到当前样本预测信息所对应的当前融合信息。
在一个实施例中,获取当前训练样本对应的初始模型水印,包括:生成随机模型水印,将随机模型水印作为当前训练样本对应的初始模型水印。
基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印,包括:基于同一样本预测信息和对应的目标融合信息之间的信息差异,得到各个样本预测信息对应的中间模型水印;将各个中间模型水印进行融合,得到目标模型水印。
其中,随机模型水印是指随机生成的模型水印。中间模型水印是指经过迭代处理后,单个训练样本对应的模型水印。
具体地,计算机设备可以随机生成一个初始化的模型水印作为训练样本对应的初始模型水印。各个训练样本对应的初始模型水印可以相同可以不同。若各个训练样本对应的初始模型水印是随机模型水印,那么在确定目标模型水印时,计算机设备可以先基于同一训练样本对应的样本预测信息和目标融合信息之间的信息差异得到该训练样本对应的中间模型水印,最终可以得到各个训练样本分别对应的中间模型水印,然后,将各个中间模型水印进行融合得到目标模型水印。计算机设备可以将各个中间模型水印进行加权求和得到目标模型水印。
举例说明,在随机模型水印的基础上,训练样本A对应的初始融合信息在进行n次迭代处理后得到中间模型水印a。在随机模型水印的基础上,训练样本B对应的初始融合信息在进行n次迭代处理后得到中间模型水印b。在随机模型水印的基础上,训练样本C对应的初始融合信息在进行n次迭代处理后得到中间模型水印。对中间模型水印a、中间模型水印b和中间模型水印c进行加权融合,得到通用的目标模型水印。
在一个实施例中,若模型水印为图像类型的水印,可以将随机模型水印的像素值大小限制在预设区间内。例如,W{unit}~U[-∈,∈]。其中,W{unit}表示随机模型水印,U[-∈,∈]表示预设区间,∈约为0.05。
在一个实施例中,目标模型水印可以通过下述公式计算得到:
W{i}=μW{i-1}+(1-μ)P{i}
其中,W{i}表示融合i个中间模型水印后得到的目标模型水印,W{i-1}表示融合i-1个中间模型水印后得到的目标模型水印,P{i}表示第i个中间模型水印,即第i个训练样本经过迭代后得到的模型水印。μ表示融合权重,可以根据需要进行设置,例如,设置为0.5。
本实施例中,各个训练样本对应的初始模型水印为随机模型水印,因此,可以快速得到各个训练样本对应的初始模型水印,进而快速迭代得到各个训练样本对应的目标融合信息。后续,在确定目标模型水印时,先确定各个训练样本对应的中间模型水印,再融合各个训练样本对应的中间模型水印最终得到通用的目标模型水印。
在一个实施例中,获取当前训练样本对应的初始模型水印,包括:获取当前训练样本的上一训练样本所对应的目标融合信息;基于上一训练样本对应的样本预测信息和目标融合信息之间的信息差异,得到上一训练样本对应的中间模型水印;基于上一训练样本对应的中间模型水印得到当前训练样本对应的初始模型水印。
基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印,包括:从训练样本集中确定目标训练样本;基于目标训练样本对应的样本预测信息和目标融合信息之间的信息差异,得到目标模型水印。
具体地,当前训练样本对应的初始模型水印也可以是基于上一训练样本的相关数据得到的。在确定当前训练样本对应的初始模型水印时,计算机设备可以获取当前训练样本的上一训练样本所对应的目标融合信息,基于上一训练样本对应的样本预测信息和目标融合信息之间的信息差异得到上一训练样本对应的中间模型水印。进而,计算机设备可以将上一训练样本对应的中间模型水印直接作为当前训练样本对应的初始模型水印,也可以将上一训练样本对应的中间模型水印和当前训练样本对应的随机模型水印进行融合得到当前训练样本对应的初始模型水印。后续,通过迭代处理,可以得到当前训练样本对应的目标融合信息,那么基于当前训练样本对应的样本预测信息和目标融合信息可以得到当前训练样本对应的中间模型水印,基于当前训练样本对应的中间模型水印可以得到下一训练样本对应的初始模型水印。
若各个训练样本对应的初始模型水印是基于各自的上一训练样本相关数据得到的,那么在确定目标模型水印时,可以将目标训练样本对应的最终模型水印作为目标模型水印。也就是,计算目标训练样本对应的样本预测信息和目标融合信息之间的信息差异,将计算结果作为目标模型水印。其中,目标训练样本可以根据需要进行设置,例如,将最后一个进行迭代处理的训练样本作为目标训练样本,将第1000个进行迭代处理的训练样本作为目标训练样本。
举例说明,在随机扰动的基础上,训练样本A对应的初始融合信息在进行n次迭代处理后得到模型水印a。在模型水印a的基础上,训练样本B对应的初始融合信息在进行n次迭代处理后得到模型水印b。在模型水印b的基础上,训练样本C对应的初始融合信息在进行n次迭代处理后得到模型水印c,将模型水印c作为通用的目标模型水印。
本实施例中,基于上一训练样本的相关数据得到当前训练样本对应的初始模型水印,再通过迭代处理得到当前训练样本对应的中间模型水印。这样,可以将水印的融合过程隐含在更换样本、迭代处理的过程中,利用模型强大的数据处理能力来提高目标模型水印的准确性和可靠性。
在一个实施例中,基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,包括:
对初始信息差异进行梯度计算,得到损失梯度;获取梯度调整参数,基于梯度调整参数对损失梯度进行更新,得到目标梯度;基于目标梯度和当前融合信息的距离,得到更新的当前融合信息。
其中,梯度调整参数用于确定损失梯度的调整幅度。梯度调整参数可以根据需要进行设置,例如,将梯度调整参数设置为0.1。
具体地,在对当前融合信息进行更新时,计算机设备可以对初始信息差异进行梯度计算得到损失梯度,然后基于梯度调整参数对损失梯度进行更新,将梯度调整参数和损失梯度进行融合得到目标梯度,例如,将梯度调整参数和损失梯度进行乘法运算得到目标梯度。最后,计算机设备计算目标梯度和当前融合信息之间的距离,基于该距离得到更新的当前融合信息,例如,将当前融合信息和目标梯度的差值作为更新的当前融合信息。
在一个实施例中,可以参考下述公式对当前融合信息进行更新:
Figure BDA0003300345820000201
其中,x{i+1}表示第i次迭代后得到的融合信息,x{i+1}可以作为第i+1次迭代时输入模型的融合信息。xi表示第i次迭代时输入模型的融合信息。α表示梯度调整参数。E(M{t}(I)+W{i})表示第i次迭代时,训练样本I对应的初始预测版权信息。M{t}(I)+W{i}表示第i次迭代时,训练样本I对应的当前融合信息,M{t}(I)表示将训练样本I输入待保护模型M得到的输出数据,即样本预测信息,W{i}表示第i次迭代时的模型水印。δ表示预设的模型版权信息。L表示损失函数,此处的L是用于计算模型版权信息和初始预测版权信息之间的初始信息差异的函数。具体的损失函数可以根据需要进行设置,损失函数的作用是让模型输出的数据更加贴近预期的输出数据。
Figure BDA0003300345820000202
表示求损失函数的梯度。
以待保护模型为图像处理模型为例,模型版权信息和初始预测版权信息可以是图片格式的数据。例如,模型版权信息为模型版权持有机构的logo图像。计算机设备可以基于模型版权信息和初始预测版权信息二者对应像素点之间的像素值计算初始信息差异,相应的,损失梯度和目标梯度可以包括各个像素点分别对应的梯度值。更新的当前融合信息可以是计算当前融合信息和目标损失二者对应像素点之间的像素差值得到的。
本实施例中,通过对初始信息差异进行梯度计算,得到损失梯度,获取梯度调整参数,基于梯度调整参数对损失梯度进行更新,得到目标梯度,基于目标梯度和当前融合信息的距离,得到更新的当前融合信息。这样,基于数据的梯度进行信息更新,可以朝着信息变化最快的方向进行信息更新,有利于提高更新速度,保证数据收敛。
在一个实施例中,如图3所示,基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息之后,所述方法还包括:
步骤S302,将当前样本预测信息对应的目标融合信息输入当前版权信息提取模型,得到目标预测版权信息。
步骤S304,基于模型版权信息和目标预测版权信息对当前版权信息提取模型进行训练,得到更新版权信息提取模型。
步骤S306,将更新版权信息提取模型作为当前版权信息提取模型,将下一样本预测信息作为当前样本预测信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至训练完成,得到目标版权信息提取模型。
具体地,为了进一步提高目标模型水印的准确性,计算机设备可以基于同一训练样本依次更新模型水印与版权信息提取模型,并通过更换训练样本来交替更新模型水印与版权信息提取模型,在不断提高版权信息提取模型的数据处理准确性的同时,同步提高了目标模型水印的准确性。
首先,固定版权信息提取模型的模型参数,先更新单个或单批训练样本的初始融合信息,得到对应的目标融合信息。将当前训练样本对应的初始融合信息输入当前版权信息提取模型,通过模型内部的数据处理,得到初始预测版权信息,基于模型版权信息和初始预测版权信息之间的初始信息差异,对初始融合信息进行更新,再将更新后的初始融合信息输入当前版权信息提取模型,得到更新的初始预测版权信息,基于模型版权信息和更新的初始预测版权信息之间的信息差异,对更新后的初始融合信息进行进一步的更新,以此类推,通过多次迭代处理,直至满足收敛条件,得到当前训练样本对应的目标融合信息。
其次,基于目标融合信息更新版权信息提取模型的模型参数。先将当前训练样本对应的目标融合信息输入当前版权信息提取模型,通过模型内部的数据处理,得到目标预测版权信息,再基于模型版权信息和目标预测版权信息对当前版权信息提取模型进行训练,更新模型参数,从而得到更新版权信息提取模型。
接着,更换训练样本重复上述步骤,最终可以训练得到性能优异的版权信息提取模型。将更新版权信息提取模型作为新的当前版权信息提取模型,将下一训练样本对应的样本预测信息作为新的当前样本预测信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至训练完成,得到目标版权信息提取模型。目标版权信息提取模型是基于大量训练样本的相关数据综合训练得到的模型,具有优异的数据处理能力。
其中,若训练样本集中预设数目的训练样本都参与模型训练,则表征训练结束,预设数目可以根据需要进行设置,例如,预设数目设置为训练样本集的训练样本总数。也可以是若当前版权信息提取模型的模型准确度大于预设准确度,则表征训练结束。模型准确度用于表征模型的预测准确性。若某一样本的目标融合信息输入模型得到的预测数据和该样本对应的模型版权信息一致,则表明此处数据处理模型预测准确,可以根据模型的预测准确次数占总次数的比例得到模型准确度。
举例说明,针对初始版权信息提取模型,在随机模型水印的基础上,训练样本A对应的初始融合信息在进行n次迭代处理后得到目标融合信息a1。将目标融合信息a1输入初始版权信息提取模型,得到目标预测版权信息a2,基于目标预测版权信息a2对初始版权信息提取模型进行训练,得到中间版权信息提取模型。针对中间版权信息提取模型,在随机模型水印的基础上,训练样本B对应的初始融合信息在进行n次迭代处理后得到目标融合信息b1。将目标融合信息b1输入初始版权信息提取模型,得到目标预测版权信息b2,基于目标预测版权信息b2对初始版权信息提取模型进行训练,得到目标版权信息提取模型。
步骤S308,将目标模型水印嵌入待保护模型,得到目标模型,目标模型和目标版权信息提取模型用于对待保护模型进行模型版权保护。
在得到多个训练样本对应的目标融合信息和目标版权信息提取模型后,计算机设备基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异可以得到目标模型水印。在得到目标模型水印后,计算机设备可以将目标模型水印嵌入待保护模型,使得待保护模型的输出数据中嵌有目标模型水印,从而得到目标模型。目标模型和目标版权信息提取模型可以用于对待保护模型进行模型版权保护。
在一个实施例中,同一待保护模型可以存在多种模型版权信息,每针对一种模型版权信息可以训练一个专门的版权信息提取模型,以提高模型版权的保护力度。
本实施例中,基于同一训练样本依次更新模型水印与版权信息提取模型,并通过更换训练样本来交替更新模型水印与版权信息提取模型,能够得到准确性更高的版权信息提取模型和目标模型水印,进而,可以更有效地对待保护模型进行模型版权保护。
在一个实施例中,如图4所示,基于模型版权信息和目标预测版权信息对当前版权信息提取模型进行训练,得到更新版权信息提取模型,包括:
步骤S402,基于模型版权信息和目标预测版权信息之间的信息差异,得到目标信息差异。
步骤S404,将当前样本预测信息输入当前版权信息提取模型,得到中间预测信息。
步骤S406,基于中间预测信息和参考信息之间的信息差异,得到中间信息差异。
步骤S408,基于中间信息差异和目标信息差异,调整当前版权信息提取模型的模型参数,得到更新版权信息提取模型。
其中,参考信息和模型版权信息为同类型的信息,但是二者具体内容不相同。例如,若模型版权信息为模型版权持有机构的logo图像,那么参考信息可以是纯白或纯黑的图像。在一个实施例中,参考信息与模型版权信息的信息差异在预设差异范围内,也就是,参考信息与模型版权信息存在合理差异,这样可以在一定程度上有效降低参考模型的学习压力。
具体地,可以采取有监督的训练方式来对当前版权信息提取模型进行训练。当前版权信息提取模型的训练目标是希望模型可以从嵌有模型水印的输入数据中提取出模型版权信息,从无水印的输入数据中提取出不是模型版权信息的无意义信息。因此,可以将目标融合信息作为模型的正训练样本,正训练样本对应的预期输出数据为模型版权信息,即正训练样本对应的训练标签为模型版权信息,将样本预测信息作为模型的负训练样本,负训练样本对应的预期输出数据为参考信息,即负训练样本对应的训练标签为参考信息。
计算机设备可以将当前样本预测信息对应的目标融合信息输入当前版权信息提取模型,模型输出目标预测版权信息,将当前样本预测信息输入同一当前版权信息提取模型,模型输出中间预测信息。然后,计算机设备计算目标预测版权信息和模型版权信息之间的信息差异得到目标信息差异,计算中间预测信息和参考信息之间的信息差异得到中间信息差异,基于中间信息差异和目标信息差异计算模型损失信息,基于模型损失信息进行反向传播,调整当前版权信息提取模型的模型参数,从而得到更新版权信息提取模型。
本实施例中,通过采取有监督的训练方式来对当前版权信息提取模型进行训练,可以提高训练准确性。
在一个实施例中,如图5所示,基于中间信息差异和目标信息差异,调整当前版权信息提取模型的模型参数,得到更新版权信息提取模型,包括:
步骤S502,将当前样本预测信息对应的训练样本输入待保护模型对应的当前参考模型,得到当前样本预测信息对应的初始参考预测信息。
步骤S504,基于当前样本预测信息对应的初始参考预测信息和目标融合信息,对当前参考模型进行训练,得到更新参考模型。
步骤S506,将当前样本预测信息对应的训练样本输入更新参考模型,得到目标参考预测信息。
步骤S508,将目标参考预测信息输入当前版权信息提取模型,得到参考预测版权信息。
步骤S510,基于参考预测版权信息和模型版权信息得到参考信息差异。
步骤S512,基于参考信息差异、中间信息差异和目标信息差异,调整当前版权信息提取模型的模型参数,得到更新版权信息提取模型。
其中,参考模型是与待保护模型结构类似、用途相同的模型。参考模型也可以称为待保护模型的代理模型。参考模型用于模拟攻击者通过模仿待保护模型所得到的模型。参考模型可以是待保护模型的提供者主动提供的,也可以是基于待保护模型的输入数据和输出数据自主构造的。代理模型可以有至少一个。
可以理解,参考模型与待保护模型用途相同,例如,若待保护模型为图片去雨模型,对应的代理模型也为图片去雨模型。当前参考模型为当前使用的参考模型。更新参考模型为调整模型参数后的参考模型。
具体地,为了进一步提高版权信息提取模型的模型性能,可以基于待保护模型的代理模型对待保护模型进行知识蒸馏,基于经过知识蒸馏得到的代理模型辅助训练版权信息提取模型,使得最终的目标版权信息提取模型可以更好地辨别出攻击者仿制的盗版模型。在进行知识蒸馏时,代理模型的输入数据为训练样本,预期输出数据为嵌有模型水印的待保护模型输出数据,即训练样本对应的目标融合信息。
计算机设备可以将当前样本预测信息对应的训练样本输入待保护模型对应的当前参考模型,通过模型的内部数据处理,当前参考模型输出当前样本预测信息对应的初始参考预测信息。然后,计算机设备基于当前样本预测信息对应的初始参考预测信息和目标融合信息生成模型损失信息,基于模型损失信息进行反向传播,调整当前参考模型的模型参数,从而得到更新参考模型。借助更新参考模型可以建立版权信息提取模型的另一种正训练样本。计算机设备可以将当前样本预测信息对应的训练样本输入更新参考模型,更新参考模型输出目标参考预测信息,将目标参考预测信息作为版权信息提取模型的另一种正训练样本,该正训练样本对应的训练标签为模型版权信息。因此,计算机设备可以基于各种正训练样本的相关数据计算得到的信息差异和基于负训练样本的相关数据计算得到的信息差异,来综合调整当前版权信息提取模型的模型参数。也就是计算机设备可以基于由参考预测版权信息和模型版权信息计算得到的参考信息差异、由目标预测版权信息和模型版权信息计算得到的目标信息差异、由中间预测信息和参考信息计算得到的参考信息差异,综合三种信息差异来生成模型损失信息,基于模型损失信息进行反向传播,调整当前版权信息提取模型的模型参数,从而得到更新版权信息提取模型。
可以理解,引入待保护模型的代理模型,可以让版权信息提取模型从知识蒸馏得到的输出数据中检测到模型水印,进而从中提取到预先嵌入的模型版权信息。也就是,版权信息提取模型可以从侵权模型的输出数据中检测到模型水印,进而从中提取到预先嵌入的模型版权信息。此外,在基于下一训练样本的相关数据训练对应的当前版权信息提取模型时,可以将基于当前训练样本得到的更新参考模型作为下一训练样本对应的当前参考模型。
举例说明,针对初始版权信息提取模型,在随机模型水印的基础上,训练样本A对应的初始融合信息在进行n次迭代处理后得到目标融合信息a1。将目标融合信息a1输入初始版权信息提取模型,得到目标预测版权信息a2,将训练样本A对应的样本预测信息输入初始版权信息提取模型,得到中间预测信息a3。将训练样本A输入初始参考模型得到初始参考预测信息a4,基于初始参考预测信息a4和模型版权信息对初始参考模型进行训练,得到中间参考模型。将训练样本A输入中间参考模型得到目标参考预测信息a5。基于目标预测版权信息a2和模型版权信息计算得到目标信息差异Δa1,基于目标参考预测信息a5和模型版权信息计算得到参考信息差异Δa2,基于中间预测信息a3和参考信息计算得到中间信息差异Δa3,基于目标信息差异Δa1、参考信息差异Δa2和中间信息差异Δa3对初始版权信息提取模型进行训练,得到中间版权信息提取模型。
针对中间版权信息提取模型,在随机模型水印的基础上,训练样本B对应的初始融合信息在进行n次迭代处理后得到目标融合信息b1。将目标融合信息b1输入中间版权信息提取模型,得到目标预测版权信息b2,将训练样本B对应的样本预测信息输入中间版权信息提取模型,得到中间预测信息b3。将训练样本B输入中间参考模型得到初始参考预测信息b4,基于初始参考预测信息b4和模型版权信息对中间参考模型进行训练,得到目标参考模型。将训练样本B输入目标参考模型得到目标参考预测信息b5。基于目标预测版权信息b2和模型版权信息计算得到目标信息差异Δb1,基于目标参考预测信息b5和模型版权信息计算得到参考信息差异Δb2,基于中间预测信息b3和参考信息计算得到中间信息差异Δb3,基于目标信息差异Δb1、参考信息差异Δb2和中间信息差异Δb3对中间版权信息提取模型进行训练,得到目标版权信息提取模型。
可以理解,若基于一批样本迭代地攻击同一当前版权信息提取模型,那么同样可以基于该批样本训练同一参考模型,基于该批样本训练同一当前版权信息提取模型。
在一个实施例中,版权信息提取模型的损失函数可以如以下公式所示:
Figure BDA0003300345820000261
其中,L表示损失函数,M{t}(I)+W{δ}表示目标融合信息,E(M{t}(I)+W{δ})表示将目标融合信息输入版权信息提取模型E得到的输出数据,即目标预测版权信息。M{t}(I)表示将训练样本I输入待保护模型M得到的输出数据,即样本预测信息。W{δ}表示模型水印。δ表示模型版权信息。SM{i}(I)表示将训练样本I输入第i个代理模型得到的输出数据,即目标参考预测信息。E(SM{i}(I))表示将目标参考预测信息输入版权信息提取模型E得到的输出数据,即参考预测版权信息。n表示有n个代理模型SM。E(M{t}(I))表示将样本预测信息输入版权信息提取模型E得到的输出数据,即中间预测信息。
Figure BDA0003300345820000271
表示参考信息。||A,B||2表示计算A和B之间的距离。
本实施例中,通过引入参考模型,基于参考模型来模拟侵权模型的输出数据,基于参考模型的输出数据来辅助训练当前版权信息提取模型,可以提高当前版权信息提取模型的准确性,从而有效提高对待保护模型的版权保护力度。
在一个实施例中,当前参考模型对应的训练条件包括最小化训练信息差异,训练信息差异是基于当前样本预测信息对应的初始参考预测信息和目标融合信息之间的信息差异得到的。
具体地,训练条件可以认为是训练目标。当前参考模型对应的训练目标可以是最小化实际输出数据和预期输出数据之间的数据差异,让参考模型实际输出的数据更加贴近预期的输出数据。训练信息差异就是基于参考模型实际输出数据和预期输出数据计算得到的,也就是基于当前训练样本对应的初始参考预测信息和目标融合信息计算得到的。
可以理解,代理模型可以有至少一个。各个代理模型对应的训练条件都可以是最小化实际输出数据和预期输出数据之间的数据差异,即最小化训练信息差异。此外,训练条件也可以是训练信息差异小于预设阈值、训练信息差异的变化量小于预设阈值等条件。例如,基于训练信息差异对当前参考模型进行训练,调整当前参考模型的模型参数,直至满足训练信息差异小于预设阈值,得到更新参考模型。
在一个实施例中,参考模型的训练目标可以如以下公式所示:
Figure BDA0003300345820000272
其中,n表示有n个代理模型SM。SM{i}表示第i个代理模型。SM{i}(I)表示将训练样本I输入第i个代理模型得到的输出数据,即初始参考预测信息。M{t}(I)+W{δ}表示目标融合信息。M{t}(I)表示将训练样本I输入待保护模型M得到的输出数据,即样本预测信息。W{δ}表示模型水印。L表示损失函数,此处的L是用于计算模型版权信息和初始参考预测信息之间的训练信息差异的函数。具体的损失函数可以根据需要进行设置,损失函数的作用是让模型输出的数据更加贴近预期的输出数据。
本实施例中,将最小化训练信息差异作为参考模型的训练条件,可以让参考模型实际输出的数据更加贴近预期的输出数据,从而最终的参考模型可以输出嵌有模型水印的数据。
在一个实施例中,如图6所示,所述方法还包括:
步骤S602,获取目标模型对应的待鉴定模型。
步骤S604,将测试样本输入待鉴定模型,得到待鉴定预测信息。
步骤S606,将待鉴定预测信息输入目标版权信息提取模型,得到待鉴定版权信息。
步骤S608,基于待鉴定版权信息和模型版权信息的匹配结果,确定待鉴定模型对应的侵权鉴定结果。
其中,待鉴定模型是指待鉴定是否侵犯了待保护模型的模型版权的深度学习模型。测试样本用于测试待鉴定模型是否侵犯了待保护模型的模型版权。测试样本可以是满足待鉴定模型的输入数据格式的任意样本,例如,测试样本可以是从训练样本集中获取的样本。测试样本可以是用户通过终端主动提供的,也可以计算机设备自主获取的。
具体地,目标模型和目标版权信息提取模型可以用于对待保护模型进行模型版权保护。计算机设备可以获取用户提供的待鉴定模型,将测试样本输入待鉴定模型,通过模型的内部数据处理,待鉴定模型最终输出待鉴定预测信息。计算机设备再将待鉴定预测信息输入目标版权信息提取模型,通过模型的内部数据处理,目标版权信息提取模型输出待鉴定版权信息。计算机设备可以将待鉴定版权信息和目标模型对应的模型版权信息进行匹配,基于匹配结果确定待鉴定模型对应的侵权鉴定结果。例如,若待鉴定版权信息和模型版权信息一致,则确定侵权鉴定结果为已侵权,若待鉴定版权信息和模型版权信息不一致,则确定侵权鉴定结果为未侵权。若待鉴定版权信息和模型版权信息的相似度大于预设相似度,则确定侵权鉴定结果为已侵权,若待鉴定版权信息和模型版权信息的相似度小于或等于预设相似度,则确定侵权鉴定结果为未侵权。
在确定侵权鉴定结果后,计算机设备可以将侵权鉴定结果发送至用户终端。后续,用户终端可以基于侵权鉴定结果采取相应的维权措施,例如,警告侵权用户尽快下架侵权模型。
可以理解,通过当前版权信息提取模型进行侵权鉴定的过程可以参考通过目标版权信息提取模型进行侵权鉴定的过程。
本实施例中,基于目标版权信息提取模型对目标模型对应的待鉴定模型进行侵权鉴定,可以快速得到侵权鉴定结果,有效维护待保护模型的模型版权。
在一个实施例中,如图7所示,提供了一种模型侵权鉴定方法,以该方法应用于图1中的计算机为例进行说明,可以理解的是,计算机设备可以是终端102,也可以是服务器104。本实施例中,模型侵权鉴定方法包括以下步骤:
步骤S702,获取待鉴定模型和模型版权信息,获取模型版权信息对应的当前版权信息提取模型。
步骤S704,基于当前版权信息提取模型和模型版权信息,对待鉴定模型进行侵权鉴定,得到侵权鉴定结果。
具体地,用户可以通过终端提交侵权鉴定任务至计算机设备,侵权鉴定任务包括待鉴定模型和模型版权信息。计算机设备接收到侵权鉴定任务后,获取模型版权信息对应的当前版权信息提取模型,进而基于当前版权信息提取模型和模型版权信息,对待鉴定模型进行侵权鉴定,得到侵权鉴定结果。计算机设备可以将测试样本输入待鉴定模型,待鉴定模型输出待鉴定预测信息,将待鉴定预测信息输入当前版权信息提取模型,基于待鉴定版权信息和模型版权信息的匹配结果,确定待鉴定模型对应的侵权鉴定结果。例如,若待鉴定版权信息和模型版权信息一致,则确定侵权鉴定结果为已侵权,若待鉴定版权信息和模型版权信息不一致,则确定侵权鉴定结果为未侵权。若待鉴定版权信息和模型版权信息的相似度大于预设相似度,则确定侵权鉴定结果为已侵权,若待鉴定版权信息和模型版权信息的相似度小于或等于预设相似度,则确定侵权鉴定结果为未侵权。
其中,当前版权信息提取模型用于从目标输入数据中提取模型版权信息,目标输入数据包含模型版权信息对应的目标模型水印,目标模型水印的生成过程如下:
将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息,当前样本预测信息对应的初始融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的,基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息,基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印。
可以理解,目标模型水印的生成过程可以参考前述模型水印生成方法的各个实施例的具体内容,此处不再赘述。
上述模型侵权鉴定方法,在生成目标模型水印时,基于准确的模型版权信息和模型输出的预测版权信息之间的信息差异,调整融合有初始模型水印的数据,通过迭代可以将模型版权信息最终嵌入到模型水印中,从而得到融合有目标模型水印的数据,即目标融合信息。当前版权信息提取模型可以从融合有目标模型水印的数据中提取出模型版权信息,那么就可以基于当前版权信息提取模型和模型版权信息对待鉴定模型进行侵权鉴定,快速得到侵权鉴定结果。
在一个具体的实施例中,模型水印生成方法和模型侵权鉴定方法可以应用于图像处理模型。参考图8,首先,确定待保护模型和需要嵌入水印的模型版权信息,该模型版权信息可以代表模型的所有权,例如,可以将企业A的企业logo图像作为模型版权信息。接着,采用本申请的模型水印生成方法训练出目标模型水印,该目标模型水印嵌有模型版权信息,该目标模型水印可以嵌入待保护模型的原始输出图像中,构造出带有水印但是人类无法感知的特殊输出。最后,在待保护模型中加入该目标模型水印,得到目标模型,上线目标模型。若发生疑似侵权的行为,使用任意图片输入待鉴定模型,得到输出数据后,利用提取器(即版权信息提取模型)对其进行水印信息提取,若提取到预设的模型版权信息,即可以确认发生了侵权行为,否则,提取器会输出无意义的图像。
参考图9,模型水印生成方法包括以下三个部分:
1、水印生成阶段
将原始样本(即原始图像)输入到待保护模型中,得到原始输出,再将该原始输出融合初始模型水印后作为提取器的输入,使用定向通用攻击算法攻击提取器,迭代地攻击提取器,不断更新初始模型水印,从而得到嵌有中间模型水印的原始输出。
水印生成阶段可以将预设的模型版权信息嵌入不可见的水印中。通过迭代地攻击提取器的方式来生成模型水印可以快速得到模型水印。
2、水印蒸馏阶段
使用与待保护模型功能相同的代理模型对待保护模型进行知识蒸馏,代理模型的输入是原始样本,训练标签是嵌入中间模型水印的原始输出。
水印蒸馏阶段可以增强模型水印对模型侵权攻击的鲁棒性。模型侵权攻击本质上是利用代理模型(与待保护模型结构相似的模型)对待保护模型进行蒸馏,从而侵犯待保护模型的知识产权。水印蒸馏阶段模仿该过程,让提取器可以从蒸馏的输出中检测到模型水印,进而恢复预先嵌入的数据。
3、提起器训练阶段
提取器的训练样本包括含模型水印的原始输出和不含模型水印的原始输出,含中间模型水印的原始输出对应的训练标签为预设的模型版权信息,不含模型水印的原始输出对应的训练标签为无意义图像。含模型水印的原始输出包括含中间模型水印的原始输出和含代理模型蒸馏到的模型水印的原始输出。基于这样的训练样本训练提取器,使之可以从嵌入模型水印的原始输出中恢复预设信息,同时,使之对未嵌入模型水印的原始输出不敏感,并输出无意义的内容。
可以理解,整体的训练顺序可以为单个样本或单批样本依次经历水印生成阶段、水印蒸馏阶段和提起器训练阶段,然后下个样本或下批样本在上一样本或上批样本训练后的基础上,依次经历水印生成阶段、水印蒸馏阶段和提起器训练阶段,直至预设数目个样本或预设数目批次样本都参与训练,得到目标模型水印和目标提取器。目标模型水印是不可见水印,其对待保护模型的干扰可以忽略,不会影响待保护模型的输出质量。后续,在进行模型侵权鉴定时,可以使用目标提取器从待鉴定模型的输出数据中提取数据,从而判断待鉴定模型是否侵权。
应该理解的是,虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图10所示,提供了一种模型水印生成装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:信息获取模块1002、信息预测模块1004、信息更新模块1006、水印确定模块1008和水印嵌入模块1010,其中:
信息获取模块1002,用于获取待保护模型对应的模型版权信息,获取待保护模型的当前样本预测信息所对应的当前融合信息;其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
信息预测模块1004,用于将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;
信息更新模块1006,用于基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
水印确定模块1008,用于基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印;
水印嵌入模块1010,用于将目标模型水印嵌入待保护模型,得到目标模型,目标模型和当前版权信息提取模型用于对待保护模型进行模型版权保护。
在一个实施例中,信息获取模块用于获取训练样本集,从训练样本集中确定当前训练样本,将当前训练样本输入待保护模型,得到当前训练样本对应的样本预测信息,获取当前训练样本对应的初始模型水印,将当前训练样本对应的样本预测信息和初始模型水印进行融合,得到对应的初始融合信息,将当前训练样本对应的样本预测信息和初始融合信息作为当前样本预测信息和对应的当前融合信息。
在一个实施例中,信息获取模块还用于生成随机模型水印,将随机模型水印作为当前训练样本对应的初始模型水印。
水印确定模块还用于基于同一样本预测信息和对应的目标融合信息之间的信息差异,得到各个样本预测信息对应的中间模型水印,将各个中间模型水印进行融合,得到目标模型水印。
在一个实施例中,信息获取模块还用于获取当前训练样本的上一训练样本所对应的目标融合信息,基于上一训练样本对应的样本预测信息和目标融合信息之间的信息差异,得到上一训练样本对应的中间模型水印,基于上一训练样本对应的中间模型水印得到当前训练样本对应的初始模型水印。
水印确定模块还用于从训练样本集中确定目标训练样本,基于目标训练样本对应的样本预测信息和目标融合信息之间的信息差异,得到目标模型水印。
在一个实施例中,信息更新模块还用于对初始信息差异进行梯度计算,得到损失梯度,获取梯度调整参数,基于梯度调整参数对损失梯度进行更新,得到目标梯度,基于目标梯度和当前融合信息的距离,得到更新的当前融合信息。
在一个实施例中,模型水印生成装置还包括模型更新模块,模型更新模型包括:
版权信息预测单元,用于将当前样本预测信息对应的目标融合信息输入当前版权信息提取模型,得到目标预测版权信息。
模型训练单元,用于基于模型版权信息和目标预测版权信息对当前版权信息提取模型进行训练,得到更新版权信息提取模型。
模型确定单元,用于将更新版权信息提取模型作为当前版权信息提取模型,将下一样本预测信息作为当前样本预测信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至训练完成,得到目标版权信息提取模型,目标模型和目标版权信息提取模型用于对待保护模型进行模型版权保护。
在一个实施例中,模型训练单元还用基于模型版权信息和目标预测版权信息之间的信息差异,得到目标信息差异,将当前样本预测信息输入当前版权信息提取模型,得到中间预测信息,基于中间预测信息和参考信息之间的信息差异,得到中间信息差异,基于中间信息差异和目标信息差异,调整当前版权信息提取模型的模型参数,得到更新版权信息提取模型。
在一个实施例中,模型训练单元还用于将当前样本预测信息对应的训练样本输入待保护模型对应的当前参考模型,得到当前样本预测信息对应的初始参考预测信息,基于当前样本预测信息对应的初始参考预测信息和目标融合信息,对当前参考模型进行训练,得到更新参考模型,将当前样本预测信息对应的训练样本输入更新参考模型,得到目标参考预测信息,将目标参考预测信息输入当前版权信息提取模型,得到参考预测版权信息,基于参考预测版权信息和模型版权信息得到参考信息差异,基于参考信息差异、中间信息差异和目标信息差异,调整当前版权信息提取模型的模型参数,得到更新版权信息提取模型。
在一个实施例中,当前参考模型对应的训练条件包括最小化训练信息差异,训练信息差异是基于当前样本预测信息对应的初始参考预测信息和目标融合信息之间的信息差异得到的。
在一个实施例中,模型水印生成装置还包括:
模型保护模块,用于获取目标模型对应的待鉴定模型,将测试样本输入待鉴定模型,得到待鉴定预测信息,将待鉴定预测信息输入目标版权信息提取模型,得到待鉴定版权信息,基于待鉴定版权信息和模型版权信息的匹配结果,确定待鉴定模型对应的侵权鉴定结果。
在一个实施例中,初始模型水印和目标模型水印对应的水印属性信息在预设区间内。
在一个实施例中,如图11所示,提供了一种模型侵权鉴定装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:数据获取模块1102和模型侵权鉴定模块1104,其中:
数据获取模块1102,用于获取待鉴定模型和模型版权信息,获取模型版权信息对应的当前版权信息提取模型;
模型侵权鉴定模块1104,用于基于当前版权信息提取模型和模型版权信息,对待鉴定模型进行侵权鉴定,得到侵权鉴定结果。
其中,当前版权信息提取模型用于从目标输入数据中提取模型版权信息,目标输入数据包含模型版权信息对应的目标模型水印,目标模型水印的生成过程如下:
将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;当前样本预测信息对应的初始融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
基于模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印。
关于模型水印生成装置、模型侵权鉴定装置的具体限定可以参见上文中对于模型水印生成方法、模型侵权鉴定方法的限定,在此不再赘述。上述模型水印生成装置、模型侵权鉴定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型版权信息、目标模型水印等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型水印生成方法、模型侵权鉴定方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种模型水印生成方法、模型侵权鉴定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12、13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种模型水印生成方法,其特征在于,所述方法包括:
获取待保护模型对应的模型版权信息,获取所述待保护模型的当前样本预测信息所对应的当前融合信息;其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印;
将所述目标模型水印嵌入所述待保护模型,得到目标模型,所述目标模型和当前版权信息提取模型用于对所述待保护模型进行模型版权保护。
2.根据权利要求1所述的方法,其特征在于,所述获取所述待保护模型的当前样本预测信息所对应的当前融合信息,包括:
获取训练样本集,从所述训练样本集中确定当前训练样本;
将所述当前训练样本输入所述待保护模型,得到所述当前训练样本对应的样本预测信息;
获取所述当前训练样本对应的初始模型水印;
将所述当前训练样本对应的样本预测信息和初始模型水印进行融合,得到对应的初始融合信息;
将当前训练样本对应的样本预测信息和初始融合信息作为当前样本预测信息和对应的当前融合信息。
3.根据权利要求2所述的方法,其特征在于,所述获取所述当前训练样本对应的初始模型水印,包括:
生成随机模型水印,将所述随机模型水印作为所述当前训练样本对应的初始模型水印;
所述基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印,包括:
基于同一样本预测信息和对应的目标融合信息之间的信息差异,得到各个样本预测信息对应的中间模型水印;
将各个中间模型水印进行融合,得到所述目标模型水印。
4.根据权利要求2所述的方法,其特征在于,所述获取所述当前训练样本对应的初始模型水印,包括:
获取所述当前训练样本的上一训练样本所对应的目标融合信息;
基于上一训练样本对应的样本预测信息和目标融合信息之间的信息差异,得到所述上一训练样本对应的中间模型水印;
基于所述上一训练样本对应的中间模型水印得到所述当前训练样本对应的初始模型水印;
所述基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印,包括:
从所述训练样本集中确定目标训练样本;
基于所述目标训练样本对应的样本预测信息和目标融合信息之间的信息差异,得到所述目标模型水印。
5.根据权利要求1所述的方法,其特征在于,所述基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,包括:
对初始信息差异进行梯度计算,得到损失梯度;
获取梯度调整参数,基于所述梯度调整参数对所述损失梯度进行更新,得到目标梯度;
基于所述目标梯度和当前融合信息的距离,得到所述更新的当前融合信息。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息之后,所述方法还包括:
将当前样本预测信息对应的目标融合信息输入当前版权信息提取模型,得到目标预测版权信息;
基于所述模型版权信息和目标预测版权信息对当前版权信息提取模型进行训练,得到更新版权信息提取模型;
将所述更新版权信息提取模型作为当前版权信息提取模型,将下一样本预测信息作为当前样本预测信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至训练完成,得到目标版权信息提取模型,所述目标模型和目标版权信息提取模型用于对所述待保护模型进行模型版权保护。
7.根据权利要求6所述的方法,其特征在于,所述基于所述模型版权信息和目标预测版权信息对当前版权信息提取模型进行训练,得到更新版权信息提取模型,包括:
基于所述模型版权信息和目标预测版权信息之间的信息差异,得到目标信息差异;
将当前样本预测信息输入当前版权信息提取模型,得到中间预测信息;
基于所述中间预测信息和参考信息之间的信息差异,得到中间信息差异;
基于所述中间信息差异和目标信息差异,调整当前版权信息提取模型的模型参数,得到更新版权信息提取模型。
8.根据权利要求7所述的方法,其特征在于,所述基于所述中间信息差异和目标信息差异,调整当前版权信息提取模型的模型参数,得到更新版权信息提取模型,包括:
将当前样本预测信息对应的训练样本输入所述待保护模型对应的当前参考模型,得到当前样本预测信息对应的初始参考预测信息;
基于当前样本预测信息对应的初始参考预测信息和目标融合信息,对当前参考模型进行训练,得到更新参考模型;
将当前样本预测信息对应的训练样本输入所述更新参考模型,得到目标参考预测信息;
将所述目标参考预测信息输入当前版权信息提取模型,得到参考预测版权信息;
基于所述参考预测版权信息和模型版权信息得到参考信息差异;
基于所述参考信息差异、中间信息差异和目标信息差异,调整当前版权信息提取模型的模型参数,得到更新版权信息提取模型。
9.根据权利要求8所述的方法,其特征在于,所述当前参考模型对应的训练条件包括最小化训练信息差异,所述训练信息差异是基于当前样本预测信息对应的初始参考预测信息和目标融合信息之间的信息差异得到的。
10.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取所述目标模型对应的待鉴定模型;
将测试样本输入所述待鉴定模型,得到待鉴定预测信息;
将所述待鉴定预测信息输入所述目标版权信息提取模型,得到待鉴定版权信息;
基于所述待鉴定版权信息和模型版权信息的匹配结果,确定所述待鉴定模型对应的侵权鉴定结果。
11.根据权利要求1至5任意一项所述的方法,其特征在于,所述初始模型水印和目标模型水印对应的水印属性信息在预设区间内。
12.一种模型侵权鉴定方法,其特征在于,所述方法包括:
获取待鉴定模型和模型版权信息,获取所述模型版权信息对应的当前版权信息提取模型;
基于当前版权信息提取模型和模型版权信息,对所述待鉴定模型进行侵权鉴定,得到侵权鉴定结果;
其中,当前版权信息提取模型用于从目标输入数据中提取所述模型版权信息,所述目标输入数据包含所述模型版权信息对应的目标模型水印,所述目标模型水印的生成过程如下:
将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;当前样本预测信息对应的初始融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印。
13.一种模型水印生成装置,其特征在于,所述装置包括:
信息获取模块,用于获取待保护模型对应的模型版权信息,获取所述待保护模型的当前样本预测信息所对应的当前融合信息;其中,当前融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
信息预测模块,用于将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;
信息更新模块,用于基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
水印确定模块,用于基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异,得到目标模型水印;
水印嵌入模块,用于将所述目标模型水印嵌入所述待保护模型,得到目标模型,所述目标模型和当前版权信息提取模型用于对所述待保护模型进行模型版权保护。
14.一种模型侵权鉴定装置,其特征在于,所述装置包括:
数据获取模块,用于获取待鉴定模型和模型版权信息,获取所述模型版权信息对应的当前版权信息提取模型;
模型侵权鉴定模块,用于基于当前版权信息提取模型和模型版权信息,对所述待鉴定模型进行侵权鉴定,得到侵权鉴定结果;
其中,当前版权信息提取模型用于从目标输入数据中提取所述模型版权信息,所述目标输入数据包含所述模型版权信息对应的目标模型水印,所述目标模型水印的生成过程如下:
将待保护模型的当前样本预测信息对应的当前融合信息输入当前版权信息提取模型,得到初始预测版权信息;当前样本预测信息对应的初始融合信息是将当前样本预测信息和对应的初始模型水印进行融合得到的;
基于所述模型版权信息和初始预测版权信息之间的初始信息差异,对当前融合信息进行更新,得到更新融合信息,将更新融合信息作为当前融合信息,返回所述将当前样本预测信息对应的当前融合信息输入当前版权信息提取模型的步骤执行,直至满足收敛条件,得到当前样本预测信息对应的目标融合信息;
基于所述待保护模型输出的样本预测信息和对应的目标融合信息之间的信息差异得到目标模型水印。
15.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11或12中任一项所述的方法的步骤。
16.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11或12中任一项所述的方法的步骤。
17.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11或12中任一项所述的方法的步骤。
CN202111188742.8A 2021-10-12 2021-10-12 模型水印生成、模型侵权鉴定方法、装置和计算机设备 Pending CN114331791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111188742.8A CN114331791A (zh) 2021-10-12 2021-10-12 模型水印生成、模型侵权鉴定方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111188742.8A CN114331791A (zh) 2021-10-12 2021-10-12 模型水印生成、模型侵权鉴定方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN114331791A true CN114331791A (zh) 2022-04-12

Family

ID=81045024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111188742.8A Pending CN114331791A (zh) 2021-10-12 2021-10-12 模型水印生成、模型侵权鉴定方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN114331791A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881871A (zh) * 2023-09-06 2023-10-13 腾讯科技(深圳)有限公司 模型水印嵌入方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881871A (zh) * 2023-09-06 2023-10-13 腾讯科技(深圳)有限公司 模型水印嵌入方法、装置、计算机设备和存储介质
CN116881871B (zh) * 2023-09-06 2023-11-24 腾讯科技(深圳)有限公司 模型水印嵌入方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN111241989B (zh) 图像识别方法及装置、电子设备
CN112052761A (zh) 一种对抗人脸图像的生成方法和装置
WO2022161286A1 (zh) 图像检测方法、模型训练方法、设备、介质及程序产品
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN109190470B (zh) 行人重识别方法及装置
CN111340013B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN114331829A (zh) 一种对抗样本生成方法、装置、设备以及可读存储介质
CN110598019B (zh) 重复图像识别方法及装置
Akhtar et al. Attack to fool and explain deep networks
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
CN111931153B (zh) 基于人工智能的身份验证方法、装置和计算机设备
CN111667275B (zh) 用户身份识别方法、装置、设备及其介质
Bhagtani et al. An overview of recent work in media forensics: Methods and threats
CN116956906A (zh) 文本生成方法、装置及电子设备
CN114707589A (zh) 对抗样本的生成方法、装置、存储介质、设备及程序产品
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN114331791A (zh) 模型水印生成、模型侵权鉴定方法、装置和计算机设备
KR20170057118A (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN113657293B (zh) 活体检测方法、装置、电子设备、介质及程序产品
CN115147705A (zh) 人脸翻拍检测方法、装置、电子设备及存储介质
CN114067394A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113762053A (zh) 一种图像处理方法、装置、计算机及可读存储介质
CN115082873A (zh) 基于通路融合的图像识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40070385

Country of ref document: HK