CN115018688A - 一种基于dct系数的生成网络模型水印方法及应用 - Google Patents

一种基于dct系数的生成网络模型水印方法及应用 Download PDF

Info

Publication number
CN115018688A
CN115018688A CN202210661028.4A CN202210661028A CN115018688A CN 115018688 A CN115018688 A CN 115018688A CN 202210661028 A CN202210661028 A CN 202210661028A CN 115018688 A CN115018688 A CN 115018688A
Authority
CN
China
Prior art keywords
watermark
training
image
dct
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210661028.4A
Other languages
English (en)
Inventor
乔通
马鱼雁
吴佳晟
谢世闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210661028.4A priority Critical patent/CN115018688A/zh
Publication of CN115018688A publication Critical patent/CN115018688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0052—Embedding of the watermark in the frequency domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于DCT系数的生成网络模型水印方法，包括如下步骤：步骤1、创建训练图像数据集；步骤2、利用DCT变换在训练图像中嵌入不可见图像水印，步骤2.1、读取RGB图像为32*32*3的矩阵，提取图像中的蓝色通道B，即其中32*32*1的部分矩阵；步骤2.2、将训练图像在蓝色通道B中分割为大小为2*2的分块；步骤2.3、对每一个2*2方块进行DCT变换后在用水印的值乘以10后覆盖方块右下角的值，嵌入一位水印；步骤2.4、对2*2方块进行逆DCT变化，并更新原方块的值；步骤3、将步骤2中的带有不可见水印的训练图像投入生成图像任务的神经网络中训练，得到带水印的网络模型。该方法在神经网络模型的原始损失上加上水印损失，同时处理训练集图像，在训练集图像中嵌入DCT水印。

Description

一种基于DCT系数的生成网络模型水印方法及应用
技术领域
本发明涉及人工智能安全技术领域，具体指一种基于DCT系数的生成网络模型水印方法及应用。
背景技术
伴随着人工智能应用于越来越多的领域，人工智能产业化在迅速发展。看似高端的人工智能技术已经在不知不觉中走进了我们的生活，越来越多的设备和应用中搭载了人工智能技术，例如物体识别，人脸识别，智能翻译，图像恢复等功能。随着设备计算能力的提高和5G的发展，我们可以在手机上使用到这些AI的服务。然而这些服务都是建立在以神经网络模型为代表的人工智能中，所以如何保证神经网络模型的安全和保护神经网络模型的版权成为了一个迫切的问题。
人工智能是新一轮科技革命和产业变革的重要驱动力量，如何保证它蓬勃健康的发展是我们需要关注的。一个神经网络模型的功能和准确性都是建立在模型所有者对模型结构和模型训练不断探索研究的努力中，同时一个模型的训练也需要花费大量的资源和时间，所以模型需要得到版权保护，避免它被以不正当手段盗取，使得攻击者谋取非法利益。人工智能安全作为网络安全的一部分，有很多的研究人员对此展开了研究。在不影响其原本性能的基础上嵌入隐秘信息到模型载体中，从而达到模型保护的作用。
目前在人工智能模型水印研究方面还有许多问题亟待解决，例如：1)模型取证困难，大多数方法都需要访问模型的参数或者需要控制模型的输入来获取水印2)大部分的模型水印都是针对分类神经网络模型，对于生成性网络模型的适用性不高，还需要更深入的研究3)模型水印的鲁棒性不强，嵌入的方式相对单一。人工智能模型水印的持续研究，有利于降低人工智能安全风险，确保网络空间的和谐，稳定和安全。
在人工智能模型水印的研究中，大部分的水印方案可以分为两类，即白盒水印和黑盒水印。白盒水印是依赖于模型参数的水印嵌入方法，这种在模型参数中携带水印信息的方法虽然能够提取的水印能够达到很好的准确率，但是它要求验证者能够获取整个模型的参数，在取证过程中有一定难度。黑盒水印使用预定义的输入作为触发器控制模型的输出即在模型中插入后门集，能够根据触发器的内容输入触发模型的一些特定的输出，这种方法不需要访问整个模型的参数，更容易取证，但是这种方法也要求我们能够对模型有一些特殊的输入。根据近几年新提出的无盒水印方法，所以我们提出了一种基于DCT系数的生成网络模型水印。尽管目前已经提出了一些有效的无盒水印方法，但是大多数方法都是通过另外训练一个新的网络来嵌入和提取水印，需要占用额外的训练资源。我们提出的方法是在模型训练过程中训练水印嵌入方法，使模型水印能够更加轻量化。
发明内容
针对现有技术的不足，本发明提出了基于DCT系数的生成网络模型水印方法及应用，在神经网络模型的原始损失上加上水印损失，同时处理训练集图像，在训练集图像中嵌入DCT水印。这样在保证原始模型任务的同时，神经网络能够学习如何嵌入DCT水印，从而使模型水印能够更加轻量化。
为了解决上述技术问题，本发明的技术方案为：
一种基于DCT系数的生成网络模型水印方法，包括如下步骤：
步骤1、创建训练图像数据集；
步骤2、利用DCT变换在训练图像中嵌入不可见图像水印
步骤2.1、读取RGB图像为32*32*3的矩阵，提取图像中的蓝色通道B，即其中32*32*1的部分矩阵；
步骤2.2、将训练图像在蓝色通道B中分割为大小为2*2的分块；
步骤2.3、对每一个2*2方块进行DCT变换后在用水印的值乘以10后覆盖方块右下角的值，嵌入一位水印；
步骤2.4、对2*2方块进行逆DCT变化，并更新原方块的值；
步骤3、将步骤2中的带有不可见水印的训练图像投入生成图像任务的神经网络中训练，得到带水印的网络模型。
作为优选，所述步骤2还包括步骤2.5、重复步骤2.3和步骤2.4，直至嵌入水印长度为256位。
作为优选，所述步骤2.3中生成的每一张训练图像中都包含有可提取的不可见水印。
作为优选，步骤3具体实现如下：
步骤3.1、将含有不可见水印的训练图像打包为tfrecords文件用作生成图像任务的神经网络的训练，在学习原始任务的同时学习嵌入不可见水印；
步骤3.2、初始化神经网络的参数；
步骤3.3、训练神经网络，在原始任务损失的基础上加上模型水印的损失Lwm，减少提取的水印和目标水印之间的距离。
Figure BDA0003690857700000041
其中，α表示水印的影响系数，X表示网络生成数据的分布，key表示水印密钥，wo表示原水印；
步骤3.4、经过n轮训练后得到可生成带水印的网络模型。
作为优选，所述步骤3.1中用于训练的神经网络采用ProGAN模型。
本发明还公开了一种基于DCT的生成网络模型水印方法的应用，其特征在于，当带水印的网络模型的所有权产生争议的时候，验证者只需要收集由该带水印的网络模型生成的图像，并用DCT水印提取算法提取图像中的不可见水印，并与持有水印进行比对，如果比对成功就能证明模型的所有权归属。
本发明具有以下的特点和有益效果：
1、能够根据收集到的生成图像判断该模型的所有权，不需要依赖模型的输入也不需要访问模型本身的参数，从而大大降低了模型取证的难度。
2、模型水印利用不可见水印机制保护网络模型和输出的图像，只有密钥的所有者才能够提取水印，有效降低了人工智能安全风险，确保网络空间的和谐，稳定和安全。
3、该方法可以应用于不同的图像生成任务的神经网络，不需要修改原网络的结构同时不影响模型性能，使得模型水印更加轻量化。
4、综上可以看出，该方法不仅能够降低取证难度，高效的提取水印，并能够确保提取水印的准确率，另外提出在模型训练过程中训练水印嵌入方法，使模型水印能够更加轻量化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中含不可见水印的训练集生成和模型水印嵌入的框架图。
图2为本发明实施例中DCT不可见水印嵌入的流程图。
图3为本发明实施例中DCT不可见水印提取的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
本发明提供了一种基于DCT系数的生成网络模型水印方法，如图1所示，包括如下步骤：
步骤1、创建训练图像数据集。
本实施例中，训练图像数据集采用danbooru图像库中的7万张图像，并全部转为PNG图像作为本实施例中的训练图像数据集。
步骤2、利用DCT变换在训练图像中嵌入不可见图像水印
具体的，如图2所示，包括如下步骤：
步骤2.1、读取RGB图像为32*32*3的矩阵，提取图像中的蓝色通道B，即其中32*32*1的部分矩阵；
步骤2.2、将训练图像在蓝色通道B中分割为大小为2*2的分块；
步骤2.3、对每一个2*2方块进行DCT变换后在用水印的值乘以10后覆盖方块右下角的值，嵌入一位水印，生成的每一张训练图像中都包含有可提取的不可见水印；
步骤2.4、对2*2方块进行逆DCT变化，并更新原方块的值，其中所更新的原方块的值即步骤2.2中的大小为2*2的分块；
步骤2.5、重复步骤2.3和步骤2.4，直至嵌入水印长度为256位。
需要说明的是，其中水印签名即嵌入的不可见图像水印，是通过密钥作为随机数组种子生成长度为256的密钥数组，64*64的水印图像经过双线性插值拓展为256*256后通过奇异值分解，求均值等操作后提取出图像中的特征与密钥数组进行异或操作得到水印签名。
步骤3、将步骤2中的带有不可见水印的训练图像投入生成图像任务的神经网络中训练，得到带水印的网络模型。
具体的，步骤3具体实现如下：
步骤3.1、将含有不可见水印的训练图像打包为tfrecords文件用作生成图像任务的神经网络的训练，在学习原始任务的同时学习嵌入不可见水印；
步骤3.2、初始化神经网络的参数；
步骤3.3、训练神经网络，在原始任务损失的基础上加上模型水印的损失Lwm，减少提取的水印和目标水印之间的距离。
Figure BDA0003690857700000071
其中，α表示水印的影响系数，X表示网络生成数据的分布，key表示水印密钥，wo表示原水印；
上述技术方案中，考虑到嵌入水印的任务，通过在原始任务损失的基础上加上模型水印的损失Lwm，使生成图像的质量能够达到更好。
步骤3.4、经过n轮训练后得到可生成带水印的网络模型。
本实施例中训练的次数n不少与1000次。
进一步的，所述步骤3.1中用于训练的神经网络采用ProGAN模型。
可以理解的，ProGAN模型是一种渐进式生成高分辨率图像表现优秀的训练模型，其损失函数使用WGAN-GP损失和ACGAN损失，学习率设置为0.001，优化器使用Adam优化器，随机初始向量呈标准正态分布。
本发明还公开了一种基于DCT的生成网络模型水印方法的应用，如图3所示，当带水印的网络模型的所有权产生争议的时候，验证者只需要收集由该带水印的网络模型生成的图像，并用DCT水印提取算法提取图像中的不可见水印，并与持有水印进行比对，如果比对成功就能证明模型的所有权归属。
需要说明的是，DCT水印提取算法如图3中DCT水印提取过程所示，对载体图像进行RGB分离，提取蓝色通道图像，对图像进行分块，定位信息存储点提取水印信息，用归一化相关系数NC计算提取的水印信息和原水印图像的相似度。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (6)

1.一种基于DCT系数的生成网络模型水印方法，其特征在于，包括如下步骤：
步骤1、创建训练图像数据集；
步骤2、利用DCT变换在训练图像中嵌入不可见图像水印
步骤2.1、读取训练图像为32*32*3的矩阵，提取图像中的蓝色通道B，即其中32*32*1的部分矩阵；；
步骤2.2、将训练图像在蓝色通道B中分割为大小为2*2的分块；
步骤2.3、对每一个2*2方块进行DCT变换后在用水印的值乘以10后覆盖方块右下角的值，嵌入一位水印，生成的每一张训练图像中都包含有可提取的不可见水印；
步骤2.4、对2*2方块进行逆DCT变化，并更新原方块的值；
步骤3、将步骤2中的带有不可见水印的训练图像投入生成图像任务的神经网络中训练，得到带水印的网络模型。
2.根据权利要求1所述的一种基于DCT的生成网络模型水印方法，其特征在于，所述步骤2还包括步骤2.5、重复步骤2.3和步骤2.4，直至嵌入水印长度为256位。
3.根据权利要求2所述的一种基于DCT系数的生成网络模型水印方法，其特征在于，所述步骤2.3中生成的每一张训练图像中都包含有可提取的不可见水印。
4.根据权利要求1所述的一种基于DCT的生成网络模型水印方法，其特征在于，步骤3具体实现如下：
步骤3.1、将含有不可见水印的训练图像打包为tfrecords文件用作生成图像任务的神经网络的训练，在学习原始任务的同时学习嵌入不可见水印；
步骤3.2、初始化神经网络的参数；
步骤3.3、训练神经网络，在原始任务损失的基础上加上模型水印的损失Lwm，减少提取的水印和目标水印之间的距离。
Figure FDA0003690857690000021
其中，α表示水印的影响系数，X表示网络生成数据的分布，key表示水印密钥，wo表示原水印；
步骤3.4、经过n轮训练后得到可生成带水印的网络模型。
5.根据权利要求4所述的一种基于DCT的生成网络模型水印方法，其特征在于，所述步骤3.1中用于训练的神经网络采用ProGAN模型。
6.一种根据权利要求1-5任意一项所述基于DCT的生成网络模型水印方法的应用，其特征在于，当带水印的网络模型的所有权产生争议的时候，验证者只需要收集由该带水印的网络模型生成的图像，并用DCT水印提取算法提取图像中的不可见水印，并与持有水印进行比对，如果比对成功就能证明模型的所有权归属。
CN202210661028.4A 2022-06-13 2022-06-13 一种基于dct系数的生成网络模型水印方法及应用 Pending CN115018688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210661028.4A CN115018688A (zh) 2022-06-13 2022-06-13 一种基于dct系数的生成网络模型水印方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210661028.4A CN115018688A (zh) 2022-06-13 2022-06-13 一种基于dct系数的生成网络模型水印方法及应用

Publications (1)

Publication Number Publication Date
CN115018688A true CN115018688A (zh) 2022-09-06

Family

ID=83074609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210661028.4A Pending CN115018688A (zh) 2022-06-13 2022-06-13 一种基于dct系数的生成网络模型水印方法及应用

Country Status (1)

Country Link
CN (1) CN115018688A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703687A (zh) * 2023-08-02 2023-09-05 腾讯科技（深圳）有限公司 图像生成模型处理、图像生成方法、装置和计算机设备
CN117649673A (zh) * 2024-01-30 2024-03-05 陕西巨微图书文化传播有限公司 一种图书编校中的图片处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703687A (zh) * 2023-08-02 2023-09-05 腾讯科技（深圳）有限公司 图像生成模型处理、图像生成方法、装置和计算机设备
CN116703687B (zh) * 2023-08-02 2024-01-30 腾讯科技（深圳）有限公司 图像生成模型处理、图像生成方法、装置和计算机设备
CN117649673A (zh) * 2024-01-30 2024-03-05 陕西巨微图书文化传播有限公司 一种图书编校中的图片处理方法
CN117649673B (zh) * 2024-01-30 2024-04-26 陕西巨微图书文化传播有限公司 一种图书编校中的图片处理方法

Similar Documents

Publication Publication Date Title
Yang et al. An embedding cost learning framework using GAN
JP3431593B2 (ja) コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体
CN115018688A (zh) 一种基于dct系数的生成网络模型水印方法及应用
CN102147912B (zh) 一种基于自适应差值扩展的可逆图像水印方法
CN110232650B (zh) 一种彩色图像水印嵌入方法、检测方法及系统
Yuan et al. Digital watermarking secure scheme for remote sensing image protection
Meng et al. An adaptive reversible watermarking in IWT domain
CN112070647B (zh) 一种可逆高动态范围图像信息隐藏方法
Pakdaman et al. A prediction based reversible image watermarking in Hadamard domain
CN109886856A (zh) 对屏幕拍摄过程鲁棒的数字水印方法
Bukharmetov et al. Robust method for protecting electronic document on waterway transport with steganographic means by embedding digital watermarks into images
KR101026081B1 (ko) 가역 워터마크 삽입, 추출 및 원본 영상 복원 방법
CN107240060A (zh) 基于动态数字水印的消防安全检查图片防伪方法及系统
CN116757909B (zh) Bim数据鲁棒水印方法、装置及介质
Rahardi et al. A Blind Robust Image Watermarking on Selected DCT Coefficients for Copyright Protection
Maity et al. Genetic algorithms for optimality of data hiding in digital images
CN116342362A (zh) 深度学习增强数字水印不可感知性方法
CN109003219B (zh) 图像信息的隐藏方法及装置、解密方法及装置
CN114630130B (zh) 一种基于深度学习的换脸视频溯源方法及系统
Lai et al. Image watermarking scheme using genetic algorithm
Aberna et al. Optimal Semi-Fragile Watermarking based on Maximum Entropy Random Walk and Swin Transformer for Tamper Localization
CN113962839A (zh) 一种基于tmqir的多色彩模式量子图像盲水印方法
Chen et al. Efficient Robust Watermarking Based on Structure-Preserving Quaternion Singular Value Decomposition
Kunhu et al. A novel reversible watermarking scheme based on sha3 for copyright protection and integrity of satellite imagery
CN115222575B (zh) 利用频率域系数比值的矢量数据水印嵌入和提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination