CN117291786A - 一种无需第三方认证的dnn模型后门水印方法 - Google Patents
一种无需第三方认证的dnn模型后门水印方法 Download PDFInfo
- Publication number
- CN117291786A CN117291786A CN202311307159.3A CN202311307159A CN117291786A CN 117291786 A CN117291786 A CN 117291786A CN 202311307159 A CN202311307159 A CN 202311307159A CN 117291786 A CN117291786 A CN 117291786A
- Authority
- CN
- China
- Prior art keywords
- logo
- image
- dnn model
- frequency
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003321 amplification Effects 0.000 claims description 21
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 20
- 238000002347 injection Methods 0.000 claims description 11
- 239000007924 injection Substances 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000019771 cognition Effects 0.000 abstract description 2
- 230000016776 visual perception Effects 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无需第三方认证的DNN模型后门水印方法,是一种针对深度学习即服务(DLaaS)企业,无需第三方认证的深度神经网络DNN模型后门水印方案。本发明将具有唯一性、直观性、认知度的企业Logo作为企业的“身份证”,同时采用线性嵌入的方式以保证Logo是可从图像中还原的;进一步地,为保证Logo视觉更直观,本发明使用RGB格式的Logo,同时为兼顾生成高质量的触发样本以满足DNN模型水印安全性要求,本发明将Logo嵌入图像频域中,并设计了一种充分利用频域空间信息以及增幅信息的全新编码算法——SA‑Algorithm,最终将水印以后门的方式注入DNN模型中,以保护DNN模型的版权。
Description
技术领域
本发明属于神经网络水印技术领域,尤其涉及其中的后门水印技术领域,特别涉及一种无需第三方认证的DNN模型后门水印方法。
背景技术
深度神经网络(DNN,deep neural network)目前正以前所未有的性能在工业互联网中被广泛应用,从计算机视觉到自然语言处理,它给社会带来了巨大的变化。但是,训练一个优秀的DNN模型不仅需要强大的算力,更需要专业的知识,这将花费模型训练者大量的金钱以及时间成本。由此可见,训练一个优秀实用的DNN模型对普通人来说是有压力的。因此,深度学习即服务(Deep learning as a service,DLaaS)的市场应运而生,相较于自己购买硬件来说,通过DLaaS企业提供的APIs以查询付费的方式访问训练有素的模型所花费的服务费是微不足道的。然而近年来许多研究证明DLaaS正面临着严重的模型窃取攻击的威胁:攻击者通过多次查询公开的APIs,并根据其输出窃取DLaaS企业精心训练的模型,从而复制一个几乎甚至完全相同的模型。攻击者可以利用窃取的模型进行二次售卖,这造成了模型的滥用,极大地影响了DLaaS企业的利益。实际上,这个问题的本质是要保护DNN模型的版权。这些经过精心设计并训练的DNN模型是企业智慧成果的体现,理应与书籍等产品一样拥有版权,受版权保护。
受数字水印在数字媒体中应用的启发,人们常使用模型水印来保护模型版权。其中最受关注的方法是后门水印。目前已有的后门水印中的水印方式大体可以分为两种,一是显式水印,二是隐式水印。
显示水印易受规避攻击和欺诈性所有权主张的威胁不满足模型水印安全性的要求,且大多具有随机性,因此这些水印都不唯一,任何人都能使用,而且不直观,不能通过水印直接判定版权归属者是谁,如有方法采用的显示水印是随意的无关图片和标志;接着出现了隐式水印,虽然解决了规避攻击和和欺诈性所有权主张的威胁和唯一性的问题,但是水印直观性的问题依然没有解决。如有方法使用唯一的Logo作为水印,但其基于自动编码器和生成对抗网络的方法,该方法非线性,嵌入的水印无法提取出来,因此仅能根据触发样本判定版权归属,而触发样本依然不直观;还有方法将模型训练者的指纹作为水印,并用LSB算法嵌入水印,但指纹的形式也不直观。因此现有的方案都需要借助第三方权威机构,模型训练者在权威机构上实名认证,通过获得权威机构分配的唯一水印或者直接提交触发样本集的方式实现水印或触发样本集与模型训练者现实的身份一一对应,并且这种对应关系是可查的。实际上,这是复杂且不现实的,因为如今尚不存在一个这样的权威机构。
发明内容
本发明的目的在于针对上述现有技术存在的问题,对于DLaaS企业提出一种无需第三方权威机构认证的DNN模型隐式后门水印方案,以保护DLaaS企业所训练的模型的版权。该方法利用企业Logo的认知度和唯一性将其作为DLaaS企业的“身份证”,把DNN模型与企业直接联系在一起,同时该方案采用一种线性嵌入的方式以保证Logo是可以从图像中被还原出来的,人们只需观察从触发样本中解码出的Logo即可明白模型版权归属。为使Logo视觉上更直观,该方案使用RGB格式的Logo,但这极大的增加了Logo的信息量,如此该如何生成高质量,高隐蔽性的触发样本以更好的满足DNN模型水印的安全性要求呢?为解决该问题本发明将Logo嵌入图像频域中,并设计了一种充分利用频域的空间信息以及增幅信息的全新编码算法——SA-Algorithm,该算法兼顾了上述两个要求,这也是本发明最重要的创新部分。
实现本发明目的的技术解决方案为:一种无需第三方认证的DNN模型后门水印方法,所述方法包括:
图像空域转频域阶段:将图像由RGB格式转换为YUV格式,之后将图像从空间像素表示转为频域表示;
频域Logo嵌入阶段:将RGB格式的用户Logo嵌入频域图像中,同时使其隐蔽;
图像频域转空域阶段:将嵌入Logo后的频域图像转换为空域图像后又重新转为RGB格式的图像,生成触发样本;
DNN模型训练注入水印阶段:将含有用户Logo的触发样本和含有噪声Logo的触发样本与普通样本一起作为训练数据集训练DNN模型,实现向DNN模型中注入水印;
水印认证阶段:用户利用含有自身Logo的触发样本集向所怀疑的DNN模型发起查询请求,根据模型返回的结果判定该模型中是否含有本用户水印即本用户的Logo。
进一步地,所述图像空域转频域阶段中,采用离散余弦变换将图像转为频域表示。
进一步地,所述图像空域转频域阶段还包括:在所述将图像从空间像素表示转为频域表示之前,执行:
(1)对图像进行变换和裁剪,调整为正方形尺寸w*w;
(2)设置图像分块大小block_size:
block_size=8px*8px
按照所述图像分块大小对图像进行分块,若图像的长和宽不是8的倍数,则将分块后剩余的部分单独作为一个分块,该分块中将不注入Logo信息。
进一步地,所述图像空域转频域阶段还包括:
根据图像尺寸调整用户Logo尺寸p*p,p应满足以下条件:
进一步地,所述频域Logo嵌入阶段中,采用SA-Algorithm编码算法将RGB格式的用户Logo嵌入频域图像中,所述SA-Algorithm编码算法将用户Logo按像素嵌入每个8*8的DCT频率图中,具体包括:
针对每一个8*8的DCT频率图,对其U、V通道分别进行以下操作:
步骤1-1,从频域图中选择候选频段;
步骤1-2,按Logo像素值从候选频段中选择嵌入频段;
步骤1-3,为嵌入频段分配增幅。
进一步地,步骤1-1所述从频域图中选择候选频段具体为:
选择8*8DCT频率图中的中频部分频段(k1,k2)作为Logo像素信息嵌入的候选频段,其中k1和k2应满足以下条件:
(0≤k1≤6∩k1+k2=6)∪(0≤k1≤7∩k1+k2=7)∪(1≤k1≤7∩k1+k2=8)
k1,k2∈N
由上式获得(k1,k2)共有m种选择,即候选频段数为m;
式中,N表示自然数。
进一步地,步骤1-2所述从候选频段中选择嵌入频段,具体包括:
从候选频段中选择嵌入频段同时为其分配两种不同的增幅需能表示12位二进制信息,则从候选频段中选择的嵌入频段数n的计算公式为:
进一步地,步骤1-3所述为嵌入频段分配增幅,具体包括:
为每一个嵌入频段分配增幅,以表示位二进制信息后的n位二进制信息;
所述增幅包括两种:m1和m2,任选其一;若为m1则对应的二进制位上的数为1,若为m2,则对应的二进制位上的数为0;
所述m1和m2满足:
|m1|>0,|m2|>0
m1≠m2。
进一步地,所述DNN模型训练注入水印阶段中,所述噪声Logo为未被任何用户使用的Logo;所述普通样本为不含任何Logo的图像。
进一步地,所述水印认证阶段中,所述根据模型返回的结果判定该模型中是否含有本用户水印即本用户的Logo,具体包括:
判断以下两个条件:
(1)模型返回的结果为目标标签的概率大于设定的阈值T;
(2)从发起请求的触发样本中按SA-Algorithm算法的逆过程解码出用户的Logo;
若上述两个条件均满足,则表示所怀疑的DNN模型中含有用户水印。
本发明与现有技术相比,其显著优点为:
(1)本发明针对于DLaaS企业提出了一种新的DNN模型后门水印方案。该方案利用企业Logo的唯一性、直观性以及可查询性使得无需第三方权威机构认证即可保护DNN模型版权成为可能,同时该方案与现有方案不同,嵌入频域中的Logo是可提取的。本发明是首次提出该无需第三方权威机构参与的DNN模型后门水印方案,弥补了该领域的空白。
(2)为将更直观的RGB格式的Logo嵌入图像的同时保证其隐蔽性,生成高质量的触发样本以更好的满足DNN模型水印指标的安全性要求,本发明首先将RGB格式的图像转为YUV格式,然后将Logo嵌入图像频域中,并创新地设计了一种充分利用图像频域的空间信息以及增幅信息的编码算法——SA-Algorithm。
(3)本发明提出的方案几乎满足DNN模型水印的所有要求,包括保真度、可靠性、完整性、鲁棒性、安全性、效率以及容量这七个方面。特别是在完整性上满足了其唯一标识的要求。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明无需第三方认证的DNN模型后门水印方案整体架构图。
图2为本发明频域Logo嵌入的编码算法SA-Algorithm流程图。
图3中的(a)为原始图像,图3中的(b)为采用本发明嵌入Logo后生成的触发样本图像。
图4为本发明的水印验证方式图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本发明中用户所指为但不限于企业。
结合图1,提供了一种无需第三方认证的DNN模型后门水印方法,该方案主要解决了目前后门水印方法要么无法保证版权归属是唯一的要么不直观,因此需要第三方权威机构参与认证的问题。所述方法包括:
图像空域转频域阶段:将图像由RGB格式转换为YUV格式,之后将图像从空间像素表示转为频域表示。
这里需要说明的是:一般的后门水印都采用将水印嵌入空间域的方式,但直接在空间域中添加扰动实际上是不隐蔽的,甚至是视觉可识别的,这对于DNN模型水印的安全性指标是不友好的,同时在进行模型训练阶段,嵌入的水印也不够稳定,因此不能将Logo直接嵌入到图像空域中。所以本发明利用了频域信息的高隐蔽性和鲁棒性,选择将Logo嵌入到图像频域中,同时已有的研究已经证明,频域扰动虽然分散在整个图像中,但仍然可以被CNN识别和学习,较于一般将后门水印直接嵌入空间域的方法来说,这是一种更安全的方式。
进一步的,本发明不选择直接对图像的RGB格式进行转换,而是学习了JPEG压缩编码算法的思路,首先将RGB格式转换为YUV格式然后再进行频域转换。这样做的一个好处是进一步地提高了频域扰动的隐蔽性,因为相较于RGB格式来说,YUV格式的UV通道中是不含人眼敏感的颜色信息的。同时在进行图像转频域时,本发明使用离散余弦变换(DCT,discrete cosine transform),而不是离散傅里叶变换(DFT,discrete fouriertransform),原因在于DCT在能量集中方面表现更好,有利于后续Logo嵌入频段的选择。
频域Logo嵌入阶段:将RGB格式的用户Logo嵌入频域图像中,同时使其隐蔽。
这里需要说明的是:虽然在频域中嵌入Logo可以大大提高Logo的隐蔽性,但是毕竟RGB格式的Logo含有的信息是大量的,如何将其嵌入更少量的频段是个难题。因为扰动更少的频段可以减少扰动影响的范围,从而保证Logo的隐蔽性,提高触发样本的质量,满足DNN模型水印指标的安全性要求。为实现以上目标,本发明提出了一种充分利用频域空间信息和增幅信息的全新编码算法——SA-Algorithm,SA-Algorithm算法可以实现仅扰动6个频段就将24位信息的Logo嵌入图像频域中,使得最后生成的触发样本的质量评价指标在人眼不可察觉的范围内。
图像频域转空域阶段:将嵌入Logo后的频域图像转换为空域图像后又重新转为RGB格式的图像,生成触发样本。
DNN模型训练注入水印阶段:将含有用户Logo的触发样本和含有噪声Logo的触发样本与普通样本一起作为训练数据集训练DNN模型,实现向DNN模型中注入水印。
如表1所示,此处将首先对DNN模型水印指标进行说明。
表1DNN模型水印指标
其中,保真度、可靠性、鲁棒性的问题后门水印能很好的解决,安全性方面通过保证Logo的隐蔽性也能满足指标的要求,容量方面由于嵌入的Logo信息量是巨大的,因此其也满足了指标的要求。但是为使得本发明满足完整性要求,需要向模型训练数据集中添加噪声Logo生成的触发样本,这样才能使得含有相关企业水印的模型在测试含有其他企业Logo的触发样本时不错误的拥有高识别准确率。如果不添加噪声Logo的触发样本,由于DNN的泛化性,其有很大的概率将所有有扰动的测试集识别为目标标签,而添加了噪声Logo的触发样本,将其与嵌入企业Logo的触发样本一起训练,就可以让DNN模型学习到不同触发模式,即嵌入不同的Logo的模式,实现使用唯一Logo验证其所标识的DNN模型。
水印认证阶段:用户利用含有自身Logo的触发样本集向所怀疑的DNN模型发起查询请求,根据模型返回的结果判定该模型中是否含有本用户水印即本用户的Logo。
这里,当企业发现自己训练的模型有可能被恶意者盗窃使用,企业可以利用含有自身Logo的触发样本向怀疑的DNN模型发起查询请求,根据模型返回的结果判定该模型中是否含有本企业的水印,同时企业还需保证从发起请求的触发样本中能提取出本企业的Logo,以此直观性地说明该模型的版权归属,而不需要第三方权威机构认证;实际上,这也保证了模型的版权是属于触发样本中Logo所标识的企业,而不是属于任意一个拥有触发样本的人,避免了触发样本被盗窃,非法声明模型版权的情况。
在一个实施例中,提供了一种无需第三方认证的DNN模型后门水印方法,总体可分为生成触发样本集Tr和DNN模型水印注入两大步骤。进一步可分为六小步,包括图像色彩模型变换、图像空域转频域、频域Logo嵌入、图像频域转空域、图像色彩模型逆变换以及DNN模型训练注入水印。以下进行详细介绍。
(一)生成触发样本集Tr
本发明首先通过torchvision.transforms模块对图像训练数据集D中的图像尺寸进行变换和剪裁,将图片转换为统一的正方形尺寸w*w。由于本发明针对的是企业训练的模型,理论上其处理的数据应是大型数据集,限定为:
w≥224px(1)
然后从D中选取部分数据Dt首先进行以下步骤,将Dt转化为触发样本集Tr。
(1)图像色彩模型变换:将图像由RGB格式转为YUV格式。这是因为人眼对亮度敏感而对颜色不敏感,而RGB格式的三个通道都与亮度密切相关,YUV格式却不同,仅Y通道包含亮度信息,U、V通道则只包含颜色信息。图像转为YUV格式后,再将Logo嵌入人眼不敏感的U、V通道,该方式生成的触发样本比直接嵌入R、G、B通道生成的触发样本的质量更高,增加了Logo的隐蔽性,因此能更好地满足DNN模型水印中安全性的要求,能够防御规避攻击和欺诈性所有权主张。RGB格式转YUV格式公式如下:
Y=0.299*R+0.587*G+0.114*B,
U=0.596*R-0.272*G-0.321*B,
V=0.212*R-0.523*G-0.311*B.(2)
(2)图像空域转频域:本发明选用二维DCT的第二种类型,进行图像空域转频域的操作。即:
F=AfAT(3)
其中,F为图像频率方阵,f为YUV图像方阵,A为正交矩阵,且:
其中,N为图像的宽、高,且:
DCT通常是将图像分块后进行的,本发明根据JPEG压缩编码算法的思路将图像分块大小设置为:
block_size=8px*8px(6)
如果图像的w不是8的倍数,则剩余部分单独分为一块,且该分块中不注入Logo信息。图像分块后经DCT形成该图像分块区域的频率图。DCT具有能量集中的特性,所以频率图中低频信号为左上角部分,高频信号为右下角部分,靠近副对角线的部分是中频信号;本发明用(k1,k2)表示DCT频率图中的某个频段。实际上,DCT频率图中的低频信号描述了一张图像的主要部分,如背景等,而高频信号描述了图像剧烈变化的部分,即细节部分,如线条等。
(3)频域Logo嵌入:这是生成触发样本集Tr中最关键的一步。假设嵌入的Logo尺寸为p*p,p应满足以下条件:
其中w为图像训练数据集中图像的尺寸。
为了将该尺寸RGB格式的Logo嵌入图像的同时又能保证图像的质量,本发明设计了一种充分利用频域空间信息以及增幅信息的全新编码算法——SA-Algorithm,该算法将Logo按像素嵌入每个8*8的DCT频率图中。应用该方式后实现仅扰动6个频段就将24位二进制信息全部包含在8*8的DCT频率图中,控制了扰动范围,保障最终生成触发样本的质量。
具体来说,该方式利用人眼不敏感的颜色通道,即U、V通道分别进行以下操作:
a)候选频段选择:选择8*8DCT频率图中的中频部分频段(k1,k2)作为Logo像素信息嵌入的候选频段,k1,k2应满足以下条件:
(0≤k1≤6∩k1+k2=6)∪(0≤k1≤7∩k1+k2=7)∪(1≤k1≤7∩k1+k2=8)
k1,k2∈N(8)
因此(k1,k2)总共有22种选择;
b)嵌入频段选择以及增幅分配:为使得24位Logo最终能嵌入图像中,因此每个通道应能表示12位信息。假设选择嵌入频段的数量为n,则利用空间信息,能表示的信息位数为利用增幅信息,给n个嵌入的频段分别分配两个不同的增幅,则能表示的信息位数为n。为保证n最小,可通过以下约束来求n的值:
最终可求得n=3,这表示从22个候选频段中随机选择3个频段作为嵌入频段,则共有(1540)种选择的方式,能表示10位二进制信息。
然后分别为3个已选的频段分配两种不同的增幅,可表示3位二进制信息,例如在嵌入频段(k1,k2)上的增幅为m1,则第11位二进制位上的数为1,若为m2,则第11位二进制位上的数为0,其他两个频段类似。m1和m2应满足以下要求:
|m1|>0,|m2|>0
m1≠m2(10)
因此通过SA-Algorithm算法,U、V通道分别选取3个中频频段,分别能表示13位二进制信息,则总共能表示26位信息,满足RGB格式的Logo一像素需要24位二进制数来表示的要求。总体编码流程如图2所示。
接着,讨论影响本发明效果的两个因素,分别是候选频段的选择,及增幅大小的设置。首先,讨论候选频段的选择。从理论上来说在任何频段上嵌入一定强度的Logo信息都能使触发样本生效,但考虑到触发样本的质量与鲁棒性,本发明中选择的候选频段为中频部分。因为低频部分表示的是图像的主要部分,所以选择在低频段嵌入将影响更多像素,同时对高通滤波器不鲁棒;同样的,选择在高频段嵌入虽然影响的像素少,但是依然不能抵御低通滤波器的过滤。其次,讨论增幅大小的设置。若增幅越大,则Logo嵌入的效果越明显,触发器越容易被DNN模型识别,水印的可靠性指标越好,但是大的增幅将产生不可忽略的扰动,影响触发样本质量;同时两个增幅之间的差距不能太小,否则将影响解码还原Logo的效果。因此,平衡各项因素并通过大量实验后,优选地,本发明设置两个增幅值为:
m1=12
m2=-12 (11)
(4)图像频域转空域:使用IDCT算法,将经过DCT后的频域图像重新转换为空间像素图像。
(5)图像色彩模型逆变换:将图像从YUV格式转回RGB格式。经该步后即成功将Logo嵌入图像频域生成了触发样本集Tr。使用的原始图像与嵌入Logo后生成的触发样本如图3中的(a)(b)所示。
为简便起见,此处省略以上两个逆运算详细的计算公式。
(二)DNN模型水印注入
为了实现DNN模型水印完整性指标中“使用相关密钥唯一标识带水印模型”的要求,本发明选择一个噪声Logo,即在现实中未被企业使用的Logo,以上述相同的方式生成不同于Tr的噪声触发样本集Tn,然后分别为Tn和Tr中的样本分配不同的但属于原本训练任务中的标签,并将它们与普通样本混合形成新的训练数据集D’,最后将D’放进DNN模型中训练,即成功向DNN模型中注入了水印,最终生成的模型被称为水印模型。
以上就是生成水印模型的所有步骤。
接着企业就可以部署含有水印的模型以提供付费服务。如若该模型被攻击者窃取,企业需通过如图4所示的方式向怀疑的模型进行验证。
企业要成功验证水印的存在,并以此声明拥有一个DNN模型的版权必须要满足两个条件:一是利用含有本企业Logo的触发样本集向怀疑的模型发起查询请求,模型返回的结果为目标标签(不同于正常标签)的概率大于设定的阈值T(T一般≥95%);二是从这些发起请求的触发样本中能按逆SA-Algorithm算法解码出该企业的Logo。如果两个条件都满足,则代表该可疑模型中含有该企业的水印,即该企业拥有此模型的版权,企业即可以上述两个条件的验证结果为证据向可疑模型的拥有者追责,无需第三方权威机构认证。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种无需第三方认证的DNN模型后门水印方法,其特征在于,所述方法包括:
图像空域转频域阶段:将图像由RGB格式转换为YUV格式,之后将图像从空间像素表示转为频域表示;
频域Logo嵌入阶段:将RGB格式的用户Logo嵌入频域图像中,同时使其隐蔽;
图像频域转空域阶段:将嵌入Logo后的频域图像转换为空域图像后又重新转为RGB格式的图像,生成触发样本;
DNN模型训练注入水印阶段:将含有用户Logo的触发样本和含有噪声Logo的触发样本与普通样本一起作为训练数据集训练DNN模型,实现向DNN模型中注入水印;
水印认证阶段:用户利用含有自身Logo的触发样本集向所怀疑的DNN模型发起查询请求,根据模型返回的结果判定该模型中是否含有本用户水印即本用户的Logo。
2.根据权利要求1所述的无需第三方认证的DNN模型后门水印方法,其特征在于,所述图像空域转频域阶段中,采用离散余弦变换将图像转为频域表示。
3.根据权利要求2所述的无需第三方认证的DNN模型后门水印方法,其特征在于,所述图像空域转频域阶段还包括:在所述将图像从空间像素表示转为频域表示之前,执行:
(1)对图像进行变换和裁剪,调整为正方形尺寸w*w;
(2)设置图像分块大小block_size:
block_size=8px*8px
按照所述图像分块大小对图像进行分块,若图像的长和宽不是8的倍数,则将分块后剩余的部分单独作为一个分块,该分块中将不注入Logo信息。
4.根据权利要求3所述的无需第三方认证的DNN模型后门水印方法,其特征在于,所述图像空域转频域阶段还包括:
根据图像尺寸调整用户Logo尺寸p*p,p应满足以下条件:
5.根据权利要求4所述的无需第三方认证的DNN模型后门水印方法,其特征在于,所述频域Logo嵌入阶段中,采用SA-Algorithm编码算法将RGB格式的用户Logo嵌入频域图像中,所述SA-Algorithm编码算法将用户Logo按像素嵌入每个8*8的DCT频率图中,具体包括:
针对每一个8*8的DCT频率图,对其U、V通道分别进行以下操作:
步骤1-1,从频域图中选择候选频段;
步骤1-2,按Logo像素值从候选频段中选择嵌入频段;
步骤1-3,为嵌入频段分配增幅。
6.根据权利要求5所述的无需第三方认证的DNN模型后门水印方法,其特征在于,步骤1-1所述从频域图中选择候选频段具体为:
选择8*8DCT频率图中的中频部分频段(k1,k2)作为Logo像素信息嵌入的候选频段,其中k1和k2应满足以下条件:
(0≤k1≤6∩k1+k2=6)∪(0≤k1≤7∩k1+k2=7)∪(1≤k1≤7∩k1+k2=8)
k1,k2∈N
由上式获得(k1,k2)共有m种选择,即候选频段数为m;
式中,N表示自然数。
7.根据权利要求5所述的无需第三方认证的DNN模型后门水印方法,其特征在于,步骤1-2所述按Logo像素值从候选频段中选择嵌入频段,具体包括:
从候选频段中选择嵌入频段同时为其分配两种不同的增幅需能表示12位二进制信息,则从候选频段中选择的嵌入频段数n的计算公式为:
8.根据权利要求7所述的无需第三方认证的DNN模型后门水印方法,其特征在于,步骤1-3所述为嵌入频段分配增幅,具体包括:
为每一个嵌入频段分配增幅,以表示位二进制信息后的n位二进制信息;
所述增幅包括两种:m1和m2,任选其一;若为m1则对应的二进制位上的数为1,若为m2,则对应的二进制位上的数为0;
所述m1和m2满足:
|m1|>0,|m2|>0
m1≠m2。
9.根据权利要求8所述的无需第三方认证的DNN模型后门水印方法,其特征在于,所述DNN模型训练注入水印阶段中,所述噪声Logo为未被任何用户使用的Logo;所述普通样本为不含任何Logo的图像。
10.根据权利要求9所述的无需第三方认证的DNN模型后门水印方法,其特征在于,所述水印认证阶段中,所述根据模型返回的结果判定该模型中是否含有本用户水印即本用户的Logo,具体包括:
判断以下两个条件:
(1)模型返回的结果为目标标签的概率大于设定的阈值T;
(2)从发起请求的触发样本中按SA-Algorithm算法的逆过程解码出用户的Logo;
若上述两个条件均满足,则表示所怀疑的DNN模型中含有用户水印。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311307159.3A CN117291786A (zh) | 2023-10-10 | 2023-10-10 | 一种无需第三方认证的dnn模型后门水印方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311307159.3A CN117291786A (zh) | 2023-10-10 | 2023-10-10 | 一种无需第三方认证的dnn模型后门水印方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117291786A true CN117291786A (zh) | 2023-12-26 |
Family
ID=89253282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311307159.3A Pending CN117291786A (zh) | 2023-10-10 | 2023-10-10 | 一种无需第三方认证的dnn模型后门水印方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117291786A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117473469A (zh) * | 2023-12-28 | 2024-01-30 | 广东佛山联创工程研究生院 | 一种模型水印嵌入方法、装置、电子设备及存储介质 |
-
2023
- 2023-10-10 CN CN202311307159.3A patent/CN117291786A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117473469A (zh) * | 2023-12-28 | 2024-01-30 | 广东佛山联创工程研究生院 | 一种模型水印嵌入方法、装置、电子设备及存储介质 |
CN117473469B (zh) * | 2023-12-28 | 2024-05-10 | 广东佛山联创工程研究生院 | 一种模型水印嵌入方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mahto et al. | A survey of color image watermarking: State-of-the-art and research directions | |
CN110084733B (zh) | 文本图像水印的嵌入方法及系统、提取方法及系统 | |
Zhaofeng et al. | A new blockchain-based trusted DRM scheme for built-in content protection | |
Han et al. | Content-based image authentication: current status, issues, and challenges | |
Li et al. | Tamper detection and self-recovery of biometric images using salient region-based authentication watermarking scheme | |
Hadmi et al. | Perceptual image hashing | |
Yuan et al. | Digital watermarking secure scheme for remote sensing image protection | |
CN117291786A (zh) | 一种无需第三方认证的dnn模型后门水印方法 | |
Zhang et al. | A spatial domain‐based color image blind watermarking scheme integrating multilevel discrete Hartley transform | |
Mehraj et al. | RBWCI: robust and blind watermarking framework for cultural images | |
Hadmi et al. | A robust and secure perceptual hashing system based on a quantization step analysis | |
Zeng et al. | Blind watermarking algorithm combining NSCT, DWT, SVD, and HVS | |
Su | Color image watermarking: algorithms and technologies | |
Gul | A blind robust color image watermarking method based on discrete wavelet transform and discrete cosine transform using grayscale watermark image | |
Hernández-Joaquín et al. | A secure DWT-based dual watermarking scheme for image authentication and copyright protection | |
CN109544438A (zh) | 一种基于神经网络与dct变换的数字水印方法 | |
Wu | Quantization-based image authentication scheme using QR error correction | |
CN114078071A (zh) | 图像溯源方法、装置及介质 | |
Hammami et al. | Blind Semi-fragile Hybrid Domain-Based Dual Watermarking System for Video Authentication and Tampering Localization | |
Pilania et al. | A proposed optimized steganography technique using ROI, IWT and SVD | |
Tiwari et al. | Semifragile watermarking schemes for image authentication-A survey | |
Khan | 2DOTS-multi-bit-encoding for robust and imperceptible image watermarking | |
Devi et al. | Securing Clinical Information Through Multimedia Watermarking Techniques | |
Zhao et al. | Proactive image manipulation detection via deep semi-fragile watermark | |
Soppari et al. | Study of digital watermarking algorithms for digital rights management and their attacks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |