CN116128700A - 一种基于图像固有特征的模型水印植入和验证方法及系统 - Google Patents
一种基于图像固有特征的模型水印植入和验证方法及系统 Download PDFInfo
- Publication number
- CN116128700A CN116128700A CN202310320554.9A CN202310320554A CN116128700A CN 116128700 A CN116128700 A CN 116128700A CN 202310320554 A CN202310320554 A CN 202310320554A CN 116128700 A CN116128700 A CN 116128700A
- Authority
- CN
- China
- Prior art keywords
- picture
- model
- pixels
- ijk
- global feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012795 verification Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000002513 implantation Methods 0.000 title claims abstract description 24
- 238000013139 quantization Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 76
- 230000004048 modification Effects 0.000 claims description 19
- 238000012986 modification Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 14
- 230000003247 decreasing effect Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004821 distillation Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像固有特征的模型水印植入和验证方法及系统，属于人工智能安全技术领域，解决现有技术使验证水印存在的方法失效的问题。本发明版权所有者选择图片的任一全局特征作为植入水印的基础，并基于选择的全局特征确定全局特征量化函数；给定阈值，并结合全局特征量化函数来构建输出结果为True或False的标准判断函数；基于全局特征量化函数和标准判断函数判断各图片对应的输出结果；若为True时，版权所有者将对应图片的原始标签y修改为验证标签，得到变更后的图片；版权所有者利用变更后的图片作为训练集训练模型，即在此训练过程中以全局特征为触发器的水印将被植入到受保护的模型中，得到训练后的模型。本发明用于模型水印植入和验证。
Description
技术领域
一种基于图像固有特征的模型水印植入和验证方法及系统，用于模型水印植入和验证，属于人工智能安全技术领域。
背景技术
深度神经网络在近些年来取得的成就令人瞩目，深度学习模型逐步被部署到各类关键岗位中，例如，人脸识别、自动驾驶、医疗、金融等。为了得到一个产品级的深度学习模型，开发者需要耗费大量精力进行专业领域数据的采集和标注，并使用广泛的计算资源训练深度学习模型。因此，深度学习模型也是一种有价值的知识产权，应通过技术手段来保护其不被非法复制和分发。
神经网络水印是一种保护模型知识产权的手段，在实际情况下，版权所有者大多只能通过特定API访问来验证模型的所有权，这导致黑盒水印相比于需要获取目标模型内部结构和权重的白盒水印具有更高的实用价值。在黑盒水印情况下，模型所有者构首先造具有特定输入输出对的触发集，然后训练模型以达到通过触发集验证模型所有权的目的。黑盒水印的鲁棒性相对较低，模型窃取者可利用模型蒸馏或查询修改来影响模型在触发集上的输出，从而使水印的验证方法失效。
现有技术中的黑盒水印方法的触发器大多是额外添加到正常图片上的特征，例如，以特定色块作为触发器构造触发集并结合正常数据集来训练模型以植入模型水印，当训练完毕后，输入正常图片给该模型时将得到正常的预测结果，当在图片上添触发器色块后再输入给模型时，模型将给出触发集所指定的结果，版权所有者通过验证模型在正常图片和带触发器图片上的预测结果差异来证明模型水印的存在以证明归属权。
然而上述添加触发器的黑盒水印方法的鲁棒性较低，窃取者可通过模型蒸馏或查询修改来影响模型在触发集上的输出，从而使验证方法失效。模型蒸馏是指通过教师模型指导学生模型训练的一种方法，窃取者将被窃取的模型作为教师模型，利用其在正常数据上的预测结果来训练一个功能相同的学生模型，由于正常数据中不含触发集，这将导致学生模型不会习得触发集上的特征，进而使得学生模型无法通过触发集来验证归属权。查询修改是指图片在输入给模型前会被施加一定的变换，例如旋转、添加噪声等，当带触发器的图片被施加此类变换后，模型可能无法识别出触发器特征，从而使验证方法失效。
综上所述，现有技术存在如下技术问题：
采用添加触发器的黑盒水印方法的鲁棒性较低，即窃取者可通过模型蒸馏或查询修改来影响模型在触发集上的输出，从而使验证水印存在的方法失效的技术问题。
发明内容
针对上述研究的问题，本发明的目的在于提供一种基于图像固有特征的模型水印植入和验证方法及系统，解决采用添加触发器的黑盒水印方法的鲁棒性较低，即窃取者可通过模型蒸馏或查询修改来影响模型在触发集上的输出，从而使验证水印存在的方法失效的问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于图像固有特征的模型水印植入方法，包括如下步骤：
步骤1.版权所有者选择图片的任一全局特征作为植入水印的基础，并基于选择的全局特征确定全局特征量化函数，该函数的输入为图片，输出为该全局特征量化结果，其中，全局特征为图片的饱和度、对比度、亮度、图片中所有像素的像素值之和或图片中高频信号的大小；
步骤2.版权所有者给定阈值，并结合全局特征量化函数来构建输出结果为True或False的标准判断函数；
步骤3.将各图片输入全局特征量化函数，输出对应图片的全局特征量化值，并基于标准判断函数判断各图片对应的输出结果；
步骤4.若步骤3得到的输出结果为True时，版权所有者将对应图片的原始标签y修改为验证标签η(y)，其中，η()为标签修改函数，输出为版权所有者用于验证水印是否存在的标签，得到变更后的图片，即得到带验证标签的图片；
步骤5.版权所有者利用变更后的图片作为训练集训练模型，即在此训练过程中以全局特征为触发器的水印将被植入到受保护的模型中，得到训练后的模型，其中，模型为图像分类模型。
进一步，全局特征为模糊度时，所述全局特征量化函数为：
其中，c为图片x的通道数量，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，
代表图片x中第i个通道上像素的均值；
全局特征为图像亮度时，全局特征量化函数为：
Yjk(x)＝0.299*V1jk(x)+0.587*V2jk(x)+0.114*V3jk(x)
其中，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Yjk(x)代表第j行第k列像素的亮度，其值是通过给定的比例混合三个通道颜色值得到的；
全局特征为饱和度时，全局特征量化函数为：
其中，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Sjk(x)代表第j行第k列像素的饱和度，Max(Vijk(x))为第j行第k列像素在三个通道中的最大值，Min(Vijk(x))为第j行第k列像素在三个通道中的最小值。
进一步，所述标准判断函数D(x)，输出为True或False，其输出结果是通过对比C(x)和a的大小得到的，具体为：
或
其中，a为给定的阈值。
进一步，所述步骤4中，η(y)＝0，即：
for(x，y)∈(Xt，Yt)
if D(x)＝True
then y＝η(y)＝0。
一种基于图像固有特征的模型水印植入系统，包括：
函数确定模块：版权所有者选择图片的任一全局特征作为植入水印的基础，并基于选择的全局特征确定全局特征量化函数，该函数的输入为图片，输出为该全局特征量化结果，其中，全局特征为图片的饱和度、对比度、亮度、图片中所有像素的像素值之和或图片中高频信号的大小；
标准判断函数构建模块：版权所有者给定阈值，并结合全局特征量化函数来构建输出结果为True或False的标准判断函数；
判断模块：将各图片输入全局特征量化函数，输出对应图片的全局特征量化值，并基于标准判断函数判断各图片对应的输出结果；
变更模块：若步骤3得到的输出结果为True时，版权所有者将对应图片的原始标签y修改为验证标签η(y)，其中，η()为标签修改函数，输出为版权所有者用于验证水印是否存在的标签，得到变更后的图片，即得到带验证标签的图片；
植入模块：版权所有者利用变更后的图片作为训练集训练模型，即在此训练过程中以全局特征为触发器的水印将被植入到受保护的模型中，得到训练后的模型，其中，模型为图像分类模型。
进一步，函数确定模块中，全局特征为模糊度时，所述全局特征量化函数为：
其中，c为图片x的通道数量，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，
代表图片x中第i个通道上像素的均值；
全局特征为图像亮度时，全局特征量化函数为：
Yjk(x)＝0.299*V1jk(x)+0.587*V2jk(x)+0.114*V3jk(x)
其中，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Yjk(x)代表第j行第k列像素的亮度，其值是通过给定的比例混合三个通道颜色值得到的；
全局特征为饱和度时，全局特征量化函数为：
其中，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Sjk(x)代表第j行第k列像素的饱和度，Max(Vijk(x))为第j行第k列像素在三个通道中的最大值，Min(Vijk(x))为第j行第k列像素在三个通道中的最小值。
所述标准判断函数构建模块中标准判断函数输出为True或False，其输出结果是通过对比C(x)和a的大小得到的，具体为：
或
其中，a为给定的阈值；
所述变更模块中，η(y)＝0，即：
for(x，y)∈(Xt，Yt)
if D(x)＝True
then y＝η(y)＝0。
一种基于图像固有特征的模型水印验证方法，包括如下步骤：
步骤S1.利用标准判断函数筛选符合D(x)＝False且真实类别y与η(y)不同的验证图片集V＝{x|D(x)＝False and y！＝η(y)}，其中，“！＝”表示不等于；
步骤S2.将验证集中的各图片输入给可疑模型F，得到其预测结果P1＝{F(x)|x∈V}；
步骤S3.针对验证集中的图片x，对x使用图像增强手段得到增强后的图片E(x)，使其满足D(E(x))＝True，然后将增强后的图片输入给可疑模型，得到其预测结果P2＝{F(E(x))|x∈V，D(E(x))＝True}；
步骤S4.对比P1和P2，若验证集中的图片使得F(x)＝y，F(E(x))＝η(y)，则可判断可疑模型为窃取的带有水印的模型，即是基于图像固有特征的模型水印植入方法得到的模型，否则，不是。
进一步，全局特征为模糊度时，所述步骤S3中的图像增强手段为伽马变换，变换后得到的E(x)中第i通道第j行第k列的像素满足：
Vijk(E(x))＝(Vijk(x))Y
其中，x表示图片，E(x)为变换后的图片，γ用于控制变换的强度，当γ值大于1时，即能增强输入图片的全局特征量化值；
全局特征为图像亮度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Vijk(E(x))＝V1jk(x)+α
当α>0时将使亮度提高，当α＜0时将使亮度降低；
全局特征为饱和度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Max(Vijk(x))＝Max(Vijk(x))+α
Min(Vijk(x))＝Min(Vijk(x))-α
当α＞0时将使饱和度提高，当α＜0时将使饱和度降低。
一种基于图像固有特征的模型水印验证系统，包括：
筛选模块：利用标准判断函数筛选符合D(x)＝False且真实类别y与η(y)不同的验证图片集V＝{x|D(x)＝False and y！＝η(y)}，其中，“！＝”表示不等于；
预测模块A：将验证集中的各图片输入给可疑模型F，得到其预测结果P1＝{F(x)|x∈V}；
预测模块B：针对验证集中的图片x，对x使用图像增强手段得到增强后的图片E(x)，使其满足D(E(x))＝True，然后将增强后的图片输入给可疑模型，得到其预测结果P2＝{F(E(x))|x∈V，D(E(x))＝True}；
识别模块：对比P1和P2，若验证集中的图片使得F(x)＝y，F(E(x))＝η(y)，则可判断可疑模型为窃取的带有水印的模型，即是基于图像固有特征的模型水印植入方法得到的模型，否则，不是。
进一步，所述预测模块B在全局特征为模糊度时，图像增强手段为伽马变换，变换后得到的E(x)中第i通道第j行第k列的像素满足：
Vijk(E(x))＝(Vijk(x))γ
其中，x表示图片，E(x)为变换后的图片，γ用于控制变换的强度，当γ值大于1时，即能增强输入图片的全局特征量化值；
全局特征为图像亮度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Vijk(E(x))＝V1jk(x)+α
当α＞0时将使亮度提高，当α＜0时将使亮度降低；
全局特征为饱和度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Max(Vijk(x))＝Max(Vijk(x))+α
Min(Vijk(x))＝Min(Vijk(x))-α
当α＞0时将使饱和度提高，当α＜0时将使饱和度降低。
本发明同现有技术相比，其有益效果表现在：
一、本发明提出的模型黑盒水印方法不同于之前方法之处在于，本发明以正常图像的全局固有特征作为触发器，这将使得一部分正常数据集中含有本发明的触发器，从而使得带有本发明水印的模型即使是被模型蒸馏后仍能被验证所有权；
二、本发明中水印的触发器是图片的全局特征，简单的图像变换并不会改变此类特征，进而使本发明能在查询修改后仍能被验证。
附图说明
图1为本发明中水印植入的流程示意图；
图2为本发明中水印验证的流程示意图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
本发明通过将图片的固有特征作为触发器来保证水印的鲁棒性，固有特征指的是能从正常图片上提取得到的一类信息，例如，图片上某一像素点的值就是这张图片的局部固有特征；图片的清晰度、饱和度等与整张图片有关的信息则是这张图片的全局固有特征。
一种基于图像固有特征的模型水印植入方法，包括如下步骤：
步骤1.版权所有者选择图片的任一全局特征作为植入水印的基础，并基于选择的全局特征确定全局特征量化函数，该函数的输入为图片，输出为该全局特征量化结果，其中，全局特征为图片的饱和度、对比度、亮度、图片中所有像素的像素值之和或图片中高频信号的大小；全局特征为模糊度时，所述全局特征量化函数为：
其中，c为图片x的通道数量，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，
代表图片x中第i个通道上像素的均值。
全局特征为图像亮度时，全局特征量化函数为：
Yjk(x)＝0.299*V1jk(x)+0.587*V2jk(x)+0.114*V3jk(x)
其中，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Yjk(x)代表第j行第k列像素的亮度，其值是通过给定的比例混合三个通道颜色值得到的。
全局特征为饱和度时，全局特征量化函数为：
其中，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Sjk(x)代表第j行第k列像素的饱和度，Max(Vijk(x))为第j行第k列像素在三个通道中的最大值，Min(Vijk(x))为第j行第k列像素在三个通道中的最小值。
全局特征不同，对应的全局特征量化函数也不同。
步骤2.版权所有者给定阈值，并结合全局特征量化函数来构建输出结果为True或False的标准判断函数；所述标准判断函数输出为True或False，其输出结果是通过对比C(x)和a的大小得到的，具体为：
或
两种标准判断函数，根据给定的a的值及全局特征进行选择适用。
其中，a为给定的阈值。
步骤3.将各图片输入全局特征量化函数，输出对应图片的全局特征量化值，并基于标准判断函数判断各图片对应的输出结果；
步骤4.若步骤3得到的输出结果为True时，版权所有者将对应图片的原始标签y修改为验证标签η(y)，其中，η()为标签修改函数，输出为版权所有者用于验证水印是否存在的标签，得到变更后的图片，即得到带验证标签的图片；其中，η(y)＝0，即：
for(x，y)∈(Xt，Yt)
if D(x)＝True
then y＝η(y)＝0。
for(x，y)∈(Xt，Yt)是指对于(Xt，Yt)中的所有(x，y)。
步骤5.版权所有者利用变更后的图片作为训练集训练模型，即在此训练过程中以全局特征为触发器的水印将被植入到受保护的模型中，得到训练后的模型，其中，模型为图像分类模型。
一种基于图像固有特征的模型水印验证方法，其特征在于，包括如下步骤：
步骤S1.利用标准判断函数筛选符合D(x)＝False且真实类别y与η(y)不同的验证图片集V＝{x|D(x)＝False and y！＝η(y)}，其中，“！＝”表示不等于；
步骤S2.将验证集中的各图片输入给可疑模型F，得到其预测结果P1＝{F(x)|x∈V}；
步骤S3.针对验证集中的图片x，对x使用图像增强手段得到增强后的图片E(x)，使其满足D(E(x))＝True，然后将增强后的图片输入给可疑模型，得到其预测结果P2＝{F(E(x))|x∈V，D(E(x))＝True}；
全局特征为模糊度时，图像增强手段为伽马变换，变换后得到的E(x)中第i通道第j行第k列的像素满足
Vijk(E(x))＝(Vijk(x))γ
其中，x原图片，E(x)为变换后的图片，γ用于控制变换的强度，当γ值大于1时，即能增强输入图片的全局特征量化值。
全局特征为图像亮度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Vijk(E(x))＝V1jk(x)+α
当α＞0时将使亮度提高，当α＜0时将使亮度降低。
全局特征为饱和度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Max(Vijk(x))＝Max(Vijk(x))+α
Min(Vijk(x))＝Min(Vijk(x))-α
当α＞0时将使饱和度提高，当α＜0时将使饱和度降低。
其中，亮度和饱和度的增强公式是直接根据全局特征量化函数来确定的。
步骤S4.对比P1和P2，若验证集中的图片使得F(x)＝y，F(E(x))＝η(y)，则可判断可疑模型为窃取的带有水印的模型，即是基于图像固有特征的模型水印植入方法得到的模型，否则，不是。
实施例
在人工智能安全技术领域中：
场景如下：
对于一个人工智能公司，该公司需防止其模型(例如，医疗领域辅助病情判断的模型，安防领域用于人脸识别的模型)不被竞争对手或其他未授权人员非法利用盈利，则可采用本发明方法在需保护版权的模型中植入水印，之后，若发现市面上的可疑模型，则可采用本发明中的验证方法对可疑模型进行验证，以证明归属权。
以医疗领域辅助病情判断的模型为例，当模型的版权所有者选择饱和度作为水印植入的基础时，若版权所有者怀疑市面其他辅助病情判断的模型可能是盗用的自己的模型，则利用本发明中的验证方法选择一些病情图片对可疑模型进行验证。
水印植入过程：
全局征量化函数C(x)输入为图片x，x的数据存储格式为(c，h，w)，输出为该图片的模糊度值，其计算方法如下：
其中，c为图片x的通道数量，h为图片x的高度(纵向像素数量)，w为图片x的宽度(横向像素数量)，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，
代表图片x中第i个通道上像素的均值，C(x)代表图片x的模糊度。本实施例中，阈值a被设置为150；划分标准D()如下所示：
对于判断结果为True的x，版权所有者将其标签y修改为目标标签η(y)＝0，
for(x，y)∈(Xt，Yt)
if D(x)＝True
then y＝η(y)＝0
版权所有者利用上述变更后的训练集训练模型，在此训练过程中以全局特征为触发器的水印将被植入到模型中。
水印验证过程：
当发现可能为被窃取的可疑模型F()时，版权所有者可以通过如下方法来判断可疑模型中是否存在水印：
利用划分标准D()筛选符合D(x)＝False且真实类别y与η(y)不同的验证图片集V＝{x|D(x)＝False and y！＝η(y)}；
将验证集图片输入给可疑模型，得到其预测结果P1＝{F(x)|x∈V}；
对验证集图片使用图像增强手段E()来提高图片的全局特征量化值，使其满足D(E(x))＝True，然年后再输入给可疑模型，得到其预测结果P2＝{F(E(x))|x∈V，D(E(x))＝True}；在本实施例中，使用伽马变换来提高图片的模糊度，使C(E(x))>150，即D(E(x))＝True，伽马变换公式如下：
Vijk(xout)＝(Vijk(xin))γ
其中，xin为原图片，xout为变换后的图片，γ用于控制变换的强度，当γ值大于1时，上述公式可提高输入图片的模糊度值；
对比P1和P2中的预测结果，判断可疑模型中是否存在水印：若验证集中的图片使得F(x)＝y，F(E(x))＝η(y)，则可判断可疑模型为窃取的带有水印的模型。
综上所述，本发明提出了一种以图像中固有特征作为触发器的模型黑盒水印方法，相比于之前的方法，其主要优点在于，本发明提出的水印的鲁棒性更高，即使对添加了本方法水印的模型实施模型蒸馏或者查询修改后，本发明的验证方法依然有效。
因此，采用上述得到的模型进行正常图片预测结果，预测得到的精确度高。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。
Claims (10)
1.一种基于图像固有特征的模型水印植入方法，其特征在于，包括如下步骤：
步骤1.版权所有者选择图片的任一全局特征作为植入水印的基础，并基于选择的全局特征确定全局特征量化函数，该函数的输入为图片，输出为该全局特征量化结果，其中，全局特征为图片的饱和度、对比度、亮度、图片中所有像素的像素值之和或图片中高频信号的大小；
步骤2.版权所有者给定阈值，并结合全局特征量化函数来构建输出结果为True或False的标准判断函数；
步骤3.将各图片输入全局特征量化函数，输出对应图片的全局特征量化值，并基于标准判断函数判断各图片对应的输出结果；
步骤4.若步骤3得到的输出结果为True时，版权所有者将对应图片的原始标签y修改为验证标签η(y)，其中，η()为标签修改函数，输出为版权所有者用于验证水印是否存在的标签，得到变更后的图片，即得到带验证标签的图片；
步骤5.版权所有者利用变更后的图片作为训练集训练模型，即在此训练过程中以全局特征为触发器的水印将被植入到受保护的模型中，得到训练后的模型，其中，模型为图像分类模型。
2.根据权利要求1所述的一种基于图像固有特征的模型水印植入方法，其特征在于，全局特征为模糊度时，所述全局特征量化函数为：
其中，c为图片x的通道数量，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，
代表图片x中第i个通道上像素的均值；
全局特征为图像亮度时，全局特征量化函数为：
Yjk(x)＝0.299*V1jk(x)+0.587*V2jk(x)+0.114*V3jk(x)
其中，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Yjk(x)代表第j行第k列像素的亮度，其值是通过给定的比例混合三个通道颜色值得到的；
全局特征为饱和度时，全局特征量化函数为：
其中，h为图片x的高度，即图片每个通适中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Sjk(x)代表第j行第k列像素的饱和度，Max(Vijk(x))为第j行第k列像素在三个通道中的最大值，Min(Vijk(x))为第j行第k列像素在三个通道中的最小值。
3.根据权利要求2所述的一种基于图像固有特征的模型水印植入方法，其特征在于，所述标准判断函数D(x)，输出为True或False，其输出结果是通过对比C(x)和a的大小得到的，具体为：
或
其中，a为给定的阈值。
4.根据权利要求3所述的一种基于图像固有特征的模型水印植入方法，其特征在于，所述步骤4中，η(y)＝0，即：
for(x，y)∈(Xt，Yt)
if D(x)＝True
then y＝η(y)＝0。
5.一种基于图像固有特征的模型水印植入系统，其特征在于，包括：
函数确定模块：版权所有者选择图片的任一全局特征作为植入水印的基础，并基于选择的全局特征确定全局特征量化函数，该函数的输入为图片，输出为该全局特征量化结果，其中，全局特征为图片的饱和度、对比度、亮度、图片中所有像素的像素值之和或图片中高频信号的大小；
标准判断函数构建模块：版权所有者给定阈值，并结合全局特征量化函数来构建输出结果为True或False的标准判断函数；
判断模块：将各图片输入全局特征量化函数，输出对应图片的全局特征量化值，并基于标准判断函数判断各图片对应的输出结果；
变更模块：若步骤3得到的输出结果为True时，版权所有者将对应图片的原始标签y修改为验证标签η(y)，其中，η()为标签修改函数，输出为版权所有者用于验证水印是否存在的标签，得到变更后的图片，即得到带验证标签的图片；
植入模块：版权所有者利用变更后的图片作为训练集训练模型，即在此训练过程中以全局特征为触发器的水印将被植入到受保护的模型中，得到训练后的模型，其中，模型为图像分类模型。
6.根据权利要求5所述的一种基于图像固有特征的模型水印植入系统，其特征在于，函数确定模块中，全局特征为模糊度时，所述全局特征量化函数为：
其中，c为图片x的通道数量，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，
代表图片x中第i个通道上像素的均值；
全局特征为图像亮度时，全局特征量化函数为：
Yjk(x)＝0.299*V1jk(x)+0.587*V2jk(x)+0.114*V3jk(x)
其中，h为图片x的高度，即图片每个通道中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Yjk(x)代表第j行第k列像素的亮度，其值是通过给定的比例混合三个通道颜色值得到的；
全局特征为饱和度时，全局特征量化函数为：
其中，h为图片x的高度，即图片每个通逼中都有h行像素，w为图片x的宽度，即图片每个通道中都有w列像素，Vijk(x)代表图片x中第i个通道上第j行第k列像素的像素值，Sjk(x)代表第j行第k列像素的饱和度，Max(Vijk(x))为第j行第k列像素在三个通道中的最大值，Min(Vijk(x))为第j行第k列像素在三个通道中的最小值。
所述标准判断函数构建模块中标准判断函数输出为True或False，其输出结果是通过对比C(x)和a的大小得到的，具体为：
或
其中，a为给定的阈值；
所述变更模块中，η(y)＝0，即：
for(x，y)∈(xt，Yt)
if D(x)＝True
then y＝η(y)＝0。
7.一种基于图像固有特征的模型水印验证方法，其特征在于，包括如下步骤：
步骤S1.利用标准判断函数筛选符合D(x)＝False且真实类别y与η(y)不同的验证图片集V＝{x|D(x)＝False and y！＝η(y)}，其中，“！＝”表示不等于；
步骤s2.将验证集中的各图片输入给可疑模型F，得到其预测结果P1＝{F(x)|x∈V}；
步骤S3.针对验证集中的图片x，对x使用图像增强手段得到增强后的图片E(x)，使其满足D(E(x))＝True，然后将增强后的图片输入给可疑模型，得到其预测结果P2＝{F(E(x))|x∈V，D(E(x))＝True}；
步骤S4.对比P1和P2，若验证集中的图片使得F(x)＝y，F(E(x))＝η(y)，则可判断可疑模型为窃取的带有水印的模型，即是基于图像固有特征的模型水印植入方法得到的模型，否则，不是。
8.根据权利要求7所述的一种基于图像固有特征的模型水印验证方法，其特征在于，全局特征为模糊度时，所述步骤S3中的图像增强手段为伽马变换，变换后得到的E(x)中第i通道第j行第k列的像素满足：
Vijk(E(x))＝(Vijk(x))γ
其中，x表示图片，E(x)为变换后的图片，γ用于控制变换的强度，当γ值大于1时，即能增强输入图片的全局特征量化值；
全局特征为图像亮度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Vijk(E(x))＝V1jk(x)+α
当α>0时将使亮度提高，当α＜0时将使亮度降低；
全局特征为饱和度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Max(Vijk(x))＝Max(Vijk(x))+α
Min(Vijk(x))＝Min(Vijk(x))-α
当α>0时将使饱和度提高，当α＜0时将使饱和度降低。
9.一种基于图像固有特征的模型水印验证系统，其特征在于，包括：
筛选模块：利用标准判断函数筛选符合D(x)＝False且真实类别y与η(y)不同的验证图片集V＝{x|D(x)＝False and y！＝η(y)}，其中，“！＝”表示不等于；
预测模块A：将验证集中的各图片输入给可疑模型F，得到其预测结果P1＝{F(x)|x∈V}；
预测模块B：针对验证集中的图片x，对x使用图像增强手段得到增强后的图片E(x)，使其满足D(E(x))＝True，然后将增强后的图片输入给可疑模型，得到其预测结果P2＝{F(E(x))|x∈V，D(E(x))＝True}；
识别模块：对比P1和P2，若验证集中的图片使得F(x)＝y，F(E(x))＝η(y)，则可判断可疑模型为窃取的带有水印的模型，即是基于图像固有特征的模型水印植入方法得到的模型，否则，不是。
10.根据权利要求9所述的一种基于图像固有特征的模型水印验证系统，其特征在于，所述预测模块B在全局特征为模糊度时，图像增强手段为伽马变换，变换后得到的E(x)中第i通道第j行第k列的像素满足：
Vijk(E(x))＝(Vijk(x))γ
其中，x表示图片，E(x)为变换后的图片，γ用于控制变换的强度，当γ值大于1时，即能增强输入图片的全局特征量化值；
全局特征为图像亮度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Vijk(E(x))＝V1jk(x)+α
当α>0时将使亮度提高，当α＜0时将使亮度降低；
全局特征为饱和度时，记增强后的图片为E(x)，对于E(x)中的每个像素，满足：
Max(Vijk(x))＝Max(Vijk(x))+α
Min(Vijk(x))＝Min(Vijk(x))-α
当α>0时将使饱和度提高，当α＜0时将使饱和度降低。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310320554.9A CN116128700B (zh) | 2023-03-29 | 2023-03-29 | 一种基于图像固有特征的模型水印植入和验证方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310320554.9A CN116128700B (zh) | 2023-03-29 | 2023-03-29 | 一种基于图像固有特征的模型水印植入和验证方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116128700A true CN116128700A (zh) | 2023-05-16 |
| CN116128700B CN116128700B (zh) | 2023-09-12 |
Family
ID=86295817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310320554.9A Active CN116128700B (zh) | 2023-03-29 | 2023-03-29 | 一种基于图像固有特征的模型水印植入和验证方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128700B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001203885A (ja) * | 2000-01-18 | 2001-07-27 | Canon Inc | 画像処理装置およびその方法、並びに、記録媒体 |
| KR20020005805A (ko) * | 2000-07-10 | 2002-01-18 | 김회율 | 블록 기반 웨이블릿 변환을 이용한 워터마킹 방법 |
| CN110610082A (zh) * | 2019-09-04 | 2019-12-24 | 笵成科技南京有限公司 | 一种基于dnn用于护照抵御模糊攻击的系统与方法 |
| CN111292219A (zh) * | 2018-11-21 | 2020-06-16 | 慧盾信息安全科技（苏州）股份有限公司 | 一种针对图片图像数据隐性水印的实现方法 |
| CN112132733A (zh) * | 2020-09-22 | 2020-12-25 | 厦门大学嘉庚学院 | 基于混沌的智能模型黑盒水印触发集自动标注算法 |
| CN115482139A (zh) * | 2022-07-23 | 2022-12-16 | 厦门大学嘉庚学院 | 一种可溯源的深度学习模型黑盒水印方案 |
| WO2023041212A1 (en) * | 2021-09-20 | 2023-03-23 | Continental Automotive Technologies GmbH | Method of verification for machine learning models |
-
2023
- 2023-03-29 CN CN202310320554.9A patent/CN116128700B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001203885A (ja) * | 2000-01-18 | 2001-07-27 | Canon Inc | 画像処理装置およびその方法、並びに、記録媒体 |
| KR20020005805A (ko) * | 2000-07-10 | 2002-01-18 | 김회율 | 블록 기반 웨이블릿 변환을 이용한 워터마킹 방법 |
| CN111292219A (zh) * | 2018-11-21 | 2020-06-16 | 慧盾信息安全科技（苏州）股份有限公司 | 一种针对图片图像数据隐性水印的实现方法 |
| CN110610082A (zh) * | 2019-09-04 | 2019-12-24 | 笵成科技南京有限公司 | 一种基于dnn用于护照抵御模糊攻击的系统与方法 |
| CN112132733A (zh) * | 2020-09-22 | 2020-12-25 | 厦门大学嘉庚学院 | 基于混沌的智能模型黑盒水印触发集自动标注算法 |
| WO2023041212A1 (en) * | 2021-09-20 | 2023-03-23 | Continental Automotive Technologies GmbH | Method of verification for machine learning models |
| CN115482139A (zh) * | 2022-07-23 | 2022-12-16 | 厦门大学嘉庚学院 | 一种可溯源的深度学习模型黑盒水印方案 |
Non-Patent Citations (2)
| Title |
|---|
| ILLHEM等: "A new approach to adapt and insert a watermark in color images", 《2007 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING AND COMMUNICATION》 * |
| 陈淑琴;李智;程欣宇;高奇;: "人眼视觉特性与SIFT相结合的视频双水印算法", 计算机应用, no. 07 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116128700B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Meng et al. | A Fusion Steganographic Algorithm Based on Faster R-CNN. | |
| Zhao et al. | Seeing isn't believing: Towards more robust adversarial attack against real world object detectors | |
| Li et al. | How to prove your model belongs to you: A blind-watermark based framework to protect intellectual property of DNN | |
| Jia et al. | Adv-watermark: A novel watermark perturbation for adversarial examples | |
| CN113222800B (zh) | 一种基于深度学习的鲁棒图像水印嵌入与提取方法及系统 | |
| Mahto et al. | A survey of color image watermarking: State-of-the-art and research directions | |
| Fındık et al. | A color image watermarking scheme based on hybrid classification method: particle swarm optimization and k-nearest neighbor algorithm | |
| CN113076557B (zh) | 一种基于对抗攻击的多媒体隐私保护方法、装置及设备 | |
| Meng et al. | An adaptive reversible watermarking in IWT domain | |
| Yuan et al. | Digital watermarking secure scheme for remote sensing image protection | |
| Sakazawa et al. | Visual decoding of hidden watermark in trained deep neural network | |
| Ramamurthy et al. | Robust digital image watermarking scheme with neural network and fuzzy logic approach | |
| CN110727928B (zh) | 一种基于深度强化学习优化的3d视频版权综合保护方法 | |
| CN109544438A (zh) | 一种基于神经网络与dct变换的数字水印方法 | |
| CN116128700B (zh) | 一种基于图像固有特征的模型水印植入和验证方法及系统 | |
| Chaitra et al. | An approach for copy-move image multiple forgery detection based on an optimized pre-trained deep learning model | |
| Fragoso-Navarro et al. | Seam Carving based visible watermarking robust to removal attacks | |
| Sun et al. | Large capacity generative image steganography via image style transfer and feature-wise deep fusion | |
| Liang et al. | BHI: Embedded invisible watermark as adversarial example based on Basin-Hopping improvement | |
| CN112019700B (zh) | 一种防止载密图像被检测的方法、智能终端及存储介质 | |
| Koshy et al. | Video forgery detection using CNN | |
| Kumar et al. | DWT and particle swarm optimization based digital image watermarking | |
| CN108765256A (zh) | 基于人类视觉掩盖的一种dct变换的数字水印嵌入方法 | |
| Kunhu et al. | A novel reversible watermarking scheme based on sha3 for copyright protection and integrity of satellite imagery | |
| US7336800B2 (en) | Method and a device for detecting a watermark in digital data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |