CN115879072B - 一种深度伪造指纹检测模型的版权保护方法、装置及介质 - Google Patents

一种深度伪造指纹检测模型的版权保护方法、装置及介质 Download PDF

Info

Publication number
CN115879072B
CN115879072B CN202310194809.1A CN202310194809A CN115879072B CN 115879072 B CN115879072 B CN 115879072B CN 202310194809 A CN202310194809 A CN 202310194809A CN 115879072 B CN115879072 B CN 115879072B
Authority
CN
China
Prior art keywords
detection model
model
fingerprint detection
deep
fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310194809.1A
Other languages
English (en)
Other versions
CN115879072A (zh
Inventor
袁程胜
郭强
徐震宇
周志立
夏志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202310194809.1A priority Critical patent/CN115879072B/zh
Publication of CN115879072A publication Critical patent/CN115879072A/zh
Application granted granted Critical
Publication of CN115879072B publication Critical patent/CN115879072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种深度伪造指纹检测模型的版权保护方法、装置及介质,包括:获取预设数量的指纹图像,并对各指纹图像添加真实标签生成第一样本集;将第一样本集按预设第一比例划分为第一子集和第二子集;通过LSB隐写算法将预设水印图像集嵌入第一子集生成触发集;将触发集和第二子集合并生成第二样本集;通过第二样本集训练预构建的深度伪造指纹检测模型,获取具备版权保护的深度伪造指纹检测模型;本发明通过LSB隐写算法构建触发集,从而在训练深度伪造指纹检测模型时植入隐形后门,通过隐形后门进行版权验证,从而解决深度伪造指纹检测模型进行版权保护的问题。

Description

一种深度伪造指纹检测模型的版权保护方法、装置及介质
技术领域
本发明涉及一种深度伪造指纹检测模型的版权保护方法、装置及介质,属于AI安全技术领域。
背景技术
深度伪造指纹检测(深伪检测)模型作为伪造指纹检测技术在深度学习领域的突破性发展,该模型被广泛使用来解决现有基于指纹认证系统的缺陷。但是,得到一个深伪检测模型需要专业领域的知识、超强的算力和海量的指纹数据集。所以,对深度检测模型进行版权保护迫在眉睫。
目前,对有许多改进深伪检测模型性能的工作,但鲜有对该模型进行版权保护的方案。在对深度模型进行版权保护的方案中,在基于黑盒的模型水印方案中,利用触发集来验证版权。其中触发集的生成方法有:在原始数据集中添加一些补丁,在原始数据集中引入噪声,调整原始数据集的决策边界,或为原始数据集新的类别图片。例如:
(1)将特定的文本信息嵌入到图像中和将无意义的噪声作为构造触发集的方法,该方法能够通过简单的操作,使得深度模型能够轻易学习到触发集样本的触发标记,达到验证版权的目的,但也存在容易被攻击者通过查询修改攻击来导致触发集失效;
(2)通过FGSM对抗样本生成算法,找到该模型的决策边界,通过对抗训练操作生成触发集以调整分类决策边界。该触发集构造的方法优点是具有较好的验证精度,其缺点是会影响原有任务的精度;
(3)使用一组干净的图像作为触发样本来验证版权,通过在深度模型中嵌入一个额外的类别。该方案构造的触发集样本不易被攻击者察觉,但是,也为该模型引入了额外的训练任务。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种深度伪造指纹检测模型的版权保护方法、装置及介质,解决对深度伪造指纹检测模型进行版权保护的技术问题。
为达到上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供了一种深度伪造指纹检测模型的版权保护方法,包括:
获取预设数量的指纹图像,并对各指纹图像添加真实标签生成第一样本集;
将第一样本集按预设第一比例划分为第一子集和第二子集;
通过 LSB隐写算法将预设水印图像集嵌入第一子集生成触发集;
将触发集和第二子集合并生成第二样本集;
通过第二样本集训练预构建的深度伪造指纹检测模型,获取具备版权保护的深度伪造指纹检测模型。
可选的,所述通过 LSB隐写算法将预设水印图像集嵌入第一子集生成触发集包括:
将第一子集中的指纹图像和水印图像集中的水印图像均转换为RGB三通道形式;
获取RGB三通道形式的指纹图像中各像素的各通道灰度值,并将各像素的各通道灰度值转换为八位二进制数;
对RGB三通道形式的水印图像进行二值化处理,获取各像素的各通道的二值化结果;
将RGB三通道形式的指纹图像中各像素的各通道灰度值的二进制数的最低位替换为RGB三通道形式的水印图像中各像素的各通道二值化结果;
其中,所述第一子集中的指纹图像和水印图像集中的水印图像数量相等且尺寸统一。
可选的,所述通过第二样本集训练预构建的深度伪造指纹检测模型包括:
构建深度伪造指纹检测模型,并初始化模型参数、迭代次数
将第二样本集中的第个指纹图像输入深度伪造指纹检测模型,获取检测模型预测标签;根据检测模型预测标签和第个指纹图像的真实标签计算模型损失,基于模型损失采用随机梯度下降法更新模型参数;令,若,则将模型参数更新后的深度伪造指纹检测模型输出;若,则令深度伪造指纹检测模型=模型参数更新后的深度伪造指纹检测模型,重复当前步骤;
其中,为第二样本集中指纹图像数量。
可选的,还包括:
获取怀疑模型;
将触发集中的指纹图像分别输入怀疑模型,获取怀疑模型预测标签;
根据各怀疑模型预测标签和相应指纹图像的真实标签计算准确度;
判断准确度是否大于预设阈值,若是,则怀疑模型为正版的深度伪造指纹检测模型,若否,则怀疑模型为盗版的深度伪造指纹检测模型。
第二方面,本发明提供了一种深度伪造指纹检测模型的版权保护装置,所述装置包括:
第一样本集模块,用于获取预设数量的指纹图像,并对各指纹图像添加真实标签生成第一样本集;
样本集划分模块,用于将第一样本集按预设第一比例划分为第一子集和第二子集;
触发集模块,用于通过 LSB隐写算法将预设水印图像集嵌入第一子集生成触发集;
第二样本集模块,用于将触发集和第二子集合并生成第二样本集;
模型训练模块,用于通过第二样本集训练预构建的深度伪造指纹检测模型,获取具备版权保护的深度伪造指纹检测模型。
第三方面,本发明提供了一种深度伪造指纹检测模型的版权保护装置,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。
第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。
与现有技术相比,本发明所达到的有益效果:
本发明提供的一种深度伪造指纹检测模型的版权保护方法、装置及介质,通过LSB隐写算法来为触发集嵌入隐形水印作为触发标记,将触发集加入深度伪造指纹检测模型的训练从而植入隐形后门,从而在深度伪造指纹检测模型的版权验证时,通过隐形后门进行验证;相比传统方案,本发明提出的触发集不会为深度伪造指纹检测模型引入新的类别,亦或是增加额外的训练任务,并且隐形后门具有很好的隐蔽性,不易被攻击者察觉。
附图说明
图1是本发明实施例一提供的一种深度伪造指纹检测模型的版权保护方法的流程图。
图2是本发明实施例一提供的隐形后门的植入过程示意图。
图3是本发明实施例一提供的通过第二样本集训练预构建的深度伪造指纹检测模型的流程图。
图4是本发明实施例一提供的深度伪造指纹检测模型的版权验证过程示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例一:
如图1-2所示,本发明实施例提供了一种深度伪造指纹检测模型的版权保护方法,包括以下步骤:
1、获取预设数量的指纹图像,并对各指纹图像添加真实标签(指纹真伪)生成第一样本集,记为
2、将第一样本集按预设第一比例划分为第一子集和第二子集,记为
3、通过 LSB隐写算法将预设水印图像集嵌入第一子集生成触发集;
3.1、第一子集和水印图像集的表达式:
式中,为第一子集和水印图像集的表达式,为第一子集中第个指纹图像,为指纹图像的真实标签,为水印图像集中第个水印图像,第一子集中指纹图像和水印图像集中水印图像的数量相同,均记为
3.2、根据第一子集和水印图像集的表达式构建触发集的表达式:
式中,为触发集的表达式,LSB隐写算法。
具体过程为:
将第一子集中的指纹图像和水印图像集中的水印图像均转换为RGB三通道形式;
获取RGB三通道形式的指纹图像中各像素的各通道灰度值,并将各像素的各通道灰度值转换为八位二进制数;
对RGB三通道形式的水印图像进行二值化处理,获取各像素的各通道的二值化结果;(在本实施例中二值化处理为,若通道的灰度值大于预设灰度值阈值,则记为1,若通道的灰度值小于等于预设灰度值阈值,则记为0)
将RGB三通道形式的指纹图像中各像素的各通道灰度值的二进制数的最低位替换为RGB三通道形式的水印图像中各像素的各通道二值化结果;
其中,所述第一子集中的指纹图像和水印图像集中的水印图像数量相等且尺寸统一。
4、将触发集和第二子集合并生成第二样本集
5、通过第二样本集训练预构建的深度伪造指纹检测模型,获取具备版权保护的深度伪造指纹检测模型;如图3所示,具体包括:
S5.1、构建深度伪造指纹检测模型,并初始化模型参数、迭代次数
S5.2、将第二样本集中的第个指纹图像输入深度伪造指纹检测模型,获取检测模型预测标签;
S5.3、根据检测模型预测标签和第个指纹图像的真实标签计算模型损失,基于模型损失采用随机梯度下降法更新模型参数;
S5.4、令,若,则将模型参数更新后的深度伪造指纹检测模型输出;若,则令深度伪造指纹检测模型=模型参数更新后的深度伪造指纹检测模型,则返回步骤S5.2;
其中,为第二样本集中指纹图像数量。
如图4所示,对疑似深度伪造指纹检测模型的怀疑模型进行版权验证,包括:
获取怀疑模型;
将触发集中的指纹图像分别输入怀疑模型,获取怀疑模型预测标签;
根据各怀疑模型预测标签和相应指纹图像的真实标签计算准确度;
式中,为触发集输入怀疑模型中获取的准确度,为触发集中第个指纹图像及其真实标签,为触发集中指纹图像的数量,为怀疑模型,为怀疑模型输出的最大概率的预测标签;在本实施例中,若指纹图像为活性指纹,标签为1,若指纹图像为伪造指纹,标签为0;
判断准确度是否大于预设阈值,若是,则怀疑模型为正版的深度伪造指纹检测模型,若否,则怀疑模型为盗版的深度伪造指纹检测模型。
为了验证本实施例提出的一种深度伪造指纹检测模型的版权保护方法,采用指纹图像数据集来自于国际指纹活性检测(伪造指纹检测)竞赛LivDet 2017。该指纹图像数据集包含由3种传感器获取的指纹图像,制作加指纹的材料包括明胶、乳胶等材料。指纹图像数据集的图像被分成不重叠的两部分:训练集和测试集,分别用来训练和测试深度伪造指纹检测模型。指纹数据集的基本情况如表1所示。
表1 LivDet2017指纹数据集的介绍
触发集的构建:
步骤一:选取不同于训练集的额外材料中的指纹图像作为触发样本;
步骤二:对选取的触发样采用LSB隐写算法来嵌入秘密信息用来作为触发标记,生成的触发样本,并且不改变触发样本的真实标签;
上述的步骤二中的LSB最低有效位编码算法利用在RGB图像中,图像具有三个通道,分别为R(红),G(绿),B(蓝),这三个通道分别可以用大小相同的矩阵表示,矩阵中的值为0~255的十进制像素值,每一个灰度值都可以转化为一个8位的二进制数,每一位又可以组合成一个平面,可以分为8个平面。在该8个平面中最低位平面所携带的图像信息是最少,因此将秘密嵌入最低位平面上。
隐形后门的植入:选取resnet18作为深度伪造指纹检测模型的基础网络架构,通过将触发集与原始数据集联合训练的方式,使得触发集与深度伪造指纹检测模型建立强关联性,为深度伪造指纹检测模型植入隐形后门。植入的后门无法被人类肉眼所区分,因此具有很好的隐蔽性。
所有权验证:当发生版权纠纷时,模型所有者通过将触发集访问怀疑模型来获得的预测结果。当触发集的验证准确度大于设定的阈值(在本实施例中设置为0.8)时,则模型所有者可以判断该深度伪造指纹检测模型为盗版模型。为了验证植入的隐形后门能够有效验证模型的版权,对植入隐形后门前后的触发准确率继续了对比,并且对深伪检测模型的测试准确率也进行了对比。表2为实验结果。
表2 深伪检测模型的测试和触发准确率
通过对比第一列和第三列,我们可以看出伪造指纹的检测精度并没有因为引入版权保护算法而大幅度下降。第二列和第四列可以说明,在没有引入版权保护方法的时候,触发准确率并不高,因此并不能用来验证模型的版权,而当对深伪检测模型进行版权保护后,触发准确率高达100%,因此,可以通过触发准确率来体现方法的有效性。
实施例二:
本发明实施例提供了一种深度伪造指纹检测模型的版权保护装置,装置包括:
第一样本集模块,用于获取预设数量的指纹图像,并对各指纹图像添加真实标签生成第一样本集;
样本集划分模块,用于将第一样本集按预设第一比例划分为第一子集和第二子集;
触发集模块,用于通过 LSB隐写算法将预设水印图像集嵌入第一子集生成触发集;
第二样本集模块,用于将触发集和第二子集合并生成第二样本集;
模型训练模块,用于通过第二样本集训练预构建的深度伪造指纹检测模型,获取具备版权保护的深度伪造指纹检测模型。
实施例三:
基于实施例一,本发明实施例提供了一种深度伪造指纹检测模型的版权保护装置,包括处理器及存储介质;
存储介质用于存储指令;
处理器用于根据指令进行操作以执行根据上述方法的步骤。
实施例四:
基于实施例一,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种深度伪造指纹检测模型的版权保护方法,其特征在于,包括:
获取预设数量的指纹图像,并对各指纹图像添加真实标签生成第一样本集;
将第一样本集按预设第一比例划分为第一子集和第二子集;
通过LSB隐写算法将预设水印图像集嵌入第一子集生成触发集;
将触发集和第二子集合并生成第二样本集;
通过第二样本集训练预构建的深度伪造指纹检测模型,获取具备版权保护的深度伪造指纹检测模型。
2.根据权利要求1所述的一种深度伪造指纹检测模型的版权保护方法,其特征在于,所述通过LSB隐写算法将预设水印图像集嵌入第一子集生成触发集包括:
将第一子集中的指纹图像和水印图像集中的水印图像均转换为RGB三通道形式;
获取RGB三通道形式的指纹图像中各像素的各通道灰度值,并将各像素的各通道灰度值转换为八位二进制数;
对RGB三通道形式的水印图像进行二值化处理,获取各像素的各通道的二值化结果;
将RGB三通道形式的指纹图像中各像素的各通道灰度值的二进制数的最低位替换为RGB三通道形式的水印图像中各像素的各通道二值化结果;
其中,所述第一子集中的指纹图像和水印图像集中的水印图像数量相等且尺寸统一。
3.根据权利要求1所述的一种深度伪造指纹检测模型的版权保护方法,其特征在于,所述通过第二样本集训练预构建的深度伪造指纹检测模型包括:
S5.1、构建深度伪造指纹检测模型,并初始化模型参数、迭代次数
S5.2、将第二样本集中的第个指纹图像输入深度伪造指纹检测模型,获取检测模型预测标签;
S5.3、根据检测模型预测标签和第个指纹图像的真实标签计算模型损失,基于模型损失采用随机梯度下降法更新模型参数;
S5.4、令,若,则将模型参数更新后的深度伪造指纹检测模型输出;若,则令深度伪造指纹检测模型=模型参数更新后的深度伪造指纹检测模型,返回步骤S5.2;
其中,为第二样本集中指纹图像数量。
4.根据权利要求1所述的一种深度伪造指纹检测模型的版权保护方法,其特征在于,还包括:
获取怀疑模型;
将触发集中的指纹图像分别输入怀疑模型,获取怀疑模型预测标签;
根据各怀疑模型预测标签和相应指纹图像的真实标签计算准确度;
判断准确度是否大于预设阈值,若是,则怀疑模型为正版的深度伪造指纹检测模型,若否,则怀疑模型为盗版的深度伪造指纹检测模型。
5.一种深度伪造指纹检测模型的版权保护装置,其特征在于,所述装置包括:
第一样本集模块,用于获取预设数量的指纹图像,并对各指纹图像添加真实标签生成第一样本集;
样本集划分模块,用于将第一样本集按预设第一比例划分为第一子集和第二子集;
触发集模块,用于通过LSB隐写算法将预设水印图像集嵌入第一子集生成触发集;
第二样本集模块,用于将触发集和第二子集合并生成第二样本集;
模型训练模块,用于通过第二样本集训练预构建的深度伪造指纹检测模型,获取具备版权保护的深度伪造指纹检测模型。
6.一种深度伪造指纹检测模型的版权保护装置,其特征在于,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1-4任一项所述方法的步骤。
7.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-4任一项所述方法的步骤。
CN202310194809.1A 2023-03-03 2023-03-03 一种深度伪造指纹检测模型的版权保护方法、装置及介质 Active CN115879072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310194809.1A CN115879072B (zh) 2023-03-03 2023-03-03 一种深度伪造指纹检测模型的版权保护方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310194809.1A CN115879072B (zh) 2023-03-03 2023-03-03 一种深度伪造指纹检测模型的版权保护方法、装置及介质

Publications (2)

Publication Number Publication Date
CN115879072A CN115879072A (zh) 2023-03-31
CN115879072B true CN115879072B (zh) 2023-05-16

Family

ID=85761865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310194809.1A Active CN115879072B (zh) 2023-03-03 2023-03-03 一种深度伪造指纹检测模型的版权保护方法、装置及介质

Country Status (1)

Country Link
CN (1) CN115879072B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987429A (zh) * 2021-11-03 2022-01-28 华南师范大学 基于水印嵌入的神经网络模型的版权验证方法
CN114493972A (zh) * 2022-01-29 2022-05-13 杭州电子科技大学 一种对抗式生成网络版权保护方法
CN115470463A (zh) * 2022-09-24 2022-12-13 海南大学 适用于深度神经网络模型的版权保护和溯源系统

Also Published As

Publication number Publication date
CN115879072A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
Wang et al. Data hiding with deep learning: A survey unifying digital watermarking and steganography
Chen et al. A fuzzy c-means clustering-based fragile watermarking scheme for image authentication
CN107240061B (zh) 一种基于动态bp神经网络的水印嵌入、提取方法与装置
CN103886545A (zh) 基于计算全息的变换域抗打印扫描数字水印方法
JP2008503162A (ja) デジタルコンテンツセキュリティのためのシステムおよび方法
Hadmi et al. Perceptual image hashing
Yuan et al. Multiscale fragile watermarking based on the Gaussian mixture model
CN114998080B (zh) 人脸防篡改水印生成方法、篡改检测方法及属性检测方法
Nilizadeh et al. Information Hiding in RGB Images Using an Improved Matrix Pattern Approach.
Shehzad et al. LSB image steganography based on blocks matrix determinant method
CN116757904A (zh) 基于数字图像水印的信息隐藏和验证方法及装置
Al-Otum et al. Copyright protection of color images for android-based smartphones using watermarking with quick-response code
Qin et al. CADW: CGAN-based attack on deep robust image watermarking
Yao et al. High invisibility image steganography with wavelet transform and generative adversarial network
CN117615075A (zh) 水印添加及水印鉴别方法、装置、设备、可读存储介质
CN115879072B (zh) 一种深度伪造指纹检测模型的版权保护方法、装置及介质
Fofanah et al. Watermarking of frequency and steganography for protection of medical images based on bacterial foraging optimization and genetic algorithm
CN1710610A (zh) 一种抗数模模数变换过程的数字水印防伪方法
CN117315678A (zh) 一种数字图像篡改识别方法、系统、设备和存储介质
Halboos et al. Improve steganography system using agents software based on statistical and classification technique
CN114862646B (zh) 一种用于矢量瓦片抗拼接的水印嵌入、提取方法及系统
CN106228503A (zh) 卫星遥感影像shp点文件的数字水印嵌入和提取方法
CN113313621B (zh) 基于混合混沌系统和闭环扩散的图像加密水印嵌入方法
Wu et al. Modified multiway pixel-value differencing methods based on general quantization ranges for image steganography
Jabbar et al. Digital watermarking by utilizing the properties of self-organization map based on least significant bit and most significant bit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant