CN111882476B - 基于深度强化学习的自动学习嵌入代价的图像隐写方法 - Google Patents
基于深度强化学习的自动学习嵌入代价的图像隐写方法 Download PDFInfo
- Publication number
- CN111882476B CN111882476B CN202010689454.XA CN202010689454A CN111882476B CN 111882476 B CN111882476 B CN 111882476B CN 202010689454 A CN202010689454 A CN 202010689454A CN 111882476 B CN111882476 B CN 111882476B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- strategy
- modification
- steganography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明涉及信息隐藏技术领域,具体为基于深度强化学习的自动学习嵌入代价的图像隐写方法。其方法包括:构建强化学习隐写框架,包括策略网络、环境网络、掩密图像生成单元、修改图像生成单元及奖励损失计算单元;根据输入的原始图像输出策略矩阵,依据策略矩阵获得修改点并形成修改图像,输入的原始图像和修改图像在掩密图像生成单元中相加获得掩密图像,为修改点赋予奖励,根据所赋予的奖励生成相应的损失函数以训练策略网络;利用训练好的策略网络,计算得到嵌入代价,结合编码方法生成隐密图像,实现图像隐写处理。本发明通过构建强化学习隐写框架,进行代理方和环境方的互动,自动学习嵌入代价,提高了图像隐写的安全性与稳定性。
Description
技术领域
本发明涉及信息隐藏技术领域,具体为基于深度强化学习的自动学习嵌入代价的图像隐写方法。
背景技术
图像隐写技术的目的是往数字图像中隐藏秘密信息,在现有技术中,隐写性能较好的方法是在最小失真策略下设计的,将其掩密图像的失真表示为加性形式,并修改元素嵌入代价累加而成。在过去的十几年,学术界提出了不相同的有效的嵌入代价计算方式,包括基于启发式设计的计算方式和统计模型的计算方式。同时,通过引入相邻元素的相关性信息,使加性失真可以逼近非加性失真。
另一方面,图像隐写分析的目的是检测图像中是否藏有秘密信息,大部分的隐写分析方法是利用分类器对人工设计的高维统计特征进行分类,其检测性能可通过引入选择信道的知识进一步提高。近年来,基于卷积神经网络的隐写分析方法获得了飞速的发展,其性能的提升来自于精致的网络设计和现有的隐写分析算法的领域知识。
尽管深度学习技术在隐写分析领域迅速发展,但在隐写领域上的发展却较为缓慢。实际上,隐写和隐写分析的对抗可通过生成对抗网络生成器和判别器进行交替更新模拟。然而,现有的基于生成对抗网络的隐写方法并不能保证信息的无错提取,因而,提出了ASDL-GAN(automatic steganographic distortion learning framework with GAN,自动隐写失真学习框架)以解决该技术问题。在ASDL-GAN中,生成器为原始图像学习嵌入概率图,然后基于神经网络的嵌入模拟器TES以成对的嵌入概率和随机噪声作为输入,产生修改点,将修改点组成修改图后,与原始图像相加得到掩密图像;判别器则对原始图像和掩密图像进行分类。当完成训练后,嵌入概率可以反向转换为嵌入代价,并通过编码方法STC实现信息的稳定嵌入和提取。随后,在相同的框架下,提出了UT-GAN。UT-GAN用了U-Net作为生成器,增强版的Xu-Net作为判别器,与Double-Tanh模块作为嵌入模拟器,其性能超过了人工设计嵌入代价的隐写方法。
尽管ASDL-GAN和UT-GAN有着不错的安全性能,但是它们依然有所不足。首先,它们的基于神经网络的嵌入模拟器与最优模拟器有所不同。ASDL-GAN和UT-GAN的嵌入模拟器的输出层采用了Sigmoid和Tanh激活函数,因此产生了连续取值的修改点,不同于真实信息嵌入场景下的离散取值的修改点,而且激活函数的饱和特性还可能带来潜在的梯度消失的问题;若在更深的饱和区域产生修改点,修改误差会更小,但是梯度也会消失,反之亦然。因此,基于神经网络的嵌入模拟器无法同时减少修改误差和增强梯度传播。而且,该嵌入模拟器还需要人工设计和精心训练,依赖于科学家的经验知识,进行反复调试。另外,它们的优化目标并未能充分利用神经网络对元素级别嵌入代价的学习能力,且在ASDL-GAN和UT-GAN中,生成器的对抗损失是判别器的损失函数的负值,是在图像级别计算的。因此,一些更加细粒度的元素级别的信息可能会被忽略掉,不利于学习元素级别的嵌入代价。
发明内容
为解决现有技术所存在的技术问题,本发明提供基于深度强化学习的自动学习嵌入代价的图像隐写方法,通过构建强化学习隐写框架SPAR-RL(Steganographic Pixel-wise Actions and Rewards with Reinforcement Learning),进行代理方和环境方的互动,自动学习嵌入代价,采用随机采样的嵌入模拟器,在产生精准修改点的同时,能避免梯度消失,从而提高图像隐写的安全性与稳定性。
本发明采用以下技术方案来实现:基于深度强化学习的自动学习嵌入代价的图像隐写方法,包括以下步骤:
一、构建强化学习隐写框架,所构建的强化学习隐写框架包括策略网络、环境网络、掩密图像生成单元、修改图像生成单元及奖励损失计算单元;
策略网络根据输入的原始图像输出策略矩阵,修改图像生成单元依据策略矩阵获得修改点并形成修改图像,输入的原始图像和修改图像在掩密图像生成单元中相加获得掩密图像;环境网络为修改点赋予奖励,奖励损失计算单元根据所赋予的奖励生成相应的损失函数以训练策略网络;
二、利用训练好的策略网络,计算得到嵌入代价,结合编码方法生成隐密图像,实现图像隐写处理。
在优选的实施例中,步骤一包括以下步骤:
利用策略网络为原始图像学习策略矩阵;
对策略矩阵中的元素进行采样得到相应的修改点,根据修改点获得修改图像,并通过原始图像和修改图像相加获得模拟隐写图像;
利用环境网络为修改点赋予奖励;
基于对修改点所赋予的奖励,生成相应的策略网络损失函数以训练策略网络。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明通过构建强化学习隐写框架SPAR-RL,进行代理方和环境方的互动,自动学习嵌入代价,采用随机采样的嵌入模拟器,在产生精准修改点的同时,能避免梯度消失,从而提高图像隐写的安全性与稳定性。
2、本发明的强化学习隐写框架SPAR-RL中,策略网络的损失函数由元素级别的奖励组成,可以有效区别不同修改点的贡献,并直接用于调整策略网络中的嵌入策略。
附图说明
图1是本发明的图像隐写方法流程图;
图2是强化学习隐写框架的结构示意图;
图3是本发明稳定性测评在0.4bpp检测错误率随着迭代次数的变化情况图;
图4是本发明稳定性测评在0.1bpp检测错误率随着迭代次数的变化情况图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,本实施例基于深度强化学习的自动学习嵌入代价的图像隐写方法,主要包括以下步骤:
一、构建强化学习隐写框架SPAR-RL,获得恰当的奖励损失,训练策略网络。
如图2所示,所构建的强化学习隐写框架SPAR-RL,包括策略网络、环境网络、掩密图像生成单元、修改图像生成单元及奖励损失计算单元。本实施例中,策略网络、环境网络采用卷积神经网络来实现。
步骤S1、代理方利用策略网络为原始图像学习策略矩阵。
本实施例中,代理方使用了策略网络,其参数用θ表示,策略网络以原始图像X=(xi,j)H×W作为输入,输出临时矩阵Q=(qi,j)H×W,其中H和W分别表示图像的长和宽,qi,j为原始图像中元素xi,j对应的临时元素;并采用元素级别的嵌入策略,输出策略矩阵元素其中/>是原始图像元素xi,j的策略,ai,j是原始图像元素xi,j采取的行动。策略矩阵元素的具体计算公式如下所示:
步骤S2、代理方对策略矩阵中的元素进行采样得到相应的修改点,根据修改点获得修改图像,并通过原始图像X和修改图像M相加获得模拟隐写图像,即掩密图像。
首先,生成噪声矩阵N=(ni,j)H×W,其中噪声矩阵中每一个元素ni,j符合[0,1]之间的均匀分布。然后,根据以下公式,以策略矩阵中的元素作为概率分布,根据噪声矩阵中的元素对策略矩阵中的元素进行采样并得到修改点mi,j:
根据修改点mi,j获得修改图M=(mi,j)H×W,将原始图像X和修改图M相加获得掩密图像Y=(yi,j)H×W,其中yi,j为掩密图像Y中的元素。
步骤S3、环境方利用环境网络为修改图像的修改点赋予奖励。
本实施例中,环境方为修改点赋予奖励,主要是用于衡量代理方采取的各个原始图像元素级别的行动对欺骗隐写分析器的贡献度。在强化学习隐写框架SPAR-RL中,主要是基于环境网络中对应原始图像元素的梯度gi,j和修改点mi,j的方向计算奖励。
具体地,环境方使用了环境网络,环境网络的参数用ω表示,利用环境网络获得梯度矩阵G=(gi,j)H×W,为修改点赋予像素级别的奖励R=(ri,j)H×W,其中设ξ为奖励强度,mi,j为对应策略矩阵元素的修改点,gi,j为环境网络中对应原始图像元素的梯度,ri,j为修改点mi,j的元素:
ri,j=ξ×sign(mi,j)×gi,j
步骤S4、代理方基于对修改点所赋予的奖励,生成相应的损失函数以训练策略网络。
本实施例中,代理方主要是为了最大化环境方的奖励R,因此,梯度gi,j无需经过嵌入模拟器,直接从奖励R以奖励损失的形式传送至策略网络。所以,强化学习隐写框架SPAR-RL可采用基于随机采样的嵌入模拟器,进而产生精准的修改点mi,j的同时,能够避免梯度gi,j消失的问题。在强化学习隐写框架SPAR-RL中,策略网络的损失函数lA由元素级别的奖励R组成,主要用于区别不同修改点mi,j的贡献,并直接用于更新、调整策略网络中的嵌入策略。
具体地,策略网络的损失函数lA是容量损失lC和奖励损失lR的加权平均,其中α和β为加权因子,C为目标容量,A为搜索空间。策略网络的损失函数lA、容量损失lC和奖励损失lR的具体计算公式分别如下所示:
lA=α×lR+β×lC
步骤S5、环境方基于原始图像和掩密图像更新环境网络。
根据如下所示的交叉熵损失函数lE更新环境网络中的参数:
lE=-(z'0logz0-z′1logz1)
其中,z0和z1分别是环境网络对于原始图像X和模拟隐写图像Y的输出,而z'0和z1'分别是z0和z1对应的标签。
二、利用训练好的策略网络,计算得到嵌入代价,再采用编码方法SCT生成真实隐密图像,实现图像隐写处理。
最终根据嵌入代价,结合编码方法SCT生成真实隐密图像,获得隐写后的图像。本步骤中,隐密图像的获得采用真实嵌入的方式获得,而不是前述步骤S2模拟嵌入的方式获得。
在本实施例中,利用不同的隐写方法进行安全性能测评,包括SPAR-RL-v2和SPAR-RL-v1,在GAN框架下的UT-GAN和ASDL-GAN,和现有的人工设计的隐写方法HILL。其中SPAR-RL-v2的策略网络和环境网络与UT-GAN的生成器和判别器有相同的结构,SPAR-RL-v2的策略网络和环境网络与ASDL-GAN的生成器和判别器有相同的结构。在公平的环境下比较不同框架的安全性能。使用四种不同的隐写分析器进行性能测评,包括现有的特征提取隐写分析器SRM和深度学习隐写分析器Xu-Net。在10000张256×256的BOSSBase图像库上进行测评,其中SRM采用1:1的比例随机划分训练集和测试集,而Xu-Net采用5:1:4的比例划分训练集、校验集和测试集。测试集上的错误率PE用作测评指标,其中错误率为漏检率PMD和虚警率PFA的平均值。深度强化学习隐写框架SPAR-RL下空域加性隐写算法的检测错误率(%)如表1所示,可见,在大部分情况下,SPAR-RL-v1和SPAR-RL-v2比ASDL-GAN和UT-GAN有更好的安全性能,也超过了HILL。譬如,在0.4bpp的情况下,SPAR-RL-v2和SPAR-RL-v1分别比UT-GAN和ASDL-GAN在不同隐写分析器下获得了1.0%,1.9%,2.47%,3.65%的提升。
表1
如图3、4所示,本实施例中,利用SPAR-RL-v2和UT-GAN进行稳定性测评实验。由实验结果可见,在0.4bpp下,UT-GAN和SPAR-RL-v2从10000代后开始展现较好的性能。UT-GAN在60000代获得最优的安全性能,但是性能在80000代后开始急剧下降。另一方面,SPAR-RL-v2在100000代获得最好的安全性能,而且可以稳定保持。在0.1bpp下,通过课程训练的设置,UT-GAN可以通过直接使用0.4bpp下训练的模型,从而获得较好的安全性能。但是在不同的设置下,UT-GAN的安全性能均有衰退的现象。而SPAR-RL-v2则可以有稳定的性能。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (5)
1.基于深度强化学习的自动学习嵌入代价的图像隐写方法,其特征在于,包括以下步骤:
一、构建强化学习隐写框架,所构建的强化学习隐写框架包括策略网络、环境网络、掩密图像生成单元、修改图像生成单元及奖励损失计算单元;
策略网络根据输入的原始图像输出策略矩阵,修改图像生成单元依据策略矩阵获得修改点并形成修改图像,输入的原始图像和修改图像在掩密图像生成单元中相加获得掩密图像;环境网络为修改点赋予奖励,奖励损失计算单元根据所赋予的奖励生成相应的损失函数以训练策略网络;
二、利用训练好的策略网络,计算得到嵌入代价,结合编码方法生成隐密图像,实现图像隐写处理;
步骤一包括以下步骤:
利用策略网络为原始图像学习策略矩阵;
对策略矩阵中的元素进行采样得到相应的修改点,根据修改点获得修改图像,并通过原始图像和修改图像相加获得模拟隐写图像;
利用环境网络为修改点赋予奖励;
基于对修改点所赋予的奖励,生成相应的策略网络损失函数以训练策略网络;
策略网络以原始图像X=(xi,j)H×W作为输入,输出临时矩阵Q=(qi,j)H×W,其中H和W分别表示图像的长和宽,qi,j为原始图像中元素xi,j对应的临时元素;并采用元素级别的嵌入策略,输出策略矩阵元素其中/>是原始图像元素xi,j的策略,ai,j是原始图像元素xi,j采取的行动;
生成噪声矩阵N=(ni,j)H×W,以策略矩阵中的元素作为概率分布,根据噪声矩阵中的元素对策略矩阵中的元素进行采样得到修改点mi,j:
其中噪声矩阵中每一个元素ni,j符合[0,1]之间的均匀分布;
基于环境网络中对应原始图像元素的梯度和修改点的方向计算奖励;
策略网络损失函数lA是容量损失lC和奖励损失lR的加权平均:
lA=α×lR+β×lC
其中α和β为加权因子,C为目标容量,A为搜索空间。
2.根据权利要求1所述的图像隐写方法,其特征在于,步骤一还包括以下步骤:基于原始图像和掩密图像更新环境网络。
4.根据权利要求1所述的图像隐写方法,其特征在于,利用环境网络获得梯度矩阵G=(gi,j)H×W,为修改点赋予像素级别的奖励R=(ri,j)H×W,ri,j为修改点mi,j的元素:
ri,j=ξ×sign(mi,j)×gi,j
而H和W分别表示图像的长和宽,ξ为奖励强度,mi,j为对应策略矩阵元素的修改点,gi,j为环境网络中对应原始图像元素的梯度。
5.根据权利要求2所述的图像隐写方法,其特征在于,根据交叉熵损失函数lE更新环境网络中的参数:
lE=-(z'0logz0-z1'logz1)
其中,z0和z1分别是环境网络对于原始图像和模拟隐写图像的输出,而z'0和z1'分别是z0和z1对应的标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010689454.XA CN111882476B (zh) | 2020-07-17 | 2020-07-17 | 基于深度强化学习的自动学习嵌入代价的图像隐写方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010689454.XA CN111882476B (zh) | 2020-07-17 | 2020-07-17 | 基于深度强化学习的自动学习嵌入代价的图像隐写方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111882476A CN111882476A (zh) | 2020-11-03 |
CN111882476B true CN111882476B (zh) | 2023-07-07 |
Family
ID=73156332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010689454.XA Active CN111882476B (zh) | 2020-07-17 | 2020-07-17 | 基于深度强化学习的自动学习嵌入代价的图像隐写方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111882476B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560039B (zh) * | 2020-12-25 | 2023-04-18 | 河南交通职业技术学院 | 一种计算机安全防护方法 |
CN112767226B (zh) * | 2021-01-15 | 2023-09-12 | 南京信息工程大学 | 基于gan网络结构自动学习失真的图像隐写方法和系统 |
CN115049541B (zh) * | 2022-07-14 | 2024-05-07 | 广州大学 | 基于神经网络与图像隐写的可逆灰度方法、系统及装置 |
CN117939027B (zh) * | 2024-03-21 | 2024-06-07 | 南京信息工程大学 | 基于dct特征提取的jpeg图像隐写方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108923922A (zh) * | 2018-07-26 | 2018-11-30 | 北京工商大学 | 一种基于生成对抗网络的文本隐写方法 |
CN109874014A (zh) * | 2019-01-07 | 2019-06-11 | 深圳大学 | 基于像素向量的彩色图像隐写方法及其系统 |
CN110334805A (zh) * | 2019-05-05 | 2019-10-15 | 中山大学 | 一种基于生成对抗网络的jpeg域图像隐写方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074592B2 (en) * | 2018-06-21 | 2021-07-27 | The Procter & Gamble Company | Method of determining authenticity of a consumer good |
-
2020
- 2020-07-17 CN CN202010689454.XA patent/CN111882476B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108923922A (zh) * | 2018-07-26 | 2018-11-30 | 北京工商大学 | 一种基于生成对抗网络的文本隐写方法 |
CN109874014A (zh) * | 2019-01-07 | 2019-06-11 | 深圳大学 | 基于像素向量的彩色图像隐写方法及其系统 |
CN110334805A (zh) * | 2019-05-05 | 2019-10-15 | 中山大学 | 一种基于生成对抗网络的jpeg域图像隐写方法和系统 |
Non-Patent Citations (2)
Title |
---|
CNN-Based Adversarial Embedding for Image Steganography;W. Tang et al.;IEEE Transactions on Information Forensics and Security;第14卷(第8期);第2074-2087页 * |
基于双重生成式对抗网络的稳健图像隐写模型;竺乐庆 等;通信学报;第41卷(第1期);第125-133页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111882476A (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111882476B (zh) | 基于深度强化学习的自动学习嵌入代价的图像隐写方法 | |
CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
Li et al. | No-reference image quality assessment with deep convolutional neural networks | |
CN106203625B (zh) | 一种基于多重预训练的深层神经网络训练方法 | |
CN109214990A (zh) | 一种基于Inception模型的深度卷积神经网络图像去噪方法 | |
CN108399406A (zh) | 基于深度学习的弱监督显著性物体检测的方法及系统 | |
CN110349185B (zh) | 一种rgbt目标跟踪模型的训练方法及装置 | |
CN108846323A (zh) | 一种面向水下目标识别的卷积神经网络优化方法 | |
CN112766315B (zh) | 一种用于测试人工智能模型鲁棒性的方法和系统 | |
KR20210081769A (ko) | 견고한 적대적 방어를 위한 공격 기술에 독립적인 적대적 훈련 | |
Mo et al. | MCTSteg: A Monte Carlo tree search-based reinforcement learning framework for universal non-additive steganography | |
CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
CN112767226A (zh) | 基于gan网络结构自动学习失真的图像隐写方法和系统 | |
Si et al. | A no-reference stereoscopic image quality assessment network based on binocular interaction and fusion mechanisms | |
CN112633280A (zh) | 一种对抗样本生成方法及系统 | |
CN111222583B (zh) | 一种基于对抗训练与关键路径提取的图像隐写分析方法 | |
CN113505855A (zh) | 一种对抗攻击模型的训练方法 | |
CN114861838A (zh) | 一种基于神经元复杂动力学的脉冲神经类脑智能分类方法 | |
CN113076549A (zh) | 一种基于新型U-Net结构生成器的对抗网络图像隐写方法 | |
CN114820380A (zh) | 基于内容自适应对抗扰动的空域隐写载体图像增强方法 | |
CN114092354A (zh) | 一种基于生成对抗网络的人脸图像修复方法 | |
CN113627597A (zh) | 一种基于通用扰动的对抗样本生成方法及系统 | |
CN117151170A (zh) | 一种基于联邦学习的双重模型替换后门攻击方法及系统 | |
CN107369138A (zh) | 基于高阶统计模型的图像最优化显示方法 | |
CN116232699A (zh) | 细粒度网络入侵检测模型的训练方法和网络入侵检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |