CN113658032A

CN113658032A - 基于深度学习和图像处理的图像水印加解密方法及系统

Info

Publication number: CN113658032A
Application number: CN202111222460.5A
Authority: CN
Inventors: 李东超; 甘宏
Original assignee: Guangdong Xunwei Information Industry Co ltd
Current assignee: Guangdong Xunwei Information Industry Co ltd
Priority date: 2021-10-20
Filing date: 2021-10-20
Publication date: 2021-11-16
Anticipated expiration: 2041-10-20
Also published as: CN113658032B

Abstract

本发明涉及数据信息安全技术领域，提出一种基于深度学习和图像处理的图像水印加解密方法及系统。加密方法包括：基于计算机视觉算法对目标文档图像进行处理，对目标文档图像中文字密度最高的区域进行截取，得到目标区域图像；将目标区域图像和加密字符串输入编码卷积神经网络，对目标区域图像进行无感知嵌入，输出编码后的图像；将编码后的图像嵌入设置在目标文档图像中的原目标区域，得到加密图像。解密方法包括：获取经过图像水印加密的图像并对其进行定位，得到待解码的目标区域图像；对待解码的目标区域图像进行子图像提取后输入解码卷积神经网络，得到解码二进制字符串；将解码二进制字符串转译为标准字符串，得到解密信息。

Description

基于深度学习和图像处理的图像水印加解密方法及系统

技术领域

本发明涉及数据信息安全技术领域，更具体地，涉及一种基于深度学习和图像处理的图像水印加解密方法及系统。

背景技术

随着互联网的发展进步，用户信息、作品、文档等资源的数据信息安全问题亟需解决。目前对于文档等资料，尤其是特殊机密文档的扫描图像，需要添加包含秘密信息的数字水印，以便进行保密溯源等工作，但该技术同时要求不能改变图像的视觉感观。

目前数字水印算法主要有两大类，第一类是基于空间域的算法，如最低有效位算法(LSB)；第二类是基于频谱域的算法，如基于离散余弦变换(DCT)、小波变换(WT)、傅立叶变换(FT/FFT)的算法。通过上述算法得到的数字水印加入到作品中作为隐藏信息，不影响原作品，且该数字水印具有鲁棒性，也就是原作品进行放大、剪切、格式变换甚至经过干扰后仍能正确地恢复数字水印，即原来加密的数据。然而，目前的数字水印算法一般将生成的数字水印随机插入在目标对象，或者通过生成与目标对象等大的数字水印后，将生成的数字水印与目标对象结合，因此目前的数字水印算法普遍存在数字水印容易被破解的问题。

发明内容

本发明为克服上述现有技术所述的数字水印容易被破解的缺陷，提供一种基于深度学习和图像处理的图像水印加密方法、图像水印解密方法，以及一种基于深度学习和图像处理的图像水印加解密系统。

为解决上述技术问题，本发明的技术方案如下：

基于深度学习和图像处理的图像水印加解密方法，包括以下步骤：

S1、基于计算机视觉算法对目标文档图像进行处理，得到目标文档图像的文字分布情况，对目标文档图像中文字密度最高的区域进行截取，得到待编码的目标区域图像；

S2、将目标区域图像和待编码的加密字符串输入编码卷积神经网络，编码卷积神经网络对目标区域图像进行无感知嵌入，输出编码后的图像；

S3、将编码后的图像嵌入设置在目标文档图像中的原目标区域，得到加密图像。

进一步的，本发明还提出了一种基于深度学习和图像处理的图像水印解密方法，应用于对采用上述图像水印解密方法进行编码的图像进行解密。其包括以下步骤：

S5、获取经过图像水印加密的图像并对其进行定位，得到待解码的目标区域图像；

S6、对待解码的目标区域图像进行子图像提取后输入解码卷积神经网络，得到解码二进制字符串；

S7、将所述解码二进制字符串转译为标准字符串，得到解密信息。

进一步的，本发明还提出了一种基于深度学习和图像处理的图像水印加解密系统，应用于实现上述图像水印加密方法和图像水印解密方法。其中包括：

图像定位模块，用于基于计算机视觉算法对目标文档图像进行处理，得到目标文档图像的文字分布情况，对目标文档图像中文字密度最高的区域进行截取，输出待编码的目标区域图像；以及用于对经过图像水印加密的图像进行目标区域定位，输出待解码的目标区域图像；

编码器，所述编码器内设置有经过训练的编码卷积神经网络；所述编码器用于将输入的目标区域图像和待编码的加密字符串输入编码卷积神经网络，编码卷积神经网络对目标区域图像进行无感知嵌入，输出编码后的图像；

加密模块，用于将编码后的图像嵌入设置在目标文档图像中的原目标区域，输出加密图像；

解码器，所述解码器内设置有经过训练的解码卷积神经网络；所述解码器用于将输入的待解码的目标区域图像进行子图像提取，再输入解码卷积神经网络中，输出解码二进制字符串；

解密模块，用于将输入的解码二进制字符串转译为标准字符串，输出解密信息。

与现有技术相比，本发明技术方案的有益效果是：本发明使用了基于计算机视觉算法对文档图像进行处理得到待编解码的具有丰富纹理信息的文档图像区域，再通过编码卷积神经网络将待加密的字符串与目标区域进行结合加密，能够有效提高图像水印破解难度。

附图说明

图1为实施例1的图像水印加密方法的流程图。

图2为实施例1的对目标文档图像进行处理操作的流程图。

图3为实施例1的编码卷积神经网络的架构图。

图4为待加密的原始图像。

图5为原始图像中的待编码的目标区域图像。

图6为完成图像水印加密后的编码图像。

图7为实施例2的图像水印加密方法的流程图。

图8为实施例2的判别器网络的架构图。

图9为实施例3的图像水印解密方法的流程图。

图10为实施例3的解码卷积神经网络的架构图。

图11为实施例4的基于深度学习和图像处理的图像水印加解密系统的架构图。

图12为实施例4的训练模块的执行流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

请参阅附图1，本实施例提出一种基于深度学习和图像处理的图像水印加密方法。

本实施例提出的基于深度学习和图像处理的图像水印加密方法中，包括以下步骤：

S1：基于计算机视觉算法对目标文档图像进行处理，得到目标文档图像的文字分布情况，对目标文档图像中文字密度最高的区域进行截取，得到待编码的目标区域图像。

本实施例中，旨在定位一个最优加密区域加入图像水印。对此，本步骤基于计算机视觉算法对目标文档图像进行预处理、文本行检测、文本行文字数量预测等，得到目标文档图像内的文字分布情况，然后选择文字密度最高的区域作为目标区域，即在目标文档图像中寻找纹理信息最丰富的的区域。

如图2所示，为本实施例的对目标文档图像进行处理操作的流程图。本步骤中，基于计算机视觉算法对目标文档图像进行处理的步骤包括：

S101、对文档图像进行预处理，得到二值化的二值图像；

其中，本实施例通过对文档图像进行灰度化、二值化处理以及高斯滤波平滑处理，得到二值化的二值图像。

S102、采用形态学算法的闭运算算法，对所述二值图像中文本行的文字字符连接，得到文本行的掩模二值图像；

其中，本实施例基于印刷体的文档在水平方向排列分布的特点，可以假定文本行中的字符近似水平直线分布。

S103、提取所述掩模二值图像的轮廓，并将轮廓的矩形外接框作为文本行检测框；

其中，本实施例中轮廓的矩形外接框为带角度的矩形外接框，将轮廓的矩形外接框作为文本行检测框，从而得到目标文档图像的文本行检测结果。

S104、对掩模二值图像上每行的文本行检测框所在局部区域使用开运算，再进行轮廓分割，得到文本行的文字数量。

S105、根据预设的定位区域的最小尺寸以及最小文字数量，对文本行检测框进行筛选，再对保留的文本行检测框和对应的文字数量通过贪心算法计算得到文字密度最高的区域作为最优的定位区域，并对该区域进行截取，输出得到待编码的目标区域图像。

其中，本步骤根据文本行检测框以及每个文本行检测框的文字数量，基于提前设定好的智能定位区域的最小高度、最小宽度、最小文字数量筛过滤不符合要求的文本行检测框，并基于剩余的文本行检测框和对应的文字数量数据，使用贪心算法计算得到最优的智能定位区域。本步骤旨在找到一块跨文本行的区域，该区域的在该图像中是文字密度最高的。

在一具体实施过程中，首先根据每一个文本行检测框的文字数量、面积大小，计算得到对应的文本行的文字密度，将文本行区域的像素值设置为该文字密度，从而得到与原图对应的文字密度图。然后通过设置好所需要找到的目标区域的尺寸要求条件（最小高度宽度，最大高度宽度），寻找最优密度区域。

标准的寻找计算过程是设定好滑动窗口步长、滑动窗口尺寸范围，逐步遍历整幅图像进行查找，但该方法计算过程太慢。根据文本行内的文字密度值是一样的，本实施例简化上述计算目标为：有两个数组列表，一个数组列表存储对应每行文本的文字密度值，一个数组列表存储每行文本的宽度和高度。需要找到一个子数组索引区间，使该数组的平均文字密度值最高，且满足一定的尺寸要求。而该问题可以使用贪心算法进行快速求解，以局部最优解作为全局最优解。

进一步的，在一实施例中，在对检测框进行筛选时，当剩余的检测框无法找到符合要求的智能定位区域，则输出定位失败的结果，并停止加密操作；否则将定位区域数据送入步骤2进行下一步操作。

进一步的，在一实施例中，还包括以下步骤：

S106、将所述待编码的目标区域图像进行文本行数据获取，并计算文本行的水平倾斜角度，再根据水平倾斜角度对所述待编码的目标区域图像进行旋转变换，得到校正后的目标区域图像。

经过上述步骤即完成智能定位，确定目标文档图像中的最优加密区域。

S2：将目标区域图像和待编码的加密字符串输入编码卷积神经网络，编码卷积神经网络对目标区域图像进行无感知嵌入，输出编码后的图像。

本实施例中的编码卷积神经网络包括第一卷积层、全连接层、变形层、结合层和后处理层，以及由n个卷积层依次连接组成的卷积结构、由n个上采样层依次连接组成的上采样结构，卷积结构中的每一个卷积层与上采样结构中的每一个上采样层一一对应连接。如图3所示，为本实施例的编码卷积神经网络的架构图。

在一具体实施过程中，将目标区域图像从第一卷积层输入编码卷积神经网络，第一卷积层输出目标区域图像对应的第一特征图；而待编码的加密字符串以二进制形式（例如010110...）从全连接层输入编码卷积神经网络，全连接层输出特征图向量，再通过变形层得到与第一特征图尺寸一致的第二特征图；

将第一特征图和第二特征图输入结合层中，结合得到第三特征图；

将第三特征图输入卷积结构中，经过多层卷积层，分别得到n个尺寸递减的多层特征图f ₁,f ₂,...,f _n；

将尺寸最小的特征图f _n输入上采样结构最底层的上采样层中进行上采样，得到与特征图f _n-1尺寸一致的特征图B _n，然后特征图B _n与特征图f _n-1相加后输入上一层上采样层，以此类推，重复n次上采样操作后最后一层上采样层输出与第三特征图尺寸相同的第四特征图；

将该第四特征图进行后处理，得到编码后的特征图像并输出。

本步骤中，对特征图进行后处理的步骤包括：将得到的第四特征图首先进行双线性插值上采样操作，得到与输入图像空间尺寸（宽度和高度）相同大小的特征图，然后将特征图和输入图像进行相加，并对相加后的图像的像素值超过0到255的值进行处理，像素值不能超过0~255，如果相加值小于0则设置为0，如果大于255，则设置为255。

S3：将编码后的图像嵌入设置在目标文档图像中的原目标区域，得到加密图像。

本步骤将编码卷积神经网络输出的编码后的特征图像与原始输入的目标文档图像相加，即得到最后的加密图像。

在一具体实施过程中，如图4~6所示，为待加密的文档图像、原始图像中的待编码的目标区域图像，及完成图像水印加密后的编码图像。其中图5中框选区域为基于文档图像寻找到的最优区域，图6中框选区域为加入图像水印后的图像。由图可知经过图像水印加密后的文档图像仅通过肉眼无法辨识出变化，但是已经叠加了密码信息，只有通过相应的解码程序才能够解译。

本实施例中，使用了基于计算机视觉算法对文档图像进行处理得到待编解码的具有丰富纹理信息的文档图像区域，再通过编码卷积神经网络将待加密的字符串与目标区域进行结合加密，能够有效提高图像水印破解难度。

实施例2

请参阅附图7，本实施例在实施例1提出的图像水印加密方法的基础上，增设了基于判别网络对编码卷积神经网络进行训练的方法。

本实施例提出的图像水印加密方法中，还包括以下步骤：

S4：构建判别器网络，所述判别器网络包括若干层依次连接的卷积层，以及与最后一层卷积层连接的变形层。如图8所示，为本实施例的判别器网络的架构图。

在具体实施过程中，将步骤2输出的编码后的特征图像与待编码的目标区域图像分别输入判别器网络中，经过卷积和变形拉伸处理后得到一维的特征向量，即为特征向量描述符。在训练过程中，计算待编码的目标区域图像和编码后的特征图像的特征向量描述符差异度，并将其作为两者的差异性表达。

然后根据所述特征向量描述符对所述编码卷积神经网络基于损失函数进行训练，其中编码卷积神经网络的损失函数值L _e的计算公式如下：

L _e=F _input-F _encoded

式中，F _input 表示待编码的目标区域图像的特征向量描述符差异度，F _encoded表示编码后的特征图像的特征向量描述符差异度。进一步的，在一实施例中，根据编码卷积神经网络的损失函数值L _e，然后基于误差反向传播算法和随机梯度下降法调整编码卷积神经网络的权重，重复上述步骤直至损失函数值L _e收敛，保存当前编码卷积神经网络的参数权重，对编码卷积神经网络进行参数更新。

本实施例中，通过设置判别器网络对编码卷积神经网络进行训练，进一步保证编码卷积神经网络输出的编码后的特征图像与原始图像无法被肉眼辨识出差异，进一步提高图像水印破解难度。

实施例3

请参阅附图9，本实施例提出一种基于深度学习和图像处理的图像水印解密方法，应用于对经实施例1或实施例2提出的图像水印加密方法加密的图像进行解密。

本实施例提出的图像水印解密方法中，包括以下步骤：

S5：获取经过图像水印加密的图像并对其进行定位，得到待解码的目标区域图像。

其中，与实施例1中的步骤1相似，基于计算机视觉算法对经过图像水印加密的图像进行处理，得到图像的文字分布情况，对图像中文字密度最高的区域（即加密区域）进行截取，得到待解码的目标区域图像。

S6：对待解码的目标区域图像进行子图像提取后输入解码卷积神经网络，得到解码二进制字符串。

近似地，对待解码的目标区域图像进行子图像提取的步骤参照步骤S101~S105。

进一步的，本实施例中的解码卷积神经网络与编码卷积神经网络的结构对应设置。具体的，本实施例中的解码卷积神经网络包括若干层依次连接的卷积层，以及与最后一层卷积层连接的2层全连接层。如图10所示，为本实施例的解码卷积神经网络的架构图。

本实施例中，待解码的目标区域图像的子图像输入解码卷积网络中，子图像经过若干层依次连接的卷积层后得到子图像对应的特征图，再经过全连接层得到特征图向量，特征图向量再次经过全连接层输出特定长度的竖直，经过解码处理后得到解码二进制字符串。

S7：将所述解码二进制字符串转译为标准字符串，得到解密信息。

在另一实施例中，步骤C具体为：对所述解码二进制字符进行BCH纠错，再转译为标准字符串，得到解密信息。

在另一实施例中，还包括以下步骤：将解码卷积神经网络输出的解码二进制字符串与在加密过程中输入的待编码的加密字符串进行比较计算，得到解码损失函数值L _d；其计算公式如下所示：

式中，Y _pre表示解码二进制字符串特征值，Y _gt表示编码的加密字符串特征值。然后基于误差反向传播算法和随机梯度下降法调整解码卷积神经网络的权重，重复上述步骤直至损失函数值L _d收敛，保存当前解码卷积神经网络的参数权重，对解码卷积神经网络进行参数更新。

在另一实施例中，还包括以下步骤：根据编码卷积神经网络的损失函数值L _e与解码卷积神经网络的损失函数值L _d得到联合损失值L，其计算公式如下：

L=L _e+L _d

然后基于误差反向传播算法和随机梯度下降法调整编码卷积神经网络和解码卷积神经网络的权重，重复上述步骤直至损失函数值L收敛，保存当前编码卷积神经网络和解码卷积神经网络的参数权重，并对编码卷积神经网络和解码卷积神经网络进行参数更新。

实施例4

请参阅附图11，本实施例提出一种基于深度学习和图像处理的图像水印加解密系统，应用于实施例1~3提出的图像水印加解密方法。

本实施例提出的图像水印加解密系统中，包括图像定位模块1、编码器2、加密模块3、解码器4和解密模块5。

其中，对于加密流程，本实施例中的图像定位模块1基于计算机视觉算法对目标文档图像进行处理，得到目标文档图像的文字分布情况，对目标文档图像中文字密度最高的区域进行截取，然后向编码器2输出待编码的目标区域图像。

编码器2内设置有经过训练的编码卷积神经网络。本实施例中的编码器2用于将输入的目标区域图像和待编码的加密字符串输入编码卷积神经网络，编码卷积神经网络对目标区域图像进行无感知嵌入，然后向加密模块3快输出编码后的图像。

加密模块3用于将编码后的图像嵌入设置在目标文档图像中的原目标区域，输出加密图像。

对于解密流程，本实施例中的图像定位模块1对经过图像水印加密的图像进行目标区域定位，然后向解码器4输出待解码的目标区域图像。

解码器4内设置有经过训练的解码卷积神经网络。本实施例中的解码器4用于将输入的待解码的目标区域图像进行子图像提取，再输入解码卷积神经网络中，然后向解密模块5输出解码二进制字符串。

解密模块5将输入的解码二进制字符串转译为标准字符串，输出解密信息。

在另一实施例中，进一步的，还包括训练模块6，用于基于损失函数对本实施例中的编码卷积神经网络和解码卷积神经网络进行联合训练。

在其具体实施过程中，请参阅附图12，编码器2将其输出的编码后的图像输入训练模块6的判别器网络，判别器网络输出一维的特征向量描述符；训练模块6根据特征向量描述符计算编码损失函数值L _e；训练模块6将编码后的图像进行数据增强后输入解码器4中，解码器4的解码卷积神经网络输出解码后的字符串；训练模块6根据解码后的字符串和待编码的加密字符串计算得到解码损失函数值L _d；训练模块6根据编码损失函数值L _e和解码损失函数值L _d计算得到联合损失值L，再基于误差反向传播算法和随机梯度下降法对编码卷积神经网络和解码神经网络的权重进行调整，重复上述步骤至联合损失值L收敛；训练模块6向编码器2和解码器4分别返回编码卷积神经网络和解码神经网络的权重，对编码卷积神经网络和解码神经网络的参数进行更新。

本实施例提出的图像水印加解密系统可配合打印设备、拍摄设备或移动终端等实现加解密应用。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.基于深度学习和图像处理的图像水印加密方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的图像水印加密方法，其特征在于，所述S1步骤中，基于计算机视觉算法对目标文档图像进行处理的步骤包括：

S101、对文档图像进行预处理，得到二值图像；

S104、对掩模二值图像上每行的文本行检测框所在局部区域使用开运算，再进行轮廓分割，得到文本行的文字数量；

3.根据权利要求2所述的图像水印加密方法，其特征在于，所述S101步骤中，对文档图像进行预处理的操作包括图像灰度化、二值化处理和高斯滤波平滑处理。

4.根据权利要求2所述的图像水印加密方法，其特征在于，还包括以下步骤：S106、将所述待编码的目标区域图像进行文本行数据获取，并计算文本行的水平倾斜角度，再根据水平倾斜角度对所述待编码的目标区域图像进行旋转变换，得到校正后的目标区域图像。

5.根据权利要求1所述的图像水印加密方法，其特征在于，所述S2步骤中，所述编码卷积神经网络包括第一卷积层、全连接层、变形层、结合层和后处理层，以及由n个卷积层依次连接组成的卷积结构、由n个上采样层依次连接组成的上采样结构，所述卷积结构中的每一个卷积层与所述上采样结构中的每一个上采样层一一对应连接；其中：

所述待编码的目标区域图像从第一卷积层输入编码卷积神经网络，第一卷积层输出目标区域图像对应的第一特征图；

所述待编码的加密字符串以二进制形式从全连接层输入编码卷积神经网络，全连接层输出特征图向量，再通过变形层得到与所述第一特征图尺寸一致的第二特征图；

所述第一特征图和第二特征图输入结合层中，结合得到第三特征图；

所述第三特征图输入卷积结构中，经过多层卷积层，分别得到n个尺寸递减的多层特征图f ₁,f ₂,...,f _n；

尺寸最小的特征图f _n输入上采样结构最底层的上采样层中进行上采样，得到与特征图f _n-1尺寸一致的特征图B_n，然后特征图B_n与特征图f _n-1相加后输入上一层上采样层，重复n次上采样操作后最后一层上采样层输出与第三特征图尺寸相同的第四特征图；

将所述第四特征图进行后处理，得到编码后的特征图像。

6.根据权利要求1~5任一项所述的图像水印加密方法，其特征在于，所述S2步骤中，还包括以下步骤：构建判别器网络，所述判别器网络包括若干层依次连接的卷积层，以及与最后一层卷积层连接的变形层；将目标区域图像与编码后的特征图像分别输入判别器网络中，经过卷积和变形处理后得到一维的特征向量，即为特征向量描述符；根据所述特征向量描述符对所述编码卷积神经网络基于损失函数进行训练。

7.基于深度学习和图像处理的图像水印解密方法，其特征在于，应用于对采用权利要求1~6任一项所述的图像水印解密方法进行编码的图像进行解密；包括以下步骤：

8.根据权利要求7所述的图像水印解密方法，其特征在于，所述S6步骤中，还包括以下步骤：对所述解码二进制字符进行BCH纠错，再转译为标准字符串，得到解密信息。

9.一种基于深度学习和图像处理的图像水印加解密系统，其特征在于，包括：

10.根据权利要求9所述的图像水印加解密系统，其特征在于，所述系统还包括训练模块，所述训练模块内设置有判别器网络；所述训练模块用于基于损失函数对编码卷积神经网络和解码卷积神经网络进行联合训练；其中：

所述编码器将其输出的编码后的图像输入训练模块的判别器网络，所述判别器网络输出一维的特征向量描述符；

所述训练模块根据特征向量描述符计算编码损失函数值L _e；

所述训练模块将编码后的图像进行数据增强后输入所述解码器中，所述解码器的解码卷积神经网络输出解码后的字符串；

所述训练模块根据解码后的字符串和待编码的加密字符串计算得到解码损失函数值L _d；

所述训练模块根据编码损失函数值L _e和解码损失函数值L _d计算得到联合损失值L，再基于误差反向传播算法和随机梯度下降法对编码卷积神经网络和解码神经网络的权重进行调整，重复上述步骤至联合损失值L收敛；

所述训练模块向编码器和解码器分别返回编码卷积神经网络和解码神经网络的权重，完成对编码卷积神经网络和解码神经网络的训练。