CN113284037B - 一种基于深度神经网络的陶瓷水印载体恢复方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的陶瓷水印载体恢复方法，首先，基于Evo‑BiSeNet的图像分割网络，对预先获取的陶瓷三维图像进行检测，获取水印载体部位；其次，基于空间变换网络的水印载体平面化处理；最后，基于GAN的水印载体复原，恢复载体并提高水印的鲁棒性。本发明采用归一化激活层提高图像分割的实时性，利用卷积注意力机制对陶瓷表面不规则图像的细小边缘特征进一步优化提取，更有效的保留水印载体的信息；使用GAN对水印载体复原，其中包括对水印载体的鲁棒训练，提高水印的鲁棒性。

Description

一种基于深度神经网络的陶瓷水印载体恢复方法

技术领域

本发明属于数字水印与图像处理结合的领域，具体涉及一种基于深度神经网络的陶瓷水印载体恢复方法。

背景技术

数字水印是一种数字保护的手段，在虚拟载体上添加数字水印即能证明版权，还能对版权的保护做出贡献。但是，由于陶瓷在生产制作过程中的各种外界条件约束，陶瓷很难作为水印的嵌入对象。每年因为赝品陶瓷而导致的经济损失高达几亿。陶瓷的版权保护问题已经迫在眉睫。将水印信息嵌入到陶瓷花纸中，然后在生产时将花纸嵌入到陶瓷上。然而，在瓷器经过高温烧制的过程中会伴有颜色的退化以及图案的变形。这些操作对水印的破坏程度很高，因此对水印的鲁棒性要求很高，在获取水印载体时，由于光线和设备的差异、成像设备与物体之间的相对运动等客观因素，获取到的载体图片和真实的载体之间差异性很大。

为了能够有效的提取水印信息，本专利需要将非平面的陶瓷印花图像无损的映射到二维平面图像上。而这面临两大挑战：一是如何将含水印的载体部分有效的获取，现有的获取方法在获取的时候常常会损失一些边缘信息从而很难获取完整的水印载体信息；二是图像恢复，在陶瓷的生产过程中，水印载体不可避免的出现扭曲和退化现象，针对质量降低或失真的载体。试图恢复其原始的内容或质量。为了应对这两大挑战，本专利提出了一种基于深度神经网络的陶瓷水印载体恢复的方法。

陶瓷的版权保护一直是世界关注的问题，由于真实世界的各种约束条件，现有的数字水印技术很难在真实世界中使用，摄像设备中光学系统的衍射、感光胶卷的非线性及物体之间的相对运动、感光胶卷的非线性及胶片颗粒噪声等引起的几何失真，陶瓷烧制生产的过程中，含有水印的贴纸印花不可避免的出现图像退化；数字水印很难应用到陶瓷上；本专利为陶瓷嵌入水印以起到版权保护的作用。

发明内容

发明目的：针对陶瓷水印载体恢复的准确性、实时性和完整性，提出了一种基于深度神经网络的陶瓷水印载体恢复方法。

技术方案：本发明提供一种基于深度神经网络的陶瓷水印载体恢复方法，具体包括以下步骤：

(1)基于Evo-BiSeNet的图像分割网络，对预先获取的陶瓷三维图像进行检测，获取水印载体部位；

(2)基于空间变换网络对获取的水印载体进行平面化处理；

(3)对经过步骤(2)处理后的水印载体基于GAN进行复原并进行鲁棒训练，提高水印的鲁棒性。

进一步地，所述步骤(1)包括以下步骤：

(11)图像分割网络采用归一化激活层提高图像分割的实时性，利用卷积注意力机制对陶瓷表面不规则图像的细小边缘特征进一步优化提取；

(12)在获取载体时，基于一个小步幅的空间路径用来保存空间信息，生成高分辨率特征；同时，采用快速下采样的上下文路径去获得更大的感受野；紧接着引入特征融合模块来有效的结合特征；这些模块中的归一化及激活函数采用归一化激活层EvoNorms进行统一。

进一步地，步骤(3)所述的对水印载体进行复原的实现过程如下：

构建用于生成图像的生成网络和用于鉴别生成图像是否与原图像一致的判别网络；在最后一层采用Sigmoid函数使得输出在0到1区间内；

所述生成网络采用十二层卷积网络对原始陶瓷印花贴纸进行编码，得到一张原图十六分之一大小的网格，再对该网格采用四层卷积网络进行解码，从而得到复原图像；

所述判别网络分成全局鉴别器和局部鉴别器，全局鉴别器将完整图像作为输入，识别场景的全局一致性，而局部鉴别器仅在以填充区域为中心的原图像四分之一大小区域上观测，识别局部一致性。

进一步地，步骤(3)所述的鲁棒训练的实现过程如下：

运动和散焦模糊：采用一个随机角度进行采样并生成宽度在3到7个像素之间的线性模糊；使用高斯模糊，其标准偏差在1到3个像素之间随机采样；

色彩处理：在获取水印载体时，相机使用曝光设置，白平衡和色彩校正矩阵来修改其输出；随机仿射颜色变换来近似这些扰动：通过一系列随机仿射颜色变换来近似这些扰动，如下所示：

1)颜色偏移：向从[-0.1，0.1]均匀采样的每个RGB通道添加随机颜色偏移；

2)去饱和：在整个RGB图像及其灰度等效图像之间随机线性插值；

3)噪声：采用高斯噪声模型对标准偏差g～[0，0.2]进行采样，解决成像噪声；

4)JPEG压缩：相机图像通常以有损格式存储(例如JPEG)；JPEG通过计算图像中每个8×8块的离散余弦变换并通过舍入到最接近的整数来量化所得系数来压缩图像。

进一步地，所述生成网络中使用均方损失函数，计算原图与生成图像像素之间的差异，表达式如下：

L(∈，G₁)＝||G₁⊙(B(∈，G₁)-∈)||² (3)

其中，L(∈，G₁)表示加权均方误差损失函数形式，∈表示输入图像，G₁表示生成区域二进制掩码，|| ||表示欧几里得范数，⊙表示像素乘法，B(∈，G₁)表示生成网络的函数形式，在图像退化区域为1，其它区域为0；用一个不变的颜色覆盖训练输入图像∈的完成区域，这个颜色是训练数据集的像素均值；

所述判别网络使用GAN损失函数：

min_B max_JE[log J(∈，G₂)+log(1-J(B(∈，G₁)，G₁))] (4)其中，min_B，max_J分别表示生成网络的最小优化和判别网络的最大优化，E表示对输入图像∈的平均值，J(B(∈，G₁)，G₁))表示判别网络的函数形式，G₂表示随机输入二进制掩码，最终的损失函数：

min_B max_JE[L(∈，G₁)+log J(∈，G₂)+αlog(1-J(B(∈，G₁)，G₁))] (5)

其中，α表示超权重参数。

有益效果：与现有技术相比，本发明的有益效果：1、使用EvoNorms代替原始BiSeNet中的归一化和激活函数，进一步提高准确准确率；2、分割网络中采用卷积注意力机制对陶瓷表面不规则图像的细小边缘特征进一步优化提取，更有效的保留水印载体的信息；3、使用GAN对水印载体复原并进行鲁棒训练，提高水印的鲁棒性。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出一种基于深度神经网络的陶瓷水印载体恢复方法，对陶瓷水印载体进行解码要求检测并有效地获取到水印载体部分；为了获取的水印载体有效，首先需要对得到的陶瓷三维图像进行检测，以便获取水印载体部位；然后对获取的水印载体进行平面化处理；最后对处理后的水印载体进行复原并进行鲁棒训练，从而提高水印的鲁棒性。如图1所示，具体包括以下步骤：

步骤1：基于Evo-BiSeNet的图像分割网络，对预先获取的陶瓷三维图像进行检测，获取水印载体部位。

水印载体恢复的首要问题是从大视野中获取到准确的载体区域，从而能够有效的对秘密信息进行提取；本专利采用具有空间路径(Spatial Path)和上下文路径(ContextPath)的优化的Evo-BiSeNet，设计两个具体的模块，特征融合模块(FFM)和卷积注意力机制模块(CBAM)进行实时图像分割在时间可接受的条件下进一步提高准确率；本网络用Flickr2K数据集进行训练。在测试的时候，把四边形拟合到每个网络建议区域的凸包上，然后计算单应性以将每个四边形扭曲回到256×256像素的图像，以便于水印载体恢复；而在分割任务中，空间分辨率和感受野之间是矛盾的，需要在获取水印载体的同时对其进行实时提取；首先设计一个小步幅的空间路径用来保存空间信息，生成高分辨率特征；同时，采用快速下采样的上下文路径去获得更大的感受野；紧接着引入特征融合模块来有效地结合特征；这些模块中采用归一化激活层Evolving Normalization-Activation Layers(EvoNorms)进行统一，进一步提高准确率。

上下文路径中，提出了一个特定的卷积注意力机制模块CBAM来优化上下文路径中每一阶段的输出特征，便于整合全局语境信息，大大降低计算成本；CBAM由通道注意力模块(channel attention)和空间注意力模块(spatial attention)两部分组成；给定一个中间特征映射F，F∈R_C*H*W，R，C，H，W分别表示特征图和特征图的长、高、宽，CBAM依次输入推导一个在channel维度上做一维注意力映射M₁()∈R_C*1*1和一个在spatial维度上做二维注意力映射M₂()∈R_1*H*％，；通过与输入特征相乘，自适应的对特征进行提纯；并计算注意力向量来指导特征学习。为了高效地计算channel attention，使用最大池化和平均池化对特征图在空间维度上进行压缩，得到两个不同的空间背景描述：

表示通道注意力模块上的最大池化特征，/>

表示通道注意力模块上的平均池化特征，使用多层感知器(MLP)组成的共享网络对这两个不同的空间背景描述进行计算得到一维注意力映射M₁()：/>

其中，σ为Sigmoid函数，AvgPool()表示平均池化，MaxPool()表示最大池化，

分别表示多层感知器模块中的第零层函数和第一层函数，+表示不大于C的整数；此卷积注意力机制模块可以和任何CNN结构一起使用，不增加额外的开销，并实现端对端的训练；为计算spatial attention，首先在channel attention的维度上使用最大池化和平均池化得到两个不同的特征描述/>

表示空间注意力模块上的最大池化特征，/>

表示空间注意力模块上的平均池化特征。使用卷积操作生成二维注意力映射M₂()：

其中，f^7×7表示一个滤波尺寸为7×7的卷积运算。

在空间路径、上下文路径、卷积注意力机制和特征融合模块中，归一化和激活函数都是必要的且是一起出现，BN-ReLU，GN-ReLU，BN-Swish等都是独立的模块，精确度效果有待提高；为了能够更加精确地提取水印载体中的信息，所以归一化激活层EvoNorms就可以通过一次操作将这两个模块整合在一起；本专利采用使用批统计量的EvoNorm-B对特征数据进行处理，从而获得更高的精确率。

步骤2：基于空间变换网络对获取的水印载体进行平面化处理。

在获取载体部位时，由于镜头角度等原因，容易导致图像出现倾斜、变形等情况，为了方便载体信息的提取本专利需要对所获取的载体部位进行平面化处理；其中技术原理为仿射变换(Affine Transformation)和透视变换(perspective Transformation)；此外，鲁棒的图像处理模型需要具有空间不变性，当图像载体发生某种转化如放大、旋转、扭曲、平移后。模型依然能够给出同样的正确结果，即图像处理模型应当具备尺度不变性、旋转不变性、平移不变性等。基于此，本项目采用空间变换网络(Spatial Transformer network)对图像载体进行处理。

步骤3：对经过步骤2处理后的水印载体基于GAN进行复原并进行鲁棒训练，提高水印的鲁棒性。

在陶瓷生产制作过程中，贴纸印花不可避免的会出现图像退化的现象；水印的提取和原始图像有较大的差异性，为此，必须对退化的图形进行处理以增强水印的鲁棒性。解决该问题的关键是对图像的退化过程建立相应的数学模型，然后通过求解该逆问题获得图像的复原模型并对原始图像进行合理估计；在图像的获取过程中，摄像设备中光学系统的衍射、传感器特性的非线性、光学系统的差、成像设备与物体之间的相对运动、感光胶卷的非线性及物体之间的相对运动、感光胶卷的非线性及胶片颗粒噪声等引起的几何失真，本项目根据退化模型对复原后的图像进行鲁棒训练以增强水印的鲁棒性。

本专利以卷积网络作为基础，遵循GAN的思路，设计为两部分(三个网络)，一部分用于生成图像，即生成网络，一部分用于鉴别生成图像是否与原图像一致的全局鉴别器和局部鉴别器，即判别网络；采用EvoNorm-B0函数，在最后一层采用Sigmoid函数使得输出在0到1区间内

采用十二层卷积网络对原始陶瓷印花贴纸进行编码效果最优，得到一张原图十六分之一大小的网格，然后再对该网格采用四层卷积网络进行解码，从而得到复原图像。

判别网络分成全局鉴别器和局部鉴别器，全局鉴别器将完整图像作为输入，识别场景的全局一致性，而局部鉴别器仅在以填充区域为中心的原图像四分之一大小区域上观测，识别局部一致性；通过采用两个不同的鉴别器，使得最终网络不但可以使全局观测一致，并且能够优化其细节，最终产生更好的图片填充效果。

生成网络中使用均方损失函数，计算原图与生成图像像素之间的差异，表达式如下：

L(∈，G₁)＝||G₁⊙(B(∈，G₁)-∈)||² (3)

其中L(∈，G₁)表示加权均方误差损失函数形式，∈表示输入图像，G₁表示生成区域二进制掩码，||||表示欧几里得范数，⊙表示像素乘法，B(∈，G₁)表示生成网络的函数形式，在图像退化区域为1，其它区域为0；用一个不变的颜色覆盖训练输入图像∈的完成区域，这个颜色是训练数据集的像素均值；

所述判别网络使用GAN损失函数：

min_B max_J E[logJ(∈，G₂)+log(1-J(B(∈，G₁)，G₁))] (4)

其中min_B，max_J分别表示生成网络的最小优化和判别网络的最大优化，E表示对训练图像∈的平均值，J((∈，G₂)+log(1-J(B(∈，G₁)，G₁)))表示判别网络的函数形式，G₂表示随机输入掩码，最终的损失函数：

min_B max_JE[L(∈，G₁)+log J(∈，G₂)+αlog(1-J(B(∈，G₁)，G₁))] (5)其中，α表示超权重参数。

运动和散焦模糊：相机运动和不正确的自动对焦都可能导致模糊；为了模拟运动模糊，采用一个随机角度进行采样并生成宽度在3到7个像素之间的线性模糊；为了模拟失焦，使用高斯模糊，其标准偏差在1到3个像素之间随机采样。

色彩处理：在获取水印载体时，相机使用曝光设置，白平衡和色彩校正矩阵来修改其输出；通过一系列随机仿射颜色变换(在整个图像中恒定)来近似这些扰动，如下所示：

1.颜色偏移：向从[-0.1，0.1]均匀采样的每个RGB通道添加随机颜色偏移。

2.去饱和：在整个RGB图像及其灰度等效图像之间随机线性插值。

3.噪声：照相机系统引入的噪声已得到充分研究，包括光子噪声，暗噪声和散粒噪声；假设标准的非光子匮乏的成像条件，采用高斯噪声模型(对标准偏差g～[0，0.2]进行采样)来解决成像噪声。

4.JPEG压缩：相机图像通常以有损格式存储(例如JPEG)；JPEG通过计算图像中每个8×8块的离散余弦变换并通过舍入到最接近的整数(在不同频率下具有不同强度)来量化所得系数来压缩图像。

Claims (2)

1.一种基于深度神经网络的陶瓷水印载体恢复方法，其特征在于，包括以下步骤：

(1)基于Evo-BiSeNet的图像分割网络，对预先获取的陶瓷三维图像进行检测，获取水印载体部位；

(2)基于空间变换网络对获取的水印载体进行平面化处理；

(3)对经过步骤(2)处理后的水印载体基于GAN进行复原并进行鲁棒训练，提高水印的鲁棒性；

步骤(3)所述的对水印载体进行复原的实现过程如下：

构建用于生成图像的生成网络和用于鉴别生成图像是否与原图像一致的判别网络；在最后一层采用Sigmoid函数使得输出在0到1区间内；

所述生成网络采用十二层卷积网络对原始陶瓷印花贴纸进行编码，得到一张原图十六分之一大小的网格，再对该网格采用四层卷积网络进行解码，从而得到复原图像；

所述判别网络分成全局鉴别器和局部鉴别器，全局鉴别器将完整图像作为输入，识别场景的全局一致性，而局部鉴别器仅在以填充区域为中心的原图像四分之一大小区域上观测，识别局部一致性；

步骤(3)所述的鲁棒训练的实现过程如下：

运动和散焦模糊：采用一个随机角度进行采样并生成宽度在3到7个像素之间的线性模糊；使用高斯模糊，其标准偏差在1到3个像素之间随机采样；

色彩处理：在获取水印载体时，相机使用曝光设置，白平衡和色彩校正矩阵来修改其输出；随机仿射颜色变换来近似这些扰动：通过一系列随机仿射颜色变换来近似这些扰动，如下所示：

1)颜色偏移：向从[-0.1，0.1]均匀采样的每个RGB通道添加随机颜色偏移；

2)去饱和：在整个RGB图像及其灰度等效图像之间随机线性插值；

3)噪声：采用高斯噪声模型对标准偏差g～[0，0.2]进行采样，解决成像噪声；

4)JPEG压缩：相机图像通常以有损格式存储；JPEG通过计算图像中每个8×8块的离散余弦变换并通过舍入到最接近的整数来量化所得系数来压缩图像；

所述生成网络中使用均方损失函数，计算原图与生成图像像素之间的差异，表达式如下：

L(∈，G₁)＝||G₁⊙(B(∈，G₁)-∈)||² (3)

其中，L(∈，G₁)表示加权均方误差损失函数形式，∈表示输入图像，G₁表示生成区域二进制掩码，|| ||表示欧几里得范数，⊙表示像素乘法，B(∈，G₁)表示生成网络的函数形式，在图像退化区域为1，其它区域为0；用一个不变的颜色覆盖训练输入图像∈的完成区域，这个颜色是训练数据集的像素均值；

所述判别网络使用GAN损失函数：

mmin_B max_JE[logJ(∈，G₂)+log(1-J(B(∈，G₁)，G₁))] (4)

其中，min_B，max_J分别表示生成网络的最小优化和判别网络的最大优化，E表示对输入图像∈的平均值，J(B(∈，G₁)，G₁))表示判别网络的函数形式，G₂表示随机输入二进制掩码，最终的损失函数：

min_B max_JE[L(∈，G₁)+logJ(∈，G₂)+αlog(1-J(B(∈，G₁)，G₁))] (5)

其中，α表示超权重参数。

2.根据权利要求1所述的基于深度神经网络的陶瓷水印载体恢复方法，其特征在于，所述步骤(1)包括以下步骤：

(11)图像分割网络采用归一化激活层提高图像分割的实时性，利用卷积注意力机制对陶瓷表面不规则图像的细小边缘特征进一步优化提取；

(12)在获取载体时，基于一个小步幅的空间路径用来保存空间信息，生成高分辨率特征；同时，采用快速下采样的上下文路径去获得更大的感受野；紧接着引入特征融合模块来有效的结合特征；这些模块中的归一化及激活函数采用归一化激活层EvoNorms进行统一。

Images