CN113537484A - 神经网络训练方法、图像编码和解码方法及相关产品 - Google Patents

Abstract

本申请实施例公开了一种神经网络训练方法、图像编码和解码方法及相关产品，所述神经网络包括第一网络和第二网络，神经网络训练方法包括：将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本；对所述第二图像样本进行扰动处理，得到第三图像样本；将所述第三图像样本输入所述第二网络，得到第二水印数据；根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数。

Description

神经网络训练方法、图像编码和解码方法及相关产品

技术领域

本申请涉及图像处理领域，具体涉及一种神经网络训练方法、图像编码和解码方法及相关产品。

背景技术

鲁棒数字水印(Robust Digital Watermark)是一种基于内容的计算机信息隐藏技术，将一些标识信息(水印信息)，嵌入到数字图像当中，且不影响原图像的使用价值，也不容易被探知和再次修改，但可以被生产方识别和辨认。通过在数字图像中隐藏标识信息，可以达到确认内容创建者、购买者等目的。

然而，数字图像的传播及使用过程中由于人为因素的存在，往往会经历各种信息丢失。例如，对添加有水印的数字图像进行图像剪切、图像压缩或者图像替换等操作后会导致水印信息的丢失，从而无法从数字图像中成功解析出原先添加的水印，进而造成水印失效。

发明内容

本申请实施例提供了一种神经网络训练方法、图像编码和图像解码方法及相关产品。

第一方面，本申请实施例提供一种神经网络训练方法，所述神经网络包括第一网络和第二网络，包括：

将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本；

对所述第二图像样本进行扰动处理，得到第三图像样本；

将所述第三图像样本输入所述第二网络，得到第二水印数据；

根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数。

在一种可能的实施方式中，所述根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数，包括：

根据所述第一图像样本和所述第二图像样本确定第一损失结果；

根据所述第一水印数据和所述第二水印数据得到第二损失结果；

根据所述第一损失结果和所述第二损失结果，调整所述神经网络的网络参数值。

在一种可能的实施方式中，所述第一水印数据包括比特流；在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，所述方法还包括：

对水印样本进行编码，得到所述水印样本对应的所述比特流；

所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本，包括：

通过所述第一网络对所述第一图像样本进行分割，得到第一样本块；

对所述第一比特流进行分割，得到与至少部分所述第一样本块中每个第一样本块对应的子比特流；

根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块；

根据对所述第一图像样本进行分割的方式，对所述多个第二样本块进行拼接，得到所述第二图像样本。

在一种可能的实施方式中，在所述第一图像样本的尺寸与所述神经网络规定的尺寸不匹配的情况下，在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，所述方法还包括：

对所述第一图像样本的尺寸进行缩放，以使缩放后的所述第一图像样本的尺寸与神经网络规定的尺寸匹配。

在一种可能的实施方式中，在所述对所述第二图像样本进行扰动处理，得到第三图像样本之前，所述方法还包括：

对所述第二图像样本的尺寸进行恢复，并将调整尺寸后的图像样本作为所述第二图像样本，所述调整尺寸后的图像样本的尺寸与所述第一图像样本的尺寸相同。

在一种可能的实施方式中，所述根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块，包括：

对所述每个第一样本块进行特征提取，得到所述每个第一样本块对应的特征图；

将所述每个第一样本块对应的子比特流进行多次复制与组合，得到第一三维矩阵，所述第一三维矩阵中每层的维度与所述特征图的维度相同，且所述第一三维矩阵中每层的数据相同；

将所述每个第一样本块对应的特征图与所述第一三维矩阵进行拼接，得到与所述每个第一样本块对应的第二三维矩阵；

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块。

在一种可能的实施方式中，所述对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块，包括：

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，并将上采样处理得到的三维矩阵与对所述每个第一样本块进行特征提取时得到的维度相同的三维矩阵进行拼接，得到第三三维矩阵；

根据所述第三三维矩阵，得到与所述至少部分所述第一样本块对应的多个第二样本块。

在一种可能的实施方式中，所述将所述第三图像样本输入所述第二网络，得到第二水印数据，包括：

对所述第三图像样本进行分割，得到第三样本块；

对至少部分所述第三样本块中每个第三样本块进行特征提取，得到所述每个第三样本块的特征向量；

根据所述每个第三样本块的特征向量确定所述每个第三样本块对应的子比特流；

根据对所述第一比特流进行分割的方式，对所述每个第三样本块对应的子比特流进行组合，得到第二水印数据。

在一种可能的实施方式中，所述扰动处理包括以下至少一种：图像压缩处理、图像剪切处理、图像覆盖处理和图像中至少部分区域的替换处理。

第二方面，本申请实施例提供一种图像编码方法，包括：

获取原始图像及第三水印数据；

将所述原始图像及所述第三水印数据输入第一网络，得到编码图像；

其中，所述第一网络通过如第一方面中任一实施方式所述的方法训练得到。

在一种可能的实施方式中，所述原始图像包括数字作品、票据图像和证件图像中的至少一项。

第三方面，本申请实施例提供一种图像解码方法，包括：

获取编码图像；

将所述编码图像输入第二网络，得到第四水印数据；

其中，所述第二网络通过如如第一方面任一实施方式所述的方法训练得到。

在一种可能的实施方式中，所述编码图像包括添加有水印数据的数字作品、票据图像和证件图像中的至少一项。

第四方面，本申请实施例提供一种神经网络训练装置，所述神经网络包括第一网络和第二网络，所述训练装置包括：

编码单元，用于将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本；

扰动单元，用于对所述第二图像样本进行扰动处理，得到第三图像样本；

解码单元，用于将所述第三图像样本输入所述第二网络，得到第二水印数据；

调整单元，用于根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数。

在一种可能的实施方式中，在根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数方面，所述调整单元，具体用于：

根据所述第一图像样本和所述第二图像样本确定第一损失结果；

根据所述第一水印数据和所述第二水印数据得到第二损失结果；

根据所述第一损失结果和所述第二损失结果，调整所述神经网络的网络参数值。

在一种可能的实施方式中，在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，所述编码单元，还用于对水印样本进行编码，得到所述水印样本对应的所述比特流；

在将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本方面，所述编码单元，具体用于：

通过所述第一网络对所述第一图像样本进行分割，得到第一样本块；

对所述第一比特流进行分割，得到与至少部分所述第一样本块中每个第一样本块对应的子比特流；

根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块；

根据对所述第一图像样本进行分割的方式，对所述多个第二样本块进行拼接，得到所述第二图像样本。

在一种可能的实施方式中，在所述第一图像样本的尺寸与所述神经网络规定的尺寸不匹配的情况下，在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，所述调整单元，还用于对所述第一图像样本的尺寸进行缩放，以使缩放后的所述第一图像样本的尺寸与神经网络规定的尺寸匹配。

在一种可能的实施方式中，在所述对所述第二图像样本进行扰动处理，得到第三图像样本之前，所述调整单元，还用于对所述第二图像样本的尺寸进行恢复，并将调整尺寸后的图像样本作为所述第二图像样本，所述调整尺寸后的图像样本的尺寸与所述第一图像样本的尺寸相同。

在一种可能的实施方式中，在根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块，所述编码单元，具体用于：

对所述每个第一样本块进行特征提取，得到所述每个第一样本块对应的特征图；

将所述每个第一样本块对应的子比特流进行多次复制与组合，得到第一三维矩阵，所述第一三维矩阵中每层的维度与所述特征图的维度相同，且所述第一三维矩阵中每层的数据相同；

将所述每个第一样本块对应的特征图与所述第一三维矩阵进行拼接，得到与所述每个第一样本块对应的第二三维矩阵；

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块。

在一种可能的实施方式中，在对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块方面，所述编码单元，具体用于：

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，并将上采样处理得到的三维矩阵与对所述每个第一样本块进行特征提取时得到的维度相同的三维矩阵进行拼接，得到第三三维矩阵；

根据所述第三三维矩阵，得到与所述至少部分所述第一样本块对应的多个第二样本块。

在一种可能的实施方式中，在将所述第三图像样本输入所述第二网络，得到第二水印数据方面，所述解码单元，具体用于：

对所述第三图像样本进行分割，得到第三样本块；

对至少部分所述第三样本块中每个第三样本块进行特征提取，得到所述每个第三样本块的特征向量；

根据所述每个第三样本块的特征向量确定所述每个第三样本块对应的子比特流；

根据对所述第一比特流进行分割的方式，对所述每个第三样本块对应的子比特流进行组合，得到第二水印数据。

在一种可能的实施方式中，所述扰动处理包括以下至少一种：图像压缩处理、图像剪切处理、图像覆盖处理和图像中至少部分区域的替换处理。

第五方面，本申请实施例提供一种图像编码装置，包括：

获取单元，用于获取原始图像及第三水印数据；

编码单元，用于将所述原始图像及所述第三水印数据输入第一网络，得到编码图像；

其中，所述第一网络通过如第一方面中任一实施方式所述的方法训练得到。

在一种可能的实施方式中，所述原始图像包括数字作品、票据图像和证件图像中的至少一项。

第六方面，本申请实施例提供一种图像解码装置，包括：

获取单元，用于获取编码图像；

解码单元，用于将所述编码图像输入第二网络，得到第四水印数据；

其中，所述第二网络通过如如第一方面任一实施方式所述的方法训练得到。

在一种可能的实施方式中，所述编码图像包括添加有水印数据的数字作品、票据图像和证件图像中的至少一项。

第七方面，本申请实施例提供一种神经网络训练装置，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第一方面所述的方法中的步骤的指令。

第八方面，本申请实施例提供一种图像编码装置，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第二方面所述的方法中的步骤的指令。

第九方面，本申请实施例提供一种图像解码装置，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第三方面所述的方法中的步骤的指令。

第十方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法、第二方面所述的方法或第三方面所述的方法。

第十一方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一至第三方面所述的方法中任意一项可能的实现方式。

实施本申请实施例，具有如下有益效果：

可以看出，在本申请实施例中，对神经网络进行训练时加入了扰动处理，提高了神经网络的抗干扰能力，使训练好的神经网络可以抵抗噪声的影响，提高神经网络对水印数据编码和解码的稳定性。因此，使用该训练好的神经网络对编码好水印数据的图像进行解码过程中，即使对该图像进行了图像剪切、图像压缩或者替换等操作，仍然可以使用该神经网络成功从该图像中解码出该水印数据，从而解决了水印失效的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种神经网络训练方法的流程示意图；

图2为本申请实施例提供的一种对比特流进行复制和组合的示意图；

图3为本申请实施例提供的一种将比特流和特征图进行拼接的示意图；

图4为本申请实施例提供的一种第一网络的示意图；

图5为本申请实施例提供的一种第二网络的示意图；

图6为本申请实施例提供的一种图像编码方法的流程示意图；

图7为本申请实施例提供的一种图像解码方法的流程示意图；

图8为本申请实施例提供的一种神经网络训练装置的示意图；

图9为本申请实施例提供的一种图像编码装置的示意图；

图10为本申请实施例提供的一种图像解码装置的示意图；

图11为本申请实施例提供的另一种神经网络训练装置的示意图；

图12为本申请实施例提供的另一种图像编码装置的示意图；

图13为本申请实施例提供的另一种图像解码装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1，图1为本申请实施例提供的一种神经网络训练方法的流程示意图。该神经网络包括第一网络和第二网络，该方法可以应用于神经网络训练装置。本实施例的方法包括如下步骤：

101：将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本。

其中，第一水印数据可以是水印样本，即将要添加至第一图像样本中的水印，或是对水印样本处理后得到的可直接添加至第一图像样本的内容，比如，是对水印样本进行编码得到的。即将水印样本编码为数字信息，得到第一水印数据。本申请中主要以第一水印数据为比特流进行说明，但不对水印数据的形式进行限定。

水印样本可以为字符、字符串和图形中的一种或几种的组合，比如，可以是文字、数字等组合而成的内容。

举例来说，在水印样本为字符串的情况下，可以对该字符串进行编码，将该字符串对应的ASCII码作为该字符串对应的比特流。例如，字符串abc，其对应的比特流可以为01100001 01100010 01100011。

通过该第一网络对该第一图像样本进行分割，得到多个第一样本块，并对该第一比特流进行分割，得到该多个第一样本块中的至少部分第一样本块中每个第一样本块对应的子比特流。

其中，该多个第一样本块的尺寸可以相同或者不同，本申请对此不做限定。

具体地，可基于对第一图像样本的分割顺序，按照从前往后的顺序对该第一比特流依次进行分割，得到与该每个第一样本块对应的子比特流。例如，可以按照预设数量的比特位对该第一比特流进行依次分割，得到与该每个第一样本块对应的子比特流；或者，也根据该至少部分第一样本块的数量对该第一比特流进行分割。例如，每个第一图像块对应的子比特流包括该第一比特流中

位比特，N为该第一比特流中比特位的数量，M为该至少部分第一样本块的数量，

为向上取整符号，其中，N和M为正整数。

需要说明的是，对第一比特流分割的过程中，若某个第一样本块对应的子比特流不满足需求，例如，最后一个第一样本块的比特位少于预设比特位，则对该第一比特流填充预设比特，以便后续对编码后的该第一样本块进行解码，可解码出预设比特，即相当于在分类过程中，神经网络知道填充有预设比特，会向该预设比特上进行分类，得到该预设比特。若不添加预设比特，对编码后的每个第一样本块进行分类过程中，需要分类出神经网络规定的与预设数量对应的分类结果，即需要解码出与预设数量对应的子比特流，由于该第一样本块编码的比特位的数量少于该预设数量，而且不会往预设比特上进行分类，从而除了得到该第一样本块中编码的子比特流，还会得到其他比特，会解码出错误的水印数据，得到错误的水印信息。

进一步地，使用该第一网络对该每个第一样本块对应的子比特流与该每个第一样本块进行编码，得到该每个第一样本块对应的第二样本块。根据对该第一图像样本进行分割的方式，确定拼接方式，根据该拼接方式将该至少部分第一样本块对应的多个第二样本块进行拼接，得到该第二图像样本。通常情况下，可认为分割方式与拼接方式为可逆的实现方式，即在实现过程中，采用与分割方式相对应的逆操作方式来完成拼接，以得到第二图像样本。

具体地，对该每个第一样本块进行特征提取，得到该每个第一样本块对应的特征图，其中，该特征图为通过该神经网络的多个通道对该每个第一样本块进行特征提取得到的。一般来说，通过每个通道的卷积核对该每个第一样本块进行特征提取，得到与每个特征图对应的子特征图，将多个通道的子特征图进行组合，得到该每个第一样本块对应的特征图；如图2所示，将该每个第一样本块对应的子比特流进行多次复制与组合，得到第一三维矩阵，该第一三维矩阵中每层的维度与该特征图的维度相同，且该第一三维矩阵中每层的数据相同。

如图3所示，将该每个第一样本块对应的特征图与该第一三维矩阵进行拼接，得到该每个第一样本块对应的第二三维矩阵，对该每个第一样本块对应的第二三维矩阵进行上采样处理，得到与该至少部分第一样本块对应的多个第二样本块。

此外，进行上采样处理过程中，可将上采样处理得到的三维矩阵与该每个第一样本块进行特征提取时得到的维度相同的三维矩阵进行拼接(concat)，得到第三三维矩阵，并将该第三三维矩阵作为该神经网络中下一个网络层的输入数据，得到该每个第一样本块对应的第二样本块，即得到与该至少部分第一样本块对应的多个第二样本块。

其中，该上采样处理包括反卷积处理和子像素卷积Sub-pixel convolution处理。本申请中以上采样处理为反卷积处理进行说明。

需要说明，在实际应用中，若该第一图像样本的尺寸满足神经网络对尺寸的需求，可以不对第一图像样本进行分割，直接通过该神经网络该第一图像样本与第一水印数据进行编码。

102：对所述第二图像样本进行扰动处理，得到第三图像样本。

其中，该扰动处理主要用于模拟造成图像信息丢失的场景。该扰动处理可以包括但不限于以下至少一种或是多种的组合：图像压缩处理、图像剪切处理、图像覆盖处理和图像中至少部分区域的替换处理。

103：将所述第三图像样本输入所述第二网络，得到第二水印数据。

对该第三图像样本进行分割，得到多个第三样本块；对该多个第三样本块中的至少部分第三样本块中每个第三样本块进行特征提取，得到该每个第三样本块的特征向量；根据每个第三样本块的特征向量，确定该每个第三样本块对应的子比特流；根据对该第一比特流进行分割的方式，确定组合方式，根据该组合方式对该每个第三样本块对应的子比特流进行组合，得到该第二比特流，即第二水印数据。

104：根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数。

获取第二图像样本和第一图像样本之间的第一差异以及第二水印数据和第一水印数据之间的差异；根据第一差异和第二差异调整神经网络的网络参数。

具体地，根据该第二图像样本和该第一图像样本确定第一损失结果，根据该第一水印数据和该第二水印数据确定第二损失结果；根据该第一损失结果和该第二损失结果，调整该神经网络的网络参数值，即对该第一损失结果和第二损失结果进行加权处理，通过加权后的损失结果调整该神经网络的网络参数值；对第一损失结果和第二损失结果进行加权处理，即同时考虑输出结果对编码过程和解码过程的影响，从而利用加权后的损失结果调整神经网络的网络参数，可提高神经网络编码和解码的稳定性。

可以看出，在本申请实施例中，对神经网络进行训练时加入了扰动处理，提高了神经网络的抗干扰能力，使训练好的神经网络可以抵抗噪声的影响。因此，使用训练好的该神经网络对编码好水印数据的图像进行解码的过程中，即使对该图像进行了图像剪切、图像压缩或者替换等操作，仍然可以使用该神经网络成功从该图像中解码出该水印数据，从而解决了水印失效的问题。

在一种可能的实施方式中，在该第一图像样本的尺寸与该神经网络规定的尺寸不匹配的情况下，比如，第一图像样本的尺寸大于神经网络规定的尺寸，则确定该第一图像样本的尺寸与该神经网络规定的尺寸不匹配，对该第一图像样本的尺寸进行缩放，以使缩放后的该第一图像样本的尺寸与该神经网络规定的尺寸匹配。例如，将该第一图像样本的尺寸缩放与该神经网络规定的尺寸相同或小于该神经网络规定的尺寸。

另外，在实际应用中，并不只限定对该第一图像样本的尺寸进行调整，还可以对该第一图像样本中不符合该神经网络要求的其他信息进行调整。例如，在该第一图像样本的数据格式不符合该神经网络对数据格式的要求的情况下，先对该第一图像样本的数据格式进行调整，以使调整数据格式的第一图像样本符合该神经网络对数据格式的要求。

其中，对第一图像样本的尺寸的缩放，可以采用插值算法对该第一图像样本的长和宽进行调整，其中，插值算法为现有技术不再叙述。

此外，在对该第一图像样本进行缩放的情况下，在得到该第二图像样本之后，对该第二图像样本的尺寸进行恢复，并将调整尺寸后的图像样本作为该第二图像样本，该调整尺寸后的图像样本与该第一图像样本的尺寸相同。

其中，对第二图像样本的尺寸进行恢复，可采用上述对第一图像样本的尺寸进行缩放采用的插值算法的逆过程对该第二图像样本的尺寸进行恢复。

需要说明，在第一图像样本的尺寸与该神经网络规定的尺寸不匹配的情况下，由于对第二图像样本的尺寸进行了恢复，所以，恢复尺寸后的第二图像样本的尺寸与该神经网络规定的尺寸也不匹配，并且又对第二图像样本进行了扰动处理。因此，在该第三图像样本的尺寸与该神经网络规定的尺寸不匹配的情况下，在将第三图像样本输入到该神经网络之前，对该第三图像样本的尺寸进行缩放，缩放方式与对第一图像样本的缩放方式类似，不再叙述。

在一种可能的实施方式中，参与编码的第一样本块(至少部分第一样本块)可以为该多个第一样本块的全部，即对该多个第一样本块全部进行编码；或者，为该多个第一样本块中的部分，即只对该多个第一样本块中的部分样本块进行编码，其中，该部分第一样本块可以从预设图像区域分割出来的样本块，该预设图像区域可以是图像信息不易丢失的区域、信息难以更改的区域或是富含重要内容的区域，等等。即可根据添加水印数据的实际需求，提前设定对哪些图像区域进行编码。因此，在对第一图像样本进行分割后，只对该预设图像区域中的第一样本块进行编码，无需对所有的第一样本块都进行编码，进而提高了编码效率。

同样，上述至少部分第三样本块可以为多个第三样本块中的全部或者部分。也就是说，基于对第一图像样本的编码方式，若只对部分第一样本块进行编码，则也只需对部分第三样本块进行解码，即只对与参与编码的第一样本块对应的第三样本块进行解码，无需对所有的第三样本块进行解码，提高解码效率。

下面结合该神经网络的网络层说明对该神经网络的训练过程。

参阅图4，图4为本申请实施例提供的一种第一神经网络的示意图。

如图4所示，该第一网络包括多个卷积层、多个反卷积层和多个池化层和多个通道(图5仅示出了部分卷积层、反卷积层和池化层以及一个通道)；

通过该多个卷积层和多个池化层，对每个第一样本块进行特征提取，得到每个第一样本块的特征图；然后，将对特征图与该每个第一样本块的子比特流对应的第一三维矩阵进行拼接，得到第二三维矩阵；最后，通过该多个反卷积层和多个池化层对该第二三维矩阵进行反卷积处理，得到该每个第一样本块对应的第二样本块，对该每个第一样本块对应的第二样本块进行拼接，得到第二样本图像。

另外，在反卷积处理的过程中，可以将反卷积处理得到的三维矩阵与特征提取时得到的维度相同的三维矩阵进行拼接(concat)，使下一个反卷积层的输入数据包含该原始图像中更多的细节信息，从而提高反卷积的精确度。如图5所示，将最后一次卷积得到的三维矩阵(特征图)与第一次反卷积处理得到的三维矩阵进行拼接，得到第三三维矩阵，将该第三三维矩阵作为下一次反卷积处理的输入数据。

参阅图5，图5为本申请实施例提供的一种第二网络的示意图。

如图5所示，第二网络包括多个卷积层、多个池化层以及全连接层(图5仅示出了部分卷积层和部分池化层)，通过该多个卷积层、多个池化层以及全连接层对每个第三样本块进行特征提取，得到每个第三样本的特征向量；根据每个第三样本的特征向量，得到该每个第三样本块对应的子比特流；根据对第一比特流的分割方式，确定组合方式，根据该组合方式对该每个第三样本块对应的子比特流进行组合，得到第二比特流。

最后，根据该第一图像样本和第二图像样本确定第一损失结果，根据该第一比特流和该第二比特流确定第二损失结果，对该第一损失结果和该第二损失进行加权，得到第三损失结果，根据该第三损失调整该第一网络和第二网络的网络参数值。

参阅图6，图6为本申请实施例提供的一种图像编码方法的流程示意图，该方法应用于图像编码装置。本实施例方法包括如下步骤：

601：获取原始图像及第三水印数据。

该原始图像包括但不限于数字作品、票据图像和证件图像等需要增加水印的图像。

该第三水印数据可以是水印信息，即将要添加到该原始图像中的水印，或是对水印信息进行处理后得到的可直接添加至原始图像中的内容，比如，是对水印信息进行编码得到的比特流。

其中，该水印信息可以为字符、字符串和图形中的一种或几种的组合，比如，可以是文字、数字等组合而成的内容。

602：将所述原始图像及所述第三水印数据输入第一网络，得到编码图像。

该第一网络通过图1所示的神经网络训练方法进行训练得到，具体训练过程可参见上述内容，不再叙述。

通过第一网络对原始图像进行分割，得到多个第一图像块；对多个第一图像块中的至少部分第一图像块中每个第一图像块与对应的子比特流进编码，得到与该每个第一图像块对应的第二图像块，将该至少部分第一图像块对应的多个第二图像块进行拼接，得到该编码图像。同样，在该原始图像的尺寸与该神经网络规定的尺寸不匹配的情况下，需要对该原始图像的尺寸进行缩放，也需要对编码图像的尺寸进行恢复，将恢复尺寸后的图像作为该编码图像。

其中，对第一图像块的编码过程与上述对第一样本图像块的编码过程类似，不再进行详细叙述。

可以看出，在本申请实施例中，通过第一网络对原始图像进行编码，添加水印数据。由于对神经网络进行训练过程中加入了扰动处理，提高了神经网络的抗干扰能力，使训练好的神经网络可以抵抗噪声的影响。因此，使用训练好的该神经网络对原始图像进行编码过程中，可以抵抗噪声的影响，即使对该图像进行了图像剪切、图像压缩或者替换等操作，后续解码过程中仍然可以解码出水印数据，从而解决了水印失效的问题。

在一种可能的实施方式中，在该原始图像为黑白图像的情况下，在对该原始图像样本进行分割之前，先对该原始图像进行复制，以使每个通道对应一个原始图像(输入数据)，从而可以通过多通道对黑白图像进行特征提取，进而实现对黑白图像添加水印数据。

参阅图7，图7为本申请实施例提供的一种图像解码方法的流程示意图，该方法应用于图像解码装置。本实施例方法包括如下步骤：

701：获取编码图像。

702：将所述编码图像输入第二网络，得到第四水印数据。

该第二网络通过图1所示的神经网络训练方法进行训练得到，具体训练过程可参见上述内容，不再叙述。

同样，对该编码图像进行分割，得到多个第三图像块；然后，对该多个第三图像块中的至少部分图像块中每个第三图像块的特征向量，根据每个第三图像块的特征向量确定每个第三图像块对应的子比特流；根据对第三水印数据进行分割的方式，对该每个第三图像块对应的子比特流进行拼接，得到第四水印数据。

该第四水印数据可以是水印信息，即添加到该原始图像中的水印，或是对水印信息进行处理后得到的添加至原始图像中的内容，比如，是对水印信息进行编码得到的比特流。

其中，该水印信息可以为字符、字符串和图形中的一种或几种的组合，比如，可以是文字、数字等组合而成的内容。

在该编码图像是通过图6所示的图像编码方法对该原始图像进行编码得到的情况下，则该第三水印数据和第四水印数据为相同的水印数据，否则，该第三水印数据和第四水印数据为不同的水印数据。

可以看出，在本申请实施例中，通过第二网络对编码图像进行编码。由于对神经网络进行训练过程中加入了扰动处理，提高了神经网络的抗干扰能力，使训练好的神经网络可以抵抗噪声的影响。因此，使用训练好的该神经网络对编码图像进行解码，即使对该图像进行了图像剪切、图像压缩或者替换等操作，仍然可以成功解码出水印数据，从而解决了水印失效的问题。

结合上述向图像中编码水印数据和从图像中解码出水印数据的实现方式，下面对本申请的应用场景进行说明。

在一种可能的实施方式中，在该原始图像为数字作品的情况下，为了防止盗用作者的第一数字作品，可以在发布该第一数字作品之前，使用该第一网络对数字作品进行编码，添加第三水印数据(第三水印信息)，得到编码图像，并发布该编码图像；在监测到第二数字作品的情况下，该第二数字作品由其他人发布，且内容与该第一数字作品类似，使用该第二网络对该第二数字作品进行解码，得到第四水印数据(第四水印数据)；在该第三水印数据和第四水印数据相同的情况下，则确定盗用作者的数字作品。

在一种可能的实施方式中，在该原始图像为票据图像的情况下，为了防止票据作假，可在开具第一票据图像的情况下，使用该第一网络对该票据图像进行编码，添加第三水印数据(第三水印信息)，得到编码图像；对票据图像进行核对(比如，报销核对)的情况下，使用该第二网络对第二票据图像进行解码，得到第四水印数据(第四水印信息)；在该第四水印数据和第三水印数据不一致的情况下，则确定票据造假，即该第二票据为虚假票据。

在一种可能的实施方式中，在该原始图像为证件图像的情况下，为了防止证件作假，可在颁发第一证件图像的情况下，使用该第一网络对该证件图像进行编码，添加第三水印数据(第三水印信息)，得到编码图像；在进行证件图像验证(比如，报销验证)的情况下，使用该第二网络对第二证件图像进行解码，得到第四水印数据(第四水印信息)；在该第四水印数据和第三水印数据不一致的情况下，则确定证件造假，即该第二证件为虚假证件。

参阅图8，图8为本申请实施例提供的一种神经网络训练装置800的示意图，神经网络训练装置800用于训练神经网络，该神经网络包括第一网络和第二网络。神经网络训练装置800包括处理器、存储器、通信接口以及一个或多个程序，且该一个或多个程序被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：

将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本；

对所述第二图像样本进行扰动处理，得到第三图像样本；

将所述第三图像样本输入所述第二网络，得到第二水印数据；

根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数。

在一种可能的实施方式，在根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数方面，上述程序具体用于执行以下步骤的指令：

根据所述第一图像样本和所述第二图像样本确定第一损失结果；

根据所述第一水印数据和所述第二水印数据得到第二损失结果；

根据所述第一损失结果和所述第二损失结果，调整所述神经网络的网络参数值。

在一种可能的实施方式，所述第一水印数据包括比特流；在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，上述程序还用于执行以下步骤的指令：对水印样本进行编码，得到所述水印样本对应的所述比特流；

在将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本方面，上述程序具体用于执行以下步骤的指令：

通过所述第一网络对所述第一图像样本进行分割，得到第一样本块；

对所述第一比特流进行分割，得到与至少部分所述第一样本块中每个第一样本块对应的子比特流；

根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块；

根据对所述第一图像样本进行分割的方式，对所述多个第二样本块进行拼接，得到所述第二图像样本。

在一种可能的实施方式，在所述第一图像样本的尺寸与所述神经网络规定的尺寸不匹配的情况下，上述程序还用于执行以下步骤的指令：

对所述第一图像样本的尺寸进行缩放，以使缩放后的所述第一图像样本的尺寸与神经网络规定的尺寸匹配。

在一种可能的实施方式，在所述对所述第二图像样本进行扰动处理，得到第三图像样本之前，上述程序还用于执行以下步骤的指令：

对所述第二图像样本的尺寸进行恢复，并将调整尺寸后的图像样本作为所述第二图像样本，所述调整尺寸后的图像样本的尺寸与所述第一图像样本的尺寸相同。

在一种可能的实施方式，在根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块方面，上述程序具体用于执行以下步骤的指令：

对所述每个第一样本块进行特征提取，得到所述每个第一样本块对应的特征图；

将所述每个第一样本块对应的子比特流进行多次复制与组合，得到第一三维矩阵，所述第一三维矩阵中每层的维度与所述特征图的维度相同，且所述第一三维矩阵中每层的数据相同；

将所述每个第一样本块对应的特征图与所述第一三维矩阵进行拼接，得到与所述每个第一样本块对应的第二三维矩阵；

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块。

在一种可能的实施方式，在对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块方面，上述程序具体用于执行以下步骤的指令：

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，并将上采样处理得到的三维矩阵与对所述每个第一样本块进行特征提取时得到的维度相同的三维矩阵进行拼接，得到第三三维矩阵；

根据所述第三三维矩阵，得到与所述至少部分所述第一样本块对应的多个第二样本块。

在一种可能的实施方式，在将所述第三图像样本输入所述第二网络，得到第二水印数据方面，上述程序具体用于执行以下步骤的指令：

对所述第三图像样本进行分割，得到第三样本块；

对至少部分所述第三样本块中每个第三样本块进行特征提取，得到所述每个第三样本块的特征向量；

根据所述每个第三样本块的特征向量确定所述每个第三样本块对应的子比特流；

根据对所述第一比特流进行分割的方式，对所述每个第三样本块对应的子比特流进行组合，得到第二水印数据。

在一种可能的实施方式，所述扰动处理包括以下至少一种：图像压缩处理、图像剪切处理、图像覆盖处理和图像中至少部分区域的替换处理。

参阅图9，图9为本申请实施例提供的一种图像编码装置的示意图。图像编码装置900包括处理器、存储器、通信接口以及一个或多个程序，且该一个或多个程序被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：

获取原始图像及第三水印数据；

将所述原始图像及所述第三水印数据输入第一网络，得到编码图像；

其中，所述第一网络通过上述任一实施例所述的神经网络训练方法训练得到。

在一种可能的实施方式中，所述原始图像包括数字作品、票据图像和证件图像中的至少一项。

参阅图10，图10为本申请实施例提供的一种图像解码装置的示意图。图像解码装置1000包括处理器、存储器、通信接口以及一个或多个程序，且该一个或多个程序被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：

获取编码图像；

将所述编码图像输入第二网络，得到第四水印数据；

其中，所述第二网络通过上述任一实施例所述的神经网络训练方法训练得到。

在一种可能的实施方式中，所述编码图像包括添加有水印数据的数字作品、票据图像和证件图像中的至少一项。

参阅图11，图11为本申请实施例提供的另一种神经网络训练装置的示意图。神经网络训练装置1100用于训练神经网络，该神经网络包括第一网络和第二网络。其中，神经网络训练装置1100包括：

编码单元1101，用于将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本；

扰动单元1102，用于对所述第二图像样本进行扰动处理，得到第三图像样本；

解码单元1103，用于将所述第三图像样本输入所述第二网络，得到第二水印数据；

调整单元1104，用于根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数。

在一种可能的实施方式中，在根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数方面，调整单元1104，具体用于：

根据所述第一图像样本和所述第二图像样本确定第一损失结果；

根据所述第一水印数据和所述第二水印数据得到第二损失结果；

根据所述第一损失结果和所述第二损失结果，调整所述神经网络的网络参数值。

在一种可能的实施方式中，在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，编码单元1101，还用于对水印样本进行编码，得到所述水印样本对应的所述比特流；

在将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本方面，编码单元1101，具体用于：

通过所述第一网络对所述第一图像样本进行分割，得到第一样本块；

对所述第一比特流进行分割，得到与至少部分所述第一样本块中每个第一样本块对应的子比特流；

根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块；

根据对所述第一图像样本进行分割的方式，对所述多个第二样本块进行拼接，得到所述第二图像样本。

在一种可能的实施方式中，在所述第一图像样本的尺寸与所述神经网络规定的尺寸不匹配的情况下，在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，调整单元1102，还用于对所述第一图像样本的尺寸进行缩放，以使缩放后的所述第一图像样本的尺寸与神经网络规定的尺寸匹配。

在一种可能的实施方式中，在所述对所述第二图像样本进行扰动处理，得到第三图像样本之前，调整单元1104，还用于对所述第二图像样本的尺寸进行恢复，并将调整尺寸后的图像样本作为所述第二图像样本，所述调整尺寸后的图像样本的尺寸与所述第一图像样本的尺寸相同。

在一种可能的实施方式中，在根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块，编码单元1101，具体用于：

对所述每个第一样本块进行特征提取，得到所述每个第一样本块对应的特征图；

将所述每个第一样本块对应的子比特流进行多次复制与组合，得到第一三维矩阵，所述第一三维矩阵中每层的维度与所述特征图的维度相同，且所述第一三维矩阵中每层的数据相同；

将所述每个第一样本块对应的特征图与所述第一三维矩阵进行拼接，得到与所述每个第一样本块对应的第二三维矩阵；

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块。

在一种可能的实施方式中，在对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块方面，编码单元1101，具体用于：

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，并将上采样处理得到的三维矩阵与对所述每个第一样本块进行特征提取时得到的维度相同的三维矩阵进行拼接，得到第三三维矩阵；

根据所述第三三维矩阵，得到与所述至少部分所述第一样本块对应的多个第二样本块。

在一种可能的实施方式中，在将所述第三图像样本输入所述第二网络，得到第二水印数据方面，解码单元1103，具体用于：

对所述第三图像样本进行分割，得到第三样本块；

对至少部分所述第三样本块中每个第三样本块进行特征提取，得到所述每个第三样本块的特征向量；

根据所述每个第三样本块的特征向量确定所述每个第三样本块对应的子比特流；

根据对所述第一比特流进行分割的方式，对所述每个第三样本块对应的子比特流进行组合，得到第二水印数据。

在一种可能的实施方式中，所述扰动处理包括以下至少一种：图像压缩处理、图像剪切处理、图像覆盖处理和图像中至少部分区域的替换处理。

参阅图12，图12为本申请实施例提供的另一种图像编码装置的示意图。图像编码装置1200，包括：

获取单元1201，用于获取原始图像及第三水印数据；

编码单元1202，用于将所述原始图像及所述第三水印数据输入第一网络，得到编码图像；

其中，所述第一网络通过上述任一实施例所述的神经网络训练方法训练得到。

在一种可能的实施方式中，所述原始图像包括数字作品、票据图像和证件图像中的至少一项。

参阅图13，图13为本申请实施例提供的一种图像解码装置的示意图。图像解码装置1300，包括：

获取单元1301，用于获取编码图像；

解码单元1302，用于将所述编码图像输入第二网络，得到第四水印数据；

其中，所述第一网络通过上述任一实施例所述的神经网络训练方法训练得到。

在一种可能的实施方式中，所述编码图像包括添加有水印数据的数字作品、票据图像和证件图像中的至少一项。

本申请实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种神经网络训练方法的部分或全部步骤；或者，图像编码方法的部分或全部步骤；或者，图像解码方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种神经网络训练方法的部分或全部步骤；或者，图像编码方法的部分或全部步骤；或者，图像解码方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以利用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以利用硬件的形式实现，也可以利用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (18)

1.一种神经网络训练方法，其特征在于，所述神经网络包括第一网络和第二网络，包括：

将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本；

对所述第二图像样本进行扰动处理，得到第三图像样本；

将所述第三图像样本输入所述第二网络，得到第二水印数据；

根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数。

2.根据权利要求所述的方法，其特征在于，所述根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数，包括：

根据所述第一图像样本和所述第二图像样本确定第一损失结果；

根据所述第一水印数据和所述第二水印数据得到第二损失结果；

根据所述第一损失结果和所述第二损失结果，调整所述神经网络的网络参数值。

3.根据权利要求1或2所述的方法，所述第一水印数据包括比特流；在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，所述方法还包括：

对水印样本进行编码，得到所述水印样本对应的所述比特流；

所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本，包括：

通过所述第一网络对所述第一图像样本进行分割，得到第一样本块；

对所述第一比特流进行分割，得到与至少部分所述第一样本块中每个第一样本块对应的子比特流；

根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块；

根据对所述第一图像样本进行分割的方式，对所述多个第二样本块进行拼接，得到所述第二图像样本。

4.根据权利要求1-3任一项所述的方法，其特征在于，在所述第一图像样本的尺寸与所述神经网络规定的尺寸不匹配的情况下，在所述将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本之前，所述方法还包括：

对所述第一图像样本的尺寸进行缩放，以使缩放后的所述第一图像样本的尺寸与神经网络规定的尺寸匹配。

5.根据权利要求4所述的方法，其特征在于，在所述对所述第二图像样本进行扰动处理，得到第三图像样本之前，所述方法还包括：

对所述第二图像样本的尺寸进行恢复，并将调整尺寸后的图像样本作为所述第二图像样本，所述调整尺寸后的图像样本的尺寸与所述第一图像样本的尺寸相同。

6.根据权利要求3-5任一项所述的方法，其特征在于，所述根据所述每个第一样本块对应的子比特流，得到与所述至少部分所述第一样本块对应的多个第二样本块，包括：

对所述每个第一样本块进行特征提取，得到所述每个第一样本块对应的特征图；

将所述每个第一样本块对应的子比特流进行多次复制与组合，得到第一三维矩阵，所述第一三维矩阵中每层的维度与所述特征图的维度相同，且所述第一三维矩阵中每层的数据相同；

将所述每个第一样本块对应的特征图与所述第一三维矩阵进行拼接，得到与所述每个第一样本块对应的第二三维矩阵；

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块。

7.根据权利要求6所述的方法，其特征在于，所述对所述每个第一样本块对应的第二三维矩阵进行上采样处理，得到与所述至少部分所述第一样本块对应的多个第二样本块，包括：

对所述每个第一样本块对应的第二三维矩阵进行上采样处理，并将上采样处理得到的三维矩阵与对所述每个第一样本块进行特征提取时得到的维度相同的三维矩阵进行拼接，得到第三三维矩阵；

根据所述第三三维矩阵，得到与所述至少部分所述第一样本块对应的多个第二样本块。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述将所述第三图像样本输入所述第二网络，得到第二水印数据，包括：

对所述第三图像样本进行分割，得到第三样本块；

对至少部分所述第三样本块中每个第三样本块进行特征提取，得到所述每个第三样本块的特征向量；

根据所述每个第三样本块的特征向量确定所述每个第三样本块对应的子比特流；

根据对所述第一比特流进行分割的方式，对所述每个第三样本块对应的子比特流进行组合，得到第二水印数据。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述扰动处理包括以下至少一种：图像压缩处理、图像剪切处理、图像覆盖处理和图像中至少部分区域的替换处理。

10.一种图像编码方法，其特征在于，所述方法包括：

获取原始图像及第三水印数据；

将所述原始图像及所述第三水印数据输入第一网络，得到编码图像；

其中，所述第一网络通过如权利要求1至9中任意一项所述的方法训练得到。

11.一种图像解码方法，其特征在于，所述方法包括：

获取编码图像；

将所述编码图像输入第二网络，得到第四水印数据；

其中，所述第二网络通过如权利要求1至9中任意一项所述的方法训练得到。

12.一种神经网络训练装置，其特征在于，所述神经网络包括第一网络和第二网络，所述训练装置包括：

编码单元，用于将第一水印数据和第一图像样本输入所述第一网络，得到第二图像样本；

扰动单元，用于对所述第二图像样本进行扰动处理，得到第三图像样本；

解码单元，用于将所述第三图像样本输入所述第二网络，得到第二水印数据；

调整单元，用于根据所述第二图像样本、所述第一图像样本、所述第一水印数据和所述第二水印数据，调整所述神经网络的网络参数。

13.一种图像编码装置，其特征在于，包括：

获取单元，用于获取原始图像及第三水印数据；

编码图像，用于将所述原始图像及所述第三水印数据输入第一网络，得到编码图像；

其中，所述第一网络通过如权利要求1至9中任意一项所述的方法训练得到。

14.一种图像解码装置，其特征在于，包括：

获取单元，用于获取编码图像；

解码单元，用于将所述编码图像输入第二网络，得到第四水印数据；

其中，所述第二网络通过如权利要求1至9中任意一项所述的方法训练得到。

15.一种神经网络训练装置，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-9任一项方法中的步骤的指令。

16.一种图像编码装置，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求10方法中的步骤的指令。

17.一种图像解码装置，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求11方法中的步骤的指令。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-11任一项所述的方法。

Images