CN117291787B - 一种基于数据水印的追溯方法及系统 - Google Patents

Abstract

本发明提供一种基于数据水印的追溯方法及系统，可以利用数据水印追溯模型中的强解码分支和弱解码分支提取该待溯源RGB图像中的水印信息；其中，强解码分支对于修改图像语义的内容修改操作以及不改变图像语义的常规调节操作鲁棒，弱解码分支仅对上述不改变图像语义的常规调节操作鲁棒；通过利用强解码分支和弱解码分支的上述特性，可以对待溯源RGB图像进行准确溯源；其中，如果弱解码结果与强解码结果之间的相似度高于预设阈值，则确定待溯源RGB图像的内容未被篡改，因此可以基于强解码结果确定该待溯源RGB图像的源发送者，提升了被添加水印的图像在被上传至网络后可能被修改的情况下，针对该可能被修改的图像的溯源准确性。

Description

一种基于数据水印的追溯方法及系统

技术领域

本发明涉及数据水印技术领域，尤其涉及一种基于数据水印的追溯方法及系统。

背景技术

数据水印（Data watermarking）是一种将视觉不可见的水印信息嵌入到数据中的技术，旨在保护数据的版权和完整性。数据水印追溯（Watermark tracing）指的是通过分析和提取嵌入在数据中的水印信息，来追踪数据的来源和传播路径。在数据水印追溯系统中，通常包含以下几种关键技术：

水印嵌入：将水印信息嵌入到原始数据中。其中，水印的嵌入应该具有一定的鲁棒性，即在数据经过压缩、裁剪或其他处理操作后，仍能被有效提取；

水印提取：在接收到经过嵌入水印的数据后，通过特定的算法提取出水印信息。提取的过程应该具有高效性和准确性，确保正确地获取水印；

溯源与检测：通过分析提取的水印信息，追踪数据的来源。同时，还可以采用数字签名、哈希等技术对数据进行认证和验证，以确保数据的完整性和真实性；

账户授权和密钥管理技术：对数据水印追溯系统的用户进行权限管理并存储和管理各用户的密钥信息。

然而，现有的数据水印算法通常专注于对RGB图像的水印嵌入和提取，而忽视了被广泛应用的RAW图像。对于RAW图像，由于其包含未经压缩和处理的原始数据，使得传统的水印嵌入方法不再适用。因此，如何对RAW图像进行有效的水印嵌入成为一个需要解决的问题。此外，对添加了水印的图像进行溯源时，由于该图像在网络上进行传播，其存在被源发送者上传至网络后被他人修改的可能性。这给数据水印追溯带来了新的挑战。针对可能被修改的图像的溯源，如何确定其来源是个亟待解决的问题。

发明内容

本发明提供一种基于数据水印的追溯方法及系统，用以解决现有技术中被添加水印的图像在被上传至网络后存在被修改的可能性，针对该可能被修改的图像的溯源暂时没有有效解决办法的缺陷。

本发明提供一种基于数据水印的追溯方法，包括：

接收待溯源RGB图像；

分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；

若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；

其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作；

所述对待处理RAW图像进行水印添加操作，具体包括：

接收水印信息；所述水印信息为预设长度的二进制向量；

基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；

基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。

根据本发明提供的一种基于数据水印的追溯方法，所述基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像，具体包括：

获取所述待处理RAW图像中红色像素构成的子图、蓝色像素构成的子图、绿色像素构成的子图，将所述红色像素构成的子图、蓝色像素构成的子图、绿色像素构成的子图拼接后进行上采样，得到解析图像；

基于所述水印编码器分别对所述待处理RAW图像与所述水印张量的拼接结果以及所述解析图像与所述水印张量的拼接结果进行编码，得到第一编码结果和第二编码结果；

将所述第一编码结果和所述第二编码结果的平均值与所述待处理RAW图像叠加，得到所述水印融合RAW图像。

根据本发明提供的一种基于数据水印的追溯方法，所述水印编码器是基于UNet网络构建的。

根据本发明提供的一种基于数据水印的追溯方法，所述数据水印追溯模型是基于样本RAW图像以及样本水印信息计算模型损失，并基于所述模型损失通过反向传播调整模型参数后训练得到的；所述模型损失包括编码损失、强解码分支的解码损失、弱解码分支的解码损失和对抗损失；其中，所述编码损失指示了所述样本RAW图像与所述水印编码器输出的所述样本RAW图像的样本水印融合RGB图像之间的视觉差异；所述强解码分支的解码损失指示了所述强解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本强解码结果的准确度，以及所述强解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本强解码结果的准确度；所述弱解码分支的解码损失指示了所述弱解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果的不确定度，以及所述弱解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果的准确度；所述对抗损失指示了分辨器判断所述样本水印融合RGB图像中是否嵌入了数据水印的不确定度。

根据本发明提供的一种基于数据水印的追溯方法，所述强解码分支的解码损失是所述强解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本强解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离，以及所述强解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本强解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离的总和。

根据本发明提供的一种基于数据水印的追溯方法，所述弱解码分支的解码损失是所述弱解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离，以及所述弱解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果与0之间的欧氏距离的总和。

根据本发明提供的一种基于数据水印的追溯方法，所述编码损失是所述样本RAW图像与所述水印编码器输出的所述样本RAW图像的样本水印融合RGB图像之间的欧氏距离。

根据本发明提供的一种基于数据水印的追溯方法，所述对抗损失是所述分辨器输出的多个样本水印融合RGB图像嵌入数据水印的概率分布与标签之间的负交叉熵；所述分辨器的参数是基于样本RAW图像及其样本水印融合RGB图像之间的Wasserstein距离进行调整的。

本发明还提供一种基于数据水印的追溯系统，包括：

图像接收单元，用于接收待溯源RGB图像；

双解码单元，用于分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；

发送者溯源单元，用于若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；

其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作；

所述对待处理RAW图像进行水印添加操作，具体包括：

接收水印信息；所述水印信息为预设长度的二进制向量；

基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；

基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于数据水印的追溯方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于数据水印的追溯方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于数据水印的追溯方法。

本发明提供的一种基于数据水印的追溯方法及系统，可以利用数据水印追溯模型中的强解码分支和弱解码分支提取该待溯源RGB图像中的水印信息；其中，强解码分支对于修改图像语义的内容修改操作以及不改变图像语义的常规调节操作鲁棒，相应地，由于弱解码分支主要是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，因此该弱解码分支仅对上述不改变图像语义的常规调节操作鲁棒；通过利用强解码分支和弱解码分支的上述特性，可以对待溯源RGB图像进行准确溯源；其中，如果弱解码结果与强解码结果之间的相似度高于预设阈值，则确定待溯源RGB图像的内容未被篡改，即待溯源RGB图像未进行内容修改操作，因此可以基于强解码结果从数据水印追溯系统中检索该强解码结果代表的水印信息所关联的用户标识，并基于该用户标识确定该待溯源RGB图像的源发送者，提升了被添加水印的图像在被上传至网络后可能被修改的情况下，针对该可能被修改的图像的溯源准确性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于数据水印的追溯方法的流程示意图；

图2是本发明提供的图像传输流的示意图；

图3是本发明提供的水印添加方法的流程示意图；

图4是本发明提供的基于数据水印的追溯系统的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的基于数据水印的追溯方法的流程示意图，如图1所示，该方法包括：

步骤110，接收待溯源RGB图像；

步骤120，分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；

步骤130，若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；

其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作。

此处，如图2所示，源发送者在自己的用户端上传待处理RAW图像，由数据水印追溯系统对该待处理RAW图像进行水印添加操作，并返回该待处理RAW图像的水印融合RGB图像，同时，数据水印追溯系统会保存该源发送者的用户标识、该水印融合RGB图像及其中嵌入的水印信息，且其中嵌入的水印信息是唯一的（不同水印融合RGB图像中嵌入的水印信息不同）。随后，源发送者可以将该水印融合RGB图像上传至网络进行数据共享等。随着该水印融合RGB图像在网络上的传播，其有可能会被其他人利用各种图像修改软件，例如Deepfake应用以及图像处理应用等，对该水印融合RGB图像进行修改，而诸如Deepfake这类应用会修改图像内容（例如将一个人的人脸中的部分区域替换为其他人的相应区域），因此当另一用户再次将或被修改的水印融合RGB图像作为待溯源RGB图像上传至数据水印追溯系统进行溯源时，该待溯源RGB图像在添加水印后是否被修改以及修改方式将会影响其溯源结果。

具体而言，当接收到待溯源RGB图像之后，可以利用数据水印追溯模型提取该待溯源RGB图像中的水印信息。其中，数据水印追溯模型中用于提取水印信息的分支有两个：强解码分支和弱解码分支。此处，强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像以及其中嵌入的样本水印信息训练得到的，而弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像以及其中嵌入的样本水印信息训练得到的。第一畸变处理包括修改图像语义的内容修改操作，例如可以基于SimSwap、GANimation以及StarGAN等典型的Deepfake模型实现该第一畸变处理；第二畸变处理包括不改变图像语义的常规调节操作，例如色温调节、Jpeg压缩、亮度调节、对比度调节、饱和度调节和添加高斯噪声。需要说明的是，第一畸变图像可以是随机采用任一种内容修改操作后处理得到的，第二畸变图像可以是随机采用任一种常规调节操作后处理得到的。

在一些实施例中，强解码分支和弱解码分支均可以基于UNet网络构建得到，即两个解码分支的结构可以相同，但是由于两个解码分支的目标不同，因此两个解码分支的模型参数不同。具体而言，强/弱解码分支中包含依次连接的UNet网络、一个下采样层和一个带Softmax激活函数的全连接层。以强解码分支为例，将待溯源RGB图像分别输入至强解码分支进行解码时，首先通过UNet网络对该待溯源RGB图像进行特征编码，得到UNet网络中解码器输出的与待溯源RGB图像尺寸相同的单通道特征图，随后基于下采样层将该单通道特征图转换为L×L（L为水印信息的长度），再经过全连接层提取出长度为L的强解码结果。需要说明的是，该全连接层直接输出的是长度为L的概率向量，该概率向量中的每个元素指示了相应位置为1的概率。基于该概率向量可以构建代表水印信息的强解码结果，其中若概率向量中的任一元素的概率值大于0.5，则强解码结果的相应位置的值为1，否则为0。弱解码分支的解码过程与强解码分支类似，在此不再赘述。

可见，由于强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到，因此该强解码分支对于上述修改图像语义的内容修改操作以及不改变图像语义的常规调节操作鲁棒，即无论水印融合RGB图像在被源发送者上传至网络后是否被人为修改以及采用何种方式修改，当其被作为待溯源RGB图像送入数据水印追溯模型进行水印提取时，强解码分支均能从中提取出准确的水印信息。相应地，由于弱解码分支主要是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，因此该弱解码分支仅对上述不改变图像语义的常规调节操作鲁棒，但是对于上述修改图像语义的内容修改操作的解码能力较差，因此若水印融合RGB图像在被源发送者上传至网络后被人为修改且修改方式为不改变图像语义的常规调节操作，则弱解码分支可以准确地将水印信息从该图像中提取出来，而若水印融合RGB图像在被源发送者上传至网络后被人为修改且修改方式为修改图像语义的内容修改操作，则弱解码分支将无法很好的提取水印信息。

通过利用强解码分支和弱解码分支的上述特性，可以对待溯源RGB图像进行准确溯源。其中，如果弱解码结果与强解码结果之间的相似度高于预设阈值，表明弱解码结果与强解码结果是基本一致的（少许差别是由于两个解码分支的训练目标不同导致参数不同，不同的参数有可能会造成两个解码分支对于同一输入图像的解码结果不完全相同），则确定待溯源RGB图像的内容未被篡改，即待溯源RGB图像未进行内容修改操作，因此可以基于强解码结果（考虑到强解码分支的解码能力高于弱解码分支，因此以强解码结果为准）从数据水印追溯系统中检索该强解码结果代表的水印信息所关联的用户标识，并基于该用户标识确定该待溯源RGB图像的源发送者。相应地，如果弱解码结果与强解码结果之间的相似度小于预设阈值，则表明待溯源RGB图像的内容是被篡改过的，即使从强解码结果中仍然可以知晓该图像中嵌入的水印信息，但由于该图像内容已被篡改，因此并不能认为该图像内容被篡改前对应的源发送者为该待溯源RGB图的源发送者。此时可以基于该强解码结果确定其嵌入的水印信息关联的用户标识，并将该待溯源RGB图像发送至该用户标识对应的用户供其进行后续维权等处理。

在一些实施例中，如图3所示，可以采用如下方式对待处理RAW图像进行水印添加操作：

步骤310，接收水印信息；所述水印信息为预设长度的二进制向量；

步骤320，基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；

步骤330，基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。

具体而言，接收用户输入的水印信息或者数据水印追溯系统根据该用户的用户标识自动生成水印信息。其中，水印信息为预设长度（如L）的二进制向量，且需要保证该水印信息在数据水印追溯系统中的唯一性。随后，基于数据水印追溯模型的预处理层，将该水印信息编码为与待处理RAW图像尺度相同的水印张量。其中，预处理层可以包括一个全连接层和一个上采样层，该全连接层用于将长度为L的水印信息转换为初始张量（H和W分别为待处理RAW图像的长和宽，1代表通道数），上采样层则用于对初始张量T进行上采样，将其转换为与待处理RAW图像尺度相同的水印张量/>。随后，基于数据水印追溯模型的水印编码器，对待处理RAW图像与该水印张量的拼接结果进行编码，得到水印融合RAW图像后，再利用图像信号处理器（Image Signal Processo，ISP）将该水印融合RAW图像转换为水印融合RGB图像。

在一些实施例中，水印编码器是基于UNet网络构建的。

在另一些实施例中，在基于数据水印追溯模型的水印编码器，对待处理RAW图像与水印张量的拼接结果进行编码，得到水印融合RAW图像的过程中，可以获取待处理RAW图像中红色像素构成的子图、蓝色像素构成的子图以及绿色像素构成的子图，并将该红色像素构成的子图、蓝色像素构成的子图、绿色像素构成的子图拼接后进行上采样，得到与待处理RAW图像尺寸相同的解析图像。随后，基于该水印编码器对待处理RAW图像与水印张量的拼接结果进行编码，以及对解析图像与水印张量的拼接结果进行编码，分别得到第一编码结果和第二编码结果。然后将该第一编码结果和该第二编码结果的平均值再与待处理RAW图像叠加，可以得到水印融合RAW图像。

为了使得数据水印追溯模型中的水印编码器能够将水印信息隐藏式、视觉不可见地嵌入到待处理RAW图像中、不损害图像的视觉效果，且不易被检测到嵌入了水印信息以防止水印信息被破坏，同时使得强解码分支可以对于修改图像语义的内容修改操作以及不改变图像语义的常规调节操作鲁棒，而弱解码分支仅对不改变图像语义的常规调节操作鲁棒而无法正确提取内容修改操作下的水印信息（该种特性可以准确区分图像的修改方式），可以基于样本RAW图像以及样本水印信息计算模型损失，并基于该模型损失通过反向传播调整模型参数后训练数据水印追溯模型。

此处，模型损失包括编码损失、强解码分支的解码损失、弱解码分支的解码损失和对抗损失。其中，编码损失指示了样本RAW图像与水印编码器输出的该样本RAW图像的样本水印融合RGB图像之间的视觉差异。通过该编码损失，可以使得水印编码器输出的已添加水印的图像与未添加水印的图像之间的视觉效果趋于一致，保障水印添加的视觉不可见性。在一些实施例中，编码损失可以是样本RAW图像与水印编码器输出的该样本RAW图像的样本水印融合RGB图像之间的欧氏距离。

强解码分支的解码损失指示了强解码分支输出的样本水印融合RGB图像对应的第一畸变图像的样本强解码结果的准确度，以及强解码分支输出的样本水印融合RGB图像对应的第二畸变图像的样本强解码结果的准确度。通过该强解码分支的解码损失，可以提升强解码分支在各类内容修改操作或常规调节操作下的图像水印提取能力，保障强解码分支对于修改图像语义的内容修改操作以及不改变图像语义的常规调节操作的鲁棒性。在一些实施例中，强分支的解码损失是该强解码分支输出的样本水印融合RGB图像对应的第一畸变图像的样本强解码结果与样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离，以及该强解码分支输出的样本水印融合RGB图像对应的第二畸变图像的样本强解码结果与样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离的总和。

弱解码分支的解码损失指示了弱解码分支输出的样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果的不确定度，以及弱解码分支输出的样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果的准确度。通过该弱解码分支的解码损失，可以逐渐提升弱解码分支输出的样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果的不确定度，和样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果的准确度，使得弱解码分支仅对不改变图像语义的常规调节操作鲁棒，可以在常规调节操作下准确提取图像中的水印信息，而无法正确提取内容修改操作下的水印信息。在一些实施例中，弱解码分支的解码损失是该弱解码分支输出的样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果与该样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离，以及弱解码分支输出的样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果与0之间的欧氏距离的总和。

需要说明的是，弱解码分支的解码损失中弱解码分支输出的样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果与0之间的欧氏距离越小，弱解码分支预测的相应位置为1的概率小于0.5的情况越频繁，而概率小于0.5表示弱解码分支对于该位置是否为1的不确定性较强，因此通过最小化该弱解码分支的解码损失，可以使得弱解码分支输出的样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果的随机性趋于更强，即弱解码分支对于不改变图像语义的常规调节操作下的图像水印提取能力更弱。

对抗损失指示了分辨器判断样本水印融合RGB图像中是否嵌入了数据水印的不确定度。通过该对抗损失，可以使得水印编码器输出的样本水印融合RGB图像更难被检测到其中是否嵌入了数据水印，从而保护水印信息的安全。此处，分辨器可以是任意一种图像二分类器，例如卷积神经网络、决策树以及支持向量机等，本发明实施例对此不作具体限定。在一些实施例中，对抗损失是分辨器输出的多个样本水印融合RGB图像嵌入数据水印的概率分布与标签之间的负交叉熵。其中，求取负交叉熵时，可以对标准的二分类交叉熵公式进行取负数处理，即可以采用如下公式计算上述负交叉熵negative_loss：

negative_loss =1/n × sum(y_true × log(y_pred) + (1－y_true) × log(1－y_pred))

其中，n为样本水印融合RGB图像的数量，y_true为每个样本水印融合RGB图像的标签（用于指示是否嵌入数据水印），y_pred为分辨器输出的每个样本水印融合RGB图像嵌入数据水印的概率。

与此同时，还可以基于样本RAW图像及其样本水印融合RGB图像之间的Wasserstein距离调整分辨器的参数，使得分辨器和水印编码器之间进行对抗学习，进一步提升水印编码器的编码能力。

综上所述，本发明实施例提供的方法，可以利用数据水印追溯模型中的强解码分支和弱解码分支提取该待溯源RGB图像中的水印信息；其中，强解码分支对于修改图像语义的内容修改操作以及不改变图像语义的常规调节操作鲁棒，相应地，由于弱解码分支主要是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，因此该弱解码分支仅对上述不改变图像语义的常规调节操作鲁棒；通过利用强解码分支和弱解码分支的上述特性，可以对待溯源RGB图像进行准确溯源；其中，如果弱解码结果与强解码结果之间的相似度高于预设阈值，则确定待溯源RGB图像的内容未被篡改，即待溯源RGB图像未进行内容修改操作，因此可以基于强解码结果从数据水印追溯系统中检索该强解码结果代表的水印信息所关联的用户标识，并基于该用户标识确定该待溯源RGB图像的源发送者，提升了被添加水印的图像在被上传至网络后可能被修改的情况下，针对该可能被修改的图像的溯源准确性。

下面对本发明提供的基于数据水印的追溯系统进行描述，下文描述的基于数据水印的追溯系统与上文描述的基于数据水印的追溯方法可相互对应参照。

基于上述任一实施例，图4是本发明提供的基于数据水印的追溯系统的结构示意图，如图4所示，该系统包括：

图像接收单元410，用于接收待溯源RGB图像；

双解码单元420，用于分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；

发送者溯源单元430，用于若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；

其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作；

所述对待处理RAW图像进行水印添加操作，具体包括：

接收水印信息；所述水印信息为预设长度的二进制向量；

基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；

基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。

本发明实施例提供的系统，可以利用数据水印追溯模型中的强解码分支和弱解码分支提取该待溯源RGB图像中的水印信息；其中，强解码分支对于修改图像语义的内容修改操作以及不改变图像语义的常规调节操作鲁棒，相应地，由于弱解码分支主要是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，因此该弱解码分支仅对上述不改变图像语义的常规调节操作鲁棒；通过利用强解码分支和弱解码分支的上述特性，可以对待溯源RGB图像进行准确溯源；其中，如果弱解码结果与强解码结果之间的相似度高于预设阈值，则确定待溯源RGB图像的内容未被篡改，即待溯源RGB图像未进行内容修改操作，因此可以基于强解码结果从数据水印追溯系统中检索该强解码结果代表的水印信息所关联的用户标识，并基于该用户标识确定该待溯源RGB图像的源发送者，提升了被添加水印的图像在被上传至网络后可能被修改的情况下，针对该可能被修改的图像的溯源准确性。

基于上述任一实施例，所述基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像，具体包括：

获取所述待处理RAW图像中红色像素构成的子图、蓝色像素构成的子图、绿色像素构成的子图，将所述红色像素构成的子图、蓝色像素构成的子图、绿色像素构成的子图拼接后进行上采样，得到解析图像；

基于所述水印编码器分别对所述待处理RAW图像与所述水印张量的拼接结果以及所述解析图像与所述水印张量的拼接结果进行编码，得到第一编码结果和第二编码结果；

将所述第一编码结果和所述第二编码结果的平均值与所述待处理RAW图像叠加，得到所述水印融合RAW图像。

基于上述任一实施例，所述水印编码器是基于UNet网络构建的。

基于上述任一实施例，所述数据水印追溯模型是基于样本RAW图像以及样本水印信息计算模型损失，并基于所述模型损失通过反向传播调整模型参数后训练得到的；所述模型损失包括编码损失、强解码分支的解码损失、弱解码分支的解码损失和对抗损失；其中，所述编码损失指示了所述样本RAW图像与所述水印编码器输出的所述样本RAW图像的样本水印融合RGB图像之间的视觉差异；所述强解码分支的解码损失指示了所述强解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本强解码结果的准确度，以及所述强解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本强解码结果的准确度；所述弱解码分支的解码损失指示了所述弱解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果的不确定度，以及所述弱解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果的准确度；所述对抗损失指示了分辨器判断所述样本水印融合RGB图像中是否嵌入了数据水印的不确定度。

基于上述任一实施例，所述强解码分支的解码损失是所述强解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本强解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离，以及所述强解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本强解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离的总和。

基于上述任一实施例，所述弱解码分支的解码损失是所述弱解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离，以及所述弱解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果与0之间的欧氏距离的总和。

基于上述任一实施例，所述编码损失是所述样本RAW图像与所述水印编码器输出的所述样本RAW图像的样本水印融合RGB图像之间的欧氏距离。

基于上述任一实施例，所述对抗损失是所述分辨器输出的多个样本水印融合RGB图像嵌入数据水印的概率分布与标签之间的负交叉熵；所述分辨器的参数是基于样本RAW图像及其样本水印融合RGB图像之间的Wasserstein距离进行调整的。

图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、存储器(memory)520、通信接口(Communications Interface)530和通信总线540，其中，处理器510，存储器520，通信接口530通过通信总线540完成相互间的通信。处理器510可以调用存储器520中的逻辑指令，以执行基于数据水印的追溯方法，该方法包括：接收待溯源RGB图像；分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作；所述对待处理RAW图像进行水印添加操作，具体包括：接收水印信息；所述水印信息为预设长度的二进制向量；基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。

此外，上述的存储器520中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于数据水印的追溯方法，该方法包括：接收待溯源RGB图像；分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作；所述对待处理RAW图像进行水印添加操作，具体包括：接收水印信息；所述水印信息为预设长度的二进制向量；基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于数据水印的追溯方法，该方法包括：接收待溯源RGB图像；分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作；所述对待处理RAW图像进行水印添加操作，具体包括：接收水印信息；所述水印信息为预设长度的二进制向量；基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于数据水印的追溯方法，其特征在于，包括：

接收待溯源RGB图像；

分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；

若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；

其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作；

所述对待处理RAW图像进行水印添加操作，具体包括：

接收水印信息；所述水印信息为预设长度的二进制向量；

基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；

基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。

2.根据权利要求1所述的基于数据水印的追溯方法，其特征在于，所述基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像，具体包括：

获取所述待处理RAW图像中红色像素构成的子图、蓝色像素构成的子图、绿色像素构成的子图，将所述红色像素构成的子图、蓝色像素构成的子图、绿色像素构成的子图拼接后进行上采样，得到解析图像；

基于所述水印编码器分别对所述待处理RAW图像与所述水印张量的拼接结果以及所述解析图像与所述水印张量的拼接结果进行编码，得到第一编码结果和第二编码结果；

将所述第一编码结果和所述第二编码结果的平均值与所述待处理RAW图像叠加，得到所述水印融合RAW图像。

3.根据权利要求2所述的基于数据水印的追溯方法，其特征在于，所述水印编码器是基于UNet网络构建的。

4.根据权利要求1至3任一项所述的基于数据水印的追溯方法，其特征在于，所述数据水印追溯模型是基于样本RAW图像以及样本水印信息计算模型损失，并基于所述模型损失通过反向传播调整模型参数后训练得到的；所述模型损失包括编码损失、强解码分支的解码损失、弱解码分支的解码损失和对抗损失；其中，所述编码损失指示了所述样本RAW图像与所述水印编码器输出的所述样本RAW图像的样本水印融合RGB图像之间的视觉差异；所述强解码分支的解码损失指示了所述强解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本强解码结果的准确度，以及所述强解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本强解码结果的准确度；所述弱解码分支的解码损失指示了所述弱解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果的不确定度，以及所述弱解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果的准确度；所述对抗损失指示了分辨器判断所述样本水印融合RGB图像中是否嵌入了数据水印的不确定度。

5.根据权利要求4所述的基于数据水印的追溯方法，其特征在于，所述强解码分支的解码损失是所述强解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本强解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离，以及所述强解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本强解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离的总和。

6.根据权利要求4所述的基于数据水印的追溯方法，其特征在于，所述弱解码分支的解码损失是所述弱解码分支输出的所述样本水印融合RGB图像对应的第二畸变图像的样本弱解码结果与所述样本水印融合RGB图像中嵌入的样本水印信息之间的欧氏距离，以及所述弱解码分支输出的所述样本水印融合RGB图像对应的第一畸变图像的样本弱解码结果与0之间的欧氏距离的总和。

7.根据权利要求4所述的基于数据水印的追溯方法，其特征在于，所述编码损失是所述样本RAW图像与所述水印编码器输出的所述样本RAW图像的样本水印融合RGB图像之间的欧氏距离。

8.根据权利要求4所述的基于数据水印的追溯方法，其特征在于，所述对抗损失是所述分辨器输出的多个样本水印融合RGB图像嵌入数据水印的概率分布与标签之间的负交叉熵；所述分辨器的参数是基于样本RAW图像及其样本水印融合RGB图像之间的Wasserstein距离进行调整的。

9.一种基于数据水印的追溯系统，其特征在于，包括：

图像接收单元，用于接收待溯源RGB图像；

双解码单元，用于分别基于数据水印追溯模型中的强解码分支和弱解码分支对所述待溯源RGB图像进行解码，得到所述待溯源RGB图像的强解码结果和弱解码结果；

发送者溯源单元，用于若所述弱解码结果与所述强解码结果之间的相似度高于预设阈值，则确定所述待溯源RGB图像的内容未被篡改，并基于所述强解码结果确定所述待溯源RGB图像的源发送者；

其中，所述待溯源RGB图像是源发送者端对待处理RAW图像进行水印添加操作后传输到网络上的；所述强解码分支是基于对样本水印融合RGB图像进行第一畸变处理得到的第一畸变图像和进行第二畸变处理得到的第二畸变图像训练得到的，所述弱解码分支是基于对样本水印融合RGB图像进行第二畸变处理得到的第二畸变图像训练得到的，所述第一畸变处理包括修改图像语义的内容修改操作，所述第二畸变处理包括不改变图像语义的常规调节操作；

所述对待处理RAW图像进行水印添加操作，具体包括：

接收水印信息；所述水印信息为预设长度的二进制向量；

基于所述数据水印追溯模型的预处理层，将所述水印信息编码为与所述待处理RAW图像尺度相同的水印张量；

基于所述数据水印追溯模型的水印编码器，对所述待处理RAW图像与所述水印张量的拼接结果进行编码，得到水印融合RAW图像后，将所述水印融合RAW图像转换为水印融合RGB图像。