CN117746295A - 一种目标检测数据集版权保护方法 - Google Patents

Abstract

本发明公开了一种目标检测数据集版权保护方法。对初始数据集进行版权保护步骤包括：S1、获取初始数据集并初始化形成目标检测数据集；S2、通过加密内容处理所述感兴趣区的坐标信息，并添加高斯噪声得到加密数据集。对私有数据集进行版权保护步骤包括：S1、在加密数据集中添加水印触发器，得到公开数据集；S2、在目标检测数据集中添加水印触发器以构建水印测试集；S3、将水印测试集输入以加入水印的私有数据集训练形成的可疑模型中，输出水印预测集；S4、基于水印预测集和公开数据集确定水印匹配率，当水印匹配率达到一定标准，则进行版权声明。本发明具有干扰少、安全性高的特点。

Description

一种目标检测数据集版权保护方法

技术领域

本发明涉及目标检测和数据集安全领域，具体涉及一种目标检测数据集版权保护方法。

背景技术

目标检测是计算机视觉领域的重要任务，它旨在识别图像或视频中的物体实例并确定它们的位置和类别。近年来得益于深度学习方法的发展，目标检测取得了显著的进展。深度学习中的目标检测方法通过卷积神经网络和其他模型结构来实现目标的精确定位和分类。其中，得益于深度学习模型对图像特征的高效提取和学习能力，目标检测在图像处理、自动驾驶、视频监控等领域得到了广泛的应用，并且目标检测算法利用卷积神经网络等模型结构，通过区域建议网络和区域分类网络等技术，能够高效地完成物体实例的定位和识别任务。

一般来说高质量发布的(开源或商业)数据集是使目标检测模型繁荣的关键因素之一，研究人员可以根据这些数据集来轻松评估和改进研究方法。尤其是，遥感数据集的收集和标注工作耗费了大量的物力，人力和财力，因此这些遥感数据集对于机构或者个人来说都是非常宝贵且极具价值的财富。然而随着目标检测模型的广泛使用，其安全和隐私问题也随之涌现出来。这些遥感数据集可能会在未经授权的情况下被盗用，基于违法、不道德目的被用于其他的盈利项目。比如侵犯个人隐私或制造虚假信息，从而对个人或社会利益带来潜在风险，严重地损害数据集拥有者的合法权益。

目前已采取一系列措施防止未经授权的用户使用受保护的数据，如限制数据集的使用范围，制定明确的使用协议，加强数据安全措施(例如数据加密，访问权限限制等)。对数据的保护主要是传统的方法，包括加密，数字水印，差分隐私等。但是加密和差分隐私会阻碍受保护数据集的正常功能，而数字水印会影响数据集的质量和准确性，影响数据集的质量，干扰性强。另外，这些方法并不适用于保护已经发布的数据集，目前对于如何保护已经发布的数据集的研究仍然是一片空白，数据集的安全性和保护效率并不高。

发明内容

发明目的：本发明目的是提供一种干扰少、安全性高的目标检测数据集版权保护方法。

技术方案：本发明所述的目标检测数据集版权保护方法包括以下步骤：

S1、获取初始数据集并初始化形成目标检测数据集，所述目标检测数据集包括内含若干目标的若干图像、以及附着于目标上的标签，所述标签包括目标类别、感兴趣区的坐标信息。

S2、设置加密内容，并通过加密内容处理所述坐标信息以形成感兴趣扩大区，并添加高斯噪声得到加密数据集。

进一步的，初始化包括，使用统一标注的方式O_k＝{(x₁，y₁)，(x₂，y₂)，class_k}处理所述初始数据集，式中，(x₁，y₁)为感兴趣区的左上角坐标，(x₂，y₂)为感兴趣区的右下角坐标，class_k为目标类别的形式。

进一步的，所述加密内容包括：根据感兴趣区的左上角坐标(x₁，y₁)中x₁值，将感兴趣区的右下角坐标(x₂，y₂)中x₂扩大至x₂′，同时根据坐标(x₂′，y₂)中的y₂值，将感兴趣区左上角坐标(x₁，y₁)中y₁扩大至y₁′，形成以(x₂′，y₂)为右下角坐标，以(x₁，y₁′)为左上角坐标的感兴趣扩大区。

进一步的，授权用户通过私钥解密所述加密数据集，形成私有数据集。

进一步的，所述私钥包括解密内容，并且所述解密内容为所述加密内容的逆过程。

进一步的，所述版权保护方法针对所述私有数据集还包括以下步骤：

S1、在所述私有数据集对应的加密数据集中添加水印触发器，得到公开数据集。

S2、在所述目标检测数据集中添加水印触发器以构建水印测试集。

S3、建立初始可疑模型，并基于所述公开数据集训练得到可疑模型；将所述水印测试集输入所述可疑模型中，输出水印预测集。

S4、基于所述水印预测集和所述公开数据集确定水印匹配率，当水印匹配率达到一定标准，则所述私有数据集被泄露，进行版权声明。

进一步的，所述水印触发器包括目标生成水印和目标消失水印，所述水印测试集包括目标生成水印测试集和目标消失水印测试集。

进一步的，使用所述目标生成水印构建目标生成水印测试集时，随机确定生成目标，为所述生成目标重新设置对应标签中的感兴趣区，并在所述感兴趣区嵌入目标生成水印以建立所述生成目标；

使用所述目标消失水印构建目标消失水印测试集时，确定消失目标，删除所述消失目标对应标签中的感兴趣区，并嵌入目标消失水印以使所述消失目标消失。

进一步的，所述水印触发器嵌入图像后形成水印，并且水印的形状、颜色可调，具有隐蔽性。

进一步的，所述一定标准为95％。

有益效果：本发明具有如下显著效果：1、干扰少：在加密阶段，利用加密算法将目标检测数据集标签中感兴趣区的范围进行区域扰动加密，首先将感兴趣区扩大为感兴趣扩大区，并在感兴趣扩大区内添加扰动，相较于于传统的数据集保护方法，本方案更贴合现实场景，对数据集进行保护的同时，并不影响数据集质量；2、安全性高：本发明提出的针对私有数据集的版权保护方法，为私有数据集对应的公开数据集加入水印，并通过可疑模型进行水印验证，以此来验证可疑模型在训练过程中是否使用了该解密后的私有数据集，在解密后的私有数据集被盗用后，有效地进行数据集所有权的验证，效率高并且安全性高。

附图说明

图1为本发明提出的版权保护方法总体流程图；

图2为自目标检测数据集中选取的图像示意图；

图3为目标对应的标签内容示意图；

图4为图像中感兴趣区扩大前后对比示意图；

图5为感兴趣扩大区添加扰动示意图；

图6为目标生成水印公开数据集中图像示意图；

图7为目标消失水印公开数据集中图像示意图；

图8为同一幅图像在目标检测数据集和目标生成水印预测集中的对比示意图；

图9为同一幅图像在目标检测数据集和目标消失水印预测集中的对比示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

请参阅图1至图5所示，本发明公开了一种目标检测数据集版权保护方法。本发明提出的版权保护方法包括以下步骤：

S1、获取初始数据集并初始化形成目标检测数据集，所述目标检测数据集包括内含若干目标的若干图像、以及附着于目标上的标签，所述标签包括目标类别、感兴趣区的坐标信息。

S2、设置加密内容，并通过加密内容处理所述坐标信息以形成感兴趣扩大区，并添加高斯噪声得到加密数据集。

下面对版权保护方法进一步阐明。

步骤S1中，目标检测数据集Y_i∈γ＝{O₁，...，O_k}的标签中，目标类别表示目标的类别，感兴趣区的坐标信息表示目标在图像上的感兴趣区的坐标信息。本实施例中，兴趣区以矩形边界框表示，并且感兴趣区的坐标信息包括左上角坐标信息与右下角坐标信息。初始化包括，使用统一标注的方式O_k＝{(x₁，y₁)，(x₂，y₂)，class_k}处理所述初始数据集，式中，(x₁，y₁)为感兴趣区的左上角坐标，(x₂，y₂)为感兴趣区的右下角坐标，class_k为目标类别的形式。

其中，由于各个初始数据集的记录方式不同，本发明使用统一的标注方式处理初始数据集形成目标检测数据集。本实施例中，初始数据集选自遥感领域数据。在遥感数据集的应用中，攻击者偷盗一定数量的遥感数据集，接着对遥感数据集中的标注进行修改，然后将数据集发布到数据平台上。由于遥感数据影像对于地质、环境以及气候变化的检测十分重要，因此当攻击者大量修改数据集中物体的标注时，对于遥感数据集的使用者来说将是非常不利的。上述版权保护方法针对数据集的所有者拿到的遥感领域的初始数据集。

步骤S2中加密内容包括：根据感兴趣区的左上角坐标(x₁，y₁)中x₁值，将感兴趣区的右下角坐标(x₂，y₂)中x₂扩大至x₂′，同时根据坐标(x₂′，y₂)中的y₂值，将感兴趣区左上角坐标(x₁，y₁)中y₁扩大至y₁′，形成以(x₂′，y₂)为右下角坐标，以(x₁，y₁′)为左上角坐标的感兴趣扩大区。即将感兴趣区((x₁，y₁)为左上角坐标，(x₂，y₂)为右下角坐标)扩大至感兴趣扩大区(以(x₂′，y₂)为右下角坐标，以(x₁，y₁′)为左上角坐标)的过程。其中，对目标检测数据集D_ori进行加密的具体过程为：

S21、根据感兴趣区左上角坐标(x₁，y₁)中x₁值，确定感兴趣区右下角坐标(x₂，y₂)中x₂的缩放倍数w₁，此时缩放倍数表示将x₂扩大至x₂′的扩大范围，形成感兴趣扩大区的右下角坐标(x₂′，y₂)。具体操作为：将x₁转换为二进制值B₁，然后选取B₁中前三个二进制位的和，即令w₁＝Sum{select(B₁，1，3)}作为x₂的扩大倍数，其中select(B₁，1，3)是指选取B₁中第一个到第三个二进制数。其中，扩大后形成的x₂′定义如下：

x₂′＝w₁·x₂

S22、根据感兴趣扩大区右下角坐标(x₂′，y₂)中的y₂值，确定感兴趣区左上角坐标(x₁，y₁)中y₁的缩放倍数w₂，此时缩放倍数表示将y₁扩大至y₁′的扩大范围，形成感兴趣扩大区的左上角坐标(x₁，y₁′)。具体操作为：将y₂转换为二进制值B₂，然后选取B₂中后三个二进制的和，即令w₂＝Sum{select(B₂，-1，-3)}作为y₁的扩大倍数，其中select(B₂，-1，-3)是指选取B₂中从倒数第一个到倒数第三个二进制数。其中，扩大后形成的y₁′定义如下：

y₁′＝w₂·y₁

S23、由于步骤S21和S22中只扩大矩形边界框的范围。为了让数据集的保护更加充分和高效，本发明还提出在目标检测数据集D_ori的图像上、在感兴趣扩大区区域范围内添加高斯噪声。这使未授权的用户在使用加密后的数据集时，例如神经网络模型训练中训练出的模型精度有较大的降低以保护初始数据集。由于每一张图像中的目标都是根据其本身的特征进行加密操作的，满足自适应的特点，故难以被破解，因此能够更高效，更安全的生成受保护的加密数据集D_pro。

另外，授权用户通过私钥解密所述加密数据集D_pro，形成私有数据集D_pri。非授权用户则无法获得私钥，从而无权对公开数据集进行解密。该私钥包括解密内容，并且所述解密内容为所述加密内容的逆过程，即由感兴趣扩大区(以(x₂′，y₂)为右下角坐标，以(x₁，y₁′)为左上角坐标)缩小到感兴趣区((x₁，y₁)为左上角坐标，(x₂，y₂)为的右下角坐标)的过程。需要注意的是，私钥的解密过程不会改变水印触发器的设置，在本发明提出的另一种版权保护方法中，对加密数据集添加水印触发器以形成公开数据集，用以保护该加密数据集解密后形成的私有数据集。因此，授权用户可以使用同一私钥对加密数据集以及其对应的公开数据集解密且形成私有数据集，其中，解密所述加密数据集形成私有数据集D_pri，解密所述公开数据集形成加入水印的私有数据集。其中，授权用户使用私钥对加密数据集D_pro进行解密时，解密的过程具体为：

1)根据加密数据集D_pro中感兴趣扩大区的左上角坐标(x₁，y₁′)中x₁值，确定感兴趣扩大区右下角坐标(x₂′，y₂)中x₂′的缩放倍数w₁，此时缩放倍数表示将x₂′缩小到x₂的缩小范围，最终形成感兴趣区的右下角坐标(x₂，y₂)。具体操作为：将x₁转换为二进制值B₁，然后选取B₁中前三个二进制位的和，即令w₁＝Sum{select(B₁，1，3)}作为x₂′的缩小倍数，其中select(B₁，1，3)是指选取B₁中第一个到第三个二进制数。其中，缩小后形成的x₂，定义如下：

2)根据感兴趣区的右下角坐标(x₂，y₂)中的y₂值，确定感兴趣扩大区左上角坐标(x₁，y₁′)中y₁′的缩放倍数w₂，此时的缩放倍数表示将y₁′缩小到y₁的缩小范围，最终形成感兴趣区的左上角坐标(x₁，y₁)。具体操作为：将y₂转换为二进制值B₂，然后选取B₂中后三个二进制的和，即令w₂＝Sum{select(B₂，-1，-3)}作为y₁′的缩小倍数，其中select(B₂，-1，-3)是指选取B₂中从倒数第一个到倒数第三个二进制数。其中，缩小后形成的y₁，定义如下：

3)在还原矩形边界框后，使用高斯滤波器去噪方法去除加密时感兴趣扩大区上添加的高斯噪声，使解密后的私有数据集D_pri在模型训练精度上几乎不受影响。

请参阅图6至图9所示，当解密后的私有数据集被盗用或者授权用户可能会泄露解密后的私有数据集，尤其当非授权用户获取该私有数据集用于训练深度学习模型时。为了保护授权用户拥有的私有数据集D_pri，本发明提出对上述私有数据集D_pri解密前对应的加密数据集加水印，形成公开数据集，并对公开数据集进行所有权验证。此时授权用户也可通过私钥对该公开数据集进行解密，形成加水印的私有数据集。对公开数据集进行所有权验证包括基于水印触发器构建水印的测试集，输入到可疑模型中，由于水印触发器在经过模型输出以后，会表现出特殊的输出结果，所以只需要对可疑模型的输出结果进行验证，即可完成所有权验证，根据验证结果判断是否泄漏，并在泄漏后申明数据集版权。因此，本发明针对私有数据集D_pri还提出了一种版权保护方法，该版权保护方法还包括以下步骤：

S1、在所述私有数据集D_pri对应的加密数据集中添加水印触发器，得到公开数据集。

S2、在所述目标检测数据集中添加水印触发器以构建水印测试集。

S3、建立初始可疑模型，并基于所述公开数据集训练得到可疑模型；将所述水印测试集输入所述可疑模型中，输出水印预测集；

S4、基于所述水印预测集和所述公开数据集确定水印匹配率，当水印匹配率达到一定标准，则私有数据集D_pri被泄露，进行版权声明。本实施例中，一定标准为95％。水印匹配率是指水印预测集中预测出水印的总数占公开数据集中水印总数的比例。例如，公开数据集中的水印总数为100，而水印预测集中只预测并匹配成功的有95个，则匹配率为95％。

其中，水印触发器嵌入图像后形成水印，并且水印的形状、颜色可调。本实施例中，水印相对图像有隐蔽效果。

本实施例中，步骤S1、S2中添加水印触发器的过程完全一致，具体如下。水印触发器包括目标生成水印t₁和目标消失水印t₂，所述水印测试集包括目标生成水印测试集和目标消失水印测试集式中，/>为包含目标生成水印触发器的图片；/>为包含目标生成水印触发器的标签；γ为目标生成水印测试集D_GW中所有的物体对象；O_k为目标生成水印测试集D_GW中某个物体的标注信息；/>为包含目标消失水印触发器的图片；/>为包含目标消失水印触发器的标签；N为水印测试集的图片数量；i为图片序号；γ′为目标消失水印测试集D_OW中所有的物体对象；O_k′为目标消失水印测试集D_OW中某个物体的标注信息。使用所述目标生成水印t₁构建目标生成水印测试集时，随机确定生成目标，为所述生成目标重新设置对应标签中的感兴趣区，并在所述感兴趣区嵌入目标生成水印t₁以建立所述生成目标。使用所述目标消失水印t₂构建目标消失水印测试集时，确定消失目标，删除所述消失目标对应标签中的感兴趣区，并嵌入目标消失水印t₂以使所述消失目标消失。其中，在消失目标的左上角嵌入目标消失水印t₂。重新设置以及删除标签中的感兴趣区时，通过操作感兴趣区的坐标信息实现。清空坐标信息，则删除感兴趣区；改变坐标信息的值，则重新设置感兴趣区。相应的，步骤S1中在加密数据集中如上述过程添加目标生成水印t₁形成目标生成水印公开数据集，在加密数据集中如上述过程添加目标消失水印t₂生成目标消失水印公开数据集。

步骤S3、S4中，将目标生成水印测试集和目标消失水印测试集分别输入到可疑模型中，由目标生成水印测试集得到目标生成水印预测集，由目标消失水印测试集得到目标消失水印预测集。基于目标生成水印预测集和目标生成水印公开数据集确定水印匹配率，当水印匹配率达到一定标准，则加入水印的私有数据集被泄露，进行版权声明。基于目标消失水印预测集和目标消失水印公开数据集确定水印匹配率，当水印匹配率达到一定标准，则加入水印的私有数据集被泄露，进行版权声明。

Claims (10)

1.一种目标检测数据集版权保护方法，其特征在于，所述版权保护方法包括以下步骤：

S1、获取初始数据集并初始化形成目标检测数据集，所述目标检测数据集包括内含若干目标的若干图像、以及附着于目标上的标签，所述标签包括目标类别、感兴趣区的坐标信息；

S2、设置加密内容，并通过加密内容处理所述坐标信息以形成感兴趣扩大区，并添加高斯噪声得到加密数据集。

2.根据权利要求1所述的目标检测数据集版权保护方法，其特征在于，所述初始化包括，使用统一标注的方式O_k＝{(x₁,y₁),(x₂,y₂),class_k}处理所述初始数据集，式中，(x₁,y₁)为感兴趣区的左上角坐标，(x₂,y₂)为感兴趣区的右下角坐标，class_k为目标类别的形式。

3.根据权利要求1所述的目标检测数据集版权保护方法，其特征在于，所述加密内容包括：根据感兴趣区的左上角坐标(x₁,y₁)中x₁值，将感兴趣区的右下角坐标(x₂,y₂)中x₂扩大至x₂′，同时根据坐标(x₂′,y₂)中的y₂值，将感兴趣区左上角坐标(x₁,y₁)中y₁扩大至y₁′，形成以(x₂′,y₂)为右下角坐标，以(x₁,y₁′)为左上角坐标的感兴趣扩大区。

4.根据权利要求1所述的目标检测数据集版权保护方法，其特征在于，授权用户通过私钥解密所述加密数据集，得到私有数据集。

5.根据权利要求4所述的目标检测数据集版权保护方法，其特征在于，所述私钥包括解密内容，并且所述解密内容为所述加密内容的逆过程。

6.根据权利要求4所述的目标检测数据集版权保护方法，其特征在于，所述版权保护方法针对所述私有数据集还包括以下步骤：

S1、在所述私有数据集对应的加密数据集中添加水印触发器，得到公开数据集；

S2、在所述目标检测数据集中添加水印触发器以构建水印测试集；

S3、建立初始可疑模型，并基于所述公开数据集训练得到可疑模型；将所述水印测试集输入所述可疑模型中，输出水印预测集；

S4、基于所述水印预测集和所述公开数据集确定水印匹配率，当水印匹配率达到一定标准，则所述私有数据集被泄露，进行版权声明。

7.根据权利要求6所述的目标检测数据集版权保护方法，其特征在于，所述水印触发器包括目标生成水印和目标消失水印，所述水印测试集包括目标生成水印测试集和目标消失水印测试集。

8.根据权利要求7所述的目标检测数据集版权保护方法，其特征在于，使用所述目标生成水印构建目标生成水印测试集时，随机确定生成目标，为所述生成目标重新设置对应标签中的感兴趣区，并在所述感兴趣区嵌入目标生成水印以建立所述生成目标；

使用所述目标消失水印构建目标消失水印测试集时，确定消失目标，删除所述消失目标对应标签中的感兴趣区，并嵌入目标消失水印以使所述消失目标消失。

9.根据权利要求6所述的目标检测数据集版权保护方法，其特征在于，所述水印触发器嵌入图像后形成水印，并且水印的形状、颜色可调，具有隐蔽性。

10.根据权利要求6所述的目标检测数据集版权保护方法，其特征在于，所述一定标准为95％。