CN113378239B - 一种数据内容确权方法及系统 - Google Patents

Abstract

本发明公开了一种数据内容确权方法及系统，本发明的方法包括如下步骤：S1、获取用户上传的待检数据文件；S2、对待检数据文件进行哈希计算，通过计算的哈希值对待检数据文件进行校验；S3、对校验通过的待检数据文件，遍历待检测数据文件中的待检数据，逐条提取每条待检数据进行哈希运算，通过获取每条待检数据的哈希值进行校验；S4、对校验不通过的待检数据，从数据库中提取与待检数据哈希值相同的数据，进行对比，若数据内容对比相同，对该数据进行标记。本发明依次通过数据文件哈希值校验、数据哈希值校验和数据内容对比校验，既保证了用户上传数据所有权的正确划归，还能够通过逐层递减的方式进行数据内容筛检，提升确认效率及可靠性。

Description

一种数据内容确权方法及系统

技术领域

本发明涉及数据库技术领域，具体地说是一种数据内容确权方法及系统。

背景技术

目前，大数据的应用和发展收到了国家层面以及各行业的高度重视，大数据的应用是以大量丰富的数据资源为自出，而在现阶段的实际应用中大量丰富的数据资源往往难以获取，各行业间的数据资源没有形成有效的流通。如何解决数据资源能够安全有效的在各行业间进行流通是大数据交易领域研究的重点。由于数据资源存在可复制性使得在数据交易过程中数据资源的价值和数据资源权益难以得到有效的保障。为了对数据资源实施有效的保护和管理，研究者陆续提出相关的解决方法，如水印技术、防伪标示技术和数据标签等相关技术，同时国家在数据资源保护方面出台了相关的法律法规来保障数据资源拥有者的合法权益，但是由于数据资源在交易过程中存在复制和倒卖的现象，因此如何保证数据交易过程中数据资源的所有权是目前数据交易领域需要解决的难题。

现有技术下，对数据内容的确权一般采用逐条比较的方法，费时费力且对硬件设备要求较高，因此需要一种低延时的数据内容确权方法来对数据进行处理。

发明内容

本发明的目的是针对以上不足，提供一种数据内容确权方法，用于对交易系统中国的交易数据进行确权，不仅能够对整个文件进行确权，而且能够针对数据内容进行确权，保证数据交易中用户的数据安全性，还提供一种用于实现上述确权方法的数据内容确权系统。

本发明所采用技术方案是：

一种数据内容确权方法，包括如下步骤：

S1、获取用户上传的待检数据文件；

S2、对待检数据文件进行哈希计算，通过计算的哈希值对待检数据文件进行校验；

S3、对校验通过的待检数据文件，遍历待检测数据文件中的待检数据，逐条提取每条待检数据进行哈希运算，通过获取每条待检数据的哈希值进行校验；

S4、对校验不通过的待检数据，从数据库中提取与待检数据哈希值相同的数据，进行对比，若数据内容对比相同，对该数据进行标记。

作为对本发明方法的进一步优化，本发明步骤S2中，对待检数据文件进行校验的过程包括：

S201、对待检数据文件进行哈希计算，获取待检数据文件的哈希值，

S202、通过计算的哈希值在数据库中进行查找，查看是否存在哈希值相同的数据文件，若查找到相同哈希值相同的数据文件，确权失败，若数据中不存在相同的数据文件，将数据文件保存到数据库中，并对该数据文件标记为该用户。

作为对本发明方法的进一步优化，本发明步骤S202中，所采用数据库为Redis数据库中，其中，保存于Redis数据库中的数据的key值关联该数据文件的哈希值，数据的value为数据文件的所属用户标识。

作为对本发明方法的进一步优化，本发明步骤202中，还包括备份数据库，所述备份数据库为Hbase数据库，其中，保存于Hbase数据库中的数据的行数据为关联数据文件的哈希值、用户标识和当前时间戳，列数据为用户ID，通过监控器监控Redis数据库的状态，当Redis数据库发生异常时，对Redis数据库进行数据恢复。

作为对本发明方法的进一步优化，本发明步骤S3中，对待检数据进行校验的过程包括：

S301、遍历待检数据文件中的所有待检数据，并顺序读取一条待检数据，对该数据进行哈希计算；

S302、通过计算的哈希值在Redis数据库中进行查找，如未查找到相同哈希值的数据，重复执行S301，读取下一条待检数据，如查找到相同哈希值的数据，进行后续校验。

作为对本发明方法的进一步优化，本发明步骤S4中，对检验不通过的待检数据对比的过程包括：

S401、从Redis数据中提取与待检数据的哈希值相同的数据；

S402、通过Redis数据中的用户标识从Hbase提取出原始数据集；

S403、将提取的数据集与待检数据进行逐条对比，若对比内容完全不同，将待检数据分别存储在Redis数据库和Hbase数据库中，重复执行步骤S301，读取下一条待检数据；若存在相同的内容，则对比录入用户标识是否为同一人，若不是同一人，则判断为非该用户数据，进行标记后，重复执行步骤S301。

本发明还提供一种数据内容确权系统，包括Redis数据库、Hbase数据库、待检数据文件对比组件、待检数据对比组件和数据内容对比组件，其中：

所述Redis数据库用于存储用户上传的数据，且保存于Redis数据库中的数据的key值关联该数据文件的哈希值，数据的value为数据文件的所属用户标识；

所述Hbase数据库用于备份存储用户上传的数据，当Redis数据库出现异常时，对Redis数据库进行数据恢复；

所述待检测数据文件对比组件用于将待检数据进行哈希计算后，根据计算的哈希值在Redis数据库中查找校验；

所述待检数据对比组件用于遍历校验通过的待检数据文件中的所有数据，逐条读取待检数据进行哈希计算后，通过计算的哈希值在Redis数据中查找校验；

所述数据内容对比组件用于对待检数据对比组件校验通过的待检数据，从Redis数据库和Hbase数据库中提取原始数据集，与待检数据进行逐条对比校验。

作为对本发明系统的进一步优化，本发明所述待检数据文件对比组件对校验通过的数据文件存在到Redis数据库和Hbase数据库中。

作为对本发明系统的进一步优化，本发明所述待检数据对比组件对校验通过的数据文件进行组装新数据集合后储存到Redis数据库和Hbase数据库中。

作为对本发明系统的进一步优化，本发明在待检数据文件对比组件存储到数据库之间设置有第一监控器，在待检数据对比组件存储到数据库之间设置有第二监控器以监控器和第二监控器均用于检测Redis数据库的状态，当Redis数据库出现异常时，通过Hbase数据库对其进行数据恢复。

本发明具有以下优点：

1、本发明依次通过数据文件哈希值校验、数据哈希值校验和数据内容对比校验，既保证了用户上传数据所有权的正确划归，还能够通过逐层递减的方式进行数据内容筛检，提升确认效率及可靠性；

2、本发明设置有Redis数据库和Hbase数据库，并设置监控程序对Redis数据库进行监控，用于监控Redis在数据存储出现异常情况，通过Hbase数据库用于数据数据恢复。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明：

图1为本发明方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。

本发明实施例中的属于“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”关系。

本实施提供一种数据内容确权方法，主要应用于判断数据的最初所有者，避免出现数据的盗用及再次上传的情况发生，需要对上传的数据进行相似性判断，以保障原有数据所有者的权益。

在本实施例中，假设用户A上传了一份数据文件，需要通过对本方法对用户A上传的数据文件进行确权，即检测用户A长传的数据文件以及数据文件中的内容是否为盗取的其他人的数据，是否已经被原用户上传过；本实施例所述的确权方法包括如下步骤：

S1、获取用户A上传的待检数据文件；

在上述应用场景中，该数据文件即为某一用户上传的数据文件，该数据文件的形式是可以多样化的，比如地理位置信息、道路信息、天气信息等等，

S2、对待检数据文件进行哈希计算，获取待检数据文件的哈希值，通过计算的哈希值在数据库中进行查找，查看是否存在哈希值相同的数据文件，若查找到相同哈希值相同的数据文件，数据库中已经保存有相同的数据文件，代表用户A上传的数据文件已经被其他用户上传过，该数据文件的所有权并不属于用户A，因此确权失败，为非用户A的数据，若数据中不存在相同的数据文件，将数据文件保存到数据库中，并记录在用户A下，再进行下一步的校验；

本实施例所需的数据库为key-value型数据库，具体的本实施例所用数据库为redis数据库，同时为了在redis出现异常时，能够对redis数据进行恢复，同时将数据存入Hbase数据库，且为了进行命名区分，数据文件在命名时，存入redis数据库的数据库的文件的key值为file_$数据文件的哈希值，value值为相应的用户标识，原始数据存入Hbase数据库中，其中rowkey行数据为${row_数据文件的哈希值}${当前用户标识}${当前时间戳}，列数据为用户ID，在上述待检数据进行哈希计算后，将计算的哈希值拼接redis数据库的字符串作为key值后进行查找，若查找到该key值则确权失败，若未查找到该key值，将该数据存入redis中，且value值为当前用户标识，同时存入到Hbase数据库中，并进行下一步的检验；

S3、遍历待检数据文件中的待检数据，并按照顺序读取一条待检数据D1进行哈希计算，获取的待检数据D1的哈希值为H1；

S4、在Redis数据库中查找key值包含H1的数据，如果不存在，则代表该条待检数据未被其他用户上传，未保存在数据库中，将该条待检数据D1标记为该用户A，重复执行步骤S3，读取下一条数据；若Redis数据库中的某一数据包含与H1相同的key值时，假设该数据为R1，在Redis数据库中提取包含key值包含H1的数据R1；

S5、从Redis中提取R1的全部数据内容，且数据内容为集合类型，数据集合中存储有该条哈希值对应的数据的用户标识，根据哈希值和用户标识，从Hbase数据库中提取全部的原始数据集Q1；

S6、将从Hbase提取的数据集Q1逐条与数据D1进行比较，若数据集Q1中存在与数据D1相同的内容时，通过用户标识判断是否为同一用户，如果用户标识相同，则视为该用户A的数据，如果判断不是用一用户时，则视为非用户A的数据，进行标记；若数据集Q1中与D1的内容完全不同时，将数据D1储存到Redis数据库和Hbase数据库中，保存到Redis数据库中的规则为：将数据D1存入key为H1的数据集合，若为空，则创建该集合，并将当前用户标识添加到集合中；存储到Hbase的规则为：rokey为${行数据的HASH}_${当前用户标识}_${当前时间戳}，然后重复步骤3，读取下一条数据。

本实施例的方法在执行过程中，会设置有两个监控程序，一个用于监控待检数据文件存储时的Redis的状态，另一个用于监控存储待检数据时的Redis的状态，保证Redis数据库中与Hbase中数据信息一致，若不一致时，依据Hbase中的数据，恢复Redis中的数据，保证数据的可靠性。

本实施例还提供一种用于实现上述方法的数据内容确权系统，包括Redis数据库、Hbase数据库、待检数据文件对比组件、待检数据对比组件和数据内容对比组件，其中：

所述Redis数据库用于存储用户上传的数据，且保存于Redis数据库中的数据的key值关联该数据文件的哈希值，数据的value为数据文件的所属用户标识；本实施例为了进行命名区分，数据文件在命名时，存入redis数据库的数据库的文件的key值为file_$数据文件的哈希值，value值为相应的用户标识，

所述Hbase数据库用于备份存储用户上传的数据，当Redis数据库出现异常时，对Redis数据库进行数据恢复；原始数据存入Hbase数据库中，其中rowkey行数据为${row_数据文件的哈希值}${当前用户标识}${当前时间戳}，列数据为用户ID，

所述待检测数据文件对比组件用于将待检数据进行哈希计算后，根据计算的哈希值在Redis数据库中查找校验；

对待检数据文件进行哈希计算，获取待检数据文件的哈希值，通过计算的哈希值在Redis数据库中进行查找，查看是否存在哈希值相同的数据文件，若查找到相同哈希值相同的数据文件，数据库中已经保存有相同的数据文件，代表当前用户上传的数据文件已经被其他用户上传过，该数据文件的所有权并不属于当前用户，因此确权失败，为非当前用户的数据，若数据中不存在相同的数据文件，将数据文件保存到Redis数据库和Hbase数据库中，并记录在当前用户下，再进行下一步的校验；

所述待检数据对比组件用于遍历校验通过的待检数据文件中的所有数据，逐条读取待检数据进行哈希计算后，通过计算的哈希值在Redis数据中查找校验；

遍历待检数据文件中的所有待检数据，并顺序读取一条待检数据，对该数据进行哈希计算；通过计算的哈希值在Redis数据库中进行查找，如未查找到相同哈希值的数据，读取下一条待检数据，如查找到相同哈希值的数据，进行后续校验。

所述数据内容对比组件用于对待检数据对比组件校验通过的待检数据，从Redis数据库和Hbase数据库中提取原始数据集，与待检数据进行逐条对比校验；

从Redis数据中提取与待检数据的哈希值相同的数据；通过Redis数据中的用户标识从Hbase提取出原始数据集；将提取的数据集与待检数据进行逐条对比，若对比内容完全不同，将待检数据分别存储在Redis数据库和Hbase数据库中，重复执行步骤S301，读取下一条待检数据；若存在相同的内容，则对比录入用户标识是否为同一人，若不是同一人，则判断为非该用户数据，进行标记后，读取下一条待检数据。

本实施例的系统还设置有两个监控器，用于在向Redis数据库和Hbase数据库存储数据时，用于监控Redis数据库的状态，用于在Redis出现异常时，通过Hbase数据库对Redis数据库进行恢复。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (7)

1.一种数据内容确权方法，其特征在于：包括如下步骤：

S1、获取用户上传的待检数据文件；

S2、对待检数据文件进行哈希计算，通过计算的哈希值对待检数据文件进行校验；

步骤S2中，对待检数据文件进行校验的过程包括：

S201、对待检数据文件进行哈希计算，获取待检数据文件的哈希值，

S202、通过计算的哈希值在数据库中进行查找，查看是否存在哈希值相同的数据文件，若查找到相同哈希值相同的数据文件，确权失败，若数据中不存在相同的数据文件，将数据文件保存到数据库中，并对该数据文件标记为该用户，所采用数据库为Redis数据库，还包括备份数据库，所述备份数据库为Hbase数据库；

S3、对校验通过的待检数据文件，遍历待检测数据文件中的待检数据，逐条提取每条待检数据进行哈希运算，通过获取每条待检数据的哈希值进行校验；

步骤S3中，对待检数据进行校验的过程包括：

S301、遍历待检数据文件中的所有待检数据，并顺序读取一条待检数据，对该数据进行哈希计算；

S302、通过计算的哈希值在Redis数据库中进行查找，如未查找到相同哈希值的数据，重复执行S301，读取下一条待检数据；

如查找到相同哈希值的数据，代表校验不通过，对校验不通过的待检数据，进行数据内容对比，对数据内容对比的过程包括：

S3021、从Redis数据库中提取与待检数据的哈希值相同的数据；

S3022、通过Redis数据库中的用户标识从Hbase提取出原始数据集；

S3023、将提取的数据集与待检数据进行逐条对比，若对比内容完全不同，将待检数据分别存储在Redis数据库和Hbase数据库中，重复执行步骤S301，读取下一条待检数据；若存在相同的内容，则对比录入用户标识是否为同一人，若不是同一人，则判断为非该用户数据，进行标记后，重复执行步骤S301，读取下一条数据进行判断。

2.根据权利要求1所述的方法，其特征在于：步骤S202中，保存于Redis数据库中的数据的key值关联该数据文件的哈希值，数据的value为数据文件的所属用户标识。

3.根据权利要求2所述的方法，其特征在于：步骤202中，保存于Hbase数据库中的数据的行数据为关联数据文件的哈希值、用户标识和当前时间戳，列数据为用户ID，通过监控器监控Redis数据库的状态，当Redis数据库发生异常时，对Redis数据库进行数据恢复。

4.一种数据内容确权系统，其特征在于：包括Redis数据库、Hbase数据库、待检数据文件对比组件、待检数据对比组件和数据内容对比组件，其中：

所述Redis数据库用于存储用户上传的数据，且保存于Redis数据库中的数据的key值关联该数据文件的哈希值，数据的value为数据文件的所属用户标识；

所述Hbase数据库用于备份存储用户上传的数据，当Redis数据库出现异常时，对Redis数据库进行数据恢复；

待检数据文件对比组件用于将待检数据进行哈希计算后，根据计算的哈希值在Redis数据库中查找校验, 若查找到相同哈希值相同的数据文件，则确权失败，若数据中不存在相同的数据文件，将数据文件保存到Redis数据库和Hbase数据库中，并对该数据文件标记为该用户；

所述待检数据对比组件用于遍历校验通过的待检数据文件中的所有数据，逐条读取待检数据进行哈希计算后，通过计算的哈希值在Redis数据中查找校验，其过程包括遍历待检数据文件中的所有待检数据，并顺序读取一条待检数据，对该数据进行哈希计算，通过计算的哈希值在Redis数据库中进行查找，如未查找到相同哈希值的数据，读取下一条待检数据，如查找到相同哈希值的数据，再通过数据内容对比组件进行检验；

所述数据内容对比组件用于对在待检数据对比组件中查找到相同哈希值的数据进行数据内容对比判断，具体的，从Redis数据库和Hbase数据库中提取原始数据集，与待检数据进行逐条对比校验，若对比内容完全不同，将待检数据分别存储在Redis数据库和Hbase数据库中，读取下一条待检数据重复上述过程；若存在相同的内容，则对比录入用户标识是否为同一人，若是同一人，则确权成功，若不是同一人，则判断为非该用户数据，代表确权失败，进行标记后，读取下一条待见数据重复上述过程。

5.根据权利要求4所述的系统，其特征在于：所述待检数据文件对比组件对校验通过的数据文件存在到Redis数据库和Hbase数据库中。

6.根据权利要求5所述的系统，其特征在于：所述待检数据对比组件对校验通过的数据文件进行组装新数据集合后储存到Redis数据库和Hbase数据库中。

7.根据权利要求6所述的系统，其特征在于：在待检数据文件对比组件存储到数据库之间设置有第一监控器，在待检数据对比组件存储到数据库之间设置有第二监控器，第一监控器和第二监控器均用于检测Redis数据库的状态，当Redis数据库出现异常时，通过Hbase数据库对其进行数据恢复。

Images