CN114780552B - 一种基于服务目录的数据上链方法 - Google Patents

一种基于服务目录的数据上链方法 Download PDF

Info

Publication number
CN114780552B
CN114780552B CN202210674063.XA CN202210674063A CN114780552B CN 114780552 B CN114780552 B CN 114780552B CN 202210674063 A CN202210674063 A CN 202210674063A CN 114780552 B CN114780552 B CN 114780552B
Authority
CN
China
Prior art keywords
data
uplink
information
source
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210674063.XA
Other languages
English (en)
Other versions
CN114780552A (zh
Inventor
洪薇
洪健
李京昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Yangzhong Jushi Information Technology Co ltd
Original Assignee
Hubei Yangzhong Jushi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Yangzhong Jushi Information Technology Co ltd filed Critical Hubei Yangzhong Jushi Information Technology Co ltd
Priority to CN202210674063.XA priority Critical patent/CN114780552B/zh
Publication of CN114780552A publication Critical patent/CN114780552A/zh
Application granted granted Critical
Publication of CN114780552B publication Critical patent/CN114780552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于服务目录的数据上链方法，应用于区块链数据上链系统，包括以下步骤：S1、预设用户权限；S2、服务端与目标数据源建立连接；S3、库表结构信息创建库表树；S4、创建业务目录树得到业务库表树；S5、创建上链任务，发送到所述区块链网络；S6、对合规性认定参数文件进行共识，若共识结果为共识一致，记账节点执行区块链记账，完成数据上链；本发明的数据上链方法，降低了对后台研发服务的依赖，能够快速的适应用户服务需求，降低了区块链的应用成本与门槛。

Description

一种基于服务目录的数据上链方法
技术领域
本发明涉及到区块链技术领域，具体涉及到一种基于服务目录的数据上链方法。
背景技术
区块链的核心技术包括分布式存储、密码学、共识同步机制等，将数据上链是区块链的一种常见应用方式。
传统数据上链基本流程包括：（1）人工提供上链数据源的配置信息，以数据库为例，包括：帐户、密码、数据源结构等；（2）研发人员后台配置上链规则；（3）生成上链任务；（4）数据上链。
上链后的数据目录为表目录，需要通过以下步骤才可以较好地使用：（1）人工调研用户方资源目录名称和分类；（2）研发人员后台定制配置上链资源目录名称和分类；（3）生成与用户方服务资源一致的目录分类。
传统数据上链方式，在服务过程中对实施服务人员、后台研发服务依赖度较高，降低了数据上链服务的方便性、可用性；当用户业务数据分组、主题分组变更时，需要进行系统数据目录、结构调研与开发变更，效率较低，很难快速适应用户服务需求，提升了区块链应用的成本与门槛。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种基于服务目录的数据上链方法，应用于服务端，将业务目录树的定制过程开放给用户，降低了对后台研发服务的依赖，能够快速的适应用户服务需求，降低了区块链的应用成本与门槛。
为实现上述目的，本发明采用的技术方案是：
一种基于服务目录的数据上链方法，应用于区块链数据上链系统，所述区块链数据上链系统包括服务端和区块链网络，所述数据上链方法包括以下步骤：
步骤S1、预设用户权限；用户提交注册信息到客户端，所述客户端将所述注册信息上传到服务端；所述服务端通过接收的所述注册信息，获取参与用户的角色信息；根据所述角色信息和预设的角色对应权限，得到所述预设用户权限，所述预设用户权限用于确定用户的数据读取权限。
另外，也可以在服务端预设用户的角色信息，并预设用户权限。
步骤S2、创建数据源参数，根据所述数据源参数，从多个数据源中选取目标数据源，根据所述目标数据源的相关信息，创建数据源连接请求，所述服务端接收所述数据源连接请求，然后与所述目标数据源建立连接。
其中，所述数据源参数包括：IP地址、端口号、数据库类型、只读账户、账户密码和数据库名称；
获取所述数据源的相关信息包括：数据源ID、登记时间、登记人、类型、数据源IP地址、数据库名称、子表总数、连通性、状态。
步骤S3、根据预设的所述用户权限，获取所述目标数据源的数据读取权限；再从所述目标数据源获取源数据；然后遍历所述源数据中的原始数据记录，获取所述源数据的库表结构信息；再根据所述库表结构信息，创建库表树。
具体的，所述库表结构信息包括：数据库和数据表的结构信息，也可以进一步细化为数据列和索引的结构信息；其中，如图1所示，库表树与源数据相关联，一个库表树可以关联多个数据库，每一个数据库包括若干个数据表；每一个数据表包括若干个子表；每一个子表包括若干个字段。
具体的，根据预设的用户权限，获取目标数据源的数据读取权限的过程包括：用户请求获取所述数据读取权限，所述服务端接收数据读取权限请求，确定数据读取范围；根据预设用户权限，对所述数据读取范围进行验证，若所述数据读取范围在预设用户权限范围内，则验证通过；所述目标数据源对所述数据读取权限请求的用户进行身份校验；所述数据读取权限请求验证通过和身份校验均通过后，获取所述数据读取权限。
步骤S4、所述服务端根据业务需求，创建根目录，然后在所述根目录下创建子目录，得到业务目录树；将所述业务目录树与所述库表树进行关联，得到所述业务库表树。通过将创建业务目录树的过程开放给用户，使得用户可按需自定义设置业务数据结构信息。
具体的，所述子目录可具有多级结构，例如，如图2所示，某省人口信息的数据表分组目录树可以按照如下方式设置：
（1）创建根目录，名称为“某地市人员身份信息”；
（2）创建子目录，子目录包括三级，分别为：
一级子目录，包括子目录A1、子目录A2和子目录A3，子目录A1的名称为城区1，子目录A2的名称为城区2，子目录A3的名称为城区3；
二级子目录，包括子目录B11和子目录B12，子目录B11的名称为性别，子目录B12的名称为年龄分布；所述一级子目录为二级子目录的上级子目录，所述二级子目录为一级子目录的下级子目录；
三级子目录，包括子目录C111、子目录C112、子目录C121、子目录C122和子目录C123，子目录C111的名称为男，子目录C112的名称为女，子目录C121的名称为18周岁以下，子目录C122的名称为19-60周岁，子目录C123的名称为60周岁以上；所述子目录B12为子目录C121、子目录C122和子目录C123的上级子目录，所述子目录C111、子目录C112为子目录B11的下级子目录。
步骤S5、所述服务端定义上链任务参数，根据所述上链任务参数，创建上链任务，所述服务端再将所述上链任务的数据发送到区块链网络中的共识节点；通过将数据上传到区块链网络，使数据具有防篡的改特性，提高了数据接收方使用数据的安全性；
其中，定义上链任务参数的具体过程包括：
S5.1、配置上链任务规则，所述上链任务规则需要配置如下信息：数据表、任务执行时间、任务执行频率；所述数据表通过选择库表树、定制库表树或业务目录树进行确定，即所述数据表中的数据通过库表树、定制库表树或业务目录树关联的源数据进行确定。
通过将业务目录树与定制库表树进行关联，其优点在于：
（1）在执行上链任务之前，需要指定上链的数据范围，区块链存储消耗的存储计算资源可能比中心化存储消耗更大，同时用户的数据并非都需要强化防篡改能力，因此在应用过程中，用户需要选择重要的数据分类、分组进行上链保护，能够避免先从区块链平台获取零散数据后生成虚假组合数据的情况，极大地提高了重要数据的安全性；因此，上链操作优先将价值较高的业务库表树关联的业务数据进行指定上链，支持自定义选择分类、分组，实现了重点数据重点保护；
（2）将数据进行上链需要耗费一定的时间，在上链前将业务分组树与源数据进行关联，可以充分利用数据仓库和数据处理设备，减少了整体业务数据组合处理的时间；
（3）用户将源数据和业务库表树关联的业务数据上传至区块链平台后，用户可以通过本地数据与上链数据进行相互验证，确保本地数据的可靠性。
需要指出的是，所述任务执行时间可以为一个起始时间点，即任务执行的开始时间；所述任务执行时间也可以为一个时间段，即包括任务执行的开始时间和结束时间；
所述上链任务规则可分为系统规则和用户规则，所述系统规则为系统预设的一种模板规则，所述用户规则为用户根据个性化需求，自定义设置的一种模板规则；
S5.2、选择当前上链任务所需的上链任务规则。
步骤S6、所述区块链网络的共识节点对所述上链任务进行审核，审核通过后，按照共识机制对合规性认定参数文件进行共识，得到共识结果，若所述共识结果为共识一致，记账节点执行区块链记账，完成数据上链。
与现有技术相比，本发明的有益效果是：
1、本发明提供的数据上链方法，应用于服务端，将业务目录树的定制过程开放给用户，形成了与源数据库关联的用户自定义业务分组能力，方便用户对自定义分组进行管理或执行分组的操作；降低了对后台研发服务的依赖，能够快速的适应用户服务需求，降低了区块链的应用成本与门槛；
2、对数据源进行连通性测试，防止有害的特定信息上传到区块链平台，避免对公众、社会造成不良影响；确保经过数据治理的、具有统一标准的数据存储到区块链中，避免了数据的冗余和紊乱；当数据上链操作将失败时，可在上链之前判断是否具备上链条件，在排查数据不能上链的原因时，可定位到数据源连通性这一环节；
3、建立索引表方便用户查询指定的表或字段，相比于在表中搜索所有行的方式，借助索引表可快速访问数据库表中的特定信息，并且可以减少源数据读写时的资源消耗；
4、创建用户数据库索引表，并将该索引表与源数据建立关联关系，在用户提交数据变更结果后，可以针对性地对库表树关联的数据变更进行处理，减少源数据进行轮询检查的消耗；在后期执行上链任务的过程中，进行库表树变更检查，对发现的源数据结构变更进行修正和定位；
5、对库表树中数据库和数据表的命名值进行重新命名，生成定制库表树；通过重新命名，用户可根据实际需求，快速、自主地对数据库和数据表的命名值实现变更的操作，本发明将重新命名的过程开放给给用户，提高了数据上链服务的方便性和可用性。
附图说明
图1为本发明库表树的示意图；
图2为本发明根目录和子目录的示意图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“顶部”、“底部”、“内”、“外”、“水平”、“垂直”等指示的方位或位置关系为均基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
一种基于服务目录的数据上链方法，应用于区块链数据上链系统，所述区块链数据上链系统包括服务端和区块链网络，所述数据上链方法包括以下步骤：
步骤S1、预设用户权限；用户提交注册信息到客户端，所述客户端将所述注册信息上传到服务端；所述服务端通过接收的所述注册信息，获取参与用户的角色信息；根据所述角色信息和预设的角色对应权限，得到所述预设用户权限，所述预设用户权限用于确定用户的数据读取权限。
另外，也可以在服务端预设用户的角色信息，并预设用户权限。
步骤S2、创建数据源参数，根据所述数据源参数，从多个数据源中选取目标数据源，根据所述目标数据源的相关信息，创建数据源连接请求，所述服务端接收所述数据源连接请求，然后与所述目标数据源建立连接。
其中，所述数据源参数包括：IP地址、端口号、数据库类型、只读账户、账户密码和数据库名称；
从多个数据源中选取目标数据源时，检验数据源的环境参数、采集参数与数据源的预设参数是否一致，若一致，则可以选取目标数据源；若不一致，则不得选取目标数据源；
通过对数据源的相关参数进行检验，可以保证数据源的真实性、有效性和合规性，确保数据采集的源头真实有效合规。
获取所述数据源的相关信息包括：数据源ID、登记时间、登记人、类型、数据源IP地址、数据库名称、子表总数、连通性、状态。
步骤S3、根据预设的所述用户权限，获取所述目标数据源的数据读取权限；再从所述目标数据源获取源数据；从所述目标数据源获取源数据时，记录获取源数据时的相关信息，包括：数据采集的采集目标、采集规则、采集验证、采集结果，以及个人信息和重要数据采集过程与结果、时间戳；
然后遍历所述源数据中的原始数据记录，获取所述源数据的库表结构信息；再根据所述库表结构信息，创建库表树。
具体的，所述库表结构信息包括：数据库和数据表的结构信息，也可以进一步细化为数据列和索引的结构信息；其中，如图1所示，库表树与源数据相关联，一个库表树可以关联多个数据库，每一个数据库包括若干个数据表；每一个数据表包括若干个子表；每一个子表包括若干个字段。
具体的，根据预设的用户权限，获取目标数据源的数据读取权限的过程包括：用户请求获取所述数据读取权限，所述服务端接收数据读取权限请求，确定数据读取范围；根据预设用户权限，对所述数据读取范围进行验证，若所述数据读取范围在预设用户权限范围内，则验证通过；所述目标数据源对所述数据读取权限请求的用户进行身份校验；所述数据读取权限请求验证通过和身份校验均通过后，获取所述数据读取权限。
步骤S4、所述服务端根据业务需求，创建根目录，然后在所述根目录下创建子目录，得到业务目录树；将所述业务目录树与所述库表树进行关联，得到所述业务库表树。通过将创建业务目录树的过程开放给用户，使得用户可按需自定义设置业务数据结构信息。
具体的，所述子目录可具有多级结构，例如，如图2所示，某省人口信息的数据表分组目录树可以按照如下方式设置：
（1）创建根目录，名称为“某地市人员身份信息”；
（2）创建子目录，子目录包括三级，分别为：
一级子目录，包括子目录A1、子目录A2和子目录A3，子目录A1的名称为城区1，子目录A2的名称为城区2，子目录A3的名称为城区3；
二级子目录，包括子目录B11和子目录B12，子目录B11的名称为性别，子目录B12的名称为年龄分布；所述一级子目录为二级子目录的上级子目录，所述二级子目录为一级子目录的下级子目录；
三级子目录，包括子目录C111、子目录C112、子目录C121、子目录C122和子目录C123，子目录C111的名称为男，子目录C112的名称为女，子目录C121的名称为18周岁以下，子目录C122的名称为19-60周岁，子目录C123的名称为60周岁以上；所述子目录B12为子目录C121、子目录C122和子目录C123的上级子目录，所述子目录C111、子目录C112为子目录B11的下级子目录。
用户可选择子目录或根目录，将子目录或根目录与库表树进行关联，例如，将根目录“某地市人员身份信息”与数据库a进行关联，将子目录A1“城区1”与表1或子表1进行关联，将子目录C112“女”与字段进行关联。
步骤S5、所述服务端定义上链任务参数，根据所述上链任务参数，创建上链任务，所述服务端再将所述上链任务的数据发送到区块链网络中的共识节点；通过将数据上传到区块链网络，使数据具有防篡改的特性，提高了数据接收方使用数据的安全性；
其中，定义上链任务参数的具体过程包括：
S5.1、配置上链任务规则，所述上链任务规则需要配置如下信息：数据表、任务执行时间、任务执行频率；所述数据表通过选择库表树、定制库表树或业务目录树进行确定，即所述数据表中的数据通过库表树、定制库表树或业务目录树关联的源数据进行确定。
通过将业务目录树与定制库表树进行关联，其优点在于：
（1）在执行上链任务之前，需要指定上链的数据范围，区块链存储消耗的存储计算资源可能比中心化存储消耗更大，同时用户的数据并非都需要强化防篡改能力，因此在应用过程中，用户需要选择重要的数据分类、分组进行上链保护，能够避免先从区块链平台获取零散数据后生成虚假组合数据的情况，极大地提高了重要数据的安全性；因此，上链操作优先将价值较高的业务库表树关联的业务数据进行指定上链，支持自定义选择分类、分组，实现了重点数据重点保护；
（2）将数据进行上链需要耗费一定的时间，在上链前将业务分组树与源数据进行关联，可以充分利用数据仓库和数据处理设备，减少了整体业务数据组合处理的时间；
（3）用户将源数据和业务库表树关联的业务数据上传至区块链平台后，用户可以通过本地数据与上链数据进行相互验证，确保本地数据的可靠性。
需要指出的是，所述任务执行时间可以为一个起始时间点，即任务执行的开始时间；所述任务执行时间也可以为一个时间段，即包括任务执行的开始时间和结束时间；
所述上链任务规则可分为系统规则和用户规则，所述系统规则为系统预设的一种模板规则，所述用户规则为用户根据个性化需求，自定义设置的一种模板规则；
S5.2、选择当前上链任务所需的上链任务规则。
根据步骤S3优选的，S5.3、将从多个数据源中选取目标数据源时，检验数据源的环境参数、采集参数与数据源的预设参数是否一致的结果定义至上链任务参数中；
根据步骤S3优选的，S5.4、将获取源数据时的相关信息定义至上链任务参数中；
根据步骤S4优选的，将所述业务目录树与所述库表树的关联关系创建哈希标识，并定义至上链任务参数中；
上链任务参数是核验上链任务的重要依据，通过对数据源和源数据的相关信息，可以核验数据获取的合规性，保障上链数据的真实有效合规。
步骤S6、所述区块链网络的共识节点对所述上链任务进行审核，审核通过后，按照共识机制对合规性认定参数文件进行共识，得到共识结果，若所述共识结果为共识一致，记账节点执行区块链记账，完成数据上链。
共识机制是指在区块链的分布式系统中，多个互不信任的节点遵循一定的预设规则参与共识，进而对交易的有效性达成一致确认。
合规性认定参数文件，是指上链任务中需要进行合规性认定的参数的集合，包括数据源参数和上链任务参数，以及可以确认上链任务是否合规的其他参数，如验证参数、上链辅助参数等。
实施例2
本实施例与实施例1的区别在于，所述步骤S3还包括：对所述库表树中的数据库和数据表的命名值进行重新命名，生成定制库表树。
在没有对库表树进行重新命名时，由于源数据库中存储的数据表命名值、字段命名值是英文或特殊字符，用户无法快速关联和选择所需的数据表和字段，需要消耗时间、人力进行分析，以确定有价值的业务数据进行指定上链；
通过重新命名，用户可根据实际需求，快速、自主地对数据库和数据表的命名值实现变更的操作，定制库表树同时将两种标识提供给用户使用：（1）与数据表命名值、数据库字段命名值一致的标识；（2）用户对库表树中数据库和数据表的命名值进行重新命名的标识。由于数据上链需要多次指定数据，并且一个服务端存在多个用户的情况，本发明将重新命名的过程开放给给用户，提高了数据上链服务的方便性和可用性。
实施例3
本实施例与实施例1的区别在于，在所述服务端与所述目标数据源建立连接时和/或在创建所述上链任务之后，对所述目标数据源进行连通性测试，所述连通性测试具体过程包括：
S2.1、预设连通性验证规则，所述连通性验证规则包括验证字段、验证参数和结果判断规则，如下表1所示，以下为验证字段，其对应的参数即为验证参数：
Figure 689458DEST_PATH_IMAGE001
表1
所述结果判定规则可参照如下方式设置：
若满足以下可选判定条件，则连通性测试的结果为通过，若否，则连通性测试的结果为不通过：
判定1：当验证参数包含至少一个目标参数时，确定连通性测试通过；用于排查上链失败原因；
判定2：当验证参数包含至少一个目标参数时，确定连通性测试不通过；用于规避非法数据；
判定3：当验证参数包含一组目标参数时，确定连通性测试通过；用于排查上链失败原因、规避非法数据。
对于一组目标参数，可进一步细化：
（1）所述连通性测试信息中的一组数据，具有特定的顺序；例如，所述连通性测试信息中的数据为a、b、c、d、e、f，只有当其以a-b-c-d-e-f的顺序排列时，才能确定连通性测试通过；
（2）所述连通性测试信息中的一组数据中的至少两个数据，具有特定的顺序；例如，所述连通性测试信息中的数据为a、b、c、d、e、f，只有当其以a-b，c、d、e、f的顺序排列时，才能确定连通性测试通过，如以a-b-c-d-e-f、c-a-b-d-e-或f-a-b-c-d-e的循序排列时，可以确定连通性测试通过；而以b-a-c-d-e-f、a-c-b- d-e-f的顺序排列时，确定连通性测试不通过；
（3）所述连通性测试信息中的一组数据中的全部数据，不具有特定的顺序，例如，所述连通性测试信息中的数据为a、b、c、d、e、f，只要包含数据a、b、c、d、e、f，即可确定连通性测试通过，如数据为a、b、c、d、e、f、g的连通性测试信息可以确定连通性测试通过，而缺少a、b、c、d、e、f中至少一个的时候，确定连通性测试不通过。
S2.2、对所述连通性验证规则进行共识，得到已共识的连通性验证规则；
根据已共识的所述验证字段，获取所述源数据中的目标参数；
根据已共识的所述验证参数，对所述目标参数进行验证，判断连通性测试结果；
根据已共识的所述连通性测试结果，生成连通性测试信息；
若所述连通性测试结果为不通过，创建警报信息，并将警报信息反馈至所述目标数据源。
对数据源进行连通性测试，优点在于：
（1）当上链数据中的一些特定信息未经识别过滤就储存在区块链的上，将会造成不良影响；通过对数据源进行连通性测试，可确定上链数据中是否包含特定信息，防止有害的特定信息上传到区块链平台，避免对公众、社会造成不良影响；
（2）数据源中的数据具有多个来源，例如大数据中心的数据来自各个职能部门，由于不同职能部门的数据标准不统一，导致数据源中的数据可能会出现数据紊乱的情况，用户无法获取统一标准的数据；通过对数据源进行连通性测试，可确保经过数据治理的、具有统一标准的数据存储到区块链中，避免了数据的冗余和紊乱；
（3）当数据上链操作将失败时，需要对上链操作失败的原因进行定位，由于上链操作失败的原因包括多种，难以快速定位数据上传通道相关的原因，导致效率较低；通过对数据源进行连通性测试，可在上链之前判断是否具备上链条件，在排查数据不能上链的原因时，可通过连通性测试信息定位到数据源连通性这一环节。
实施例4
本实施例与实施例1的区别在于，所述步骤S3还包括，创建索引表；具体的，索引表包括对源数据的标识，所述标识具有唯一性，每个标识关联至少一个表或字段；索引表是对数据库表中一列或多列的值进行排序的一种结构；
建立索引表的目的是为了方便用户查询指定的表或字段，相比于在表中搜索所有行的方式，借助索引表可快速访问数据库表中的特定信息，并且可以减少源数据读写时的资源消耗。
创建索引表可以选择以下方式：
方式一：根据库表树生成索引表；
方式二：创建用户数据库索引表，并将该用户数据库索引表与源数据建立关联关系；
在实际应用中，随着数据源中数据的不断更新，库表树可能会发生变更，因此在用户数据库系统或数据管理系统提交数据变更结果后，通过索引表可以针对性地对库表树关联的数据变更进行处理，减少源数据进行轮询检查的消耗；另外，在后期执行上链任务的过程中，进行库表树变更检查，对发现的源数据结构变更进行修正和定位。
实施例5
将业务目录树与定制库表树或者库表树进行关联可以按照如下方式设置：
步骤（1），选择最低一级的子目录，例如，“子目录C111-男”或“子目录A2-城区2”；
步骤（2），选择数据库，和/或，数据表，例如，“数据库c”或“表1和表2”或“子表2”；
步骤（3），将步骤（2）选择的数据库，和/或，数据表，与步骤（1）选择的子目录建立关联关系，生成业务库表树；
本发明通过创建和关联源数据得到业务库表树，解决以下问题：
传统的数据上链操作和执行过程中，需要通过以下流程才可以较好地使用：（1）人工调研用户方资源目录名称和分类；（2）研发人员后台定制配置上链资源目录名称和分类；（3）生成与甲方服务资源一致的目录分类。
传统的上链方式，在服务过程中对实施服务人员、后台研发服务依赖度较高，降低了数据上链服务的方便性、可用性，人工干预、后台开发支撑的工作量较大，无法实现用户直接定义和使用业务库表树，且当用户业务数据分组、主题分组变更时，需要进行系统数据目录、结构调研与开发变更，效率较低，很难快速适应用户服务需求，提升了区块链应用的成本与门槛。
而本发明的方法应用于服务端，将业务目录树的定制过程开放给用户，形成了与源数据库关联的用户自定义业务分组能力，方便用户对自定义分组进行管理或执行分组的操作。
实施例6
本实施例与实施例1的区别在于，所述步骤S5中定义上链任务参数的具体过程还包括：
S5.3、修改当前上链任务所需的上链任务规则；
优点在于，服务端通过具体功能配置，使用户可对当前上链任务规则进行修改，便于用户根据上链需求及时调整上链任务，提高了上链服务的易用性和实用性；
S5.4、配置上链辅助参数，包括数据信息和操作信息；
所述数据信息为除了数据表以外的其它数据，包括：连通性测试信息、警报信息、索引表、定制库表树；
所述操作信息，为产生源数据之外的其它数据时所执行的操作，包括：用户信息、动作信息、时间信息和附加信息；
所述用户信息包括：IP地址、MAC地址、权限信息；
所述动作信息为产生新数据时所执行的操作和数据；
所述时间信息为产生新数据时所执行操作的时间和起止时刻；
所述附加信息，是指为了验证产生新数据多执行操作是否合规的信息，包括：数据库类型、数据库名称，所述数据库类型可以为SQL Server、MySQL或Oracle中的任意一种。
通过上链辅助参数，可以追溯待上链数据产生的过程，进而判断待上链数据在各个环节的信息，实现数据的可验证、可追溯；用户操作信息具有多种类型，可以从多维度对数据的产生过程进行校验。
实施例7
本实施例与实施例1的区别在于，所述步骤S5还包括：
区块链网络接收服务器发送的上链任务数据，并根据上链任务，判断上链任务的调用操作信息是否满足目标智能合约的调用条件，在调用操作信息满足调用条件的情况下，执行所述目标智能合约对应的合约代码；
调用部署在区块链上的目标智能合约，根据上链任务，执行目标智能合约中记载的数据校验规则，校验业务库表树的生成过程是否合法。
具体的，所述调用操作信息包括至少一个上链参数，所述上链参数包括：
（1）原始类型值参数，例如：源数据参数、库表树参数；
（2）关联类型值参数，例如：定制库表树参数、索引表参数、业务目录树参数；
所述关联类型值参数无法单独进行验证，而是需要与其他的上链参数一起进行验证，例如，业务目录树参数，需要与索引表参数、库表树参数和源数据参数进行综合验证，以确定业务数据表目录树参数的正确性；
（3）用户操作类型值参数，包括：a、用户基本信息值参数，例如：地址信息参数、权限信息参数；b、用户操作认证信息值参数，例如：账户名称参数、账户密码参数；c、用户操作附加信息值参数，例如：数据库类型参数、数据库名称参数；
所述调用操作信息还包括：数据供应方的身份信息、交易对目标智能合约的调用顺序、交易的交易数量等。
上述方案的优点在于，在实际应用中，不论是公有链、私有链还是联盟链，都可提供智能合约的功能。智能合约是计算机化的协议，可以执行某个合约的条款，通过部署在区块链系统的用于在满足一定条件时而执行的代码实现，根据实际的业务需求代码用于完成自动化的交易。部署在区块链系统上的智能合约只要达到触发条件即可自动执行，通过智能合约，可将业务库表树等其他待上链数据的生成过程进行校验，确保业务库表树对应的源数据真实且未被篡改，有效保证了数据的真实性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于服务目录的数据上链方法，应用于区块链数据上链系统，所述区块链数据上链系统包括服务端和区块链网络，其特征在于，所述数据上链方法包括以下步骤：
S1、预设用户权限，用于确定用户的数据读取权限；
S2、创建数据源参数，根据所述数据源参数，从多个数据源中选取目标数据源，然后所述服务端与所述目标数据源建立连接；
S3、根据预设的所述用户权限，获取所述目标数据源的数据读取权限，再从所述目标数据源获取源数据；然后遍历所述源数据中的原始数据记录，获取所述源数据的库表结构信息；再根据所述库表结构信息，创建库表树；
S4、所述服务端根据业务需求，创建根目录，然后在所述根目录下创建子目录，得到业务目录树；将所述业务目录树与所述库表树进行关联，得到所述业务库表树；
S5、所述服务端定义上链任务参数，根据所述上链任务参数，创建上链任务，所述服务端再将所述上链任务的数据发送到所述区块链网络中的共识节点；
S6、共识节点对所述上链任务进行审核，审核通过后，按照共识机制对合规性认定参数文件进行共识，得到共识结果，若所述共识结果为共识一致，记账节点执行区块链记账，完成数据上链。
2.根据权利要求1所述的一种基于服务目录的数据上链方法，其特征在于，所述步骤S1具体包括：
S1.1、用户提交注册信息到客户端，所述客户端将所述注册信息上传到所述服务端；
S1.2、所述服务端通过接收的所述注册信息，获取参与用户的角色信息；
S1.3、根据所述角色信息和预设的角色对应权限，得到所述预设用户权限。
3.根据权利要求1所述的一种基于服务目录的数据上链方法，其特征在于，所述步骤S2中，从多个数据源中选取目标数据源时，检验数据源的系统目录环境参数、采集参数与数据源的预设参数是否一致，若一致，则可以选取目标数据源；若不一致，则不得选取目标数据源；并将检验结果定义至所述步骤S5的上链任务参数中；
在所述服务端与所述目标数据源建立连接时和/或在创建所述上链任务之后，对所述数据源进行连通性测试，所述连通性测试具体过程包括：
S2.1、预设连通性验证规则，所述连通性验证规则包括验证字段、验证参数和结果判断规则，通过设置所述结果判定规则的判定条件，确定所述连通性测试是否通过；
S2.2、对所述连通性验证规则进行共识，得到已共识的连通性验证规则；
根据已共识的所述验证字段，获取所述源数据中的目标参数；
根据已共识的所述验证参数，对所述目标参数进行验证，判断连通性测试结果；
根据已共识的所述连通性测试结果，生成连通性测试信息；
若所述连通性测试结果为不通过，创建警报信息，并将警报信息反馈至所述目标数据源。
4.根据权利要求1所述的一种基于服务目录的数据上链方法，其特征在于，所述步骤S3中：从所述目标数据源获取源数据时，记录获取源数据时的相关信息，包括：数据采集的采集目标、采集规则、采集验证、采集结果，以及个人信息和重要数据采集过程与结果、时间戳；
并将获取源数据时的相关信息定义至所述步骤S5的上链任务参数中；
获取所述目标数据源的数据读取权限的具体过程包括：
S3.1、用户请求获取所述数据读取权限，所述服务端接收数据读取权限请求，确定数据读取范围：
S3.2、根据预设用户权限，对所述数据读取范围进行验证，若所述数据读取范围在预设用户权限范围内，则验证通过；
S3.3、所述数据源对所述数据读取权限请求的用户进行身份校验；
S3.4、所述数据读取权限请求验证通过和身份校验均通过后，获取所述数据读取权限。
5.根据权利要求1所述的一种基于服务目录的数据上链方法，其特征在于，所述步骤S3还包括：对所述库表树中的数据库和数据表的命名值进行重新命名，生成定制库表树。
6.根据权利要求1所述的一种基于服务目录的数据上链方法，其特征在于，所述步骤S4还包括：创建索引表，创建所述索引表包括以下方式，其一，根据所述库表树生成索引表；其二，创建用户数据库索引表，并将所述用户数据库索引表与所述源数据建立关联关系。
7.根据权利要求1所述的一种基于服务目录的数据上链方法，其特征在于，所述步骤S4还包括：将所述业务目录树与所述库表树的关联关系创建哈希标识，并定义至所述步骤S5的上链任务参数中。
8.根据权利要求1所述的一种基于服务目录的数据上链方法，其特征在于，所述步骤S5中，所述服务端定义上链任务参数的过程具体包括：
S5.1、配置上链任务规则，所述上链任务规则需要配置如下信息：数据表、任务执行时间、任务执行频率；所述数据表通过选择库表树、定制库表树或业务目录树进行确定，即所述数据表中的数据通过库表树、定制库表树或业务目录树关联的源数据进行确定；
S5.2、选择当前上链任务所需的上链任务规则。
9.根据权利要求8所述的一种基于服务目录的数据上链方法，其特征在于，所述服务端定义上链任务参数的过程还包括：
S5.3、修改当前上链任务所需的上链任务规则；
S5.4、配置上链辅助参数，包括数据信息和操作信息，所述数据信息为除了数据表以外的其它数据，包括：连通性测试信息、警报信息、索引表和定制库表树；
所述操作信息为产生源数据之外的其它数据时所执行的操作，包括：用户信息、动作信息、时间信息和附加信息。
10.根据权利要求1所述的一种基于服务目录的数据上链方法，其特征在于，所述步骤S5还包括：所述区块链网络接收所述服务端发送的上链任务数据，并按照上链请求的执行顺序从当前上链任务开始执行上链任务；
根据上链任务，判断上链任务的调用操作信息是否满足目标智能合约的调用条件，在调用操作信息满足所述调用条件的情况下，执行所述目标智能合约对应的合约代码；
调用部署在所述区块链网络上的所述目标智能合约，根据上链任务，执行所述目标智能合约中记载的数据校验规则，校验业务库表树的生成过程是否合法。
CN202210674063.XA 2022-06-15 2022-06-15 一种基于服务目录的数据上链方法 Active CN114780552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210674063.XA CN114780552B (zh) 2022-06-15 2022-06-15 一种基于服务目录的数据上链方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210674063.XA CN114780552B (zh) 2022-06-15 2022-06-15 一种基于服务目录的数据上链方法

Publications (2)

Publication Number Publication Date
CN114780552A CN114780552A (zh) 2022-07-22
CN114780552B true CN114780552B (zh) 2022-09-02

Family

ID=82420827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210674063.XA Active CN114780552B (zh) 2022-06-15 2022-06-15 一种基于服务目录的数据上链方法

Country Status (1)

Country Link
CN (1) CN114780552B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858258A (zh) * 2018-12-28 2019-06-07 北京市天元网络技术股份有限公司 基于区块链的政务数据交换方法及装置
CN112468537A (zh) * 2020-11-02 2021-03-09 国家信息中心 基于局域网环境的区块链网络搭建结构及数据处理方法
CN112581126A (zh) * 2020-12-08 2021-03-30 腾讯科技（深圳）有限公司 基于区块链的平台数据管理方法、装置及存储介质
CN112988901A (zh) * 2021-04-06 2021-06-18 湖北央中巨石信息技术有限公司 一种基于区块链的存证数据上链方法
CN113114498A (zh) * 2021-04-08 2021-07-13 同方股份有限公司 一种可信区块链服务平台的架构系统及其构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201716073D0 (en) * 2017-10-02 2017-11-15 Gorilovskiy Dmitry Moeco

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858258A (zh) * 2018-12-28 2019-06-07 北京市天元网络技术股份有限公司 基于区块链的政务数据交换方法及装置
CN112468537A (zh) * 2020-11-02 2021-03-09 国家信息中心 基于局域网环境的区块链网络搭建结构及数据处理方法
CN112581126A (zh) * 2020-12-08 2021-03-30 腾讯科技（深圳）有限公司 基于区块链的平台数据管理方法、装置及存储介质
CN112988901A (zh) * 2021-04-06 2021-06-18 湖北央中巨石信息技术有限公司 一种基于区块链的存证数据上链方法
CN113114498A (zh) * 2021-04-08 2021-07-13 同方股份有限公司 一种可信区块链服务平台的架构系统及其构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于多分类子链的政务数据质量管理架构;杨建豪 等;《信息安全研究》;20220430;全文 *

Also Published As

Publication number Publication date
CN114780552A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
JP7222036B2 (ja) モデルトレーニングシステムおよび方法および記憶媒体
Amudha Dilated transaction access and retrieval: Improving the information retrieval of blockchain-assimilated internet of things transactions
CN109729168B (zh) 一种基于区块链的数据共享交换系统及方法
US11552951B2 (en) Processing changes to authorized keys
JP6998976B2 (ja) クエリ処理方法、クエリ処理システム、サーバ及びコンピュータ可読媒体
CN110135194B (zh) 一种基于区块链的工业互联网数字对象的管理方法
US7496954B1 (en) Single sign-on system and method
CN111209596A (zh) 一种基于区块链的工业互联网标识解析访问控制方法
CN111008402B (zh) 区块链时间戳协定
CN113868289A (zh) 一种适应于智慧物联体系的标识解析系统及方法
US20120179681A1 (en) Data classification
US11138153B2 (en) Data tagging
CN111506589B (zh) 基于联盟链的区块链数据服务系统、访问方法及存储介质
CN110990879B (zh) 一种基于区块链的数据存证方法
CN111597543A (zh) 基于区块链智能合约的广域进程访问权限认证方法及系统
CN109788067A (zh) 一种基于区块链的信息处理方法和信息处理系统
CN110968894A (zh) 一种针对游戏业务数据的细粒度访问控制方案
CN103248511B (zh) 一种单点业务性能的分析方法、装置和系统
CN111177481A (zh) 用户标识映射方法及装置
CN114925391A (zh) 隐私信息的流转监管方法、装置、电子设备和存储介质
CN114780552B (zh) 一种基于服务目录的数据上链方法
CN112488834A (zh) 节点管理方法、装置、电子设备及可读存储介质
CN115131005A (zh) 一种用于电子记录的审批管理方法、系统和存储介质
CN115934832A (zh) 基于区块链的计量试验检测数据可信共享方法
CN110471926B (zh) 一种档案建立方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant