CN113434533A - 一种数据溯源工具构建方法、数据处理方法、装置及设备 - Google Patents

一种数据溯源工具构建方法、数据处理方法、装置及设备 Download PDF

Info

Publication number
CN113434533A
CN113434533A CN202110830851.9A CN202110830851A CN113434533A CN 113434533 A CN113434533 A CN 113434533A CN 202110830851 A CN202110830851 A CN 202110830851A CN 113434533 A CN113434533 A CN 113434533A
Authority
CN
China
Prior art keywords
data
module
tracing
statement
filling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110830851.9A
Other languages
English (en)
Inventor
冯煜策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110830851.9A priority Critical patent/CN113434533A/zh
Publication of CN113434533A publication Critical patent/CN113434533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例公开了一种数据溯源工具构建方法、数据处理方法、装置及设备，其中，数据溯源工具构建方法中包括：根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。本说明书实施例构建出的数据溯源工具可用于隐私数据的保护。

Description

一种数据溯源工具构建方法、数据处理方法、装置及设备
技术领域
本说明书涉及计算机技术领域，尤其涉及一种数据溯源工具的构建方法、数据处理方法、装置及设备。
背景技术
随着数据时代的到来，每天都会产生海量的数据，这些数据作为企业重要的资源，需要进行良好的管理、维护和使用。
在数据处理过程中，数据与数据之间会串成一条链路，从而自然的形成一种上下游的依赖关系，数据间的这种依赖关系对于数据资产的判重判优、变更影响分析、加工链路溯源及加工口径分析等有着重要的指导作用，是企业数据资产的重要组成部分。
现阶段，通常在每次产生数据溯源需求时都重新对数据进行溯源处理，例如，当需要对SQL语句(Structured Query Language，结构化查询语言)进行血缘分析时，则对目标SQL语句进行溯源分析，而此时，若还需要对该SQL语句进行其他溯源相关的处理，则需要重新编写程序来对该SQL进行分析处理，费时费力。
基于此，亟需一种数据溯源工具的构建方法，能够通用于各种溯源相关的处理过程，从而降低人力消耗，提升处理效率。
发明内容
有鉴于此，本说明书实施例提供了一种数据溯源工具的构建方法、数据处理方法、装置及设备,以降低人力消耗，提升数据处理效率。
本说明书实施例采用下述技术方案：
本说明书实施例提供一种数据溯源工具构建方法，包括：
根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；
根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；
通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
本说明书实施例提供一种利用数据溯源工具进行数据处理的方法，包括：
利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据前述溯源工具的构建方法构建得到的溯源模块；
遍历所述有向无环图进行数据处理。
本说明书实施例提供一种基于区块链网络进行数据处理的方法，包括：
利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为区块链网络中布置的智能合约通过前述溯源工具的构建方法构建得到的溯源模块；
遍历所述有向无环图进行数据处理；
将处理后获得的数据发送至对应的区块链节点存储。
本说明书实施例还提供一种数据溯源工具构建装置，包括：
解析模块，根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；
构建模块，根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；
填充模块，通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
本说明书实施例还提供一种利用数据溯源工具进行数据处理的装置，包括：
构建模块，利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据前述溯源工具的构建方法构建得到的溯源模块；
处理模块，遍历所述有向无环图进行数据处理。
本说明书实施例还提供一种基于区块链网络进行数据处理的装置，包括：
构建模块，利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为区块链网络中布置的智能合约通过上前述溯源工具的构建方法构建得到的溯源模块；
处理模块，遍历所述有向无环图进行数据处理；
发送模块，将处理后获得的数据发送至对应的区块链节点存储。
本说明书实施例还提供一种用于数据溯源工具构建的电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述溯源工具的构建方法。
本说明书实施例还提供一种利用数据溯源工具进行数据处理的电子设备，应用于区块链网络，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述利用数据溯源工具进行数据处理的方法。
本说明书实施例还提供一种基于区块链网络进行数据处理的电子设备，应用于区块链网络，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述基于区块链网络进行数据处理的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；根据所述操作语句的操作类型为所述操作语句构建溯源模块；通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段，构建出的溯源模块能够通用于各种与SQL语句溯源处理相关的数据处理，省时省力，同时，构建出的溯源模块直接映射到原始输入字段，应用时通过溯源模块可以直接获取原始输入字段，操作简便快捷。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种数据溯源工具构建方法以及数据处理方法的系统结构图。
图2为本说明书实施例提供的一种数据溯源工具构建方法的流程图。
图3为本说明书实施例提供的一种数据溯源工具构建方法的流程图。
图4为本说明书实施例提供的一种数据溯源工具的构建流程图。
图5为本说明书实施例提供的构建出的数据溯源工具的示意图。
图6为本说明书实施例提供的一种利用数据溯源工具进行数据处理的方法的流程图。
图7为本说明书实施例提供的一种基于区块链网络的数据处理方法的流程图。
图8为本说明书实施例提出的一种数据溯源工具构建装置示意图。
图9为本说明书实施例提出的一种利用数据溯源工具进行数据处理的装置示意图。
图10为本说明书实施例提出的一种基于区块链网络进行数据处理的装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
图1为本说明书实施例提供的一种数据溯源工具构建方法以及数据处理方法的系统结构图。
如图1所示，本说明书实施例提供的数据溯源工具构建方法，其整体思路在于，在具有溯源需求的SQL语句的SQL语法树层之上建立溯源模块构建层，再在溯源模块构建层之上建立溯源模块应用层，使得在对SQL语句进行与溯源有关的数据处理时能够直接调用预先构建完成的溯源模块进行数据处理。
由于溯源模块构建层是建立在SQL语法树层之上的，通过SQL语法树层来适配不同的SQL方言，使得针对不同的SQL方言的来构建溯源模块时只需考虑不同的解析工具生成的语法树与溯源模块的适配即可，无需针对不同的SQL方言分别构建不同的溯源模块，从而有效地提升了所述数据溯源工具构建方法的通用性和灵活性，提高了扩展能力。
具体地，SQL方言层可以设置有MySQL、OracleSQL、HiveSQL、OdpsSQL、FlinkSQL、SQLServer、SparkSQL等SQL方言。
SQL语法树层可以设置有FastSql AST、Antlr AST、Calcite AST等SQL语法树
溯源模块构建层可以设置有Project溯源模块、Tablescan溯源模块、Join溯源模块、Union溯源模块、Create溯源模块、Insert溯源模块、Clone溯源模块、MultipleInsert溯源模块等中的至少一个。
溯源模块应用层中的应用包括列级血缘的构建、使用字段溯源，SQL改写，隐私数据保护等，与溯源相关的应用。
以下结合附图，详细说明本申请各实施例提供的技术方案。
实施例1
图2为本说明书实施例提供的一种数据溯源工具构建方法的流程图。
如图2所示，本说明书实施例中的数据溯源工具构建方法包括以下步骤：
步骤S201、根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句。
本说明书实施例中，SQL(Structured Query Language)语句用于存取数据以及查询、更新和管理数据库系统，具体地，SQL语句可以用于查询数据、创建数据库、删除数据库、创建新表、删除新表、增加一个列、添加主键、删除主键、创建索引、删除索引、创建视图、删除视图等。
目标SQL语句为需要具有溯源需求的SQL语句，例如,需要进行血缘分析的SQL语句,或是需要进行SQL改写的SQL语句。
目标SQL语句可以由多个子SQL语句嵌套组成，其中，最底层的SQL语句可由关键字、字段、表、函数等基层元素组成。
本说明书实施例中，目标SQL语句可以用于对数据库中的数据进行查询操作的语句，也可以是对数据库中的进行数据加工操作的语句。
同样地，目标SQL语句中包括的子SQL语句既可以是进行查询操作的语句，也可以是进行数据加工操作的语句。
例如，父SQL语句为查询语句，对应的子SQL语句也为查询语句。
又如，父SQL语句为创建新表语句，对应的子SQL语句为查询语句。
本说明书实施例中，SQL语句的层次结构为该SQL语句的层次递归结构。
具体实施时，遍历目标SQL的抽象语法树，按照目标SQL语句的层次结构，依次解析出操作语句。
由于操作语句是依据目标SQL语句的层次结构依次解析出来的，解析出的操作语句之间能够很好地反应出其在目标SQL语句中的层次关系，从而使得后续根据操作语句构建出的溯源工具也能够继承该层次关系，进而让构建出的溯源关系能够很好地反应出目标SQL语句中嵌套关系。
例如，SQL语句可以解释为多个嵌套“子查询”，则针对“子查询”构建出的溯源模块为对应的“子溯源模块”。
同时，由于目标SQL语句中包含的语句可以是查询语句也可以是数据加工语句，因此，解析出操作语句包括数据查询语句和数据加工语句中的至少一种。
在大数据时代，无论是离线清洗还是实时计算，SQL都是常用的数据加工手段，如ODPS SQL，Hive SQL，Spark SQL，Flink SQL等，但是不同计算引擎遵循的SQL标准或方言存在差异性，同时企业级的SQL脚本往往比较复杂，包含复杂的嵌套及表达式，为了提高构建出的溯源工具的通用性，扩大适用范围，在一些实施方式中，本说明书实施例提供的一种数据溯源工具构建方法还包括：建立目标SQL语句的抽象语法树。
由于构建出的抽象语法树不依赖于原始SQL语句的语法，从而使得基于抽象语法树来构建溯源工具能够避免不同SQL方言带来的影响，实施时可以采用现有的SQL语句解析工具对SQL方言进行解析生成抽象语法树，降低了溯源工具构建的复杂性，提高了扩展能力。
为了进一步提高构建出的溯源工具的适用性，使其能够解析出更多的种类的SQL语句，在一些实施方式中，所述建立目标SQL语句的抽象语法树包括：使用开源语法分析器对目标SQL语句进行编译后建立抽象语法树。
由于开源语法分析器具有良好的解析精准度，可以解析更多种类的语句，使得解析后建立的抽象语法树能够适用于更多不同类型的SQL语句，从而有效扩大了溯源工具的使用范围。
步骤S203、根据所述操作语句对应的操作类型为所述操作语句构建溯源模块。
本说明书实施例中，预先设置有多种类型的溯源模块，每种溯源模块匹配于一种操作类型。
预先设置的溯源模块构建策略中包含有溯源模块与操作类型之间的对应关系，根据所述操作语句对应的操作类型为所述操作语句构建溯源模块可以是，根据解析出的操作语句的操作类型，从溯源模块构建策略中匹配出对应的溯源模块，则为操作语句构建的溯源模块为匹配出的溯源模块。
例如，当SQL语句用于查询数据时，若操作语句为Select语句，则对应的操作类型为Select，构建出的溯源模块为Project溯源模块。
若操作语句为Join语句，则对应的操作类型为Join，构建出的溯源模块为Join溯源模块。
若操作语句为Union语句，则对应的操作类型为Union，构建出的溯源模块为Union溯源模块。
又如，当SQL语句用于数据加工时，若操作语句为Create语句，则对应的操作类型为Create，构建出的溯源模块为Create溯源模块。
若操作语句为Insert语句，则对应的操作类型为Insert，构建出的溯源模块为Insert溯源模块。
若操作语句为Clone语句，则对应的操作类型为Clone，构建出的溯源模块为Clone溯源模块。
若操作语句为MultipleInsert语句，则对应的操作类型为MultipleInsert，构建出的溯源模块为MultipleInsert溯源模块。
通过分别针对查询操作和数据加工操作设置溯源模块，使得构建出的溯源模块能够应对各种不同类型的数据处理需求，扩大溯源模块的应用范围。
进一步地，针对不同的操作类型来设置溯源模块，使得构建出的溯源模块具有足够的细度，与后续数据处理过程相匹配，保证数据处理过程的精确度，从而既提高了数据处理效率，又提升了数据处理的准确性。
步骤S205、通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
本说明书实施例中，预先为每个溯源模块设置有对应的一种字段获取方式，通过该字段获取方式获取用于填充溯源模块的填充字段。
具体实施时，为当前的操作语句构建出对应的当前溯源模块，根据当前溯源模块确定出的填充字段获取方式，从当前操作语句的待操作数据中获取填充字段，填充至当前溯源模块中。
例如，解析出的当前操作语句为父查询语句，则从该父查询语句所包含的子查询语句中获取填充字段，填充至当前溯源模块中。
由于目标SQL语句中可能会嵌套多个字SQL语句，因此，在填充溯源模块的过程中，可以是逐级向下获取填充字段，直至最终的原始输入字段，再自下而上地填充回溯源模块中，从而使得根据目标SQL语句构建出的所有溯源模块的填充字段均能够映射至原始输入字段，即构建出的所有溯源模块所填充的填充字段均直接来源于原始表。
在一些实施方式中，获取到的填充字段包括数据列名和数据表名中的至少一种，从而根据填充字段不但能够实现表级的溯源，还能够实现列级的溯源。
进一步地，为了能够了保证溯源的准确性，在一些实施方式中，填充字段还可以包括数据列别名和数据表别名中的至少一种。
本说明书实施例中根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；根据所述操作语句的操作类型为所述操作语句构建溯源模块；通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段，构建出的溯源模块能够通用于各种与SQL语句溯源处理相关的数据处理，省时省力,同时,构建出的溯源模块直接映射到原始输入字段，应用时通过溯源模块可以直接获取原始输入字段，操作简便快捷。
实施例2
图3为本说明书实施例提供的一种数据溯源工具构建方法的流程图。
如图3所示，本说明书实施例中的数据溯源工具构建方法包括以下步骤：
步骤S301、建立目标SQL语句的抽象语法树。
步骤S303、根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句。
步骤S305、根据所述操作语句对应的操作类型为所述操作语句构建溯源模块。
上述步骤S301-S305的具体实施方式，可以参照实施例1中的步骤S201-S203，此处不再一一赘述。
步骤S307、通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
在一些实施方式中，所述从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括以下步骤：
步骤S3071，根据所述抽象语法树判断所述待操作数据的来源是否为原始输入字段。
具体地，可以是根据抽象语法树中对应节点的内容判断待操作数据是否为子操作语句，若否，则判定待操作数据的来源为原始输入字段。
也可以是根据抽象语法树中对应节点的内容判断待操作数据是否为原始表，若是，则判定待操作数据的来源为原始输入字段，例如，若待操作数据是关键字、字段、列名、表名等中的至少一种，则判定待操作数据的来源为原始输入字段。
若否,则执行步骤S3073。
若是，则执行步骤S3075。
步骤S3073，则从元数据中获取所述待操作数据对应的填充字段并填充至所述溯源模块中。
具体实施时，可以直接从元数据中获取填充字段后填充至溯源模块中，也可以是对填充字段进行处理后填充至溯源模块中。
在一些实施方式中，为了提高构建出的溯源模块的系统性和完整性，便于后续数据处理，所述从元数据中获取所述待操作数据对应的填充字段并填充至所述溯源模块中包括：
为所述待操作数据构建Tablescan溯源模块，从元数据中获取待操作数据对应的填充字段填充至所述Tablescan溯源模块中；
获取所述Tablescan溯源模块的填充字段并填充至所述溯源模块中。
具体地，若待操作数据的来源为原始表，则为该待操作数据构建Tablescan溯源模块，从元数据中心获取到与待操作数据对应的数据作为填充字段，填充至Tablescan溯源模块中，进而再将Tablescan溯源模块的填充字段并填充至操作语句对应的溯源模块中。
步骤S3075，获取所述待操作数据的填充字段并填充至所述溯源模块中，所述待操作数据的填充字段为所述待操作数据包含的操作语句所对应的溯源模块的填充字段。
具体地，当待操作数据为子操作语句时，返回步骤S3071获取该子操作语句的填充字段，直至获取到的填充字段为来自Tablescan溯源模块的填充字段。
在一些实施方式中，当所述操作语句为Join语句时，所述基于所述操作语句对应的操作类型为所述操作语句构建溯源模块包括：
为所述操作语句构建Join溯源模块；
所述通过所述溯源模块对应的字段获取方式,从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括：
分别获取通过Join语句连接的操作语句所对应的填充字段；
将获取到的填充字段连接后填充至所述Join溯源模块中。
具体地，判断操作语句是否为Join语句，若是，则为Join语句构建Join溯源模块。
由于SQL语句中，join用于根据两个或多个表中的列之间的关系，从这些表中查询数据，故在获取Join溯源模块的填充字段时，可以是获取分别获取Join语句连接的两个或多个表中的列所对应的填充字段，将获取到的填充字段连接后填充至Join溯源模块中。
需要说明的是，由于Join语句包括多种不同的连接方式，例如：INNER JOIN、LEFTJOIN、RIGHT JOIN、FULL JOIN等，具体实施时可以是根据Join语句中的具体连接方式来对填充字段进行连接。
在一些实施方式中，当所述操作语句为Union语句时，基于所述操作语句对应的操作类型为所述操作语句构建溯源模块包括：
为所述操作语句构建Union溯源模块；
所述通过所述溯源模块对应的字段获取方式,从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括：
分别获取通过Union语句连接的操作语句所对应的填充字段；
将获取到的填充字段叠加后填充至所述Union溯源模块中。
具体地，判断操作语句是否为Union语句，若是，则Union语句构建Union溯源模块。
由于SQL语句中，Union语句用于合并两个或多个Select语句的结果集，故在获取Union溯源模块的填充字段时，可以是获取分别获取Union语句连接的两个或多个Select语句所对应的填充字段，将获取到的填充字段叠加后填充至Join溯源模块中。
需要说明的是，由于Union语句包括不同的合并方式，例如：UNION、UNION ALL等，具体实施时可以是根据Union语句中的具体合并方式来对填充字段进行叠加。
为了进一步对上述事实例进行解释，以下提供一种数据溯源工具的构建流程图
图4为本说明书实施例提供的一种数据溯源工具的构建流程图。
为了进一步对上述事实例进行解释，以下根据图4提供的数据溯源工具的构建流程图为嵌套的SQL查询语句构建溯源工具的过程进行详细说明。
如图4所示，本说明书实施例中的数据溯源工具构建过程为：输入SQL脚本，利用开源语法分析器将输入的SQL脚本解析为SQLAST(抽象语法树)，遍历解析出的SQLAST，根据SQL语句的层次结构，解析出当前查询操作，为当前查询操作构建Project溯源模块，判断当前查询操作的当前待操作数据的来源是否为原始输入数据，若是则为当前待操作数据构建Tablescan溯源模块，从元数据中获取当前待操作数据对应的填充字段填充至Tablescan溯源模块中，再将Tablescan溯源模块的填充字段填充至Project溯源模块中，若否则从当前待操作数据中解析出子操作，若解析出的子操作为查询操作，则将该子操作作为当前查询操作，返回前述为当前查询操作构建Project溯源模块进行处理，若解析出的子操作为Join操作或Union操作，构建Join溯源模块或Union溯源模块，则将Join或Union连接的语句拆分后分别作为当前查询操作，返回前述为当前查询操作构建Project溯源模块进行处理，直至获取到来源于原始输入数据的填充字段，再将获取到的填充字段连接或叠加后填充至Join溯源模块或Union溯源模块，最终使得构建出的所有溯源模块的填充字段的来源均为原始输入数据。
为了进一步对上述事实例进行解释，以下还提供一种根据SQL语句构建出的数据溯源工具。
图5为本说明书实施例提供的构建出的数据溯源工具的示意图。
为了进一步对上述事实例进行解释，以下根据图5提供的构建出的数据溯源工具的示意图进行详细说明。
表字段信息为：{"t1":["c1","c2"],"t2":["c1","c2"],"t3":["c1","c2"]}
目标SQL语句为：create table o1 as
Figure BDA0003175493570000101
Figure BDA0003175493570000111
针对上述目标SQL语句构建出的溯源工具如图5所示。
根据表字段信息显示，表t1、t2、t3中均包含c1、c2列。
如图5所示，为解析出的create语句构建的溯源模块为create溯源模块，其对应的填充字段为{＝{c99＝[t1.c1,t3.c1]}}，为解析出的select语句构建的溯源模块为Project溯源模块，其对应的填充字段为{＝{c99＝[t1.c1,t3.c1]}}，为解析出的Union语句构建的溯源模块为Union溯源模块，其对应的填充字段为{＝{c1＝[t1.c1,t3.c1]}}，为解析出的Join语句构建的溯源模块为Join溯源模块，其对应的填充字段为{t2＝{c1＝[t2.c1],c2＝[t2.c2]}}，为解析出的t1构建的溯源模块为Tablescan溯源模块，其对应的填充字段为{t1＝{c1＝[t1.c1],c2＝[t1.c2]}}，为解析出的t2构建的溯源模块为Tablescan溯源模块，其对应的填充字段为{t2＝{c1＝[t2.c1],c2＝[t2.c2]}}，为解析出的t3构建的溯源模块为Tablescan溯源模块，其对应的填充字段为{t3＝{c1＝[t3.c1],c2＝[t3.c2]}}。
同时，由于溯源模块是基于根据目标SQL语句的层次结构解析出操作语句构建出来的，因此，如图5所示，构建出的溯源模块之间完整地反映出了操作语句在目标SQL语句中的层次关系。
综上，通过图5所示的溯源模块示意图可知，通过本说明书实施例构建出的溯源模块不但具备了目标SQL语句中的层次关系，而且每层溯源模块的填充字段均映射到了原始输入字段。
实施例3
图6为本说明书实施例提供的一种利用数据溯源工具进行数据处理的方法的流程图。
如图6所示，本说明书实施例中的一种利用数据溯源工具进行数据处理的方法包括以下步骤：
步骤S601、利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据前述任意一项所述溯源工具的构建方法构建得到的溯源模块。
本说明书实施例中，对目标SQL语句进行溯源相关的处理时，可以是重新构建抽象语法树，也可以是获取预先构建好的抽象语法树。
具体地，遍历目标SQL语句的抽象语法树构建有向无环图，该有向无环图以预先构建好的溯源模块为节点，从而可以直接调用溯源模块，无需重新对目标SQL语句进行分析。
同时，由于预先基于目标SQL语句构建的溯源模块之间保留了目标SQL语句的层次结构，故构建有向无环图时能够更为便捷和准确，也使得构建出的以溯源模块为节点的有向无环图更贴合目标SQL语句中的嵌套关系。
进一步地，由于每个溯源模块均具有直接映射到原始输入字段的填充字段，因此，可以快速准确地得到填充有直接映射到原始输入字段的有向无环图。
步骤S603、遍历所述有向无环图进行数据处理。
由于有向无环图中填充的字段直接映射到原始输入字段，因此，利用该有向无环图能够简单便捷地进行各种溯源相关的数据处理。
本说明书实施例中，所述数据处理包括：数据血缘的构建、字段溯源以及SQL语句改写中的至少一种。
实施例4
本说明书实施例4中提供的数据处理方法，是在实施例1的基础上，提供一种基于区块链网络的数据处理方法。
图7为本说明书实施例提供的一种基于区块链网络的数据处理方法的流程图。
如图7所示，本说明书实施例中的基于区块链网络的数据处理方法包括以下步骤：
步骤S701、利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为区块链网络中布置的智能合约通过前述任意一项所述溯源工具的构建方法构建得到的溯源模块。
步骤S703、遍历所述有向无环图进行数据处理。
步骤S705、将处理后获得的数据发送至对应的区块链节点存储。
上述步骤S701-S705中的具体实施方式可参照前述实施例1-3中公开的实施方式实施。
上述任一实施例所提供的数据处理方法可以应用于隐私数据保护。例如，利用上述任一实施例所提供的数据处理方法可以针对隐私字段进行溯源，提取待处理数据中的隐私字段，并针对隐私字段进行脱敏处理，从而有效地保护隐私数据。
通过上述任一实施例所提供的数据处理方法进行隐私保护时，只需要根据待保护的隐私数据来构建溯源模块，即可针对不同的目标SQL语句进行处理，应用于各种不同的隐私保护场景，如用户隐私数据的保护，商业隐私数据的保护，研发隐私数据的保护等等。
同时，通过上述任一实施例所提供的数据处理方法进行隐私保护时，由于只需要对溯源模块进行调整即可设置不同的权限对应的待保护隐私数据，使得对隐私数据的保护更加灵活便捷，隐私数据保护效率更高。
实施例5
图8为本说明书实施例提出的一种数据溯源工具构建装置示意图。
基于同一个申请构思，本说明书实施例记载的数据溯源工具构建装置可以包括：解析模块801，构建模块803，填充模块805。
解析模块801，根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；
构建模块803，根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；
填充模块805，通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
实施例6
图9为本说明书实施例提出的一种利用数据溯源工具进行数据处理的装置示意图。
基于同一个申请构思，本说明书实施例记载的利用数据溯源工具进行数据处理的装置可以包括：构建模块901，处理模块903。
构建模块901，利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据前述任意一项所述的溯源工具的构建方法构建得到的溯源模块；
处理模块903，遍历所述有向无环图进行数据处理。
可选地，所述数据处理包括：数据血缘的构建、字段溯源以及SQL语句改写中的至少一种。
实施例7
图10为本说明书实施例提出的一种基于区块链网络进行数据处理的装置示意图。
基于同一个申请构思，本说明书实施例记载的基于区块链网络进行数据处理的装置可以包括：构建模块1001，处理模块1003，发送模块1004。
构建模块1001，利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为区块链网络中布置的智能合约通过前述任意一项所述的溯源工具的构建方法构建得到的溯源模块；
处理模块1003，遍历所述有向无环图进行数据处理。
发送模块1005，将处理后获得的数据发送至对应的区块链节点存储。
本说明书实施例还提供了一种数据溯源工具构建的电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任意一项所述的溯源工具的构建方法。
本说明书实施例还提供了一种利用数据溯源工具进行数据处理的电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任意一项所述的利用数据溯源工具进行数据处理的方法。
本说明书实施例还提供了一种基于区块链网络进行数据处理的电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任意一项所述的基于区块链网络进行数据处理的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于系统、装置、设备、非易失性计算机存储介质实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的系统、装置、设备、非易失性计算机存储介质与方法是对应的，它们也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应的系统、装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种数据溯源工具构建方法，包括：
根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；
根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；
通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
2.如权利要求1所述的方法，还包括：建立目标SQL语句的抽象语法树。
所述建立目标SQL语句的抽象语法树包括：
使用开源语法分析器对目标SQL语句进行编译后建立抽象语法树。
3.如权利要求1所述的方法，所述从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括：
根据所述抽象语法树判断所述待操作数据的来源是否为原始输入字段；
若否,则获取所述待操作数据的填充字段并填充至所述溯源模块中，所述待操作数据的填充字段为所述待操作数据包含的操作语句所对应的溯源模块的填充字段。
4.如权利要求3所述的方法，还包括：若是，则从元数据中获取所述待操作数据对应的填充字段并填充至所述溯源模块中。
5.如权利要求4所述的方法，所述从元数据中获取所述待操作数据对应的填充字段并填充至所述溯源模块中包括：
为所述待操作数据构建Tablescan溯源模块，从元数据中获取待操作数据对应的填充字段填充至所述Tablescan溯源模块中；
获取所述Tablescan溯源模块的填充字段并填充至所述溯源模块中。
6.如权利要求1所述的方法，当所述操作语句为Join语句时，所述基于所述操作语句对应的操作类型为所述操作语句构建溯源模块包括：
为所述操作语句构建Join溯源模块；
所述通过所述溯源模块对应的字段获取方式,从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括：
分别获取通过Join语句连接的操作语句所对应的填充字段；
将获取到的填充字段连接后填充至所述Join溯源模块中。
7.如权利要求1所述的方法，当所述操作语句为Union语句时，基于所述操作语句对应的操作类型为所述操作语句构建溯源模块包括：
为所述操作语句构建Union溯源模块；
所述通过所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括：
分别获取通过Union语句连接的操作语句所对应的填充字段；
将获取到的填充字段叠加后填充至所述Union溯源模块中。
8.如权利要求1所述的方法，所述操作语句包括数据查询语句和数据加工语句中的至少一种。
9.如权利要求1所述的方法，所述填充字段包括数据列名和数据表名中的至少一种。
10.一种利用数据溯源工具进行数据处理的方法，包括：
利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据上述权利要求1-9中任意一项所述的溯源工具的构建方法构建得到的溯源模块；
遍历所述有向无环图进行数据处理。
11.如权利要求10所述的方法，所述数据处理包括：数据血缘的构建、字段溯源以及SQL语句改写中的至少一种。
12.一种基于区块链网络进行数据处理的方法，包括：
利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为区块链网络中布置的智能合约通过上述权利要求1-9中任意一项所述的溯源工具的构建方法构建得到的溯源模块；
遍历所述有向无环图进行数据处理；
将处理后获得的数据发送至对应的区块链节点存储。
13.一种数据溯源工具构建装置，包括：
解析模块，根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；
构建模块，根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；
填充模块，通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
14.一种利用数据溯源工具进行数据处理的装置，包括：
构建模块，利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据上述权利要求1-9中任意一项所述的溯源工具的构建方法构建得到的溯源模块；
处理模块，遍历所述有向无环图进行数据处理。
15.如权利要求14所述的装置，所述数据处理包括：数据血缘的构建、字段溯源以及SQL语句改写中的至少一种。
16.一种基于区块链网络进行数据处理的装置，包括：
构建模块，利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为区块链网络中布置的智能合约通过上述权利要求1-9中任意一项所述的溯源工具的构建方法构建得到的溯源模块；
处理模块，遍历所述有向无环图进行数据处理；
发送模块，将处理后获得的数据发送至对应的区块链节点存储。
17.一种数据溯源工具构建的电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述权利要求1-9中任意一项所述的溯源工具的构建方法。
18.一种利用数据溯源工具进行数据处理的电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述权利要求10-11中任意一项所述的利用数据溯源工具进行数据处理的方法。
19.一种基于区块链网络进行数据处理的电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述权利要求12所述的基于区块链网络进行数据处理的方法。
CN202110830851.9A 2021-07-22 2021-07-22 一种数据溯源工具构建方法、数据处理方法、装置及设备 Pending CN113434533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110830851.9A CN113434533A (zh) 2021-07-22 2021-07-22 一种数据溯源工具构建方法、数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110830851.9A CN113434533A (zh) 2021-07-22 2021-07-22 一种数据溯源工具构建方法、数据处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113434533A true CN113434533A (zh) 2021-09-24

Family

ID=77761386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110830851.9A Pending CN113434533A (zh) 2021-07-22 2021-07-22 一种数据溯源工具构建方法、数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113434533A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672628A (zh) * 2021-10-22 2021-11-19 中航金网(北京)电子商务有限公司 数据血缘分析方法、终端设备及介质
CN113836171A (zh) * 2021-09-27 2021-12-24 北京金山云网络技术有限公司 数据脱敏方法、装置、电子设备及可读存储介质
CN113901094A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 一种数据处理方法、装置、设备及存储介质
CN114003231A (zh) * 2021-09-28 2022-02-01 厦门国际银行股份有限公司 一种sql语法解析树优化方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168556A (zh) * 2016-11-10 2019-08-23 惠普发展公司，有限责任合伙企业 可追踪性标识符
CN111078729A (zh) * 2019-12-19 2020-04-28 医渡云（北京）技术有限公司 医疗数据溯源方法、装置、系统、存储介质以及电子设备
CN112347123A (zh) * 2020-11-10 2021-02-09 北京金山云网络技术有限公司 数据血缘的分析方法、装置和服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168556A (zh) * 2016-11-10 2019-08-23 惠普发展公司，有限责任合伙企业 可追踪性标识符
CN111078729A (zh) * 2019-12-19 2020-04-28 医渡云（北京）技术有限公司 医疗数据溯源方法、装置、系统、存储介质以及电子设备
CN112347123A (zh) * 2020-11-10 2021-02-09 北京金山云网络技术有限公司 数据血缘的分析方法、装置和服务器

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836171A (zh) * 2021-09-27 2021-12-24 北京金山云网络技术有限公司 数据脱敏方法、装置、电子设备及可读存储介质
CN114003231A (zh) * 2021-09-28 2022-02-01 厦门国际银行股份有限公司 一种sql语法解析树优化方法及系统
CN114003231B (zh) * 2021-09-28 2022-07-26 厦门国际银行股份有限公司 一种sql语法解析树优化方法及系统
CN113901094A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 一种数据处理方法、装置、设备及存储介质
CN113901094B (zh) * 2021-09-29 2022-08-23 北京百度网讯科技有限公司 一种数据处理方法、装置、设备及存储介质
CN113672628A (zh) * 2021-10-22 2021-11-19 中航金网(北京)电子商务有限公司 数据血缘分析方法、终端设备及介质

Similar Documents

Publication Publication Date Title
CN113434533A (zh) 一种数据溯源工具构建方法、数据处理方法、装置及设备
CN107038207B (zh) 一种数据查询方法、数据处理方法及装置
Wu et al. Efficiently translating complex SQL query to mapreduce jobflow on cloud
CN110245002B (zh) 系统交互方法、装置、设备及存储介质
CN114625732B (zh) 基于结构化查询语言sql的查询方法和系统
Junghanns et al. Declarative and distributed graph analytics with GRADOOP
WO2019237333A1 (en) Converting database language statements between dialects
CN106844369B (zh) 对象化sql语句构造方法及装置
US20240184543A1 (en) Page multiplexing method, page multiplexing device, storage medium and electronic apparatus
CN106156050B (zh) 一种数据处理方法及装置
CN111125216B (zh) 数据导入Phoenix的方法及装置
Lellmann Combining monotone and normal modal logic in nested sequents–with countermodels
CN116341642B (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN116432185B (zh) 一种异常检测方法、装置、可读存储介质及电子设备
CN115934161A (zh) 一种代码变更的影响分析方法、装置以及设备
CN116521705A (zh) 一种数据查询方法、装置、存储介质及电子设备
CN115878654A (zh) 一种数据查询的方法、装置、设备及存储介质
CN116795859A (zh) 数据分析方法、装置、计算机设备和存储介质
CN112988986A (zh) 人机交互方法、装置与设备
CN116756184B (zh) 数据库实例处理方法、装置、设备、存储介质及程序产品
Kambayashi et al. A relational data language with simplified binary relation handling capability
US20240143928A1 (en) Generation of interactive utterances of code tasks
CN111046130B (zh) 结合ElasticSearch和FSM的关联检索方法
Reddy et al. Hierarchically Distributed Data Matrix Scheme for Modeling and Building Data Processing Applications
Zhang et al. Sesame: A new bioinformatics semantic workflow design system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210924

RJ01 Rejection of invention patent application after publication