CN118069676A - 一种数据处理的方法、电子设备及存储介质 - Google Patents
一种数据处理的方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118069676A CN118069676A CN202211467472.9A CN202211467472A CN118069676A CN 118069676 A CN118069676 A CN 118069676A CN 202211467472 A CN202211467472 A CN 202211467472A CN 118069676 A CN118069676 A CN 118069676A
- Authority
- CN
- China
- Prior art keywords
- fields
- determining
- field
- blood
- data table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 50
- 239000008280 blood Substances 0.000 claims abstract description 12
- 210000004369 blood Anatomy 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 7
- 238000009966 trimming Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 229910021532 Calcite Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理的方法、电子设备及存储介质，属于数据库技术领域。所述方法包括：确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段；在读取所述第一数据表时，裁剪掉所述第二字段。
Description
技术领域
本申请属于数据库技术领域，具体涉及一种数据处理的方法、电子设备及存储介质。
背景技术
在大数据技术领域，数据血缘描述了数据的来源和去向，以及数据在多个处理过程中的转换，其在很多业务场景中发挥着重要作用，例如，数据仓库中基于结构化查询语言(Structured Query Language，SQL)的字段血缘可以应用于字段的前向回溯、后向影响性范围分析、敏感数据做字段脱敏等。
但在实际应用中，相关基于全量的表和字段形成的字段血缘，在对应生成的SQL执行计划时，存在计算和存储的浪费，数据处理效率低。
发明内容
本申请实施例的目的是提供一种数据处理的方法、电子设备及存储介质，能够实现在不同的应用场景下，节省计算和存储成本，提高数据处理效率。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种数据处理的方法，所述方法包括：确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段；在读取所述第一数据表时，裁剪掉所述第二字段。
第二方面，本申请实施例提供了一种数据处理的装置，所述装置包括：第一确定模块，用于确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；第二确定模块，用于根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；第三确定模块，用于在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段；裁剪模块，用于在读取所述第一数据表时，裁剪掉所述第二字段。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的数据处理的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的数据处理的方法的步骤。
在本申请实施例中，通过确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段；在读取所述第一数据表时，裁剪掉所述第二字段，能够实现在不同的应用场景下，节省计算和存储成本，提高数据处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理的方法的流程示意图。
图2是本申请实施例提供的一种数据处理的方法的流程示意图。
图3是本申请实施例提供的一种数据处理的装置的结构示意图。
图4是本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
图1示出本申请实施例提供的数据处理的方法的一种流程示意图，该方法可以由电子设备执行，例如终端设备或服务端设备。换言之，所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。如图所示，该方法可以包括以下步骤。
S101：确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段。
其中，第一数据库应用场景例如可以为信号覆盖区域查询、运营商网络故障定位等，对应的SQL语句用于从所述第一数据库应用场景对应的数据表中读取相关需要的信息，例如信号覆盖情况、网络故障信息等。实际应用中，本步骤可以读取所述第一数据库应用场景中的多个第一SQL语句，然后对每个所述第一SQL语句进行解析，确定其中的多个第一字段。
S102：根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系。
数据血缘是在数据溯源的过程中找到相关数据之间的联系，即数据产生的链路，而SQL作为存取数据以及查询、更新和管理关系数据库系统的一种标准化语言，定义了多种对数据库中数据的进行操作的方法，如，数据定义语言(Data Definition Language，DDL)、数据操作语言(Data Manipulation Language，DML)、数据查询语言(Data QueryLanguage，DQL)等。基于不同的SQL语句对数据表(同一个数据表或不同的数据表)中的字段进行相关的处理，例如，select、group by、join等，就形成了不同字段间的血缘关系。
本步骤可基于预设的SQL语句解析工具，如，Apache Calcite组件，解析各SQL语句中包含的多个第一字段之间的第一血缘关系，
S103：在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段。
本步骤基于上述步骤得到的血缘关系，在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段，其中，与所述第一血缘关系不匹配包括所述第一血缘关系中不包含所述第二字段，即所述第二字段在所述第一数据库应用场景中是冗余字段。
S104：在读取所述第一数据表时，裁剪掉所述第二字段。
本步骤在获取到所述第一数据库应用场景中的冗余字段后，在读取所述第一数据表时，裁剪掉所述第二字段，由此，实现在不同的应用场景下，减少相应的I/O操作，节约计算和存储成本，提高数据处理的效率。
本申请实施例提供的一种数据处理的方法，通过确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段；在读取所述第一数据表时，裁剪掉所述第二字段，能够实现在不同的应用场景下，节省计算和存储成本，提高数据处理效率。
需要说明的是，本申请中字段血缘可应用于大数据平台上的各种应用，如数据资产、数据开发、数据治理、数据安全等领域，特别是数据中台的共享数据服务，采用本申请各实施例所述的数据处理的方法，根据上层不同应用按需采集数据，对系统资源进行精细化优化，节省计算、存储、开发等成本的同时，提高数据处理的效率。
一个SQL语句可能会存在不满足SQL语法的情况，只有基于满足SQL语法的正确的SQL语句才能形成正确的血缘关系。在一种可能的实现方式中，所述根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系，包括：确定所述第一SQL语句的第一语法；在所述第一语法满足预设语法条件的情况下，根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系。
另外，SQL语句中的字段会存在一些错误，如字段类型错误。在一种可能的实现方式中，在所述确定所述多个第一字段之间的第一血缘关系之前，还包括：对所述多个第一字段进行校验，确定所述多个第一字段中的不正确字段，以提示对所述多个第一字段中的不正确字段进行修正。
具体地，所述对所述多个第一字段进行校验，确定所述多个第一字段中的不正确字段，以提示对所述多个第一字段中的不正确字段进行修正，包括：根据所述第一数据表的元数据信息，确定所述第一字段的类型；判断所述第一字段的类型是否满足预设条件；若否，提示对所述第一字段的类型进行修正。
再次，SQL语句中的字段是由自定义函数生成，如，自定义函数的返回值，或SQL语句中的字段用于作为自定义函数的一个输入的情况，需要对该自定义函数的返回参数或输入参数的类型进行校验。在一种可能的实现方式中，所述对所述多个第一字段进行校验，确定所述多个第一字段中的不正确字段，以提示对所述多个第一字段中的不正确字段进行修正，包括：确定所述第一字段对应的第一函数的第一参数，所述第一参数包括输入参数、输出参数中的至少一者；判断所述第一参数的类型是否满足预设参数类型；若否，提示对所述第一参数的类型进行修正。
通过上述校验步骤，使对应SQL及字段的正确，保证生成准确的血缘关系，从而更加准确地分析冗余字段，实现精准计算和存储的效果。
图2示出本申请实施例提供的数据处理的方法的一种流程示意图，该方法可以由电子设备执行，例如终端设备或服务端设备。换言之，所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。如图所示，该方法可以包括以下步骤。
S200：基于预设方式，确定第一数据库应用场景对应的第一数据表的元数据信息。
其中，所述预设方式包括读取所述第一数据表对应的数据定义语句DDL或通过连接数据库获取所述第一数据表，所述连接数据库方式如Java数据库连接(Java DatabaseConnectivity，JDBC)。
S201：确定所述第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段。
本步骤采用图1实施例对应步骤的描述，在此不再赘述。
S202：根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系。
本步骤采用图1实施例对应步骤的描述，在此不再赘述。
在一种可能的实现方式中，所述步骤S203，包括：根据所述第一SQL语句，生成第一语法树；根据所述第一语法树和所述多个第一字段，确定第一节点树，所述第一节点树的叶子节点包括所述多个字段，所述第一节点树的非叶子节点包括多个算子；遍历所述第一节点树，根据所述多个算子的属性，确定所述多个第一字段之间的第一血缘关系。
所述算子包括SQL语句中的select、group by、join、having等算子。
S203：根据所述第一数据表的元数据信息和所述第一血缘关系，确定所述第一数据表中与所述第一血缘关系不匹配的第二字段。
本步骤结合第一数据表的元数据信息，可以查找到所述第一数据表中所有与所述第一血缘关系不匹配的第二字段，即所有的冗余字段。
S204：在所述第一数据表对应的SQL执行计划中，裁剪掉所述第二字段，生成裁剪优化后的SQL执行计划。
基于上述步骤找到的所有冗余字段，在所述第一数据表对应的SQL执行计划中，裁剪掉所述第二字段，生成裁剪优化后的SQL执行计划，数据库在底层读写时即可跳过该字段，从而减少数据的I/O，提升SQL的执行效率。
本申请实施例提供的一种数据处理的方法，通过基于预设方式，确定第一数据库应用场景对应的第一数据表的元数据信息，其中，所述预设方式包括读取所述第一数据表对应的数据定义语句DDL或通过连接数据库获取所述第一数据表；确定所述第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；根据所述第一数据表的元数据信息和所述第一血缘关系，在所述第一数据表中，确定与所述第一血缘关系不匹配的第二字段；在所述第一数据表对应的SQL执行计划中，裁剪掉所述第二字段，生成裁剪优化后的SQL执行计划，能够实现在不同的应用场景下，节省计算和存储成本，提高数据处理效率。
需要说明的是，本申请实施例提供的数据处理的方法，执行主体可以为数据处理的装置，或者该数据处理的装置中的用于执行数据处理的方法的控制模块。本申请实施例中以数据处理的装置执行数据处理的的方法为例，说明本申请实施例提供的数据处理的装置。
图3是本申请实施例提供的一种数据处理的装置的结构示意图。如图3所示，该数据处理的装置300包括：第一确定模块310、第二确定模块320、第三确定模块330和裁剪模块340。
第一确定模块310，用于确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；第二确定模块320，用于根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；第三确定模块330，用于在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段；裁剪模块340，用于在读取所述第一数据表时，裁剪掉所述第二字段。
在一种可能的实现方式中，所述第二确定模块320，用于：确定所述第一SQL语句的第一语法；在所述第一语法满足预设语法条件的情况下，根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系。
在一种可能的实现方式中，所述第二确定模块320，用于：根据所述第一SQL语句，生成第一语法树；根据所述第一语法树和所述多个第一字段，确定第一节点树，所述第一节点树的叶子节点包括所述多个字段，所述第一节点树的非叶子节点包括多个算子；遍历所述第一节点树，根据所述多个算子的属性，确定所述多个第一字段之间的第一血缘关系。
在一种可能的实现方式中，所述裁剪模块340，用于：在所述第一数据表对应的SQL执行计划中，裁剪掉所述第二字段，生成裁剪优化后的SQL执行计划。
在一种可能的实现方式中，所述装置300还包括：获取模块，用于：基于预设方式，确定所述第一数据表的元数据信息，其中，所述预设方式包括读取所述第一数据表对应的数据定义语句DDL或通过连接数据库获取所述第一数据表；所述第三确定模块330，用于：根据所述第一数据表的元数据信息和所述第一血缘关系，确定所述第一数据表中与所述第一血缘关系不匹配的第二字段。
在一种可能的实现方式中，所述装置300还包括：校验模块，用于对所述多个第一字段进行校验，确定所述多个第一字段中的不正确字段，以提示对所述多个第一字段中的不正确字段进行修正。
在一种可能的实现方式中，所述校验模块用于：根据所述第一数据表的元数据信息，确定所述第一字段的类型；判断所述第一字段的类型是否满足预设条件；若否，提示对所述第一字段的类型进行修正。
在一种可能的实现方式中，所述校验模块用于：确定所述第一字段对应的第一函数的第一参数，所述第一参数包括输入参数、输出参数中的至少一者；判断所述第一参数的类型是否满足预设参数类型；若否，提示对所述第一参数的类型进行修正。
本申请实施例提供的一种数据处理的装置，通过第一确定模块，用于确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；第二确定模块，用于根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；第三确定模块，用于在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段；裁剪模块，用于在读取所述第一数据表时，裁剪掉所述第二字段，能够实现在不同的应用场景下，节省计算和存储成本，提高数据处理效率。
本申请实施例提供的数据处理的装置能够实现图1至2所述的数据处理的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例中的数据处理的装置可以是装置，也可以是终端设备中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的数据处理的装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
可选的，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现：图1和图2实施例中至少一个实施例所述的数据处理的方法。需要说明的是，本申请实施例中的电子设备包括：服务器、终端设备或除终端设备之外的其他设备。
以上电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，例如，输入单元，可以包括图形处理器(Graphics Processing Unit，GPU)和麦克风，显示单元可以采用液晶显示器、有机发光二极管等形式来配置显示面板。用户输入单元包括触控面板以及其他输入设备中的至少一种。触控面板也称为触摸屏。其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括易失性存储器或非易失性存储器，或者，存储器可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。
处理器可包括一个或多个处理单元；可选的，处理器集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现图1和图2实施例中至少一个实施例所述的数据处理的方法，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述数据处理的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种数据处理的方法，其特征在于，所述方法包括：
确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段；
根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系；
在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段；
在读取所述第一数据表时，裁剪掉所述第二字段。
2.根据权利要求1所述的方法，其特征在于，在所述确定所述多个第一字段之间的第一血缘关系之前，还包括：
对所述多个第一字段进行校验，确定所述多个第一字段中的不正确字段，以提示对所述多个第一字段中的不正确字段进行修正。
3.根据权利要求1所述的方法，其特征在于，所述在所述第一数据库应用场景对应的第一数据表中，确定与所述第一血缘关系不匹配的第二字段，包括：
基于预设方式，确定所述第一数据表的元数据信息，其中，所述预设方式包括读取所述第一数据表对应的数据定义语句DDL或通过连接数据库获取所述第一数据表；
根据所述第一数据表的元数据信息和所述第一血缘关系，确定所述第一数据表中与所述第一血缘关系不匹配的第二字段。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系，包括：
根据所述第一SQL语句，生成第一语法树；
根据所述第一语法树和所述多个第一字段，确定第一节点树，所述第一节点树的叶子节点包括所述多个字段，所述第一节点树的非叶子节点包括多个算子；
遍历所述第一节点树，根据所述多个算子的属性，确定所述多个第一字段之间的第一血缘关系。
5.根据权利要求2所述的方法，其特征在于，所述对所述多个第一字段进行校验，确定所述多个第一字段中的不正确字段，以提示对所述多个第一字段中的不正确字段进行修正，包括：
根据所述第一数据表的元数据信息，确定所述第一字段的类型；
判断所述第一字段的类型是否满足预设条件；
若否，提示对所述第一字段的类型进行修正。
6.根据权利要求2所述的方法，其特征在于，所述对所述多个第一字段进行校验，确定所述多个第一字段中的不正确字段，以提示对所述多个第一字段中的不正确字段进行修正，包括：
确定所述第一字段对应的第一函数的第一参数，所述第一参数包括输入参数、输出参数中的至少一者；
判断所述第一参数的类型是否满足预设参数类型；
若否，提示对所述第一参数的类型进行修正。
7.根据权利要求1所述的方法，其特征在于，所述在读取所述第一数据表时，裁剪掉所述第二字段，包括：
在所述第一数据表对应的SQL执行计划中，裁剪掉所述第二字段，生成裁剪优化后的SQL执行计划。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系，包括：
确定所述第一SQL语句的第一语法；
在所述第一语法满足预设语法条件的情况下，根据所述第一SQL语句和所述多个第一字段，确定所述多个第一字段之间的第一血缘关系。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述的方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-8任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211467472.9A CN118069676A (zh) | 2022-11-22 | 2022-11-22 | 一种数据处理的方法、电子设备及存储介质 |
| PCT/CN2023/124222 WO2024109376A1 (zh) | 2022-11-22 | 2023-10-12 | 一种数据处理的方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211467472.9A CN118069676A (zh) | 2022-11-22 | 2022-11-22 | 一种数据处理的方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118069676A true CN118069676A (zh) | 2024-05-24 |
Family
ID=91099586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211467472.9A Pending CN118069676A (zh) | 2022-11-22 | 2022-11-22 | 一种数据处理的方法、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN118069676A (zh) |
| WO (1) | WO2024109376A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180165337A1 (en) * | 2016-12-13 | 2018-06-14 | Ca, Inc. | System for Extracting Data from a Database in a User Selected Format and Related Methods and Computer Program Products |
| CN110633333A (zh) * | 2019-09-25 | 2019-12-31 | 京东数字科技控股有限公司 | 数据血缘关系的处理方法及系统、计算设备和介质 |
| CN113961584A (zh) * | 2021-10-20 | 2022-01-21 | 平安银行股份有限公司 | 字段血缘分析方法、装置、电子设备及存储介质 |
| CN114265945B (zh) * | 2021-12-30 | 2024-07-26 | 多点生活(武汉)科技有限公司 | 血缘关系提取方法、装置及电子设备 |
-
2022
- 2022-11-22 CN CN202211467472.9A patent/CN118069676A/zh active Pending
-
2023
- 2023-10-12 WO PCT/CN2023/124222 patent/WO2024109376A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024109376A1 (zh) | 2024-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110908997B (zh) | 数据血缘构建方法、装置、服务器及可读存储介质 | |
| CN110795455B (zh) | 依赖关系解析方法、电子装置、计算机设备及可读存储介质 | |
| CN110275965B (zh) | 假新闻检测方法、电子装置及计算机可读存储介质 | |
| US8732127B1 (en) | Method and system for managing versioned structured documents in a database | |
| CN109635300B (zh) | 数据校验方法及装置 | |
| CN113127478B (zh) | 数据内生血缘关系的分析方法、装置和计算机设备 | |
| US8527480B1 (en) | Method and system for managing versioned structured documents in a database | |
| CN110457346B (zh) | 数据查询方法、装置及计算机可读存储介质 | |
| CN110688544A (zh) | 一种查询数据库的方法、设备及存储介质 | |
| CN115374759B (zh) | 在线文档编辑区域定位方法、装置、服务器及存储介质 | |
| CN106126504A (zh) | A2l语法解析器及方法 | |
| CN113901083A (zh) | 基于多解析器的异构数据源操作资源解析定位方法和设备 | |
| CN110362630B (zh) | 数据管理方法、装置、设备与计算机可读存储介质 | |
| CN115952203B (zh) | 数据查询方法、设备、系统及存储介质 | |
| CN118069676A (zh) | 一种数据处理的方法、电子设备及存储介质 | |
| CN115757174A (zh) | 一种数据库的差异检测方法及装置 | |
| CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
| CN112416966B (zh) | 即席查询方法、装置、计算机设备和存储介质 | |
| CN113821533A (zh) | 数据查询的方法、装置、设备以及存储介质 | |
| US9002810B1 (en) | Method and system for managing versioned structured documents in a database | |
| US8898122B1 (en) | Method and system for managing versioned structured documents in a database | |
| CN110795451B (zh) | Sql指纹还原方法、装置、计算机设备和存储介质 | |
| CN110737642A (zh) | 数据库信息分析方法、装置、计算机装置及存储介质 | |
| CN115186674B (zh) | 一种航空失效案例管理方法、装置、设备及存储介质 | |
| CN116756184B (zh) | 数据库实例处理方法、装置、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |