CN112364025A - 数据处理的方法及装置、电子设备及计算机可读存储介质 - Google Patents
数据处理的方法及装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112364025A CN112364025A CN202011378919.6A CN202011378919A CN112364025A CN 112364025 A CN112364025 A CN 112364025A CN 202011378919 A CN202011378919 A CN 202011378919A CN 112364025 A CN112364025 A CN 112364025A
- Authority
- CN
- China
- Prior art keywords
- source
- information
- target
- configuration information
- statistical result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
本申请提供了一种数据处理的方法及装置、电子设备及计算机可读存储介质，包括：依据用户在预设的第一信息栏输入的源表信息，生成源表的信息表，依据用户在预设的第二信息栏输入的配置信息，生成配置信息表，依据信息表和配置信息表，生成目标SQL语句，将目标SQL语句和源表发送至预设的计算引擎，因为目标SQL语句为对源表进行数据统计得到统计结果的逻辑语句，所以触发计算引擎按照目标SQL语句对源表进行数据统计，可得到统计结果。可见，本申请提供的方法，用户只需在信息栏输入源表信息和配置信息，即可得到统计结果，无需进行脚本代码的编辑，从而可以提高得到统计结果的效率。
Description
技术领域
本申请涉及电子信息领域，尤其涉及一种数据处理的方法及装置、电子设备及计算机可读存储介质。
背景技术
在软件投入使用后，常常需要对用户的软件使用情况进行统计，例如统计用户对软件某一功能或业务的使用量。统计结果一般通过需求文档得到，需求文档中一般包括统计目的、以及统计所需的源表的数据。在源表数据量很大的情况下，纯粹的人为统计需要大量的时间，所以采用计算机进行辅助统计，无疑是一种可以提高效率的方法。
现有技术中，通常是开发人员根据需求文档，编写生成统计结果的脚本，通过执行脚本从而得到统计结果。这样的处理方式，在数据量大的情况下，虽然比纯粹的人为统计效率高，但是由于不同的需求文档具有不同的数据内容，所以每次要得到需求文档的统计结果，开发人员都需要编写对应的脚本，这在一定的程度降低了统计的效率，所以如何更快的得到统计结果，成为了亟待解决的问题。
发明内容
本申请提供了一种数据处理的方法及装置、电子设备及计算机可读存储介质，目的在于解决如何更快的得到统计结果的问题。
为了实现上述目的，本申请提供了以下技术方案：
一种数据处理的方法，包括：
依据用户输入的源表信息，生成所述源表的信息表；
依据用户输入的配置信息，生成配置信息表；所述配置信息为对所述源表进行数据统计得到统计结果所需的逻辑字段；
依据所述信息表和所述配置信息表，生成目标SQL语句；所述目标SQL语句为利用所述源表信息以及所述配置信息，对所述源表进行数据统计得到所述统计结果的逻辑语句；
将所述目标SQL语句和所述源表发送至预设的计算引擎，触发所述计算引擎按照所述目标SQL语句对所述源表进行数据统计，得到所述统计结果，所述计算引擎通过对预设的指令进行封装形成，所述预设的指令为按照SQL语句中包括的指定字符预设对应的执行逻辑，执行所述SQL语句的指令；所述指定字符为SQL语法包括的预设的语法字符。
上述的方法，可选的，所述依据所述信息表和所述配置信息表，生成目标SQL语句，包括：
采用预先配置的数据表解析工具，将所述信息表解析成第一脚本，将所述配置信息表解析成第二脚本；
拼接所述第一脚本和所述第二脚本，得到针对所述源表进行统计的版本执行码；
采用预先配置的SQL拼装工具，将所述版本执行码拼装成所述目标SQL语句。
上述的方法，可选的，所述源表的所述信息表至少包括：所述源表的表结构表和所述源表的字段结构表；
所述配置信息表至少包括：作业表和步骤表；一个所述作业表至少对应一个所述步骤表，所述步骤表包括多个子步骤表，所述子步骤表至少包括查询表、条件表以及关联表；
所述信息表包括的任意一个表，以及所述配置信息表包括的任意一个表的生成过程，包括：
展示所述表的预设的第一类表属性项；
针对每个第一类表属性项，将用户在所述第一类表属性项对应的信息栏输入的属性值，确定为所述第一类表属性项对应的属性值；
针对所述表的预设的第二类表属性项，按照预设的ID码分配规则，为所述第二类表属性项分配ID码，并将所述ID码作为所述第二类表属性项的属性值；
将各个所述第一类表属性项和所述第二类表属性项作为所述表的表头，并将各个所述属性值分别作为所述表头对应的数值，生成所述表。
上述的方法，可选的，还包括，对应存储所述信息表和所述配置信息表。
上述的方法，可选的，在得到所述统计结果之后，还包括：
在接收到查询所述统计结果的关联对象的查询指令后，根据所述统计结果的标识，从存储的所述配置信息表的所述步骤表中获取目标步骤表，所述目标步骤表的所述第一类表属性项中，包括属性值为所述统计结果的所述标识的属性项；
根据所述目标步骤表中包括的作业表的ID码，确定所述目标步骤表对应的所述作业表；
根据所述目标步骤表中包括的步骤表的ID码，确定所述目标步骤表包括的所有子步骤表；
依据所述子步骤表中包括的目标信息，将所述源表作为按照所述作业表进行统计得到所述统计结果的关联源表，并将所述作业表作为所述统计结果的关联作业表；所述目标信息为，所述源表的所述信息表中的表征所述源表或表征所述源表数据内容的字段信息；
输出所述关联源表和所述关联作业表。
一种数据处理的装置，包括：
第一生成单元，用于依据用户输入的源表信息，生成所述源表的信息表；
第二生成单元，用于依据用户输入的配置信息，生成配置信息表；所述配置信息为对所述源表进行数据统计得到统计结果所需的逻辑字段；
第三生成单元，用于依据所述信息表和所述配置信息表，生成目标SQL语句；所述目标SQL语句为利用所述源表信息以及所述配置信息，对所述源表进行数据统计得到所述统计结果的逻辑语句；
发送单元，用于将所述目标SQL语句和所述源表发送至预设的计算引擎，触发所述计算引擎按照所述目标SQL语句对所述源表进行数据统计，得到所述统计结果，所述计算引擎通过对预设的指令进行封装形成，所述预设的指令为按照SQL语句中包括的指定字符预设对应的执行逻辑，执行所述SQL语句的指令；所述指定字符为SQL语法包括的预设的语法字符。
上述的装置，可选的，所述第三生成单元用于依据所述信息表和所述配置信息表，生成目标SQL语句，包括，所述第三生成单元具体用于：
采用预先配置的数据表解析工具，将所述信息表解析成第一脚本，将所述配置信息表解析成第二脚本；
拼接所述第一脚本和所述第二脚本，得到针对所述源表进行统计的版本执行码；
采用预先配置的SQL拼装工具，将所述版本执行码拼装成所述目标SQL语句。
上述的装置，可选的，还包括查询单元，用于在接收到查询所述统计结果的关联对象的查询指令后，根据所述统计结果的标识，从存储的所述配置信息表的所述步骤表中获取目标步骤表，所述目标步骤表的所述第一类表属性项中，包括属性值为所述统计结果的所述标识的属性项；
根据所述目标步骤表中包括的作业表的ID码，确定所述目标步骤表对应的所述作业表；
根据所述目标步骤表中包括的步骤表的ID码，确定所述目标步骤表包括的所有子步骤表；
依据所述子步骤表中包括的目标信息，将所述源表作为按照所述作业表进行统计得到所述统计结果的关联源表，并将所述作业表作为所述统计结果的关联作业表；所述目标信息为，所述源表的所述信息表中的表征所述源表或表征所述源表数据内容的字段信息；
输出所述关联源表和所述关联作业表。
一种电子设备，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现上述的数据处理的方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据处理的方法。
本申请所述的方法及装置，依据用户在预设的第一信息栏输入的源表信息，生成源表的信息表，依据用户在预设的第二信息栏输入的配置信息，生成配置信息表，依据信息表和配置信息表，生成目标SQL语句，将目标SQL语句和源表发送至预设的计算引擎，因为目标SQL语句为对源表进行数据统计得到统计结果的逻辑语句，所以触发计算引擎按照目标SQL语句对源表进行数据统计，可得到统计结果。可见，本申请提供的方法，用户只需在信息栏输入源表信息和配置信息，即可得到统计结果，无需进行脚本代码的编辑，从而可以提高得到统计结果的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理的方法的流程图；
图2为本申请实施例提供的一种生成信息表以及配置信息表的方法的流程图；
图3为本申请实施例提供的另一种数据处理的方法的流程图；
图4为本申请实施例提供的一种数据处理装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的方法其执行主体可以是，具有大数据处理功能的服务器。
图1为本申请实施例提供的一种数据处理的方法的流程图，可以包括以下步骤：
S101、依据用户输入的源表信息，生成源表的信息表。
源表的信息表包括源表的表结构表，以及源表的字段结构表。表结构表可以包括，表结构表的表ID，和表名称等。字段结构表包括，字段结构表的表ID，对应的表结构表的表ID、字段名称、字段类型，以及字段长度等。
需要说明的是，任意一个源表的字段结构表都存在对应的表结构表，字段结构表对应的表结构表，依据字段结构表中包括的表结构表的表ID确定。
本步骤的生成信息表的具体实施例方式可以参考图2的流程图。
S102、依据用户输入的配置信息，生成配置信息表。
配置信息表包括：作业表和步骤表；一个作业表至少对应一个步骤表，步骤表包括多个子步骤表，子步骤表至少包括查询表、条件表、关联表，还可以包括排序表。
配置信息为对源表进行数据统计得到统计结果所需的逻辑字段，不同的配置信息表包括的配置信息不同，例如，作业表包括作业表的表ID，作业表的名称。与作业表对应的步骤表包括步骤表的表ID、作业表的表ID、以及步骤表的名称，以及目标表的表名称。目标表指的是对源表进行数据统计最终得到统计结果表。每个子步骤中都包括自身的表ID，以及对应的步骤表的表ID，以及子步骤对应的加工逻辑字段，例如查询表包括，针对源表进行查询的查询字段，条件表包括针对源表进行条件筛选的条件字段，关联表包括将不同的源表进行关联的关联信息字段。
需要说明的是，作业表对应的步骤表中，包括作业表的表ID，是用于指示该步骤表是作业表的一个具体的执行步骤。同理，步骤表对应的子步骤表中，包括步骤表的表ID，是用于指示该子步骤表是步骤表一个执行子步骤。
本步骤的生成配置信息表的具体实施例方式可以参考图2的流程图。
S103、依据信息表和配置信息表，生成目标SQL语句。
目标SQL语句为利用源表信息以及配置信息，对源表进行数据统计得到统计结果的逻辑语句。
本步骤的具体实现方式可以包括以下步骤：
步骤A1、采用预先配置的数据表解析工具，将信息表解析成第一脚本，将配置信息表解析成第二脚本。
第一脚本是对信息表进行解析得到的，用于描述信息表的脚本，同理，第二脚本也是对配置信息表进行解析得到的，用于，描述配置信息表的脚本。具体的将表解析成脚本的方法可以参考现有技术。
步骤A2、拼接第一脚本和第二脚本，得到针对源表进行统计的版本执行码。例如，将第一脚本作为版本执行码的第一部分，将第二脚本为版本执行码的第二部分，进行拼接。
步骤A3、采用预先配置的SQL拼装工具，将版本执行码拼装成目标SQL语句。例如，SQL拼装工具依据读取第一脚本中源表的源表信息，以及第二脚本中源表的配置信息，基于配置信息对应的逻辑字段，以及预设的SQL语句的语法，将第一脚本和第二脚本拼装成完整的SQL语句。详细的将脚本拼装为SQL语句的可参见现有技术。
S104、将目标SQL语句和源表发送至预设的计算引擎，触发计算引擎按照目标SQL语句对源表进行数据统计，得到统计结果。
本实施例中，计算引擎通过对预设的指令进行封装形成，预设的指令为按照SQL语句中包括的指定字符预设对应的执行逻辑，执行SQL语句的指令。指定字符为SQL语法包括的预设的语法字符。
计算引擎可以是大数据的Spark计算引擎，或者hive计算引擎。封装得到的计算引擎可以按照SQL语句中指定字符预设对应的执行逻辑，执行计算任务。因为目标SQL语句为对源表进行数据统计得到统计结果的逻辑语句，所以计算引擎基于目标SQL语句，可以对源表进行数据统计，得到统计结果。
其中，统计结果可以是统计数据表。
本实施例提供的方法，依据用户在预设的第一信息栏输入的源表信息，生成源表的信息表，依据用户在预设的第二信息栏输入的配置信息，生成配置信息表，依据信息表和配置信息表，生成目标SQL语句，将目标SQL语句和源表发送至预设的计算引擎，因为目标SQL语句为对源表进行数据统计得到统计结果的逻辑语句，所以触发计算引擎按照目标SQL语句对源表进行数据统计，可得到统计结果。可见，本申请提供的方法，用户只需在信息栏输入源表信息和配置信息，即可得到统计结果，无需进行脚本代码的编辑，从而可以提高得到统计结果的效率。
上述实施例中，信息表包括的任意一个表，以及配置信息表包括的任意一个表的生成过程如图2所示，可以包括以下步骤：
S201、展示表的预设的第一类表属性项。
对于不同表，其预设的第一类表属性项不同，例如对应源表的表结构表，第一表属性项可以是，表的名称项。对于源表的字段结构表，第一类表属性项可以是字段名称项、字段类型项，以及字段长度项等。
需要说明的是，表的第一表属性项是可以根据不同的需求自行设定的。
S202、针对每个第一类表属性项，将用户在第一类表属性项对应的信息栏输入的属性值，确定为第一类表属性项对应的属性值。
例如，字段结构表的第一类表属性项为字段名称项，则将用户在字段名称项输入的属性值，作为字段名称对应的属性值，即作为字段名称项对应的具体名称。
S203、针对表的预设的第二类表属性项，按照预设的ID码分配规则，为第二类表属性项分配ID码，并将ID码作为第二类表属性项的属性值。
本实施例中，第二类表属性项为表ID项，表ID是自动分配得到的。例如，源表的表结构表的表ID的自动分配的得到的。需要说明是，对于存在关联关系的表，第一表和与第一表对应的第二表，第二表除了自动分配得到自身的表ID之外，还包括第一表的表ID。例如，与表结构表对应的字段结构表，字段结构表除了自动分配得到自身的表ID之外，还包括表结构表的表ID。
S204、将各个第一类表属性项和第二类表属性项作为表的表头，并将各个属性值分别作为表头对应的数值，生成表。
本申请提供的方案，用户只需在展示表的预设的第一类表属性项，输入对应的属性值，即可生成对应的表，简便且高效。
对于一款软件，需要进行统计的指标很多，所以对应的有很多统计结果，统计结果依据配置信息表的作业表对源表进行数据处理得到的，而不同的多个统计结果很有可能是应用同一作业表对的源表进行处理得到，在这样的情况下，如果作业表，或者源表发生改变，则很多统计结果也会改变，所以为了及时掌握发生改变的统计结果，以及便于后期分析各个源表、作业表、以及统计结果之间关系，本申请提供了另一种数据处理的方法，可以包括以下步骤：
S301、对应存储源表的信息表和配置信息表。
S302、接收到查询统计结果的关联对象的查询指令后，根据统计结果的标识，从存储的配置信息表的步骤表中获取目标步骤表。
统计结果的标识可以统计结果的对应的名称。目标步骤表为第一类表属性项中，包括属性值为统计结果的标识的属性项的步骤表。
S303、根据目标步骤表中包括的作业表的ID码，确定目标步骤表对应的作业表。
S304、根据目标步骤表中包括的步骤表的ID码，确定目标步骤表包括的所有子步骤表。
因为每一个子步骤表都包括对应的步骤表的ID码，所以根据目标步骤表中包括的步骤表的ID码，确定目标步骤表包括的所有子步骤表。
S305、依据子步骤表中包括的目标信息，将源表作为按照作业表进行统计得到统计结果的关联源表。
目标信息为，源表的信息表中的表征源表或表征源表数据内容的字段信息。例如，源表的名称。
S306、将作业表作为统计结果的关联作业表。
S307、输出统计结果的关联源表和关联作业表。
本实施例提供的方法，根据接收到查询统计结果的关联对象的查询指令后，输出统计结果的关联源表和关联作业表。使研发人员后期可以根据输出的结构分析各个源表、作业表、以及统计结果之间关系，以便在作业表，或者源表发生改变的情况下，可以分析得到受影响的统计结果。
图4本申请实施例提供的一种数据处理的装置400的结构示意图，包括：
第一生成单元401，用于依据用户输入的源表信息，生成源表的信息表；
第二生成单元402，用于依据用户输入的配置信息，生成配置信息表；配置信息为对源表进行数据统计得到统计结果所需的逻辑字段；
第三生成单元403，用于依据信息表和配置信息表，生成目标SQL语句；目标SQL语句为利用源表信息以及配置信息，对源表进行数据统计得到统计结果的逻辑语句；
发送单元404，用于将目标SQL语句和源表发送至预设的计算引擎，触发计算引擎按照目标SQL语句对源表进行数据统计，得到统计结果，所述计算引擎通过对预设的指令进行封装形成，所述预设的指令为按照SQL语句中包括的指定字符预设对应的执行逻辑，执行所述SQL语句的指令；所述指定字符为SQL语法包括的预设的语法字符。
可选的，还包括，存储单元，用于对应存储信息表和配置信息表。
可选的，还包括：查询单元405，用于在接收到查询统计结果的关联对象的查询指令后，根据统计结果的标识，从存储的配置信息表的步骤表中获取目标步骤表，目标步骤表的第一类表属性项中，包括属性值为统计结果的标识的属性项；
根据目标步骤表中包括的作业表的ID码，确定目标步骤表对应的作业表；根据目标步骤表中包括的步骤表的ID码，确定目标步骤表包括的所有子步骤表；依据子步骤表中包括的目标信息，将源表作为按照所述作业表进行统计得到所述统计结果的关联源表，并将作业表作为统计结果的关联作业表；目标信息为，源表的信息表中的表征源表或表征源表数据内容的字段信息；输出关联源表和所述关联作业表。
可选的，第三生成单元403依据信息表和配置信息表，生成目标SQL语句的具体实现方式为：
采用预先配置的数据表解析工具，将信息表解析成第一脚本，将配置信息表解析成第二脚本；拼接述第一脚本和第二脚本，得到针对源表进行统计的版本执行码；采用预先配置的SQL拼装工具，将版本执行码拼装成所述目标SQL语句。
可选的，源表的信息表至少包括：源表的表结构表和源表的字段结构表。
配置信息表至少包括：作业表和步骤表；一个作业表至少对应一个步骤表，步骤表包括多个子步骤表，子步骤表至少包括查询表、条件表以及关联表；
可选的，第一生成单元401，依据用户输入的源表信息生成源表的信息表，以及，第二生成单元402，依据用户输入的配置信息生成配置信息表的具体实现方式为：
展示表的预设的第一类表属性项；
针对每个第一类表属性项，将用户在第一类表属性项对应的信息栏输入的属性值，确定为第一类表属性项对应的属性值；
针对表的预设的第二类表属性项，按照预设的ID码分配规则，为第二类表属性项分配ID码，并将ID码作为第二类表属性项的属性值；
将各个第一类表属性项和第二类表属性项作为所述表的表头，并将各个属性值分别作为表头对应的数值，生成表。
本实施例提供的装置，依据用户在预设的第一信息栏输入的源表信息，生成源表的信息表，依据用户在预设的第二信息栏输入的配置信息，生成配置信息表，依据信息表和配置信息表，生成目标SQL语句，将目标SQL语句和源表发送至预设的计算引擎，因为目标SQL语句为对源表进行数据统计得到统计结果的逻辑语句，所以触发计算引擎按照目标SQL语句对源表进行数据统计，可得到统计结果。可见，本申请提供的方法，用户只需在信息栏输入源表信息和配置信息，即可得到统计结果，无需进行脚本代码的编辑，从而可以提高得到统计结果的效率。
图5为本申请提供了一种电子设备500的结构示意图，包括：处理器501和存储器502，存储器502用于存储程序；处理器501用于运行程序，以实现本申请的数据处理的方法，即执行以下步骤：
依据用户输入的源表信息，生成源表的信息表；
依据用户输入的配置信息，生成配置信息表；配置信息为对源表进行数据统计得到统计结果所需的逻辑字段；
依据信息表和配置信息表，生成目标SQL语句；目标SQL语句为利用源表信息以及配置信息，对源表进行数据统计得到统计结果的逻辑语句；
将目标SQL语句和源表发送至预设的计算引擎，触发计算引擎按照目标SQL语句对源表进行数据统计，得到统计结果，所述计算引擎通过对预设的指令进行封装形成，所述预设的指令为按照SQL语句中包括的指定字符预设对应的执行逻辑，执行所述SQL语句的指令；所述指定字符为SQL语法包括的预设的语法字符。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执本申请的数据处理的方法，即执行以下步骤：
依据用户输入的源表信息，生成源表的信息表；
依据用户输入的配置信息，生成配置信息表；配置信息为对源表进行数据统计得到统计结果所需的逻辑字段；
依据信息表和配置信息表，生成目标SQL语句；目标SQL语句为利用源表信息以及配置信息，对源表进行数据统计得到统计结果的逻辑语句；
将目标SQL语句和源表发送至预设的计算引擎，触发计算引擎按照目标SQL语句对源表进行数据统计，得到统计结果，所述计算引擎通过对预设的指令进行封装形成，所述预设的指令为按照SQL语句中包括的指定字符预设对应的执行逻辑，执行所述SQL语句的指令；所述指定字符为SQL语法包括的预设的语法字符。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理的方法，其特征在于，包括：
依据用户输入的源表信息，生成所述源表的信息表；
依据用户输入的配置信息，生成配置信息表；所述配置信息为对所述源表进行数据统计得到统计结果所需的逻辑字段；
依据所述信息表和所述配置信息表，生成目标SQL语句；所述目标SQL语句为利用所述源表信息以及所述配置信息，对所述源表进行数据统计得到所述统计结果的逻辑语句；
将所述目标SQL语句和所述源表发送至预设的计算引擎，触发所述计算引擎按照所述目标SQL语句对所述源表进行数据统计，得到所述统计结果，所述计算引擎通过对预设的指令进行封装形成，所述预设的指令为按照SQL语句中包括的指定字符预设对应的执行逻辑，执行所述SQL语句的指令；所述指定字符为SQL语法包括的预设的语法字符。
2.根据权利要求1所述的方法，其特征在于，所述依据所述信息表和所述配置信息表，生成目标SQL语句，包括：
采用预先配置的数据表解析工具，将所述信息表解析成第一脚本，将所述配置信息表解析成第二脚本；
拼接所述第一脚本和所述第二脚本，得到针对所述源表进行统计的版本执行码；
采用预先配置的SQL拼装工具，将所述版本执行码拼装成所述目标SQL语句。
3.根据权利要求1所述的方法，其特征在于，所述源表的所述信息表至少包括：所述源表的表结构表和所述源表的字段结构表；
所述配置信息表至少包括：作业表和步骤表；一个所述作业表至少对应一个所述步骤表，所述步骤表包括多个子步骤表，所述子步骤表至少包括查询表、条件表以及关联表；
所述信息表包括的任意一个表，以及所述配置信息表包括的任意一个表的生成过程，包括：
展示所述表的预设的第一类表属性项；
针对每个第一类表属性项，将用户在所述第一类表属性项对应的信息栏输入的属性值，确定为所述第一类表属性项对应的属性值；
针对所述表的预设的第二类表属性项，按照预设的ID码分配规则，为所述第二类表属性项分配ID码，并将所述ID码作为所述第二类表属性项的属性值；
将各个所述第一类表属性项和所述第二类表属性项作为所述表的表头，并将各个所述属性值分别作为所述表头对应的数值，生成所述表。
4.根据权利要求3所述的方法，其特征在于，还包括，对应存储所述信息表和所述配置信息表。
5.根据权利要求4所述的方法，其特征在于，在得到所述统计结果之后，还包括：
在接收到查询所述统计结果的关联对象的查询指令后，根据所述统计结果的标识，从存储的所述配置信息表的所述步骤表中获取目标步骤表，所述目标步骤表的所述第一类表属性项中，包括属性值为所述统计结果的所述标识的属性项；
根据所述目标步骤表中包括的作业表的ID码，确定所述目标步骤表对应的所述作业表；
根据所述目标步骤表中包括的步骤表的ID码，确定所述目标步骤表包括的所有子步骤表；
依据所述子步骤表中包括的目标信息，将所述源表作为按照所述作业表进行统计得到所述统计结果的关联源表，并将所述作业表作为所述统计结果的关联作业表；所述目标信息为，所述源表的所述信息表中的表征所述源表或表征所述源表数据内容的字段信息；
输出所述关联源表和所述关联作业表。
6.一种数据处理的装置，其特征在于，包括：
第一生成单元，用于依据用户输入的源表信息，生成所述源表的信息表；
第二生成单元，用于依据用户输入的配置信息，生成配置信息表；所述配置信息为对所述源表进行数据统计得到统计结果所需的逻辑字段；
第三生成单元，用于依据所述信息表和所述配置信息表，生成目标SQL语句；所述目标SQL语句为利用所述源表信息以及所述配置信息，对所述源表进行数据统计得到所述统计结果的逻辑语句；
发送单元，用于将所述目标SQL语句和所述源表发送至预设的计算引擎，触发所述计算引擎按照所述目标SQL语句对所述源表进行数据统计，得到所述统计结果，所述计算引擎通过对预设的指令进行封装形成，所述预设的指令为按照SQL语句中包括的指定字符预设对应的执行逻辑，执行所述SQL语句的指令；所述指定字符为SQL语法包括的预设的语法字符。
7.根据权利要求6所述的装置，其特征在于，所述第三生成单元用于依据所述信息表和所述配置信息表，生成目标SQL语句，包括，所述第三生成单元具体用于：
采用预先配置的数据表解析工具，将所述信息表解析成第一脚本，将所述配置信息表解析成第二脚本；
拼接所述第一脚本和所述第二脚本，得到针对所述源表进行统计的版本执行码；
采用预先配置的SQL拼装工具，将所述版本执行码拼装成所述目标SQL语句。
8.根据权利要求6所述的装置，其特征在于，还包括查询单元，用于在接收到查询所述统计结果的关联对象的查询指令后，根据所述统计结果的标识，从存储的所述配置信息表的所述步骤表中获取目标步骤表，所述目标步骤表的所述第一类表属性项中，包括属性值为所述统计结果的所述标识的属性项；
根据所述目标步骤表中包括的作业表的ID码，确定所述目标步骤表对应的所述作业表；
根据所述目标步骤表中包括的步骤表的ID码，确定所述目标步骤表包括的所有子步骤表；
依据所述子步骤表中包括的目标信息，将所述源表作为按照所述作业表进行统计得到所述统计结果的关联源表，并将所述作业表作为所述统计结果的关联作业表；所述目标信息为，所述源表的所述信息表中的表征所述源表或表征所述源表数据内容的字段信息；
输出所述关联源表和所述关联作业表。
9.一种电子设备，其特征在在于，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现权利要求1-5任一项所述的数据处理的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-5任一项所述的数据处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011378919.6A CN112364025B (zh) | 2020-11-30 | 2020-11-30 | 数据处理的方法及装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011378919.6A CN112364025B (zh) | 2020-11-30 | 2020-11-30 | 数据处理的方法及装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112364025A true CN112364025A (zh) | 2021-02-12 |
| CN112364025B CN112364025B (zh) | 2023-09-22 |
Family
ID=74535640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011378919.6A Active CN112364025B (zh) | 2020-11-30 | 2020-11-30 | 数据处理的方法及装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364025B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080270447A1 (en) * | 2007-04-26 | 2008-10-30 | Arends Mitch J | Ruleset generation for multiple entities with multiple data values per attribute |
| CN109471857A (zh) * | 2018-09-25 | 2019-03-15 | 中国平安人寿保险股份有限公司 | 基于sql语句的数据修改方法、装置及存储介质 |
| CN110704479A (zh) * | 2019-09-12 | 2020-01-17 | 新华三大数据技术有限公司 | 任务处理方法、装置、电子设备及存储介质 |
| CN110704472A (zh) * | 2019-08-27 | 2020-01-17 | 北京数知科技股份有限公司 | 数据查询统计方法及装置 |
| CN111177231A (zh) * | 2019-12-20 | 2020-05-19 | 中国建设银行股份有限公司 | 报表生成方法和报表生成装置 |
| CN111639078A (zh) * | 2020-05-25 | 2020-09-08 | 北京百度网讯科技有限公司 | 数据查询方法、装置、电子设备以及可读存储介质 |
| CN111708804A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及介质 |
-
2020
- 2020-11-30 CN CN202011378919.6A patent/CN112364025B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080270447A1 (en) * | 2007-04-26 | 2008-10-30 | Arends Mitch J | Ruleset generation for multiple entities with multiple data values per attribute |
| CN109471857A (zh) * | 2018-09-25 | 2019-03-15 | 中国平安人寿保险股份有限公司 | 基于sql语句的数据修改方法、装置及存储介质 |
| CN110704472A (zh) * | 2019-08-27 | 2020-01-17 | 北京数知科技股份有限公司 | 数据查询统计方法及装置 |
| CN110704479A (zh) * | 2019-09-12 | 2020-01-17 | 新华三大数据技术有限公司 | 任务处理方法、装置、电子设备及存储介质 |
| CN111177231A (zh) * | 2019-12-20 | 2020-05-19 | 中国建设银行股份有限公司 | 报表生成方法和报表生成装置 |
| CN111639078A (zh) * | 2020-05-25 | 2020-09-08 | 北京百度网讯科技有限公司 | 数据查询方法、装置、电子设备以及可读存储介质 |
| CN111708804A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112364025B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110795455B (zh) | 依赖关系解析方法、电子装置、计算机设备及可读存储介质 | |
| US20160188391A1 (en) | Sophisticated run-time system for graph processing | |
| WO2019227715A1 (zh) | 数据处理方法、装置及计算机可读存储介质 | |
| US20170155596A1 (en) | Method And Electronic Device For Bandwidth Allocation | |
| CN110795756A (zh) | 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 | |
| CN111190932B (zh) | 一种隐私集群查询方法、装置及电子设备 | |
| CN113268500B (zh) | 业务处理方法、装置及电子设备 | |
| CN106874394B (zh) | 一种文件打包预处理的方法与设备 | |
| CN111338604A (zh) | 服务生成方法、装置、设备及计算机可读存储介质 | |
| CN111008017B (zh) | 一种基于oclint的待提交文件预审方法及相关组件 | |
| US9367307B2 (en) | Staged points-to analysis for large code bases | |
| CN107391528B (zh) | 前端组件依赖信息搜索方法及设备 | |
| CN110704472A (zh) | 数据查询统计方法及装置 | |
| CN109240998B (zh) | 可配置的文件解析方法 | |
| CN111078276A (zh) | 应用程序的冗余资源处理方法、装置、设备及存储介质 | |
| CN107633080B (zh) | 一种用户任务处理方法及装置 | |
| CN114003818A (zh) | 页面推荐方法、装置、服务器及存储介质 | |
| CN113987337A (zh) | 基于组件化动态编排的搜索方法、系统、设备及存储介质 | |
| CN113296752A (zh) | 生成api文档的方法、系统、设备及存储介质 | |
| CN112434037A (zh) | 数据处理方法、处理装置、数据处理设备和存储介质 | |
| CN110187967B (zh) | 一种适用于依赖分析工具的内存预测方法及装置 | |
| CN112364025B (zh) | 数据处理的方法及装置、电子设备及计算机可读存储介质 | |
| CN113051231A (zh) | 文件解析方法、装置、计算机设备和存储介质 | |
| CN115576624A (zh) | 一种编程框架优化方法、系统、终端设备及存储介质 | |
| CN110765003B (zh) | 代码检测方法、装置以及设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |