CN112069223A - 数据获取需求处理方法、装置、计算机设备和存储介质 - Google Patents
数据获取需求处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112069223A CN112069223A CN202010943219.0A CN202010943219A CN112069223A CN 112069223 A CN112069223 A CN 112069223A CN 202010943219 A CN202010943219 A CN 202010943219A CN 112069223 A CN112069223 A CN 112069223A
- Authority
- CN
- China
- Prior art keywords
- configuration information
- query
- data
- sub
- original data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及计算机领域,具体涉及一种数据获取需求处理方法、装置、计算机设备和存储介质。所述方法包括:响应于预设触发指令,确定当前需要处理的数据获取需求;获取数据获取需求对应的需求配置信息;根据需求配置信息获取分散存储于多个数据表中的原始数据;对原始数据进行关联处理,得到满足数据获取需求的目标数据。本发明实施例能够实现跨库分表数据关联下载,不需要专门开发下载功能即可满足业务人员的临时性数据下载需求。
Description
技术领域
本申请涉及计算机领域,特别是涉及一种数据获取需求处理方法、装置、计算机设备和存储介质。
背景技术
无论销售企业还是传统的制造业,供应链管理都是企业管理的核心。随着信息技术的发展,供应链管理的相关信息系统也得到不断完善,其加快了销售,采购,库存等信息的数据化,打破了企业精细化分工所导致的信息孤岛限制,为企业的日常经营和管理提供有效支撑,所以越来越受到各大企业的重视。数据意识也越来越受到业务人员的重视,非定期的导出一些数据进行分析,也逐渐成为相关业务人员的常规工作。这些非标准的导出需求,很多时候牵涉跨库表关联去数据,通过数据库导出的方式无法满足数据导出需求,而为业务的临时性需求专门开发对应的下载功能,又存在不能很快响应业务需求的不足,并且该下载功能使用频率很低,这也会造成资源的浪费。
发明内容
本发明针对现有技术的缺点,提供了一种数据获取需求处理方法、装置、计算机设备和存储介质,本发明实施例能够实现跨库分表数据关联下载,不需要专门开发下载功能即可满足业务人员的临时性数据下载需求。
本发明根据第一方面提供了一种数据获取需求处理方法,在一个实施例中,该方法包括:
响应于预设触发指令,确定当前需要处理的数据获取需求;
获取数据获取需求对应的需求配置信息;
根据需求配置信息获取分散存储于多个数据表中的原始数据;
对原始数据进行关联处理,得到满足数据获取需求的目标数据。
在一个实施例中,需求配置信息包括主查询配置信息和至少一个子查询配置信息;
根据需求配置信息获取分散存储于多个数据表中的原始数据的步骤,包括:
根据主查询配置信息从其对应的目标数据表中查询得到原始数据;
确定至少一个子查询配置信息中每个查询配置信息对应的查询顺序和目标数据表;
按照查询顺序依次根据各个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据。
在一个实施例中,每个子查询配置信息包括查询字段配置和关联字段配置。在根据任一个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据时,包括:
根据任一个查询顺序对应的子查询配置信息中的关联字段配置,从与该任一个查询顺序对应的子查询配置信息关联的原始数据中获取关联字段信息;其中,与查询顺序最先的子查询配置信息关联的原始数据是主查询配置信息对应的原始数据,与查询顺序非最先的任一个子查询配置信息关联的原始数据是该任一个子查询配置信息的前一查询顺序的子查询配置信息所对应的原始数据;
根据关联字段信息和该任一个查询顺序对应的子查询配置信息中的查询字段配置,从该任一个查询顺序对应的目标数据表中获取原始数据。
在一个实施例中,根据需求配置信息获得分散存储于多个数据表中的原始数据,包括:
对需求配置信息进行风险检验;
在确认需求配置信息通过风险检验后,根据需求配置信息获得分散存储于多个数据表中的原始数据。
在一个实施例中,对原始数据进行关联处理,得到数据获取需求对应的关联数据的步骤之后,包括:
将关联数据写入文件服务器;
将关联数据在文件服务器中对应的文件地址更新到下载任务表。
本发明根据第二方面提供了一种数据获取需求处理装置,在一个实施例中,该装置包括:
需求确定模块,用于响应于预设触发指令,确定当前需要处理的数据获取需求;
需求配置获取模块,用于获取数据获取需求对应的需求配置信息;
原始数据获取模块,用于根据需求配置信息获取分散存储于多个数据表中的原始数据;
关联处理模块,用于对原始数据进行关联处理,得到满足数据获取需求的目标数据。
在一个实施例中,需求配置信息包括主查询配置信息和至少一个子查询配置信息;
原始数据获取模块,包括:
第一数据获取子模块,用于根据主查询配置信息从其对应的目标数据表中查询得到原始数据;
确定子模块,用于确定至少一个子查询配置信息中每个查询配置信息对应的查询顺序和目标数据表;
第二数据获取子模块,用于按照查询顺序依次根据各个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据。
在一个实施例中,每个子查询配置信息包括查询字段配置和关联字段配置;第二数据获取子模块,包括:
关联字段信息获取单元,用于根据任一个查询顺序对应的子查询配置信息中的关联字段配置,从与该任一个查询顺序对应的子查询配置信息关联的原始数据中获取关联字段信息;其中,与查询顺序最先的子查询配置信息关联的原始数据是主查询配置信息对应的原始数据,与查询顺序非最先的任一个子查询配置信息关联的原始数据是该任一个子查询配置信息的前一查询顺序的子查询配置信息所对应的原始数据;
原始数据获取单元,用于根据关联字段信息和该任一个查询顺序对应的子查询配置信息中的查询字段配置,从该任一个查询顺序对应的目标数据表中获取原始数据。
本发明根据第三方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一方法的实施例的步骤。
本发明根据第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一方法的实施例的步骤。
在本发明上述实施例中,通过响应于预设触发指令确定当前需要处理的数据获取需求;获取数据获取需求对应的需求配置信息;根据需求配置信息获取分散存储于多个数据表中的原始数据;对原始数据进行关联处理,得到满足数据获取需求的目标数据,能够实现跨库分表数据关联下载,在不专门开发下载功能的情况下也能满足临时性数据下载需求。
附图说明
图1为一个实施例中一种数据获取需求处理方法的流程示意图;
图2为一个实施例中根据需求配置信息获取分散存储于多个数据表中的原始数据的流程示意图;
图3为一个实施例中一种数据获取需求处理装置的结构框图;
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本发明提供了一种数据获取需求处理方法,在一个实施例中,如图1所示,该方法包括以下步骤:
S110:响应于预设触发指令,确定当前需要处理的数据获取需求。
在本实施例中,数据获取需求处理方法可以由用于处理数据获取需求的服务器(下文简称为处理服务器)来实现,处理服务器可以由单独服务器或多个服务器构成的集群系统来实现。进一步地,在处理服务器中可以通过预先设置定时任务来触发该数据获取需求处理方法的处理逻辑,在这种实施方式中,预设触发指令是指定时任务的触发指令。当需要获取业务数据时,业务人员通过预先定义好的数据获取需求配置规则配置好需求配置信息,并提交给处理服务器,处理服务器会在定时任务触发时,需要处理的数据获取需求。在另一实施方式中,预设触发指令可以是指业务人员向处理服务器下发的数据下载指令。业务人员在配置好需求配置信息后,将需求配置信息提交给处理服务器,并向其下发数据下载指令,处理服务器在接收到数据下载指令后,基于该数据下载指令确定出当前需求处理的数据获取需求,其中,不同数据获取需求可以通过唯一的需求标识来进行区分,每个需求配置信息对应一个需求标识。
S1120:获取数据获取需求对应的需求配置信息。
在本实施例中,处理服务器在确定出当前需要处理的数据获取需求后,获取该数据获取需求对应的需求配置信息。其中,需求配置信息包括用于从主表中获取相关数据的主查询配置信息和至少一个用于从子表中获取相关数据的子查询配置信息。
S130:根据需求配置信息获取分散存储于多个数据表中的原始数据。
在本实施例中,业务人员要下载的数据会分散地存储在不同的数据表中,在处理业务人员这类非标准的数据导出需求时通常会牵涉跨库表去关联查询数据,为此处理服务器在获得需求配置信息后,需要根据需求配置信息从各个相关的数据表(即相关的主表和子表)中获得原始数据。具体地,处理服务器会自动根据需求配置信息生成SQL语句,并通过SQL语句从相应的数据表中查询获得原始数据。
在一个实施方式中,根据需求配置信息获得分散存储于多个数据表中的原始数据,包括:
对需求配置信息进行风险检验;
在确认需求配置信息通过风险检验后,根据需求配置信息获得分散存储于多个数据表中的原始数据。
具体地,处理服务器对需求配置信息进行风险检验,检验基于需求配置信息生成的SQL语句是否为高风险SQL语句(比如,检验SQL语句是否包含预设敏感字段等),如果是,则不执行后续操作,保证操作的安全性。
S140:对原始数据进行关联处理,得到满足数据获取需求的目标数据。
在本实施例中,处理服务器在获得分散存储于多个数据表中的原始数据之后,基于需求配置信息对从各个相关的数据表中获得的原始数据进行关联处理,从而获得能够满足业务人员的数据获取需求的数据(即目标数据)。其中,原始数据是根据需求配置信息从各个数据表中获得的数据。
本实施例通过响应于预设触发指令确定当前需要处理的数据获取需求,然后获取数据获取需求对应的需求配置信息,先根据需求配置信息获取分散存储于多个数据表中的原始数据,再对原始数据进行关联处理,从而得到满足数据获取需求的目标数据,能够解决以往通用功能下跨库分表数据无法关联下载的问题,业务人员每次有数据获取需求时,只需要基于具体需求配置出相应的需求配置信息,处理服务器会自动基于需求配置信息来生成SQL语句,并通过生成的SQL语句来查询获得相应的数据,这样业务人员在每次需要获取数据时都不需要编写SQL语句,减轻了业务人员的工作量,此外,通过配置的方式来管理导出的数据获取需求,不只是针对单一业务,在非特别特殊的情况通过配置即可满足业务人员的一切数据获取需求,相比重新开发下载功能的方式能够及时地满足业务人员临时性的数据获取需求。进一步地,业务人员可以自定义数据导出时间,从而处理服务器能够避开业务高峰期来处理数据获取需求,大大减轻机器的压力,并且业务人员可以根据实际的数据导出需求设置定期导出数据的逻辑,或者通过定时任务的方式来定时查询数据。
在一个实施例中,对原始数据进行关联处理,得到数据获取需求对应的关联数据的步骤之后,包括:
将关联数据写入文件服务器;
将关联数据在文件服务器中对应的文件地址更新到下载任务表。
具体地,处理服务器将关联处理得到的关联数据写入文件服务器,同时将该关联数据的文件地址更新到下载任务表中,从而业务人员可以通过该下载任务表下载到关联数据。
在一个实施例中,如图2所示,S130:根据需求配置信息获取分散存储于多个数据表中的原始数据,包括:
S131:根据主查询配置信息从其对应的目标数据表中查询得到原始数据。
在本实施例中,需求配置信息包括主查询配置信息和至少一个子查询配置信息。
在一个实施方式中,主查询配置信息包括主表表名、主键名、查询字段、查询条件、分页条数和执行周期中至少一项需要业务人员进行配置的配置字段。
示例性地,上述各主查询配置信息中的配置字段的作用或说明可以如表一所示。
表一:
在一个实施方式中,该至少一个子查询配置信息中的每个子查询配置信息包括查询字段配置和关联字段配置。查询字段配置包括子表表名、查询条件等配置字段,关联字段配置包括关联字段名。
示例性地,任一个子查询配置信息中的配置字段的作用或说明可以如表二所示。
表二:
配置字段 | 备注 |
子表表名 | 除主表字段外,需要的其余字段所在的表 |
关联字段名 | 主表和子表的关联条件,可以支持多个 |
查询条件 | 子表的数据过滤条件,可以为空(即不配置) |
处理服务器在获得需求配置信息后,获取需求配置信息中的主查询配置信息,基于主查询配置信息自动生成主表的SQL语句,并通过生成的SQL语句从主表中查询得到原始数据。
S132:确定至少一个子查询配置信息中每个查询配置信息对应的查询顺序和目标数据表。
在本实施例中,处理服务器在获得需求配置信息后,确定需求配置信息包括的子查询配置信息的数量,并且确定每个子查询配置信息对应的查询顺序和对应的目标数据表(即各个子表)。
S133:按照查询顺序依次根据各个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据。
在本实施例中,处理服务器自动生成各个子表的SQL语句,并通过各个子表对应的SQL语句查询各个子表,以从各个子表获得相应的原始数据。
需要注意的是,表与表之间是关联的,为此,处理服务器在按照查询顺序从每个子表中获取原始数据时,基于当前查询顺序对应的子查询配置信息从前一查询顺序对应的原始数据获得关联字段信息,再基于该关联字段信息得到相应的SQL语句,并基于该SQL语句从当前查询顺序对应的子表中获取原始数据。
在一个实施方式中,在根据任一个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据时,处理过程包括以下步骤:
根据任一个查询顺序对应的子查询配置信息中的关联字段配置,从与该任一个查询顺序对应的子查询配置信息关联的原始数据中获取关联字段信息;其中,与查询顺序最先的子查询配置信息关联的原始数据是主查询配置信息对应的原始数据,与查询顺序非最先的任一个子查询配置信息关联的原始数据是该任一个子查询配置信息的前一查询顺序的子查询配置信息所对应的原始数据;
根据关联字段信息和该任一个查询顺序对应的子查询配置信息中的查询字段配置,从该任一个查询顺序对应的目标数据表中获取原始数据。
在本实施方式中,处理服务器在按照查询顺序从每个子表中获取原始数据时,基于当前查询顺序对应的子查询配置信息中的关联字段配置从前一查询顺序对应的原始数据中获得关联字段信息,再基于该关联字段信息得到相应的SQL语句,最后通过该SQL语句从当前查询顺序对应的子表中查询得到原始数据。
以下通过一个例子来说明处理服务器如何根据需求配置信息来获得分散存储于多个数据表中的原始数据。
假设某个数据获取需求是导出供货商为10001011,创建时间为2020-01-01以后的订单相关数据,需要导出的字段如表三所示。
表三:
业务人员为该数据获取需求所配置的需求配置信息如下所示,其中,表四所示为主查询配置信息,表五和表六所示分别为子查询配置信息1和子查询配置信息2。
表四:
表五:
表六:
处理服务器根据上述需求配置信息获取相关原始数据的操作逻辑如下:
处理服务器先根据订单表服务商编码(supplier)和订单表创单时间(potime)这两个配置字段对应的字段信息查询订单表(table_po)和订单行表(table_poitem)得到结果集pre_result(包含200条主表数据,)。具体地,查询得到的内容中除了业务字段(如productcode、plant、qty、price等配置字段)外还包括订单表订单编码(po_code)、订单行表订单行号(po_item)以及订单表主键(po_id)三个配置字段的字段信息,其中,订单表主键(po_id)用于在订单表数据量很大的情况下防止深查询,减轻内存负担,而订单表订单编码(po_code)、订单行表订单行号(po_item)这两个配置字段用来查询跨库交货单数据。
交货单表和收货单表这两个子表的查询顺序是先查询交货单表再查询收货单表。处理服务器通过表四中的主查询配置信息查询得到200条主表数据后,循环从上述结果集pre_result的行数据中取出与当前查询顺序对应的子查询配置信息中的关联字段配置,即表五中的关联字段--订单表订单编码(po_code)和订单行表订单行号(po_item)对应的字段信息(即部分关联数据),将获得的订单表订单编码(po_code)和订单行表订单行号(po_item)对应的字段信息作为参数替换掉基于表五生成的SQL语句中的$pocode和$po_item这两个值,得到新的SQL语句,然后执行新的SQL语句以从交货单表中查询得到部分原始数据,此时需要将查询得到的部分原始数据与当前循环到的pre_result的行数据进行组合,完成组合操作之后继续执行下一循环,当结束循环后可以得到新的结果集deal_result1(该结果集数据条数可能大于上述结果集pre_result)。
接着,循环从上述结果集deal_result1的行数据中取出与当前查询顺序对应的子查询配置信息中的关联字段配置,即表六中的关联字段--交货单编码(delycode)和交货单行号(delycodeitem)对应的字段信息,将获得的交货单编码(delycode)和交货单行号(delycodeitem)对应的字段信息作为参数替换掉基于表六生成的SQL语句中的$delycode和$delycodeitem这两个值,得到新的SQL语句,然后执行新的SQL语句以从收货单表中查询得到部分原始数据,此时需要将查询得到的部分原始数据与当前循环到的deal_result1的行数据进行组合,完成组合操作之后继续执行下一循环,当结束循环后可以得到新的结果集deal_result2,之后将deal_result2写入临时文件。
如果查询到的主表数据的数据条数比较多,可以将查询到的数据进行分页,处理服务器会对每个分页中的数据执行上述获取相关原始数据的流程,直到执行完所有分页中的数据,就将处理每个分页得到的原始数据进行关联处理,即按照预设的数据处理格式将数据进行整理,比如将获得的数据以excel格式进行整理得到excel文件,后续可以将该excel文件写入文件服务器,以及将该文件在文件服务器中的文件地址更新到下载任务表中供业务人员下载。
基于与上述方法实施例相同的发明构思,本发明提供了一种数据获取需求处理装置。在一个实施例中,如图3所示,数据获取需求处理装置包括以下模块:
需求确定模块110,用于响应于预设触发指令,确定当前需要处理的数据获取需求;
需求配置获取模块120,用于获取数据获取需求对应的需求配置信息;
原始数据获取模块130,用于根据需求配置信息获取分散存储于多个数据表中的原始数据;
关联处理模块140,用于对原始数据进行关联处理,得到满足数据获取需求的目标数据。
在一个实施例中,需求配置信息包括主查询配置信息和至少一个子查询配置信息。原始数据获取模块,包括:
第一数据获取子模块,用于根据主查询配置信息从其对应的目标数据表中查询得到原始数据;
确定子模块,用于确定至少一个子查询配置信息中每个查询配置信息对应的查询顺序和目标数据表;
第二数据获取子模块,用于按照查询顺序依次根据各个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据。
在一个实施例中,每个子查询配置信息包括查询字段配置和关联字段配置。第二数据获取子模块,包括:
关联字段信息获取单元,用于根据任一个查询顺序对应的子查询配置信息中的关联字段配置,从与该任一个查询顺序对应的子查询配置信息关联的原始数据中获取关联字段信息;其中,与查询顺序最先的子查询配置信息关联的原始数据是主查询配置信息对应的原始数据,与查询顺序非最先的任一个子查询配置信息关联的原始数据是该任一个子查询配置信息的前一查询顺序的子查询配置信息所对应的原始数据;
原始数据获取单元,用于根据关联字段信息和该任一个查询顺序对应的子查询配置信息中的查询字段配置,从该任一个查询顺序对应的目标数据表中获取原始数据。
在一个实施例中,原始数据获取模块,包括:
风险检验子模块,用于对需求配置信息进行风险检验;
原始数据获取子模块,用于在确认需求配置信息通过风险检验后,根据需求配置信息获得分散存储于多个数据表中的原始数据。
在一个实施例中,数据获取需求处理装置还包括以下模块:
数据写入模块,用于将关联数据写入文件服务器;
文件地址更新模块,用于将关联数据在文件服务器中对应的文件地址更新到下载任务表。
关于数据获取需求处理装置的具体限定可以参见上文中对于数据获取需求处理方法的限定,在此不再赘述。上述数据获取需求处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多个数据表、数据获取需求对应的需求配置信息等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据获取需求处理方法。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
响应于预设触发指令,确定当前需要处理的数据获取需求;获取数据获取需求对应的需求配置信息;根据需求配置信息获取分散存储于多个数据表中的原始数据;对原始数据进行关联处理,得到满足数据获取需求的目标数据。
在一个实施例中,需求配置信息包括主查询配置信息和至少一个子查询配置信息;处理器执行计算机程序,实现根据需求配置信息获取分散存储于多个数据表中的原始数据时,还实现以下步骤:
根据主查询配置信息从其对应的目标数据表中查询得到原始数据;确定至少一个子查询配置信息中每个查询配置信息对应的查询顺序和目标数据表;按照查询顺序依次根据各个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据。
在一个实施例中,每个子查询配置信息包括查询字段配置和关联字段配置;处理器执行计算机程序,实现根据任一个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据时,还实现以下步骤:
根据任一个查询顺序对应的子查询配置信息中的关联字段配置,从与该任一个查询顺序对应的子查询配置信息关联的原始数据中获取关联字段信息;其中,与查询顺序最先的子查询配置信息关联的原始数据是主查询配置信息对应的原始数据,与查询顺序非最先的任一个子查询配置信息关联的原始数据是该任一个子查询配置信息的前一查询顺序的子查询配置信息所对应的原始数据;根据关联字段信息和该任一个查询顺序对应的子查询配置信息中的查询字段配置,从该任一个查询顺序对应的目标数据表中获取原始数据。
在一个实施例中,处理器执行计算机程序,实现根据需求配置信息获得分散存储于多个数据表中的原始数据时,还实现以下步骤:
对需求配置信息进行风险检验;在确认需求配置信息通过风险检验后,根据需求配置信息获得分散存储于多个数据表中的原始数据。
在一个实施例中,处理器执行计算机程序,实现对原始数据进行关联处理,得到数据获取需求对应的关联数据的步骤之后,还实现以下步骤:
将关联数据写入文件服务器;将关联数据在文件服务器中对应的文件地址更新到下载任务表。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
响应于预设触发指令,确定当前需要处理的数据获取需求;获取数据获取需求对应的需求配置信息;根据需求配置信息获取分散存储于多个数据表中的原始数据;对原始数据进行关联处理,得到满足数据获取需求的目标数据。
在一个实施例中,需求配置信息包括主查询配置信息和至少一个子查询配置信息;计算机程序被处理器执行,根据需求配置信息获取分散存储于多个数据表中的原始数据时,还实现以下步骤:
根据主查询配置信息从其对应的目标数据表中查询得到原始数据;确定至少一个子查询配置信息中每个查询配置信息对应的查询顺序和目标数据表;按照查询顺序依次根据各个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据。
在一个实施例中,每个子查询配置信息包括查询字段配置和关联字段配置;计算机程序被处理器执行,根据任一个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据时,还实现以下步骤:
根据任一个查询顺序对应的子查询配置信息中的关联字段配置,从与该任一个查询顺序对应的子查询配置信息关联的原始数据中获取关联字段信息;其中,与查询顺序最先的子查询配置信息关联的原始数据是主查询配置信息对应的原始数据,与查询顺序非最先的任一个子查询配置信息关联的原始数据是该任一个子查询配置信息的前一查询顺序的子查询配置信息所对应的原始数据;根据关联字段信息和该任一个查询顺序对应的子查询配置信息中的查询字段配置,从该任一个查询顺序对应的目标数据表中获取原始数据。
在一个实施例中,计算机程序被处理器执行,根据需求配置信息获得分散存储于多个数据表中的原始数据时,还实现以下步骤:
对需求配置信息进行风险检验;在确认需求配置信息通过风险检验后,根据需求配置信息获得分散存储于多个数据表中的原始数据。
在一个实施例中,计算机程序被处理器执行,对原始数据进行关联处理,得到数据获取需求对应的关联数据的步骤之后,还实现以下步骤:
将关联数据写入文件服务器;将关联数据在文件服务器中对应的文件地址更新到下载任务表。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据获取需求处理方法,其特征在于,所述方法包括:
响应于预设触发指令,确定当前需要处理的数据获取需求;
获取所述数据获取需求对应的需求配置信息;
根据所述需求配置信息获取分散存储于多个数据表中的原始数据;
对所述原始数据进行关联处理,得到满足所述数据获取需求的目标数据。
2.如权利要求1所述的数据获取需求处理方法,其特征在于,
所述需求配置信息包括主查询配置信息和至少一个子查询配置信息;
所述根据所述需求配置信息获取分散存储于多个数据表中的原始数据的步骤,包括:
根据所述主查询配置信息从其对应的目标数据表中查询得到原始数据;
确定所述至少一个子查询配置信息中每个查询配置信息对应的查询顺序和目标数据表;
按照查询顺序依次根据各个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据。
3.如权利要求2所述的数据获取需求处理方法,其特征在于,
每个子查询配置信息包括查询字段配置和关联字段配置;
在根据任一个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据时,包括:
根据所述任一个查询顺序对应的子查询配置信息中的关联字段配置,从与所述任一个查询顺序对应的子查询配置信息关联的原始数据中获取关联字段信息;其中,与查询顺序最先的子查询配置信息关联的原始数据是所述主查询配置信息对应的原始数据,与查询顺序非最先的任一个子查询配置信息关联的原始数据是该任一个子查询配置信息的前一查询顺序的子查询配置信息所对应的原始数据;
根据所述关联字段信息和所述任一个查询顺序对应的子查询配置信息中的查询字段配置,从所述任一个查询顺序对应的目标数据表中获取原始数据。
4.如权利要求1所述的数据获取需求处理方法,其特征在于,
所述根据所述需求配置信息获取分散存储于多个数据表中的原始数据,包括:
对所述需求配置信息进行风险检验;
在确认所述需求配置信息通过风险检验后,根据所述需求配置信息获得分散存储于多个数据表中的原始数据。
5.如权利要求1所述的数据获取需求处理方法,其特征在于,
所述对所述原始数据进行关联处理,得到所述数据获取需求对应的关联数据的步骤之后,包括:
将所述关联数据写入文件服务器;
将所述关联数据在所述文件服务器中对应的文件地址更新到下载任务表。
6.一种数据获取需求处理装置,其特征在于,所述装置包括:
需求确定模块,用于响应于预设触发指令,确定当前需要处理的数据获取需求;
需求配置获取模块,用于获取所述数据获取需求对应的需求配置信息;
原始数据获取模块,用于根据所述需求配置信息获取分散存储于多个数据表中的原始数据;
对所述原始数据进行关联处理,得到满足所述数据获取需求的目标数据。
7.如权利要求6所述的数据获取需求处理装置,其特征在于,
所述需求配置信息包括主查询配置信息和至少一个子查询配置信息;
原始数据获取模块,包括:
第一数据获取子模块,用于根据所述主查询配置信息从其对应的目标数据表中查询得到原始数据;
确定子模块,用于确定所述至少一个子查询配置信息中每个查询配置信息对应的查询顺序和目标数据表;
第二数据获取子模块,用于按照查询顺序依次根据各个查询顺序对应的子查询配置信息,从其对应的目标数据表中查询得到该子查询配置信息对应的原始数据。
8.如权利要求7所述的数据获取需求处理装置,其特征在于,
每个子查询配置信息包括查询字段配置和关联字段配置;
第二数据获取子模块,包括:
关联字段信息获取单元,用于根据所述任一个查询顺序对应的子查询配置信息中的关联字段配置,从与所述任一个查询顺序对应的子查询配置信息关联的原始数据中获取关联字段信息;其中,与查询顺序最先的子查询配置信息关联的原始数据是所述主查询配置信息对应的原始数据,与查询顺序非最先的任一个子查询配置信息关联的原始数据是该任一个子查询配置信息的前一查询顺序的子查询配置信息所对应的原始数据;
原始数据获取单元,用于根据所述关联字段信息和所述任一个查询顺序对应的子查询配置信息中的查询字段配置,从所述任一个查询顺序对应的目标数据表中获取原始数据。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010943219.0A CN112069223B (zh) | 2020-09-09 | 2020-09-09 | 数据获取需求处理方法、装置、计算机设备和存储介质 |
CA3130318A CA3130318A1 (en) | 2020-09-09 | 2021-09-09 | Data acquisition demand processing method and device, computer equipment and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010943219.0A CN112069223B (zh) | 2020-09-09 | 2020-09-09 | 数据获取需求处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112069223A true CN112069223A (zh) | 2020-12-11 |
CN112069223B CN112069223B (zh) | 2022-11-25 |
Family
ID=73663200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010943219.0A Active CN112069223B (zh) | 2020-09-09 | 2020-09-09 | 数据获取需求处理方法、装置、计算机设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112069223B (zh) |
CA (1) | CA3130318A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112732715A (zh) * | 2020-12-31 | 2021-04-30 | 星环信息科技(上海)股份有限公司 | 一种数据表关联方法、设备以及存储介质 |
CN113064917A (zh) * | 2021-03-08 | 2021-07-02 | 南京苏宁软件技术有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108874926A (zh) * | 2018-05-31 | 2018-11-23 | 康键信息技术(深圳)有限公司 | 海量数据查询方法、装置、计算机设备和存储介质 |
US20190236185A1 (en) * | 2018-01-26 | 2019-08-01 | Vmware, Inc. | Splitting a time-range query into multiple sub-queries for serial execution |
CN110321344A (zh) * | 2019-05-20 | 2019-10-11 | 平安普惠企业管理有限公司 | 关联数据的信息查询方法、装置、计算机设备及存储介质 |
-
2020
- 2020-09-09 CN CN202010943219.0A patent/CN112069223B/zh active Active
-
2021
- 2021-09-09 CA CA3130318A patent/CA3130318A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190236185A1 (en) * | 2018-01-26 | 2019-08-01 | Vmware, Inc. | Splitting a time-range query into multiple sub-queries for serial execution |
CN108874926A (zh) * | 2018-05-31 | 2018-11-23 | 康键信息技术(深圳)有限公司 | 海量数据查询方法、装置、计算机设备和存储介质 |
CN110321344A (zh) * | 2019-05-20 | 2019-10-11 | 平安普惠企业管理有限公司 | 关联数据的信息查询方法、装置、计算机设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112732715A (zh) * | 2020-12-31 | 2021-04-30 | 星环信息科技(上海)股份有限公司 | 一种数据表关联方法、设备以及存储介质 |
CN112732715B (zh) * | 2020-12-31 | 2023-08-25 | 星环信息科技(上海)股份有限公司 | 一种数据表关联方法、设备以及存储介质 |
CN113064917A (zh) * | 2021-03-08 | 2021-07-02 | 南京苏宁软件技术有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CA3130318A1 (en) | 2022-03-09 |
CN112069223B (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
CN108874644B (zh) | 数据监控方法、装置、计算机设备及存储介质 | |
CN111309785B (zh) | 基于Spring框架的数据库访问方法、装置、计算机设备和介质 | |
CN111310427A (zh) | 业务数据配置处理方法、装置、计算机设备和存储介质 | |
CN112069223B (zh) | 数据获取需求处理方法、装置、计算机设备和存储介质 | |
CN109460252B (zh) | 基于git的配置文件处理方法、装置和计算机设备 | |
CN113448862B (zh) | 软件版本测试方法、装置及计算机设备 | |
CN110674200A (zh) | 一种基于注解的数据查询方法、数据查询设备及存储介质 | |
CN112905323A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN114064073A (zh) | 软件版本升级方法、装置、计算机设备和存储介质 | |
CN111522881B (zh) | 业务数据处理方法、装置、服务器及存储介质 | |
CN113569257A (zh) | 灰度发布中的用户权限管理方法和装置 | |
CN112948504A (zh) | 数据采集方法、装置、计算机设备和存储介质 | |
CN112363997A (zh) | 数据版本管理方法、装置及存储介质 | |
CN109271431B (zh) | 数据抽取方法、装置、计算机设备及存储介质 | |
CN111400390A (zh) | 数据处理方法及装置 | |
CN111143399A (zh) | 数据处理方法、装置、存储介质和计算机设备 | |
CN110543465A (zh) | 目录操作方法、装置、计算机设备和存储介质 | |
CN115757172A (zh) | 测试执行方法、装置、存储介质及计算机设备 | |
CN112597162B (zh) | 数据集采集方法、系统、设备及存储介质 | |
CN110532533B (zh) | 表格精度配置化方法、装置、计算机设备以及存储介质 | |
CN111666340A (zh) | 基于大数据的同步数据校对方法、装置和计算机设备 | |
CN112817931A (zh) | 一种增量版本文件的生成方法及装置 | |
CN110969430A (zh) | 可疑用户的识别方法、装置、计算机设备和存储介质 | |
CN111400309B (zh) | 数据更新方法、电子装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |