CN112835932A - 业务表的批量处理方法及装置、非易失性存储介质 - Google Patents
业务表的批量处理方法及装置、非易失性存储介质 Download PDFInfo
- Publication number
- CN112835932A CN112835932A CN202110033336.8A CN202110033336A CN112835932A CN 112835932 A CN112835932 A CN 112835932A CN 202110033336 A CN202110033336 A CN 202110033336A CN 112835932 A CN112835932 A CN 112835932A
- Authority
- CN
- China
- Prior art keywords
- association
- batch
- processing
- processed
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 8
- 102100031437 Cell cycle checkpoint protein RAD1 Human genes 0.000 description 5
- 102100033934 DNA repair protein RAD51 homolog 2 Human genes 0.000 description 5
- 101001130384 Homo sapiens Cell cycle checkpoint protein RAD1 Proteins 0.000 description 5
- 101001132307 Homo sapiens DNA repair protein RAD51 homolog 2 Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 101100412103 Arabidopsis thaliana REC3 gene Proteins 0.000 description 2
- 101100528972 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RPD3 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101150037899 REL1 gene Proteins 0.000 description 1
- 102000043322 Reelin Human genes 0.000 description 1
- 108700038365 Reelin Proteins 0.000 description 1
- 101150057388 Reln gene Proteins 0.000 description 1
- 101100099158 Xenopus laevis rela gene Proteins 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种业务表的批量处理方法及装置、非易失性存储介质。其中，该方法包括：响应于接收到的批量处理请求，获取多个待批量处理业务表；确定上述多个待批量处理业务表之间的基础关联关系；确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。本发明解决了现有技术中在批量处理业务表时，同类型表需反复关联多次，消耗时间长且资源占用率高的技术问题。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种业务表的批量处理方法及装置、非易失性存储介质。
背景技术
图1是根据现有技术的一种传统的业务表的批量处理示意图，如图1所示，目前多表关联方案多使用嵌套查询(在一个SELECT语句的WHERE子句或HAVING子句中嵌套另一个SELECT语句的查询)、SQL脚本串行执行SQL逐层加工、存储过程等方式实现，在批量处理海量数据时，同类型表需反复关联多次，会消耗大量的时间，并对CPU和内存造成巨的压力。
但是，在数据时效性要求较高时，简单的函数或语法优化批量关联次数较多，无法实现缩短SQL任务执行时间同时有效的降低资源占用率，即现有的多表关联方案已无法满足用户需求。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种业务表的批量处理方法及装置、非易失性存储介质，以至少解决现有技术中在批量处理业务表时，同类型表需反复关联多次，消耗时间长且资源占用率高的技术问题。
根据本发明实施例的一个方面，提供了一种业务表的批量处理方法，包括：响应于接收到的批量处理请求，获取多个待批量处理业务表；确定上述多个待批量处理业务表之间的基础关联关系；确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。
可选的，确定上述多个待批量处理业务表之间的基础关联关系，包括：对上述多个待批量处理业务表进行基础关联关系的加工处理，其中，上述加工处理包括增量追加处理和/或全量覆盖处理；基于加工处理结果确定上述多个待批量处理业务表之间的基础关联关系。
可选的，对上述多个待批量处理业务表进行基础关联关系的加工处理，包括：通过对上述多个待批量处理业务表中的新增数据进行增量追加关联处理，得到增量关联结果，并基于上述增量关联结果确定上述多个待批量处理业务表的第一基础关联关系；和/或对上述多个待批量处理业务表中的全部数据进行全量覆盖关联处理，得到全量关联结果，并基于上述全量关联结果确定上述多个待批量处理业务表的第二基础关联关系。
可选的，基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理，包括：根据上述多个待批量处理业务表的基础关联关系，对上述多个待批量处理业务表进行第一批量关联处理，得到第一批量关系处理结果；基于上述第一批量关联处理结果和上述关联需求逻辑，对上述待批量处理业务表进行第二批量关联处理，得到第二批量关系处理结果；基于上述第二批量关联处理结果和上述关联取数逻辑，对上述待批量处理业务表进行第三批量关联处理，得到第三批量关系处理结果。
可选的，在对上述多个待批量处理业务表进行批量关联处理之后，上述方法还包括：对上述第一批量关联处理结果、上述第二批量关系处理结果、上述第三批量关系处理结果进行分段存储。
根据本发明实施例的另一方面，还提供了一种业务表的批量处理装置，包括：获取模块，用于响应于接收到的批量处理请求，获取多个待批量处理业务表；第一确定模块，用于确定上述多个待批量处理业务表之间的基础关联关系；第二确定模块，用于确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；处理模块，用于基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。
可选的，上述第一确定模块，包括：处理单元，用于对上述多个待批量处理业务表进行基础关联关系的加工处理，其中，上述加工处理包括增量追加处理和/或全量覆盖处理；确定单元，用于基于加工处理结果确定上述多个待批量处理业务表之间的基础关联关系。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的业务表的批量处理方法。
根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序被设置为运行时执行任意一项上述的业务表的批量处理方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任意一项上述的业务表的批量处理方法。
在本发明实施例中，通过响应于接收到的批量处理请求，获取多个待批量处理业务表；确定上述多个待批量处理业务表之间的基础关联关系；确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理，达到了在批量处理业务表时减少批量关联次数的目的，从而实现了缩短SQL任务执行时间同时有效的降低资源占用率的技术效果，进而解决了现有技术中在批量处理业务表时，同类型表需反复关联多次，消耗时间长且资源占用率高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据现有技术的一种传统的业务表的批量处理示意图；
图2是根据本发明实施例的一种业务表的批量处理方法的流程图；
图3是根据本发明实施例的一种可选的业务表的批量处理方法的场景示意图；
图4是根据本发明实施例的一种可选的业务表的批量处理方法的场景示意图；
图5是根据本发明实施例的一种业务表的批量处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，为方便理解本发明实施例，下面将对本发明中所涉及的部分术语或名词进行解释说明：
Hadoop：是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。
Hive：是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。
HBase：是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。
结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统，可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。
实施例1
根据本发明实施例，提供了一种业务表的批量处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种业务表的批量处理方法的流程图，如图2所示，该方法包括如下步骤：
步骤S102，响应于接收到的批量处理请求，获取多个待批量处理业务表；
步骤S104，确定上述多个待批量处理业务表之间的基础关联关系；
步骤S106，确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；
步骤S108，基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。
在本发明实施例中，通过响应于接收到的批量处理请求，获取多个待批量处理业务表；确定上述多个待批量处理业务表之间的基础关联关系；确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理，达到了在批量处理业务表时减少批量关联次数的目的，从而实现了缩短SQL任务执行时间同时有效的降低资源占用率的技术效果，进而解决了现有技术中在批量处理业务表时，同类型表需反复关联多次，消耗时间长且资源占用率高的技术问题。
需要说明的是，本申请实施例所提供的业务表的批量处理方法其实质是一种面向批量处理多表关联加工数据的处理方法，可以但不限于用于解决结构化数据批量多表关联加工过程中耗时长、资源占用率高的技术问题。
本申请技术方案通过加工关系表的方式垂直接口之间关联关系，缩进目标值与结果值之间的关系，可以减少批量关联次数、缩短SQL任务执行时间同时有效的降低资源占用率解决上述问题。
需要说明的是，本申请实施例中的关系表加工处理方案，在ORACLE、hive、Hbase等数据库中均可实现，此技术方案也同样适用于批量处理的TXT、xml数据文件(格式化数据)。例如，提供本申请实施例，可以将N次的join和嵌套单独加工成类key value模式关系表，将关联关系单独存储。因而通过本申请实施例，在处理批量多变关联加工数据方面，可以显著提升任务执行效率，实现缩短任务时间，降低资源占用率等技术效果。
在接收到来自客户端的批量处理请求之后，获取多个待批量处理业务表，首先确定多个待批量处理业务表之间的基础关联关系，再确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，例如，可以基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；进而可以基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。
在一种可选的实施例中，确定上述多个待批量处理业务表之间的基础关联关系，包括：
步骤S202，对上述多个待批量处理业务表进行基础关联关系的加工处理，其中，上述加工处理包括增量追加处理和/或全量覆盖处理；
步骤S204，基于加工处理结果确定上述多个待批量处理业务表之间的基础关联关系。
在本申请实施例中，对多个待批量处理业务表进行基础关联关系的加工处理，可以包括增量追加处理、全量覆盖处理，基于该加工处理结果确定上述多个待批量处理业务表之间的基础关联关系。
在一种可选的实施例中，对上述多个待批量处理业务表进行基础关联关系的加工处理，包括：
步骤S302，通过对上述多个待批量处理业务表中的新增数据进行增量追加关联处理，得到增量关联结果，并基于上述增量关联结果确定上述多个待批量处理业务表的第一基础关联关系；和/或
步骤S304，对上述多个待批量处理业务表中的全部数据进行全量覆盖关联处理，得到全量关联结果，并基于上述全量关联结果确定上述多个待批量处理业务表的第二基础关联关系。
作为一种可选的实施例，如图3所示的加工每轮跑批所需多表关联的基础关联关系，同时去除无用字段，仅保留联立所需字段，这样可以减少存储等资源的额外耗费，例如，如图4所示，将数据A-数据B的关联关系以SQL形式加工至REC1表中(字段值为field1和field2)，将数据B-数据C的关联关系以无简单SQL形式加工至REC2表中(字段值为field2和field3)，将数据C-数据D的关联关系简单SQL形式加工至REC3表中(字段值为field3和fieldN)，数据D-数据N的关联关系加工至RECN表中(字段值为fieldN和Target Field)，实现将关联表基础关联关系结果集分段存储，便于关系表加工能够按需灵活组合。
在一种可选的实施例中，基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理，包括：
步骤S402，根据上述多个待批量处理业务表的基础关联关系，对上述多个待批量处理业务表进行第一批量关联处理，得到第一批量关系处理结果；
步骤S404，基于上述第一批量关联处理结果和上述关联需求逻辑，对上述待批量处理业务表进行第二批量关联处理，得到第二批量关系处理结果；
步骤S406，基于上述第二批量关联处理结果和上述关联取数逻辑，对上述待批量处理业务表进行第三批量关联处理，得到第三批量关系处理结果。
在批量多表关联加工过程中，根据用于指示实际需求的关联需求逻辑，按照各类接口的关联取数逻辑，基于如图3所示的基础表加工层加工不同颗粒度的REL关系表，例如图4所示，结合ETL调度，将REC1、REC2、REC3...ERCN根据REC1+REC2等于存储1和2关联关系的REL1，REC1+REC2+REL3等于存储1和3关联关系的REL3，REC1+REC2+REL3+RECN等于存储1和N关联关系的关系表RELN等等，通过一次性加工处理，即可在本轮跑批中重复使用。
通过本申请实施例所提供的上述方法步骤，如果需要加工N个接口表，那么就节约了N-1次多表关联的时间、减少了N-1次的多表关联、嵌套，降低了资源占用率，减少大量运行时间和计算。
在一种可选的实施例中，在对上述多个待批量处理业务表进行批量关联处理之后，上述方法还包括：对上述第一批量关联处理结果、上述第二批量关系处理结果、上述第三批量关系处理结果进行分段存储。
在对上述多个待批量处理业务表进行批量关联处理之后，通过对上述第一批量关联处理结果、上述第二批量关系处理结果、上述第三批量关系处理结果进行分段存储，可以便于在对上述多个待批量处理业务表进行批量关联处理时，基于关联需求逻辑和关联取数逻辑获取所需的批量关系处理结果。
实施例2
根据本发明实施例，还提供了一种用于实施上述业务表的批量处理方法的装置实施例，图5是根据本发明实施例的一种业务表的批量处理装置的结构示意图，如图5所示，上述业务表的批量处理装置，包括：获取模块300、第一确定模块302、确定模块304和处理模块306，其中：
获取模块300，用于响应于接收到的批量处理请求，获取多个待批量处理业务表；第一确定模块302，用于确定上述多个待批量处理业务表之间的基础关联关系；第二确定模块304，用于确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；处理模块306，用于基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。
在一种可选的实施例中，上述第一确定模块，包括：处理单元，用于对上述多个待批量处理业务表进行基础关联关系的加工处理，其中，上述加工处理包括增量追加处理和/或全量覆盖处理；确定单元，用于基于加工处理结果确定上述多个待批量处理业务表之间的基础关联关系。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
此处需要说明的是，上述获取模块300、第一确定模块302、确定模块304和处理模块306对应于实施例1中的步骤S102至步骤S108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
上述的业务表的批量处理装置还可以包括处理器和存储器，上述获取模块300、第一确定模块302、确定模块304和处理模块306等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本申请实施例，还提供了一种非易失性存储介质的实施例。可选地，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述任意一种业务表的批量处理方法。
可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述非易失性存储介质包括存储的程序。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：响应于接收到的批量处理请求，获取多个待批量处理业务表；确定上述多个待批量处理业务表之间的基础关联关系；确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：对上述多个待批量处理业务表进行基础关联关系的加工处理，其中，上述加工处理包括增量追加处理和/或全量覆盖处理；基于加工处理结果确定上述多个待批量处理业务表之间的基础关联关系。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：通过对上述多个待批量处理业务表中的新增数据进行增量追加关联处理，得到增量关联结果，并基于上述增量关联结果确定上述多个待批量处理业务表的第一基础关联关系；和/或对上述多个待批量处理业务表中的全部数据进行全量覆盖关联处理，得到全量关联结果，并基于上述全量关联结果确定上述多个待批量处理业务表的第二基础关联关系。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：根据上述多个待批量处理业务表的基础关联关系，对上述多个待批量处理业务表进行第一批量关联处理，得到第一批量关系处理结果；基于上述第一批量关联处理结果和上述关联需求逻辑，对上述待批量处理业务表进行第二批量关联处理，得到第二批量关系处理结果；基于上述第二批量关联处理结果和上述关联取数逻辑，对上述待批量处理业务表进行第三批量关联处理，得到第三批量关系处理结果。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：对上述第一批量关联处理结果、上述第二批量关系处理结果、上述第三批量关系处理结果进行分段存储。
根据本申请实施例，还提供了一种处理器的实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种业务表的批量处理方法。
根据本申请实施例，还提供了一种电子设备的实施例，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任意一种的业务表的批量处理方法。
根据本申请实施例，还提供了一种计算机程序产品的实施例，当在数据处理设备上执行时，适于执行初始化有上述任意一种的业务表的批量处理方法步骤的程序。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种业务表的批量处理方法，其特征在于，包括：
响应于接收到的批量处理请求，获取多个待批量处理业务表；
确定所述多个待批量处理业务表之间的基础关联关系；
确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定所述关联需求逻辑，基于所述待批量处理业务表对应的不同种类接口，确定不同的所述关联取数逻辑；
基于所述基础关联关系、所述关联需求逻辑和所述关联取数逻辑，对所述多个待批量处理业务表进行批量关联处理。
2.根据权利要求1所述的方法，其特征在于，确定所述多个待批量处理业务表之间的基础关联关系，包括：
对所述多个待批量处理业务表进行基础关联关系的加工处理，其中，所述加工处理包括增量追加处理和/或全量覆盖处理；
基于加工处理结果确定所述多个待批量处理业务表之间的基础关联关系。
3.根据权利要求2所述的方法，其特征在于，对所述多个待批量处理业务表进行基础关联关系的加工处理，包括：
通过对所述多个待批量处理业务表中的新增数据进行增量追加关联处理，得到增量关联结果，并基于所述增量关联结果确定所述多个待批量处理业务表的第一基础关联关系；和/或
对所述多个待批量处理业务表中的全部数据进行全量覆盖关联处理，得到全量关联结果，并基于所述全量关联结果确定所述多个待批量处理业务表的第二基础关联关系。
4.根据权利要求3所述的方法，其特征在于，基于所述基础关联关系、所述关联需求逻辑和所述关联取数逻辑，对所述多个待批量处理业务表进行批量关联处理，包括：
根据所述多个待批量处理业务表的基础关联关系，对所述多个待批量处理业务表进行第一批量关联处理，得到第一批量关系处理结果；
基于所述第一批量关联处理结果和所述关联需求逻辑，对所述待批量处理业务表进行第二批量关联处理，得到第二批量关系处理结果；
基于所述第二批量关联处理结果和所述关联取数逻辑，对所述待批量处理业务表进行第三批量关联处理，得到第三批量关系处理结果。
5.根据权利要求4所述的方法，其特征在于，在对所述多个待批量处理业务表进行批量关联处理之后，所述方法还包括：
对所述第一批量关联处理结果、所述第二批量关系处理结果、所述第三批量关系处理结果进行分段存储。
6.一种业务表的批量处理装置，其特征在于，包括：
获取模块，用于响应于接收到的批量处理请求，获取多个待批量处理业务表；
第一确定模块，用于确定所述多个待批量处理业务表之间的基础关联关系；
第二确定模块，用于确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定所述关联需求逻辑，基于所述待批量处理业务表对应的不同种类接口，确定不同的所述关联取数逻辑；
处理模块，用于基于所述基础关联关系、所述关联需求逻辑和所述关联取数逻辑，对所述多个待批量处理业务表进行批量关联处理。
7.根据权利要求6所述的装置，其特征在于，所述第一确定模块，包括：
处理单元，用于对所述多个待批量处理业务表进行基础关联关系的加工处理，其中，所述加工处理包括增量追加处理和/或全量覆盖处理；
确定单元，用于基于加工处理结果确定所述多个待批量处理业务表之间的基础关联关系。
8.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至5中任意一项所述的业务表的批量处理方法。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被设置为运行时执行权利要求1至5中任意一项所述的业务表的批量处理方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任意一项所述的业务表的批量处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110033336.8A CN112835932B (zh) | 2021-01-11 | 2021-01-11 | 业务表的批量处理方法及装置、非易失性存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110033336.8A CN112835932B (zh) | 2021-01-11 | 2021-01-11 | 业务表的批量处理方法及装置、非易失性存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112835932A true CN112835932A (zh) | 2021-05-25 |
| CN112835932B CN112835932B (zh) | 2024-05-28 |
Family
ID=75929631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110033336.8A Active CN112835932B (zh) | 2021-01-11 | 2021-01-11 | 业务表的批量处理方法及装置、非易失性存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112835932B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115858372A (zh) * | 2022-12-19 | 2023-03-28 | 上海浦东发展银行股份有限公司 | 基于olap系统的批量数据构造和自动化验证方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004078491A (ja) * | 2002-08-15 | 2004-03-11 | Hitachi Ltd | バッチ処理システム、バッチ処理システムのパラメータ管理方法 |
| US20090193420A1 (en) * | 2008-01-29 | 2009-07-30 | International Business Machines Corporation | Method and system for batch processing form data |
| US20110161946A1 (en) * | 2009-12-29 | 2011-06-30 | Microgen Plc | Batch data processing |
| CN106844507A (zh) * | 2016-12-27 | 2017-06-13 | 星环信息科技（上海）有限公司 | 一种数据批处理的方法及设备 |
| CN111179066A (zh) * | 2019-12-31 | 2020-05-19 | 中国银行股份有限公司 | 业务数据的批量处理方法、装置、服务器和存储介质 |
| CN111400390A (zh) * | 2020-04-08 | 2020-07-10 | 上海东普信息科技有限公司 | 数据处理方法及装置 |
-
2021
- 2021-01-11 CN CN202110033336.8A patent/CN112835932B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004078491A (ja) * | 2002-08-15 | 2004-03-11 | Hitachi Ltd | バッチ処理システム、バッチ処理システムのパラメータ管理方法 |
| US20090193420A1 (en) * | 2008-01-29 | 2009-07-30 | International Business Machines Corporation | Method and system for batch processing form data |
| US20110161946A1 (en) * | 2009-12-29 | 2011-06-30 | Microgen Plc | Batch data processing |
| CN106844507A (zh) * | 2016-12-27 | 2017-06-13 | 星环信息科技（上海）有限公司 | 一种数据批处理的方法及设备 |
| CN111179066A (zh) * | 2019-12-31 | 2020-05-19 | 中国银行股份有限公司 | 业务数据的批量处理方法、装置、服务器和存储介质 |
| CN111400390A (zh) * | 2020-04-08 | 2020-07-10 | 上海东普信息科技有限公司 | 数据处理方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115858372A (zh) * | 2022-12-19 | 2023-03-28 | 上海浦东发展银行股份有限公司 | 基于olap系统的批量数据构造和自动化验证方法及系统 |
| CN115858372B (zh) * | 2022-12-19 | 2024-04-26 | 上海浦东发展银行股份有限公司 | 基于olap系统的批量数据构造和自动化验证方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112835932B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107515878B (zh) | 一种数据索引的管理方法及装置 | |
| JP5298117B2 (ja) | 分散コンピューティングにおけるデータマージング | |
| CN108683692B (zh) | 一种业务请求处理方法及装置 | |
| CN105824957A (zh) | 分布式内存列式数据库的查询引擎系统及查询方法 | |
| US9135647B2 (en) | Methods and systems for flexible and scalable databases | |
| CN106326429A (zh) | 一种基于solr的Hbase秒级查询方案 | |
| CN107391502B (zh) | 时间间隔的数据查询方法、装置及索引构建方法、装置 | |
| CN103646073A (zh) | 一种基于HBase表的条件查询优化方法 | |
| CN109241159B (zh) | 一种数据立方体的分区查询方法、系统及终端设备 | |
| CN109977175B (zh) | 数据配置查询方法和装置 | |
| CN106557307B (zh) | 业务数据的处理方法及处理系统 | |
| CN105117433A (zh) | 一种基于Hive解析HFile统计查询HBase的方法和系统 | |
| CN103198099A (zh) | 基于云计算的面向电信业务的数据挖掘应用方法 | |
| CN113177090A (zh) | 数据处理方法及装置 | |
| CN113297188B (zh) | 数据处理方法以及装置 | |
| CN112835932B (zh) | 业务表的批量处理方法及装置、非易失性存储介质 | |
| CN110110153A (zh) | 一种节点搜索的方法和装置 | |
| CN112069175A (zh) | 数据查询的方法、装置及电子设备 | |
| US8229946B1 (en) | Business rules application parallel processing system | |
| CN116595106A (zh) | 一种用户分群方法、设备及存储介质 | |
| McClean et al. | A comparison of mapreduce and parallel database management systems | |
| CN115982230A (zh) | 数据库的跨数据源查询方法、系统、设备及存储介质 | |
| CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
| CN109992630B (zh) | 数据模型匹配方法和装置 | |
| CN112650777A (zh) | 数据仓库的制作方法、装置、终端设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |