CN105512313A - 一种增量式数据处理的方法和装置 - Google Patents
一种增量式数据处理的方法和装置 Download PDFInfo
- Publication number
- CN105512313A CN105512313A CN201510931383.9A CN201510931383A CN105512313A CN 105512313 A CN105512313 A CN 105512313A CN 201510931383 A CN201510931383 A CN 201510931383A CN 105512313 A CN105512313 A CN 105512313A
- Authority
- CN
- China
- Prior art keywords
- data
- business
- time
- data element
- creation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种增量式数据处理的方法和装置,能够在保证数据完整及准确的前提下,提高业务数据的加工效率,降低存储空间,提高使用效率,进而极大地节省了集群资源。该方法用于对业务数据进行处理,每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素,每个数据元素设有创建日期,该方法包括:获得该业务的完成期限M;读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素,并按照预定的业务逻辑加工所述数据元素;当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时,则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。
Description
技术领域
本发明涉及计算机技术领域,特别地涉及一种增量式数据处理的方法和装置。
背景技术
随着互联网及电商的快速发展、业务形式的多样化以及人们对互联网依赖程度的增加,企业数据仓库所承载的数据量呈现爆发式的增长,海量数据的存储与加工也对集群资源带来了非常大的挑战。另外,某个业务流程,可能经查出现各种“意外”,导致某个环节重新进行或者长时间锁定,需要跨天甚至跨多天才能完成。但是有些事实表往往不需要保留流程细节,尤其不需要保留错误的细节,只需要保留某个业务单号最终的现象。因此,高效地针对跨业务线、跨多天、常反复进行的业务进行加工和存储,不仅能够极大地节省集群资源,也能使后续业务系统更清晰地了解数据的组织结构以及使用方法。
以仓储系统中订单在库房的生产过程为例,用户下单,订单下传到库房,会经历仓库管理系统WMS(WarehouseManagementSystem的缩写)接收--定位--分配--打印--拣货--复核--打包--派工等一系列流程,每一个流程都有可能而且很容易出现问题,导致整个流程或个别流程需要重新进行。甚至由于断电、机器故障、网络、以及订单取消、锁定等原因,某些订单甚至需要几个月的时间才能生产完毕,为了保证事实表中数据的正确性与完整性,现在的方法为每天全量加工所有订单在库房的生产过程。所谓全量加工,指的是对所有的历史数据进行加工。
以仓储系统的订单生产事实表T-Tab(Target_table的简称)为例进行说明。T-Tab以时间日期dt为分区,订单生产表涉及的底层拉链表(用于记录一个事物从开始一直到当前状态的所有变化信息的表)有出货单表(Tab1),订单预分拣表(Tab2),订单取消表(TabN)等N个表。Tab1、Tab2、…、TabN等N个表均为拉链表,创建时间(createdate)即是业务时间。同一订单,从下传到WMS,到派工,可能跨越不同的日期,即跨天,甚至由于订单锁定、取消等原因,会跨越多天,因此,无法进行准确的增量加工,即:按照一定的条件为标准,只加工符合该条件的数据,不符合该条件的数据不进行加工。目前的方案就是每天全量加工N个表中的所有数据,放入目标表的dt分区。
即:该事实表每天的加工过程如下,假设数据是在2015-09-21号进行加工,数据的加工过程如图1所示。T-Tab以dt为数据分区,其存储方式如下面的表1所示。
表1现有技术中数据的存储方式
数据分区 | 数据分区中存储的数据范围 |
dt=’2015-09-01’ | 存储2015-09-01之前的所有数据的加工结果 |
dt=’2015-09-02’ | 存储2015-09-02之前的所有数据的加工结果 |
… | ……… |
dt=’2015-09-20’ | 2015-09-20之前的所有数据的加工结果 |
按照如表1所示的存储方式进行全量加工后数据的存储,在后续使用这些数据时,只需要取最新的分区,再找到所需要的业务时间(即:创建时间),就可得到想要的结果。
然而,在使用过程中发现,现有的数据全量加工的处理方式存在很多缺陷,主要如下:
1、加工效率低:因无法控制订单生产过程中可能经历的各种“意外”以及无法把控流程完成所需时间,无法进行每天增量加工。只能进行每天全量加工,虽然能够保证数据的准确性,但是对于已经完成生产的订单来说,属于重复加工,极大地降低了数据加工的效率;
2、存储资源浪费:每天全量加工,伴随着的就是每天全量存储,即任何一天的分区中,都保存该日期之前的所有当前数据,对于一些已经完成库房生产的订单,造成了重复存储情况,浪费了集群资源;
3、使用效率低下:对于事实表的使用,由于数据是全量存储,即使只取一天的数据也需要在全部库房订单中扫描,大大降低了使用效率。
发明内容
有鉴于此,本发明提供一种增量式数据处理的方法和装置,能够在保证数据完整及准确的前提下,提高业务数据的加工效率,降低存储空间,提高使用效率,进而极大地节省了集群资源。
为实现上述目的,根据本发明的一个方面,提供了一种增量式数据处理的方法。
一种增量式数据处理的方法,用于对业务数据进行处理,每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素,每个数据元素设有创建日期,所述方法包括:获得该业务的完成期限M,M是正整数,表示完成该业务的单位时间数目;读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素,并按照预定的业务逻辑加工所述数据元素,其中,N为正数;当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时,则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。
可选地,还包括:当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时,把加工后的数据元素插入到预设的暂存数据分区。
可选地,所述单位时间是日,且N=1。
可选地,利用当前日期前一日的日期表示来作为所述增量数据分区的标识。
可选地,所述日期表示的形式为yyyy-mm-dd。
可选地,所述数据元素是关系数据库的表,所述业务数据集是表的集合。
根据本发明的另一方面,提供了一种增量式数据处理的装置。
一种增量式数据处理的装置,用于对业务数据进行处理,每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素,每个数据元素设有创建日期,所述装置包括:业务期限获取模块,用于获得该业务的完成期限M,M是正整数,表示完成该业务的单位时间数目;数据加工模块,用于读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素,并按照预定的业务逻辑加工所述数据元素,其中,N为正数;数据存储模块,用于当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时,则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。
可选地,所述数据存储模块还用于:当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时,把加工后的数据元素插入到预设的暂存数据分区。
可选地,所述单位时间是日,且N=1。
可选地,利用当前日期前一日的日期表示来作为所述增量数据分区的标识。
可选地,所述日期表示的形式为yyyy-mm-dd。
可选地,所述数据元素是关系数据库的表,所述业务数据集是表的集合。
根据本发明的技术方案,通过确定业务数据集涉及的数据元素处理完成所需要的最长时间,可以确定数据分区存储的数据范围;并根据各个数据元素的创建时间(即:业务时间)获取固定时间区间的数据进行处理及归档,从而实现了部分数据增量加工和存储。采用本发明的技术方案,无需每天全量加工所有历史数据,仅进行合理的增量加工,每天归档不再变化的数据,提高了加工效率;暂存数据分区dt=’4712-12-31’存储了可能会发生变化的数据,其他数据分区分别存储部分不再变化数据,且相互之间不重不漏,节省了存储空间;使用该业务的数据表时,只需要了解该表的存储结构,就能够根据具体需求,快速找到想要的数据所在分区,提高了使用效率。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是现有技术中数据的加工过程示意图;
图2根据本发明实施例的一种增量式数据处理的方法的主要步骤示意图;
图3是本发明实施例的实现过程示意图;
图4根据本发明实施例的一种增量式数据处理的装置的主要模块示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图2根据本发明实施例的一种增量式数据处理的方法的主要步骤示意图。本发明的增量式数据处理的方法用于对业务数据进行处理,每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素,每个数据元素设有创建日期。如图2所示,本发明的增量式数据处理的方法主要包括如下的步骤S21至步骤S23。
步骤S21:获得该业务的完成期限M,M是正整数,表示完成该业务的单位时间数目。如果该业务涉及多个不相关的子业务,且每个子业务完成所需要的时间不尽相同,则取其中最长的时间作为该业务的完成期限M,以便后续处理。如果该业务涉及的多个子业务中,有相关联的业务,则可根据情况进行相应的计算,以求得该业务的完成期限M。此处,完成期限M的单位可以是日,也可以根据需要进行设定为其他的时间单位。
在进行M值的获取时,可以是根据对数据库系统中大量数据的调研和分析获得,也可以是根据不同业务的要求(例如:该业务规定必须在M天之内完成)而得到,等等。
步骤S22:读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素,并按照预定的业务逻辑加工所述数据元素,其中,N为正数。
结合本发明的实施例,M的单位为日时取N=1。数据元素是关系数据库的表,所述业务数据集是表的集合。M和N的取值及时间单位可根据需要结合数据处理的效率等因素进行灵活设定。例如:若取时间单位为小时,则可根据需要设定N=10等,若取时间单位为月,则可根据需要设定N=0.1等。后面的介绍中将以时间单位为日,N=1为例进行说明。
在对读取的数据进行加工时可以根据需要设定相应的业务逻辑。结合本发明的实施例,按照预定的业务逻辑加工所述数据元素的过程以前述所提到的事实表涉及两个子业务为例进行说明。例如:以仓储系统的订单生产事实表T-Tab为例,表T-Tab涉及的底层拉链表包括订单表Tab1和订单预分拣表Tab2。以创建时间最早的订单表Tab1作为事实表T-Tab的主表,来查找该表中每个订单的商品的分拣类型信息,首先取出订单表Tab1的订单号,再用取出的订单号去关联订单预分拣表Tab2的订单号,之后,取出表Tab2中的分拣类型信息。相应地,对其他信息的获取也是类似做法。
步骤S23:当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时,则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。
另外,当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时,把加工后的数据元素插入到预设的暂存数据分区。
步骤S23中将加工完成的数据插入到数据分区时,所述插入可以采用数据仓库多表插入的方式进行,且所述数据仓库为hive。多表插入的方式是数据仓库hive特有数据插入操作,所谓的多表插入是指在同一条程序语句中,把读取的同一份元数据插入到不同的表或者分区中时,只需要扫描一遍元数据即可完成所有表或者分区的插入操作。
在进行数据插入时,需要以数据元素的创建时间中最早的创建时间为判断数据插入不同数据分区的标准。并且,当时间单位为日,且取N=1时,可以利用当前日期前一日的日期表示来作为所述增量数据分区的标识,且所述日期表示的形式为yyyy-mm-dd。
结合本发明的实施例,以事实表涉及的多个底层拉链表的数据插入为例,选定创建时间最早的底层拉链表作为该事实表的主表。在进行数据插入时,需要根据主表的创建时间,将数据插入到不同的数据分区中。当获取到步骤S22中加工完的数据后,首先需要对各个底层拉链表的创建时间进行判断,当创建时间为第前M+N个单位时间,即M+1天时,将该数据插入到数据分区dt为当前日期前一天的数据分区,否则,将创建时间>M+1天(由于步骤S23中获取的是最近M+1天的数据,因此创建时间≥M+1天)的数据,插入到预设的暂存数据分区dt=’4712-12-31’中。这样,就能每天仅需归档一天的数据,且该天的数据将不再变化,同时对于没有进行完毕的流程,暂时放入预设的暂存数据分区dt=’4712-12-31’,以待下次继续更新。
由以上过程可知,每天会更新两个数据分区的数据:新产生dt为当前日期前一天的数据分区,该分区存储了创建时间为第前M+1天的数据;并更新dt=’4712-12-31’分区,该分区存储了创建时间>M+1天即创建时间createdate为前M天及以后的数据。具体M的取值,要根据不同业务流程的特点进行设定。
由步骤S21至步骤S23可知,本发明提出了一个基于数据仓库的、部分数据增量加工及存储的方法,在保证数据完整及准确的前提下,提高事实表的加工效率,降低存储空间,提高使用效率,从而极大地节省了集群资源。
图3是本发明实施例的实现过程示意图。如图3所示,假设事实表T-Tab以Tab1为主表(Tab1的创建时间createdate最早),且涉及到N个业务流程,分别以createdate1、createdate2、…、createdateN为各个业务流程的创建时间,并且假定无论在任何意外状况下,这N个业务流程在100天之内能够完成(现实中,允许有一定的概率出现某业务流程在100天之内仍然不能完成的情况),即取业务期限M=100。设定数据加工日期为2015-09-21,该加工日期前第M+1=101天的日期为2015-06-10,也就是说需要获取各个底层拉链表中2015-06-10及之后的数据以进行增量加工。其中,数据增量加工的过程可参考前述步骤S22中介绍,此处不再赘述。
数据加工完毕后,将根据加工结果判断数据在主表Tab1中的创建时间(createdate1)是否为2015-06-10当天,如果是2015-06-10当天,则将该加工后的数据结果插入事实表T-Tab中新增的dt=’2015-09-20’数据分区,否则,将该加工后的数据结果插入事实表T-Tab中的暂存数据分区dt=’4712-12-31’中。即:事实表T-Tab新增了dt=’2015-09-20’数据分区,该数据分区存储了创建时间为createdate=’2015-06-10’的数据,且dt=’2015-09-20’数据分区之前的数据不会发生变化;同时,还变更了dt=’4712-12-31’数据分区的相关数据,即该数据分区存储了createdate>=’2015-06-11’的所有数据。同理,到2015-09-22时,事实表T-Tab会新增dt=’2015-09-21’的数据分区,且该数据分区存储的是createdate=’2015-06-11’的数据,同时变更dt=’4712-12-31’数据分区下的数据,且该数据分区存储的是createdate>=’2015-06-12’的数据。如此循环,即可实现数据的增量加工及存储。
根据上述的方法进行数据的增量加工及存储,相应的事实表T-Tab的存储方式如下表2所示。
表2数据增量加工的存储方式
数据分区 | 数据分区中存储的数据范围 |
dt=’2015-09-01’ | 存储2015-05-22当天创建的数据的加工结果 |
dt=’2015-09-02’ | 存储2015-05-23当天创建的数据的加工结果 |
… | ……… |
dt=’2015-09-20’ | 存储2015-06-10当天创建的数据的加工结果 |
dt=’4712-12-31’ | 存储2015-06-11及之后创建的数据的加工结果 |
按照如表2所示的存储方式进行数据存储,后续当需要使用该事实表的时候,可根据需求确定自己要读取的数据的业务时间(即:创建时间)范围,从而对该事实表进行合理的分区限定,以提高搜索效率,节省集群资源。
图4根据本发明实施例的一种增量式数据处理的装置的主要模块示意图。如图4所示,本发明的增量式数据处理的装置40主要包括业务期限获取模块41、数据加工模块42、数据存储模块43。
业务期限获取模块41用于获得该业务的完成期限M,M是正整数,表示完成该业务的单位时间数目;数据加工模块42用于读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素,并按照预定的业务逻辑加工所述数据元素,其中,N为正数;数据存储模块43用于当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时,则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。
所述数据存储模块43还可以用于当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时,把加工后的数据元素插入到预设的暂存数据分区。
根据本发明实施例的技术方案,所述单位时间是日,且N=1。可以利用当前日期前一日的日期表示来作为所述增量数据分区的标识。并且,所述日期表示的形式为yyyy-mm-dd。
其中,所述数据元素是关系数据库的表,所述业务数据集是表的集合。
根据本发明实施例的技术方案,通过确定业务数据集涉及的数据元素处理完成所需要的最长时间,可以确定数据分区存储的数据范围;并根据各个数据元素的创建时间(即:业务时间)获取固定时间区间的数据进行处理及归档,从而实现了部分数据增量加工和存储。采用本发明的技术方案,无需每天全量加工所有历史数据,仅进行合理的增量加工,每天归档不再变化的数据,提高了加工效率;暂存数据分区dt=’4712-12-31’存储了可能会发生变化的数据,其他数据分区分别存储部分不再变化数据,且相互之间不重不漏,节省了存储空间;使用该业务的数据表时,只需要了解该表的存储结构,就能够根据具体需求,快速找到想要的数据所在分区,提高了使用效率。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (12)
1.一种增量式数据处理的方法,用于对业务数据进行处理,每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素,每个数据元素设有创建日期,所述方法的特征在于,包括:
获得该业务的完成期限M,M是正整数,表示完成该业务的单位时间数目;
读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素,并按照预定的业务逻辑加工所述数据元素,其中,N为正数;
当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时,则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。
2.根据权利要求1所述的方法,其特征在于,还包括:
当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时,把加工后的数据元素插入到预设的暂存数据分区。
3.根据权利要求1所述的方法,其特征在于,所述单位时间是日,且N=1。
4.根据权利要求3所述的方法,其特征在于,利用当前日期前一日的日期表示来作为所述增量数据分区的标识。
5.根据权利要求4所述的方法,其特征在于,所述日期表示的形式为yyyy-mm-dd。
6.根据权利要求1所述的方法,其特征在于,所述数据元素是关系数据库的表,所述业务数据集是表的集合。
7.一种增量式数据处理的装置,用于对业务数据进行处理,每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素,每个数据元素设有创建日期,所述装置的特征在于,包括:
业务期限获取模块,用于获得该业务的完成期限M,M是正整数,表示完成该业务的单位时间数目;
数据加工模块,用于读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素,并按照预定的业务逻辑加工所述数据元素,其中,N为正数;
数据存储模块,用于当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时,则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。
8.根据权利要求7所述的装置,其特征在于,所述数据存储模块还用于:
当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时,把加工后的数据元素插入到预设的暂存数据分区。
9.根据权利要求7所述的装置,其特征在于,所述单位时间是日,且N=1。
10.根据权利要求9所述的装置,其特征在于,利用当前日期前一日的日期表示来作为所述增量数据分区的标识。
11.根据权利要求10所述的装置,其特征在于,所述日期表示的形式为yyyy-mm-dd。
12.根据权利要求7所述的装置,其特征在于,所述数据元素是关系数据库的表,所述业务数据集是表的集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510931383.9A CN105512313B (zh) | 2015-12-15 | 2015-12-15 | 一种增量式数据处理的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510931383.9A CN105512313B (zh) | 2015-12-15 | 2015-12-15 | 一种增量式数据处理的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105512313A true CN105512313A (zh) | 2016-04-20 |
CN105512313B CN105512313B (zh) | 2019-01-22 |
Family
ID=55720293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510931383.9A Active CN105512313B (zh) | 2015-12-15 | 2015-12-15 | 一种增量式数据处理的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105512313B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153683A (zh) * | 2017-04-24 | 2017-09-12 | 泰康保险集团股份有限公司 | 实现数据查询的方法和装置 |
CN110471896A (zh) * | 2019-06-21 | 2019-11-19 | 深圳中琛源科技股份有限公司 | 一种数据处理方法、系统及服务器 |
CN112699126A (zh) * | 2020-12-31 | 2021-04-23 | 五八有限公司 | 数据存储方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110010280A1 (en) * | 2009-07-09 | 2011-01-13 | Aczen Innovations Inc. | System and method for creating a time sheet |
CN102043789A (zh) * | 2009-10-21 | 2011-05-04 | 阿里巴巴集团控股有限公司 | 一种更新数据表的方法和装置 |
CN103049519A (zh) * | 2012-12-18 | 2013-04-17 | 曙光信息产业(北京)有限公司 | 数据加载方法以及数据加载装置 |
CN103678392A (zh) * | 2012-09-20 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 一种数据增量合并的方法及其装置 |
-
2015
- 2015-12-15 CN CN201510931383.9A patent/CN105512313B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110010280A1 (en) * | 2009-07-09 | 2011-01-13 | Aczen Innovations Inc. | System and method for creating a time sheet |
CN102043789A (zh) * | 2009-10-21 | 2011-05-04 | 阿里巴巴集团控股有限公司 | 一种更新数据表的方法和装置 |
CN103678392A (zh) * | 2012-09-20 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 一种数据增量合并的方法及其装置 |
CN103049519A (zh) * | 2012-12-18 | 2013-04-17 | 曙光信息产业(北京)有限公司 | 数据加载方法以及数据加载装置 |
Non-Patent Citations (2)
Title |
---|
咕唧咕唧SHUBOLK: "数据库分区及分区优点", 《CSDN博客HTTPS://BLOG.CSDN.NET/LIUKUN321/ARTICLE/DETAILS/45823795》 * |
高闻迪: "突发性海量数据处理技术在物联网监控系统中的研究与应用", 《北京邮电大学硕士研究生学位论文》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153683A (zh) * | 2017-04-24 | 2017-09-12 | 泰康保险集团股份有限公司 | 实现数据查询的方法和装置 |
CN107153683B (zh) * | 2017-04-24 | 2020-04-07 | 泰康保险集团股份有限公司 | 实现数据查询的方法和装置 |
CN110471896A (zh) * | 2019-06-21 | 2019-11-19 | 深圳中琛源科技股份有限公司 | 一种数据处理方法、系统及服务器 |
CN110471896B (zh) * | 2019-06-21 | 2023-11-28 | 陕西融华电子科技有限公司 | 一种数据处理方法、系统及服务器 |
CN112699126A (zh) * | 2020-12-31 | 2021-04-23 | 五八有限公司 | 数据存储方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105512313B (zh) | 2019-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110209728B (zh) | 一种分布式异构数据库同步方法、电子设备及存储介质 | |
US9183268B2 (en) | Partition level backup and restore of a massively parallel processing database | |
CN108140024B (zh) | Molap中合并索引结构并保持查询一致性的机制 | |
CN106611064B (zh) | 分布式关系数据库的数据处理方法和装置 | |
CN103902698A (zh) | 一种数据存储系统和存储方法 | |
CN106649412B (zh) | 一种数据处理方法和设备 | |
CN105260404A (zh) | 存储时间序列数据的方法和装置 | |
CN109714249B (zh) | 一种小程序消息的推送方法及相关装置 | |
CN106844320B (zh) | 一种财务报表整合方法和设备 | |
CN106933836A (zh) | 一种基于分表的数据存储方法和系统 | |
CN102799651B (zh) | 查询处理装置和查询处理方法 | |
CN103838787A (zh) | 一种对分布式数据仓库进行更新的方法和设备 | |
CN105512313A (zh) | 一种增量式数据处理的方法和装置 | |
CN110096509A (zh) | 大数据环境下实现历史数据拉链表存储建模处理的系统及方法 | |
CN105787058A (zh) | 一种用户标签系统及基于用户标签系统的数据推送系统 | |
CN113010523A (zh) | 数据仓库拉链表存储方法、刷新方法及可读存储介质 | |
CN105117442A (zh) | 一种基于概率的大数据查询方法 | |
US20110138265A1 (en) | Method and apparatus for presenting date in a tabular format | |
CN105677645A (zh) | 一种数据表比对方法和装置 | |
CN108628892B (zh) | 有序数据存储的方法、装置、电子设备和可读存储介质 | |
CN103678415A (zh) | 一种处理项目日志数据的方法及装置 | |
CN116340328A (zh) | 数据更新方法、数据查询方法、设备及存储介质 | |
CN105045881A (zh) | 一种历史数据新增方法 | |
CN114564501A (zh) | 一种数据库数据存储、查询方法、装置、设备及介质 | |
CN113780950A (zh) | 数据处理方法、装置、服务器和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |