CN110866006A - 过期数据的归档方法和装置 - Google Patents

过期数据的归档方法和装置 Download PDF

Info

Publication number
CN110866006A
CN110866006A CN201910967896.3A CN201910967896A CN110866006A CN 110866006 A CN110866006 A CN 110866006A CN 201910967896 A CN201910967896 A CN 201910967896A CN 110866006 A CN110866006 A CN 110866006A
Authority
CN
China
Prior art keywords
data
expired
price
date
column cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910967896.3A
Other languages
English (en)
Inventor
许军
周毅
司孝波
叶国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Cloud Computing Co Ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN201910967896.3A priority Critical patent/CN110866006A/zh
Publication of CN110866006A publication Critical patent/CN110866006A/zh
Priority to CA3157820A priority patent/CA3157820A1/en
Priority to PCT/CN2020/105969 priority patent/WO2021068612A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种过期数据的归档方法和装置，所述方法包括：抽取业务系统中的过期数据，并将过期数据暂存到预设的中转数据表；将过期数据从业务系统中删除；将中转数据表中的过期数据转存到预设的归档数据库。本申请的方案将业务系统中的过期数据进行删除和归档，保证业务系统中只存储有效的数据，从而减少业务系统中存储的数据量，避免数据量暴增导致的系统性能下降；将过期数据转存到另外的归档数据库中，不影响业务系统的正常运行，同时还能提供历史数据查询服务。

Description

过期数据的归档方法和装置
技术领域
本申请涉及大数据技术领域，具体涉及一种过期数据的归档方法和装置。
背景技术
电商行业的商品SKU(Stock Keeping Unit，库存量单位)量很大，同时每天都有大量的价格数据维护，日积月累数据量非常巨大。如果不对过期的价格数据进行处理，那么价格系统中价格数据的数据量会越来越大。当前数据都是存储在关系型数据库，占用内存就会越来越大，同时数据量暴增的情况查询数据库性能也越来越低。
并且这些价格数据大部分都是过期的价格数据，这些数据对用户实时交易无任何影响；但是对于这些过期的价格数据也不能简单粗暴地进行删除，因为历史数据还需要用于经营分析、报表系统、指标分析等业务场景，以及用户查询历史价格的场景。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种过期数据的归档方法和装置。
根据本申请实施例的第一方面，提供一种过期数据的归档方法，包括：
抽取业务系统中的过期数据，并将过期数据暂存到预设的中转数据表；
将过期数据从业务系统中删除；
将中转数据表中的过期数据转存到预设的归档数据库。
进一步地，所述抽取业务系统中的过期数据，包括：
通过定时任务，定期抽取业务系统中的过期数据。
进一步地，所述定期抽取业务系统中的过期数据，包括：
在每个定时周期开始时，从业务系统中抽取上一个定时周期内的业务数据，作为本次定时周期的过期数据。
进一步地，所述归档数据库用于存储历史数据；
历史数据的存储格式为：照预设的业务单元进行分组，每个业务单元对应唯一的一组数据；每一组数据中都设置有一个数据列簇和一个日期列簇；
其中，所述数据列簇的key是生效时段，value是业务数据的数值；所述日期列簇的key是每天的日期，value是该日期对应的生效时段。
进一步地，所述将过期数据暂存到预设的中转数据表，包括：
对抽取的过期数据进行初始化，将过期数据的格式转换为历史数据的存储格式；
将初始化之后的过期数据暂存到预设的中转数据表中。
进一步地，所述将中转数据表中的过期数据转存到预设的归档数据库，包括：
将初始化之后的过期数据合并到归档数据库的历史数据中。
进一步地，所述业务系统是价格系统；所述数据列簇是价格列簇，所述价格列簇的value是价格数值；所述业务单元是商品种类；
所述将初始化之后的过期数据合并到归档数据库的历史数据中，包括：
将初始化之后的过期数据与历史数据进行商品种类的一一对应匹配；
分别将每一个商品种类的过期数据合并到该商品种类的历史数据中。
进一步地，所述分别将每一个商品种类的过期数据合并到该商品种类的历史数据中，包括：
判断过期数据的价格数值与历史数据中最后一个生效时段的价格数值是否相同；
根据判断结果对历史数据进行更新。
进一步地，所述根据判断结果对历史数据进行更新，包括：
如果相同，则不更新价格列簇，并在日期列簇中添加一条当天的日期关系；
如果不相同，则拆分价格列簇中的最后一个生效时段，并修改日期列簇中的最后一个生效时段。
根据本申请实施例的第二方面，提供一种过期数据的归档装置，包括：
抽取模块，用于抽取业务系统中的过期数据，并将过期数据暂存到预设的中转数据表；
删除模块，用于将过期数据从业务系统中删除；
转存模块，用于将中转数据表中的过期数据转存到预设的归档数据库。
本申请的实施例提供的技术方案具备以下有益效果：
本申请的方案将业务系统中的过期数据进行删除和归档，保证业务系统中只存储有效的数据，从而减少业务系统中存储的数据量，避免数据量暴增导致的系统性能下降；将过期数据转存到另外的归档数据库中，不影响业务系统的正常运行，同时还能提供历史数据查询服务。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种过期数据的归档方法的流程图。
图2是根据一示例性实施例示出的一种过期数据的归档方法的系统流程图。
图3是根据一示例性实施例示出的一种价格系统的存储格式示意图。
图4是根据一示例性实施例示出的一种HBase数据库的存储格式示意图。
图5是根据一示例性实施例示出的一个HBase数据库的数据表示意图。
图6是基于图5的合并数据后的数据表示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种过期数据的归档方法的流程图。该方法可以应用于交易系统的数据归档、冷热分离，具体包括以下步骤：
步骤S1：抽取业务系统中的过期数据，并将过期数据暂存到预设的中转数据表；
步骤S2：将过期数据从业务系统中删除；
步骤S3：将中转数据表中的过期数据转存到预设的归档数据库。
本申请的方案将业务系统中的过期数据进行删除和归档，保证业务系统中只存储有效的数据，从而减少业务系统中存储的数据量，避免数据量暴增导致的系统性能下降；将过期数据转存到另外的归档数据库中，不影响业务系统的正常运行，同时还能提供历史数据查询服务。
一些实施例中，所述抽取业务系统中的过期数据，包括：
通过定时任务，定期抽取业务系统中的过期数据。
比如，定时任务可以设置为，每天抽取一次业务数据。如果数据维护次数较少，可以降低定时任务的频率；如果数据维护次数较多，可以提高定时任务的频率。
一些实施例中，所述定期抽取业务系统中的过期数据，包括：
在每个定时周期开始时，从业务系统中抽取上一个定时周期内的业务数据，作为本次定时周期的过期数据。
比如，一个定时周期可以是一天，则每天执行一次定时任务。每次定时任务抽取的过期任务，就是前一天的业务数据。
一些实施例中，所述归档数据库用于存储历史数据；
历史数据的存储格式为：照预设的业务单元进行分组，每个业务单元对应唯一的一组数据；每一组数据中都设置有一个数据列簇和一个日期列簇；
其中，所述数据列簇的key是生效时段，value是业务数据的数值；所述日期列簇的key是每天的日期，value是该日期对应的生效时段。
下面以电商平台的价格系统为例，结合具体的应用场景对本申请的方案进行拓展说明。
在价格系统中，所述业务系统是价格系统；所述数据列簇是价格列簇，所述价格列簇的value是价格数值；所述业务单元是商品种类，即商品SKU；中转数据表可以是Hive表，归档数据库可以是HBase数据库。
参照图2，本申请的方案，首先要抽取价格系统里面的过期数据并删除价格系统里面的数据，然后将过期数据暂存到Hive表。然后将暂存在Hive表的过期数据转换成HBase数据库的存储格式。最后将转换格式后的过期数据转存到HBase数据库。
参照图3，图中示出了价格系统当前的价格数据存储格式。在价格系统中，过期数据即是按照图示的格式进行存储的。
参照图4，图中示出了HBase数据库的数据存储格式。
参照图5，HBase数据库中存储的历史价格数据，按HBase的Rowkey分组，每个商品SKU对应一组数据。然后对每个组里面的价格数据再根据开始和结束时间划分好时间段，如果不同时间段的价格数据相同，则合并时间段以减少数据量。最后一条价格数据默认到20991231，从而方便扩展。
格式转换后，价格存储数据如图5中“价格列簇”所示。同时为了快速检索再新建一个日期列簇，用于查询使用，如图5中“日期列簇”所示，key是每天的日期，value是该日期对应的价格列簇的key。
一些实施例中，所述将过期数据暂存到预设的中转数据表，包括：
对抽取的过期数据进行初始化，将过期数据的格式转换为历史数据的存储格式；
将初始化之后的过期数据暂存到预设的中转数据表中。
一些实施例中，所述将中转数据表中的过期数据转存到预设的归档数据库，包括：
将初始化之后的过期数据合并到归档数据库的历史数据中。
一些实施例中，所述将初始化之后的过期数据合并到归档数据库的历史数据中，包括：
将初始化之后的过期数据与历史数据进行商品种类的一一对应匹配；
分别将每一个商品种类的过期数据合并到该商品种类的历史数据中。
过期数据要先进行初始化，也即将其转换为HBase数据库的格式，才能转存到HBase数据库中。对过期价格数据进行初始化，就是将其按HBase的Rowkey进行分组。进行分组后，即可将每一种SKU的商品数据合并到同一个数据表中，以节省存储空间。
一些实施例中，所述分别将每一个商品种类的过期数据合并到该商品种类的历史数据中，包括：
判断过期数据的价格数值与历史数据中最后一个生效时段的价格数值是否相同；
根据判断结果对历史数据进行更新。
一些实施例中，所述根据判断结果对历史数据进行更新，包括：
如果相同，则不更新价格列簇，并在日期列簇中添加一条当天的日期关系；
如果不相同，则拆分价格列簇中的最后一个生效时段，并修改日期列簇中的最后一个生效时段。
将格式转换后的过期价格数据合并到HBase数据库中，先判断当天的价格和之前时间的价格是否一样。如果一样，则不更新价格列簇，直接在日期列簇加一条当天的日期关系；如果价格发生变化，则将价格列簇里面的最后一条数据进行拆分。
更具体来讲，假设20190714的价格数据发生变化，那么基于图5处理后的数据如图6所示。在此情况下，即价格发生变化，需要将图5中价格列簇的最后一行“20190103～20991231”拆分为图6中价格列簇的最后两行；同时由于价格列簇的列key改变，则日期列簇的列value也要相应改变，即图5的日期列簇中最后一行的生效时段要进行同样的拆分。
在20190714的价格数据不变的情况下，价格列簇不变，日期列簇中添加一条列key为“20190714”、列value为“20190103～20991231”的数据即可。
需要说明的是，如果价格连续不变动，在HBase里面记录永远是一条。同时HBase里面把价格系统的所有行数据按时间段存储，并把不同类型的价格合并，从而减少了占用的磁盘存储空间。
本申请的方案通过定时任务每天归档删除价格系统中的过期价格数据，保证价格系统中只存储有效的数据，从而使价格系统中存储的数据量可控，能够降低价格系统的数据存储成本，并且不影响业务系统正常运行。
将数据转换格式后存储到HBase里，可以提供多维度的、快速的历史数据查询服务，能够实现价格过期数据系统的快速检索；转换格式后，将业务系统中不同的过期价格数据按商品维度进行合并，并按时间段归类，这样能够节约存储空间，存储成本比常见的关系型数据库会减少很多。
本申请还提供如下的实施例：
一种过期数据的归档装置，包括：
抽取模块，用于抽取业务系统中的过期数据，并将过期数据暂存到预设的中转数据表；
删除模块，用于将过期数据从业务系统中删除；
转存模块，用于将中转数据表中的过期数据转存到预设的归档数据库。
关于上述实施例中的装置，其中各个模块执行操作的具体步骤已经在有关该方法的实施例中进行了详细描述，此处不再详细阐述说明。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种过期数据的归档方法，其特征在于，包括：
抽取业务系统中的过期数据，并将过期数据暂存到预设的中转数据表；
将过期数据从业务系统中删除；
将中转数据表中的过期数据转存到预设的归档数据库。
2.根据权利要求1所述的方法，其特征在于，所述抽取业务系统中的过期数据，包括：
通过定时任务，定期抽取业务系统中的过期数据。
3.根据权利要求2所述的方法，其特征在于，所述定期抽取业务系统中的过期数据，包括：
在每个定时周期开始时，从业务系统中抽取上一个定时周期内的业务数据，作为本次定时周期的过期数据。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述归档数据库用于存储历史数据；
历史数据的存储格式为：照预设的业务单元进行分组，每个业务单元对应唯一的一组数据；每一组数据中都设置有一个数据列簇和一个日期列簇；
其中，所述数据列簇的key是生效时段，value是业务数据的数值；所述日期列簇的key是每天的日期，value是该日期对应的生效时段。
5.根据权利要求4所述的方法，其特征在于，所述将过期数据暂存到预设的中转数据表，包括：
对抽取的过期数据进行初始化，将过期数据的格式转换为历史数据的存储格式；
将初始化之后的过期数据暂存到预设的中转数据表中。
6.根据权利要求5所述的方法，其特征在于，所述将中转数据表中的过期数据转存到预设的归档数据库，包括：
将初始化之后的过期数据合并到归档数据库的历史数据中。
7.根据权利要求5所述的方法，其特征在于，所述业务系统是价格系统；所述数据列簇是价格列簇，所述价格列簇的value是价格数值；所述业务单元是商品种类；
所述将初始化之后的过期数据合并到归档数据库的历史数据中，包括：
将初始化之后的过期数据与历史数据进行商品种类的一一对应匹配；
分别将每一个商品种类的过期数据合并到该商品种类的历史数据中。
8.根据权利要求7所述的方法，其特征在于，所述分别将每一个商品种类的过期数据合并到该商品种类的历史数据中，包括：
判断过期数据的价格数值与历史数据中最后一个生效时段的价格数值是否相同；
根据判断结果对历史数据进行更新。
9.根据权利要求8所述的方法，其特征在于，所述根据判断结果对历史数据进行更新，包括：
如果相同，则不更新价格列簇，并在日期列簇中添加一条当天的日期关系；
如果不相同，则拆分价格列簇中的最后一个生效时段，并修改日期列簇中的最后一个生效时段。
10.一种过期数据的归档装置，其特征在于，包括：
抽取模块，用于抽取业务系统中的过期数据，并将过期数据暂存到预设的中转数据表；
删除模块，用于将过期数据从业务系统中删除；
转存模块，用于将中转数据表中的过期数据转存到预设的归档数据库。
CN201910967896.3A 2019-10-12 2019-10-12 过期数据的归档方法和装置 Pending CN110866006A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910967896.3A CN110866006A (zh) 2019-10-12 2019-10-12 过期数据的归档方法和装置
CA3157820A CA3157820A1 (en) 2019-10-12 2020-07-30 Method of and device for archiving stale data
PCT/CN2020/105969 WO2021068612A1 (zh) 2019-10-12 2020-07-30 过期数据的归档方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910967896.3A CN110866006A (zh) 2019-10-12 2019-10-12 过期数据的归档方法和装置

Publications (1)

Publication Number Publication Date
CN110866006A true CN110866006A (zh) 2020-03-06

Family

ID=69652650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910967896.3A Pending CN110866006A (zh) 2019-10-12 2019-10-12 过期数据的归档方法和装置

Country Status (3)

Country Link
CN (1) CN110866006A (zh)
CA (1) CA3157820A1 (zh)
WO (1) WO2021068612A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737243A (zh) * 2020-06-19 2020-10-02 中国银行股份有限公司 历史数据清理方法及装置
CN111881138A (zh) * 2020-07-29 2020-11-03 北京微步在线科技有限公司 一种数据存储方法及装置
CN112416937A (zh) * 2020-11-24 2021-02-26 平安普惠企业管理有限公司 数据归档方法、装置、电子设备及存储介质
WO2021068612A1 (zh) * 2019-10-12 2021-04-15 苏宁云计算有限公司 过期数据的归档方法和装置
CN113806451A (zh) * 2021-09-17 2021-12-17 平安普惠企业管理有限公司 数据划分处理方法、装置、电子设备及存储介质
CN114116685A (zh) * 2020-08-25 2022-03-01 福建天泉教育科技有限公司 一种非结构化数据库中历史数据的清理方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140304486A1 (en) * 2010-08-26 2014-10-09 Cleversafe, Inc. Migrating encoded data slices from a re-provisioned memory device of a dispersed storage network memory
CN105653560A (zh) * 2014-11-28 2016-06-08 华为软件技术有限公司 数据归档方法和装置
CN106294009A (zh) * 2016-08-05 2017-01-04 北京小米移动软件有限公司 数据库归档方法及系统
CN109522314A (zh) * 2018-10-16 2019-03-26 平安科技（深圳）有限公司 基于区块链的数据归档方法及终端设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514295B (zh) * 2013-10-10 2016-09-28 中国电子科技集团公司第十五研究所 历史数据归档方法及历史数据归档装置
CN104537030B (zh) * 2014-12-22 2018-03-02 华为技术有限公司 一种业务数据查询方法及装置、数据库系统
CN106557578B (zh) * 2016-11-23 2020-08-04 中国工商银行股份有限公司 历史数据查询方法及系统
CN107832463A (zh) * 2017-11-28 2018-03-23 中国银行股份有限公司 一种金融数据服务平台
CN110866006A (zh) * 2019-10-12 2020-03-06 苏宁云计算有限公司 过期数据的归档方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140304486A1 (en) * 2010-08-26 2014-10-09 Cleversafe, Inc. Migrating encoded data slices from a re-provisioned memory device of a dispersed storage network memory
CN105653560A (zh) * 2014-11-28 2016-06-08 华为软件技术有限公司 数据归档方法和装置
CN106294009A (zh) * 2016-08-05 2017-01-04 北京小米移动软件有限公司 数据库归档方法及系统
CN109522314A (zh) * 2018-10-16 2019-03-26 平安科技（深圳）有限公司 基于区块链的数据归档方法及终端设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068612A1 (zh) * 2019-10-12 2021-04-15 苏宁云计算有限公司 过期数据的归档方法和装置
CN111737243A (zh) * 2020-06-19 2020-10-02 中国银行股份有限公司 历史数据清理方法及装置
CN111881138A (zh) * 2020-07-29 2020-11-03 北京微步在线科技有限公司 一种数据存储方法及装置
CN114116685A (zh) * 2020-08-25 2022-03-01 福建天泉教育科技有限公司 一种非结构化数据库中历史数据的清理方法及终端
CN112416937A (zh) * 2020-11-24 2021-02-26 平安普惠企业管理有限公司 数据归档方法、装置、电子设备及存储介质
CN113806451A (zh) * 2021-09-17 2021-12-17 平安普惠企业管理有限公司 数据划分处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021068612A1 (zh) 2021-04-15
CA3157820A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
CN110866006A (zh) 过期数据的归档方法和装置
CN111400408B (zh) 数据同步方法、装置、设备及存储介质
CN101553813B (zh) 管理可单独访问的数据单元的存储器
CN108733681B (zh) 信息处理方法及装置
US7243110B2 (en) Searchable archive
EP2946333B1 (en) Efficient query processing using histograms in a columnar database
US20120323923A1 (en) Sorting Data in Limited Memory
CN101681366A (zh) 一种数据存储和管理方法
JP2019527898A (ja) 大規模データセットの高速検索またはフィルタリングのためのシステム、方法、およびデータ構造
CN104536904A (zh) 一种数据管理的方法、设备与系统
CN110096509A (zh) 大数据环境下实现历史数据拉链表存储建模处理的系统及方法
CN108052668A (zh) 基于商品编码的智能赋码方法及系统
US20220019567A1 (en) Data storage using vectors of vectors
CN105630934A (zh) 一种数据统计方法及系统
CN112527824B (zh) 分页查询方法、装置、电子设备和计算机可读存储介质
CN110245118B (zh) 一种bim资料信息三维网格化检索归档方法及其归档系统
US20120109875A1 (en) Organization of data mart using clustered key
US20070239794A1 (en) Method and system for updating logical information in databases
CN113625967B (zh) 数据存储方法、数据查询方法及服务器
CN114564501A (zh) 一种数据库数据存储、查询方法、装置、设备及介质
CN105550347B (zh) 数据处理方法及装置
CN114218335A (zh) 数据处理方法及设备
CN111611056A (zh) 数据处理方法、装置、计算机设备及存储介质
CN109299260A (zh) 数据分类方法、装置以及计算机可读存储介质
JP2024075439A (ja) クエリ実行方法およびクエリ実行プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200306

RJ01 Rejection of invention patent application after publication