CN112084123A - 数据处理方法及装置和数据处理系统 - Google Patents
数据处理方法及装置和数据处理系统 Download PDFInfo
- Publication number
- CN112084123A CN112084123A CN201910506999.XA CN201910506999A CN112084123A CN 112084123 A CN112084123 A CN 112084123A CN 201910506999 A CN201910506999 A CN 201910506999A CN 112084123 A CN112084123 A CN 112084123A
- Authority
- CN
- China
- Prior art keywords
- data table
- partition
- information
- cache
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000005192 partition Methods 0.000 claims abstract description 413
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000010076 replication Effects 0.000 claims description 38
- 230000004048 modification Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 8
- 230000003362 replicative effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0893—Caches characterised by their organisation or structure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法，包括：获得数据表的分区信息；根据所述数据表的分区信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；若匹配，则在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。采用上述方法，以解决现有存在的跨数据中心的读写数据操作对带宽的消耗量较大的问题。
Description
技术领域
本申请涉及计算机技术领域，具体涉及一种数据处理方法及装置，本申请同时涉及一种数据处理系统。
背景技术
随着业务规模的不断增长，大数据服务提供商一般会搭建多个数据中心，这些数据中心之间通过网络专线相连。
由于业务需要，数据中心运行的作业经常需要读取其他数据中心的数据，即作业运行所在的数据中心和产生数据的数据中心不同，此时就需要进行跨数据中心的数据直读。例如，在数据中心1运行的作业需要读数据中心2的数据，则需要进行跨数据中心的数据直读。随着跨数据中心读写需求的不断增长，跨数据中心带宽的消耗量也随之增长。
因此，现有技术在进行跨数据中心的读写数据操作时存在对带宽的消耗量较大的问题。
发明内容
本申请提供一种数据处理系统以及一种数据处理方法，以解决现有技术在进行跨数据中心的读写数据操作时存在的对带宽的消耗量较大的问题。
本申请提供一种数据处理方法，包括：
获得数据表的分区信息；
根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；
若匹配，则在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
可选的，所述在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本，包括：
判断所述缓存数据中心是否已经存在所述数据表的分区的副本，若否，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
可选的，所述根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，包括：
根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息；
根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配。
可选的，所述根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，包括：
根据所述数据表的分区的时间模式信息，判断是否已为所述缓存数据中心设置了与所述时间模式信息匹配的缓存时间窗口；
当判断结果为否时，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配；
当判断结果为是时，则判断所述时间间隔是否位于所述与所述时间模式信息匹配的缓存时间窗口内；
若是，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配；
若否，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配。
可选的，所述根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息，包括：
根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息。
可选的，所述根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息，包括：
判断所述数据表的分区信息包含的数据表的分区名称信息是否包含时间信息；
若是，则根据所述数据表的分区名称信息包含的时间信息，确定所述数据表的分区的时间模式信息和所述时间间隔信息。
可选的，所述数据表的分区信息包含的时间信息，从以下至少一种信息中获得：
所述数据表的分区信息包含的数据表的分区名称信息；
所述数据表的分区信息包含的数据表的分区创建时间信息；
所述数据表的分区信息包含的数据表的分区最后修改时间信息。
可选的，所述获得数据表的分区信息，包括：
扫描存储所述数据表的分区信息的存储区域，获得数据表的的分区信息；或者，
接收用于推送新产生的数据表的分区信息的服务组件推送的数据表的分区产生的消息，根据所述消息获得数据表的分区信息；或者，
接收所述缓存数据中心发送的读取产生所述数据表的分区的数据中心的数据表的分区的请求消息，根据所述请求消息获得数据表的分区信息。
可选的，还包括：
当已经在缓存数据中心进行缓存的数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配时，将所述缓存数据中心已经缓存的数据表的分区副本删除。
可选的，所述缓存时间窗口的时间单位包括至少以下一种：
天、小时、分钟、秒、毫秒。
本申请还提供一种数据处理系统，包括：数据复制服务组件、元数据服务组件；
所述元数据服务组件，用于存储数据表的分区信息；
所述数据复制服务组件，用于根据所述元数据服务组件中存储的数据表的分区信息，获得数据表的分区信息；根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；若匹配，则在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
可选的，所述元数据服务组件，还用于存储为缓存数据中心设置的缓存时间窗口的设置信息；
所述数据复制服务组件还用于：从元数据服务组件中获得为缓存数据中心设置的缓存时间窗口的设置信息。
可选的，所述系统还包括：消息推送服务组件；
所述元数据服务组件，还用于当数据表的分区产生时推送消息给所述消息推送服务组件；
所述消息推送服务组件，用于接收所述元数据服务组件推送的所述消息，并将所述消息推送给所述数据复制服务组件；
所述数据复制服务组件，还用于接收所述消息推送服务组件推送的所述消息，并根据所述消息获得数据表的分区信息。
可选的，所述数据复制服务组件，还用于：
接收缓存数据中心发送的读取产生所述数据表的分区的数据中心的数据表的分区的请求消息，根据所述请求消息获得数据表的分区信息。
可选的，所述数据复制服务组件还用于：
当已经在缓存数据中心进行缓存的数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配时，将所述缓存数据中心已经缓存的数据表的分区副本删除。
可选的，所述数据复制服务组件具体用于：
判断所述缓存数据中心是否已经存在所述数据表的分区的副本，若否，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
可选的，所述数据复制服务组件具体用于：
根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息；
根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配。
可选的，所述数据复制服务组件具体用于：
根据所述数据表的分区的时间模式信息，判断是否已为所述缓存数据中心设置了与所述时间模式信息匹配的缓存时间窗口；
当判断结果为否时，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配；
当判断结果为是时，则判断所述时间间隔是否位于所述与所述时间模式信息匹配的缓存时间窗口内；
若是，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配；
若否，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配。
可选的，所述数据复制服务组件具体用于：
根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息。
可选的，所述数据复制服务组件具体用于：
判断所述数据表的分区信息包含的数据表的分区名称信息是否包含时间信息；
若是，则根据所述数据表的分区名称信息包含的时间信息，确定所述数据表的分区的时间模式信息和所述时间间隔信息。
本申请还提供一种数据处理装置，包括：
分区信息获得单元，用于获得数据表的分区信息；
匹配判断单元，用于根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；
数据表的分区副本生成单元，用于当匹配判断单元的输出为匹配时，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本；其中，所述缓存数据中心为产生所述数据表的分区的数据中心之外的数据中心。
与现有技术相比，本申请具有以下优点：
本申请提供一种数据处理方法、装置和系统，首先判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，若匹配，在缓存数据中心中复制数据表的分区，生成数据表的分区副本。利用本申请提供的数据处理方法、装置和系统，可以在缓存数据中心的作业需要使用其他数据中心的数据表的分区时，直接读取缓存数据中心缓存的数据表的分区副本，不需跨数据中心直读，减少了在进行跨数据中心的读写数据操作时存在的对带宽的消耗量较大的问题。
附图说明
图1是本申请实施例提供的一种数据处理系统的示意图。
图2是本申请第一实施例提供的一种数据处理方法的流程图。
图3是本申请第一实施例提供的一种判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配的流程图。
图4是本申请第二实施例提供的一种数据处理装置的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
本申请第一实施例提供一种数据处理方法，执行本方法的主体可以是图1中的数据复制服务组件。下面结合图1、图2和图3进行说明。
如图2所示，在步骤S201中，获得数据表的分区信息。
数据中心中的数据一般以数据表(table)和数据表的分区(partition)的形式存储。一般情况下，针对数据表，一段时间内产生的新数据将被存储在一个新建的数据表的分区里。例如，table1存储的是某网站用户访问日志，数据表的分区的形式如下：ds＝20190101ds＝20190102ds＝20190103…每个数据表的分区存储一天内用户的访问日志。再如，table2每小时产生一个数据表的分区：2019年2月1号0时产生的数据表的分区：ds＝2019020100，2019年2月1号1时产生的数据表的分区：ds＝2019020101，2019年2月1号2时产生的数据表的分区：ds＝2019020102这些数据表的分区中包含了一小时之内产生的数据。
所述数据表的分区信息，可以包括数据表的分区名称信息，还可以包括数据表的分区的创建时间信息、最后修改时间信息、数据表的分区的存储信息、数据表的分区的表名信息、数据表的分区的分区名称信息等信息。
在具体实施时，数据复制服务组件获得数据表的分区信息可以包括多种方式，第一种方式是：进行全量扫描，可以通过扫描存储数据表的分区信息的存储区域，获得数据表的分区信息；第二种方式是：通过接收用于推送新产生的数据表的分区信息的服务组件推送的数据表的分区产生的消息，根据上述消息获得数据表的分区信息；第三种方式是：接收缓存数据中心发送的读取产生所述数据表的分区的数据中心的数据表的分区的请求消息，根据请求消息获得数据表的分区信息。
如图2所示，在步骤S202中，根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，若匹配，执行步骤S 203。
所述缓存数据中心，指缓存数据表的分区的数据中心。所述缓存数据中心为产生数据表的分区的数据中心之外的数据中心。
所述缓存时间窗口，指某一段时间范围，起止时间均为距离当前时间的时间间隔，单位可以是天、小时、分、秒等任意时间单位。
所述根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，包括：
根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息；
根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配。
例如，数据表的分区的分区信息包含的分区名称信息为ds＝20190101，可以根据名称中包含的时间信息“ds＝20190101”，得到时间模式pattern为“ds＝yyyyMMdd”；如果当前时间为2019年1月2日，则获得数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息为offset＝1；如果当前时间为2019年1月3日，则获得数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息为offset＝2，可见，同一数据表的分区在不同时间进行匹配，得到的offset不同。
再如，数据表的分区的分区信息包含的分区名称信息为ds＝20190101/type＝1，可以根据名称中包含的时间信息“ds＝20190101/type＝1”，得到时间模式为“ds＝yyyyMMdd/type＝1”；如果当前时间为2019年1月3日，则获得数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息为offset＝2。
所述根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息，包括：
根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息。
所述数据表的分区信息包含的时间信息，从以下至少一种信息中获得：
所述数据表的分区信息包含的数据表的分区名称信息；
所述数据表的分区信息包含的数据表的分区创建时间信息；
所述数据表的分区信息包含的数据表的分区最后修改时间信息。
所述根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息，包括：
判断所述数据表的分区信息包含的数据表的分区名称信息是否包含时间信息；
若是，则根据所述数据表的分区名称信息包含的时间信息，确定所述数据表的分区的时间模式信息和所述时间间隔信息。
所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配，可以指为缓存数据中心设置了与数据表的分区的时间模式匹配的缓存时间窗口，并且数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息位于与时间模式信息匹配的缓存时间窗口内。
下面以天为缓存时间窗口的单位为例，介绍数据表的分区与为缓存数据中心设置的缓存时间窗口匹配的例子。
如上图所示，假设当前时间是2019年2月10日。
table1的数据表的分区的时间模式为ds＝yyyyMMdd，为缓存数据中心设置了时间模式为ds＝yyyyMMdd的缓存时间窗口，缓存时间窗口为[0,1]，那么ds＝20190210和ds＝20190209两个数据表的分区与缓存时间窗口匹配。
table2的数据表的分区的时间模式为ds＝yyyyMMddHH，即table2每小时产生一个分区，为缓存数据中心设置了时间模式为ds＝yyyyMMddHH的缓存时间窗口，缓存时间窗口为[1,3]，那么与缓存时间窗口匹配的数据表的分区包括：
ds＝2019020901,ds＝2019020902…ds＝2019020923
ds＝2019020801,ds＝2019020802…ds＝2019020823
ds＝2019020701,ds＝2019020702…ds＝2019020723
table3的分区有两种pattern，分别为ds＝yyyyMMdd/type＝1,ds＝yyyyMMdd/type＝2。第一种pattern的缓存时间窗口为[1,2],[4,5]，那么与缓存时间窗口匹配的数据表的分区可以包括：
ds＝20190209/type＝1
ds＝20190208/type＝1
ds＝20190206/type＝1
ds＝20190205/type＝1
第二种pattern的缓存时间窗口为[0,1],[5,6]，那么与缓存时间窗口匹配的数据表的分区可以包括：
ds＝20190210/type＝2
ds＝20190209/type＝2
ds＝20190205/type＝2
ds＝20190204/type＝2
请参见图3，其为本申请第一实施例提供的根据数据表的分区的时间模式信息和时间间隔信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配的流程图，具体包括步骤S301-S305。
如图3所示，在步骤S301中，根据所述数据表的分区的时间模式信息，判断是否已为所述缓存数据中心设置了与所述时间模式信息匹配的缓存时间窗口；当判断结果为否时，执行步骤S304；当判断结果为是时，执行步骤S302。
例如，如果数据表的分区的时间模式为“ds＝yyyyMMdd”；如果为缓存数据中心设置了与时间模式信息匹配的缓存时间窗口，则执行步骤S302；如果未为缓存数据中心设置与时间模式信息匹配的缓存时间窗口，则执行步骤S304。
如图3所示，在步骤S302中，判断所述时间间隔是否位于所述与所述时间模式信息匹配的缓存时间窗口内，当判断结果为是时，执行步骤S303，当判断结果为否时，执行步骤S304。
例如，如果时间模式“ds＝yyyyMMdd”，当前时间是2019年2月9日，缓存时间窗口为[0,1]，则如果时间间隔为0天或1天，则判断时间间隔位于与所述时间模式信息匹配的缓存时间窗口内。
如图3所示，在步骤S303中，确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配。
如图3所示，在步骤S304中，确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配。
如图2所示，在步骤S203中，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
为了避免已经缓存到缓存数据中心的数据表的分区的重复复制，在将数据表的分区复制到缓存数据中心之前，可以先判断缓存数据中心是否已经存在所述数据表的分区的副本，若存在，不进行复制；若不存在，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
随着时间的滑动，当已经在缓存数据中心进行缓存的数据表的分区移出缓存时间窗口后，即当已经在缓存数据中心进行缓存的数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配时，将缓存数据中心已经缓存的数据表的分区副本删除。
由于缓存时间窗口为滑动窗口，因此随着时间的变化，数据表的分区的offset会变化，因此落在缓存时间窗口内的数据表的分区也会不断变化。
某时间模式的缓存时间窗口为[0,1]，2019年2月8日缓存时间窗口示意：
落在缓存时间窗口内的数据表的分区有两个，分别为20190207和20190208。当时间为2019年2月9日时，滑动窗口示意：
此时，落在缓存时间窗口内的数据表的分区有两个，分别为20190208和20190209，当20190207被推出缓存时间窗口时，将缓存数据中心已经缓存的数据表的分区副本20190207删除。
通过数据分析发现，数据访问的形式一般是读某张数据表某一时间范围内的数据表的分区，如7天内产生的数据表的分区数据，并且数据表的分区产生时间距离当前时间越近(数据表的分区越新)，被读的次数越大，进行缓存的收益就越高。那些距离当前时间较远的数据表的分区，由于被读的次数逐渐减少，这时应该将其从缓存中删除，以减少对数据中心存储空间的浪费。
至此，对本申请第一实施例提供的数据处理方法进行了介绍，本申请第一实施例首先判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，若匹配，在缓存数据中心中复制数据表的分区，生成数据表的分区副本。实现了缓存数据中心的作业需要使用其他数据中心的数据表的分区时，直接读取缓存数据中心缓存的数据表的分区副本，不需跨数据中心直读，减少了在进行跨数据中心的读写数据操作时存在的对带宽的消耗量较大的问题。。
此外，本申请第一实施例根据大数据场景的数据组织特点(数据表一般情况下以分区形式组织，每个分区存储一段时间内的数据，分区信息中包含时间信息，作业倾向于访问较新的分区数据)，提出了基于缓存时间窗口的缓存机制，有效的解决了跨数据中心数据缓存中新数据换入和老数据换出的问题，在保证缓存收益的基础上，避免了对缓存空间的过度浪费。
与本申请第一实施例提供的一种数据处理方法相对应的，本申请第二实施例还提供了一种数据处理装置。
如图4所示，所述数据处理装置，包括：
分区信息获得单元401，用于获得数据表的分区信息；
匹配判断单元402，用于根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；
数据表的分区副本生成单元403，用于当匹配判断单元的输出为匹配时，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
可选的，所述数据表的分区副本生成单元，具体用于：
判断所述缓存数据中心是否已经存在所述数据表的分区的副本，若否，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
可选的，所述匹配判断单元，具体用于：
根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息；
根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配。
可选的，所述匹配判断单元，具体用于：
根据所述数据表的分区的时间模式信息，判断是否已为所述缓存数据中心设置了与所述时间模式信息匹配的缓存时间窗口；
当判断结果为否时，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配；
当判断结果为是时，则判断所述时间间隔是否位于所述与所述时间模式信息匹配的缓存时间窗口内；
若是，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配；
若否，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配。
可选的，所述匹配判断单元，具体用于：
根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息。
可选的，所述匹配判断单元，具体用于：
判断所述数据表的分区信息包含的数据表的分区名称信息是否包含时间信息；
若是，则根据所述数据表的分区名称信息包含的时间信息，确定所述数据表的分区的时间模式信息和所述时间间隔信息。
可选的，所述分区信息包含的时间信息，从以下至少一种信息中获得：
所述数据表的分区信息包含的数据表的分区名称信息；
所述数据表的分区信息包含的数据表的分区创建时间信息；
所述数据表的分区信息包含的数据表的分区最后修改时间信息。
可选的，所述分区信息获得单元具体用于：
扫描存储分区信息的存储区域，获得数据表的分区信息；或者，
接收用于推送新产生的数据表的分区信息的服务组件推送的数据表的分区产生的消息，根据所述消息获得数据表的分区信息；或者，
接收所述缓存数据中心发送的读取所述产生所述数据表的分区的数据中心的数据表的分区的请求消息，根据所述请求消息获得数据表的分区信息。
可选的，所述装置还包括：
副本删除单元，用于当已经在缓存数据中心进行缓存的数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配时，将所述缓存数据中心已经缓存的数据表的分区副本删除。
可选的，所述缓存时间窗口的时间单位包括至少以下一种：
天、小时、分钟、秒、毫秒。
需要说明的是，对于本申请第二实施例提供的装置的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。
本申请第三实施例提供一种数据处理系统，以下结合图1进行说明。
如图1所示，所述数据处理系统包括：元数据服务组件101、数据复制服务组件102。
所述元数据服务组件101，用于存储数据表的分区信息。
所述数据复制服务组件102，用于根据所述元数据服务组件中存储的数据表的分区信息，获得数据表的分区信息；根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；若匹配，则在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
所述数据表的分区信息，可以包括数据表的分区的创建时间信息、最后修改时间信息、数据表的分区的存储信息、数据表的分区的表名信息、数据表的分区的分区名称信息。
所述缓存数据中心，指缓存数据表的分区的数据中心。
所述缓存时间窗口，指某一段时间范围，起止时间均为距离当前时间的时间间隔，单位可以是天、小时、分、秒等任意时间单位。
在具体实施时，根据所述数据表的分区信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，可以包括下述步骤：
根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息；
根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配。
例如，数据表的分区信息包含的分区名称信息为ds＝20190101，可以根据名称中包含的时间信息“ds＝20190101”，得到时间模式pattern为“ds＝yyyyMMdd”；如果当前时间为2019年1月2日，则获得数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息为offset＝1；如果当前时间为2019年1月3日，则获得数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息为offset＝2，可见，同一数据表的分区在不同时间进行匹配，得到的offset不同。
再如，数据表的分区信息包含的分区名称信息为ds＝20190101/type＝1，可以根据名称中包含的时间信息“ds＝20190101/type＝1”，得到时间模式为“ds＝yyyyMMdd/type＝1”；如果当前时间为2019年1月3日，则获得数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息为offset＝2。
根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息，可以包括：
根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息。
所述数据表的分区信息包含的时间信息，从以下至少一种信息中获得：
所述数据表的分区信息包含的数据表的分区名称信息；
所述数据表的分区信息包含的数据表的分区创建时间信息；
所述数据表的分区信息包含的数据表的分区最后修改时间信息。
所述根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息，包括：
判断所述数据表的分区信息包含的数据表的分区名称信息是否包含时间信息；
若是，则根据所述数据表的分区名称信息包含的时间信息，确定所述数据表的分区的时间模式信息和所述时间间隔信息。
所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配，可以指为缓存数据中心设置了与数据表的分区的时间模式匹配的缓存时间窗口，并且数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息位于与时间模式信息匹配的缓存时间窗口内。
下面以天为缓存时间窗口的单位为例，介绍数据表的分区与为缓存数据中心设置的缓存时间窗口匹配的例子。
如上图所示，假设当前时间是2019年2月10日。
table1的数据表的分区的时间模式为ds＝yyyyMMdd，为缓存数据中心设置了时间模式为ds＝yyyyMMdd的缓存时间窗口，缓存时间窗口为[0,1]，那么ds＝20190210和ds＝20190209两个数据表的分区与缓存时间窗口匹配。
table2的数据表的分区的时间模式为ds＝yyyyMMddHH，即table2每小时产生一个数据表的分区，为缓存数据中心设置了时间模式为ds＝yyyyMMddHH的缓存时间窗口，缓存时间窗口为[1,3]，那么与缓存时间窗口匹配的数据表的分区包括：
ds＝2019020901,ds＝2019020902…ds＝2019020923
ds＝2019020801,ds＝2019020802…ds＝2019020823
ds＝2019020701,ds＝2019020702…ds＝2019020723
table3的分区有两种pattern，分别为ds＝yyyyMMdd/type＝1,ds＝yyyyMMdd/type＝2。第一种pattern的缓存时间窗口为[1,2],[4,5]，那么与缓存时间窗口匹配的数据表的分区可以包括：
ds＝20190209/type＝1
ds＝20190208/type＝1
ds＝20190206/type＝1
ds＝20190205/type＝1
第二种pattern的缓存时间窗口为[0,1],[5,6]，那么与缓存时间窗口匹配的数据表的分区可以包括：
ds＝20190210/type＝2
ds＝20190209/type＝2
ds＝20190205/type＝2
ds＝20190204/type＝2
根据数据表的分区的时间模式信息和时间间隔信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，可以包括下述步骤：
根据所述数据表的分区的时间模式信息，判断是否已为所述缓存数据中心设置了与所述时间模式信息匹配的缓存时间窗口；
当判断结果为否时，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配；
当判断结果为是时，则判断所述时间间隔是否位于所述与所述时间模式信息匹配的缓存时间窗口内；
若是，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配；
若否，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配。
上述步骤的具体介绍，可参见本申请第一实施例对图3的描述，此处不再赘述。
为了避免已经缓存到缓存数据中心的数据表的分区的重复复制，在将数据表的分区复制到缓存数据中心之前，数据复制服务组件可以先判断缓存数据中心是否已经存在所述数据表的分区的副本，若存在，不进行复制；若不存在，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
所述元数据服务组件101，还用于存储为缓存数据中心设置的缓存时间窗口的设置信息。
所述为缓存数据中心设置的缓存时间窗口的设置信息，包括：缓存时间窗口对应的时间模式信息、缓存时间窗口的时间信息(例如，缓存时间窗口为[1，3])，缓存时间窗口的时间单位信息。
所述数据复制服务组件102还用于：从元数据服务组件中获得为缓存数据中心设置的缓存时间窗口的设置信息。
数据复制服务组件可以从元数据服务组件中获得为缓存数据中心设置的缓存时间窗口的设置信息，再根据上述设置信息确定数据表的分区是否与缓存时间窗口匹配。
所述系统还可以包括：消息推送服务组件103。
所述元数据服务组件101，还用于当数据表的分区产生时推送消息给所述消息推送服务组件，如图1中的2所示。
所述消息推送服务组件103，用于接收所述元数据服务组件推送的所述消息，并将所述消息推送给所述数据复制服务组件(如图1中的3所示)。
所述数据复制服务组件102，还用于接收所述消息推送服务组件推送的所述消息，并根据所述消息获得数据表的分区信息。
所述数据复制服务组件102，还可以接收缓存数据中心发送的读取数据中心的数据表的分区的请求消息(如图1中的4所示)，根据所述请求消息获得数据表的分区信息。
当作业需要进行跨数据中心读取数据时，如果该数据表的分区应该在该DC(数据中心)缓存，DC会发送一个消息给数据复制服务组件，如图1中的5所示，否则会直接进行跨数据中心直读。数据复制服务组件收到请求后，触发该数据表的分区复制到该数据中心，如上图4所示。
所述数据复制服务组件102还用于：当已经在缓存数据中心进行缓存的数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配时，将缓存数据中心已经缓存的数据表的分区副本删除。
例如，当时间为2019年2月9日时，滑动窗口示意：
此时，落在缓存时间窗口内的分区有两个，分别为20190208和20190209，当20190207被推出缓存时间窗口时，将缓存数据中心已经缓存的数据表的分区副本20190207删除。
至此，对本申请第三实施例提供的数据处理系统进行了介绍，本申请第三实施例通过数据复制服务组件判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，若匹配，在缓存数据中心中复制数据表的分区，生成数据表的分区副本。实现了缓存数据中心的作业需要使用其他数据中心的数据表的分区时，直接读取缓存数据中心缓存的数据表的分区副本，不需跨数据中心直读，减少了在进行跨数据中心的读写数据操作时存在的对带宽的消耗量较大的问题。
此外，本申请第三实施例根据大数据场景的数据组织特点(数据表一般情况下以分区形式组织，每个分区存储一段时间内的数据，分区信息中包含时间信息，作业倾向于访问较新的分区数据)，提出了基于缓存时间窗口的缓存机制，有效的解决了跨数据中心数据缓存中新数据换入和老数据换出的问题，在保证缓存收益的基础上，避免了对缓存空间的过度浪费。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (21)
1.一种数据处理方法，其特征在于，包括：
获得数据表的分区信息；
根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；
若匹配，则在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
2.根据权利要求1所述的方法，其特征在于，所述在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本，包括：
判断所述缓存数据中心是否已经存在所述数据表的分区的副本，若否，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
3.根据权利要求1所述的方法，其特征在于，所述根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，包括：
根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息；
根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配。
4.根据权利要求3所述的方法，其特征在于，所述根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配，包括：
根据所述数据表的分区的时间模式信息，判断是否已为所述缓存数据中心设置了与所述时间模式信息匹配的缓存时间窗口；
当判断结果为否时，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配；
当判断结果为是时，则判断所述时间间隔是否位于所述与所述时间模式信息匹配的缓存时间窗口内；
若是，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配；
若否，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配。
5.根据权利要求3所述的方法，其特征在于，所述根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息，包括：
根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息，包括：
判断所述数据表的分区信息包含的数据表的分区名称信息是否包含时间信息；
若是，则根据所述数据表的分区名称信息包含的时间信息，确定所述数据表的分区的时间模式信息和所述时间间隔信息。
7.根据权利要求5所述的方法，其特征在于，所述数据表的分区信息包含的时间信息，从以下至少一种信息中获得：
所述数据表的分区信息包含的数据表的分区名称信息；
所述数据表的分区信息包含的数据表的分区创建时间信息；
所述数据表的分区信息包含的数据表的分区最后修改时间信息。
8.根据权利要求1所述的方法，其特征在于，所述获得数据表的分区信息，包括：
扫描存储所述数据表的分区信息的存储区域，获得数据表的的分区信息；或者，
接收用于推送新产生的数据表的分区信息的服务组件推送的数据表的分区产生的消息，根据所述消息获得数据表的分区信息；或者，
接收所述缓存数据中心发送的读取产生所述数据表的分区的数据中心的数据表的分区的请求消息，根据所述请求消息获得数据表的分区信息。
9.根据权利要求1所述的方法，其特征在于，还包括：
当已经在缓存数据中心进行缓存的数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配时，将所述缓存数据中心已经缓存的数据表的分区副本删除。
10.根据权利要求1所述的方法，其特征在于，所述缓存时间窗口的时间单位包括至少以下一种：
天、小时、分钟、秒、毫秒。
11.一种数据处理系统，其特征在于，包括：数据复制服务组件、元数据服务组件；
所述元数据服务组件，用于存储数据表的分区信息；
所述数据复制服务组件，用于根据所述元数据服务组件中存储的数据表的分区信息，获得数据表的分区信息；根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；若匹配，则在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
12.根据权利要求11所述的系统，其特征在于，所述元数据服务组件，还用于存储为缓存数据中心设置的缓存时间窗口的设置信息；
所述数据复制服务组件还用于：从元数据服务组件中获得为缓存数据中心设置的缓存时间窗口的设置信息。
13.根据权利要求11所述的系统，其特征在于，所述系统还包括：消息推送服务组件；
所述元数据服务组件，还用于当数据表的分区产生时推送消息给所述消息推送服务组件；
所述消息推送服务组件，用于接收所述元数据服务组件推送的所述消息，并将所述消息推送给所述数据复制服务组件；
所述数据复制服务组件，还用于接收所述消息推送服务组件推送的所述消息，并根据所述消息获得数据表的分区信息。
14.根据权利要求11所述的系统，其特征在于，所述数据复制服务组件，还用于：
接收缓存数据中心发送的读取产生所述数据表的分区的数据中心的数据表的分区的请求消息，根据所述请求消息获得数据表的分区信息。
15.根据权利要求11所述的系统，其特征在于，所述数据复制服务组件还用于：
当已经在缓存数据中心进行缓存的数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配时，将所述缓存数据中心已经缓存的数据表的分区副本删除。
16.根据权利要求11所述的系统，其特征在于，所述数据复制服务组件具体用于：
判断所述缓存数据中心是否已经存在所述数据表的分区的副本，若否，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
17.根据权利要求11所述的系统，其特征在于，所述数据复制服务组件具体用于：
根据所述数据表的分区信息，获得所述数据表的分区的时间模式信息，并获得所述数据表的分区信息的时间信息中的时间与当前时间之间的时间间隔信息；
根据所述数据表的分区的时间模式信息和所述时间间隔信息，判断所述数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配。
18.根据权利要求17所述的系统，其特征在于，所述数据复制服务组件具体用于：
根据所述数据表的分区的时间模式信息，判断是否已为所述缓存数据中心设置了与所述时间模式信息匹配的缓存时间窗口；
当判断结果为否时，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配；
当判断结果为是时，则判断所述时间间隔是否位于所述与所述时间模式信息匹配的缓存时间窗口内；
若是，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口匹配；
若否，则确定所述数据表的分区与为缓存数据中心设置的缓存时间窗口不匹配。
19.根据权利要求18所述的系统，其特征在于，所述数据复制服务组件具体用于：
根据所述数据表的分区信息包含的时间信息，获得所述数据表的分区的时间模式信息和所述时间间隔信息。
20.根据权利要求18所述的系统，其特征在于，所述数据复制服务组件具体用于：
判断所述数据表的分区信息包含的数据表的分区名称信息是否包含时间信息；
若是，则根据所述数据表的分区名称信息包含的时间信息，确定所述数据表的分区的时间模式信息和所述时间间隔信息。
21.一种数据处理装置，其特征在于，包括：
分区信息获得单元，用于获得数据表的分区信息；
匹配判断单元，用于根据所述数据表的分区信息，判断数据表的分区是否与为缓存数据中心设置的缓存时间窗口匹配；
数据表的分区副本生成单元，用于当匹配判断单元的输出为匹配时，在所述缓存数据中心中复制所述数据表的分区，生成数据表的分区副本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910506999.XA CN112084123B (zh) | 2019-06-12 | 2019-06-12 | 数据处理方法及装置和数据处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910506999.XA CN112084123B (zh) | 2019-06-12 | 2019-06-12 | 数据处理方法及装置和数据处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112084123A true CN112084123A (zh) | 2020-12-15 |
| CN112084123B CN112084123B (zh) | 2024-02-27 |
Family
ID=73733376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910506999.XA Active CN112084123B (zh) | 2019-06-12 | 2019-06-12 | 数据处理方法及装置和数据处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112084123B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870115A (zh) * | 2014-02-18 | 2014-06-18 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN103873546A (zh) * | 2012-12-17 | 2014-06-18 | 国际商业机器公司 | 控制存储系统中区域存储中心间的数据存储的方法和装置 |
| CN106559452A (zh) * | 2015-09-28 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 集群环境下的数据处理方法及装置 |
| US20180357727A1 (en) * | 2015-12-30 | 2018-12-13 | Alibaba Group Holding Limited | Methods and apparatuses for adjusting the distribution of partitioned data |
-
2019
- 2019-06-12 CN CN201910506999.XA patent/CN112084123B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103873546A (zh) * | 2012-12-17 | 2014-06-18 | 国际商业机器公司 | 控制存储系统中区域存储中心间的数据存储的方法和装置 |
| CN103870115A (zh) * | 2014-02-18 | 2014-06-18 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN106559452A (zh) * | 2015-09-28 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 集群环境下的数据处理方法及装置 |
| US20180357727A1 (en) * | 2015-12-30 | 2018-12-13 | Alibaba Group Holding Limited | Methods and apparatuses for adjusting the distribution of partitioned data |
Non-Patent Citations (3)
| Title |
|---|
| FEI HAO; ZHENG PEI: "Time-Series Data Prediction Based on Trending Structure Sequence and Rough Set", IEEE * |
| 王岩;汪晋宽;: "云存储中动态副本放置机制研究", 计算机工程与科学, no. 09 * |
| 闫巧梅;: "滑动窗口技术在电信中的应用设计模型", 电脑开发与应用, no. 07 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112084123B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11327843B2 (en) | Apparatus and method for managing data storage | |
| US8230185B2 (en) | Method for optimizing cleaning of maps in FlashCopy cascades containing incremental maps | |
| US9256498B1 (en) | System and method for generating backups of a protected system from a recovery system | |
| CN107153644B (zh) | 一种数据同步方法及装置 | |
| US10884926B2 (en) | Method and system for distributed storage using client-side global persistent cache | |
| CN107391544B (zh) | 列式存储数据的处理方法、装置、设备及计算机储存介质 | |
| JP6388339B2 (ja) | 分散キャッシングおよびキャッシュ分析 | |
| WO2018141304A1 (zh) | 一种闪存文件系统及其数据管理方法 | |
| EP1837783A1 (en) | Managing data in a file system | |
| US10346368B2 (en) | Method and apparatus of per-block-group journaling for ordered mode journaling file system | |
| CN111324665A (zh) | 一种日志回放方法及装置 | |
| CN110019063B (zh) | 计算节点数据容灾回放的方法、终端设备及存储介质 | |
| US11289115B1 (en) | Copying a storage tape | |
| CN104199899A (zh) | 一种基于Hbase的海量图片存储方法及装置 | |
| CN108762915B (zh) | 一种在gpu内存中缓存rdf数据的方法 | |
| US11157456B2 (en) | Replication of data in a distributed file system using an arbiter | |
| US11321002B2 (en) | Converting a virtual volume between volume types | |
| CN111158858A (zh) | 一种虚拟机的克隆方法和装置，及计算机可读存储介质 | |
| CN105808451B (zh) | 一种数据缓存方法以及相关装置 | |
| CN111221814B (zh) | 二级索引的构建方法、装置及设备 | |
| US10073874B1 (en) | Updating inverted indices | |
| CN112084123B (zh) | 数据处理方法及装置和数据处理系统 | |
| US7949632B2 (en) | Database-rearranging program, database-rearranging method, and database-rearranging apparatus | |
| CN114185815A (zh) | 用于实现内存键值存储的方法、设备和系统 | |
| CN111435342B (zh) | 海报的更新方法、更新系统以及管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40039507 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |