CN113138986A - 一种数据库分表数据的抽取方法、装置及系统 - Google Patents

一种数据库分表数据的抽取方法、装置及系统 Download PDF

Info

Publication number
CN113138986A
CN113138986A CN202110439562.6A CN202110439562A CN113138986A CN 113138986 A CN113138986 A CN 113138986A CN 202110439562 A CN202110439562 A CN 202110439562A CN 113138986 A CN113138986 A CN 113138986A
Authority
CN
China
Prior art keywords
data
platform
sub
datax
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110439562.6A
Other languages
English (en)
Inventor
陈腾伟
王清琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongtongji Network Technology Co Ltd
Original Assignee
Shanghai Zhongtongji Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhongtongji Network Technology Co Ltd filed Critical Shanghai Zhongtongji Network Technology Co Ltd
Priority to CN202110439562.6A priority Critical patent/CN113138986A/zh
Publication of CN113138986A publication Critical patent/CN113138986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Abstract

本发明涉及一种数据库分表数据的抽取方法、装置及系统。该方法包括：数据调度系统调用预设的DataX平台，利用DataX平台抽取多个数据库分表中目标分表数据；DataX平台将数据库分表数据传输至hive中；hive结合数据库分表数据得到映射数据表，并将映射数据表写入Kafka平台，以供应用程序在Kafka平台中获取所需数据。上述方法实现了在大数据量场景下能够快速抽取分表数据，多客户端高并发消费数据的功能。

Description

一种数据库分表数据的抽取方法、装置及系统
技术领域
本发明涉及数据库数据读取技术领域，具体涉及一种数据库分表数据的抽取方法、装置及系统。
背景技术
随着数字智能化的发展，越来越多的领域中涉及的业务数据大多采用智能化进行管理。而业务数据智能化管理通过数据库实现。在进行业务数据管理过程中必然会涉及数据库数据的抽取和处理。数据库中对业务数据进行管理时，是通过表的方式进行存储。在需要使用数据库中数据时，则直接从对应的表上抽取，然后对抽取到的数据进行处理。无论是数据库主库，还是数据库分库，其均需要从对应的数据库中获取所需数据。
目前，对数据库表中数据进行抽取和处理方法是：先从数据库表中查出多条业务数据，在相应的应用程序中对该业务数据处理完毕后，再循环上一次操作，如此反复，直到每张表的数据处理完毕。但现有数据抽取和处理方法在数据量大时，无法做到快速处理，进而影响数据性能。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种数据库分表数据的抽取方法、装置及系统。解决目前无法快速处理大量数据库分别数据的问题。
为实现以上目的，本发明采用如下技术方案：
一种数据库分表数据的抽取方法，包括：
数据调度系统调用预设的DataX平台，利用所述DataX平台抽取多个数据库分表中目标分表数据；
所述DataX平台将所述数据库分表数据传输至hive中；
所述hive结合所述数据库分表数据得到映射数据表，并将所述映射数据表写入Kafka平台，以供应用程序在所述Kafka平台中获取所需数据。
可选的，还包括：
所述数据调度系统接收应用程序发送的数据请求指令及目标数据属性；
所述数据调度系统依据所述数据请求指令调用所述DataX平台。
可选的，还包括：
所述数据调度系统发送所述目标数据属性至所述DataX平台。
可选的，所述DataX平台抽取多个数据库分表中目标分表数据，包括：
依据所述目标数据属性遍历多个数据库中的分表，获取各个分表中所述目标数据属性对应的目标数据；
将所有的所述目标数据进行格式统一性处理，得到所述目标分表数据；
将所述目标分表数据存入所述DataX平台内的关系数据库。
可选的，所述将所述映射数据表写入Kafka平台，包括：
所述hive通过Kafka Connect将所述映射数据表写入所述Kafka平台中的类别数据项中。
一种数据库分表数据的抽取装置，包括：
数据抽取模块，用于数据调度系统调用预设的DataX平台，利用所述DataX平台抽取多个数据库分表中目标分表数据；
数据传输模块，用于所述DataX平台将所述数据库分表数据传输至hive中；
数据存入模块，用于所述hive结合所述数据库分表数据得到映射数据表，并将所述映射数据表写入Kafka平台，以供应用程序在所述Kafka平台中获取所需数据。
可选的，还包括：
数据请求指令接收模块，用于所述数据调度系统接收应用程序发送的数据请求指令及目标数据属性；
调用启动模块，用于所述数据调度系统依据所述数据请求指令调用所述DataX平台。
一种数据库分表数据的抽取系统，包括：
数据调度系统、与所述数据调度系统通信连接的DataX平台、与所述DataX平台通信连接的hive和与所述hive通信连接的Kafka平台。
可选的，还包括：
与所述DataX平台通信连接的多个数据库。
可选的，还包括：
分别与所述数据调度系统、所述Kafka平台通信连接的应用程序。
本申请提供的技术方案可以包括以下有益效果：
本申请中公开一种数据库分表数据的抽取方法，包括：数据调度系统调用DataX平台，DataX平台从多个数据库的分表中抽取目标分表数据，然后将该目标分表数据传输至hive中，hive再将目标分表数据写入Kafka平台中，以此应用程序可在Kafka平台中获取所需数据。上述方法中通过利用DataX平台，实现快速抽取数据库分表中增量和全量数据至hive中，并从hive获取数据写入kafka，最终实现多应用程序多线程并发消费kafka数据，以此实现了在大数据量场景下能够快速抽取分表数据，多客户端高并发消费数据的功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的数据库分表数据的抽取方法流程图；
图2是本发明一实施例提供的数据库分表数据的抽取装置结构图；
图3是本发明一实施例提供的数据库分表数据的抽取系统结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
首先，对本申请中应用到的技术进行简单介绍。
本申请中利用现有的DataX、hive、Kafka技术进行大量数据库分表数据的抽取。其中，DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能，DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件。理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统,每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Kafka是一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
现对本申请中数据库分表数据进行抽取的具体实现过程如下。
图1是本发明一实施例提供的数据库分表数据的抽取方法流程图。参见图1，一种数据库分表数据的抽取方法，包括：
步骤101：数据调度系统调用预设的DataX平台，利用所述DataX平台抽取多个数据库分表中目标分表数据。其中，在抽取多个数据库分表中的数据时，数据调度系统会调用DataX，该DataX会读取各个数据库中分别中的目标分表数据。
在用户需要调用多个数据库中的数据时，会通过应用程序发送数据请求指令至数据调度系统，数据调度系统在接收到该数据请求指令后，会调用DataX。同时，应用程序会在发送数据请求指令的同时发送目标数据属性至数据调度系统。数据调度系统在调用DataX时，会发送该目标数据属性至DataX，DataX根据该目标数据属性确定用户所需要的数据，然后DataX根据该目标数据属性遍历多个数据库中的分表，然后从所有的分表中得到所需要的目标数据。从数据库分表中得到目标数据后，DataX会对所有的目标数据的格式进行统一性处理，以此保证不同数据库不同分表中的所有目标数据的数据格式相同，以便后续进行管理。经过格式统一后，将目标分表数据存入DataX内部的关系数据库中，例如存入MySQL中。
步骤102：DataX平台将所述数据库分表数据传输至hive中。DataX在从数据库分表中获取到目标分表数据后，会将该目标分表数据发送至hive中，hive在接收到目标分表数据后，会结构化所有的目标分表数据，然后将结构化后的目标分表数据存入映射数据表中。
步骤103：hive结合所述数据库分表数据得到映射数据表，并将所述映射数据表写入Kafka平台，以供应用程序在所述Kafka平台中获取所需数据。Hive在生成映射数据表后，会将该映射数据表写入Kafka中。具体的hive通过Kafka Connect将所述映射数据表写入所述Kafka平台中的类别数据项(Topic)中，应用程序可通过Topic获取Kafka中的所需数据。
上述实施例中在用户需要调用数据库分表中的某些数据时，数据调度系统会调用DataX快速抽取多个数据库多个分表中的目标分表数据，然后DataX再将抽取到的目标分表数据传输至hive中，hive再将目标分表数据传至Kafka中，以供应用程序多线程并发消费目标分表数据。实现了在大数据量场景下能够快速抽取分表数据，多客户端高并发消费数据的功能。
为了更详细地介绍本申请中的数据抽取过程，现举例进行介绍：
用户需要获知快递公司1月份的快递包裹的相关数据信息，而所有快递包裹的相关数据信息分别存储在4个不同的数据库中。用户通过应用程序想数据调度系统发送数据请求指令，以及内容为“1月份快递包裹信息”的目标数据属性，数据调度系统在接收到数据请求指令后，调用DataX，DataX在获取到数据调度系统的调度指令后开启，同时并接收到内容为“1月份快递包裹信息”的目标数据属性。然后，DataX开始分别获取4个数据库中所有的存有包裹信息对应的分表，从所有分表中获取1月份快递包裹信息。再将4个数据库中读取到的所有的1月份快递包裹信息进行格式处理，使4个数据库中的1月份快递包裹信息的数据格式相同。以此将格式统一后的1月份快递包裹信息存入DataX内部的MySQL中，然后DataX将MySQL中的1月份快递包裹信息传送至hive，hive在接收到1月份快递包裹信息后，对1月份快递包裹信息进行结构化处理，以使所有的1月份快递包裹信息能够映射到同一张数据表中，然后在利用Kafka Connect从hive的该数据表获取数据写入kafka中，kafka中的Topic会对1月份快递包裹信息进行管理，后期应用程序会以Topic为依据进行所需数据的读取。
对应于本发明实施例提供的一种数据库分表数据的抽取方法，本发明实施例还提供一种数据库分表数据的抽取装置。请参见下文实施例。
图2是本发明一实施例提供的数据库分表数据的抽取装置结构图。参见图2，一种数据库分表数据的抽取装置，包括：
数据抽取模块201，用于数据调度系统调用预设的DataX平台，利用所述DataX平台抽取多个数据库分表中目标分表数据。
数据传输模块202，用于所述DataX平台将所述数据库分表数据传输至hive中。
数据存入模块203，用于所述hive结合所述数据库分表数据得到映射数据表，并将所述映射数据表写入Kafka平台，以供应用程序在所述Kafka平台中获取所需数据。
更进一步地，在上述实施例的基础上，上述装置还包括：
数据请求指令接收模块，用于所述数据调度系统接收应用程序发送的数据请求指令及目标数据属性。
调用启动模块，用于所述数据调度系统依据所述数据请求指令调用所述DataX平台。
其中，DataX平台抽取多个数据库分表中目标分表数据，包括：依据所述目标数据属性遍历多个数据库中的分表，获取各个分表中所述目标数据属性对应的目标数据；将所有的所述目标数据进行格式统一性处理，得到所述目标分表数据；将所述目标分表数据存入所述DataX平台内的关系数据库。
将所述映射数据表写入Kafka平台，包括：所述hive通过Kafka Connect将所述映射数据表写入所述Kafka平台中的类别数据项中。
上述实施例中通过DataX，快速实现增量和全量数据抽取到hive，通过KafkaConnect从hive获取数据写入Kafka，多应用程序多线程并发消费Kafka topic数据，实现了大数据量场景下快速抽取分表数据的功能。
为了更清楚地介绍实现本发明实施例的硬件系统，对应于本发明实施例提供的一种数据库分表数据的抽取方法，本发明实施例还提供一种数据库分表数据的抽取系统。请参见下文实施例。
图3是本发明一实施例提供的数据库分表数据的抽取系统结构图。参见图3，一种数据库分表数据的抽取系统，包括：
数据调度系统301、与所述数据调度系统301通信连接的DataX平台302、与所述DataX平台302通信连接的hive304和与所述hive304通信连接的Kafka平台305。同时，还包括与所述DataX平台302通信连接的多个数据库303，以及分别与所述数据调度系统301、所述Kafka平台305通信连接的应用程序。
上述抽取系统中通过DataX，快速实现增量和全量数据抽取到hive，通过KafkaConnect从hive获取数据写入Kafka，多应用程序多线程并发消费Kafka Topic数据，实现了在大数据量场景下能够快速抽取分表数据的功能。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种数据库分表数据的抽取方法，其特征在于，包括：
数据调度系统调用预设的DataX平台，利用所述DataX平台抽取多个数据库分表中目标分表数据；
所述DataX平台将所述数据库分表数据传输至hive中；
所述hive结合所述数据库分表数据得到映射数据表，并将所述映射数据表写入Kafka平台，以供应用程序在所述Kafka平台中获取所需数据。
2.根据权利要求1所述的方法，其特征在于，还包括：
所述数据调度系统接收应用程序发送的数据请求指令及目标数据属性；
所述数据调度系统依据所述数据请求指令调用所述DataX平台。
3.根据权利要求2所述的方法，其特征在于，还包括：
所述数据调度系统发送所述目标数据属性至所述DataX平台。
4.根据权利要求3所述的方法，其特征在于，所述DataX平台抽取多个数据库分表中目标分表数据，包括：
依据所述目标数据属性遍历多个数据库中的分表，获取各个分表中所述目标数据属性对应的目标数据；
将所有的所述目标数据进行格式统一性处理，得到所述目标分表数据；
将所述目标分表数据存入所述DataX平台内的关系数据库。
5.根据权利要求1所述的方法，其特征在于，所述将所述映射数据表写入Kafka平台，包括：
所述hive通过Kafka Connect将所述映射数据表写入所述Kafka平台中的类别数据项中。
6.一种数据库分表数据的抽取装置，其特征在于，包括：
数据抽取模块，用于数据调度系统调用预设的DataX平台，利用所述DataX平台抽取多个数据库分表中目标分表数据；
数据传输模块，用于所述DataX平台将所述数据库分表数据传输至hive中；
数据存入模块，用于所述hive结合所述数据库分表数据得到映射数据表，并将所述映射数据表写入Kafka平台，以供应用程序在所述Kafka平台中获取所需数据。
7.根据权利要求6所述的装置，其特征在于，还包括：
数据请求指令接收模块，用于所述数据调度系统接收应用程序发送的数据请求指令及目标数据属性；
调用启动模块，用于所述数据调度系统依据所述数据请求指令调用所述DataX平台。
8.一种数据库分表数据的抽取系统，其特征在于，包括：
数据调度系统、与所述数据调度系统通信连接的DataX平台、与所述DataX平台通信连接的hive和与所述hive通信连接的Kafka平台。
9.根据权利要求8所述的系统，其特征在于，还包括：
与所述DataX平台通信连接的多个数据库。
10.根据权利要求8所述的系统，其特征在于，还包括：
分别与所述数据调度系统、所述Kafka平台通信连接的应用程序。
CN202110439562.6A 2021-04-23 2021-04-23 一种数据库分表数据的抽取方法、装置及系统 Pending CN113138986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110439562.6A CN113138986A (zh) 2021-04-23 2021-04-23 一种数据库分表数据的抽取方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110439562.6A CN113138986A (zh) 2021-04-23 2021-04-23 一种数据库分表数据的抽取方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113138986A true CN113138986A (zh) 2021-07-20

Family

ID=76811924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110439562.6A Pending CN113138986A (zh) 2021-04-23 2021-04-23 一种数据库分表数据的抽取方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113138986A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294423A (zh) * 2015-05-25 2017-01-04 阿里巴巴集团控股有限公司 数据库分表的写入方法及装置
CN109241184A (zh) * 2018-08-20 2019-01-18 中国平安人寿保险股份有限公司 数据同步方法、装置、计算机设备和存储介质
CN110209741A (zh) * 2019-06-14 2019-09-06 上海中通吉网络技术有限公司 异构数据源间的数据同步方法、装置和设备
CN111080417A (zh) * 2019-12-27 2020-04-28 携程计算机技术（上海）有限公司 用于提高预订顺畅率的处理方法、模型训练方法及系统
CN112148788A (zh) * 2020-08-25 2020-12-29 珠海市卓轩科技有限公司 异构数据源的数据同步方法及系统
CN112434087A (zh) * 2020-12-08 2021-03-02 中国人寿保险股份有限公司 一种跨系统数据比对方法、装置、电子设备及存储介质
CN112527879A (zh) * 2020-12-15 2021-03-19 中国人寿保险股份有限公司 基于Kafka的实时数据抽取方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294423A (zh) * 2015-05-25 2017-01-04 阿里巴巴集团控股有限公司 数据库分表的写入方法及装置
CN109241184A (zh) * 2018-08-20 2019-01-18 中国平安人寿保险股份有限公司 数据同步方法、装置、计算机设备和存储介质
CN110209741A (zh) * 2019-06-14 2019-09-06 上海中通吉网络技术有限公司 异构数据源间的数据同步方法、装置和设备
CN111080417A (zh) * 2019-12-27 2020-04-28 携程计算机技术（上海）有限公司 用于提高预订顺畅率的处理方法、模型训练方法及系统
CN112148788A (zh) * 2020-08-25 2020-12-29 珠海市卓轩科技有限公司 异构数据源的数据同步方法及系统
CN112434087A (zh) * 2020-12-08 2021-03-02 中国人寿保险股份有限公司 一种跨系统数据比对方法、装置、电子设备及存储介质
CN112527879A (zh) * 2020-12-15 2021-03-19 中国人寿保险股份有限公司 基于Kafka的实时数据抽取方法及相关设备

Similar Documents

Publication Publication Date Title
TWI698108B (zh) 基於區塊鏈的資料處理方法和裝置
CN106250543B (zh) 一种自动化数据查询同步存储方法
CN111339186B (zh) 工作流引擎数据同步方法、装置、介质及电子设备
CN110334070A (zh) 数据处理方法、系统、设备及存储介质
CN112632035A (zh) 面向自主可控数据库迁移方法及存储介质
CN110968579A (zh) 执行计划的生成与执行方法、数据库引擎及存储介质
CN114116259A (zh) 基于消息队列的消息实时推送方法、系统、装置及介质
CN116483859A (zh) 数据查询方法及装置
CN109471957B (zh) 一种基于统一标签的元数据转换方法及装置
US9483476B2 (en) System decommissioning through reverse archiving of data
CN113111109A (zh) 数据源的接口入库解析接入方法
CN112150042A (zh) 一种基于“微应用微服务”架构的规划评审管理方法和系统
CN113138986A (zh) 一种数据库分表数据的抽取方法、装置及系统
CN114328981B (zh) 基于模式映射的知识图谱建立和数据获取方法、装置
WO2024001039A1 (zh) 一种维护区块链数据的方法、装置、电子设备和存储介质
CN111369302A (zh) 实时生成积分的方法、系统及计算机可读存储介质
CN116383207A (zh) 一种数据标签管理方法、装置、电子设备和存储介质
CN107463618B (zh) 一种索引创建方法和装置
US7925252B2 (en) Container-level transaction management system and method therefor
CN109783253A (zh) 基于kafka的分布式消息数据总线
CN115237924A (zh) 数据处理方法、系统、设备、介质和程序产品
CN113051244B (zh) 数据访问方法和装置、数据获取方法和装置
US8566814B2 (en) Transporting object packets in a nested system landscape
CN116561202A (zh) 一种对象序列化处理的方法和装置
CN113282284A (zh) 一种适配多定制化项目的打包方法及打包系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination