CN114647686A - 数据处理方法、装置、设备、介质及产品 - Google Patents

数据处理方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN114647686A
CN114647686A CN202011499136.3A CN202011499136A CN114647686A CN 114647686 A CN114647686 A CN 114647686A CN 202011499136 A CN202011499136 A CN 202011499136A CN 114647686 A CN114647686 A CN 114647686A
Authority
CN
China
Prior art keywords
target
database
data
source
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011499136.3A
Other languages
English (en)
Inventor
陈东平
邹展
吕烨
谢云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Unicom Big Data Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Unicom Big Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd, Unicom Big Data Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011499136.3A priority Critical patent/CN114647686A/zh
Publication of CN114647686A publication Critical patent/CN114647686A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据处理方法、装置、设备、介质及产品，通过获取对目标源数据进行处理的配置信息，配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；根据配置信息生成对应的处理指令，并将处理指令发送给源数据库，以使源数据库根据处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则获取目标结果数据，并将目标结果数据同步到目标数据库，即使在大数据环境下，也能够将数据的处理进行充分的分散到各个源数据库中，满足大数据环境的数据处理要求。

Description

数据处理方法、装置、设备、介质及产品
技术领域
本发明实施例涉及大数据处理技术领域，尤其涉及一种数据处理方法、装置、设备、介质及产品。
背景技术
随着信息技术的高速发展，特别是云计算和大数据技术的兴起，数据的处理全面进入大数据时代。这对数据的处理能力和效率提出了更高的要求。
目前对数据的处理方式采用数据仓库技术(简称：ETL技术)，ETL技术通过配置的数据源信息，建立与数据源的连接，然后将数据读取到本地内存当中，接着通过配置策略对内存中的数据进行处理，形成目标数据，最后将内存中的目标数据写入目标数据库中。
但是ETL技术由于内存资源开销、网络带宽等因素，只提供非大数据环境下的数据处理。并不适用于大数据环境的数据处理。
发明内容
本发明实施例提供一种数据处理方法、装置、设备、介质及产品，解决了现有技术中ETL技术由于内存资源开销、网络带宽等因素，只提供非大数据环境下的数据处理。并不适用于大数据环境的数据处理的技术问题。
第一方面，本发明实施例提供一种数据处理方法，包括：
获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；
根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；
若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库。
进一步地，如上所述的方法，若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则还包括：
判断所述源数据库与目标数据库是否为不同类型的数据库；
若确定所述源数据库与目标数据库为不同类型的数据库，则将所述目标结果数据同步到目标数据库之前，还包括：
对所述目标结果数据进行类型格式转换。
进一步地，如上所述的方法，所述获取对目标源数据进行处理的配置信息，包括：
接收用户对可视化配置界面中配置组件的触发操作；
响应于所述触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。
进一步地，如上所述的方法，所述配置信息中还包括：目标源数据是否为周期性处理数据；
若确定目标源数据为周期性处理数据，则所述根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，包括：
根据所述配置信息周期性生成对应的处理指令，并将所述处理指令周期性地发送给源数据库。
第二方面，本发明实施例提供一种数据处理装置，包括：
获取模块，用于获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；
生成模块，用于根据所述配置信息生成对应的处理指令；
发送模块，用于将所述处理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；
同步模块，用于若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库。
进一步地，如上所述的装置，还包括：
判断模块，用于若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则判断所述源数据库与目标数据库是否为不同类型的数据库；
转换模块，用于若确定所述源数据库与目标数据库为不同类型的数据库，则将所述目标结果数据同步到目标数据库之前，对所述目标结果数据进行类型格式转换。
进一步地，如上所述的装置，所述获取模块，具体用于：
接收用户对可视化配置界面中配置组件的触发操作；响应于所述触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。
进一步地，如上所述的装置，所述配置信息中还包括：目标源数据是否为周期性处理数据；
所述生成模块，具体用于若确定目标源数据为周期性处理数据，则根据所述配置信息周期性生成对应的处理指令；
所述发送模块，具体用于将所述处理指令周期性地发送给源数据库。
第三方面，本发明实施例提供一种电子设备，包括：
存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面中任一项所述的方法。
第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述的方法。
本发明实施例提供一种数据处理方法、装置、设备、介质及产品，通过获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库，由于根据配置信息生成处理指令，并发送给源数据库，使对目标源数据的处理在源数据库中进行，所以即使在大数据环境下，也能够将数据的处理进行充分的分散到各个源数据库中，满足大数据环境的数据处理要求。
应当理解，上述发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术提供的数据处理方法的应用场景图；
图2为本发明实施例提供的数据处理方法的一种应用场景图；
图3为本发明一实施例提供的数据处理方法的流程图；
图4为本发明另一实施例提供的数据处理方法的流程图；
图5为本发明一实施例提供的数据处理装置的结构示意图；
图6为本发明另一实施例提供的数据处理装置的结构示意图；
图7为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。
图1为现有技术提供的数据处理方法的应用场景图，如图1所示，现有技术中采用ETL技术进行数据处理。具体地，ETL处理系统4与源数据库2建立网络连接，将待处理的数据从源数据库2读取到ETL处理系统4的本地内存当中，然后通过ELT处理系统中配置的处理策略在本地内存中对数据进行处理形成结果数据，最后将结果数据写入到目标数据库3中。
但采用ETL技术进行数据处理存在较多问题。首先由于ELT系统在数据处理前需要先将待处理的数据从源数据库读取到ELT系统中，对网络带宽及质量有较高要求，网络带宽低及不稳定性会导致待处理的数据读取到ETL系统缓慢或失败。其次，ETL系统是在内存中进行数据处理，因此对ELT系统的内存大小及处理能力提出非常高的要求，如数据量大及并发高时则会导致超负荷，进而使系统崩溃；再者目前网络带宽和ETL系统内存本身不能无限扩展，这个瓶颈导致现有ETL系统不适合大数据场景，而且因为高并发场景时需要很高网络带宽和消耗大量内存，但网络带宽和内存都是瓶颈，现有ETL系统无法满足。最后现有ETL系统是先将待处理的数据读取到内存，然后进行数据处理，最后才将结果数据写入到目标数据库，导致数据处理速度慢且效率低下。
针对现有技术中的问题，发明人在研究中发现，需要把数据处理过程进行充分分散，不集中在ETL系统中进行处理。而且需要减少待处理的数据读取的过程。所以可将对数据的处理过程转移到源数据库中进行。只需要获取对目标源数据进行处理的配置信息，然后根据配置信息生成处理指令，将处理指令发送给源数据库，控制源数据库根据处理指令对待处理的数据进行处理，生成结果数据，若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则获取目标结果数据，并将目标结果数据同步到目标数据库。由于根据配置信息生成处理指令，并发送给源数据库，使对目标源数据的处理在源数据库中进行，所以即使在大数据环境下，也能够将数据的处理进行充分的分散到各个源数据库中，满足大数据环境的数据处理要求。而且在大数据环境下，对网络带宽及质量也没有很高的要求，由于数据处理过程不集中在一个设备中执行，所以对设备的内存大小及处理能力也没有很高的要求，而且无需将待处理的数据读取设备内存中，所以提高了数据处理的效率。
所以发明人基于上述的创造性发现，提出了本发明实施例的技术方案。下面对本发明实施例提供的数据处理方法的应用场景进行介绍。
如图2所示，本实施例提供的数据处理方法的应用场景中，包括：电子设备1，与电子设备1通信连接的源数据库2，及与电子设备1通信连接的目标数据库3。在电子设备中安装有数据处理方法的应用程序，该应用程序可通过客户端或网页与用户进行交互，向用户提供可视化配置界面。由用户通过可视化配置界面配置对目标源数据进行处理的配置信息。其中，在配置信息中包括目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略。电子设备接收到该配置信息后，根据配置信息生成对应的处理指令，在处理指令中携带目标源数据信息及处理策略。并将处理指令发送给对应的源数据库2。源数据库2根据处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据。电子设备1根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则从源数据库2中获取目标结果数据，并将目标结果数据同步到目标数据库3。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例一
图3为本发明一实施例提供的数据处理方法的流程图，如图3所示，本实施例的执行主体为数据处理装置，该数据处理装置集成在电子设备中，则本实施例提供的数据处理方法包括以下几个步骤。
步骤101，获取对目标源数据进行处理的配置信息，配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略。
本实施例中，在有数据处理需求时，打开电子设备中的数据处理方法的应用程序的客户端或网页，进入配置界面。在配置界面中可包括多个配置组件，则用户可通过配置组件配置对目标源数据进行处理的配置信息。
其中，目标源数据可以为格式化数据，如可以为库表格式数据，excel格式数据或CSA格式的数据等。
其中，目标源数据可以为业务数据，用户数据等。对目标源数据的类型不作限定。
本实施例中，目标源数据信息可以包括目标源数据的标识信息。目标元数据的源数据库信息可以为源数据库的标识信息，及源数据库的类型信息。目标数据库信息可以包括目标数据库的标识信息及类型信息。
其中，目标源数据的标识信息可以为目标源数据的名称，序号等。源数据库的标识信息可以为源数据库的名称，序号等。目标数据库的标识信息可以为目标数据库的名称，序号等。源数据库和目标数据库的类型信息如可以为Mysql类型，PG类型或Hive类型等。
本实施例中，处理策略可以包括：处理方式及处理参数。例如若目标源数据为库表格式的数据，则处理方式可以为：表缩放，值映射，值转换，值常量等。表缩放包括表缩放参数。值映射包括值映射参数。值转换包括值转换参数。值常量包括值常量参数。
步骤102，根据配置信息生成对应的处理指令，并将处理指令发送给源数据库，以使源数据库根据处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据。
本实施例中，在根据配置信息生成对应的处理指令时，需要根据源数据库的类型信息，生成源数据库能够识别的处理指令。并且在处理指令中还需要包括：目标源数据信息及处理策略。
在源数据库接收到处理指令后，根据处理指令中的目标源数据信息从源数据库中获取到目标源数据，然后按照处理策略对目标源数据进行处理，进行处理后的数据为目标结果数据。
其中，目标结果数据也可以为格式化数据。如可以为库表的格式，excel格式或CSA格式。
步骤103，若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则获取目标结果数据，并将目标结果数据同步到目标数据库。
本实施例中，将源数据库信息中的源数据库标识信息与目标数据库信息中的目标数据库标识信息进行对比，若确定源数据库标识信息与目标数据库标识信息不一致，则确定源数据库与目标数据库为不同数据库，需要将目标结果数据发送给目标数据库。则电子设备从源数据库中获取目标结果数据，并将目标结果数据发送给目标数据库。则在目标数据库中也存储了目标结果数据，达到了与源数据库针对该目标结果数据的同步。
本实施例提供的数据处理方法，通过获取对目标源数据进行处理的配置信息，配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；根据配置信息生成对应的处理指令，并将处理指令发送给源数据库，以使源数据库根据处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则获取目标结果数据，并将目标结果数据同步到目标数据库，由于根据配置信息生成处理指令，并发送给源数据库，使对目标源数据的处理在源数据库中进行，所以即使在大数据环境下，也能够将数据的处理进行充分的分散到各个源数据库中，满足大数据环境的数据处理要求。
实施例二
图4为本发明另一实施例提供的数据处理方法的流程图，如图4所示，本实施例提供的数据处理方法，是在本发明实施例一提供的数据处理方法的基础上，对步骤101的进一步细化，并且还包括了其他步骤，则本实施例提供的数据处理方法包括以下步骤。
步骤201，接收用户对可视化配置界面中配置组件的触发操作。
本实施例中，在电子设备中的数据处理方法的应用程序的客户端或网页中具有可视化的配置界面。用户可打开配置界面，查看到配置界面中的配置组件。例如配置组件可以包括：目标源数据配置组件，源数据库配置组件，目标数据库配置组件及处理策略配置组件等。用户可点击配置组件来触发该配置组件，进行相应的配置参数的配置。
步骤202，响应于触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。
本实施例中，在用户点击某配置组件后，可呈现出输入框或选择框或配置窗口，则通过输入框或选择框或配置窗口输入对应的配置信息，使电子设备获取到配置信息。
其中，配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略。
步骤203，根据配置信息生成对应的处理指令，并将处理指令发送给源数据库，以使源数据库根据处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据。
本实施例中，步骤203的实现方式与本发明实施例一中的步骤102的实现方式类似，在此不再一一赘述。
步骤204，若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则判断源数据库与目标数据库是否为不同类型的数据库。
本实施例中，首先将源数据库信息中的源数据库标识信息与目标数据库信息中的目标数据库标识信息进行对比，若确定源数据库标识信息与目标数据库标识信息不一致，则确定源数据库与目标数据库为不同数据库，然后在确定源数据库与目标数据库为不同数据库后，获取配置信息中的源数据库信息中的类型信息，以及目标数据库信息中的类型信息。将源数据库的类型信息与目标数据库的类型信息进行对比，判断源数据库与目标数据库是否为不同类型的数据库。
例如源数据库和目标数据库的类型信息可以为Mysql类型，PG类型或Hive类型中的任意一种。
步骤205，若确定源数据库与目标数据库为不同类型的数据库，则对目标结果数据进行类型格式转换。
本实施例中，若确定源数据库与目标数据库为不同类型的数据库，则说明在源数据库中的目标结果数据不能直接发送给目标数据库进行存储。需要将源数据库中的目标结果数据进行格式转换，适用于目标数据库。
例如，若源数据库为Mysql类型，目标结果数据也是Mysql类型的格式，而目标数据库为PG类型，则需要将目标结果数据从Mysql类型的格式转换为PG类型的格式，以适用于牧宝数据库。
步骤206，将目标结果数据同步到目标数据库。
本实施例提供的数据处理方法，在获取对目标源数据进行处理的配置信息时，接收用户对可视化配置界面中配置组件的触发操作；响应于触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。由于用户可通过可视化配置界面进行配置信息的配置，所以能够加快配置信息的配置效率。
本实施例提供的数据处理方法，若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则判断源数据库与目标数据库是否为不同类型的数据库，若确定源数据库与目标数据库为不同类型的数据库，则对目标结果数据进行类型格式转换，将目标结果数据同步到目标数据库，能够在源数据库与目标数据库为不同类型时，也能够将目标结果数据顺利存储到目标数据库中，保证数据处理过程的顺利进行。
作为一种可选实施方式，本实施例中，配置信息中还包括：目标源数据是否为周期性处理数据。
若确定目标源数据为周期性处理数据，则步骤203中，根据配置信息生成对应的处理指令，并将处理指令发送给源数据库，包括：
根据配置信息周期性生成对应的处理指令，并将处理指令周期性地发送给源数据库。
具体地，本实施例中，由于某些对目标源数据是一个不断更新的过程。所以对目标源数据的处理过程并非处理一次即可，而是需要间隔预设时间段再对目标源数据进行处理。所以在配置参数中还包括：目标源数据是否为周期性处理数据，若该配置参数指示目标源数据是周期性处理数据，则需要根据该配置参数在达到处理周期后，由源数据库自动对目标源数据进行处理。具体地，电子设备可根据该配置参数每到处理周期后生成对应的处理指令，并将该处理指令按照处理周期发送给源数据库，以使源数据库周期性地对目标源数据进行处理。
本实施例提供的数据处理方法，配置信息中还包括：目标源数据是否为周期性处理数据。若确定目标源数据为周期性处理数据，则根据配置信息周期性生成对应的处理指令，并将处理指令周期性地发送给源数据库，能够在目标源数据有周期性处理需求时，控制源数据库自动完成对目标源数据的处理，提高了数据处理的效率。
实施例三
图5为本发明一实施例提供的数据处理装置的结构示意图，如图5所示，本实施例提供的数据处理装置30包括：获取模块31，生成模块32，发送模块33及同步模块34。
其中，获取模块31，用于获取对目标源数据进行处理的配置信息，配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略。生成模块32，用于根据配置信息生成对应的处理指令。发送模块33，用于将处理指令发送给源数据库，以使源数据库根据处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据。同步模块34，用于若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则获取目标结果数据，并将目标结果数据同步到目标数据库。
本实施例提供的数据处理装置可以执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
实施例四
图6为本发明另一实施例提供的数据处理装置的结构示意图，如图6所示，本实施例提供的数据处理装置在本发明实施例三提供的数据处理装置的基础上，进一步地，还包括：判断模块41，转换模块42。
可选地，判断模块41，用于若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则判断源数据库与目标数据库是否为不同类型的数据库。转换模块42，用于若确定源数据库与目标数据库为不同类型的数据库，则将目标结果数据同步到目标数据库之前，对目标结果数据进行类型格式转换。
可选地，获取模块31，具体用于：
接收用户对可视化配置界面中配置组件的触发操作；响应于触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。
可选地，配置信息中还包括：目标源数据是否为周期性处理数据。
生成模块32，具体用于若确定目标源数据为周期性处理数据，则根据配置信息周期性生成对应的处理指令。发送模块33，具体用于将处理指令周期性地发送给源数据库。
本实施例提供的数据处理装置可以执行图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
实施例五
图7为本发明一实施例提供的电子设备的结构示意图，如图6所示，本发明实施例提供的电子设备50，包括：存储器51，处理器52以及计算机程序。
其中，计算机程序存储在存储器51中，并被配置为由处理器52执行以实现本发明实施例一或实施例二中的方法。
需要说明的是，在电子设备中还可以包括收发器，用于与源数据库和目标数据库间进行数据交互。
相关说明可以对应参见图3至图4的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
其中，本实施例中，存储器51和处理器52通过总线连接。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明实施例一或实施例二中的方法。
本发明实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现实施例一或实施例二中的方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；
根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；
若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库。
2.根据权利要求1所述的方法，其特征在于，若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则还包括：
判断所述源数据库与目标数据库是否为不同类型的数据库；
若确定所述源数据库与目标数据库为不同类型的数据库，则将所述目标结果数据同步到目标数据库之前，还包括：
对所述目标结果数据进行类型格式转换。
3.根据权利要求1所述的方法，其特征在于，所述获取对目标源数据进行处理的配置信息，包括：
接收用户对可视化配置界面中配置组件的触发操作；
响应于所述触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述配置信息中还包括：目标源数据是否为周期性处理数据；
若确定目标源数据为周期性处理数据，则所述根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，包括：
根据所述配置信息周期性生成对应的处理指令，并将所述处理指令周期性地发送给源数据库。
5.一种数据处理装置，其特征在于，包括：
获取模块，用于获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；
生成模块，用于根据所述配置信息生成对应的处理指令；
发送模块，用于将所述处理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；
同步模块，用于若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库。
6.根据权利要求5所述的装置，其特征在于，还包括：
判断模块，用于若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则判断所述源数据库与目标数据库是否为不同类型的数据库；
转换模块，用于若确定所述源数据库与目标数据库为不同类型的数据库，则将所述目标结果数据同步到目标数据库之前，对所述目标结果数据进行类型格式转换。
7.根据权利要求5所述的装置，其特征在于，所述获取模块，具体用于：
接收用户对可视化配置界面中配置组件的触发操作；响应于所述触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。
8.一种电子设备，其特征在于，包括：
存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-4中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-4中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-4中任一项所述的方法。
CN202011499136.3A 2020-12-17 2020-12-17 数据处理方法、装置、设备、介质及产品 Pending CN114647686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011499136.3A CN114647686A (zh) 2020-12-17 2020-12-17 数据处理方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011499136.3A CN114647686A (zh) 2020-12-17 2020-12-17 数据处理方法、装置、设备、介质及产品

Publications (1)

Publication Number Publication Date
CN114647686A true CN114647686A (zh) 2022-06-21

Family

ID=81991328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011499136.3A Pending CN114647686A (zh) 2020-12-17 2020-12-17 数据处理方法、装置、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN114647686A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431688A (zh) * 2022-11-14 2023-07-14 北京远舢智能科技有限公司 一种数据的处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431688A (zh) * 2022-11-14 2023-07-14 北京远舢智能科技有限公司 一种数据的处理方法、装置、电子设备及存储介质
CN116431688B (zh) * 2022-11-14 2024-05-03 北京远舢智能科技有限公司 一种数据的处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109189841B (zh) 一种多数据源访问方法及系统
CN108629029B (zh) 一种应用于数据仓库的数据处理方法和装置
CN111638690B (zh) 基于通用信息模型的数据采集方法、装置、系统和设备
CN107729570B (zh) 用于服务器的数据迁移方法和装置
CN110019496B (zh) 数据读写方法和系统
CN113050940A (zh) 小程序的预览方法、相关装置及计算机程序产品
WO2019027597A1 (en) WORKFLOW MANAGEMENT FRAMEWORK
CN111680799B (zh) 用于处理模型参数的方法和装置
CN112398669B (zh) 一种Hadoop部署方法和装置
CN114647686A (zh) 数据处理方法、装置、设备、介质及产品
CN113760638A (zh) 一种基于kubernetes集群的日志服务方法和装置
CN111435315A (zh) 分配资源的方法、装置、设备和计算机可读介质
CN113312553A (zh) 一种用户标签的确定方法和装置
CN111767126A (zh) 分布式批量处理的系统和方法
CN109656709B (zh) 一种Codis集群扩容的方法和装置
CN112667368A (zh) 一种任务数据处理方法和装置
CN113076343B (zh) 数据查询方法、装置、设备及存储介质
CN115438007A (zh) 一种文件合并方法、装置、电子设备及介质
CN112667393B (zh) 分布式任务计算调度框架搭建的方法、装置及计算机设备
CN110019445B (zh) 数据同步方法和装置、计算设备和存储介质
CN110543520B (zh) 一种数据迁移的方法和装置
CN114070889A (zh) 配置方法、流量转发方法、设备、存储介质及程序产品
CN112711572A (zh) 适用于分库分表的在线扩容方法和装置
CN110727457A (zh) 组件管理方法、装置、存储介质及电子设备
CN112183799A (zh) 用于合成任务单的任务分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination