CN111966666A - 一种数据集成管理、开发方法及平台 - Google Patents

一种数据集成管理、开发方法及平台 Download PDF

Info

Publication number
CN111966666A
CN111966666A CN202010885086.6A CN202010885086A CN111966666A CN 111966666 A CN111966666 A CN 111966666A CN 202010885086 A CN202010885086 A CN 202010885086A CN 111966666 A CN111966666 A CN 111966666A
Authority
CN
China
Prior art keywords
task
data integration
function
attribute
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010885086.6A
Other languages
English (en)
Inventor
黄宁飞
彭玉艳
龙富永
张红燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010885086.6A priority Critical patent/CN111966666A/zh
Publication of CN111966666A publication Critical patent/CN111966666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据集成管理、开发的方法及平台，解决了现有的数据集成任务由于缺少统一化、标准化和规范化，导致数据集成任务在开发和维护时具有工作量大、成本高的问题。具体地，该数据集成管理方法包括：获取数据集成任务；对所述数据集成任务的任务属性打标签；在功能库中查找与所述数据集成任务匹配的功能模块；对所述数据集成任务的功能属性打标签；将所述数据集成任务的任务属性和功能属性存储在数据库中。

Description

一种数据集成管理、开发方法及平台
技术领域
本发明涉及数据集成技术领域，具体涉及一种数据集成管理、开发方法及平台。
背景技术
随着科技的发展，信息化、数字化以及智能化都离不开数据平台的搭建，而数据平台的搭建离不开数据集成这一重要环节，数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供更为全面的数据共享，如何做好数据集成任务的管理和开发工作变得越来越重要。但是现有的数据集成任务缺少统一化、标准化和规范化，且在后续数据集成开发时由于会用到不同的ETL(数据抽取、转换、加载)工具，导致数据集成任务在开发和维护时具有工作量大、成本高的问题。
发明内容
有鉴于此，本发明实施例提供了一种数据集成管理、开发方法及平台，解决了现有的数据集成任务由于缺少统一化、标准化和规范化，导致数据集成任务在开发和维护时具有工作量大、成本高的问题。
本发明一实施例提供的一种数据集成管理、开发方法及平台包括：获取数据集成任务；对所述数据集成任务的任务属性打标签；在功能库中查找与所述数据集成任务匹配的功能模块；对所述数据集成任务的功能属性打标签；将所述数据集成任务的任务属性和功能属性存储在数据库中。
在一种实施方式中，在功能库中查找与所述数据集成任务匹配的功能模块，包括：基于所述数据集成任务需要实现的功能和开发数据集成任务使用的工具类型，在功能库中查找是否有与所述数据集成任务匹配的功能模块；若所述功能库中没有与所述数据集成任务匹配的功能模块，对所述功能库中的功能模块进行添加或调整。
在一种实施方式中，所述任务属性包括：任务ID、任务类型、任务描述和拥有者中的至少一种。
在一种实施方式中，所述功能属性包括源数据库和目标数据库链接、邮件提醒功能和日志收集功能中的至少一种。
在一种实施方式中，对所述数据集成任务的任务属性打标签，包括：将所述数据集成任务的任务属性对应到数据库的表中。
在一种实施方式中，对所述数据集成任务的功能属性打标签，包括：将所述数据集成任务的功能属性对应到数据库的表中。
在一种实施方式中，在将所述数据集成任务的任务属性和功能属性存储在数据库中之后，还包括：调用存储在数据库中的数据集成任务的任务属性和功能属性；基于所述任务属性和功能属性进行数据集成开发。
在一种实施方式中，包括：调用存储在数据库中的数据集成任务的任务属性和功能属性，包括：通过调用数据库底层存储过程、函数、界面以及接口中的至少一种获取所述数据集成任务的任务属性和功能属性。
一种数据集成管理及开发平台，包括：获取模块，配置为获取数据集成任务；管理模块，配置为对所述数据集成任务的任务属性打标签；查询模块，配置为在功能库中查找与所述数据集成任务匹配的功能模块，其中所述管理模块进一步配置为：对所述数据集成任务的功能属性打标签；存储模块，将所述数据集成任务的任务属性和功能属性存储在数据库中。
在一种实施方式中，所述管理模块进一步配置为：将所述数据集成任务的任务属性对应到数据库的表中；和/或将所述数据集成任务的功能属性对应到数据库的表中。
一种数据集成管理平台，包括：调用模块，配置为：调用数据集成任务的任务属性标签和功能属性标签；开发模块，配置为：基于所述任务属性标签和功能属性标签进行数据集成开发。
在一种实施方式中，所述调用模块进一步配置为：通过调用数据库底层存储过程、函数以及界面接口中的至少一种调用集成任务的任务属性和功能属性。
一种计算机可读存储器介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理执行时用以实现上述所述的方法。
一种电子装置，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述所述的方法。
本发明实施例提供的一种数据集成管理、开发方法及平台，所述数据集成管理方法包括获取数据集成任务，对数据集成任务的任务属性打标签，在功能库中查找与数据集成任务匹配的功能模块，对数据集成任务的功能属性打标签，将数据集成任务的任务属性和功能属性存储在数据库中。通过对数据集成任务的任务属性和功能属性打标签后存储在数据库中，实现了数据集成任务的统一管理，使数据集成任务管理规范化、标准化。在后续的数据集成开发过程中，只需直接调用数据集成任务的任务属性和功能属性即可完成对数据集成任务的开发或维护等，从而减少了数据集成任务开发和维护时的工作量和成本。
附图说明
图1所示为本发明一实施例提供的一种数据集成数据管理方法的流程图。
图2所示为本发明一实施例提供的一种数据集成数据开发方法的流程图。
图3所示为本发明一实施例提供的一种数据集成数据管理、开发的方法的流程图。
图4所示为本发明一实施例提供的一种数据集成数据管理平台的结构示意图。
图5所示为本发明一实施例提供的一种数据集成数据开发平台的结构示意图。
图6所示为本发明一实施例提供的一种数据集成管理、开发平台的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明一实施例提供的一种数据集成数据管理方法的流程图。
本发明一实施例中，本发明涉及的数据集成管理方法是基于数据开发统一管理平台实现的。如图1所示，数据集成管理方法包括：
步骤01:获取数据集成任务。数据开发统一管理平台获取待开发的数据集成任务，该数据集成任务可以是开发人员通过获取数据集成需求后分解而来的。
步骤02:对数据集成任务的任务属性打上标签。其中任务属性包括任务ID、任务类型、任务描述和拥有者中的至少一种。每个数据集成任务都有唯一的任务ID，可以将数据集成任务的任务属性划分成几块，对应到数据开发统一管理平台底层的数据库的表中，即可以将任务属性抽象为表里面的字段，以此完成对数据集成任务的任务属性打标签。通过数据开发统一管理平台提供的接口或者页面对数据集成任务的任务属性打标签，即对表的增加、删除或者修改可以是在平台上进行的，也可以是通过平台的接口进行的。对数据集成任务的任务属性打标签，能够保证数据集成任务的任务属性的标准化和规范化，从而实现对数据集成任务的任务属性的统一管理。
可以理解，任务属性包括任务ID、任务类型、任务描述和拥有者中的至少一种，除此之外还可以包括其他的任务属性，本发明对任务属性包括的具体种类不做限定。
还可以理解，通过数据开发统一管理平台提供的接口或者页面对数据集成任务的任务属性打上标签，当通过接口对任务属性打标签时，接口可以为web service接口或者api接口，给任务属性打标签的方式是可以进行选择的，本发明对给任务属性打标签的方式不做限定。
步骤03:在功能库中查找与数据集成任务匹配的功能模块。基于数据集成任务需要实现的功能，以及开发数据集成任务时使用的工具类型，在功能库中查找是否有与所述数据集成任务匹配的功能模块。如果能够在数据库中查找到与数据集成任务匹配的功能模块则进行后续步骤；如果没有在数据库中查找到与数据集成任务匹配的功能模块，在不影响现有的功能库中功能模块使用的前提下，需要对数据库中的功能模块进行添加、调整和完善，例如可以添加功能模块的属性纬度、调整功能模块的实现逻辑等。通过对功能库里面的功能模块进行添加、调整和完善，从而使得功能库更加完善、兼容性更高，进而实现功能共享化。
可以理解，对数据库中的功能模块进行调整可以是通过数据库里面的存储过程、函数，或者单独开发的一段程序代码实现的，对数据库中的功能模块进行调整的方式是可以选择的，本发明对如何实现数据库中的功能模块的调整不做限定。
步骤04:对数据集成任务的功能属性打上标签。如有能够在数据库中查找到与数据集成任务匹配的功能模块，则通过数据开发统一管理平台提供的接口或者页面，对数据集成任务的功能属性打标签。功能属性可以包括源数据库和目标数据库链接、邮件提醒功能和日志收集功能中的至少一种。所有的数据集成都涉及到源数据库和目标数据库，可以将获取数据集成任务的源数据库和目标数据库链接作为一个功能模块点，将封装起来作为数据库的一个存储过程、函数或者接口中的至少一种，在后续需要维护该功能模块点时，只需通过调用存储过程、函数、或者接口即可完成对该功能模块点的维护。此外，邮件提醒功能和日志收集功能等等，都可以定义功能模块的属性纬度、提供统一的功能属性维护界面，最后通过统一的功能调用入口，完成对邮件提醒功能、日志收集功能等的开发。其中，邮件提醒功能为在数据集成开发过程中，对功能属性进行调度时失败或者功能都可以发送相应的邮件提醒；日志收集功能为收集数据集成任务运行时的日志状态等。对数据集成任务的功能属性打标签包括将数据集成任务的功能属性对应到数据库的表中，每个数据集成任务都有唯一的任务ID，可以将数据集成任务的功能属性划分成几块，对应到数据开发统一管理平台底层的数据库的表中，即可以将功能属性抽象为表里面的字段，以此完成对数据集成任务的功能属性打标签。通过数据开发统一管理平台提供的接口或者页面对数据集成任务的功能属性打标签，即对表的增加、删除或者修改可以是在平台上进行的，也可以是通过平台的接口进行的。通过对数据集成任务的功能属性打标签，可以保证功能属性的标准化和规范化，从而实现对数据集成任务的功能属性的统一管理。
可以理解，功能属性包括功能属性包括源数据库和目标数据库链接、邮件提醒功能和日志收集功能中的至少一种，除此之外还可以包括其他的功能属性，本发明对功能属性包括的具体种类不做限定。
还可以理解，通过数据开发统一管理平台提供的接口或者页面对数据集成任务的功能属性打上标签，当通过接口对功能属性打标签时，接口可以为web service接口或者api接口，给功能属性打标签的方式是可以进行选择的，本发明对给功能属性打标签的方式不做限定。
步骤05:将数据集成任务的任务属性和功能属性存储在数据库中，即在数据库的表中对应数据集成任务的任务属性和功能属性，以便数据集成开发和维护时直接调用。
图2所示为本发明一实施例提供的一种数据集成数据开发方法的流程图。图3所示为本发明一实施例提供的一种数据集成数据管理、开发的方法的流程图。
本发明一实施例中，本发明涉及的数据集成开发方法是基于数据开发统一管理平台实现的。如图2-图3所示，数据集成开发的方法包括：
步骤06:调用存储在数据库中的数据集成任务的任务属性和功能属性。
步骤07:基于任务属性标签和功能属性标签进行数据集成开发。
新数据集成任务开发时，先选择合适的ETL(数据抽取、转换、加载)工具，ETL工具通过调用数据库底层存储过程、函数、界面以及接口中的至少一种获取数据集成任务的任务属性和功能属性，调用时只需要传入任务ID即可获取对应任务属性和功能属性，以此减少数据集成开发的工作量和成本，且后期如果需要对数据集成任务进行维护或者调整时，也可以直接通过数据开发统一管理平台直接调整任务属性和功能属性即可，以此减少数据集成维护的工作量和成本。
例如：获取某数据集成任务源数据库链接和目标数据库链接的功能模块，不同的ETL工具，返回的链接字符串是不同的，本发明通过对源数据库和目标数据库的任务属性打标签(例如，将任务属性打标签如下：任务ID001，涉及源数据库是xxx，目标数据库是yyy，ETL工具选择是a)，这样在调取该数据集成任务的链接字符串时，只需传入任务ID：001，即可获得对应链接字符串，而不再需要去关注不同的ETL类型需要返回什么样格式的链接字符串，当任务已经开发完成但后期有需要维护时(如，修改源数据库等)，只需要调整任务属性即可。
再例如：同步一个采购订单行表tab，ETL工具为a，但是此采购订单行表在不同的账套或者基地(可以理解为由于该采购订单行表数据量太大，因此在源头做了分表存放)，在第一次做此数据同步时，我们仅需要账套001的数据，随着后期的业务的需求，我们需要添加账套002～008的数据，那么我们只需要调整该任务的相关属性标签，具体的开发任务将循环同步采购订单行表tab，001～008账套的数据即可。
可以理解，ETL工具可以为datax、kettle或者Sqoop等，ETL工具的种类是用户自行选择的，本发明对ETL工具不做限定。
还可以理解，通过调用数据库界面接口获取集成任务的任务属性和功能属性时，接口可以为web service接口或者api接口等，获取集成任务的任务属性和功能属性的方式是可以选择的，本发明对获取集成任务的任务属性和功能属性的方式不做限定。
图4所示为本发明一实施例提供的一种数据集成数据管理平台的结构示意图。
如图4所示，数据集成管理平台100包括获取模块10、管理模块20、查询模块30和存储模块40。其中获取模块10配置为获取数据集成任务；管理模块20配置为对数据集成任务的任务属性打上任务属性标签；查询模块30配置为在功能库中查找与数据集成任务匹配的功能模块；管理模块20进一步配置为：对所述数据集成任务的功能属性打上功能属性标签；存储模块40，将带有任务属性和功能属性的所述数据集成任务存储在数据库中。在数据集成管理平台100上首先要搭建基础数据配置库，该基础数据配置库支持接口或者页面对基础数据进行维护。基础数据包括每个数据集成任务的任务属性(如任务描述、任务的类型、拥有者等等)，以及每个任务调用功能库具体功能的配置信息。其次需要搭建功能库，对不同的ETL工具特性进行打标签，同时对数据集成开发创建不同的功能模块，即基于多工具特点提供不同功能的黑盒接口，逐渐形成完善、统一、规范的功能库。基于上面两个库的建立，在进行数据集成开发时，需要将数据集成任务在基础数据配置库形成唯一的任务ID，并配置对应的任务属性标签和任务功能标签。该数据集成管理平台100的获取模块10获取到数据集成任务后，管理模块20对数据集成任务的任务属性打标签，并存储在基础数据配置库的存储模块40中，查询模块30根据数据集成任务任务属性在功能库中查找与该数据集成任务匹配的功能模块，如果能够查找到与该数据集成任务匹配的功能模块，则对数据集成任务的功能属性打标签，并存在功能库的存储模块40中；如果没有查找到与该数据集成任务匹配的功能模块，对所述功能库中的功能模块进行添加或调整后，对数据集成任务的功能属性打标签，并存在功能库的存储模块40中。管理模块20对数据集成任务的任务属性打标签可以是将数据集成任务的任务属性对应到基础数据配置库中的表格中，管理模块20对数据集成任务的功能属性打标签可以是将数据集成任务的功能属性对应到功能库中的表格中。通过对数据集成任务的任务属性和功能属性打标签后存储在数据库中，实现了数据集成任务的统一管理，使数据集成任务管理规范化、标准化。
图5所示为本发明一实施例提供的一种数据集成数据开发平台的结构示意图。图6所示为本发明一实施例提供的一种数据集成管理、开发平台的结构示意图。
如图5-图6所示，数据集成管理平台100包括调用模块50和开发模块60，其中调用模块50配置为调用数据集成任务的任务属性标签和功能属性标签；开发模块60，配置为基于所述任务属性标签和功能属性标签进行数据集成开发。在进行数据集成开发时，数据集成开发平台200可以直接调用数据集成任务的任务属性和功能属性，即可以通过接口或者消息队列中间件，将对数据集成任务的任务属性和功能属性传递到开发任务，因此可以减少多类型多任务的数据集成开发中相似功能的开发，且任务的调整修改可以通过修改标签直接完成，无需再介入具体的开发任务，另外后期也可对任务进行有效的管理和管控，从而减少了数据集成任务开发和维护时的工作量和成本。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
本实施例中一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述实施例中所述的数据集成管理和开发的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据集成管理及开发方法，其特征在于，包括：
获取数据集成任务；
对所述数据集成任务的任务属性打标签；
在功能库中查找与所述数据集成任务匹配的功能模块；
对所述数据集成任务的功能属性打标签；
将所述数据集成任务的任务属性和功能属性存储在数据库中。
2.根据权利要求1所述的数据集成管理及开发方法，其特征在于，在功能库中查找与所述数据集成任务匹配的功能模块，包括：
基于所述数据集成任务需要实现的功能和开发数据集成任务使用的工具类型，在功能库中查找是否有与所述数据集成任务匹配的功能模块；
若所述功能库中没有与所述数据集成任务匹配的功能模块，对所述功能库中的功能模块进行添加或调整。
3.根据权利要求1所述的数据集成管理及开发方法，其特征在于，所述任务属性包括：任务ID、任务类型、任务描述和拥有者中的至少一种。
4.根据权利要求1所述的数据集成管理及开发方法，其特征在于，所述功能属性包括源数据库和目标数据库链接、邮件提醒功能和日志收集功能中的至少一种。
5.根据权利要求1所述的数据集成管理及开发方法，其特征在于，对所述数据集成任务的任务属性打标签，包括：将所述数据集成任务的任务属性对应到数据库的表中。
6.根据权利要求1所述的数据集成管理及开发方法，其特征在于，对所述数据集成任务的功能属性打标签，包括：将所述数据集成任务的功能属性对应到数据库的表中。
7.根据权利要求1所述的一种数据集成管理及开发方法，其特征在于，在将所述数据集成任务的任务属性和功能属性存储在数据库中之后，还包括：
调用存储在数据库中的数据集成任务的任务属性和功能属性；
基于所述任务属性和所述功能属性进行数据集成开发。
8.根据权利要求7所述的数据集成管理及开发方法，其特征在于，包括：调用存储在数据库中的数据集成任务的任务属性和功能属性，包括：通过调用数据库底层存储过程、函数、界面以及接口中的至少一种获取所述数据集成任务的任务属性和功能属性。
9.一种数据集成管理及开发平台，其特征在于，包括：
获取模块，配置为获取数据集成任务；
管理模块，配置为对所述数据集成任务的任务属性打标签；
查询模块，配置为在功能库中查找与所述数据集成任务匹配的功能模块，其中所述管理模块进一步配置为：对所述数据集成任务的功能属性打标签；
存储模块，将所述数据集成任务的任务属性和功能属性存储在数据库中。
10.根据权利要求9所述的数据集成管理及开发平台，其特征在于，所述管理模块进一步配置为：
将所述数据集成任务的任务属性对应到数据库的表中；和/或
将所述数据集成任务的功能属性对应到数据库的表中。
11.根据权利要求9所述的数据集成管理及开发平台，其特征在于，还包括：
调用模块，配置为：调用数据集成任务的任务属性和功能属性；
开发模块，配置为：基于所述任务属性标签和功能属性标签进行数据集成开发。
12.根据权利要求11的数据集成管理及开发平台，其特征在于，所述调用模块进一步配置为：通过调用数据库底层存储过程、函数以及界面接口中的至少一种调用集成任务的任务属性和功能属性。
13.一种计算机可读存储器介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理执行时用以实现如权利要求1-8所述的方法。
14.一种电子装置，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求1-8所述的方法。
CN202010885086.6A 2020-08-28 2020-08-28 一种数据集成管理、开发方法及平台 Pending CN111966666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010885086.6A CN111966666A (zh) 2020-08-28 2020-08-28 一种数据集成管理、开发方法及平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010885086.6A CN111966666A (zh) 2020-08-28 2020-08-28 一种数据集成管理、开发方法及平台

Publications (1)

Publication Number Publication Date
CN111966666A true CN111966666A (zh) 2020-11-20

Family

ID=73399717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010885086.6A Pending CN111966666A (zh) 2020-08-28 2020-08-28 一种数据集成管理、开发方法及平台

Country Status (1)

Country Link
CN (1) CN111966666A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462579A (zh) * 2014-12-30 2015-03-25 浪潮电子信息产业股份有限公司 一种大数据管理平台的作业任务管理方法
US20150309769A1 (en) * 2014-04-24 2015-10-29 International Business Machines Corporation Task management integrated design environment for complex data integration applications
US20170060734A1 (en) * 2015-08-30 2017-03-02 International Business Machines Corporation Method and system for creating functional model of test cases
CN109816321A (zh) * 2018-11-27 2019-05-28 深圳市汇邦企业服务有限公司 一种服务管理方法、装置、设备和计算机可读存储介质
US20190303207A1 (en) * 2018-03-27 2019-10-03 Oracle Financial Services Software Limited Computerized control of execution pipelines

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309769A1 (en) * 2014-04-24 2015-10-29 International Business Machines Corporation Task management integrated design environment for complex data integration applications
CN104462579A (zh) * 2014-12-30 2015-03-25 浪潮电子信息产业股份有限公司 一种大数据管理平台的作业任务管理方法
US20170060734A1 (en) * 2015-08-30 2017-03-02 International Business Machines Corporation Method and system for creating functional model of test cases
US20190303207A1 (en) * 2018-03-27 2019-10-03 Oracle Financial Services Software Limited Computerized control of execution pipelines
CN109816321A (zh) * 2018-11-27 2019-05-28 深圳市汇邦企业服务有限公司 一种服务管理方法、装置、设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109902105B (zh) 用于微服务架构的数据查询系统、方法、设备及存储介质
US9026901B2 (en) Viewing annotations across multiple applications
CN111459985B (zh) 标识信息处理方法及装置
CN109388637A (zh) 数据仓库信息处理方法、装置、系统、介质
US20150161280A1 (en) Method and system for centralized issue tracking
CN111159177B (zh) 一种基于异构数据的数据融合方法、装置、设备及介质
CN108255915B (zh) 一种文件管理方法、装置及机器可读存储介质
JP2008511936A (ja) データ・システムにおける意味識別のための方法およびシステム
US11068496B2 (en) System and method for data management
CN111125213A (zh) 数据采集的方法、装置及其系统
US20080235045A1 (en) Workflow management system
CN114691782A (zh) 数据库表增量同步方法、装置及存储介质
KR20210008545A (ko) 보고서 자동 생성 기반의 업무 프로세스 관리 시스템 제공 방법
CN104699477A (zh) 基于近场通信的数据传送
CN112199403A (zh) 待办事项提醒方法、装置、设备及存储介质
CN115905371A (zh) 数据趋势分析方法、装置、设备及计算机可读存储介质
CN111966666A (zh) 一种数据集成管理、开发方法及平台
CN115604343A (zh) 一种数据传输方法、系统、电子设备和存储介质
CN115168474A (zh) 一种基于大数据模型的物联中台系统搭建方法
AU2020220125A1 (en) System and method of automated extraction and visualization of knowledge about enterprise technology, personnel and business functions
US20240273171A1 (en) Universal system for extracting data
JP7428599B2 (ja) システム構築支援装置およびその方法
JP5157551B2 (ja) オブジェクト連携システム、オブジェクト連携方法およびプログラム
CN106970971B (zh) 改进型中心锚链模型的描述方法
CN114547173A (zh) 一种数据仓库构建方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination