CN112597166A - 数据流任务管理方法、系统、计算机设备和可读存储介质 - Google Patents

数据流任务管理方法、系统、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN112597166A
CN112597166A CN202011582392.9A CN202011582392A CN112597166A CN 112597166 A CN112597166 A CN 112597166A CN 202011582392 A CN202011582392 A CN 202011582392A CN 112597166 A CN112597166 A CN 112597166A
Authority
CN
China
Prior art keywords
task
data
state
updating
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011582392.9A
Other languages
English (en)
Inventor
钱晨涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enyike Beijing Data Technology Co ltd
Original Assignee
Enyike Beijing Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enyike Beijing Data Technology Co ltd filed Critical Enyike Beijing Data Technology Co ltd
Priority to CN202011582392.9A priority Critical patent/CN112597166A/zh
Publication of CN112597166A publication Critical patent/CN112597166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种数据流任务管理方法、系统、计算机设备和计算机可读存储介质，其中，该数据流任务管理方法包括：任务状态获取步骤，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态，具体的，所述业务系统进行数据接入任务、数据ETL任务时向所述流程管理服务报告任务状态；任务状态维护步骤，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。通过本申请，利用任务状态表记录数据任务在数据接入、处理全流程上服务的状态，且逻辑易于复用，具有优异的扩展性。

Description

数据流任务管理方法、系统、计算机设备和可读存储介质
技术领域
本申请涉及互联网技术领域，特别是涉及数据流任务管理方法、系统、计算机设备和计算机可读存储介质。
背景技术
DMP(Data-Management Platform)数据管理平台，是把分散的多方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分结果推向现有的互动营销环境中的系统平台。按照相关属性，DMP主要分为三类：原数据提供商、原媒体平台升级为技术提供商和纯粹的DMP平台。
我司的营销数据中台BDH作为DMP产品，为品牌主管理来自各个数据源的大量级数据，并且针对各个数据源的特点及不同业务场景，经过一系列加工处理的环节，最终把数据存储下来，并支持后续应用。因此，我们面临的一个亟待解决的问题，即需要能够监控数据接入、处理全流程上服务的可用性、数据的完整性，并在发生问题时，能够迅速定位追踪上下游受影响的流程。
发明内容
本申请实施例提供了一种数据流任务管理方法、系统、计算机设备和计算机可读存储介质，利用任务状态表记录数据任务在数据接入、处理全流程上服务的状态，且逻辑易于复用，具有优异的扩展性。
第一方面，本申请实施例提供了一种数据流任务管理方法，包括：
任务状态获取步骤，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态，具体的，所述业务系统进行数据接入任务、数据ETL任务时向所述流程管理服务报告任务状态，具体的，ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取extract、转换transform、加载load至目的端的过程；
任务状态维护步骤，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；
其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。可选的，所述任务类型包括但不限于数据接入、数据ETL；所述任务状态包括但不限于成功、失败、进行中。
基于上述步骤，通过一流程管理服务维护任务状态表记录每一份数据，通过为每一份数据设置唯一标识，即为任务ID，并基于该任务ID记录数据在数据接入、数据ETL环节的状态，监控所述任务状态表的任务状态，便于运营人员监控任务细节，提升运营管理效率。基于此，针对长流程、多环节的数据处理任务进行监控，基于统一化的任务ID记录各环节任务处理状态，以便于确保业务层面服务的可用性及数据完整性。另外，当遇到问题时，基于前后一致的任务ID可以定位追踪单一数据源在各环节上的状态。
在其中一些实施例中，所述任务状态维护步骤进一步包括：
记录新增步骤，用于当所述业务系统开始数据接入任务时，所述任务状态表中新增一条记录并设置任务状态，具体的，设置任务ID、设置任务类型为数据接入、设置任务状态为进行中、设置任务创建时间；
记录更新步骤，用于当所述数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID记录。
在其中一些实施例中，所述记录更新步骤进一步包括：
数据接入状态更新步骤，用于当所述业务系统数据接入任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；
任务触发更新步骤，用于当所述业务系统触发数据ETL任务时，更新所述任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；
数据ETL状态更新步骤，用于当所述数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。
基于上述步骤，通过所述任务状态表为每一份数据记录设置唯一任务ID，并基于所述任务ID记录数据在数据接入、数据ETL环节的相应状态，通过监控数据表中所述任务ID的任务状态，即可实现对全流程服务状态的监控。
在其中一些实施例中，所述流程管理服务设置一查询接口，所述查询接口用于连接外部服务接口，通过所述查询接口其他服务可在状态表中根据所述任务ID查询数据任务的最近状态及文件大小等详细信息。
第二方面，本申请实施例提供了一种数据流任务管理系统，包括：
任务状态获取模块，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态，具体的，所述业务系统进行数据接入任务、数据ETL任务时向所述流程管理服务报告任务状态；
任务状态维护模块，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；
其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。可选的，所述任务类型包括但不限于数据接入、数据ETL；所述任务状态包括但不限于成功、失败、进行中。
基于上述模块，通过一流程管理服务维护任务状态表记录每一份数据，通过为每一份数据设置唯一标识，即为任务ID，并基于该任务ID记录数据在数据接入、数据ETL环节的状态，监控所述任务状态表的任务状态，便于运营人员监控任务细节，提升运营管理效率。基于此，针对长流程、多环节的数据处理任务进行监控，基于统一化的任务ID记录各环节任务处理状态，以便于确保业务层面服务的可用性及数据完整性。另外，当遇到问题时，基于前后一致的任务ID可以定位追踪单一数据源在各环节上的状态。
在其中一些实施例中，所述任务状态维护模块进一步包括：
记录新增模块，用于当所述业务系统开始数据接入任务时，所述任务状态表中新增一条记录并设置任务状态，具体的，设置任务ID、设置任务类型为数据接入、设置任务状态为进行中、设置任务创建时间；
记录更新模块，用于当所述数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID记录。
在其中一些实施例中，所述记录更新模块进一步包括：
数据接入状态更新模块，用于当所述业务系统数据接入任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；
任务触发更新模块，用于当所述业务系统触发数据ETL任务时，更新所述任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；
数据ETL状态更新模块，用于当所述数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。
基于上述模块，通过所述任务状态表为每一份数据记录设置唯一任务ID，并基于所述任务ID记录数据在数据接入、数据ETL环节的相应状态，通过监控数据表中所述任务ID的任务状态，即可实现对全流程服务状态的监控。
在其中一些实施例中，所述流程管理服务设置一查询接口，所述查询接口用于连接外部服务接口，通过所述查询接口其他服务可在状态表中根据所述任务ID查询数据任务的最近状态及文件大小等详细信息。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的数据流任务管理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的数据流任务管理方法。
相比于相关技术，本申请实施例提供的数据流任务管理方法、系统、计算机设备和计算机可读存储介质，通过流程管理服务所维护的任务状态数据表，可以记录数据任务在各环节的详细状态，便于运营人员监控任务细节，不用逐一查看业务系统服务的状态，提升运营效率。另外，流程管理服务通过暴露接口，可供其他外部服务查询、获取任务状态信息，可以用于各种监控场景。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的数据流任务管理方法的流程图；
图2是根据本申请实施例的数据流任务管理方法步骤S22的分步骤流程图；
图3是根据本申请优选实施例的数据流任务管理方法的流程图；
图4是根据本申请实施例的数据流任务管理系统的结构框图。
附图说明：
1、任务状态获取模块；2、任务状态维护模块；
21、记录新增模块；22、记录更新模块；
221、数据接入状态更新模块；222、任务触发更新模块；
223、数据ETL状态更新模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
考虑到业务场景中，接入BDH系统的数据源需要经过两个处理环节：数据接入、数据ETL，为了实现的对数据全流程的监控，本申请实施例提出一种基于独立运转的流程管理服务的数据流任务管理方法及系统，以实现全流程服务状态监控。
图1-2是根据本申请实施例的数据流任务管理方法的流程图，参考图1-2所示，该流程包括如下步骤：
任务状态获取步骤S1，用于通过一独立的流程管理服务连接一业务系统并实时获取业务系统中数据处理的任务状态，具体的，业务系统进行数据接入任务、数据ETL任务时向流程管理服务报告任务状态；
任务状态维护步骤S2，用于流程管理服务通过一任务状态表记录任务状态并实时更新任务状态；
其中，任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。可选的，任务类型包括但不限于数据接入、数据ETL；任务状态包括但不限于成功、失败、进行中。
基于上述步骤，通过一流程管理服务维护任务状态表记录每一份数据，通过为每一份数据设置唯一标识，即为任务ID，并基于该任务ID记录数据在数据接入、数据ETL环节的状态，监控任务状态表的任务状态，便于运营人员监控任务细节，提升运营管理效率。基于此，针对长流程、多环节的数据处理任务进行监控，基于统一化的任务ID记录各环节任务处理状态，以便于确保业务层面服务的可用性及数据完整性。另外，当遇到问题时，基于前后一致的任务ID可以定位追踪单一数据源在各环节上的状态。
在其中一些实施例中，任务状态维护步骤S2进一步包括：
记录新增步骤S21，用于当业务系统开始数据接入任务时，任务状态表中新增一条记录并设置任务状态，具体的，设置任务ID、设置任务类型为数据接入、设置任务状态为进行中、设置任务创建时间；
记录更新步骤S22，用于当数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新任务状态表中对应任务ID记录。
在其中一些实施例中，记录更新步骤S22进一步包括：
数据接入状态更新步骤S221，用于当业务系统数据接入任务成功或失败时，更新任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；
任务触发更新步骤S222，用于当业务系统触发数据ETL任务时，更新任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；
数据ETL状态更新步骤S223，用于当数据ETL任务成功或失败时，更新任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。
基于上述步骤，通过任务状态表为每一份数据记录设置唯一任务ID，并基于任务ID记录数据在数据接入、数据ETL环节的相应状态，通过监控数据表中任务ID的任务状态，即可实现对全流程服务状态的监控。
在其中一些实施例中，该流程管理服务设置一查询接口，查询接口用于连接外部服务接口，通过查询接口其他服务可在状态表中根据任务ID查询数据任务的最近状态及文件大小等详细信息，可选的，如监控报警服务，基于上述设置，可供其他如监控报警服务的外部服务获取任务状态信息，适用于各种监控场景。
下面通过优选实施例对本申请实施例进行描述和说明。
图3是根据本申请优选实施例的数据流任务管理方法的流程图，本优选实施例的业务系统为我司的BDH系统，该业务系统中数据接入任务开始、结束、状态变更时，均需向流程管理服务报告状态，并由流程管理服务写入任务状态表中，参考图3所示，该数据流任务管理方法包括如下步骤：
步骤S301，当接收到业务系统开始数据接入任务的状态报告时，流程管理服务向任务状态表中插入一条新纪录，该记录中包括：任务ID、任务类型为数据接入，任务状态为进行中，创建时间可为XX年XX月XX日及具体时间，预先设置更新时间，以便任务状态表更新时设置更新时间；
步骤S302，当接收到业务系统数据接入任务失败的状态报告时，流程管理服务更新任务状态表中对应任务ID的记录，将任务状态更新为失败，并设置更新时间；
步骤S303，当接收到业务系统数据接入任务成功的状态报告时，即为业务系统发送完成消息至流程管理服务，流程管理服务更新状态表对应任务ID的记录，将任务状态更新为成功，并设置更新时间；
步骤S304，当接收到业务系统触发数据ETL任务的状态报告时，流程管理服务更新状态表对应任务ID的记录，将任务类型更新为数据ETL，将任务状态更新为进行中，并设置更新时间；
步骤S305，当接收到业务系统数据ETL任务失败的状态报告时，流程管理服务，流程管理服务更新任务状态表中对应任务ID的记录，将任务状态更新为失败，并设置更新时间；
步骤S306，当接收到业务系统数据ETL任务成功的状态报告时，流程管理服务，即为业务系统发送完成消息至流程管理服务，流程管理服务更新状态表对应任务ID的记录，将任务状态更新为成功，并设置更新时间。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种数据流任务管理系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本申请实施例的数据流任务管理系统的结构框图，参考图4所示，该系统包括：
任务状态获取模块1，用于通过一独立的流程管理服务连接一业务系统并实时获取业务系统中数据处理的任务状态，具体的，业务系统进行数据接入任务、数据ETL任务时向流程管理服务报告任务状态；
任务状态维护模块2，用于流程管理服务通过一任务状态表记录任务状态并实时更新任务状态；其中，任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。可选的，任务类型包括但不限于数据接入、数据ETL；任务状态包括但不限于成功、失败、进行中。
其中，任务状态维护模块2进一步包括：记录新增模块21，用于当业务系统开始数据接入任务时，任务状态表中新增一条记录并设置任务状态，具体的，设置任务ID、设置任务类型为数据接入、设置任务状态为进行中、设置任务创建时间；记录更新模块22，用于当数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新任务状态表中对应任务ID记录。
具体的，记录更新模块22进一步包括：数据接入状态更新模块221，用于当业务系统数据接入任务成功或失败时，更新任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；任务触发更新模块222，用于当业务系统触发数据ETL任务时，更新任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；数据ETL状态更新模块223，用于当数据ETL任务成功或失败时，更新任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。基于上述模块，通过任务状态表为每一份数据记录设置唯一任务ID，并基于任务ID记录数据在数据接入、数据ETL环节的相应状态，通过监控数据表中任务ID的任务状态，即可实现对全流程服务状态的监控。
另外，流程管理服务还设置一查询接口，查询接口用于连接外部服务接口，通过查询接口其他服务可在状态表中根据任务ID查询数据任务的最近状态及文件大小等详细信息，可选的，如监控报警服务，基于上述设置，可供其他如监控报警服务的外部服务获取任务状态信息，适用于各种监控场景。
基于上述结构的任务状态表的数据结构设计如下：
Figure BDA0002865426340000091
基于上述模块，通过一流程管理服务维护任务状态表记录每一份数据，通过为每一份数据设置唯一标识，即为任务ID，并基于该任务ID记录数据在数据接入、数据ETL环节的状态，监控任务状态表的任务状态，便于运营人员监控任务细节，提升运营管理效率。基于此，针对长流程、多环节的数据处理任务进行监控，基于统一化的任务ID记录各环节任务处理状态，以便于确保业务层面服务的可用性及数据完整性。另外，当遇到问题时，基于前后一致的任务ID可以定位追踪单一数据源在各环节上的状态。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
基于上述实施例的流程管理服务逻辑易于复用，扩展性佳，适用的应用场景不仅限于BDH业务场景下的数据接入、数据ETL任务管理，对于处理流程长、多环节且有先后依赖关系的业务场景，只要对本申请实施例中的流程管理服务稍加改造即可适用。
另外，结合图1描述的本申请实施例数据流任务管理方法可以由计算机设备来实现。计算机设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性(Non-Volatile)存储器。在特定实施例中，存储器包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random AccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种数据流任务管理方法。
该计算机设备可以基于获取到的数据处理的任务状态，执行本申请实施例中的数据流任务管理方法，从而实现结合图1描述的数据流任务管理方法。
另外，结合上述实施例中的数据流任务管理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据流任务管理方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据流任务管理方法，其特征在于，包括：
任务状态获取步骤，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态；
任务状态维护步骤，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；
其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。
2.根据权利要求1所述的数据流任务管理方法，其特征在于，所述任务状态维护步骤进一步包括：
记录新增步骤，用于当所述业务系统开始数据接入任务时，所述任务状态表中新增一条记录并设置任务状态；
记录更新步骤，用于当所述数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID记录。
3.根据权利要求2所述的数据流任务管理方法，其特征在于，所述记录更新步骤进一步包括：
数据接入状态更新步骤，用于当所述业务系统数据接入任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；
任务触发更新步骤，用于当所述业务系统触发数据ETL任务时，更新所述任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；
数据ETL状态更新步骤，用于当所述数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。
4.根据权利要求1至3中任一项所述的数据流任务管理方法，其特征在于，所述流程管理服务设置一查询接口，所述查询接口用于连接外部服务接口。
5.一种数据流任务管理系统，其特征在于，包括：
任务状态获取模块，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态；
任务状态维护模块，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；
其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。
6.根据权利要求5所述的数据流任务管理系统，其特征在于，所述任务状态维护模块进一步包括：
记录新增模块，用于当所述业务系统开始数据接入任务时，所述任务状态表中新增一条记录并设置任务状态；
记录更新模块，用于当所述数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID记录。
7.根据权利要求6所述的数据流任务管理系统，其特征在于，所述记录更新模块进一步包括：
数据接入状态更新模块，用于当所述业务系统数据接入任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；
任务触发更新模块，用于当所述业务系统触发数据ETL任务时，更新所述任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；
数据ETL状态更新模块，用于当所述数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。
8.根据权利要求5至7中任一项所述的数据流任务管理系统，其特征在于，所述流程管理服务设置一查询接口，所述查询接口用于连接外部服务接口。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的数据流任务管理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的数据流任务管理方法。
CN202011582392.9A 2020-12-28 2020-12-28 数据流任务管理方法、系统、计算机设备和可读存储介质 Pending CN112597166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011582392.9A CN112597166A (zh) 2020-12-28 2020-12-28 数据流任务管理方法、系统、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011582392.9A CN112597166A (zh) 2020-12-28 2020-12-28 数据流任务管理方法、系统、计算机设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN112597166A true CN112597166A (zh) 2021-04-02

Family

ID=75203664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011582392.9A Pending CN112597166A (zh) 2020-12-28 2020-12-28 数据流任务管理方法、系统、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN112597166A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377611A (zh) * 2021-06-07 2021-09-10 广发银行股份有限公司 一种业务处理流程监控方法、系统、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050187991A1 (en) * 2004-02-25 2005-08-25 Wilms Paul F. Dynamically capturing data warehouse population activities for analysis, archival, and mining
CN107665234A (zh) * 2017-07-25 2018-02-06 平安科技（深圳）有限公司 业务处理方法、装置、服务器和存储介质
CN109165106A (zh) * 2018-08-24 2019-01-08 深圳乐信软件技术有限公司 业务处理方法、装置、设备、存储介质及流程运行系统
CN109634761A (zh) * 2018-12-17 2019-04-16 深圳乐信软件技术有限公司 一种系统状态流转方法、装置、计算机设备及存储介质
CN111694888A (zh) * 2020-06-12 2020-09-22 谷云科技(广州)有限责任公司 基于微服务架构的分布式etl数据交换系统及方法
CN111768097A (zh) * 2020-06-28 2020-10-13 京东数字科技控股有限公司 任务执行状态监控方法、装置、系统及存储介质
CN111858234A (zh) * 2020-06-19 2020-10-30 浪潮电子信息产业股份有限公司 一种任务执行方法、装置、设备、介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050187991A1 (en) * 2004-02-25 2005-08-25 Wilms Paul F. Dynamically capturing data warehouse population activities for analysis, archival, and mining
CN107665234A (zh) * 2017-07-25 2018-02-06 平安科技（深圳）有限公司 业务处理方法、装置、服务器和存储介质
CN109165106A (zh) * 2018-08-24 2019-01-08 深圳乐信软件技术有限公司 业务处理方法、装置、设备、存储介质及流程运行系统
CN109634761A (zh) * 2018-12-17 2019-04-16 深圳乐信软件技术有限公司 一种系统状态流转方法、装置、计算机设备及存储介质
CN111694888A (zh) * 2020-06-12 2020-09-22 谷云科技(广州)有限责任公司 基于微服务架构的分布式etl数据交换系统及方法
CN111858234A (zh) * 2020-06-19 2020-10-30 浪潮电子信息产业股份有限公司 一种任务执行方法、装置、设备、介质
CN111768097A (zh) * 2020-06-28 2020-10-13 京东数字科技控股有限公司 任务执行状态监控方法、装置、系统及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377611A (zh) * 2021-06-07 2021-09-10 广发银行股份有限公司 一种业务处理流程监控方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106713487B (zh) 数据的同步方法和装置
CN108153849B (zh) 一种数据库表切分方法、装置、系统和介质
US7734585B2 (en) Updateable fan-out replication with reconfigurable master association
CN113111129B (zh) 数据同步方法、装置、设备及存储介质
US20150213100A1 (en) Data synchronization method and system
US11223680B2 (en) Computer servers for datacenter management
CN103152390B (zh) 分布式存储系统的节点配置方法、装置、节点及系统
CN112506870B (zh) 数据仓库增量更新方法、装置及计算机设备
CN106657167B (zh) 管理服务器、服务器集群、以及管理方法
US20130325932A1 (en) Electronic device and method for storing distributed documents
CN106452836B (zh) 主节点设置方法及装置
CN113596010B (zh) 一种数据处理方法、装置、节点设备及计算机存储介质
WO2010081768A1 (en) Improving scale between consumer systems and producer systems of resource monitoring data
CN108052649A (zh) 一种分布式文件系统的数据管理方法及其系统
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
CN112612850A (zh) 数据同步方法及装置
CN108271420B (zh) 管理文件的方法、文件系统和服务器系统
CN113590049B (zh) 一种存储卷跨节点克隆的方法、装置、设备及可读介质
US11080909B2 (en) Image layer processing method and computing device
CN112597166A (zh) 数据流任务管理方法、系统、计算机设备和可读存储介质
CN114238703A (zh) 事件流程编排方法、装置及应用
CN111176904B (zh) 一种私有云架构下的数据备份的方法、系统、设备及介质
CN113419901A (zh) 数据灾备方法、装置及服务器
CN114880717A (zh) 数据归档方法及装置
CN115905115A (zh) 文件存储方法、读取方法及装置、电子设备与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination