CN116467058A - 离线数据延迟的处理的方法 - Google Patents
离线数据延迟的处理的方法 Download PDFInfo
- Publication number
- CN116467058A CN116467058A CN202310417241.5A CN202310417241A CN116467058A CN 116467058 A CN116467058 A CN 116467058A CN 202310417241 A CN202310417241 A CN 202310417241A CN 116467058 A CN116467058 A CN 116467058A
- Authority
- CN
- China
- Prior art keywords
- task
- time
- data
- delay
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012545 processing Methods 0.000 title claims description 19
- 230000001419 dependent effect Effects 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 15
- 238000011144 upstream manufacturing Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种离线数据延迟的处理方法,属于大数据技术领域。该方法在调用得到任务的任务运行数据后,确定任务的所有上层依赖任务的运行结束时间;在所有运行结束时间中确定时间最晚的运行结束时间,并确定时间最晚的运行结束时间对应的任务为关键节点;在确定得到关键节点后,以该关键节点为基准,再次进行上层依赖任务的运行时间查阅,得到时间最晚的运行结束时间对应的任务为下一个关键节点,以此类推,直至最后的关键节点没有长层依赖任务,最后确定运行结束时间晚于运行技术时间均值的关键点及对应的上层依赖任务作为延迟信息,以使用户根据该延迟信息进行查阅和维护。
Description
技术领域
本发明涉及大数据技术领域,具体涉及一种离线数据延迟的处理。
背景技术
离线数据开发是大数据产业中重要的一环,离线数据开发的主要任务就是周期性的将实时产生的数据进行清洗、计算、落地,为数据大屏、BI报表提供数据支撑,便于用户快速发现生产问题、辅助业务决策。当前各大企业都在积极建设自己的“离线数据开发平台”,供专业的数据开发人员高效开发离线数据处理任务。
数据开发人员在进行离线数据开发过程中,需要对接上游业务系统通过数据同步方式周期性抽取过来的已存放在数据仓库中的DW层(Data Warehouse,数据仓库层)或DIM层(Dimension,公共维度汇总层)数据,接着基于对这些上游基础数据周期性的清洗、汇总产生轻度汇总数据,并将此类数据存入数据仓库中的DM层,再基于对这些宽表数据周期性进行关联计算,产生业务指标数据,并将数据存放在数据仓库中的ST层(数据应用层)。
在一个完整的离线数据处理链路中,各个环节任务运行的时效性对于整个离线数据的开发就显示至关重要,因为整个离线数据处理链路是周期性运行的,链路内部各个环节又依赖上游环节执行完成后才能开始运行,一旦中间某个某个环节的数据处理效率下降且未按预定时间处理完成,将会直接导致后续环节任务的堆积,从而引发下游的报表将不能有效的展示出正确的数据。当发生此类问题时,就需要离线数据开发人员快速分析并排查确认引起该任务处理延迟的关键节点和原因,有针对性的进行处理,保障每个环节任务持续地稳定运行。
但是,相关技术中并没有一个方法可以快速查找数据延迟原因的技术方案。因此,如何确定离线数据延迟的原因是现有技术中亟待解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种离线数据延迟的处理方法。
为实现以上目的,本发明采用如下技术方案:
一种离线数据延迟的处理方法,包括:
基于第一时间信息,在数据库中获取任务运行数据的当前运行时间和对应的截止时间的差值大于差值阈值的任务运行数据,作为目标任务运行数据;
确定所述目标任务运行数据对应的任务的所有上层依赖任务,并获取所述所有上层依赖任务的运行结束时间;
在所有运行结束时间中确定时间最晚的运行结束时间,并确定所述时间最晚的运行结束时间对应的任务为关键节点;
依次将当前的所述关键节点作为所述目标任务运行数据对应的任务,轮询确定下一个关键节点,直至最后确定的关键节点没有长层依赖任务;
计算所有所述关键节点的运行结束时间均值,确定运行结束时间晚于所述均值的所述关键节点为延迟关键节点,并将所述延迟关键节点及对应的上层依赖任务作为延迟信息。
可选的,还包括:
基于第二时间信息,在数据库中获取每个任务的任务运行数据,所述任务运行数据包括与所述任务相对应的时间信息,作为当前运行时间;
通过用户设置的截止时间,计算每个任务的当前运行时间和对应的截止时间的差值;
在任一所述差值大于差值阈值时,发送延迟警告,以使用户对延迟原因进行排查和处理;
将差值大于差值阈值的差值对应的任务运行数据存储入数据库中。
可选的,还包括:
响应于截止时间设置指令,设置所述截止时间;
其中,每个任务对应一个截止时间。
可选的,第一时间信息,包括:预先设定的时刻或预设频率。
可选的,所述计算所有所述关键节点的运行结束时间均值,确定运行结束时间晚于所述均值的所述关键节点为延迟关键节点,包括:
按照所述关键节点的确定顺序,将所有所述关键节点组成任务链路;
计算所有所述关键节点的运行结束时间均值,根据所述任务链路确定运行结束时间晚于所述均值的所述关键节点为延迟关键节点。
可选的,所述差值阈值为0。
本发明提供的技术方案至少具备如下有益效果:
预先计算任务运行数据的当前运行时间和截止时间的差值,确定差值大于差值阈值的任务;将差值大于差值阈值的任务存在数据库中,以供调用;在调用得到任务的任务运行数据后,确定任务的所有上层依赖任务的运行结束时间;在所有运行结束时间中确定时间最晚的运行结束时间,并确定时间最晚的运行结束时间对应的任务为关键节点;在确定得到关键节点后,以该关键节点为基准,再次进行上层依赖任务的运行时间查阅,得到时间最晚的运行结束时间对应的任务为下一个关键节点,以此类推,直至最后的关键节点没有长层依赖任务,最后确定运行结束时间晚于运行技术时间均值的关键点及对应的上层依赖任务作为延迟信息,以使用户根据该延迟信息进行查阅和维护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种离线数据延迟的处理方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
当前业界用于“离线数据开发”的“离线数据开发平台”,主要分为两类:(1)第三方企业提供的专业化“离线数据开发平台”,数据都存放在第三方企业,按数据存储量、查询流量、资源配额等付费使用其“离线数据”开发能力;离线数据的清洗、计算的时效性往往与付费、数据量成正比。但是,该离线数据开发平台由于需要第三方企业介入,其数据安全性较差、资金投入较大,因而性价比较低。(2)企业自建的“离线数据开发平台”,拥有一定技术实力的企业,一般会选择自建“离线数据开发平台”来进行“离线数据开发”。但是,随着数据量的日积月累,想要提升离线数据的清洗、计算等各个环节的时效性,提升下游数据报表的稳定性与准确性,提高任务异常排查效率,越来越依赖于堆砌人力来解决,导致了企业的投入成本较为增加。
在企业自建离线数据开发平台的基础上,数据开发人员在进行离线数据开发过程中,需要对接上游业务系统通过数据同步方式周期性抽取过来的已存放在数据仓库中的DW层(Data Warehouse,数据仓库层)或DIM层(Dimension,公共维度汇总层)数据,接着基于对这些上游基础数据周期性的清洗、汇总产生轻度汇总数据,并将此类数据存入数据仓库中的DM层,再基于对这些宽表数据周期性进行关联计算,产生业务指标数据,并将数据存放在数据仓库中的ST层(数据应用层)。
在一个完整的离线数据处理链路中,各个环节任务运行的时效性对于整个离线数据的开发就显示至关重要,因为整个离线数据处理链路是周期性运行的,链路内部各个环节又依赖上游环节执行完成后才能开始运行,一旦中间某个某个环节的数据处理效率下降且未按预定时间处理完成,将会直接导致后续环节任务的堆积,从而引发下游的报表将不能有效的展示出正确的数据。当发生此类问题时,就需要离线数据开发人员快速分析并排查确认引起该任务处理延迟的关键节点和原因,有针对性的进行处理,保障每个环节任务持续地稳定运行。
但是,相关技术中并没有一个方法可以快速查找数据延迟原因的技术方案。因此,如何确定离线数据延迟的原因是现有技术中亟待解决的技术问题。
基于此,本发明实施例提供了一种离线数据延迟的处理方法。
图1是本发明一实施例提供的一种离线数据延迟的处理方法的流程示意图,请参阅图1,本实施例可以包括以下步骤:
步骤S11、基于第一时间信息,在数据库中获取任务运行数据的当前运行时间和对应的截止时间的差值大于差值阈值的任务运行数据,作为目标任务运行数据;
步骤S12、确定目标任务运行数据对应的任务的所有上层依赖任务,并获取所有上层依赖任务的运行结束时间;
步骤S13、在所有运行结束时间中确定时间最晚的运行结束时间,并确定时间最晚的运行结束时间对应的任务为关键节点;
步骤S14、依次将当前的关键节点作为目标任务运行数据对应的任务,轮询确定下一个关键节点,直至最后确定的关键节点没有长层依赖任务;
步骤S15、计算所有关键节点的运行结束时间均值,确定运行结束时间晚于均值的关键节点为延迟关键节点,并将延迟关键节点及对应的上层依赖任务作为延迟信息。
在一些实施例中,可选的,第一时间信息,包括:预先设定的时刻或预设频率。
在一个具体的实现过程中,可以根据第一时间信息(例如,可以开启一个Java定时任务),在数据库中查找当前运行时间和对应的截止时间的差值大于差值阈值的任务运行数据,作为目标任务运行数据。在确定到目标任务运行数据后,确定该任务所有的上层依赖任务,并确定所有上层依赖任务的运行结束时间,以时间最晚的运行结束时间对应的任务为关键节点。在该关键节点的基础上,再次确定该任务所有的上层依赖任务,并确定所有上层依赖任务的运行结束时间,以时间最晚的运行结束时间对应的任务为下一个关键节点。以此类推,直到最后一个关键节点没有上层依赖任务后,计算所有所述关键节点的运行结束时间均值,确定运行结束时间晚于所述均值的所述关键节点为延迟关键节点,并将所述延迟关键节点及对应的上层依赖任务作为延迟信息。用户可以根据该延迟信息,准确找到延迟原因,并进行维护。
在一些实施例中,可选的,还包括:
基于第二时间信息,在数据库中获取每个任务的任务运行数据,任务运行数据包括与任务相对应的时间信息,作为当前运行时间;
通过用户设置的截止时间,计算每个任务的当前运行时间和对应的截止时间的差值;
在任一差值大于差值阈值时,发送延迟警告,以使用户对延迟原因进行排查和处理;
将差值大于差值阈值的差值对应的任务运行数据存储入数据库中。
其中,第二时间信息可以为预先设定的时刻或预设频率;截止时间可以由用户设置。
在一些实施例中,可选的,还包括:响应于截止时间设置指令,设置截止时间;其中,每个任务对应一个截止时间。用户可以根据需求进行设置。
在一些实施例中,可选的,计算所有关键节点的运行结束时间均值,确定运行结束时间晚于均值的关键节点为延迟关键节点,包括:
按照关键节点的确定顺序,将所有关键节点组成任务链路;
计算所有关键节点的运行结束时间均值,根据任务链路确定运行结束时间晚于均值的关键节点为延迟关键节点。
在一些实施例中,可选的,差值阈值为0。
具体的,在数据库中获取每个任务的任务运行数据(如,当前运行时间),计算每个任务的当前运行时间和对应的截止时间的差值;在任一所述差值大于差值阈值时,发送延迟警告,以使用户对延迟原因进行排查和处理;将差值大于差值阈值的差值对应的任务运行数据存储入数据库中。
例如,可以开启一个Java定时任务,每分钟定时扫描数据库中记录的任务运行数据,获取任务当前运行的时间;对比用户设置的deadline时间,计算延迟时间=【任务当前运行的时间】-【deadline时间】;当【延迟时间】>0时,将该部分信息记录到数据库中,并告警通知用户进行原因排查、问题处理等。
例如,可以开启一个Java定时任务,每分钟定时扫描数据库中记录的任务运行数据,获取延迟时间大于0的任务C;基于延迟任务C,查询出该任务所有上层依赖任务的运行结束时间,对比找出时间最大的那个任务A,记录为关键节点;再基于任务A,查询出该任务所有上层依赖任务的运行结束时间,对比找出时间最大的那个任务B,记录为关键节点;以此循环直至上游没有任务为止;所有关键节点组成的任务链路即【任务最晚执行完成链路】,用户可基于该链路轻,再对比这些任务的【历史结束时间均值】,即可轻松获知影响任务延迟的上游关键节点任务。
可以理解的是,采用本实施例提供的技术方案,预先计算任务运行数据的当前运行时间和截止时间的差值,确定差值大于差值阈值的任务;将差值大于差值阈值的任务存在数据库中,以供调用;在调用得到任务的任务运行数据后,确定任务的所有上层依赖任务的运行结束时间;在所有运行结束时间中确定时间最晚的运行结束时间,并确定时间最晚的运行结束时间对应的任务为关键节点;在确定得到关键节点后,以该关键节点为基准,再次进行上层依赖任务的运行时间查阅,得到时间最晚的运行结束时间对应的任务为下一个关键节点,以此类推,直至最后的关键节点没有长层依赖任务,最后确定运行结束时间晚于运行技术时间均值的关键点及对应的上层依赖任务作为延迟信息,以使用户根据该延迟信心进行查阅和维护。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种离线数据延迟的处理方法,其特征在于,包括:
基于第一时间信息,在数据库中获取任务运行数据的当前运行时间和对应的截止时间的差值大于差值阈值的任务运行数据,作为目标任务运行数据;
确定所述目标任务运行数据对应的任务的所有上层依赖任务,并获取所述所有上层依赖任务的运行结束时间;
在所有运行结束时间中确定时间最晚的运行结束时间,并确定所述时间最晚的运行结束时间对应的任务为关键节点;
依次将当前的所述关键节点作为所述目标任务运行数据对应的任务,轮询确定下一个关键节点,直至最后确定的关键节点没有长层依赖任务;
计算所有所述关键节点的运行结束时间均值,确定运行结束时间晚于所述均值的所述关键节点为延迟关键节点,并将所述延迟关键节点及对应的上层依赖任务作为延迟信息。
2.根据权利要求1所述的方法,其特征在于,还包括:
基于第二时间信息,在数据库中获取每个任务的任务运行数据,所述任务运行数据包括与所述任务相对应的时间信息,作为当前运行时间;
通过用户设置的截止时间,计算每个任务的当前运行时间和对应的截止时间的差值;
在任一所述差值大于差值阈值时,发送延迟警告,以使用户对延迟原因进行排查和处理;
将差值大于差值阈值的差值对应的任务运行数据存储入数据库中。
3.根据权利要求1所述的方法,其特征在于,还包括:
响应于截止时间设置指令,设置所述截止时间;
其中,每个任务对应一个截止时间。
4.根据权利要求1所述的方法,其特征在于,第一时间信息,包括:预先设定的时刻或预设频率。
5.根据权利要求1所述的方法,其特征在于,所述计算所有所述关键节点的运行结束时间均值,确定运行结束时间晚于所述均值的所述关键节点为延迟关键节点,包括:
按照所述关键节点的确定顺序,将所有所述关键节点组成任务链路;
计算所有所述关键节点的运行结束时间均值,根据所述任务链路确定运行结束时间晚于所述均值的所述关键节点为延迟关键节点。
6.根据权利要求2所述的方法,其特征在于,所述差值阈值为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310417241.5A CN116467058A (zh) | 2023-04-18 | 2023-04-18 | 离线数据延迟的处理的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310417241.5A CN116467058A (zh) | 2023-04-18 | 2023-04-18 | 离线数据延迟的处理的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116467058A true CN116467058A (zh) | 2023-07-21 |
Family
ID=87173066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310417241.5A Pending CN116467058A (zh) | 2023-04-18 | 2023-04-18 | 离线数据延迟的处理的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116467058A (zh) |
-
2023
- 2023-04-18 CN CN202310417241.5A patent/CN116467058A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11288231B2 (en) | Reproducing datasets generated by alert-triggering search queries | |
US9935864B2 (en) | Service analyzer interface | |
US20160034566A1 (en) | High availability scheduler for scheduling map-reduce searches | |
US10692007B2 (en) | Behavioral rules discovery for intelligent computing environment administration | |
CN110502509B (zh) | 一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置 | |
CN110442498B (zh) | 异常数据节点的定位方法、装置、存储介质及计算机设备 | |
US8516499B2 (en) | Assistance in performing action responsive to detected event | |
US20240054144A1 (en) | Extract, transform, load monitoring platform | |
US7936260B2 (en) | Identifying redundant alarms by determining coefficients of correlation between alarm categories | |
US11954123B2 (en) | Data processing method and device for data integration, computing device and medium | |
US8150861B2 (en) | Technique for implementing database queries for data streams using a curved fitting based approach | |
CN102291247A (zh) | 告警关联图生成方法、装置及关联告警确定方法、装置 | |
JP2005339534A (ja) | グラフ分析および同期の方法およびシステム | |
CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN114430365B (zh) | 故障根因分析方法、装置、电子设备和存储介质 | |
CN109753573B (zh) | 一种基于图数据库构建预设模型的处理方法及装置 | |
CN113656407A (zh) | 一种数据拓扑生成方法、装置、电子设备及存储介质 | |
CN112416708A (zh) | 异步调用链路监控方法及系统 | |
CN116911671A (zh) | 一种数据资产运营效能评估方法及系统 | |
CN116467058A (zh) | 离线数据延迟的处理的方法 | |
CN108664499B (zh) | 数据存储的方法、装置及设备 | |
CN115329007A (zh) | 数据库之间的数据同步方法、系统、电子设备及存储介质 | |
US8631391B2 (en) | Method and a system for process discovery | |
CN110191026B (zh) | 一种分布式业务链路监控方法及装置 | |
CN114024835B (zh) | 一种异常定位方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |