CN113821407B - 一种Storm分布式实时计算方法及系统 - Google Patents

一种Storm分布式实时计算方法及系统 Download PDF

Info

Publication number
CN113821407B
CN113821407B CN202111081856.2A CN202111081856A CN113821407B CN 113821407 B CN113821407 B CN 113821407B CN 202111081856 A CN202111081856 A CN 202111081856A CN 113821407 B CN113821407 B CN 113821407B
Authority
CN
China
Prior art keywords
data
database
kafka
distributed real
storm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111081856.2A
Other languages
English (en)
Other versions
CN113821407A (zh
Inventor
高春林
雷云
李建东
靳珊
刘雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zheda Wangxin Software Industry Group Co ltd
Original Assignee
Zhejiang Zheda Wangxin Software Industry Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zheda Wangxin Software Industry Group Co ltd filed Critical Zhejiang Zheda Wangxin Software Industry Group Co ltd
Priority to CN202111081856.2A priority Critical patent/CN113821407B/zh
Publication of CN113821407A publication Critical patent/CN113821407A/zh
Application granted granted Critical
Publication of CN113821407B publication Critical patent/CN113821407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Storm分布式实时计算方法及系统，获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据，将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和变更数据在数据库日志中的位置信息注册到Kafka的zookeeper组件中。监听消息中间件Kafka，保存数据在Kafka中的偏移量，以备后续实时计算失败时恢复到当前状态。本发明基于Storm的分布式实时计算提供了“精确一次”的数据可靠性保障，使得Storm可以应用在计算准确性要求高的场景下。

Description

一种Storm分布式实时计算方法及系统
技术领域
本申请属于分布式实时计算技术领域，尤其涉及一种Storm分布式实时计算方法及系统。
背景技术
随着互联网时代的到来，各业务系统每天都会产生大量的数据，与此同时，越来越多的应用场景要求能够对数据进行实时采集与分析计算，例如网站统计、推荐系统、预警系统、金融风控系统等等。Apache Storm是一个分布式实时大数据流式计算引擎，广泛地应用于上述业务场景。但是它并不能保证一致性消息传递“精确一次”(exactly-one)的消息交付语义，它采用了“至少一次”(At-Least-Once)数据处理语义，所以可能会有重复的数据，这样就违背了数据的准确性、一致性的原则。数据处理中“精确一次”(exactly-one)数据/消息交付语义保证，即在各种故障的情况下，对于每一条数据都保证只会被有且仅有一次的处理，防止数据处理中数据遗漏和重复计算的问题。
由于在分布式实时计算环境中，网络异常、计算节点或容器崩溃、应用部署以及系统重启的情况时有发生，因此这给在准确性要求高的场景下使用Storm进行实时计算带来挑战。
发明内容
本申请的目的是提供一种Storm分布式实时计算方法及系统，为基于Storm的分布式实时计算提供了“精确一次”的数据可靠性保障，使得Storm可以应用在计算准确性要求高的场景下。
为了实现上述目的，本申请技术方案如下：
一种Storm分布式实时计算方法，包括：
获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据；
将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和变更数据在数据库日志中的位置信息注册到Kafka的zookeeper组件中；
从消息中间件Kafka中读取所述标准数据，获取读取所述标准数据前后每个主题的偏移量，生成当前状态的快照信息，并保存到Kafka的zookeeper组件中；
对读取的标准数据执行Storm分布式实时计算，如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，并根据快照信息从Kafka中再次获取对应的标准数据，然后重新计算。
进一步的，所述获取数据库日志，包括：
将数据采集端模拟为所要采集的数据库的备份数据库，从所要采集的数据库接收数据库日志。
进一步的，所述标准数据结构包括数据库唯一标识、表名、操作类型、变更前后的数据值以及变更数据在数控库日志中的位置。
进一步的，所述Storm分布式实时计算方法，还包括：
如果数据采集端发生故障需要重新启动或者重新部署，启动后，从Kafka的zookeeper组件中获取到数据库唯一标识和变更数据的位置信息N，从数据库日志N+1位置处开始解析数据库日志。
进一步的，所述快照信息包括：
当前计算的数据库唯一标识、队列名称、读取前偏移量、读取后偏移量。
本申请还提出了一种Storm分布式实时计算系统，所述Storm分布式实时计算系统，包括数据源、数据采集端、消息中间件Kafka和Storm分布式实时计算端，其中：
所述数据采集端，用于从数据源获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据；将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和变更数据在数据库日志中的位置信息注册到Kafka的zookeeper组件中；
所述Storm分布式实时计算端，用于从消息中间件Kafka中读取所述标准数据，获取读取所述标准数据前后每个主题的偏移量，生成当前状态的快照信息，并保存到Kafka的zookeeper组件中；对读取的标准数据执行Storm分布式实时计算，如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，并根据快照信息从Kafka中再次获取对应的标准数据，然后重新计算。
进一步的，所述数据采集端获取数据库日志，执行如下操作：
将数据采集端模拟为所要采集的数据库的备份数据库，从所要采集的数据库接收数据库日志。
进一步的，所述标准数据结构包括数据库唯一标识、表名、操作类型、变更前后的数据值以及变更数据在数控库日志中的位置。
进一步的，所述数据采集端，还执行如下操作：
如果数据采集端发生故障需要重新启动或者重新部署，启动后，从Kafka的zookeeper组件中获取到数据库唯一标识和变更数据的位置信息N，从数据库日志N+1位置处开始解析数据库日志。
进一步的，所述快照信息包括：
当前计算的数据库唯一标识、队列名称、读取前偏移量、读取后偏移量。
本申请提供的一种Storm分布式实时计算方法及系统，实时监听和捕获数据库日志，解析日志，生成统一的数据结构并记录数据在数据库日志中的位置。监听消息中间件Kafka，保存数据在Kafka中的偏移量，以备后续实时计算失败时恢复到当前状态。为基于Storm的分布式实时计算提供了“精确一次”的数据可靠性保障，使得Storm可以应用在计算准确性要求高的场景下。
附图说明
图1为本申请一种Storm分布式实时计算方法流程图；
图2为本申请实施例Storm分布式实时计算系统交互示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请提供的一种Storm分布式实时计算方法，如图1所示，包括：
步骤S1、获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据。
本申请通过数据库日志实时获取行级别的变更数据，基于数据库日志的实时数据采集利用数据库的主从复制模式(热备份模式)，所要采集的数据库为主数据库，数据采集端将自己模拟成只读的备份数据库。这样备份数据库能够实时从主数据库接受数据库日志，捕获行级别的变更数据。
通过数据库日志能够实时获取行级别的变更数据，但不同类型的数据库之间没有统一的日志格式协议，如Mysql采用专用协议binlog，oracle采用redo log重做日志，这给后续的进一步数据处理带来不便。
本申请数据采集端使用与数据库类型相对应的日志格式协议按照日志发生顺序进行解析，为所有的变更数据提供了一个统一的数据模型，统一生成标准的最小化的Json、Avro、Thrift或Protocol Buffers格式的数据结构，包括数据库唯一标识、表名、操作类型、变更前后的数据值以及变更数据在数控库日志中的位置。
需要说明的是，本申请从数据库获取数据库日志，还可以由数据采集端实时去数据库抓取日志，本申请不限于获取数据库日志的具体实现方式。此外，对于标准数据结构，不仅可以是Json格式数据结构，还可以是任何一种格式的数据结构，统一即可，这里不再赘述。
步骤S2、将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和数据变更在数据库日志中的位置信息注册到Kafka的zookeeper组件中。
Kafka是一个开源的分布式消息系统，具有高水平扩展、高容错性和高吞吐量的特点。Kafka可以确保所有这些变更事件数据都能够多副本并且总体上是有序的。
这里将Json格式的标准数据推送到Kafka，Kafka的topic名称为数据库唯一标识+表名，并将该变更数据对应的数据库唯一标识和数据的位置信息注册到Kafka的zookeeper组件中。
如果数据采集端发生故障需要重新启动或者重新部署，启动后，从Kafka的zookeeper组件中获取到数据库唯一标识和数据的位置信息N，从数据库日志N+1位置处开始解析日志，这样就可以保证日志解析的连续性和不重复。
步骤S3、从消息中间件Kafka中读取所述标准数据，获取读取所述标准数据前后每个主题的偏移量，生成当前状态的快照信息，并保存到Kafka的zookeeper组件中。
监听Kafka，后续Storm分布式实时计算可能需要从Kafka一个topic或多个topic读取数据。获取读取数据前后每个topic的偏移量offset，生成当前状态的快照，其内容包括：当前计算的数据库唯一标识、队列名称、读取前偏移量、读取后偏移量。然后将这些信息保存到Kafka的zookeeper组件中。
步骤S4、读取的标准数据执行Storm分布式实时计算，如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，并根据快照信息从Kafka中再次获取对应的标准数据，然后重新计算。
保存好当前快照信息后，执行后续计算任务。如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，然后使用当前计算的数据库唯一标识，从快照中获取当前计算对应的Kafka队列名称、读取前偏移量、读取后偏移量，根据这些信息重新从队列中读取两个偏移量之间的数据，即数据重放，再进行重新计算。当多次重放失败后，停止计算任务，记录错误日志；并通过邮件和即时消息等途径进行告警，由人工介入排查和解决问题。
本申请为基于Storm的分布式实时计算提供了“精确一次”的数据可靠性保障，使得Storm可以应用在计算准确性要求高的场景下。在数据采集端故障时，可以从记录的位置处开始解析数据，保证日志解析的连续性和不重复。在试行Storm分布式实时计算时，如果计算发生错误，则可以根据快照信息再次获取对应的数据，重新计算。
在另一个实施例中，本申请还提供了一种Storm分布式实时计算系统，如图2所示，包括数据源、数据采集端、消息中间件Kafka和Storm分布式实时计算端，其中：
所述数据采集端，用于从数据源获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据；将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和变更数据在数据库日志中的位置信息注册到Kafka的zookeeper组件中；
所述Storm分布式实时计算端，用于从消息中间件Kafka中读取所述标准数据，获取读取所述标准数据前后每个主题的偏移量，生成当前状态的快照信息，并保存到Kafka的zookeeper组件中；对读取的标准数据执行Storm分布式实时计算，如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，并根据快照信息从Kafka中再次获取对应的标准数据，然后重新计算。
具体的，如图2所示，数据源可以是Oracle数据库或Mysql数据库，本申请不限于具体的数据库类型。数据采集端从数据源获取数据库日志，并解析数据库日志，将标准数据推送给消息中间件Kafka，并记录日志当前位置等信息，注册到Kafka的zookeeper组件中。
Storm分布式实时计算端从Kafka获取数据，生成快照信息，并保存到Kafka的zookeeper组件中。然后对读取的数据进行计算，如果计算成功则返回继续读取数据，再继续进行计算。如果计算失败，则获取快照信息，重新从Kafka读取数据，再次进行计算。
关于Storm分布式实时计算系统的具体限定可以参见上文中对于Storm分布式实时计算方法的限定，在此不再赘述。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种Storm分布式实时计算方法，其特征在于，所述Storm分布式实时计算方法，包括：
获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据；
将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和变更数据在数据库日志中的位置信息注册到Kafka的zookeeper组件中；
从消息中间件Kafka中读取所述标准数据，获取读取所述标准数据前后每个主题的偏移量，生成当前状态的快照信息，并保存到Kafka的zookeeper组件中；
对读取的标准数据执行Storm分布式实时计算，如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，并根据快照信息从Kafka中再次获取对应的标准数据，然后重新计算。
2.根据权利要求1所述的Storm分布式实时计算方法，其特征在于，所述获取数据库日志，包括：
将数据采集端模拟为所要采集的数据库的备份数据库，从所要采集的数据库接收数据库日志。
3.根据权利要求1所述的Storm分布式实时计算方法，其特征在于，所述标准数据结构包括数据库唯一标识、表名、操作类型、变更前后的数据值以及变更数据在数控库日志中的位置。
4.根据权利要求1所述的Storm分布式实时计算方法，其特征在于，所述Storm分布式实时计算方法，还包括：
如果数据采集端发生故障需要重新启动或者重新部署，启动后，从Kafka的zookeeper组件中获取到数据库唯一标识和变更数据的位置信息N，从数据库日志N+1位置处开始解析数据库日志。
5.根据权利要求1所述的Storm分布式实时计算方法，其特征在于，所述快照信息包括：
当前计算的数据库唯一标识、队列名称、读取前偏移量、读取后偏移量。
6.一种Storm分布式实时计算系统，其特征在于，所述Storm分布式实时计算系统，包括数据源、数据采集端、消息中间件Kafka和Storm分布式实时计算端，其中：
所述数据采集端，用于从数据源获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据；将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和变更数据在数据库日志中的位置信息注册到Kafka的zookeeper组件中；
所述Storm分布式实时计算端，用于从消息中间件Kafka中读取所述标准数据，获取读取所述标准数据前后每个主题的偏移量，生成当前状态的快照信息，并保存到Kafka的zookeeper组件中；对读取的标准数据执行Storm分布式实时计算，如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，并根据快照信息从Kafka中再次获取对应的标准数据，然后重新计算。
7.根据权利要求6所述的Storm分布式实时计算系统，其特征在于，所述数据采集端获取数据库日志，执行如下操作：
将数据采集端模拟为所要采集的数据库的备份数据库，从所要采集的数据库接收数据库日志。
8.根据权利要求6所述的Storm分布式实时计算系统，其特征在于，所述标准数据结构包括数据库唯一标识、表名、操作类型、变更前后的数据值以及变更数据在数控库日志中的位置。
9.根据权利要求6所述的Storm分布式实时计算系统，其特征在于，所述数据采集端，还执行如下操作：
如果数据采集端发生故障需要重新启动或者重新部署，启动后，从Kafka的zookeeper组件中获取到数据库唯一标识和变更数据的位置信息N，从数据库日志N+1位置处开始解析数据库日志。
10.根据权利要求6所述的Storm分布式实时计算系统，其特征在于，所述快照信息包括：
当前计算的数据库唯一标识、队列名称、读取前偏移量、读取后偏移量。
CN202111081856.2A 2021-09-15 2021-09-15 一种Storm分布式实时计算方法及系统 Active CN113821407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111081856.2A CN113821407B (zh) 2021-09-15 2021-09-15 一种Storm分布式实时计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111081856.2A CN113821407B (zh) 2021-09-15 2021-09-15 一种Storm分布式实时计算方法及系统

Publications (2)

Publication Number Publication Date
CN113821407A CN113821407A (zh) 2021-12-21
CN113821407B true CN113821407B (zh) 2023-08-01

Family

ID=78922600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111081856.2A Active CN113821407B (zh) 2021-09-15 2021-09-15 一种Storm分布式实时计算方法及系统

Country Status (1)

Country Link
CN (1) CN113821407B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404502A (en) * 1993-02-25 1995-04-04 Prologic Computer Corporation Error-detection in database update processes
CN101436207A (zh) * 2008-12-16 2009-05-20 浪潮通信信息系统有限公司 一种基于日志快照的数据恢复和同步方法
US7792802B1 (en) * 2007-03-02 2010-09-07 3Par, Inc. Archiving logs with snapshots for data recovery
CN104951306A (zh) * 2015-06-17 2015-09-30 深圳市腾讯计算机系统有限公司 基于实时计算框架的数据处理方法和系统
CN106294357A (zh) * 2015-05-14 2017-01-04 阿里巴巴集团控股有限公司 数据处理方法和流计算系统
CN109284195A (zh) * 2018-08-27 2019-01-29 广东电网有限责任公司信息中心 一种实时画像数据计算方法及系统
CN110597914A (zh) * 2019-09-18 2019-12-20 北京思维造物信息科技股份有限公司 数据传输系统、方法、装置及设备
CN112445863A (zh) * 2020-11-30 2021-03-05 永辉云金科技有限公司 一种数据实时同步方法及系统
CN112559475A (zh) * 2020-12-11 2021-03-26 上海哔哩哔哩科技有限公司 数据实时捕获和传输方法及系统
US10990581B1 (en) * 2017-09-27 2021-04-27 Amazon Technologies, Inc. Tracking a size of a database change log
CN113254833A (zh) * 2021-06-07 2021-08-13 深圳市中元产教融合科技有限公司 一种基于产教融合的信息推送的方法及服务系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9244775B2 (en) * 2013-03-14 2016-01-26 International Business Machines Corporation Reducing reading of database logs by persisting long-running transaction data
TWI626547B (zh) * 2014-03-03 2018-06-11 國立清華大學 於分散式資料庫中將系統狀態一致地還原至欲還原時間點之方法及系統
EP3777067A1 (en) * 2018-08-27 2021-02-17 Huawei Technologies Co., Ltd. Device and method for anomaly detection on an input stream of events

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404502A (en) * 1993-02-25 1995-04-04 Prologic Computer Corporation Error-detection in database update processes
US7792802B1 (en) * 2007-03-02 2010-09-07 3Par, Inc. Archiving logs with snapshots for data recovery
CN101436207A (zh) * 2008-12-16 2009-05-20 浪潮通信信息系统有限公司 一种基于日志快照的数据恢复和同步方法
CN106294357A (zh) * 2015-05-14 2017-01-04 阿里巴巴集团控股有限公司 数据处理方法和流计算系统
CN104951306A (zh) * 2015-06-17 2015-09-30 深圳市腾讯计算机系统有限公司 基于实时计算框架的数据处理方法和系统
US10990581B1 (en) * 2017-09-27 2021-04-27 Amazon Technologies, Inc. Tracking a size of a database change log
CN109284195A (zh) * 2018-08-27 2019-01-29 广东电网有限责任公司信息中心 一种实时画像数据计算方法及系统
CN110597914A (zh) * 2019-09-18 2019-12-20 北京思维造物信息科技股份有限公司 数据传输系统、方法、装置及设备
CN112445863A (zh) * 2020-11-30 2021-03-05 永辉云金科技有限公司 一种数据实时同步方法及系统
CN112559475A (zh) * 2020-12-11 2021-03-26 上海哔哩哔哩科技有限公司 数据实时捕获和传输方法及系统
CN113254833A (zh) * 2021-06-07 2021-08-13 深圳市中元产教融合科技有限公司 一种基于产教融合的信息推送的方法及服务系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于Storm的分布式...时增量计算框架的研究与实现;李劲松;《中国优秀硕士学位论文全文数据库（电子期刊）》;第1-74页 *

Also Published As

Publication number Publication date
CN113821407A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN107577717B (zh) 一种保障数据一致性的处理方法、装置及服务器
CN106656536B (zh) 一种用于处理服务调用信息的方法与设备
CN110516971B (zh) 异常检测的方法、装置、介质和计算设备
CN113238913B (zh) 服务器故障智能推送方法、装置、设备及存储介质
CN112506702B (zh) 数据中心容灾方法、装置、设备及存储介质
CN109284331B (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
CN114154035A (zh) 一种动环监控的数据处理系统
CN104794013A (zh) 定位系统运行状态、建立系统运行状态模型的方法及装置
CN113821407B (zh) 一种Storm分布式实时计算方法及系统
CN113987393A (zh) 一种网页操作记录器、系统、装置及方法
CN116048866B (zh) 基于实时流计算引擎的数据故障检测方法、系统及介质
CN111124809B (zh) 一种服务器传感器系统的测试方法及装置
CN112235128A (zh) 一种交易路径分析方法、装置、服务器及存储介质
CN110717130B (zh) 打点方法、装置、终端及存储介质
CN112650613B (zh) 一种错误信息处理方法、装置、电子设备及存储介质
CN116010244A (zh) 自动化测试方法、装置、电子设备及存储介质
CN111209138A (zh) 数据存储系统的运维方法及装置
CN114629786A (zh) 日志实时分析方法、装置、存储介质及系统
CN114416420A (zh) 设备问题反馈方法和系统
CN113392006A (zh) 一种使用capsys监控自动化测试日志的方法及设备
CN112131611A (zh) 数据正确性验证方法、装置、设备、系统及存储介质
CN109522186B (zh) 一种基于Linux磁盘访问的监控方法及系统
CN117421337B (zh) 数据采集方法、装置、设备及计算机可读介质
CN113722236B (zh) 游戏调试方法、装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 2101-6, building 4, Wangxin Shuangcheng building, 1785 Jianghan Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province 310000

Applicant after: Zhejiang Zheda Wangxin Software Industry Group Co.,Ltd.

Address before: Room 2101-6, building 4, Wangxin Shuangcheng building, 1785 Jianghan Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province 310000

Applicant before: INSIGMA TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant