CN113946627A - 数据实时同步场景下的数据准确性检测预警系统及方法 - Google Patents
数据实时同步场景下的数据准确性检测预警系统及方法 Download PDFInfo
- Publication number
- CN113946627A CN113946627A CN202111256759.2A CN202111256759A CN113946627A CN 113946627 A CN113946627 A CN 113946627A CN 202111256759 A CN202111256759 A CN 202111256759A CN 113946627 A CN113946627 A CN 113946627A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- unit time
- real
- time window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据实时同步场景下的数据准确性检测预警系统及方法，能够支持同构和异构数据源等任意数据源之间的数据交互和数据同步，支持关系型数据库、非关系型数据库、大数据平台、文件系统，用于企业的多源数据融合。本发明能够通过数据源模块、单位时间窗口模块、缓存模块、监控模块、预警模块、异常修复模块、实时数据输出模块实现了对实时同步系统的数据同步、监控预警和数据修复的功能。
Description
技术领域
本发明涉及数据实时同步技术领域，具体涉及一种数据实时同步场景下的数据准确性检测预警系统及方法。
背景技术
数据实时同步系统是解决了企业内复杂的异构数据源、大数据量、高并发下的数据交互和数据同步场景的一站式数据同步系统，支持关系型数据库、非关系型数据库、大数据平台、文件系统、用于企业的多源数据融合。其具有简单易用、高性能、秒延时、安全可靠的特点，能够简化复杂的数据交互工作，实现企业内数据统一共享和分发。但是现有技术的实时同步系统监控功能简单，数据同步失败无法修复。
发明内容
针对现有技术的不足，本发明旨在提供一种数据实时同步场景下的数据准确性检测预警系统及方法。
为了实现上述目的，本发明采用如下技术方案：
一种数据实时同步场景下的数据准确性检测预警系统，具体包括：
数据源模块：用于获取需要实时同步的数据；
单位时间窗口模块：用于将不同的数据源，按单位时间窗口进行标记，记录单位时间窗口内的数据起始标识、结束标识和数据量，并这些日志信息推送到缓存模块；
缓存模块：用于存储和读取单位时间窗口模块推送的日志信息，并进一步持久化到磁盘中；
监控模块：用于从缓存模块收集单位时间窗口的日志信息，对日志信息进行聚合并进行监控指标提取，所述监控指标包括输入数量、输出数量、输入速率、输出速率和异常数量；
预警模块：用于分析监控模块获得的单位时间窗口的各项监控指标的趋势是否异常，并在发生异常时发送预警信息；
异常修复模块：用于当预警模块判断发生异常时记录异常日志和进行链接终端自动重启，重启后支持断点续传，并对单位时间窗口中的异常数据窗口进行数据恢复操作；
实时数据输出模块：用于实时数据输出。
进一步地，所述系统还包括有数据同步任务模块:用于供用户在权限下进行同步任务的信息管理，包括任务的新建、任务信息编辑和增加数据源，数据同步任务模块据此生成任务列表，任务列表展示任务的基本信息和运行状态信息，同一个数据源多个输出源的任务合并显示并支持对各个任务分别管理设置，支持元数据在线查看和数据预览自动拉取元数据，可在线查看数据库、表结构及变更信息，以及数据预览和关联任务的显示。
进一步地，所述实时数据输出模块支持s ink端自动创建表功能。
本发明还提供一种利用上述系统的方法，具体过程为：
数据源模块获取需要实时同步的数据；
单位时间窗口模块将不同的数据源，按单位时间窗口进行标记，记录单位时间窗口内的数据起始标识、结束标识和数据量，并这些日志信息推送到缓存模块；
监控模块从缓存模块收集单位时间窗口的日志信息，对日志信息进行聚合并进行监控指标提取，所述监控指标包括输入数量、输出数量、输入速率、输出速率和异常数量；
预警模块分析监控模块获得的单位时间窗口的各项监控指标的趋势是否异常，并在发生异常时发送预警信息；
当预警模块判断发生异常时，异常修复模块记录异常日志和进行链接终端自动重启，重启后支持断点续传，并对单位时间窗口中的异常数据窗口进行数据恢复操作；
实时数据输出模块对正常的实时数据以及经过数据恢复的实时数据进行输出。
本发明的有益效果在于：本发明能够支持同构和异构数据源等任意数据源之间的数据同步，支持关系型数据库、非关系型数据库、大数据平台、文件系统，用于企业的多源数据融合。本发明能够通过数据源模块、单位时间窗口模块、缓存模块、监控模块、预警模块、异常修复模块、实时数据输出模块实现了对实时同步系统的数据同步、监控预警和数据修复的功能。
附图说明
图1为本发明实施例2的方法流程示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
实施例1
本实施例提供一种数据实时同步场景下的数据准确性检测预警系统，具体包括：
数据源模块：用于获取需要实时同步的数据；支持多种数据源的获取，如MySQL、Oracle、日志文件等数据源。其中MySQL通过binLog的数据同步，Oracle能够支持LogMiner、XStream、OGG不同版本不同模式进行数据同步。
数据同步任务模块:用于供用户在权限下进行同步任务的信息管理，包括任务的新建、任务信息编辑和增加数据源，数据同步任务模块据此生成任务列表，任务列表展示任务的基本信息和运行状态信息，同一个数据源多个输出源的任务合并显示并支持对各个任务分别管理设置，支持元数据在线查看和数据预览自动拉取元数据，可在线查看数据库、表结构及变更信息，以及数据预览和关联任务的显示。无需编写代码即可能够完成数据同步任务的创建。
单位时间窗口模块：用于将不同的数据源，按单位时间窗口进行标记，记录单位时间窗口内的数据起始标识、结束标识和数据量，并这些日志信息推送到缓存模块。单位时间窗口将实时数据划分了不同时间片段，使数据的监控和数据恢复便于实现。
缓存模块：用于存储和读取单位时间窗口模块推送的日志信息，并进一步持久化到磁盘中，提高数据可用性。
监控模块：用于从缓存模块收集单位时间窗口的日志信息，对日志信息进行聚合并进行监控指标提取，所述监控指标包括输入数量、输出数量、输入速率、输出速率和异常数量等。
预警模块：用于分析监控模块获得的单位时间窗口的各项监控指标的趋势是否异常，并在发生异常时发送预警信息。通过该模块能够及时的发现数据同步异常。
异常修复模块：用于当预警模块判断发生异常时记录异常日志和进行链接终端自动重启，重启后支持断点续传，并对单位时间窗口中的异常数据窗口进行数据恢复操作。
实时数据输出模块：用于实时数据输出。所述实时数据输出模块支持s ink端自动创建表功能，减少中间操作，提升企业多源数据融合效率5倍以上，支持断点续传，异常恢复、保证数据的完整性。所述实时数据输出模块能够对多种数据源数据进行输出，如：MySQL、Oracle、Kafka等。
实施例2
本实施例提供一种利用上述实施例1所述系统的方法，如图1所示，具体过程为：
数据源模块获取需要实时同步的数据；
单位时间窗口模块将不同的数据源，按单位时间窗口进行标记，记录单位时间窗口内的数据起始标识、结束标识和数据量，并这些日志信息推送到缓存模块；
监控模块从缓存模块收集单位时间窗口的日志信息，对日志信息进行聚合并进行监控指标提取，所述监控指标包括输入数量、输出数量、输入速率、输出速率和异常数量；
预警模块分析监控模块获得的单位时间窗口的各项监控指标的趋势是否异常，并在发生异常时发送预警信息。
当预警模块判断发生异常时，异常修复模块记录异常日志和进行链接终端自动重启，重启后支持断点续传，并对单位时间窗口中的异常数据窗口进行数据恢复操作；
实时数据输出模块对正常的实时数据以及经过数据恢复的实时数据进行输出。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。
Claims (4)
1.一种数据实时同步场景下的数据准确性检测预警系统，其特征在于，具体包括：
数据源模块：用于获取需要实时同步的数据；
单位时间窗口模块：用于将不同的数据源，按单位时间窗口进行标记，记录单位时间窗口内的数据起始标识、结束标识和数据量，并这些日志信息推送到缓存模块；
缓存模块：用于存储和读取单位时间窗口模块推送的日志信息，并进一步持久化到磁盘中；
监控模块：用于从缓存模块收集单位时间窗口的日志信息，对日志信息进行聚合并进行监控指标提取，所述监控指标包括输入数量、输出数量、输入速率、输出速率和异常数量；
预警模块：用于分析监控模块获得的单位时间窗口的各项监控指标的趋势是否异常，并在发生异常时发送预警信息；
异常修复模块：用于当预警模块判断发生异常时记录异常日志和进行链接终端自动重启，重启后支持断点续传，并对单位时间窗口中的异常数据窗口进行数据恢复操作；
实时数据输出模块：用于实时数据输出。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括有数据同步任务模块:用于供用户在权限下进行同步任务的信息管理，包括任务的新建、任务信息编辑和增加数据源，数据同步任务模块据此生成任务列表，任务列表展示任务的基本信息和运行状态信息，同一个数据源多个输出源的任务合并显示并支持对各个任务分别管理设置，支持元数据在线查看和数据预览自动拉取元数据，可在线查看数据库、表结构及变更信息，以及数据预览和关联任务的显示。
3.根据权利要求1所述的系统，其特征在于，所述实时数据输出模块支持sink端自动创建表功能。
4.一种利用上述权利要求1-3任一所述系统的方法，其特征在于，具体过程为：
数据源模块获取需要实时同步的数据；
单位时间窗口模块将不同的数据源，按单位时间窗口进行标记，记录单位时间窗口内的数据起始标识、结束标识和数据量，并这些日志信息推送到缓存模块；
监控模块从缓存模块收集单位时间窗口的日志信息，对日志信息进行聚合并进行监控指标提取，所述监控指标包括输入数量、输出数量、输入速率、输出速率和异常数量；
预警模块分析监控模块获得的单位时间窗口的各项监控指标的趋势是否异常，并在发生异常时发送预警信息；
当预警模块判断发生异常时，异常修复模块记录异常日志和进行链接终端自动重启，重启后支持断点续传，并对单位时间窗口中的异常数据窗口进行数据恢复操作；
实时数据输出模块对正常的实时数据以及经过数据恢复的实时数据进行输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111256759.2A CN113946627B (zh) | 2021-10-27 | 2021-10-27 | 数据实时同步场景下的数据准确性检测预警系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111256759.2A CN113946627B (zh) | 2021-10-27 | 2021-10-27 | 数据实时同步场景下的数据准确性检测预警系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113946627A true CN113946627A (zh) | 2022-01-18 |
| CN113946627B CN113946627B (zh) | 2022-04-29 |
Family
ID=79332775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111256759.2A Active CN113946627B (zh) | 2021-10-27 | 2021-10-27 | 数据实时同步场景下的数据准确性检测预警系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113946627B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116361391A (zh) * | 2023-03-30 | 2023-06-30 | 中电云数智科技有限公司 | 一种数据同步表结构异常检测及修复方法和装置 |
| CN118113786A (zh) * | 2024-04-30 | 2024-05-31 | 曙光信息产业(北京)有限公司 | 一种用户信息同步方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101986764A (zh) * | 2010-10-20 | 2011-03-16 | 新疆智翔科技有限公司 | 一种基于物联网的多源数据接驳系统 |
| CN102446118A (zh) * | 2010-11-17 | 2012-05-09 | 微软公司 | 聚焦于上下文和任务的计算 |
| CN104134349A (zh) * | 2014-08-07 | 2014-11-05 | 北京航空航天大学 | 一种基于交通多源数据融合的公交路况处理系统及方法 |
| CN105812202A (zh) * | 2014-12-31 | 2016-07-27 | 阿里巴巴集团控股有限公司 | 日志实时监控预警方法及其装置 |
| CN109165133A (zh) * | 2018-07-02 | 2019-01-08 | 咪咕文化科技有限公司 | 数据监控方法、装置、设备及存储介质 |
| CN110493348A (zh) * | 2019-08-26 | 2019-11-22 | 山东融为信息科技有限公司 | 一种基于物联网的智能监控报警系统 |
| CN110779570A (zh) * | 2019-09-09 | 2020-02-11 | 杭州鲁尔物联科技有限公司 | 一种用于古海塘加固的施工期安全监测预警系统 |
| CN112286664A (zh) * | 2020-10-30 | 2021-01-29 | 中国平安财产保险股份有限公司 | 任务调度方法、装置、计算机设备及可读存储介质 |
| US20210271555A1 (en) * | 2017-06-16 | 2021-09-02 | Ping An Technology (Shenzhen) Co., Ltd. | Traffic data self-recovery processing method, readable storage medium, server and apparatus |
| CN113420043A (zh) * | 2021-06-22 | 2021-09-21 | 康键信息技术（深圳）有限公司 | 数据实时监控方法、装置、设备及存储介质 |
-
2021
- 2021-10-27 CN CN202111256759.2A patent/CN113946627B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101986764A (zh) * | 2010-10-20 | 2011-03-16 | 新疆智翔科技有限公司 | 一种基于物联网的多源数据接驳系统 |
| CN102446118A (zh) * | 2010-11-17 | 2012-05-09 | 微软公司 | 聚焦于上下文和任务的计算 |
| CN104134349A (zh) * | 2014-08-07 | 2014-11-05 | 北京航空航天大学 | 一种基于交通多源数据融合的公交路况处理系统及方法 |
| CN105812202A (zh) * | 2014-12-31 | 2016-07-27 | 阿里巴巴集团控股有限公司 | 日志实时监控预警方法及其装置 |
| US20210271555A1 (en) * | 2017-06-16 | 2021-09-02 | Ping An Technology (Shenzhen) Co., Ltd. | Traffic data self-recovery processing method, readable storage medium, server and apparatus |
| CN109165133A (zh) * | 2018-07-02 | 2019-01-08 | 咪咕文化科技有限公司 | 数据监控方法、装置、设备及存储介质 |
| CN110493348A (zh) * | 2019-08-26 | 2019-11-22 | 山东融为信息科技有限公司 | 一种基于物联网的智能监控报警系统 |
| CN110779570A (zh) * | 2019-09-09 | 2020-02-11 | 杭州鲁尔物联科技有限公司 | 一种用于古海塘加固的施工期安全监测预警系统 |
| CN112286664A (zh) * | 2020-10-30 | 2021-01-29 | 中国平安财产保险股份有限公司 | 任务调度方法、装置、计算机设备及可读存储介质 |
| CN113420043A (zh) * | 2021-06-22 | 2021-09-21 | 康键信息技术（深圳）有限公司 | 数据实时监控方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| FURQAN ALAM ET AL.: "Data Fusion and IoT for Smart Ubiquitous Environments: A Survey", 《IEEE ACCESS》 * |
| 陈世超 等: "制造业生产过程中多源异构数据处理方法综述", 《大数据》 * |
| 陈宝通: "面向个性化定制的智能生产线预防性维护研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116361391A (zh) * | 2023-03-30 | 2023-06-30 | 中电云数智科技有限公司 | 一种数据同步表结构异常检测及修复方法和装置 |
| CN116361391B (zh) * | 2023-03-30 | 2024-05-07 | 中电云计算技术有限公司 | 一种数据同步表结构异常检测及修复方法和装置 |
| CN118113786A (zh) * | 2024-04-30 | 2024-05-31 | 曙光信息产业(北京)有限公司 | 一种用户信息同步方法及系统 |
| CN118113786B (zh) * | 2024-04-30 | 2024-07-12 | 曙光信息产业(北京)有限公司 | 一种用户信息同步方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113946627B (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113946627B (zh) | 数据实时同步场景下的数据准确性检测预警系统及方法 | |
| CN112445863B (zh) | 一种数据实时同步方法及系统 | |
| CN110727548B (zh) | 一种基于数据库dml同步的持续数据保护方法及装置 | |
| CN102722584B (zh) | 数据存储系统及方法 | |
| CN104270605B (zh) | 一种视频监控数据的处理方法及装置 | |
| JP2020057416A (ja) | 分散データベースにおけるデータブロックを処理する方法およびデバイス | |
| CN112765232B (zh) | 核电厂重大设备的数据管理方法及系统 | |
| CN103778259A (zh) | 基于Sqlite3实现智能手机数据恢复的方法 | |
| CN112685230B (zh) | 一种分布式数据库实现指定时间点备份还原的方法 | |
| CN113946556A (zh) | 一种MongoDB实例的慢日志采集方法 | |
| CN117149785A (zh) | 一种实现Oracle数据库日志变更处理的方法及装置 | |
| Zhou et al. | An ETL strategy for real-time data warehouse | |
| CN113986656B (zh) | 一种基于数据中台的电网数据安全监测系统 | |
| CN115470192A (zh) | 一种数据库元数据采集与管理的方法 | |
| CN113240945B (zh) | 主备用民航系统中飞行电报自动化处理容错系统和方法 | |
| CN108681495A (zh) | 一种坏块修复方法及装置 | |
| CN115640158A (zh) | 一种基于数据库的检测分析方法及装置 | |
| Fisher et al. | Monitoring of the National Ignition Facility Integrated Computer Control System | |
| CN111144755A (zh) | 一种科研仪器实验结果溯源管理系统及方法 | |
| CN117520459B (zh) | 一种基于CDC方式的Db2增量同步实现方法 | |
| CN118468194B (zh) | 一种基于数据源到日志交叉比对的异常定位方法和装置 | |
| CN111858644B (zh) | 数据融合与查询的方法、装置和系统 | |
| CN116361391B (zh) | 一种数据同步表结构异常检测及修复方法和装置 | |
| CN117648308A (zh) | 一种信创存储服务器的数据库修复技术与方法 | |
| Gao-qin et al. | Configurable data exchange tool design based on tagged data structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |