CN117041269A - 一种用于同步子数据库数据的实时双向同步系统 - Google Patents
一种用于同步子数据库数据的实时双向同步系统 Download PDFInfo
- Publication number
- CN117041269A CN117041269A CN202310990709.XA CN202310990709A CN117041269A CN 117041269 A CN117041269 A CN 117041269A CN 202310990709 A CN202310990709 A CN 202310990709A CN 117041269 A CN117041269 A CN 117041269A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- target
- sub
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002457 bidirectional effect Effects 0.000 title abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 129
- 238000004891 communication Methods 0.000 claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000001360 synchronised effect Effects 0.000 claims description 27
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000005265 energy consumption Methods 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000007726 management method Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012550 audit Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000013524 data verification Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012098 association analyses Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000013502 data validation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于同步子数据库数据的实时双向同步系统，涉及涉及传输与承载技术领域。为了解决无法对备份数据进行数据传输效率的优化，导致在数据备份过程中备份时间较长，数据传输效率较低的问题；一种用于同步子数据库数据的实时双向同步系统，包括数据库中心、异地备份中心和扩展调度平台；通过精准评估目标数据在通信链路中进行数据传输的传输效率，进行优化处理，从而提高目标数据在通信链路进行传输的效率，实现对目标数据库的风险指标值进行准确可靠的计算，及时采取相应措施对目标数据库进行处理，保障了目标数据库中数据的安全，实现数据同步的同时具有存储和处理能力，处理新数据以及对其进行的任何类型的分析。
Description
技术领域
本发明涉及涉及传输与承载技术领域，特别涉及一种用于同步子数据库数据的实时双向同步系统。
背景技术
随着现在各个业务系统的不断融合和深入分析，现在需要一种崭新的方式用于不同数据库子系统间的数据同步。关于数据库同步，已有相关专利，比如公开号为CN110222114B的中国专利公开了一种数据库中数据双向同步的方法及设备，所述方法包括：给双向数据同步服务分配标记，将分配标记后的双向数据同步服务，与相应的目标端数据库建立连接，并将所述标记设置在所述连接上；分析同步日志文件，获取日志操作中的事务，并提取所述事务中相应的所述标记，若所述标记中的值不与所述同步服务分配的标记值对应，则所述双向数据同步服务采用设置了所述标记的连接，将所述事务发送至目标端数据库进行同步。该专利可以在无需创建辅助表以及执行辅助表数据插入的情况下，实现DDL操作和DML操作的双向同步，避免同步操作陷入死循环。
然而该发明虽然解决了数据库双向同步的问题，但在实际使用过程中仍存在以下问题：
大数据是大型且复杂的数据，难以存储，处理，分析并使用，大数据的组成部分中有非结构化数据，其形式为网页，网络日志，电子邮件，备忘录，评论，用户组，聊天，传感器数据，图像文件，音频视频文件和营销材料，新闻等。在储存数据的同时无法对数据库中的数据内容进行处理与分析，无法将结构化数据与非结构化数据进行分类同步；无法对备份数据进行数据传输效率的优化，导致在数据备份过程中备份时间较长，数据传输效率较低，且现有的数据库结构不能够支持后期的功能业务扩张，技术选型以及架构比较紊乱，维护困难且成本较高。
发明内容
本发明的目的在于提供一种用于同步子数据库数据的实时双向同步系统，通过计算目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周期内的能耗从而有利于精准评估目标数据在通信链路中进行数据传输的传输效率，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种用于同步子数据库数据的实时双向同步系统，包括数据库中心、异地备份中心和扩展调度平台，所述数据库中心设置有异域网络接口，基于无线网络与异地备份中心进行数据交互，扩展调度平台分别与异地备份中心和数据库中心进行数据交互；
所述数据库中心包括中心数据库和子数据库，用于将中心数据库的数据与子数据库的数据进行双向同步；
所述异地备份中心，用于处理与分析数据库中心的数据，并基于分析结果剔除冗余数据，进行数据库中心的数据存储备份；
所述扩展调度平台，用于跟踪并记录子数据库与中心数据库数据变化，建立运行日志，并计算子数据库与中心数据库的风险指数，基于所述风险指数进行风险管理。
进一步的，所述中心数据库包括：
数据读取单元，用于对子数据库中的动态数据进行读取，确定所述动态数据的数据类型；
数据分类单元，用于基于所述数据类型将动态数据中的数据分类打包生成子数据集，并基于数据类型生成对应标签；
数据确认单元，用于基于标签将动态数据与历史数据一一比对，确认目标数据；
数据传输单元，用于创建目标子数据库与中心数据库的第一通信链路、源子数据库与中心数据库的第二通信链路；
所述数据传输单元，还用于确定第一通信链路和第二通信链路的通信标识，基于通信标识确定目标子数据库与源子数据库的通信链路；
数据写入单元，用于基于目标子数据库与源子数据库的通信链路将源子数据库中的目标数据写入目标子数据库；
数据校验单元，用于获取所述数据中的重要数据，并基于校验标准对重要数据进行校验，并将不符合检验结果的数据进行剔除；
备份连接单元，用于基于日志解析方式将中心数据库的变化数据传输至异地备份中心。
进一步的，所述数据写入单元中，基于目标子数据库与原子数据库的通信链路将原子数据库中的目标数据写入目标子数据库中，还包括，确定通信链路的传输性能，具体为：
第一计算模块，用于：
获取对目标数据在通信链路中进行传输的传输周期以及传输周期中每个时间段对应要传输目标数据的数据量；
基于传输周期以及以及传输周期中每个时间段对应要传输目标数据的数据量计算目标数据在通信链路中进行数据传输的吞吐量；
其中，r表示目标数据在通信链路中进行数据传输的吞吐量；T表示传输周期，且T＝{t1，t2，...，ti}，且t1表示传输周期中第1个时间段；t2表示传输周期中第2个时间段；ti表示传输周期中第i个时间段；i表示传输周期中当前个时间段；R(ti)表示在传输周期中第i个时间段中要传输目标数据的数据量；
第二计算模块，用于根据如下公式计算目标数据在传输周期内的能耗；
其中，P表示目标数据在传输周期内的能耗；α表示能耗系数，且取值范围为(0，1)；φ(ti)表示在传输周期中第i个时间段中对目标数据进行传输所消耗的能量；
评估模块，用于：
基于目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周内内的能耗，对目标数据在通信链路中进行数据传输的传输效率进行评估，获得目标传输效率；
将目标传输效率与效率阈值进行比较，判断目标数据在通信链路中进行数据传输是否合格；
当目标传输效率等于或大于效率阈值时，则判定目标数据在通信链路中进行数据传输合格；
否则，则判定目标数据在通信链路中进行数据传输不合格；
优化模块，用于当目标数据在通信链路中进行数据传输不合格时，基于目标传输效率与效率阈值的差值确定优化因子，并基于优化因子对通信链路进行优化。
进一步的，所述数据确认单元，包括：
数据对比模块，用于将接收到的分类后的数据进行结构化和非结构化的确认，基于数据的组成结构的数据储存规则，将接收到的数据与对应组成结构的数据进行比对，得到出现比对差异的数据，确认为目标数据；
标准化模块，用于基于数据格式确定标准化计算规则，并按照计算规则对数据所携带的子数据进行数据标准化；
其中，子数据包括IP数据和时间数据；标准化得到标准IP数据与标准时间数据；
校验模块，用于提取目标数据中的数据段，并对数据段中的字段进行语义关联分析，将与字段语义关联的数据进行匹配，确认数据段是否为异常数据，若是，从数据中提取字段对应的异常数据进行剔除；
所述校验模块，还用于获取IP数据和时间数据，并基于标准IP数据与标准时间数据提取不匹配的IP和时间对应的数据段，确认为异常数据，并将异常数据中的IP数据和时间数据进行剔除。
进一步的，所述子数据库，包括：
同步项目创建模块，用于创建与子数据库关联的中心数据库，将关联的中心数据库IP地址与数据库名称进行储存，建立子数据库与中心数据库的数据交互通道，并基于数据交互通道实时向中心数据库获取数据；
参数融合模块，用于确认中心数据库采集或接收到的数据，并将数据参数基于历史数据参数进行融合处理，获得符合子数据库使用的新参数，同时依据新参数生成储存模型；
数据关联同步模块，用于基于储存模型将数据储存在各个储存节点上，在储存过程中对数据进行分解，得到若干个子数据；
提取子数据中的重要字段，分析重要字段的语义，建立语义相关联的各个子数据关联关系，根据关联关系进行解析，得到关键词，将关键词与各个子数据一一关联。
进一步的，所述同步项目创建模块建立子数据库与中心数据库的数据交互通道，具体为：
在所述子数据库和中心数据库创建同步账户并赋予同步权限，建立数据同步规则，确定子数据库和中心数据库中的同步表数据，建立表和表之间的映射关系；
监听并读取子数据库获取到的变更数据后，将所述变更数据写入子数据库本地生成的数据库变更日志中，基于所述映射关系将所述子数据库本地生成的数据库变更日志中的数据同步复制到中心数据库本地生成的数据库变更日志中，中心数据库提取所述变更数据；
监听并读取中心数据库获取到的变更数据后，将所述变更数据写入中心数据库本地生成的数据库变更日志中，基于所述映射关系将所述中心数据库本地生成的数据库变更日志中的数据同步复制到子数据库本地生成的数据库变更日志中，子数据库提取所述变更数据。
进一步的，所述异地备份中心，包括：
识别模块，用于辨别中心数据库和子数据库输入的数据为有效数据或无效数据，即，确认输入的数据是否与历史数据相匹配，若是，则为无效数据，若否，则为有效数据；
删除模块，用于将无效数据进行删除，同时生成删除日志，有效数据进行数据归类备份；
加密模块，用于建立备份数据包，有效数据保存至备份数据包时，基于数据来源的IP地址建立密钥，密钥与IP地址一一对应。
进一步的，所述扩展调度平台，包括：
数据库审计模块，用于跟踪记录子数据库与中心数据库数据变化，审计信息包括变化时间戳，用户代码，操作类型，建立中心数据库数据变化轨迹建立变化日志；
数据提取模块，用于获取子数据库和中心数据库的数据调取规则，根据数据调取规则生成约束条件，提取数据后依据关键词关联关系调取对应子数据集；
流量监测模块，用于获取每个数据接收终端的网络层在传输数据时的流量变动情况，根据每个传输数据时的流量变动情况评估出数据变动规则；
数据完整性检测模块，用于获取每个数据接收终端的历史传输成功数据，解析历史传输成功数据确定其完整性和安全性，根据完整性和安全性评估出目标数据库的威胁风险指数和漏洞风险指数，基于威胁风险指数和漏洞风险指数提高目标数据库的密钥等级。
进一步的，获取目标数据库存在的威胁风险指数和漏洞风险指数，并基于威胁风险指数和漏洞风险指数计算目标数据库发生故障的故障概率值，且基于故障概率值计算目标数据库的风险指标值，具体步骤包括：
根据如下公式计算目标数据库发生故障的故障概率值：
其中，P表示目标数据库发生故障的故障概率值，且取值范围为(0，1)；m表示目标数据库发生故障的次数；i表示目标数据库中包含的当前的数据层个数；n表示目标数据库中包含的数据层的总个数；Mi表示目标数据库中第i个数据层的运行次数；α表示目标数据库存在的威胁风险指数；p(α)表示目标数据库由威胁风险指数引起的故障的故障概率值，且取值范围为(0，1)；p(q|α)表示目标数据库在威胁风险指数下发生故障的条件概率值；q表示目标数据库发生故障的事件；β表示目标数据库存在的漏洞风险指数；p(β)表示目标数据库由漏洞风险指数引起的故障的故障概率值，且取值范围为(0，1)；p(q|β)表示目标数据库在漏洞风险指数下发生故障的条件概率值；
根据如下公式计算目标数据库的风险指标值：
φ＝(1-μ)＊P＊Risk(lm|ω，kt)；
其中，φ表示目标数据库的风险指标值；μ表示误差因子，且取值范围为(0，1)；P表示目标数据库发生故障的故障概率值，且取值范围为(0，1)；Im表示由于目标数据库发生故障而与数据同步以及数据备份联系的一种影响；ω表示目标数据库发生故障时的故障状态；kt表示目标数据库在发生故障后下一时刻的运行状态；t表示目标数据库在发生故障后的下一时刻；Risk(·)表示稳定风险指标；Risk(Im|ω，kt)表示目标数据库在发生故障后下一时刻运行状态的稳定风险指标值；μ表示误差因子，且取值范围为(0.02，0.05)。
进一步的，将计算得到的风险指标值与预设风险指标值进行比较；
若计算得到的风险指标值小于预设风险指标值，判定目标数据库的安全等级在预期范围内，同时，确定风险指标值与预设风险指标值之间的目标差值，并当目标差值超出预设差值阈值时，向管理终端发送第一预警提醒；
否则，判定目标数据库的安全等级较低，并对目标数据库进行安全自检，确定目标数据库中的风险因素；
将风险因素进行整合，并基于整合结果向向管理终端发送第二预警提醒。
与现有技术相比，本发明的有益效果是：
通过计算目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周期内的能耗从而有利于精准评估目标数据在通信链路中进行数据传输的传输效率，进而当不符合效率阈值时，则进行优化处理，从而提高目标数据在通信链路进行传输的效率，实现对目标数据库的风险指标值进行准确可靠的计算，从而便于根据风险指标值对目标数据库的安全等级进行准确有效的把握，且便于在目标数据库的安全等级较低时，及时采取相应措施对目标数据库进行处理，保障了目标数据库中数据的安全；建立统一的需要同步的表数据，优化数据结构，避免数据结构紊乱，造成逻辑复杂的情况；基于瞬态验证剔除异常数据，对有效数据进行复制备份，实现数据同步的同时具有存储和处理能力，处理新数据以及对其进行的任何类型的分析。
附图说明
图1为本发明的用于同步子数据库数据的实时双向同步系统模块图；
图2为本发明的数据库中心模块图；
图3为本发明的数据确认单元模块图；
图4为本发明的数据写入单元模块图；
图5为本发明的异地备份中心模块图；
图6为本发明的扩展调度平台模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决在储存数据的同时无法对数据库中的数据内容进行处理与分析，无法将结构化数据与非结构化数据进行分类同步的技术问题，请参阅图1-6，本实施例提供以下技术方案：
一种用于同步子数据库数据的实时双向同步系统，包括数据库中心、异地备份中心和扩展调度平台，所述数据库中心设置有异域网络接口，基于无线网络与异地备份中心进行数据交互，扩展调度平台分别与异地备份中心和数据库中心进行数据交互；
所述数据库中心包括中心数据库和子数据库，用于将中心数据库的数据与子数据库的数据进行双向同步；
所述异地备份中心，用于处理与分析数据库中心的数据，并基于分析结果剔除冗余数据，进行数据库中心的数据存储备份；
所述异地备份中心，包括：
识别模块，用于辨别中心数据库和子数据库输入的数据为有效数据或无效数据，即，确认输入的数据是否与历史数据相匹配，若是，则为无效数据，若否，则为有效数据；
删除模块，用于将无效数据进行删除，同时生成删除日志，有效数据进行数据归类备份；
加密模块，用于建立备份数据包，有效数据保存至备份数据包时，基于数据来源的IP地址建立密钥，密钥与IP地址一一对应；
所述扩展调度平台，用于跟踪并记录子数据库与中心数据库数据变化，建立运行日志，并计算子数据库与中心数据库的风险指数，基于所述风险指数进行风险管理；
所述扩展调度平台，包括：
数据库审计模块，用于跟踪记录子数据库与中心数据库数据变化，审计信息包括变化时间戳，用户代码，操作类型，建立中心数据库数据变化轨迹建立变化日志；
数据提取模块，用于获取子数据库和中心数据库的数据调取规则，根据数据调取规则生成约束条件，提取数据后依据关键词关联关系调取对应子数据集；
流量监测模块，用于获取每个数据接收终端的网络层在传输数据时的流量变动情况，根据每个传输数据时的流量变动情况评估出数据变动规则；
数据完整性检测模块，用于获取每个数据接收终端的历史传输成功数据，解析历史传输成功数据确定其完整性和安全性，根据完整性和安全性评估出目标数据库的威胁风险指数和漏洞风险指数，基于威胁风险指数和漏洞风险指数提高目标数据库的密钥等级。
具体的，通过异地备份中心辨别中心数据库和子数据库输入的数据为有效数据或无效数据，建立备份数据包，有效数据保存至备份数据包时，基于数据来源的IP地址建立密钥，密钥与IP地址一一对应，确保数据的安全性和及时性，实现对中心数据库和子数据库的双向同步与监控，保证中心数据库和子数据库的数据冗余和数据安全；扩展调度平台跟踪记录子数据库与中心数据库数据变化，实现数据操作回溯，提供详细的运行日志输出，基于流量及变化规则了解数据库中排使用率高的数据，数据提取与多个子数据相关联，并将关联数据保存在不同的子数据库中，而不是将所有的数据放在一个大仓库中，增加了速度提高了灵活性。
为了解决现有技术中，无法对备份数据进行数据传输效率的优化，导致在数据备份过程中备份时间较长，数据传输效率较低的情况的技术问题，请参阅图1-6，本实施例提供以下技术方案：
所述中心数据库包括：
数据读取单元，用于对子数据库中的动态数据进行读取，确定所述动态数据的数据类型；
数据分类单元，用于基于所述数据类型将动态数据中的数据分类打包生成子数据集，并基于数据类型生成对应标签；
数据确认单元，用于基于标签将动态数据与历史数据一一比对，确认目标数据；
数据传输单元，用于创建目标子数据库与中心数据库的第一通信链路、源子数据库与中心数据库的第二通信链路；
所述数据传输单元，还用于确定第一通信链路和第二通信链路的通信标识，基于通信标识确定目标子数据库与源子数据库的通信链路；
数据写入单元，用于基于目标子数据库与源子数据库的通信链路将源子数据库中的目标数据写入目标子数据库；
数据校验单元，用于获取所述数据中的重要数据，并基于校验标准对重要数据进行校验，并将不符合检验结果的数据进行剔除；
备份连接单元，用于基于日志解析方式将中心数据库的变化数据传输至异地备份中心；
所述数据确认单元，包括：
数据对比模块，用于将接收到的分类后的数据进行结构化和非结构化的确认，基于数据的组成结构的数据储存规则，将接收到的数据与对应组成结构的数据进行比对，得到出现比对差异的数据，确认为目标数据；
标准化模块，用于基于数据格式确定标准化计算规则，并按照计算规则对数据所携带的子数据进行数据标准化；
其中，子数据包括IP数据和时间数据；标准化得到标准IP数据与标准时间数据；
校验模块，用于提取目标数据中的数据段，并对数据段中的字段进行语义关联分析，将与字段语义关联的数据进行匹配，确认数据段是否为异常数据，若是，从数据中提取字段对应的异常数据进行剔除；
所述校验模块，还用于获取IP数据和时间数据，并基于标准IP数据与标准时间数据提取不匹配的IP和时间对应的数据段，确认为异常数据，并将异常数据中的IP数据和时间数据进行剔除；
所述子数据库，包括：
同步项目创建模块，用于创建与子数据库关联的中心数据库，将关联的中心数据库IP地址与数据库名称进行储存，建立子数据库与中心数据库的数据交互通道，并基于数据交互通道实时向中心数据库获取数据；
参数融合模块，用于确认中心数据库采集或接收到的数据，并将数据参数基于历史数据参数进行融合处理，获得符合子数据库使用的新参数，同时依据新参数生成储存模型；
数据关联同步模块，用于基于储存模型将数据储存在各个储存节点上，在储存过程中对数据进行分解，得到若干个子数据；
提取子数据中的重要字段，分析重要字段的语义，建立语义相关联的各个子数据关联关系，根据关联关系进行解析，得到关键词，将关键词与各个子数据一一关联；
所述同步项目创建模块建立子数据库与中心数据库的数据交互通道，具体为：
在所述子数据库和中心数据库创建同步账户并赋予同步权限，建立数据同步规则，确定子数据库和中心数据库中的同步表数据，建立表和表之间的映射关系；
监听并读取子数据库获取到的变更数据后，将所述变更数据写入子数据库本地生成的数据库变更日志中，基于所述映射关系将所述子数据库本地生成的数据库变更日志中的数据同步复制到中心数据库本地生成的数据库变更日志中，中心数据库提取所述变更数据；
监听并读取中心数据库获取到的变更数据后，将所述变更数据写入中心数据库本地生成的数据库变更日志中，基于所述映射关系将所述中心数据库本地生成的数据库变更日志中的数据同步复制到子数据库本地生成的数据库变更日志中，子数据库提取所述变更数据；
所述数据写入单元中，基于目标子数据库与原子数据库的通信链路将原子数据库中的目标数据写入目标子数据库中，还包括，确定通信链路的传输性能，具体为：
第一计算模块，用于：
获取对目标数据在通信链路中进行传输的传输周期以及传输周期中每个时间段对应要传输目标数据的数据量；
基于传输周期以及以及传输周期中每个时间段对应要传输目标数据的数据量计算目标数据在通信链路中进行数据传输的吞吐量；
其中，r表示目标数据在通信链路中进行数据传输的吞吐量；T表示传输周期，且T＝{t1，t2，...，ti}，且t1表示传输周期中第1个时间段；t2表示传输周期中第2个时间段；ti表示传输周期中第i个时间段；i表示传输周期中当前个时间段；R(ti)表示在传输周期中第i个时间段中要传输目标数据的数据量；
第二计算模块，用于根据如下公式计算目标数据在传输周期内的能耗；
其中，P表示目标数据在传输周期内的能耗；α表示能耗系数，且取值范围为(0，1)；φ(ti)表示在传输周期中第i个时间段中对目标数据进行传输所消耗的能量；
评估模块，用于：
基于目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周内内的能耗，对目标数据在通信链路中进行数据传输的传输效率进行评估，获得目标传输效率；
将目标传输效率与效率阈值进行比较，判断目标数据在通信链路中进行数据传输是否合格；
当目标传输效率等于或大于效率阈值时，则判定目标数据在通信链路中进行数据传输合格；
否则，则判定目标数据在通信链路中进行数据传输不合格；
优化模块，用于当目标数据在通信链路中进行数据传输不合格时，基于目标传输效率与效率阈值的差值确定优化因子，并基于优化因子对通信链路进行优化。
该实施例中，对目标数据在通信链路中进行数据传输的传输效率进行评估例如可以是目标数据在通信链路中进行数据传输的吞吐量越大，则在通信链路中进行数据传输的传输效率越高，目标数据在传输周期内的能耗越低，则目标数据在通信链路中进行数据传输的传输效率越高。
该实施例中，效率阈值可以是提前设定好的，用来衡量目标数据在通信链路中进行数据传输是否合格的标准。
具体的，通过数据读取单元确定动态数据的数据类型，数据写入单元将目标数据写入目标子数据库，同时通过数据校验单元对写入的目标数据进行数据段提取，并对数据段中的内容进行校验，判断该内容是否为异常数据，并将异常数据进行剔除，再讲剔除完成的目标数据通过备份连接单元发送至异地备份中心进行备份，实现数据同步，同时具有存储和处理能力，处理新数据以及对其进行的任何类型的分析，通过计算目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周期内的能耗从而有利于精准评估目标数据在通信链路中进行数据传输的传输效率，进而当不符合效率阈值时，则进行优化处理，从而提高目标数据在通信链路进行传输的效率。
为了解决现有技术中，无法在数据处理和数据传输过程中保障数据本身的安全性，无法对每个接收端的风险和漏洞进行分析，造成数据存在风险的技术问题，请参阅图1-6，本实施例提供以下技术方案：
获取目标数据库存在的威胁风险指数和漏洞风险指数，并基于威胁风险指数和漏洞风险指数计算目标数据库发生故障的故障概率值，且基于故障概率值计算目标数据库的风险指标值，具体步骤包括：
根据如下公式计算目标数据库发生故障的故障概率值：
其中，P表示目标数据库发生故障的故障概率值，且取值范围为(0，1)；m表示目标数据库发生故障的次数；i表示目标数据库中包含的当前的数据层个数；n表示目标数据库中包含的数据层的总个数；Mi表示目标数据库中第i个数据层的运行次数；α表示目标数据库存在的威胁风险指数；p(α)表示目标数据库由威胁风险指数引起的故障的故障概率值，且取值范围为(0，1)；p(q|α)表示目标数据库在威胁风险指数下发生故障的条件概率值；q表示目标数据库发生故障的事件；β表示目标数据库存在的漏洞风险指数；p(β)表示目标数据库由漏洞风险指数引起的故障的故障概率值，且取值范围为(0，1)；p(q|β)表示目标数据库在漏洞风险指数下发生故障的条件概率值；
根据如下公式计算目标数据库的风险指标值：
φ＝(1-μ)＊P＊Risk(lm|ω，kt)；
其中，φ表示目标数据库的风险指标值；μ表示误差因子，且取值范围为(0，1)；P表示目标数据库发生故障的故障概率值，且取值范围为(0，1)；Im表示由于目标数据库发生故障而与数据同步以及数据备份联系的一种影响；ω表示目标数据库发生故障时的故障状态；kt表示目标数据库在发生故障后下一时刻的运行状态；t表示目标数据库在发生故障后的下一时刻；Risk(·)表示稳定风险指标；Risk(Im|ω，kt)表示目标数据库在发生故障后下一时刻运行状态的稳定风险指标值；μ表示误差因子，且取值范围为(0.02，0.05)；
将计算得到的风险指标值与预设风险指标值进行比较；
若计算得到的风险指标值小于预设风险指标值，判定目标数据库的安全等级在预期范围内，同时，确定风险指标值与预设风险指标值之间的目标差值，并当目标差值超出预设差值阈值时，向管理终端发送第一预警提醒；
否则，判定目标数据库的安全等级较低，并对目标数据库进行安全自检，确定目标数据库中的风险因素；
将风险因素进行整合，并基于整合结果向向管理终端发送第二预警提醒。
该实施例中，目标数据库中包含的数据层是用于存储不同种类的数据，且目标数据库在运行时，默认在同一时间只能有一个数据层进行运行。
该实施例中，风险指标值是用于表征目标数据库在故障概率以及发生故障的严重程度的影响下的威胁程度，取值越大表明目标数据库的安全等级越低，否则，表明目标数据库的安全等级越高。
该实施例中，Risk(Im|ω，kt)表示目标数据库在发生故障后下一时刻运行状态的稳定风险指标值是表征故障对目标数据库在发生故障后下一时刻的影响程度，取值越大表明对目标数据库的运行效果影响越严重。
具体的，通过计算目标数据库的故障概率值，实现对目标数据库的风险指标值进行准确可靠的计算，从而便于根据风险指标值对目标数据库的安全等级进行准确有效的把握，且便于在目标数据库的安全等级较低时，及时采取相应措施对目标数据库进行处理，保障了目标数据库中数据的安全。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种用于同步子数据库数据的实时双向同步系统，其特征在于：包括数据库中心、异地备份中心和扩展调度平台，所述数据库中心设置有异域网络接口，基于无线网络与异地备份中心进行数据交互，扩展调度平台分别与异地备份中心和数据库中心进行数据交互；
所述数据库中心包括中心数据库和子数据库，用于将中心数据库的数据与子数据库的数据进行双向同步；
所述异地备份中心，用于处理与分析数据库中心的数据，并基于分析结果剔除冗余数据，进行数据库中心的数据存储备份；
所述扩展调度平台，用于跟踪并记录子数据库与中心数据库数据变化，建立运行日志，并计算子数据库与中心数据库的风险指数，基于所述风险指数进行风险管理。
2.如权利要求1所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述中心数据库包括：
数据读取单元，用于对子数据库中的动态数据进行读取，确定所述动态数据的数据类型；
数据分类单元，用于基于所述数据类型将动态数据中的数据分类打包生成子数据集，并基于数据类型生成对应标签；
数据确认单元，用于基于标签将动态数据与历史数据一一比对，确认目标数据；
数据传输单元，用于创建目标子数据库与中心数据库的第一通信链路、源子数据库与中心数据库的第二通信链路；
所述数据传输单元，还用于确定第一通信链路和第二通信链路的通信标识，基于通信标识确定目标子数据库与源子数据库的通信链路；
数据写入单元，用于基于目标子数据库与源子数据库的通信链路将源子数据库中的目标数据写入目标子数据库；
数据校验单元，用于获取所述数据中的重要数据，并基于校验标准对重要数据进行校验，并将不符合检验结果的数据进行剔除；
备份连接单元，用于基于日志解析方式将中心数据库的变化数据传输至异地备份中心。
3.如权利要求2所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述数据写入单元中，基于目标子数据库与原子数据库的通信链路将原子数据库中的目标数据写入目标子数据库中，还包括，确定通信链路的传输性能，具体为：
第一计算模块，用于：
获取对目标数据在通信链路中进行传输的传输周期以及传输周期中每个时间段对应要传输目标数据的数据量；
基于传输周期以及以及传输周期中每个时间段对应要传输目标数据的数据量计算目标数据在通信链路中进行数据传输的吞吐量；
其中，r表示目标数据在通信链路中进行数据传输的吞吐量；T表示传输周期，且T＝{t1，t2，...，ti}，且t1表示传输周期中第1个时间段；t2表示传输周期中第2个时间段；ti表示传输周期中第i个时间段；i表示传输周期中当前个时间段；R(ti)表示在传输周期中第i个时间段中要传输目标数据的数据量；
第二计算模块，用于根据如下公式计算目标数据在传输周期内的能耗；
其中，P表示目标数据在传输周期内的能耗；α表示能耗系数，且取值范围为(0，1)；φ(ti)表示在传输周期中第i个时间段中对目标数据进行传输所消耗的能量；
评估模块，用于：
基于目标数据在通信链路中进行数据传输的吞吐量与目标数据在传输周内内的能耗，对目标数据在通信链路中进行数据传输的传输效率进行评估，获得目标传输效率；
将目标传输效率与效率阈值进行比较，判断目标数据在通信链路中进行数据传输是否合格；
当目标传输效率等于或大于效率阈值时，则判定目标数据在通信链路中进行数据传输合格；
否则，则判定目标数据在通信链路中进行数据传输不合格；
优化模块，用于当目标数据在通信链路中进行数据传输不合格时，基于目标传输效率与效率阈值的差值确定优化因子，并基于优化因子对通信链路进行优化。
4.如权利要求3所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述数据确认单元，包括：
数据对比模块，用于将接收到的分类后的数据进行结构化和非结构化的确认，基于数据的组成结构的数据储存规则，将接收到的数据与对应组成结构的数据进行比对，得到出现比对差异的数据，确认为目标数据；
标准化模块，用于基于数据格式确定标准化计算规则，并按照计算规则对数据所携带的子数据进行数据标准化；
其中，子数据包括IP数据和时间数据；标准化得到标准IP数据与标准时间数据；
校验模块，用于提取目标数据中的数据段，并对数据段中的字段进行语义关联分析，将与字段语义关联的数据进行匹配，确认数据段是否为异常数据，若是，从数据中提取字段对应的异常数据进行剔除；
所述校验模块，还用于获取IP数据和时间数据，并基于标准IP数据与标准时间数据提取不匹配的IP和时间对应的数据段，确认为异常数据，并将异常数据中的IP数据和时间数据进行剔除。
5.如权利要求4所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述子数据库，包括：
同步项目创建模块，用于创建与子数据库关联的中心数据库，将关联的中心数据库IP地址与数据库名称进行储存，建立子数据库与中心数据库的数据交互通道，并基于数据交互通道实时向中心数据库获取数据；
参数融合模块，用于确认中心数据库采集或接收到的数据，并将数据参数基于历史数据参数进行融合处理，获得符合子数据库使用的新参数，同时依据新参数生成储存模型；
数据关联同步模块，用于基于储存模型将数据储存在各个储存节点上，在储存过程中对数据进行分解，得到若干个子数据，提取子数据中的重要字段，分析重要字段的语义，建立语义相关联的各个子数据关联关系，根据关联关系进行解析，得到关键词，将关键词与各个子数据一一关联。
6.如权利要求5所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述同步项目创建模块建立子数据库与中心数据库的数据交互通道，具体为：
在所述子数据库和中心数据库创建同步账户并赋予同步权限，建立数据同步规则，确定子数据库和中心数据库中的同步表数据，建立表和表之间的映射关系；
监听并读取子数据库获取到的变更数据后，将所述变更数据写入子数据库本地生成的数据库变更日志中，基于所述映射关系将所述子数据库本地生成的数据库变更日志中的数据同步复制到中心数据库本地生成的数据库变更日志中，中心数据库提取所述变更数据；
监听并读取中心数据库获取到的变更数据后，将所述变更数据写入中心数据库本地生成的数据库变更日志中，基于所述映射关系将所述中心数据库本地生成的数据库变更日志中的数据同步复制到子数据库本地生成的数据库变更日志中，子数据库提取所述变更数据。
7.如权利要求6所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述异地备份中心，包括：
识别模块，用于辨别中心数据库和子数据库输入的数据为有效数据或无效数据，即，确认输入的数据是否与历史数据相匹配，若是，则为无效数据，若否，则为有效数据；
删除模块，用于将无效数据进行删除，同时生成删除日志，有效数据进行数据归类备份；
加密模块，用于建立备份数据包，有效数据保存至备份数据包时，基于数据来源的IP地址建立密钥，密钥与IP地址一一对应。
8.如权利要求7所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：所述扩展调度平台，包括：
数据库审计模块，用于跟踪记录子数据库与中心数据库数据变化，审计信息包括变化时间戳，用户代码，操作类型，建立中心数据库数据变化轨迹建立变化日志；
数据提取模块，用于获取子数据库和中心数据库的数据调取规则，根据数据调取规则生成约束条件，提取数据后依据关键词关联关系调取对应子数据集；
流量监测模块，用于获取每个数据接收终端的网络层在传输数据时的流量变动情况，根据每个传输数据时的流量变动情况评估出数据变动规则；
数据完整性检测模块，用于获取每个数据接收终端的历史传输成功数据，解析历史传输成功数据确定其完整性和安全性，根据完整性和安全性评估出目标数据库的威胁风险指数和漏洞风险指数，基于威胁风险指数和漏洞风险指数提高目标数据库的密钥等级。
9.如权利要求8所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：获取目标数据库存在的威胁风险指数和漏洞风险指数，并基于威胁风险指数和漏洞风险指数计算目标数据库发生故障的故障概率值，且基于故障概率值计算目标数据库的风险指标值，具体步骤包括：
根据如下公式计算目标数据库发生故障的故障概率值：
其中，P表示目标数据库发生故障的故障概率值，且取值范围为(0，1)；m表示目标数据库发生故障的次数；i表示目标数据库中包含的当前的数据层个数；n表示目标数据库中包含的数据层的总个数；Mi表示目标数据库中第i个数据层的运行次数；α表示目标数据库存在的威胁风险指数；p(α)表示目标数据库由威胁风险指数引起的故障的故障概率值，且取值范围为(0，1)；p(q|α)表示目标数据库在威胁风险指数下发生故障的条件概率值；q表示目标数据库发生故障的事件；β表示目标数据库存在的漏洞风险指数；p(β)表示目标数据库由漏洞风险指数引起的故障的故障概率值，且取值范围为(0，1)；p(q|β)表示目标数据库在漏洞风险指数下发生故障的条件概率值；
根据如下公式计算目标数据库的风险指标值：
φ＝(1-μ)＊P＊Risk(Im|ω，kt)；
其中，φ表示目标数据库的风险指标值；μ表示误差因子，且取值范围为(0，1)；P表示目标数据库发生故障的故障概率值，且取值范围为(0，1)；Im表示由于目标数据库发生故障而与数据同步以及数据备份联系的一种影响；ω表示目标数据库发生故障时的故障状态；kt表示目标数据库在发生故障后下一时刻的运行状态；t表示目标数据库在发生故障后的下一时刻；Risk(·)表示稳定风险指标；Risk(Im|ω，kt)表示目标数据库在发生故障后下一时刻运行状态的稳定风险指标值；μ表示误差因子，且取值范围为(0.02，0.05)。
10.如权利要求9所述的一种用于同步子数据库数据的实时双向同步系统，其特征在于：将计算得到的风险指标值与预设风险指标值进行比较；
若计算得到的风险指标值小于预设风险指标值，判定目标数据库的安全等级在预期范围内，同时，确定风险指标值与预设风险指标值之间的目标差值，并当目标差值超出预设差值阈值时，向管理终端发送第一预警提醒；
否则，判定目标数据库的安全等级较低，并对目标数据库进行安全自检，确定目标数据库中的风险因素；
将风险因素进行整合，并基于整合结果向向管理终端发送第二预警提醒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310990709.XA CN117041269A (zh) | 2023-08-08 | 2023-08-08 | 一种用于同步子数据库数据的实时双向同步系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310990709.XA CN117041269A (zh) | 2023-08-08 | 2023-08-08 | 一种用于同步子数据库数据的实时双向同步系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117041269A true CN117041269A (zh) | 2023-11-10 |
Family
ID=88634714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310990709.XA Pending CN117041269A (zh) | 2023-08-08 | 2023-08-08 | 一种用于同步子数据库数据的实时双向同步系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117041269A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117349384A (zh) * | 2023-12-04 | 2024-01-05 | 四川才子软件信息网络有限公司 | 一种数据库同步的方法、系统及设备 |
| CN118121169A (zh) * | 2024-05-06 | 2024-06-04 | 中国人民解放军总医院第二医学中心 | 一种可远程数据传输的多功能生命体征监测仪 |
-
2023
- 2023-08-08 CN CN202310990709.XA patent/CN117041269A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117349384A (zh) * | 2023-12-04 | 2024-01-05 | 四川才子软件信息网络有限公司 | 一种数据库同步的方法、系统及设备 |
| CN117349384B (zh) * | 2023-12-04 | 2024-03-15 | 四川才子软件信息网络有限公司 | 一种数据库同步的方法、系统及设备 |
| CN118121169A (zh) * | 2024-05-06 | 2024-06-04 | 中国人民解放军总医院第二医学中心 | 一种可远程数据传输的多功能生命体征监测仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117041269A (zh) | 一种用于同步子数据库数据的实时双向同步系统 | |
| US11429614B2 (en) | Systems and methods for data quality monitoring | |
| CN111027615B (zh) | 基于机器学习的中间件故障预警方法和系统 | |
| AU2019275633B2 (en) | System and method of automated fault correction in a network environment | |
| CN113189451A (zh) | 配电网故障定位研判方法、系统、计算机设备和存储介质 | |
| CN109740772A (zh) | 基于大数据的铁路列车检测维修分析方法 | |
| CN118133339B (zh) | 一种基于数据行为特征分析的合规智能预警系统及预警方法 | |
| CN111126970A (zh) | 一种基于数据一致性的运营管理系统及方法 | |
| CN114154035A (zh) | 一种动环监控的数据处理系统 | |
| CN117172753A (zh) | 一种基于移动互联网的智慧水电站巡检系统及方法 | |
| CN117726036A (zh) | 污染源监测设备的智慧管理系统、方法及存储介质 | |
| CN103678423A (zh) | 数据文件导入系统、装置及方法 | |
| CN113407374A (zh) | 故障处理方法、装置、故障处理设备及存储介质 | |
| CN113065580A (zh) | 一种基于多信息融合的电厂设备管理方法及系统 | |
| CN112700082A (zh) | 变电站关口计量大数据分析与在线监测系统和方法 | |
| CN116541728A (zh) | 一种基于密度聚类的故障诊断方法及装置 | |
| US20230297460A1 (en) | Information providing system, information providing method and recording medium | |
| CN113378239B (zh) | 一种数据内容确权方法及系统 | |
| CN113297146A (zh) | 地方监管报送数据的处理模型及方法 | |
| CN113220585A (zh) | 一种故障自动诊断方法及相关装置 | |
| CN112884466A (zh) | 应用于区块链支付的区块链节点验证方法及可读存储介质 | |
| CN117902474B (zh) | 一种基于多模态数据分析的起重机安全监测系统及方法 | |
| CN115174155B (zh) | 工业主机终端安全防护方法、存储介质及计算机装置 | |
| CN112711679B (zh) | 一种基于信息化平台的飞机接装故障管理系统及管理方法 | |
| CN117827825A (zh) | 一种OpenStack云平台运行状态的异常检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |