CN117743473B - 一种数据管理同步性能监测系统 - Google Patents
一种数据管理同步性能监测系统 Download PDFInfo
- Publication number
- CN117743473B CN117743473B CN202410182132.4A CN202410182132A CN117743473B CN 117743473 B CN117743473 B CN 117743473B CN 202410182132 A CN202410182132 A CN 202410182132A CN 117743473 B CN117743473 B CN 117743473B
- Authority
- CN
- China
- Prior art keywords
- data
- tested
- synchronization
- database
- preset time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 191
- 238000013523 data management Methods 0.000 title claims abstract description 80
- 230000001360 synchronised effect Effects 0.000 claims abstract description 23
- 238000013500 data storage Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000008439 repair process Effects 0.000 claims description 11
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据管理同步性能监测系统。该数据管理同步性能监测系统,包括数据存储监测模块、数据备份监测模块和数据同步性能监测模块。本发明通过数据存储监测模块监测待测系统的第一数据库中数据的变化,获取第一待测数据并发送给数据同步性能监测模块,然后通过数据备份监测模块监测待测系统的第二数据库中数据的变化,获取第二待测数据并发送给数据同步性能监测模块,最后由数据同步性能监测模块根据接收的数据计算待测系统的数据同步性能指数,根据数据同步性能指数监测对应的数据管理同步性能,达到了提高数据管理同步性能监测准确率的效果,解决了现有技术中数据管理同步性能监测准确率低的问题。
Description
技术领域
本发明涉及数据管理技术领域,尤其涉及一种数据管理同步性能监测系统。
背景技术
数据管理是指对组织或个人的数据资源进行有效的组织、存储、检索、分析、共享和保护的过程,具体包括数据的收集、存储、处理、分发、使用和维护等各个环节的管理。数据管理的目标是确保数据的完整性、可用性、可靠性和安全性,以便支持组织的决策和业务需求。同步性能监测是数据管理中的一个重要方面,它关注的是数据的同步性,即确保不同数据源之间的数据保持一致性。数据的不同步将会对业务决策和操作的准确性产生影响,也无法满足实时业务需求,对于数据的可靠性和用户体验都是不利的。
现有技术中,常通过数据库触发器、消息队列、变化数据获取技术以及日志文件来实现数据同步与性能监测,数据库触发器可以监测数据的变化,消息队列可以监听并处理数据变更,变化数据获取技术可以捕获并跟踪数据,日志文件可以识别数据的不同步。
例如公告号为:CN116308305B公告的一种桥梁健康监测数据管理系统,包括:采集桥梁健康的监测数据;获取每个监测位置每个时刻的加速度变化量及加速度变化规律,根据加速度变化量及加速度变化规律获取每个监测位置每个时刻的第一异常程度;根据同一时刻不同监测位置的加速度数据及加速度变化量,获取若干车辆估计位置及其准确度,进而得到若干车辆经过位置;根据同一时刻车辆经过位置及其准确度、不同监测位置及其加速度变化量与第一异常程度,获取每个监测位置每个时刻的第二异常程度,根据第二异常程度得到清洗数据;根据清洗数据完成桥梁健康监测数据的管理。
例如公告号为:CN110060128B公告的一种数据管理方法及系统,包括:建立委托订单模型,通过统一的概念、模型、接口来提供一致性的数据管理解决方案,为各种业务场景中事件的发生、受理、结束整个生命周期提供统一的数据管理模式,并形成统一格式的数据,方便第三方业务系统接入时追溯历史数据,获取信息。
但本申请在实现本申请实施例中发明技术方案的过程中,发现上述技术至少存在如下技术问题:
现有技术中,运用数据库触发器、消息队列、变化数据获取技术以及日志文件来实现数据同步与监测操作复杂,需要进行频繁的数据同步操作,均导致数据管理同步性能监测耗时耗力,存在数据管理同步性能监测准确率低的问题。
发明内容
本申请实施例通过提供一种数据管理同步性能监测系统,解决了现有技术中数据管理同步性能监测准确率低的问题,实现了数据管理同步性能监测准确率的提高。
本申请实施例提供了一种数据管理同步性能监测系统,包括数据存储监测模块、数据备份监测模块和数据同步性能监测模块:其中,所述数据存储监测模块用于;监测待测系统的第一数据库中数据的变化,获取第一待测数据,并将获取的第一待测数据发送给数据同步性能监测模块,所述待测系统的第一数据库用于存储待测系统需要保存的数据,所述第一待测数据为各预设时间段内获取的待测系统的第一数据库中更新的数据;所述数据备份监测模块用于;监测待测系统的第二数据库中数据的变化,获取第二待测数据,并将第二待测数据发送给数据同步性能监测模块,所述待测系统的第二数据库用于备份待测系统的第一数据库中的数据,所述第二待测数据为各预设时间段内获取的待测系统的第二数据库中更新的数据;所述数据同步性能监测模块用于:接收数据存储监测模块发送的第一待测数据和数据备份监测模块发送的第二待测数据,根据接收的数据计算待测系统的数据同步性能指数,所述数据同步性能指数用于描述待测系统的第一数据库和第二数据库中数据的同步程度。
进一步的,所述数据存储监测模块包括存储数据访问监测单元、存储数据更新监测单元和存储数据获取单元;所述存储数据访问监测单元:用于监测待测系统的第一数据库的第一存储数据访问接口的访问数据,所述第一存储数据访问接口用于访问待测系统的第一数据库中存储的数据,所述访问数据包括访问时刻、访问时长、访问次数和访问频率;所述存储数据更新监测单元:用于监测待测系统的第一数据库的第一存储数据更新接口的更新数据,所述第一存储数据更新接口用于更新待测系统的第一数据库中存储的数据,所述更新数据包括更新时刻、更新时长、更新次数和更新内容;所述存储数据获取单元:用于获取各预设时间段内待测系统的第一数据库的第一待测数据。
进一步的,所述数据备份监测模块包括备份数据访问监测单元、备份数据更新监测单元和备份数据获取单元;所述备份数据访问监测单元:用于监测待测系统的第二数据库的第二备份数据访问接口的访问数据,所述第二备份数据访问接口用于访问待测系统的第二数据库中备份的数据;所述备份数据更新监测单元:用于监测待测系统的第二数据库的第二备份数据更新接口的更新数据,所述第二备份数据更新接口用于更新待测系统的第二数据库中备份的数据;所述备份数据获取单元:用于获取各预设时间段待测系统的第二数据库的第二待测数据。
进一步的,所述数据同步性能监测模块包括数据接收单元、系统网络监测单元、数据预警单元和数据同步性能指数计算单元;所述数据接收单元:用于接收数据存储监测模块和数据备份监测模块发送的数据,并临时保存至计算出各预设时间段内待测系统的数据同步性能指数;所述系统网络监测单元:用于获取各预设时间段内待测系统所用网络的网络性能数据,所述网络性能数据包括所用网络的带宽数据和网速数据所述数据预警单元:用于根据监测的待测系统的数据异常情况向数据管理人员发出预警信息,请求数据管理人员进行处理,所述数据异常情况包括数据访问异常、数据同步延迟和数据同步故障;所述数据同步性能指数计算单元:用于根据数据接收单元、系统网络监测单元和数据预警单元获取的数据计算各预设时间段内待测系统的数据同步性能指数。
进一步的,所述数据同步性能指数采用以下公式计算;,式中,/>为自然常数,/>为预设时间段的编号,/>,/>为预设时间段的总数量,/>为第/>个预设时间段内待测系统的数据同步性能指数,/>为第/>个预设时间段内待测系统的数据同步速度指数,/>为数据同步速度指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步准确性指数,/>为数据同步准确性指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步稳定性指数,/>为数据同步稳定性指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步可用性指数,/>为数据同步可用性指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步预警指数,/>为数据同步预警指数的修正因子;所述数据同步速度指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的速度快慢程度;所述数据同步准确性指数用于描述待测系统的第一数据库和第二数据库在数据同步后的数据一致性情况,所述数据一致性情况用于描述第一待测数据和第二待测数据的相似性和相异性程度;所述数据同步稳定性指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据稳定性程度;所述数据同步可用性指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据可用性程度;所述数据同步预警指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据异常预警能力。
进一步的,所述数据同步速度指数的具体计算方法如下;,式中,/>为第/>个预设时间段待测系统所用网络的网速数据,/>为待测系统所用网络的网速数据的修正因子,/>为待测系统所用网络的参考网速数据,/>为第/>个预设时间段待测系统所用网络的带宽数据,为待测系统所用网络的带宽数据的修正因子,/>为待测系统所用网络的参考带宽数据,/>为第/>个预设时间段待测系统的数据更新次数,/>为待测系统的参考数据更新次数,/>为第/>个预设时间段内待测系统的数据更新复杂分数,/>为待测系统的参考数据更新复杂分数,/>为待测系统的数据更新复杂分数的修正因子;所述数据更新复杂分数的计算公式如下:/>,式中,/>为第/>个预设时间段待测系统的第一待测数据的数据量,/>为参考同步数据量,/>为第/>个预设时间段待测系统的第一待测数据的复杂度,/>为参考同步数据复杂度。
进一步的,所述数据同步准确性指数采用以下公式:,式中,/>为第/>个预设时间段待测系统的第一待测数据和第二待测数据的相似性数据,/>为待测系统的第一待测数据和第二待测数据的相似性数据的修正因子,/>为第/>个预设时间段待测系统的第一待测数据和第二待测数据的相异性数据,/>为待测系统的第一待测数据和第二待测数据的相异性数据的修正因子。
进一步的,所述数据同步稳定性指数采用以下公式计算:,式中,/>为第/>个预设时间段待测系统的第一数据库的更新次数,/>为第/>个预设时间段待测系统的第二数据库的更新次数,/>为第/>个预设时间段的数据同步延迟时长,/>为第/>个预设时间段的数据同步故障修复时长,/>为第/>个预设时间段的时长;所述数据同步延迟时长通过待测系统的第一数据库的更新时间和对应的第二数据库的更新时间计算;所述数据同步故障修复时长用于描述待测系统出现数据同步故障情况时的修复时间。
进一步的,所述数据同步可用性指数的计算公式如下:,式中,/>为第/>个预设时间段待测系统的第二数据库的访问次数,/>为第/>个预设时间段待测系统的第一数据库的访问次数,/>为第/>个预设时间段待测系统的第一数据库的数据使用时长,所述数据使用时长包括访问时长和更新时长,/>为第/>个预设时间段的时长。
进一步的,所述数据同步预警指数采用以下公式计算:,式中,/>为第/>个预设时间段待测系统的数据同步延迟预警成功率,/>为第/>个预设时间段待测系统的数据同步故障预警成功率;所述数据同步延迟预警成功率用于描述该预设时间段内待测系统的数据同步延迟预警次数与数据同步延迟次数的比例;所述数据同步故障预警成功率用于描述该预设时间段内待测系统的数据同步故障预警次数与数据同步故障次数的比例。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、通过数据存储监测模块获取待测系统的第一待测数据并发送给数据同步性能监测模块,然后通过数据备份监测模块获取第二待测数据并发送给数据同步性能监测模块,最后通过数据同步性能监测模块计算待测系统的数据同步性能指数以监测对应的数据管理同步性能,从而实现了准确的监测数据管理同步性能,进而实现了数据管理同步性能监测准确率的提高,有效解决了现有技术中数据管理同步性能监测准确率低的问题。
2、通过获取待测系统所用网络的网速数据和带宽数据,然后获取待测系统的数据更新次数,接着获取待测系统的第一待测数据的数据量和复杂度,再计算数据更新复杂分数,最后结合对应的参考数据计算待测系统的数据同步速度指数,从而实现了数据管理同步速度的数值化,进而实现了数据管理同步速度的更准确监测。
3、通过对获取的待测系统的第一待测数据和第二待测数据进行相似性计算,得到相似性数据,然后对两组数据进行相异性计算,获取对应的相异性数据,最后根据得到的相似性数据和相异性数据计算待测系统的数据同步准确性指数,从而实现了待测系统数据管理同步准确性的数值化,进而实现了更准确的检测数据管理同步准确性。
附图说明
图1为本申请实施例提供的一种数据管理同步性能监测系统的结构示意图;
图2为本申请实施例提供的一种数据管理同步性能监测系统中数据存储监测模块的结构示意图;
图3为本申请实施例提供的一种数据管理同步性能监测系统中数据备份监测模块的结构示意图;
图4为本申请实施例提供的一种数据管理同步性能监测系统中数据同步性能监测模块的结构示意图。
具体实施方式
本申请实施例通过提供一种数据管理同步性能监测系统,解决了现有技术中数据管理同步性能监测准确率低的问题,通过数据存储监测模块监测待测系统的第一数据库中数据的变化,获取第一待测数据并发送给数据同步性能监测模块,然后通过数据备份监测模块监测待测系统的第二数据库中数据的变化,获取第二待测数据并发送给数据同步性能监测模块,接着由数据同步性能监测模块根据接收的数据计算待测系统的数据同步速度指数、数据同步准确性指数、数据同步稳定性指数、数据同步可用性指数和数据同步预警指数,再根据计算的这些指数计算各预设时间段的数据同步性能指数,最后根据计算的数据同步性能指数监测对应的数据管理同步性能,实现了数据管理同步性能监测准确率的提高。
本申请实施例中的技术方案为解决上述数据管理同步性能监测准确率低的问题,总体思路如下:
通过数据存储监测模块获取第一待测数据并发送给数据同步性能监测模块,然后通过数据备份监测模块获取第二待测数据并发送给数据同步性能监测模块,最后由数据同步性能监测模块根据接收的数据计算待测系统的数据同步性能指数以监测对应的数据管理同步性能,达到了提高数据管理同步性能监测准确率的效果。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示,为本申请实施例提供的一种数据管理同步性能监测系统的结构示意图,本申请实施例提供的一种数据管理同步性能监测系统包括数据存储监测模块、数据备份监测模块和数据同步性能监测模块:其中,数据存储监测模块用于;监测待测系统的第一数据库中数据的变化,获取第一待测数据,并将获取的第一待测数据发送给数据同步性能监测模块,待测系统的第一数据库用于存储待测系统需要保存的数据,第一待测数据为各预设时间段内获取的待测系统的第一数据库中更新的数据;数据备份监测模块用于;监测待测系统的第二数据库中数据的变化,获取第二待测数据,并将第二待测数据发送给数据同步性能监测模块,待测系统的第二数据库用于备份待测系统的第一数据库中的数据,第二待测数据为各预设时间段内获取的待测系统的第二数据库中更新的数据;数据同步性能监测模块用于:接收数据存储监测模块发送的第一待测数据和数据备份监测模块发送的第二待测数据,根据接收的数据计算待测系统的数据同步性能指数,数据同步性能指数用于描述待测系统的第一数据库和第二数据库中数据的同步程度。
在本实施例中,数据管理的目标是确保数据的完整性、可用性、可靠性和安全性,其中关键步骤就是数据同步;数据的备份是防止原数据因为系统故障等原因无法被访问或出现错误等;数据同步性能指数将待测系统中数据同步的性能数值化,方便更直观的监测待测系统的数据同步情况;实现了数据管理同步性能监测准确率的提高。
进一步的,如图2所示,为本申请实施例提供的一种数据管理同步性能监测系统中数据存储监测模块的结构示意图,数据存储监测模块包括存储数据访问监测单元、存储数据更新监测单元和存储数据获取单元;存储数据访问监测单元:用于监测待测系统的第一数据库的第一存储数据访问接口的访问数据,第一存储数据访问接口用于访问待测系统的第一数据库中存储的数据,访问数据包括访问时刻、访问时长、访问次数和访问频率;存储数据更新监测单元:用于监测待测系统的第一数据库的第一存储数据更新接口的更新数据,第一存储数据更新接口用于更新待测系统的第一数据库中存储的数据,更新数据包括更新时刻、更新时长、更新次数和更新内容;存储数据获取单元:用于获取各预设时间段内待测系统的第一数据库的第一待测数据。
在本实施例中,第一存储数据访问接口应满足对待测系统中可能存在的各种数据的检索,实现检索条件自定义功能;第一存储数据更新接口可对数据同步的时间、频率、数据类型等进行设置;对于数据类型的设置,可以提前根据系统的功能进行研究,比如在技贸措施信息服务平台对应的系统中,就需要提前研究对应的数据,如贸易伙伴和区域全面经济伙伴关系协定(Regional Comprehensive Economic Partnership,RCEP)国家的技贸相关资料,再如权威智库、各大行业协会和其他研究院所等机构的技贸相关研究报告、专题数据库等,以及全球主要经济体技贸领域应对案例、研究论文、著作等,根据这些数据限定了该系统的数据类型;实现了存储数据管理效率的提高。
进一步的,如图3所示,为本申请实施例提供的一种数据管理同步性能监测系统中数据备份监测模块的结构示意图,数据备份监测模块包括备份数据访问监测单元、备份数据更新监测单元和备份数据获取单元;备份数据访问监测单元:用于监测待测系统的第二数据库的第二备份数据访问接口的访问数据,第二备份数据访问接口用于访问待测系统的第二数据库中备份的数据;备份数据更新监测单元:用于监测待测系统的第二数据库的第二备份数据更新接口的更新数据,第二备份数据更新接口用于更新待测系统的第二数据库中备份的数据;备份数据获取单元:用于获取各预设时间段待测系统的第二数据库的第二待测数据。
在本实施例中,待测系统的第二数据库用于备份待测系统的第一数据库中的数据,第二数据库的第二备份数据访问接口和第二备份数据更新接口对访问及更新的时间、频率等进行监测,有利于实现数据同步任务的管理及自动化运行;实现了备份数据管理效率的提高。
进一步的,如图4所示,为本申请实施例提供的一种数据管理同步性能监测系统中数据同步性能监测模块的结构示意图,数据同步性能监测模块包括数据接收单元、系统网络监测单元、数据预警单元和数据同步性能指数计算单元;数据接收单元:用于接收数据存储监测模块和数据备份监测模块发送的数据,并临时保存至计算出各预设时间段内待测系统的数据同步性能指数;系统网络监测单元:用于获取各预设时间段内待测系统所用网络的网络性能数据,网络性能数据包括所用网络的带宽数据和网速数据;数据预警单元:用于根据监测的待测系统的数据异常情况向数据管理人员发出预警信息,请求数据管理人员进行处理,数据异常情况包括数据访问异常、数据同步延迟和数据同步故障;数据同步性能指数计算单元:用于根据数据接收单元、系统网络监测单元和数据预警单元获取的数据计算各预设时间段内待测系统的数据同步性能指数。
在本实施例中,如图3所示,数据接收单元、系统网络监测单元和数据预警单元都需要将获取的数据发送给数据同步性能指数计算单元,数据同步性能指数计算单元根据这些数据计算对应预设时间段的数据同步性能指数,从而监测待测系统的数据同步性能;待测系统所用网络的情况决定了数据访问、数据传输及数据同步的速度;实现了更直观的监测数据管理同步性能。
进一步的,数据同步性能指数采用以下公式计算;,式中,/>为自然常数,/>为预设时间段的编号,/>,/>为预设时间段的总数量,/>为第/>个预设时间段内待测系统的数据同步性能指数,/>为第/>个预设时间段内待测系统的数据同步速度指数,/>为数据同步速度指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步准确性指数,/>为数据同步准确性指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步稳定性指数,/>为数据同步稳定性指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步可用性指数,/>为数据同步可用性指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步预警指数,/>为数据同步预警指数的修正因子;数据同步速度指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的速度快慢程度;数据同步准确性指数用于描述待测系统的第一数据库和第二数据库在数据同步后的数据一致性情况,数据一致性情况用于描述第一待测数据和第二待测数据的相似性和相异性程度;数据同步稳定性指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据稳定性程度;数据同步可用性指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据可用性程度;数据同步预警指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据异常预警能力。
在本实施例中,数据同步要求存储数据和备份数据保持一致;数据管理同步的过程应该对数据的准确性、稳定性和可用性没有影响,那就要求数据同步速度快,数据同步预警能力强;数据管理同步中,数据同步速度与数据同步准确性至关重要;当某一预设时间段实际的数据同步速度指数、数据同步准确性指数、数据同步稳定性指数、数据同步可用性指数以及数据同步预警指数都为1时,即,/>,/>,且/>,对应的数据同步性能指数达到最优值1;实现了更准确的监测数据管理同步性能。
进一步的,数据同步速度指数的具体计算方法如下;,式中,/>为第/>个预设时间段待测系统所用网络的网速数据,/>为待测系统所用网络的网速数据的修正因子,/>为待测系统所用网络的参考网速数据,/>为第/>个预设时间段待测系统所用网络的带宽数据,为待测系统所用网络的带宽数据的修正因子,/>为待测系统所用网络的参考带宽数据,/>为第/>个预设时间段待测系统的数据更新次数,/>为待测系统的参考数据更新次数,/>为第/>个预设时间段内待测系统的数据更新复杂分数,/>为待测系统的参考数据更新复杂分数,/>为待测系统的数据更新复杂分数的修正因子;数据更新复杂分数的计算公式如下:/>,式中,/>为第/>个预设时间段待测系统的第一待测数据的数据量,/>为参考同步数据量,/>为第/>个预设时间段待测系统的第一待测数据的复杂度,/>为参考同步数据复杂度。
在本实施例中,一般情况下,待测系统所用网络的网速数据和带宽数据不能为0,对于同样的数据,网速数据和带宽数据的增大,都会使数据同步速度变快;在同样的网络速度和网络带宽下,当数据更新次数和数据更新复杂分数超出对应的参考值后,也会降低数据同步速度;一般来说,数据量越大,数据同步速度越慢,数据的复杂度越高,对应的数据同步速度也越慢,当数据量和数据的复杂度都小于对应的参考数据时,即,对应的数据更新复杂分数为0;当数据更新次数、数据更新复杂度分数均小于对应的参考值,即/>,且所用网络的实际网速数据和实际带宽数据均和对应的参考数据相等时,即/>,对应的数据同步性能指数达到最大值1;实现了数据同步速度的更准确监测。
进一步的,数据同步准确性指数采用以下公式:,式中,/>为第/>个预设时间段待测系统的第一待测数据和第二待测数据的相似性数据,为待测系统的第一待测数据和第二待测数据的相似性数据的修正因子,/>为第/>个预设时间段待测系统的第一待测数据和第二待测数据的相异性数据,/>为待测系统的第一待测数据和第二待测数据的相异性数据的修正因子。
在本实施例中,第一待测数据和第二待测数据的相似性数据描述的是这两组数据的相似程度,一般通过距离函数获得,相似性数据的取值范围为0到1;当两组数据的实际相异性数据为0时,即,对应的数据同步准确性指数达到最大值1;数据同步准确性是确保存储数据与备份数据一致和完整的关键因素,实现了数据管理同步准确性的更直观监测。
进一步的,数据同步稳定性指数采用以下公式计算:,式中,/>为第/>个预设时间段待测系统的第一数据库的更新次数,/>为第/>个预设时间段待测系统的第二数据库的更新次数,/>为第/>个预设时间段的数据同步延迟时长,/>为第/>个预设时间段的数据同步故障修复时长,/>为第/>个预设时间段的时长;数据同步延迟时长通过待测系统的第一数据库的更新时间和对应的第二数据库的更新时间计算;数据同步故障修复时长用于描述待测系统出现数据同步故障情况时的修复时间。
在本实施例中,在存储数据与备份数据同步过程中,稳定性是一个关键的性能指标;数据同步稳定性应满足各预设时间段内第一数据库的更新次数与第二数据库的更新次数相等,对应预设时间段的时长内应至少存在一次数据更新操作;当数据同步延迟时长和数据同步故障修复时长越大,对应的数据同步稳定性越差;数据同步稳定性指数最大值为1,此时待测系统的第一数据库和第二数据库的更新次数相等,且数据同步不存在延迟时长和故障修复时长,即满足和/>,实现了数据同步稳定性的更准确监测。
进一步的,数据同步可用性指数的计算公式如下:,式中,/>为第/>个预设时间段待测系统的第二数据库的访问次数,/>为第/>个预设时间段待测系统的第一数据库的访问次数,/>为第/>个预设时间段待测系统的第一数据库的数据使用时长,数据使用时长包括访问时长和更新时长,/>为第/>个预设时间段的时长。
在本实施例中,数据同步可用性指数衡量了待测系统在各预设时间段内能够正常运行和提供服务的能力;当待测系统的第二数据库访问次数为0时,表明此时待测系统的第一数据库可以满足访问需求,即,且对应的数据使用时长和预设时间段的时长相等时,即/>,对应的数据同步可用性指数达到最大值1,表明此时待测系统数据同步对于数据使用没有任何影响;实现了数据同步可用性的更直观监测。
进一步的,数据同步预警指数采用以下公式计算:,式中,/>为第/>个预设时间段待测系统的数据同步延迟预警成功率,/>为第/>个预设时间段待测系统的数据同步故障预警成功率;数据同步延迟预警成功率用于描述该预设时间段内待测系统的数据同步延迟预警次数与数据同步延迟次数的比例;数据同步故障预警成功率用于描述该预设时间段内待测系统的数据同步故障预警次数与数据同步故障次数的比例。
在本实施例中,数据同步过程中数据同步故障的影响比数据同步延迟的影响更大,即当对应的数值相等时,数据同步故障预警成功率对于数据同步预警指数的变化影响更大;当数据同步故障预警成功率和数据同步延迟预警成功率都为1时,即,对应的数据同步预警指数达到最大值1,表明该预设时间段内数据同步预警能力很好;实现了数据管理同步预警能力的更准确监测。
上述本申请实施例中的技术方案,至少具有如下的技术效果或优点:相对于公告号为:CN116308305B公告的一种桥梁健康监测数据管理系统,本申请实施例通过获取待测系统所用网络的网速数据和带宽数据,然后获取待测系统的数据更新次数,接着获取待测系统的第一待测数据的数据量和复杂度,再计算数据更新复杂分数,最后结合对应的参考数据计算待测系统的数据同步速度指数,从而实现了数据管理同步速度的数值化,进而实现了数据管理同步速度的更准确监测;相对于公告号为:CN110060128B公告的一种数据管理方法及系统,本申请实施例通过对获取的待测系统的第一待测数据和第二待测数据进行相似性计算,得到相似性数据,然后对两组数据进行相异性计算,获取对应的相异性数据,最后根据得到的相似性数据和相异性数据计算待测系统的数据同步准确性指数,从而实现了待测系统数据管理同步准确性的数值化,进而实现了更准确的检测数据管理同步准确性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的系统、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦掌握了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型。
Claims (9)
1.一种数据管理同步性能监测系统,其特征在于,包括数据存储监测模块、数据备份监测模块和数据同步性能监测模块:
其中,所述数据存储监测模块用于;监测待测系统的第一数据库中数据的变化,获取第一待测数据,并将获取的第一待测数据发送给数据同步性能监测模块,所述待测系统的第一数据库用于存储待测系统需要保存的数据,所述第一待测数据为各预设时间段内获取的待测系统的第一数据库中更新的数据;
所述数据备份监测模块用于;监测待测系统的第二数据库中数据的变化,获取第二待测数据,并将第二待测数据发送给数据同步性能监测模块,所述待测系统的第二数据库用于备份待测系统的第一数据库中的数据,所述第二待测数据为各预设时间段内获取的待测系统的第二数据库中更新的数据;
所述数据同步性能监测模块用于:接收数据存储监测模块发送的第一待测数据和数据备份监测模块发送的第二待测数据,根据接收的数据计算待测系统的数据同步性能指数,所述数据同步性能指数用于描述待测系统的第一数据库和第二数据库中数据的同步程度;
所述数据同步性能指数采用以下公式计算:
,
式中,为自然常数,/>为预设时间段的编号,/>,/>为预设时间段的总数量,为第/>个预设时间段内待测系统的数据同步性能指数,/>为第/>个预设时间段内待测系统的数据同步速度指数,/>为数据同步速度指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步准确性指数,/>为数据同步准确性指数的修正因子,/>为第个预设时间段内待测系统的数据同步稳定性指数,/>为数据同步稳定性指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步可用性指数,/>为数据同步可用性指数的修正因子,/>为第/>个预设时间段内待测系统的数据同步预警指数,/>为数据同步预警指数的修正因子;
所述数据同步速度指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的速度快慢程度;
所述数据同步准确性指数用于描述待测系统的第一数据库和第二数据库在数据同步后的数据一致性情况,所述数据一致性情况用于描述第一待测数据和第二待测数据的相似性和相异性程度;
所述数据同步稳定性指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据稳定性程度;
所述数据同步可用性指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据可用性程度;
所述数据同步预警指数用于描述待测系统的第一数据库和第二数据库在数据同步过程中的数据异常预警能力。
2.如权利要求1所述一种数据管理同步性能监测系统,其特征在于:所述数据存储监测模块包括存储数据访问监测单元、存储数据更新监测单元和存储数据获取单元;
所述存储数据访问监测单元:用于监测待测系统的第一数据库的第一存储数据访问接口的访问数据,所述第一存储数据访问接口用于访问待测系统的第一数据库中存储的数据,所述访问数据包括访问时刻、访问时长、访问次数和访问频率;
所述存储数据更新监测单元:用于监测待测系统的第一数据库的第一存储数据更新接口的更新数据,所述第一存储数据更新接口用于更新待测系统的第一数据库中存储的数据,所述更新数据包括更新时刻、更新时长、更新次数和更新内容;
所述存储数据获取单元:用于获取各预设时间段内待测系统的第一数据库的第一待测数据。
3.如权利要求2所述一种数据管理同步性能监测系统,其特征在于:所述数据备份监测模块包括备份数据访问监测单元、备份数据更新监测单元和备份数据获取单元;
所述备份数据访问监测单元:用于监测待测系统的第二数据库的第二备份数据访问接口的访问数据,所述第二备份数据访问接口用于访问待测系统的第二数据库中备份的数据;
所述备份数据更新监测单元:用于监测待测系统的第二数据库的第二备份数据更新接口的更新数据,所述第二备份数据更新接口用于更新待测系统的第二数据库中备份的数据;
所述备份数据获取单元:用于获取各预设时间段待测系统的第二数据库的第二待测数据。
4.如权利要求1所述一种数据管理同步性能监测系统,其特征在于:所述数据同步性能监测模块包括数据接收单元、系统网络监测单元、数据预警单元和数据同步性能指数计算单元;
所述数据接收单元:用于接收数据存储监测模块和数据备份监测模块发送的数据,并临时保存至计算出各预设时间段内待测系统的数据同步性能指数;
所述系统网络监测单元:用于获取各预设时间段内待测系统所用网络的网络性能数据,所述网络性能数据包括所用网络的带宽数据和网速数据;
所述数据预警单元:用于根据监测的待测系统的数据异常情况向数据管理人员发出预警信息,请求数据管理人员进行处理,所述数据异常情况包括数据访问异常、数据同步延迟和数据同步故障;
所述数据同步性能指数计算单元:用于根据数据接收单元、系统网络监测单元和数据预警单元获取的数据计算各预设时间段内待测系统的数据同步性能指数。
5.如权利要求1所述一种数据管理同步性能监测系统,其特征在于,所述数据同步速度指数的具体计算方法如下:
,
式中,为第/>个预设时间段待测系统所用网络的网速数据,/>为待测系统所用网络的网速数据的修正因子,/>为待测系统所用网络的参考网速数据,/>为第/>个预设时间段待测系统所用网络的带宽数据,/>为待测系统所用网络的带宽数据的修正因子,为待测系统所用网络的参考带宽数据,/>为第/>个预设时间段待测系统的数据更新次数,/>为待测系统的参考数据更新次数,/>为第/>个预设时间段内待测系统的数据更新复杂分数,/>为待测系统的参考数据更新复杂分数,/>为待测系统的数据更新复杂分数的修正因子;
所述数据更新复杂分数的计算公式如下:
,
式中,为第/>个预设时间段待测系统的第一待测数据的数据量,/>为参考同步数据量,/>为第/>个预设时间段待测系统的第一待测数据的复杂度,/>为参考同步数据复杂度。
6.如权利要求1所述一种数据管理同步性能监测系统,其特征在于,所述数据同步准确性指数采用以下公式:
,
式中,为第/>个预设时间段待测系统的第一待测数据和第二待测数据的相似性数据,/>为待测系统的第一待测数据和第二待测数据的相似性数据的修正因子,/>为第/>个预设时间段待测系统的第一待测数据和第二待测数据的相异性数据,/>为待测系统的第一待测数据和第二待测数据的相异性数据的修正因子。
7.如权利要求1所述一种数据管理同步性能监测系统,其特征在于,所述数据同步稳定性指数采用以下公式计算:
,
式中,为第/>个预设时间段待测系统的第一数据库的更新次数,/>为第/>个预设时间段待测系统的第二数据库的更新次数,/>为第/>个预设时间段的数据同步延迟时长,/>为第/>个预设时间段的数据同步故障修复时长,/>为第/>个预设时间段的时长;
所述数据同步延迟时长通过待测系统的第一数据库的更新时间和对应的第二数据库的更新时间计算;
所述数据同步故障修复时长用于描述待测系统出现数据同步故障情况时的修复时间。
8.如权利要求1所述一种数据管理同步性能监测系统,其特征在于,所述数据同步可用性指数的计算公式如下:
,
式中,为第/>个预设时间段待测系统的第二数据库的访问次数,/>为第/>个预设时间段待测系统的第一数据库的访问次数,/>为第/>个预设时间段待测系统的第一数据库的数据使用时长,所述数据使用时长包括访问时长和更新时长,/>为第/>个预设时间段的时长。
9.如权利要求1所述一种数据管理同步性能监测系统,其特征在于,所述数据同步预警指数采用以下公式计算:
,
式中,为第/>个预设时间段待测系统的数据同步延迟预警成功率,/>为第/>个预设时间段待测系统的数据同步故障预警成功率;
所述数据同步延迟预警成功率用于描述该预设时间段内待测系统的数据同步延迟预警次数与数据同步延迟次数的比例;
所述数据同步故障预警成功率用于描述该预设时间段内待测系统的数据同步故障预警次数与数据同步故障次数的比例。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410182132.4A CN117743473B (zh) | 2024-02-19 | 2024-02-19 | 一种数据管理同步性能监测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410182132.4A CN117743473B (zh) | 2024-02-19 | 2024-02-19 | 一种数据管理同步性能监测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117743473A CN117743473A (zh) | 2024-03-22 |
CN117743473B true CN117743473B (zh) | 2024-05-03 |
Family
ID=90254853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410182132.4A Active CN117743473B (zh) | 2024-02-19 | 2024-02-19 | 一种数据管理同步性能监测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117743473B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111556122A (zh) * | 2020-04-23 | 2020-08-18 | 东电创新(北京)科技发展股份有限公司 | 一种基于窄带宽的视频传输存储方法 |
US10826428B1 (en) * | 2019-12-06 | 2020-11-03 | King Abdulaziz University | Monitoring and fault detection method and system for photovoltaic plants |
CN117221088A (zh) * | 2023-10-08 | 2023-12-12 | 仙桃职业学院 | 一种计算机网络强度检测系统及装置 |
-
2024
- 2024-02-19 CN CN202410182132.4A patent/CN117743473B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10826428B1 (en) * | 2019-12-06 | 2020-11-03 | King Abdulaziz University | Monitoring and fault detection method and system for photovoltaic plants |
CN111556122A (zh) * | 2020-04-23 | 2020-08-18 | 东电创新(北京)科技发展股份有限公司 | 一种基于窄带宽的视频传输存储方法 |
CN117221088A (zh) * | 2023-10-08 | 2023-12-12 | 仙桃职业学院 | 一种计算机网络强度检测系统及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117743473A (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9864676B2 (en) | Bottleneck detector application programming interface | |
CN101876938B (zh) | 一种基于消息队列的应用软件响应时间测量方法及系统 | |
CN108599977B (zh) | 基于统计方法监控系统可用性的系统及方法 | |
CN106940677A (zh) | 一种应用日志数据告警方法及装置 | |
CN112751726B (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
EP4020218B1 (en) | Analyzing large-scale data processing jobs | |
CN112865311B (zh) | 一种电力系统消息总线监视方法和装置 | |
CN110647447B (zh) | 用于分布式系统的异常实例检测方法、装置、设备和介质 | |
CN102982037B (zh) | 检测数据库节点健康状况的方法及装置 | |
CN112699007A (zh) | 监控机器性能的方法、系统、网络设备及存储介质 | |
CN114154035A (zh) | 一种动环监控的数据处理系统 | |
CN111221890B (zh) | 通用指标类自动监控预警方法及装置 | |
CN111240936A (zh) | 一种数据完整性校验的方法及设备 | |
CN106951360B (zh) | 数据统计完整度计算方法和系统 | |
CN112463807A (zh) | 一种数据处理方法、装置、服务器及存储介质 | |
JP6252309B2 (ja) | 監視漏れ特定処理プログラム,監視漏れ特定処理方法及び監視漏れ特定処理装置 | |
CN111581056A (zh) | 基于人工智能的软件工程数据库维护与预警系统 | |
CN117743473B (zh) | 一种数据管理同步性能监测系统 | |
CN113282464A (zh) | 日志监控方法及系统 | |
CN110941536B (zh) | 监控方法及系统、第一服务器集群 | |
CN117632897A (zh) | 动态扩缩容方法及装置 | |
CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
CN113036917B (zh) | 一种基于机器学习的配电网监控信息监视系统和方法 | |
CN109829016B (zh) | 一种数据同步方法及装置 | |
CN116932361A (zh) | 微服务变更评估方法、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |