CN117648202A - 一种异构系统数据同步过程死循环检测方法、系统及介质 - Google Patents
一种异构系统数据同步过程死循环检测方法、系统及介质 Download PDFInfo
- Publication number
- CN117648202A CN117648202A CN202410123886.2A CN202410123886A CN117648202A CN 117648202 A CN117648202 A CN 117648202A CN 202410123886 A CN202410123886 A CN 202410123886A CN 117648202 A CN117648202 A CN 117648202A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- data information
- change
- loop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000008569 process Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 110
- 230000001360 synchronised effect Effects 0.000 claims abstract description 97
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 238000012216 screening Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 abstract description 25
- 230000004048 modification Effects 0.000 abstract description 25
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 8
- 230000003068 static effect Effects 0.000 abstract description 8
- 230000000737 periodic effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及一种异构系统数据同步过程死循环检测方法、系统及介质,方法包括:监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息;将同步的数据信息的转化为特征向量,并基于同步规则记录发生同步的数据信息在单位时间窗口内的变化字段;对若干个连续单位时间窗口的发生同步的数据信息的变化字段周期性检测,以获取变化字段的出现的频次,若变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。能够实现零侵入原异构流程系统,可以在数据同步发生前做静态检测,通过分析配置和脚本。可以在数据同步过程中做动态检测,定位出引起循环的字段,能够智能区分人工的正常修改和其它原因引起的异常修改。
Description
技术领域
本发明涉及信息管理领域,特别是涉及一种异构系统数据同步过程死循环检测方法、系统及介质。
背景技术
体量较大的企业在生产、销售过程中往往需要使用到多套软件系统,不同系统间必然存在数据的同步,数据同步可以是多个对象,数据流向也可以是双向的。
当整个数据同步流程变得复杂时,就容易出现环状循环数据同步,这除了浪费多个系统的资源,还会由于资源的限制,对其他正常的数据同步过程造成影响。并且,在实际生产环境中,这种情况往往难以发现。
在多个系统之间进行数据同步时,当数据同步的过程比较复杂时,容易出现的无法自终止的环状链路,即死循环。这种数据同步死循环类似于单一计算机程序中的死循环,如果不发现可能严重耗费各个系统的计算机CPU等资源,影响其他正常业务进行。并且,这种数据同步死循环可能由于数据在各个系统间流转,且过程复杂,一次循环耗时长,更不容易察觉。
发明内容
基于此,有必要针对多个系统中数据同步时发生死循环的状况无法及时发现,导致耗费各个系统的资源的问题,提供一种异构系统数据同步过程死循环检测方法、系统及介质。
一种异构系统数据同步过程死循环检测方法,包括:
监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息;
将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段;
对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。
在其中一个优选实施方式中,将所述同步的数据信息的转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段,包括:
对所述发生同步的数据信息进行死循环预筛选。
在其中一个优选实施方式中,对所述发生同步的数据信息进行死循环预筛选,包括:
记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量;
基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段。
在其中一个优选实施方式中,所述记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量,包括:
上述t为每个时间窗口对应的时段,为对应的数据,/>为数据/>在对应的时间窗口/>是否发生变化的判断结果。
在其中一个优选实施方式中,所述对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现的频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步,包括:
在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次;
若所述数据信息内的同一字段,在预设周期内的多个时间窗口发生变化的频次大于频次阈值,则发送死循环告警信息或中断数据同步。
在其中一个优选实施方式中,所述在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次,包括:
顺序记录发生同步的数据信息所包含的对应字段,通过向量值函数记录每个字段发生变化,并得到对应字段的判断结果:
其中,代表发生同步的数据信息,/>代表时间窗口,/>代表发生同步的数据信息的第/>个字段,/>代表数据信息/>,在对应时间窗口/>中,第/>个字段是否发生变化的判断结果;
基于所述判断结果,提取预设周期内所有发生变化的字段对应的时间窗口,以得到所有字段发生变化的时间窗口的间隔值及变化数量;
基于所述间隔值及变化数量,通过自相关系数ACF计算,获取变化字段的自相关性值;
将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步。
在其中一个优选实施方式中,所述通过自相关系数ACF计算,获取变化字段的自相关性值,包括:
判断所述变化字段在预设周期内的变化的间隔次数L,若存在间隔次数L,令:
所述变化字段的自相关性值满足:
为时间窗口数量。
在其中一个优选实施方式中,将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步,包括:
发送死循环告警信息或中断数据同步的同时,记录同步数据及对应字段以及所述间隔次数L。
本实施方式中,上述方法利用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本。再者是可以在数据同步过程中做动态检测,精确定位出引起循环的字段,最后能够智能区分人工的正常修改和其它原因引起的异常修改。
一种异构系统数据同步过程死循环检测系统,包括:
数据同步监测模块,用于监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息;
同步数据记录模块,将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段;
死循环判断模块,用以对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。
本实施方式中,上述系统利用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本。再者是可以在数据同步过程中做动态检测,精确定位出引起循环的字段,最后能够智能区分人工的正常修改和其它原因引起的异常修改。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现以上所述的一种异构系统数据同步过程死循环检测方法。
本实施方式中,上述计算机可读存储介质通过执行上述方法利用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本。再者是可以在数据同步过程中做动态检测,精确定位出引起循环的字段,最后能够智能区分人工的正常修改和其它原因引起的异常修改。
附图说明
图1为异构系统数据流转过程中一种常见的出现死循环数据同步的情况;
图2为本发明第一优选实施方式中的一种异构系统数据同步过程死循环检测方法的流程示意图;
图3为本发明第一优选实施方式中的一种异构系统数据同步过程死循环检测方法中的步骤S30的流程示意图;
图4为本发明第二优选实施方式中的一种异构系统数据同步过程死循环检测系统中的模块结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“设置于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的,并不表示是唯一的实施方式。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示,在异构系统的数据流转过程中,当操作人员需要对异构系统之间的流程信息进行同步时,需要通过其中一个系统(例如系统1)修改数据并进行数据同步,此时,上述操作人员对其中修改数据的事件可以看作为随机事件,由于数据修改的时间导致系统1中的对象A数据发生变化;接着,由于异构系统之间的具有数据同步程序的存在,该数据同步程序可以包括同步规则1以及同步规则2,导致系统2的对象B基于上述同步规则1发生变化,同时由于上述系统2内部存在流程,对象B数据变化后,修改对象C的数据。对象C的数据变化,基于上述同步规则2,系统1中的对象D同步发生变化。同理,由于系统1内部存在流程,若对象D数据变化后,修改对象A数据。此时,当每个系统内或系统间数据流转过程都满足条件时,就会出现以上死循环数据同步。
针对类似此种发生数据流程流转的过程中发生死循环数据同步的情况发生,需要对死循环的请进行进行检测。
如图2及图3所示,本发明第一优选实施方式公开了一种异构系统数据同步过程死循环检测方法,包括:
S10:监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息。
本步骤中,通过在异构系统之间的数据传输过程中,连接数据同步的监测装置,该监测装置用来监测异构系统之间的同步数据,并以时间轴的顺序记录发生不同的数据信息。
具体地,上述监测装置可以获取并监测上述异构系统之间的发生同步的数据信息,以及异构系统之间同步规则,并对所获取的数据信息及同步规则信息进行解析。上述所获取的数据信息包括数据信息对应的ID以及变化字段等。
S20:将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段。
本步骤中,设定单位时间窗口t,上述将上述同步的数据信息转化为特征向量,并基于同步规则以消息队列的方式记录上述发生同步的数据信息的变化字段,这样便可以得到每个单位时间窗口t的发生同步的数据信息对应的变化字段。
具体地,按固定时间间隔划分时间窗口,记为变量t,记录当前时间窗口内数据是否发生变化。实际上只储存数据v发生同步的时间窗口集合,发生同步的数据信息在对应的时间窗口是否发生变化的判断结果:
上述t为每个时间窗口对应的时段,为对应的数据,/>为数据/>在对应的时间窗口/>是否发生变化的判断结果。
设定的预设时段T内的所有时间窗口,发生同步的数据信息都发生同步时,即,t∈T;认为该数据可能存在死循环同步,开启对该数据进行同步特征向量记录。
接着基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段。
上述步骤中,在将上述同步的数据信息转化为特征向量之前,本步骤还可以对上述同步的数据信息进行预筛选,以减少计算机系统的负担。具体地,本步骤还可以包括:
对所述发生同步的数据信息进行死循环预筛选。
上述通过记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量。
S30:对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。
具体地,上述步骤S30具体可以包括以下细分步骤:
S31:在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次;
更详细地说,本分步骤具体可以通过顺序记录发生同步的数据信息所包含的对应字段,通过向量值函数记录每个字段发生变化,并得到对应字段的判断结果:
其中,代表发生同步的数据信息,/>代表时间窗口,/>代表发生同步的数据信息的第/>个字段,/>代表数据信息/>中的第/>个字段、在对应时间窗口/>中是否发生变化的判断结果。
进一步地,基于上述得到的判断结果,提取预设周期内所有发生变化的字段对应的时间窗口,以得到所有字段发生变化的时间窗口的间隔值及变化数量。
基于所述间隔值及变化数量,通过自相关系数ACF计算,获取变化字段的自相关性值;
判断所述变化字段在预设周期内的变化的间隔次数L,若存在间隔次数L,令:
所述变化字段的自相关性值满足:
为时间窗口数量。
将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步。
发送死循环告警信息或中断数据同步的同时,记录同步数据及对应字段以及所述间隔次数L。
S32:若所述数据信息内的同一字段,在预设周期内的多个时间窗口发生变化的频次大于频次阈值,则发送死循环告警信息或中断数据同步。
基于所述间隔值及变化数量,通过自相关系数ACF计算,获取变化字段的自相关性值;
将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步。
本实施方式中,监控模块对某条数据接收到的时间窗口时长总和达到设定时间长度/>后,进行周期性检测。
根据一段时间内的向量数组,对每个存在变化的字段,统计其每个变化间隔次数出现的频率,如果某个变化间隔次数的频率大于50%,认为该字段很可能间隔/>次就会触发一次同步。假设/>内的时间窗口分别为/>,K为时间窗口数量。对/>的每个值/>,遍历/>,取出所有令/>的/>值,记为/>;计算/>,/>,/>.../>之间的可能间隔值及其数量,记作/>,/>为可能的间隔值,/>为数量。遍历/>,计算是否存在/>,令>0.5。
如果存在L,设,使用自相关系数ACF计算,校验自相关性。本实施方式中,计算的自相关系数/>大于0.8时,可以认为该字段存在循环同步,且每间隔L次同步一次。记存在L且/>>0.8的/>值为/>,/>,/>.../>。通过装置记录的信息,转换为字段/>,用于发送告警到数据同步管理员,或者直接中断同步。
本实施方式中,上述方法利用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本。再者是可以在数据同步过程中做动态检测,精确定位出引起循环的字段,最后能够智能区分人工的正常修改和其它原因引起的异常修改。
如图4所示,本发明第二优选实施方式公开了一种异构系统数据同步过程死循环检测系统100,系统100包括数据同步监测模块110、同步数据记录模块120以及死循环判断模块130。
上述数据同步监测模块110用以监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息。
数据同步监测模块110通过在异构系统之间的数据传输过程中,连接并实现数据同步,监测模块110,该数据同步监测模块110用来监测异构系统之间的同步数据,并以时间轴的顺序记录发生不同的数据信息。
具体地,数据同步监测模块110可以获取并监测上述异构系统之间的发生同步的数据信息,以及异构系统之间同步规则,并对所获取的数据信息及同步规则信息进行解析。上述所获取的数据信息包括数据信息对应的ID以及变化字段等。
同步数据记录模块120用以将所述发生同步的数据信息的转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段。
同步数据记录模块120设定单位时间窗口t,并将上述同步的数据信息转化为特征向量,并基于同步规则以消息队列的方式记录上述发生同步的数据信息的变化字段,这样便可以得到每个单位时间窗口t的发生同步的数据信息对应的变化字段。
具体地,按固定时间间隔划分时间窗口,记为变量t,记录当前时间窗口内数据是否发生变化。实际上只储存数据v发生同步的时间窗口集合,发生同步的数据信息在对应的时间窗口是否发生变化的判断结果:
上述t为每个时间窗口对应的时段,为对应的数据,/>为数据/>在对应的时间窗口/>是否发生变化的判断结果。
设定的预设时段T内的所有时间窗口,发生同步的数据信息都发生同步时,即,t∈T;认为该数据可能存在死循环同步,开启对该数据进行同步特征向量记录。
接着基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段。
同步数据记录模块120在将上述同步的数据信息转化为特征向量之前,同步数据记录模块120还可以对上述同步的数据信息进行预筛选,以减少计算机系统的负担。具体地,同步数据记录模块120还可以包括数据预筛选单元,数据预筛选单元对所述发生同步的数据信息进行死循环预筛选。
上述通过记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量。
上述死循环判断模块130用以对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。
具体地,死循环判断模块130包括字段变化频次记录单元131以及死循环判断单元132:
字段变化频次记录单元131在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次;
更详细地说,本分步骤具体可以通过顺序记录发生同步的数据信息所包含的对应字段,通过向量值函数记录每个字段发生变化,并得到对应字段的判断结果:
其中,代表发生同步的数据信息,/>代表时间窗口,/>代表发生同步的数据信息的第/>个字段,/>代表数据信息/>中的第/>个字段、在对应时间窗口/>中是否发生变化的判断结果。
进一步地,基于上述得到的判断结果,提取预设周期内所有发生变化的字段对应的时间窗口,以得到所有字段发生变化的时间窗口的间隔值及变化数量。
基于所述间隔值及变化数量,通过自相关系数ACF计算,获取变化字段的自相关性值;
判断所述变化字段在预设周期内的变化的间隔次数L,若存在间隔次数L,令:
所述变化字段的自相关性值满足:
为时间窗口数量。
将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步。
发送死循环告警信息或中断数据同步的同时,记录同步数据及对应字段以及所述间隔次数L。
死循环判断单元132用以若所述数据信息内的同一字段,在预设周期内的多个时间窗口发生变化的频次大于频次阈值,则发送死循环告警信息或中断数据同步。
本实施方式中,上述死循环判断单元132基于所述间隔值及变化数量,通过自相关系数ACF计算,获取变化字段的自相关性值;
将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步。
本实施方式中,监控模块对某条数据接收到的时间窗口时长总和达到设定时间长度/>后,进行周期性检测。
根据一段时间内的向量数组,对每个存在变化的字段,统计其每个变化间隔次数出现的频率,如果某个变化间隔次数的频率大于50%,认为该字段很可能间隔/>次就会触发一次同步。假设/>内的时间窗口分别为/>,K为时间窗口数量。对/>的每个值/>,遍历/>,取出所有令/>的/>值,记为/>;计算/>,/>,/>.../>之间的可能间隔值及其数量,记作/>,/>为可能的间隔值,/>为数量。遍历/>,计算是否存在/>,令>0.5。
如果存在L,设,使用自相关系数ACF计算,校验自相关性。本实施方式中,计算的自相关系数/>大于0.8时,可以认为该字段存在循环同步,且每间隔L次同步一次。记存在L且/>>0.8的/>值为/>,/>,/>.../>。通过装置记录的信息,转换为字段/>,用于发送告警到数据同步管理员,或者直接中断同步。
本实施方式中,上述方法利用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本。再者是可以在数据同步过程中做动态检测,精确定位出引起循环的字段,最后能够智能区分人工的正常修改和其它原因引起的异常修改。
本实施方式中,上述系统100用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本。再者是可以在数据同步过程中做动态检测,精确定位出引起循环的字段,最后能够智能区分人工的正常修改和其它原因引起的异常修改。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现以上所述的一种异构系统数据同步过程死循环检测方法。
本实施方式中,上述计算机可读存储介质通过执行上述方法,利用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本。再者是可以在数据同步过程中做动态检测,精确定位出引起循环的字段,最后能够智能区分人工的正常修改和其它原因引起的异常修改。
需要说明的是,上述的计算机储存介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是(但不限于)电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机储存介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机储存介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机储存介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种异构系统数据同步过程死循环检测方法,其特征在于,包括:
监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息;
将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段;
对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。
2.根据权利要求1所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段,包括:
对所述发生同步的数据信息进行死循环预筛选。
3.根据权利要求2所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述对所述发生同步的数据信息进行死循环预筛选,包括:
记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量;
基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段。
4.根据权利要求3所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量,包括:
上述t为每个时间窗口对应的时段,为对应的数据,/>为数据/>在对应的时间窗口是否发生变化的判断结果。
5.根据权利要求1所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步,包括:
在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次;
若所述数据信息内的同一字段,在预设周期内的多个时间窗口发生变化的频次大于频次阈值,则发送死循环告警信息或中断数据同步。
6.根据权利要求5所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次,包括:
顺序记录发生同步的数据信息所包含的对应字段,通过向量值函数记录每个字段发生变化,并得到对应字段的判断结果:
其中,代表发生同步的数据信息,/>代表时间窗口,/>代表发生同步的数据信息的第/>个字段,/>代表数据信息/>,在对应时间窗口/>中,第/>个字段是否发生变化的判断结果;
基于所述判断结果,提取预设周期内所有发生变化的字段对应的时间窗口,以得到所有字段发生变化的时间窗口的间隔值及变化数量;
基于所述间隔值及变化数量,通过自相关系数ACF计算,获取变化字段的自相关性值;
将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步。
7.根据权利要求6所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述通过自相关系数ACF计算,获取变化字段的自相关性值,包括:
判断所述变化字段在预设周期内的变化的间隔次数L,若存在间隔次数L,令:
所述变化字段的自相关性值满足:
为时间窗口数量。
8.根据权利要求7所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步,包括:
发送死循环告警信息或中断数据同步的同时,记录同步数据及对应字段以及所述间隔次数L。
9.一种异构系统数据同步过程死循环检测系统,其特征在于,包括:
数据同步监测模块,用于监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息;
同步数据记录模块,将所述同步的数据信息的转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段;
死循环判断模块,用以对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至8中任一项所述的一种异构系统数据同步过程死循环检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410123886.2A CN117648202B (zh) | 2024-01-30 | 2024-01-30 | 一种异构系统数据同步过程死循环检测方法、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410123886.2A CN117648202B (zh) | 2024-01-30 | 2024-01-30 | 一种异构系统数据同步过程死循环检测方法、系统及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117648202A true CN117648202A (zh) | 2024-03-05 |
CN117648202B CN117648202B (zh) | 2024-05-14 |
Family
ID=90045555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410123886.2A Active CN117648202B (zh) | 2024-01-30 | 2024-01-30 | 一种异构系统数据同步过程死循环检测方法、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117648202B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1532704A (zh) * | 2003-03-20 | 2004-09-29 | 华为技术有限公司 | 一种死循环的检测方法 |
CN101526958A (zh) * | 2009-04-09 | 2009-09-09 | 中兴通讯股份有限公司 | 一种iptv系统模块间数据同步的方法及系统 |
US20090313311A1 (en) * | 2008-06-12 | 2009-12-17 | Gravic, Inc. | Mixed mode synchronous and asynchronous replication system |
CN104376017A (zh) * | 2013-08-15 | 2015-02-25 | 阿里巴巴集团控股有限公司 | 在数据库之间进行数据同步的方法及系统 |
CN104462462A (zh) * | 2014-12-16 | 2015-03-25 | 用友软件股份有限公司 | 基于业务变化频度的数据仓库建模方法和建模装置 |
CN108108477A (zh) * | 2018-01-04 | 2018-06-01 | 焦点科技股份有限公司 | 一种联动的kpi系统及权限管理系统 |
US20200314180A1 (en) * | 2019-03-28 | 2020-10-01 | Servicenow, Inc. | Identifying and mitigating configuration item flapping |
CN115809048A (zh) * | 2022-11-15 | 2023-03-17 | 武汉晨曦芸峰科技有限公司 | 一种多字段并发修改的计算方法、系统、设备及存储介质 |
CN116964573A (zh) * | 2021-03-02 | 2023-10-27 | 国际商业机器公司 | 使用多个存储设备复制数据改变并跟踪存储在存储设备上的未决数据改变的记录 |
-
2024
- 2024-01-30 CN CN202410123886.2A patent/CN117648202B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1532704A (zh) * | 2003-03-20 | 2004-09-29 | 华为技术有限公司 | 一种死循环的检测方法 |
US20090313311A1 (en) * | 2008-06-12 | 2009-12-17 | Gravic, Inc. | Mixed mode synchronous and asynchronous replication system |
CN101526958A (zh) * | 2009-04-09 | 2009-09-09 | 中兴通讯股份有限公司 | 一种iptv系统模块间数据同步的方法及系统 |
CN104376017A (zh) * | 2013-08-15 | 2015-02-25 | 阿里巴巴集团控股有限公司 | 在数据库之间进行数据同步的方法及系统 |
CN104462462A (zh) * | 2014-12-16 | 2015-03-25 | 用友软件股份有限公司 | 基于业务变化频度的数据仓库建模方法和建模装置 |
CN108108477A (zh) * | 2018-01-04 | 2018-06-01 | 焦点科技股份有限公司 | 一种联动的kpi系统及权限管理系统 |
US20200314180A1 (en) * | 2019-03-28 | 2020-10-01 | Servicenow, Inc. | Identifying and mitigating configuration item flapping |
CN116964573A (zh) * | 2021-03-02 | 2023-10-27 | 国际商业机器公司 | 使用多个存储设备复制数据改变并跟踪存储在存储设备上的未决数据改变的记录 |
CN115809048A (zh) * | 2022-11-15 | 2023-03-17 | 武汉晨曦芸峰科技有限公司 | 一种多字段并发修改的计算方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117648202B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9871582B2 (en) | Optical channel telemetry | |
CN111124819B (zh) | 全链路监控的方法和装置 | |
CN104584483B (zh) | 用于自动确定服务质量降级的原因的方法和设备 | |
CN109743356B (zh) | 工业互联网数据采集方法及装置、可读存储介质和终端 | |
CN108595448B (zh) | 信息推送方法和装置 | |
CN109309698B (zh) | 数据处理系统、方法和装置 | |
CN112737894B (zh) | 网络质量监控方法和装置、存储介质和电子设备 | |
CN114389975B (zh) | 网络带宽预估方法、装置、系统、电子设备及存储介质 | |
CN107204875A (zh) | 数据上报链路监测方法、装置、电子设备及存储介质 | |
JP5711675B2 (ja) | ネットワーク異常検出装置およびネットワーク異常検出方法 | |
CN111162945B (zh) | 一种告警关联关系的确定方法、装置、设备及存储介质 | |
CN111932348B (zh) | 针对异常订单的报警方法、装置、电子设备和可读介质 | |
CN117648202B (zh) | 一种异构系统数据同步过程死循环检测方法、系统及介质 | |
CN110245120B (zh) | 流式计算系统及流式计算系统的日志数据处理方法 | |
CN108694107A (zh) | 消息队列的积压量监控方法、装置、可读介质和电子设备 | |
CN111385150A (zh) | 用于获取信息的方法及装置 | |
CN116578911A (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
CN112749204B (zh) | 一种读取数据的方法和装置 | |
CN111680754B (zh) | 图像分类方法、装置、电子设备及计算机可读存储介质 | |
US20190004885A1 (en) | Method and system for aiding maintenance and optimization of a supercomputer | |
CN114328078A (zh) | 一种阈值动态计算方法、装置及计算机可读存储介质 | |
CN113746862A (zh) | 一种基于机器学习的异常流量检测方法、装置和设备 | |
CN112527622A (zh) | 一种性能测试结果分析方法和装置 | |
CN107566187B (zh) | 一种sla违例监测方法、装置和系统 | |
CN117056663B (zh) | 一种数据处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |