CN112187579A - 数据传输异常辅助处理方法、装置、设备及可读存储介质 - Google Patents
数据传输异常辅助处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112187579A CN112187579A CN202011041811.8A CN202011041811A CN112187579A CN 112187579 A CN112187579 A CN 112187579A CN 202011041811 A CN202011041811 A CN 202011041811A CN 112187579 A CN112187579 A CN 112187579A
- Authority
- CN
- China
- Prior art keywords
- data line
- baseline
- time period
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Abstract
本申请实施例提供了一种数据传输异常辅助处理方法、装置、设备及可读存储介质,获取预设的采集时间段内的数据线,生成初始数据线基线,数据线包括第一信息,获取更新时间段内的数据线,生成更新数据线基线,更新时间段为采集时间段后、与采集时间段的时长相同的时间段,展示第一类数据线。数据线包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称,第一类数据线为仅包括在初始数据线基线和或更新数据线基线的数据线。可见,通过展示第一类数据线,实现数据传输异常情况的可视化,进一步,第一类数据线对于更新时间段之后数据传输链路具有参考性,有利于对异常情况的排除与处理,降低数据传输异常风险。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据传输异常辅助处理方法、装置、设备及可读存储介质。
背景技术
随着数据中心系统规模的扩大以及业务的快速发展,以系统作为数据传输的节点,节点之间传输数据的链路(即数据传输链路)越来越多,并且节点之间需要传输的数据量越来越大,激增的数据传输链路以及数据量导致传输异常(例如传输错误或失败)的风险增大。
发明内容
本申请提供了一种数据传输异常辅助处理方法、装置、设备及可读存储介质,目的在于降低数据传输异常的风险,如下:
一种数据传输异常辅助处理方法,包括:
获取预设的采集时间段内的数据线,生成初始数据线基线,所述数据线包括第一信息,所述第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称;
获取更新时间段内的所述数据线,生成更新数据线基线,所述更新时间段为所述采集时间段后、与所述采集时间段的时长相同的时间段;
展示第一类数据线,所述第一类数据线为仅包括在所述初始数据线基线或者所述更新数据线基线中的所述数据线。
可选地,第一类数据线包括第一差异数据线和第二差异数据线;
获取所述第一类数据线的过程包括:
将所述初始数据线基线和所述更新数据线基线中均包括的所述数据线作为基础数据线;
将所述初始数据线基线中除所述基础数据线的以外的所述数据线作为所述第一差异数据线;
将所述更新数据线基线中除所述基础数据线的以外的所述数据线作为所述第二差异数据线。
可选地,数据线还包括第二信息,所述第二信息包括文件大小和传输时间。
可选地,本方法还包括:
展示第二类数据线,所述第二类数据线在所述初始数据线基线中的所述第一信息与所述第二类数据线在所述更新数据线基线中的所述第一信息相同,并且所述第二类数据线在所述初始数据线基线中的所述第二信息与所述第二类数据线在所述更新数据线基线中的所述第二信息不同。
可选地,第二类数据包括第三差异数据线和第四差异数据线;
获取所述第二类数据线的过程包括:
若所述基础数据线在所述初始数据线基线中的所述传输时间,与在所述更新数据线基线中的所述传输时间的差值大于预设的第一阈值,则将所述基础数据线作为第三差异数据线;
若所述基础数据线在所述初始数据线基线中的所述文件大小,与在所述更新数据线基线中的所述文件大小的差值大于预设的第二阈值,则将所述基础数据线作为第四差异数据线。
可选地,在所述生成初始数据线基线之后,还包括:
展示所述初始数据线基线;
在所述生成更新数据线基线之后,还包括:
响应于更新指令,调整所述更新数据线基线,所述更新指令指示人工审核所述第一类数据线的审核结果;
展示调整后的所述更新数据线基线。
可选地,在所述生成初始数据线基线之后,还包括:
展示所述初始数据线基线中的冗余数据线,所述冗余数据线为所述第一信息相同的数据线;
在所述调整所述更新数据线基线之后,还包括:
展示所述更新数据线基线中的所述冗余数据线。
一种数据传输异常辅助处理装置,包括:
第一基线获取单元,用于获取预设的采集时间段内的数据线,生成初始数据线基线,所述数据线包括第一信息,所述第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称;
第二基线获取单元,用于获取更新时间段内的所述数据线,生成更新数据线基线,所述更新时间段为所述采集时间段后、与所述采集时间段的时长相同的时间段;
数据线展示单元,用于展示第一类数据线,所述第一类数据线在所述初始数据线基线中的第一信息与所述第一类数据线在所述更新数据线基线中的所述第一信息不同。
一种数据传输异常辅助处理设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如上所述的数据传输异常辅助处理方法的各个步骤。
一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如上所述的数据传输异常辅助处理方法的各个步骤。
由上述技术方案可以看出,本申请实施例提供的数据传输异常辅助处理方法、装置、设备及可读存储介质,获取预设的采集时间段内的数据线,生成初始数据线基线,数据线包括第一信息,第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称,获取更新时间段内的数据线,生成更新数据线基线,更新时间段为采集时间段后、与采集时间段的时长相同的时间段,展示第一类数据线。因为,数据线包括源节点的信息、目的节点的信息、以及文件名称,可见,数据线唯一指示了一条数据传输链路,又因为,第一类数据线为初始数据线基线和更新数据线基线中的第一信息不同的数据线。结合实际应用中,一般情况下,在采集时间段和更新时间段的数据线应该相同,所以第一类数据线指示数据传输异常,本方法通过展示第一类数据线,实现数据传输异常情况的可视化,进一步,第一类数据线对于更新时间段之后数据传输链路具有参考性,有利于对异常情况的排除与处理,降低数据传输异常风险。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据传输异常辅助处理方法的具体实施方式的流程示意图;
图2为本申请实施例提供的一种数据传输异常辅助处理方法的流程示意图;
图3为本申请实施例提供的一种数据传输异常辅助处理装置的结构示意图;
图4为本申请实施例提供的一种数据传输异常辅助处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的数据传输异常辅助处理方法应用于文件系统间传输文件的场景,依据文件的历史传输信息生成数据线基线,并更新数据线基线,数据线基线至少用于数据传输异常的判断依据。本实施例中,预先将每一文件系统作为传输节点,并为每个文件系统配置传输节点的参数信息(例如节点名称、节点配置时间等),用于唯一指示一个文件系统,传输节点之间的数据传输过程受预设的文件传输组件的控制,具体的配置参数信息以及文件传输组件的功能可参见现有技术。图1为本申请实施例提供的一种数据传输异常辅助处理方法的流程示意图,如图1所示,具体可以包括下述S101~S115。
S101、通过预设的采集脚本,获取预设的文件传输组件的数据传输日志。
本实施例中,预设的文件传输组件用于监控传输节点间的数据传输,并以数据传输日志的形式记录数据传输信息,其中,传输节点唯一指示一个文件系统,文件传输组件以数据传输日志的形式记录数据传输信息的方式可以包括多种,例如,记录每一传输节点的输出数据信息以及输入数据信息,输出数据信息至少包括:文件名称、文件大小、输出时间、以及发送文件的源节点的信息(例如源节点的名称),输入数据信息至少包括:文件名称、文件大小、输入时间、以及发送文件的目的节点的信息(例如目的节点的名称)。
需要说明的是,具体的获取数据传输日志的方法可以参见现有技术。
S102、在预设的采集时间段的采集时间点,从数据传输日志中获取采集时间段内的数据线。
本实施例中,预设的采集时间段以及采集时间点可以按照实际应用进行预设,例如,采集时间段为9月12日全天,预设的采集时间段的采集时间点为9月12日的24点。则在9月12日的24点从数据传输日志中获取9月12日内的数据线。
本实施例中,任意一条数据线至少包括第一信息,第一信息包括:作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、和文件名称,文件名称唯一指示传输的文件。需要说明的是,第一信息唯一指示一条数据传输链路,也即当两条数据线的第一信息相同,则表示两条数据为相同的数据传输链路。
本实施例中,任意一条数据线还包括第二信息,第二信息包括:文件大小、以及传输时间。其中,传输时间为源节点发送传输文件的时间,文件大小为文件的数据量。
S103、将获取的采集时间段内的所有数据线保存,形成采集时间段内的数据线基线,作为初始数据线基线。
S104、展示初始数据线基线。
需要说明的是,展示初始数据线基线的方法可以包括多种,具体可以参见现有技术。
进一步需要说明的是,初始数据线基线中包括在采集时间段内的数据线,每条数据线中至少包括第一信息,也即包括源节点的信息、目的节点的信息、和文件名称,因为,数据线中的第一信息唯一指示了一条数据传输链路,本方法通过预设的数据传输日志将在预设周期内的数据传输链路提取并展示,实现了数据传输链路的可视化,相对于现有技术,无需人为梳理数据传输链路。
S105、在更新时间段的采集时间点,从数据传输日志中获取更新时间段内的数据线。
本实施例中,更新时间段为预设的采集时间段后、与采集时间段的时长相同的时间段,例如,采集时间段为9月12日全天,则更新时间段为9月13日全天,更新时间段的采集时间点为9月13日的24点,获取更新时间段内的数据线的方法可以参见S102。
S106、将更新时间段内的数据线保存,形成更新数据线基线。
S107、将初始数据线基线和更新数据线基线中均包括的数据线作为基础数据线。
也即,基础数据线在初始数据线基线中的第一信息与该基础数据线在更新数据线基线中的第一信息相同。
S108、将初始数据线基线中除基础数据线的以外的数据线作为第一差异数据线。
本实施例中,第一差异数据线为在采集时间段内采集的数据线,并且在更新时间段内没有采集到,所以,第一差异数据线指示的数据传输链路在更新时间段内已下线。
需要说明的是,已下线的数据传输链路的下线原因包括多种,例如,文件系统运行异常导致的文件传输失败,或者,响应于人工操作下线。
S109、将更新数据线基线中除基础数据线的以外的数据线作为第二差异数据线。
本实施例中,第二差异数据线为在更新时间段内采集的数据线,并且在采集时间段内没有采集到,所以,第二差异数据线指示的数据传输链路在更新时间段内为新上线的数据传输链路。
需要说明的是,新上线的数据传输链路的上线原因包括多种,例如,文件系统运行异常导致的文件传输错误(目的节点错误),或者,响应于人工操作上线。
S110、若在初始数据线基线中,基础数据线的传输时间,与更新数据线基线中,基础数据线的传输时间的差值大于预设的第一阈值,则将基础数据线作为第三差异数据线。
本实施例中,第三差异数据线虽然在采集时间段内以及更新时间段内均采集到,但是文件传输的时间差异大于预设第一阈值,由于,一般情况下,同一数据线在不同的时间段的文件传输时间应相同或相近,所以,第三差异数据线指示的数据传输链路存在传输时间异常。
S111、若在初始数据线基线中,基础数据线的传输时间,与更新数据线基线中,基础数据线的文件大小的差值大于预设的第二阈值,则将基础数据线作为第四差异数据线。
本实施例中,第四差异数据线虽然在采集时间段内以及更新时间段内均采集到,但是文件传输的数据量差异大于预设第二阈值,由于,一般情况下,同一数据线在不同的时间段的文件传输的数据量的差异应不大于第二阈值,所以,需要说明的是,第四差异数据线指示的数据传输链路存在传输数据量异常。
需要说明的是,第一阈值以及第二阈值作为判断数据线是否异常的依据,可以预先根据实际的文件系统预设,每一数据线的第一阈值(或第二阈值)可以相同也可以不同。
进一步需要说明的是,如图1的虚线框所示,S108~S111为获取指示异常情况的数据线的具体实现方式,本实施例对S108~S111的具体执行顺序不做限定。
S112、展示第一差异数据线,第二差异数据线、第三差异数据线、以及第四差异数据线。
需要说明的是,第一差异数据线指示的数据传输链路在更新时间段内已下线,第二差异数据线指示的数据传输链路在更新时间段内为新上线的数据传输链路,第三差异数据线指示的数据传输链路存在传输时间异常,第四差异数据线指示的数据传输链路存在传输数据量异常,可见,第一差异数据线、第二差异数据线、第三差异数据线、以及第四差异数据线分别指示在文件系统的文件传输过程中的四类异常情况。由于异常情况的产生包括多种原因,所以本实施例通过获取并展示第一差异数据线,第二差异数据线、第三差异数据线、以及第四差异数据线,实现数据传输异常情况的可视化,进一步,差异数据线对于更新时间段之后数据传输链路具有参考性,有利于对异常情况的排除与处理,降低数据传输异常风险。
S113、响应于第一更新指令,将更新数据线基线作为更新时间段的数据线基线,并展示。
需要说明的是,第一更新指令由用户(例如运维人员)审核第一差异数据线,第二差异数据线、第三差异数据线、以及第四差异数据线是否准确后触发,其中,审核第一差异数据线,第二差异数据线、第三差异数据线、以及第四差异数据线的方法可以参见现有技术。
本实施例中,第一更新指令指示审核结果为准确。
S114、响应于第二更新指令,修改更新数据线基线,将修改后的更新数据线基线作为更新时间段的数据线基线。
需要说明的是,第二更新指令由用户(例如运维人员)审核第一差异数据线和/或第二差异数据线后触发。其中,审核第一差异数据线和第二差异数据线的方法可以参见现有技术。
本实施例中,第二更新指令指示审核结果为错误。
本实施中,依据第二更新指令,修改更新数据线基线的方法包括但不限于:
将错误的第一差异数据线增加至更新数据线基线。
将更新数据线基线中错误的第二差异数据线删除。
需要说明的是,当接收到指示审核结果为准确的更新指令后,将更新数据线基线作为更新时间段的数据线基线,接收到指示审核结果为错误的修改指令后,依据修改指令,修改更新数据线基线,提高更新时间段的数据线基线的准确性,避免由于采集过程的错误(例如网络故障导致的漏采集)而导致的数据线异常,提高数据线基线的准确性,并且展示更新时间段的数据线基线,也即展示在更新时间段内的数据线,实现更新时间段内的数据传输链路的可视化。
本实施例中,将更新时间段作为采集时间段,将更新时间段的数据线基线作为初始数据线基线,重复上述S105~S114,可以实现更新时间段之后的时间段的数据线基线采集、第一类数据线(第一差异数据线和第二差异数据线),和/或,第二类数据线(第三差异数据线和第三差异数据线)的获取、以及可视化,具体实现方式参见上述S105~S114,本实施例不做赘述。
S115、在更新时间段的数据线基线中,获取冗余数据线并展示。
本实施例中,冗余数据线为更新时间段的数据线基线包括的数据线中,第一信息相同的数据线,也即多条数据线的源节点的信息、目的节点的信息、以及文件名称均相同。需要说明的是,本方法可以获取每一时间段(采集时间段或更新时间段)的数据线基线,本步骤仅以更新时间段的数据线基线为例。
需要说明的是,当多条数据线的源节点的信息、目的节点的信息、以及文件名称均相同,则表示在同一时间段内,源节点向目的节点传输文件的次数为多次,在实际应用中,源节点向目的节点传输同一文件的次数超过一次,则存在重复传输的情况,重复传输容易导致浪费存储资源和网络带宽。
可见,本方法通过获取并展示冗余数据线,将文件重复传输情况可视化,为及时发现并处理文件重复传输情况提供依据,有助于节约存储资源以及网络带宽。
需要说明的是,处理文件重复传输情况的方法参见现有技术。
需要说明的是,图1所示的流程仅为本申请实施例提供的一种数据传输异常辅助处理方法的具体实施方式,本申请实施例提供的数据传输异常辅助处理方法还可以包括其他的具体实施方式,例如,S101~S102为获取数据线的一种可选的方法,还可以通过其他的方法获取数据线,再例如,S114~S115为响应于更新指令,调整所述更新数据线基线的可选的方法,并且在其他应用场景下,S114~S115为可选的步骤。
将数据传输异常辅助处理方法总结概括为图2所示的流程示意图,如图2所示,本方法可以包括S201~S203。
S201、获取预设的采集时间段内的数据线,生成初始数据线基线。
本实施例中,预设的采集时间段可以按照实际应用进行预设,例如,采集时间段为9月12日全天,则,获取预设的采集时间段内的数据线的方法可以为在预设的采集时间段的采集时间点,从传输日志中获取采集时间段的数据线,具体的一种可选的方法可以参见S101~S102。
本实施例中,数据线包括第一信息,第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称。
需要说明的是,第一信息唯一指示一条数据传输链路,也即当两条数据线的第一信息相同,则表示两条数据为相同的数据传输链路。所以,初始数据线基线可以指示在采集时间段内所有的数据传输链路。
S202、获取更新时间段内的数据线,生成更新数据线基线。
本实施例中,更新时间段为采集时间段后、与采集时间段的时长相同的时间段。
需要说明的是,生成更新数据线基线的一种可选的方法可以参见S105~S106。
S203、展示第一类数据线。
本实施例中,第一类数据线为仅包括在初始数据线基线或者更新数据线基线中的所述数据线。
本实施例中,第一类数据线包括第一差异数据线和/或第二差异数据线,其中,第一差异数据线为仅包括在初始数据线基线中的数据线,。第二差异数据线为仅包括在更新数据线基线中的数据线。
需要说明的是,获取第一类数据线可以参见S107~S109。
进一步需要说明的是,第一类数据线不限于第一差异数据线和/或第二差异数据线,获取第一类数据线还可以包括其他的具体实现方式。
由上述技术方案可以看出,本申请实施例提供的数据传输异常辅助处理方法,获取预设的采集时间段内的数据线,生成初始数据线基线,数据线包括第一信息,第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称,获取更新时间段内的数据线,生成更新数据线基线,更新时间段为采集时间段后、与采集时间段的时长相同的时间段,展示第一类数据线。因为,数据线的第一信息唯一指示了一条数据传输链路,又因为,第一类数据线为仅包括在初始数据线基线或者更新数据线基线中的数据线。实际应用一般情况下,在采集时间段和更新时间段的数据线应该相同,所以第一类数据线指示数据传输异常,本方法通过展示第一类数据线,实现数据传输异常情况的可视化,进一步,第一类对于更新时间段之后数据传输链路具有参考性,有利于对异常情况的排除与处理,降低数据传输异常风险。
图3示出了本申请实施例提供的一种数据传输异常辅助处理装置的结构示意图,如图3所示,该装置可以包括:
第一基线获取单元301,用于获取预设的采集时间段内的数据线,生成初始数据线基线,所述数据线包括第一信息,所述第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称;
第二基线获取单元302,用于获取更新时间段内的所述数据线,生成更新数据线基线,所述更新时间段为所述采集时间段后、与所述采集时间段的时长相同的时间段;
数据线展示单元303,用于展示第一类数据线,所述第一类数据线在所述初始数据线基线中的第一信息与所述第一类数据线在所述更新数据线基线中的所述第一信息不同。
可选地,第一类数据线包括第一差异数据线和第二差异数据线;
可选地,数据传输异常辅助处理装置还包括:第一类数据线获取单元;
第一类数据线获取单元用于获取所述第一类数据线,包括:所述第一类数据线获取单元具体用于:
将所述初始数据线基线和所述更新数据线基线中均包括的所述数据线作为基础数据线;
将所述初始数据线基线中除所述基础数据线的以外的所述数据线作为所述第一差异数据线;
将所述更新数据线基线中除所述基础数据线的以外的所述数据线作为所述第二差异数据线。
可选地,数据线还包括第二信息,所述第二信息包括文件大小和传输时间。
可选地,数据传输异常辅助处理装置还包括第二类数据线展示单元,用于展示第二类数据线,所述第二类数据线在所述初始数据线基线中的所述第一信息与所述第二类数据线在所述更新数据线基线中的所述第一信息相同,并且所述第二类数据线在所述初始数据线基线中的所述第二信息与所述第二类数据线在所述更新数据线基线中的所述第二信息不同。
可选地,第二类数据包括第三差异数据线和第四差异数据线;
可选地,数据传输异常辅助处理装置还包括第二类数据线获取单元;
可选地,第二类数据线获取单元用于获取所述第二类数据线,包括:第二类数据线获取单元具体用于:
若所述基础数据线在所述初始数据线基线中的所述传输时间,与在所述更新数据线基线中的所述传输时间的差值大于预设的第一阈值,则将所述基础数据线作为第三差异数据线;
若所述基础数据线在所述初始数据线基线中的所述文件大小,与在所述更新数据线基线中的所述文件大小的差值大于预设的第二阈值,则将所述基础数据线作为第四差异数据线。
可选地,数据传输异常辅助处理装置还包括第一基线展示单元,用于:
在所述生成初始数据线基线之后展示所述初始数据线基线;
可选地,数据传输异常辅助处理装置还包括第二基线展示单元,用于:
在所述生成更新数据线基线之后,响应于更新指令,调整所述更新数据线基线,所述更新指令指示人工审核所述第一类数据线的审核结果;展示调整后的所述更新数据线基线。
可选地,数据传输异常辅助处理装置还包括第一冗余数据线展示单元,用于在所述生成初始数据线基线之后,展示所述初始数据线基线中的冗余数据线,所述冗余数据线为所述第一信息相同的数据线;
可选地,数据传输异常辅助处理装置还包括第二冗余数据线展示单元,用于在所述调整所述更新数据线基线之后展示所述更新数据线基线中的所述冗余数据线。
图4示出了该数据传输异常辅助处理设备的结构示意图,该设备可以包括:至少一个处理器401,至少一个通信接口402,至少一个存储器403和至少一个通信总线404;
在本申请实施例中,处理器401、通信接口402、存储器403、通信总线404的数量为至少一个,且处理器401、通信接口402、存储器403通过通信总线404完成相互间的通信;
处理器401可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器403可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可执行存储器存储的程序,实现本申请实施例提供的一种数据传输异常辅助处理方法的各个步骤,如下:
一种数据传输异常辅助处理方法,包括:
获取预设的采集时间段内的数据线,生成初始数据线基线,所述数据线包括第一信息,所述第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称;
获取更新时间段内的所述数据线,生成更新数据线基线,所述更新时间段为所述采集时间段后、与所述采集时间段的时长相同的时间段;
展示第一类数据线,所述第一类数据线为仅包括在所述初始数据线基线或者所述更新数据线基线中的所述数据线。
可选地,第一类数据线包括第一差异数据线和第二差异数据线;
获取所述第一类数据线的过程包括:
将所述初始数据线基线和所述更新数据线基线中均包括的所述数据线作为基础数据线;
将所述初始数据线基线中除所述基础数据线的以外的所述数据线作为所述第一差异数据线;
将所述更新数据线基线中除所述基础数据线的以外的所述数据线作为所述第二差异数据线。
可选地,数据线还包括第二信息,所述第二信息包括文件大小和传输时间。
可选地,本方法还包括:
展示第二类数据线,所述第二类数据线在所述初始数据线基线中的所述第一信息与所述第二类数据线在所述更新数据线基线中的所述第一信息相同,并且所述第二类数据线在所述初始数据线基线中的所述第二信息与所述第二类数据线在所述更新数据线基线中的所述第二信息不同。
可选地,第二类数据包括第三差异数据线和第四差异数据线;
获取所述第二类数据线的过程包括:
若所述基础数据线在所述初始数据线基线中的所述传输时间,与在所述更新数据线基线中的所述传输时间的差值大于预设的第一阈值,则将所述基础数据线作为第三差异数据线;
若所述基础数据线在所述初始数据线基线中的所述文件大小,与在所述更新数据线基线中的所述文件大小的差值大于预设的第二阈值,则将所述基础数据线作为第四差异数据线。
可选地,在所述生成初始数据线基线之后,还包括:
展示所述初始数据线基线;
在所述生成更新数据线基线之后,还包括:
响应于更新指令,调整所述更新数据线基线,所述更新指令指示人工审核所述第一类数据线的审核结果;
展示调整后的所述更新数据线基线。
可选地,在所述生成初始数据线基线之后,还包括:
展示所述初始数据线基线中的冗余数据线,所述冗余数据线为所述第一信息相同的数据线;
在所述调整所述更新数据线基线之后,还包括:
展示所述更新数据线基线中的所述冗余数据线。
本申请实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的计算机程序,计算机程序被处理器执行时,实现本申请实施例提供的一种数据传输异常辅助处理方法的各个步骤,如下:
一种数据传输异常辅助处理方法,包括:
获取预设的采集时间段内的数据线,生成初始数据线基线,所述数据线包括第一信息,所述第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称;
获取更新时间段内的所述数据线,生成更新数据线基线,所述更新时间段为所述采集时间段后、与所述采集时间段的时长相同的时间段;
展示第一类数据线,所述第一类数据线为仅包括在所述初始数据线基线或者所述更新数据线基线中的所述数据线。
可选地,第一类数据线包括第一差异数据线和第二差异数据线;
获取所述第一类数据线的过程包括:
将所述初始数据线基线和所述更新数据线基线中均包括的所述数据线作为基础数据线;
将所述初始数据线基线中除所述基础数据线的以外的所述数据线作为所述第一差异数据线;
将所述更新数据线基线中除所述基础数据线的以外的所述数据线作为所述第二差异数据线。
可选地,数据线还包括第二信息,所述第二信息包括文件大小和传输时间。
可选地,本方法还包括:
展示第二类数据线,所述第二类数据线在所述初始数据线基线中的所述第一信息与所述第二类数据线在所述更新数据线基线中的所述第一信息相同,并且所述第二类数据线在所述初始数据线基线中的所述第二信息与所述第二类数据线在所述更新数据线基线中的所述第二信息不同。
可选地,第二类数据包括第三差异数据线和第四差异数据线;
获取所述第二类数据线的过程包括:
若所述基础数据线在所述初始数据线基线中的所述传输时间,与在所述更新数据线基线中的所述传输时间的差值大于预设的第一阈值,则将所述基础数据线作为第三差异数据线;
若所述基础数据线在所述初始数据线基线中的所述文件大小,与在所述更新数据线基线中的所述文件大小的差值大于预设的第二阈值,则将所述基础数据线作为第四差异数据线。
可选地,在所述生成初始数据线基线之后,还包括:
展示所述初始数据线基线;
在所述生成更新数据线基线之后,还包括:
响应于更新指令,调整所述更新数据线基线,所述更新指令指示人工审核所述第一类数据线的审核结果;
展示调整后的所述更新数据线基线。
可选地,在所述生成初始数据线基线之后,还包括:
展示所述初始数据线基线中的冗余数据线,所述冗余数据线为所述第一信息相同的数据线;
在所述调整所述更新数据线基线之后,还包括:
展示所述更新数据线基线中的所述冗余数据线。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据传输异常辅助处理方法,其特征在于,包括:
获取预设的采集时间段内的数据线,生成初始数据线基线,所述数据线包括第一信息,所述第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称;
获取更新时间段内的所述数据线,生成更新数据线基线,所述更新时间段为所述采集时间段后、与所述采集时间段的时长相同的时间段;
展示第一类数据线,所述第一类数据线为仅包括在所述初始数据线基线或者所述更新数据线基线中的所述数据线。
2.根据权利要求1所述的方法,其特征在于,所述第一类数据线包括第一差异数据线和第二差异数据线;
获取所述第一类数据线的过程包括:
将所述初始数据线基线和所述更新数据线基线中均包括的所述数据线作为基础数据线;
将所述初始数据线基线中除所述基础数据线的以外的所述数据线作为所述第一差异数据线;
将所述更新数据线基线中除所述基础数据线的以外的所述数据线作为所述第二差异数据线。
3.根据权利要求2所述的方法,其特征在于,所述数据线还包括第二信息,所述第二信息包括文件大小和传输时间。
4.根据权利要求3所述的方法,其特征在于,还包括:
展示第二类数据线,所述第二类数据线在所述初始数据线基线中的所述第一信息与所述第二类数据线在所述更新数据线基线中的所述第一信息相同,并且所述第二类数据线在所述初始数据线基线中的所述第二信息与所述第二类数据线在所述更新数据线基线中的所述第二信息不同。
5.根据权利要求4所述的方法,其特征在于,所述第二类数据包括第三差异数据线和第四差异数据线;
获取所述第二类数据线的过程包括:
若所述基础数据线在所述初始数据线基线中的所述传输时间,与在所述更新数据线基线中的所述传输时间的差值大于预设的第一阈值,则将所述基础数据线作为第三差异数据线;
若所述基础数据线在所述初始数据线基线中的所述文件大小,与在所述更新数据线基线中的所述文件大小的差值大于预设的第二阈值,则将所述基础数据线作为第四差异数据线。
6.根据权利要求1所述的方法,其特征在于,在所述生成初始数据线基线之后,还包括:
展示所述初始数据线基线;
在所述生成更新数据线基线之后,还包括:
响应于更新指令,调整所述更新数据线基线,所述更新指令指示人工审核所述第一类数据线的审核结果;
展示调整后的所述更新数据线基线。
7.根据权利要求6所述的方法,其特征在于,在所述生成初始数据线基线之后,还包括:
展示所述初始数据线基线中的冗余数据线,所述冗余数据线为所述第一信息相同的数据线;
在所述调整所述更新数据线基线之后,还包括:
展示所述更新数据线基线中的所述冗余数据线。
8.一种数据传输异常辅助处理装置,其特征在于,包括:
第一基线获取单元,用于获取预设的采集时间段内的数据线,生成初始数据线基线,所述数据线包括第一信息,所述第一信息包括作为文件发送方的源节点的信息、作为文件接收方的目的节点的信息、以及文件名称;
第二基线获取单元,用于获取更新时间段内的所述数据线,生成更新数据线基线,所述更新时间段为所述采集时间段后、与所述采集时间段的时长相同的时间段;
数据线展示单元,用于展示第一类数据线,所述第一类数据线在所述初始数据线基线中的第一信息与所述第一类数据线在所述更新数据线基线中的所述第一信息不同。
9.一种数据传输异常辅助处理设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~7中任一项所述的数据传输异常辅助处理方法的各个步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~7中任一项所述的数据传输异常辅助处理方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011041811.8A CN112187579B (zh) | 2020-09-28 | 2020-09-28 | 数据传输异常辅助处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011041811.8A CN112187579B (zh) | 2020-09-28 | 2020-09-28 | 数据传输异常辅助处理方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112187579A true CN112187579A (zh) | 2021-01-05 |
CN112187579B CN112187579B (zh) | 2021-11-23 |
Family
ID=73945205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011041811.8A Active CN112187579B (zh) | 2020-09-28 | 2020-09-28 | 数据传输异常辅助处理方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112187579B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7043485B2 (en) * | 2002-03-19 | 2006-05-09 | Network Appliance, Inc. | System and method for storage of snapshot metadata in a remote file |
CN101300534A (zh) * | 2005-11-04 | 2008-11-05 | 菲尼克斯电气公司 | 用于传输周期性和非周期性数据的方法和系统 |
CN101883028A (zh) * | 2010-06-30 | 2010-11-10 | 中兴通讯股份有限公司 | 网络文件系统服务器的检测方法及装置 |
US8135746B2 (en) * | 2008-07-30 | 2012-03-13 | International Business Machines Corporation | Management of symbolic links |
CN104348643A (zh) * | 2013-07-31 | 2015-02-11 | 华为技术有限公司 | 可视化拓扑生成方法和装置 |
CN105335196A (zh) * | 2015-11-02 | 2016-02-17 | 深圳市新国都支付技术有限公司 | 一种pos终端程序增量下载的方法 |
CN109308075A (zh) * | 2017-07-27 | 2019-02-05 | 波音公司 | 具有性能表数据链路能力的飞行管理系统 |
CN110046633A (zh) * | 2018-11-23 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种数据质量检测方法及装置 |
CN110050257A (zh) * | 2016-12-07 | 2019-07-23 | 起元技术有限责任公司 | 可执行数据流图的差分 |
CN110210946A (zh) * | 2019-06-10 | 2019-09-06 | 网易无尾熊(杭州)科技有限公司 | 数据处理方法及装置、介质和计算设备 |
CN110569174A (zh) * | 2019-09-17 | 2019-12-13 | 山东浪潮商用系统有限公司 | 一种用于nifi任务的分布式监控系统及方法 |
CN110958154A (zh) * | 2019-11-06 | 2020-04-03 | 长沙理工大学 | 一种基于节点热度的心跳间隔动态调整方法、装置及系统 |
CN111163114A (zh) * | 2020-04-02 | 2020-05-15 | 腾讯科技(深圳)有限公司 | 用于检测网络攻击的方法和设备 |
CN111614483A (zh) * | 2020-04-08 | 2020-09-01 | 拉扎斯网络科技(上海)有限公司 | 链路监控方法、装置、存储介质及计算机设备 |
US10769117B2 (en) * | 2018-01-18 | 2020-09-08 | International Business Machines Corporation | Effective handling of HSM migrated files and snapshots |
-
2020
- 2020-09-28 CN CN202011041811.8A patent/CN112187579B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7043485B2 (en) * | 2002-03-19 | 2006-05-09 | Network Appliance, Inc. | System and method for storage of snapshot metadata in a remote file |
CN101300534A (zh) * | 2005-11-04 | 2008-11-05 | 菲尼克斯电气公司 | 用于传输周期性和非周期性数据的方法和系统 |
US8135746B2 (en) * | 2008-07-30 | 2012-03-13 | International Business Machines Corporation | Management of symbolic links |
CN101883028A (zh) * | 2010-06-30 | 2010-11-10 | 中兴通讯股份有限公司 | 网络文件系统服务器的检测方法及装置 |
CN104348643A (zh) * | 2013-07-31 | 2015-02-11 | 华为技术有限公司 | 可视化拓扑生成方法和装置 |
CN105335196A (zh) * | 2015-11-02 | 2016-02-17 | 深圳市新国都支付技术有限公司 | 一种pos终端程序增量下载的方法 |
CN110050257A (zh) * | 2016-12-07 | 2019-07-23 | 起元技术有限责任公司 | 可执行数据流图的差分 |
CN109308075A (zh) * | 2017-07-27 | 2019-02-05 | 波音公司 | 具有性能表数据链路能力的飞行管理系统 |
US10769117B2 (en) * | 2018-01-18 | 2020-09-08 | International Business Machines Corporation | Effective handling of HSM migrated files and snapshots |
CN110046633A (zh) * | 2018-11-23 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种数据质量检测方法及装置 |
CN110210946A (zh) * | 2019-06-10 | 2019-09-06 | 网易无尾熊(杭州)科技有限公司 | 数据处理方法及装置、介质和计算设备 |
CN110569174A (zh) * | 2019-09-17 | 2019-12-13 | 山东浪潮商用系统有限公司 | 一种用于nifi任务的分布式监控系统及方法 |
CN110958154A (zh) * | 2019-11-06 | 2020-04-03 | 长沙理工大学 | 一种基于节点热度的心跳间隔动态调整方法、装置及系统 |
CN111163114A (zh) * | 2020-04-02 | 2020-05-15 | 腾讯科技(深圳)有限公司 | 用于检测网络攻击的方法和设备 |
CN111614483A (zh) * | 2020-04-08 | 2020-09-01 | 拉扎斯网络科技(上海)有限公司 | 链路监控方法、装置、存储介质及计算机设备 |
Non-Patent Citations (3)
Title |
---|
NATHAPHON KIATWONGHONG,: ""Intelli-log : A real-time log analyzer"", 《2010 2ND INTERNATIONAL CONFERENCE ON EDUCATION TECHNOLOGY AND COMPUTER》 * |
范勇,: ""蓝鲸分布式文件系统数据一致性语义研究"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
黄田,: ""面向超大规模时间序列的异常检测"", 《中国博士学位论文全文数据库 基础科学辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112187579B (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9450849B1 (en) | Trace backtracking in distributed systems | |
US8078922B2 (en) | Internal server error analysis | |
EP3327637B1 (en) | On-demand fault reduction framework | |
US7779309B2 (en) | Correlating complex errors with generalized end-user tasks | |
US7752183B2 (en) | Using MD4 checksum as primary keys to link transactions across machines | |
US20020184363A1 (en) | Techniques for server-controlled measurement of client-side performance | |
JP5886712B2 (ja) | 分散環境におけるトランザクション別に区別されたメトリックの効率的収集 | |
US9634920B1 (en) | Trace deduplication and aggregation in distributed systems | |
US20140006600A1 (en) | Remote notification and action system | |
CN108647357B (zh) | 数据查询的方法及装置 | |
CN111737207B (zh) | 展示、归集分布式系统中服务节点的日志的方法和装置 | |
CN113656407B (zh) | 一种数据拓扑生成方法、装置、电子设备及存储介质 | |
US20040189693A1 (en) | Approach for visually depicting web server activity on a graphical user interface | |
CN111008105A (zh) | 一种分布式系统调用关系可视化方法及装置 | |
CN109861843B (zh) | 日志文件的完整采集确认方法、装置及设备 | |
CN109299124B (zh) | 用于更新模型的方法和装置 | |
CN112187579B (zh) | 数据传输异常辅助处理方法、装置、设备及可读存储介质 | |
JP2009181496A (ja) | ジョブ処理システムおよびジョブ管理方法 | |
US20090089333A1 (en) | Method and system for analyzing operating condition | |
US20160080305A1 (en) | Identifying log messages | |
CN111552566B (zh) | 一种数据处理系统、方法、电子设备及存储介质 | |
JPH09321760A (ja) | 経路情報監視方法及びシステム | |
US10579601B2 (en) | Data dictionary system in an event historian | |
JP5671021B2 (ja) | 医療画像機器制御システム | |
KR20190054554A (ko) | 웹 모니터링 시스템 및 이를 이용한 응답시간 분포 정보 생성 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |