CN110378154A - 一种文件集完整性校验的方法及装置 - Google Patents

一种文件集完整性校验的方法及装置 Download PDF

Info

Publication number
CN110378154A
CN110378154A CN201910671919.6A CN201910671919A CN110378154A CN 110378154 A CN110378154 A CN 110378154A CN 201910671919 A CN201910671919 A CN 201910671919A CN 110378154 A CN110378154 A CN 110378154A
Authority
CN
China
Prior art keywords
journal
file
node
verified
journal file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910671919.6A
Other languages
English (en)
Other versions
CN110378154B (zh
Inventor
刘远
刘袁
王助
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miaozhen Information Technology Co Ltd
Miaozhen Systems Information Technology Co Ltd
Original Assignee
Miaozhen Systems Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miaozhen Systems Information Technology Co Ltd filed Critical Miaozhen Systems Information Technology Co Ltd
Priority to CN201910671919.6A priority Critical patent/CN110378154B/zh
Publication of CN110378154A publication Critical patent/CN110378154A/zh
Application granted granted Critical
Publication of CN110378154B publication Critical patent/CN110378154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种文件集完整性校验的方法及装置,首先构建以预设的日志文件第一命名规则命名的日志节点集,在每一日志节点中添加预设的日志文件第二命名规则;然后在第一预设时间、第二预设时间内,获取待校验文件集,针对每一日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,以及,基于该日志文件名称包含的日志文件第二命名规则,删除该日志文件名称在目标日志节点下对应的目标规则;再判断目标日志节点下的日志文件第二命名规则是否为空;若是,待校验文件集完整;若否,待校验文件集不完整,从而可以及时确定待校验文件集的完整性。

Description

一种文件集完整性校验的方法及装置
技术领域
本申请涉及计算机应用技术领域,尤其是涉及一种文件集完整性校验的方法及装置。
背景技术
伴随网络技术的不断发展,信息交流方式越来越多,人们可以随时随刻的分享位置、分享文件、以及分享图片等,不同的服务器端也可以互相传输文件,但是网络之间的传输存在数据丢失、数据拦截等问题,另外,当发送文件的服务器端出现停机、或者网络不能连接的情况,导致接收文件的服务器端接收到的文件不是完整的,因此影响人们互相交流或导致计算机存储文件出现错误的情况。
基于计算机linux环境下,通过报文摘要算法(Message-Digest Algorithm 5,MD5)验证网络文件传输的完整性,MD5对任意长度的信息逐位进行计算,MD5只是通过计算文件的MD5值,比较两个文件的文件MD5值,判断其中一个文件是否被修改,但是当文件集中存在大量文件进行传输时,不能校验该文件集在传输过程中是否存在文件丢失的情况,且当发送文件的计算机出现停机等状况时,不能及时校验文件集的完整性。
发明内容
有鉴于此,本申请的目的在于提供一种文件集完整性校验的方法及装置,以达到及时校验文件集的完整性。
第一方面,本申请实施例提供了一种文件集完整性校验的方法,其中,包括:
构建以预设的日志文件第一命名规则命名的日志节点集;
在构建的日志节点集中的每一日志节点中,添加预设的日志文件第二命名规则;
在第一预设时间内,获取待校验文件集,所述待校验文件集中的日志文件名称按照所述日志文件第一命名规则以及所述日志文件第二命名规则命名;
针对所述待校验文件集中的每一日志文件,基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,以及,基于该日志文件名称包含的日志文件第二命名规则,删除该日志文件名称在所述目标日志节点下对应的目标规则;
判断所述目标日志节点下的日志文件第二命名规则是否为空;
若是,所述待校验文件集完整;
若否,在第二预设时间内,所述待校验文件集更新日志文件后,所述目标日志节点下的日志文件第二命名规则为空,则所述待校验文件集完整,否则所述待校验文件集不完整。
本申请的一实施例中,所述基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,包括:
提取所述日志文件名称中包含的关键字,分别与所述日志节点集中的每一日志节点包含的关键字进行匹配度计算,得到对应的多个匹配度值;
获取最高匹配度值对应的日志节点,得到所述目标日志节点。
本申请的一实施例中,当所述待校验文件集完整时,标记所述目标日志节点,所述方法还包括:
定位所述待校验文件集在预设的滑动窗口中目标位置,利用标记的所述目标日志节点替换所述目标位置对应的日志节点;
根据所述滑动窗口中指针对应的位置,获取该位置对应的替换日志节点的标记时间;
计算当前时间与所述标记时间的差值,若所述差值大于预设时间阈值,则发送报警指令。
本申请的一实施例中,所述日志文件第一命名规则包括按照预设时间间隔进行日志文件命名,所述日志文件第二命名规则包括业务规则。
第二方面,本申请实施例提供了一种文件集完整性校验的装置,所述装置包括:
第一构建模块,用于构建以预设的日志文件第一命名规则命名的日志节点集;
第二构建模块,用于在构建的日志节点集中的每一日志节点中,添加预设的日志文件第二命名规则;
获取模块,用于在第一预设时间内,获取待校验文件集,所述待校验文件集中的日志文件名称按照所述日志文件第一命名规则以及所述日志文件第二命名规则命名;
处理模块,用于针对所述待校验文件集中的每一日志文件,基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,以及,基于该日志文件名称包含的日志文件第二命名规则,删除该日志文件名称在所述目标日志节点下对应的目标规则;
判断模块,用于判断所述目标日志节点下的日志文件第二命名规则是否为空;
若是,所述待校验文件集完整;
若否,在第二预设时间内,所述待校验文件集更新日志文件后,所述目标日志节点下的日志文件第二命名规则为空,则所述待校验文件集完整,否则所述待校验文件集不完整。
本申请的一实施例中,所述处理模块,在用于基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点时,用于:
提取所述日志文件名称中包含的关键字,分别与所述日志节点集中的每一日志节点包含的关键字进行匹配度计算,得到对应的多个匹配度值;
获取最高匹配度值对应的日志节点,得到所述目标日志节点。
本申请的一实施例中,所述判断模块,在用于当所述待校验文件集完整时,标记所述目标日志节点,所述装置还用于:
定位所述待校验文件集在预设的滑动窗口中目标位置,利用标记的所述目标日志节点替换所述目标位置对应的日志节点;
根据所述滑动窗口中指针对应的位置,获取该位置对应的替换日志节点的标记时间;
计算当前时间与所述标记时间的差值,若所述差值大于预设时间阈值,则发送报警指令。
本申请的一实施例中,所述日志文件第一命名规则包括按照预设时间间隔进行日志文件命名,所述日志文件第二命名规则包括业务规则。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中的步骤。
本申请实施例提供了文件集完整性校验的方法,通过根据预设的命名规则预先构建日志节点集,然后在第一预设时间、以及第二预设时间内获取待校验文件集,根据待校验文件集中的日志文件的名称删除日志节点集中对应的规则,通过上述方法可以及时确定待校验文件集的完整性。
本申请的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种文件集完整性校验的方法的流程示意图;
图2示出了本申请实施例所提供的确定目标日志节点的方法的流程示意图;
图3示出了本申请实施例所提供的一种待校验文件集完整时,基于滑动窗口发送报警指令的方法的流程示意图;
图4示出了本申请实施例所提供的一种文件集完整性校验的装置的结构示意图;
图5示出了本申请实施例所提供的一种电子设备500的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种文件集完整性校验的方法进行详细介绍。
实施例一
参见图1所示,为本申请实施例所提供的一种文件集完整性校验的方法的流程示意图,该方法包括以下步骤:
S101、构建以预设的日志文件第一命名规则命名的日志节点集。
S102、在构建的日志节点集中的每一日志节点中,添加预设的日志文件第二命名规则。
具体的,日志文件第一命名规则包括按照预设时间间隔进行日志文件命名,日志文件第二命名规则包括业务规则。
示例性的,日志文件第一命名规则可以按照每分钟的时间间隔对日志文件进行命名,例如201905210244,201905210325,日志文件第一命名规则还可以按照每小时的时间间隔对日志文件进行命名,例如2019052102,2019052103,在此并不限定预设时间间隔,可以根据实际的应用场景进行调整。
这里,预设的日志文件第二命名规则中可以是一个规则,也可以是多个规则,在此不限定日志文件第二命名规则中规则的数量,可以根据实际的应用场景进行调整。
示例性的,当日志文件第一命名规则为按照每分钟的时间间隔对日志文件命名的,且日志文件第二命名规则中存在三个规则,三个规则的表示方式分别为rule1、rule2、rule3,那么按照2019年5月21日中的每分钟构建以日志文件第一命名规则命名的日志节点集,其中该日志节点集中包括201905210000-201905212359,在将日志节点集构建完成后,添加日志文件第二命名规则,例如日志文件命名为201905210000.rule1.log。
S103、在第一预设时间内,获取待校验文件集,待校验文件集中的日志文件名称按照日志文件第一命名规则以及日志文件第二命名规则命名。
S104、针对待校验文件集中的每一日志文件,基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,以及,基于该日志文件名称包含的日志文件第二命名规则,删除该日志文件名称在目标日志节点下对应的目标规则。
示例性的,当日志文件第二命名规则中存在三个规则时,第一预设时间为一分钟,那么在2019年5月21日零点三十四这一分钟时间内,获取的待检验文件集中包括两个日志文件,且两个日志文件的日志文件名称分别是201905210034.rule1.log、201905210034.rule2.log,针对待校验文件集中的两个日志文件,根据日志文件第一命名规则,确定这两个日志文件对应的目标日志节点均为201905210034,再根据日志文件第二命名规则,将目标日志节点201905210034中的第一规则、第二规则删除。
其中,参见图2所示,示出了本申请实施例所提供的确定目标日志节点的方法的流程示意图,该方法包括以下步骤:
S201、提取日志文件名称中包含的关键字,分别与日志节点集中的每一日志节点包含的关键字进行匹配度计算,得到对应的多个匹配度值。
S202、获取最高匹配度值对应的日志节点,得到目标日志节点。
这里,按照2019年5月21日中的每分钟构建以日志文件第一命名规则命名的日志节点集时,其中该日志节点集中包括201905210000-201905212359,共有24*60个日志节点,对于2019年5月21日中的零点三十四这一分钟内,假设获取待校验文件集中的一个日志文件,且该日志文件的名称为201905210034.rule1.log,提取关键字201905210034,分别与日志节点集中的每一日志节点包含的关键字进行匹配,例如提取的关键字201905210034与日志节点集中的日志节点A包含的关键字201905210034的匹配度值为100%,与日志节点集中的日志节点B包含的关键字201905210033的匹配度值为97%,与日志节点集中的日志节点C包含的关键字201905212334的匹配度值为87%,那么获取最高匹配度值对应的日志节点为目标日志节点。
S105、判断目标日志节点下的日志文件第二命名规则是否为空。
具体的,若目标日志节点下的日志文件第二命名规则为空,执行步骤S106,若目标日志节点下的日志文件第二命名规则不为空,执行步骤S107。
S106、待校验文件集完整。
S107、在第二预设时间内,待校验文件集更新日志文件后,目标日志节点下的日志文件第二命名规则为空,则待校验文件集完整,否则待校验文件集不完整。
示例性的,当日志文件第二命名规则中存在四个规则时,第一预设时间为一分钟,那么在2019年5月21日三点十五分这一分钟时间内,获取的待检验文件集中包括两个日志文件,且两个日志文件的日志文件名称分别是201905210315.rule1.log、201905210315.rule2.log,则目标日志节点201905210315下的日志文件第二命名规则中第一规则、以及第二规则被删除,第三规则、第四规则仍然存在。
当经过第二预设时间后,根据接收到的日志文件更新待校验文件集,判断目标日志节点201905210315下的日志文件第二命名规则中第三规则、以及第四规则均被删除,那么待校验文件集为完整。
若经过第二预设时间后,根据接收到的日志文件更新待校验文件集,判断目标日志节点201905210315下的日志文件第二命名规则中第三规则、以及第四规则任意一个未被删除,那么待校验文件集为不完整。
这里,并不限定第一预设时间、第二预设时间的具体值,可以根据实际的应用场景进行调整。
当待校验文件集完整时,标记待校验文件集对应的目标日志节点,参见图3所示,示出了本申请实施例所提供的一种待校验文件集完整时,基于滑动窗口发送报警指令的方法的流程示意图,该方法包括以下步骤:
S301、定位待校验文件集在预设的滑动窗口中目标位置,利用标记的目标日志节点替换目标位置对应的日志节点。
S302、根据滑动窗口中指针对应的位置,获取该位置对应的替换日志节点的标记时间。
S303、计算当前时间与标记时间的差值,若差值大于预设时间阈值,则发送报警指令。
示例性的,若确定待校验文件集完整,且对应的目标日志节点为201905210315,定位到该待校验文件集在预设的滑动窗口中的目标位置后,将标记的目标日志节点201905210315替换目标位置对应的日志节点201905200315,当滑动窗口中存储日志节点201905200219的位置未被替换,且该位置之前的所有位置均被替换,那么滑动窗口中的指针指向存储日志节点201905200219的位置,且该位置对应的日志节点的标记时间为2019年5月20日两点十九分,那么该位置对应的替换日志节点的标记时间为2019年5月21日两点十九分,计算当前时间2019年5月21日三点十五分与标记时间2019年5月21日两点十九分的时间差值,假设预设时间阈值为五分钟,那么这个时间差值五十六分钟大于预设时间阈值,发送报警指令。
这里,并不限定预设时间阈值的具体值,可以根据实际的应用场景进行调整。
本实施例提供的文件集完整性校验的方法,通过根据预设的命名规则预先构建日志节点集,然后在第一预设时间、以及第二预设时间内获取待校验文件集,根据待校验文件集中的日志文件的名称删除日志节点集中对应的规则,通过上述方法可以及时确定待校验文件集的完整性。
实施例二
参见图4所示,为本申请实施例所提供的一种文件集完整性校验的装置的结构示意图,包括:第一构建模块401、第二构建模块402、获取模块403、处理模块404、判断模块405,具体的:
第一构建模块401,用于构建以预设的日志文件第一命名规则命名的日志节点集;
第二构建模块402,用于在构建的日志节点集中的每一日志节点中,添加预设的日志文件第二命名规则;
获取模块403,用于在第一预设时间内,获取待校验文件集,所述待校验文件集中的日志文件名称按照所述日志文件第一命名规则以及所述日志文件第二命名规则命名;
处理模块404,用于针对所述待校验文件集中的每一日志文件,基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,以及,基于该日志文件名称包含的日志文件第二命名规则,删除该日志文件名称在所述目标日志节点下对应的目标规则;
判断模块405,用于判断所述目标日志节点下的日志文件第二命名规则是否为空;
若是,所述待校验文件集完整;
若否,在第二预设时间内,所述待校验文件集更新日志文件后,所述目标日志节点下的日志文件第二命名规则为空,则所述待校验文件集完整,否则所述待校验文件集不完整。
本申请的一实施例中,所述处理模块404,在用于基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点时,用于:
提取所述日志文件名称中包含的关键字,分别与所述日志节点集中的每一日志节点包含的关键字进行匹配度计算,得到对应的多个匹配度值;
获取最高匹配度值对应的日志节点,得到所述目标日志节点。
本申请的一实施例中,所述判断模块405,在用于当所述待校验文件集完整时,标记所述目标日志节点,所述装置还用于:
定位所述待校验文件集在预设的滑动窗口中目标位置,利用标记的所述目标日志节点替换所述目标位置对应的日志节点;
根据所述滑动窗口中指针对应的位置,获取该位置对应的替换日志节点的标记时间;
计算当前时间与所述标记时间的差值,若所述差值大于预设时间阈值,则发送报警指令。
本申请的一实施例中,所述日志文件第一命名规则包括按照预设时间间隔进行日志文件命名,所述日志文件第二命名规则包括业务规则。
实施例三
基于同一技术构思,本申请实施例还提供了一种电子设备。参照图5所示,为本申请实施例提供的电子设备500的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当电子设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:
构建以预设的日志文件第一命名规则命名的日志节点集;
在构建的日志节点集中的每一日志节点中,添加预设的日志文件第二命名规则;
在第一预设时间内,获取待校验文件集,所述待校验文件集中的日志文件名称按照所述日志文件第一命名规则以及所述日志文件第二命名规则命名;
针对所述待校验文件集中的每一日志文件,基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,以及,基于该日志文件名称包含的日志文件第二命名规则,删除该日志文件名称在所述目标日志节点下对应的目标规则;
判断所述目标日志节点下的日志文件第二命名规则是否为空;
若是,所述待校验文件集完整;
若否,在第二预设时间内,所述待校验文件集更新日志文件后,所述目标日志节点下的日志文件第二命名规则为空,则所述待校验文件集完整,否则所述待校验文件集不完整。
一种可能的设计中,处理器501执行的处理中,所述基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,包括:
提取所述日志文件名称中包含的关键字,分别与所述日志节点集中的每一日志节点包含的关键字进行匹配度计算,得到对应的多个匹配度值;
获取最高匹配度值对应的日志节点,得到所述目标日志节点。
一种可能的设计中,处理器501执行的处理中,当所述待校验文件集完整时,标记所述目标日志节点,所述方法还包括:
定位所述待校验文件集在预设的滑动窗口中目标位置,利用标记的所述目标日志节点替换所述目标位置对应的日志节点;
根据所述滑动窗口中指针对应的位置,获取该位置对应的替换日志节点的标记时间;
计算当前时间与所述标记时间的差值,若所述差值大于预设时间阈值,则发送报警指令。
一种可能的设计中,处理器501执行的处理中,所述日志文件第一命名规则包括按照预设时间间隔进行日志文件命名,所述日志文件第二命名规则包括业务规则。
实施例四
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述文件集完整性校验的方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述文件集完整性校验的方法的步骤,从而达到及时校验文件集的完整性。
本申请实施例所提供的文件集完整性校验的方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种文件集完整性校验的方法,其特征在于,所述方法包括:
构建以预设的日志文件第一命名规则命名的日志节点集;
在构建的日志节点集中的每一日志节点中,添加预设的日志文件第二命名规则;
在第一预设时间内,获取待校验文件集,所述待校验文件集中的日志文件名称按照所述日志文件第一命名规则以及所述日志文件第二命名规则命名;
针对所述待校验文件集中的每一日志文件,基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,以及,基于该日志文件名称包含的日志文件第二命名规则,删除该日志文件名称在所述目标日志节点下对应的目标规则;
判断所述目标日志节点下的日志文件第二命名规则是否为空;
若是,所述待校验文件集完整;
若否,在第二预设时间内,所述待校验文件集更新日志文件后,所述目标日志节点下的日志文件第二命名规则为空,则所述待校验文件集完整,否则所述待校验文件集不完整。
2.根据权利要求1所述的方法,其特征在于,所述基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,包括:
提取所述日志文件名称中包含的关键字,分别与所述日志节点集中的每一日志节点包含的关键字进行匹配度计算,得到对应的多个匹配度值;
获取最高匹配度值对应的日志节点,得到所述目标日志节点。
3.根据权利要求1所述的方法,其特征在于,当所述待校验文件集完整时,标记所述目标日志节点,所述方法还包括:
定位所述待校验文件集在预设的滑动窗口中目标位置,利用标记的所述目标日志节点替换所述目标位置对应的日志节点;
根据所述滑动窗口中指针对应的位置,获取该位置对应的替换日志节点的标记时间;
计算当前时间与所述标记时间的差值,若所述差值大于预设时间阈值,则发送报警指令。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述日志文件第一命名规则包括按照预设时间间隔进行日志文件命名,所述日志文件第二命名规则包括业务规则。
5.一种文件集完整性校验的装置,其特征在于,所述装置包括:
第一构建模块,用于构建以预设的日志文件第一命名规则命名的日志节点集;
第二构建模块,用于在构建的日志节点集中的每一日志节点中,添加预设的日志文件第二命名规则;
获取模块,用于在第一预设时间内,获取待校验文件集,所述待校验文件集中的日志文件名称按照所述日志文件第一命名规则以及所述日志文件第二命名规则命名;
处理模块,用于针对所述待校验文件集中的每一日志文件,基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点,以及,基于该日志文件名称包含的日志文件第二命名规则,删除该日志文件名称在所述目标日志节点下对应的目标规则;
判断模块,用于判断所述目标日志节点下的日志文件第二命名规则是否为空;
若是,所述待校验文件集完整;
若否,在第二预设时间内,所述待校验文件集更新日志文件后,所述目标日志节点下的日志文件第二命名规则为空,则所述待校验文件集完整,否则所述待校验文件集不完整。
6.根据权利要求5所述的装置,其特征在于,所述处理模块,在用于基于该日志文件名称包含的日志文件第一命名规则,确定该日志文件名称对应的目标日志节点时,用于:
提取所述日志文件名称中包含的关键字,分别与所述日志节点集中的每一日志节点包含的关键字进行匹配度计算,得到对应的多个匹配度值;
获取最高匹配度值对应的日志节点,得到所述目标日志节点。
7.根据权利要求5所述的装置,其特征在于,所述判断模块,在用于当所述待校验文件集完整时,标记所述目标日志节点,所述装置还用于:
定位所述待校验文件集在预设的滑动窗口中目标位置,利用标记的所述目标日志节点替换所述目标位置对应的日志节点;
根据所述滑动窗口中指针对应的位置,获取该位置对应的替换日志节点的标记时间;
计算当前时间与所述标记时间的差值,若所述差值大于预设时间阈值,则发送报警指令。
8.根据权利要求5至7任一项所述的装置,其特征在于,所述日志文件第一命名规则包括按照预设时间间隔进行日志文件命名,所述日志文件第二命名规则包括业务规则。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的文件集完整性校验的方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至4任一所述的文件集完整性校验的方法的步骤。
CN201910671919.6A 2019-07-24 2019-07-24 一种文件集完整性校验的方法及装置 Active CN110378154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671919.6A CN110378154B (zh) 2019-07-24 2019-07-24 一种文件集完整性校验的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910671919.6A CN110378154B (zh) 2019-07-24 2019-07-24 一种文件集完整性校验的方法及装置

Publications (2)

Publication Number Publication Date
CN110378154A true CN110378154A (zh) 2019-10-25
CN110378154B CN110378154B (zh) 2021-04-02

Family

ID=68255498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671919.6A Active CN110378154B (zh) 2019-07-24 2019-07-24 一种文件集完整性校验的方法及装置

Country Status (1)

Country Link
CN (1) CN110378154B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085867A (zh) * 2020-09-09 2020-12-15 中国铁路北京局集团有限公司石家庄电力机务段 列车运行记录数据可靠性分析方法及系统
CN112231271A (zh) * 2020-10-16 2021-01-15 北京明略昭辉科技有限公司 数据迁移完整性校验方法、装置、设备及计算机可读介质
CN112784112A (zh) * 2021-01-29 2021-05-11 银清科技有限公司 报文校验方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944744A (zh) * 2013-01-21 2014-07-23 博雅网络游戏开发(深圳)有限公司 日志采集方法和系统
CN104714878A (zh) * 2013-12-11 2015-06-17 阿里巴巴集团控股有限公司 一种收集日志数据的方法及装置
CN105677876A (zh) * 2016-01-12 2016-06-15 国家电网公司 一种基于物理级的数据库日志挖掘方法
CN105700989A (zh) * 2016-01-13 2016-06-22 焦点科技股份有限公司 一种日志文件的异常检测与处理的方法与装置
CN108810172A (zh) * 2018-07-26 2018-11-13 Oppo(重庆)智能科技有限公司 文件完整性的判断方法、装置及电子设备
CN109492436A (zh) * 2018-11-29 2019-03-19 深圳市网心科技有限公司 一种文件校验方法及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944744A (zh) * 2013-01-21 2014-07-23 博雅网络游戏开发(深圳)有限公司 日志采集方法和系统
CN104714878A (zh) * 2013-12-11 2015-06-17 阿里巴巴集团控股有限公司 一种收集日志数据的方法及装置
CN105677876A (zh) * 2016-01-12 2016-06-15 国家电网公司 一种基于物理级的数据库日志挖掘方法
CN105700989A (zh) * 2016-01-13 2016-06-22 焦点科技股份有限公司 一种日志文件的异常检测与处理的方法与装置
CN108810172A (zh) * 2018-07-26 2018-11-13 Oppo(重庆)智能科技有限公司 文件完整性的判断方法、装置及电子设备
CN109492436A (zh) * 2018-11-29 2019-03-19 深圳市网心科技有限公司 一种文件校验方法及相关装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085867A (zh) * 2020-09-09 2020-12-15 中国铁路北京局集团有限公司石家庄电力机务段 列车运行记录数据可靠性分析方法及系统
CN112231271A (zh) * 2020-10-16 2021-01-15 北京明略昭辉科技有限公司 数据迁移完整性校验方法、装置、设备及计算机可读介质
CN112784112A (zh) * 2021-01-29 2021-05-11 银清科技有限公司 报文校验方法及装置
CN112784112B (zh) * 2021-01-29 2023-06-27 银清科技有限公司 报文校验方法及装置

Also Published As

Publication number Publication date
CN110378154B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN110378154A (zh) 一种文件集完整性校验的方法及装置
CN111831548B (zh) 一种依赖关系拓扑图的绘制方法和装置
KR102275720B1 (ko) 블루투스 통신방법 및 블루투스 통신디바이스
CN107037978B (zh) 数据迁移校正方法及系统
CN110399067A (zh) 可视化埋点方法、装置、电子设备、存储介质
CN105264514A (zh) 为移动计算提供性能和能量优化的方法、装置和计算机程序产品
CN103118140A (zh) 将文件分享给关系圈外其他用户终端的方法、系统及装置
CN105045790A (zh) 图数据搜索系统、方法和设备
CN104301875A (zh) 短消息处理方法和装置
CN110597922A (zh) 数据处理方法、装置、终端及存储介质
CN110399564B (zh) 帐号分类方法和装置、存储介质及电子装置
CN105872017A (zh) 一种网页端进行文件差分编码同步方法及装置
CN104573040A (zh) 抓取网页数据的方法及系统
KR102039419B1 (ko) 프로세스 실행 로그 기반 업무 네트워크의 점진적 데이터 마이닝 시스템 및 방법
CN111652451B (zh) 社交关系的获取方法和装置及存储介质
CN111324483A (zh) 一种数据恢复方法、装置以及相关设备
CN105634863A (zh) 一种应用协议检测的方法及设备
JP2015500537A (ja) 拡張パラメータ集に基づくセキュリティ情報インタラクションシステム、装置及びその方法
CN105934759A (zh) 一种数据更新的方法、装置、终端及服务器
CN113014587A (zh) 一种api检测方法、装置、电子设备及存储介质
CN114466387B (zh) 基站的配置文件的更新方法、装置、存储介质和电子装置
CN107977440B (zh) 一种解析数据文件的方法、装置和系统
CN115481334A (zh) 基于协议的路由跳转方法和装置、电子设备及存储介质
CN111880989B (zh) 一种配置项管理方法及装置
CN115098362A (zh) 页面测试方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant