CN117591488A - 一种文件检测方法、装置、存储介质及电子设备 - Google Patents

一种文件检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN117591488A
CN117591488A CN202410077671.1A CN202410077671A CN117591488A CN 117591488 A CN117591488 A CN 117591488A CN 202410077671 A CN202410077671 A CN 202410077671A CN 117591488 A CN117591488 A CN 117591488A
Authority
CN
China
Prior art keywords
file
update
updating
parameters
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410077671.1A
Other languages
English (en)
Other versions
CN117591488B (zh
Inventor
陈振
王家峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN202410077671.1A priority Critical patent/CN117591488B/zh
Publication of CN117591488A publication Critical patent/CN117591488A/zh
Application granted granted Critical
Publication of CN117591488B publication Critical patent/CN117591488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种文件检测方法、装置、存储介质及电子设备,其中,方法包括:获取至少一个分布式设备上针对目标文件的文件更新参数,基于文件更新参数对目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于文件更新业务检测结果对分布式系统进行文件一致性报警。

Description

一种文件检测方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种文件检测方法、装置、存储介质及电子设备。
背景技术
随着计算机技术的快速发展,在诸如广告投放引擎等分布式业务场景中,通常需要把一份文件同步到分布式系统中的各个分布式设备上,或各个分布式设备异步从同一处数据源去拉取更新同一份文件,在此类文件同步更新场景中,需要进行文件一致性检测才能不影响业务正常运行,文件一致性检测通常是检测各个分布式设备上的数据文件是否一致。
发明内容
本申请实施例提供了一种文件检测方法、装置、存储介质及电子设备,所述技术方案如下:
第一方面,本申请实施例提供了一种文件检测方法,所述方法包括:
获取至少一个分布式设备上针对目标文件的文件更新参数;
基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于所述文件更新业务检测结果对分布式系统进行文件一致性报警。
在一种可行的实施方式中,所述基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,包括:
确定所述文件更新参数中的目标文件哈希值,对所有所述分布式设备的所述目标文件哈希值进行哈希值检测,得到第一文件更新业务检测结果;和/或,
确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果;和/或,
确定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果。
在一种可行的实施方式中,所述确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果,包括:
确定所述文件更新参数中的更新上报时间和文件更新时间,获取针对所有所述分布式设备的更新反应时长,所述更新反应时长为所有所述分布式设备完成所述目标文件的参考总时长;
基于更新上报时间和文件更新时间计算针对每个所述分布式设备的时间差值,检测每个所述分布式设备的时间差值是否大于或等于所述更新反应时长,得到第二文件更新业务检测结果。
在一种可行的实施方式中,所述检测每个所述分布式设备的时间差值是否大于所述更新反应时长,得到第二文件更新业务检测结果,包括:
若每个所述分布式设备的时间差值均大于或等于所述更新反应时长,则生成结果一致性类型的第二文件更新业务检测结果;
若每个所述分布式设备的时间差值中存在目标时间差值小于所述更新反应时长,则生成结果不一致性类型的第二文件更新业务检测结果。
在一种可行的实施方式中,所述对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果,包括:
从所有所述分布式设备的所述文件更新次数中确定最大文件更新次数,基于所述文件更新次数确定所述分布式设备对应的参考文件更新次数,所述参考文件更新次数与所述文件更新次数相隔预设更新次数;
检测每个所述分布式设备的参考文件更新次数是否小于所述最大文件更新次数,得到第三文件更新业务检测结果。
在一种可行的实施方式中,所述检测每个所述分布式设备的参考文件更新次数是否小于所述最大文件更新次数,得到第三文件更新业务检测结果,包括:
若每个所述分布式设备的参考文件更新次数均小于所述更新反应时长,则生成结果一致性类型的第三文件更新业务检测结果;
若每个所述分布式设备的参考文件更新次数中存在目标文件更新次数大于或等于所述更新反应时长,则生成结果不一致性类型的第三文件更新业务检测结果。
在一种可行的实施方式中,所述获取至少一个分布式设备上针对目标文件的文件更新参数之前,还包括:
采集至少一个分布式设备上报的参考文件更新参数;
从缓存空间中读取所述分布式设备对应的文件更新记录参数,基于所述参考文件更新参数对所述文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,并将所述文件更新参数存入缓存空间中;
所述获取至少一个分布式设备上针对目标文件的文件更新参数,包括:
从缓存空间中获取至少一个分布式设备上针对目标文件的文件更新记录参数,基于所述文件更新记录参数确定所述分布式设备上针对目标文件的文件更新参数。
在一种可行的实施方式中,所述基于所述参考文件更新参数对所述文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,包括:
对所述文件更新记录参数进行格式解析,得到参考累计更新次数、参考更新时间以及参考文件哈希值;
基于所述参考文件更新参数对所述参考累计更新次数进行更新得到累计更新次数,基于所述参考文件更新参数对所述参考更新时间参数进行更新得到文件更新时间参数,基于所述参考文件更新参数对所述参考文件哈希值进行更新得到目标文件哈希值;
基于所述目标文件哈希值、所述累计更新次数以及所述文件更新时间参数得到针对所述分布式设备的文件更新记录参数。
在一种可行的实施方式中,所述基于所述文件更新业务检测结果对分布式系统进行文件一致性报警,包括:
若所述第一文件更新业务检测结果为结果不一致性类型,则执行所述确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果的步骤;若所述第一文件更新业务检测结果为结果一致性类型,则进行报警忽略处理;
若所述第二文件更新业务检测结果为结果一致性类型,则执行所述定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果的步骤;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第二文件更新业务检测结果对所述分布式系统进行文件一致性报警;
若所述第三文件更新业务检测结果为结果一致性类型,则确定所述分布式系统针对所述目标文件同步更新正常;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第三文件更新业务检测结果对所述分布式系统进行文件一致性报警。
在一种可行的实施方式中,所述方法还包括:
获取针对目标文件的文件更新间隔时长;
以所述文件更新间隔时长为参考,配置针对所有所述分布式设备的更新反应时长,所述更新反应时长小于或等于所述文件更新间隔时长。
第二方面,本申请实施例提供了一种文件检测装置,所述装置包括:
获取模块,用于获取至少一个分布式设备上针对目标文件的文件更新参数;
检测模块,用于基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于所述文件更新业务检测结果对分布式系统进行文件一致性报警。
在一种可行的实施方式中,所述检测模块,包括:
第一检测单元,用于确定所述文件更新参数中的目标文件哈希值,对所有所述分布式设备的所述目标文件哈希值进行哈希值检测,得到第一文件更新业务检测结果;和/或,
第二检测单元,用于确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果;和/或,
第三检测单元,用于确定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果;
在一种可行的实施方式中,所述第二检测单元,用于:
确定所述文件更新参数中的更新上报时间和文件更新时间,获取针对所有所述分布式设备的更新反应时长,所述更新反应时长为所有所述分布式设备完成所述目标文件的参考总时长;
基于更新上报时间和文件更新时间计算针对每个所述分布式设备的时间差值,检测每个所述分布式设备的时间差值是否大于或等于所述更新反应时长,得到第二文件更新业务检测结果。
在一种可行的实施方式中,所述第二检测单元,用于:
若每个所述分布式设备的时间差值均大于或等于所述更新反应时长,则生成结果一致性类型的第二文件更新业务检测结果;
若每个所述分布式设备的时间差值中存在目标时间差值小于所述更新反应时长,则生成结果不一致性类型的第二文件更新业务检测结果。
在一种可行的实施方式中,所述第三检测单元,用于:
从所有所述分布式设备的所述文件更新次数中确定最大文件更新次数,基于所述文件更新次数确定所述分布式设备对应的参考文件更新次数,所述参考文件更新次数与所述文件更新次数相隔预设更新次数;
检测每个所述分布式设备的参考文件更新次数是否小于所述最大文件更新次数,得到第三文件更新业务检测结果。
在一种可行的实施方式中,所述第三检测单元,用于:若每个所述分布式设备的参考文件更新次数均小于所述更新反应时长,则生成结果一致性类型的第三文件更新业务检测结果;
若每个所述分布式设备的参考文件更新次数中存在目标文件更新次数大于或等于所述更新反应时长,则生成结果不一致性类型的第三文件更新业务检测结果。
在一种可行的实施方式中,所述获取模块,用于:
采集至少一个分布式设备上报的参考文件更新参数;
从缓存空间中读取所述分布式设备对应的文件更新记录参数,基于所述参考文件更新参数对所述文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,并将所述文件更新参数存入缓存空间中;
所述获取至少一个分布式设备上针对目标文件的文件更新参数,包括:
从缓存空间中获取至少一个分布式设备上针对目标文件的文件更新记录参数,基于所述文件更新记录参数确定所述分布式设备上针对目标文件的文件更新参数。
在一种可行的实施方式中,所述获取模块,用于:
对所述文件更新记录参数进行格式解析,得到参考累计更新次数、参考更新时间以及参考文件哈希值;
基于所述参考文件更新参数对所述参考累计更新次数进行更新得到累计更新次数,基于所述参考文件更新参数对所述参考更新时间参数进行更新得到文件更新时间参数,基于所述参考文件更新参数对所述参考文件哈希值进行更新得到目标文件哈希值;
基于所述目标文件哈希值、所述累计更新次数以及所述文件更新时间参数得到针对所述分布式设备的文件更新记录参数。
在一种可行的实施方式中,所述检测模块,用于:
若所述第一文件更新业务检测结果为结果不一致性类型,则执行所述确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果的步骤;若所述第一文件更新业务检测结果为结果一致性类型,则进行报警忽略处理;
若所述第二文件更新业务检测结果为结果一致性类型,则执行所述定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果的步骤;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第二文件更新业务检测结果对所述分布式系统进行文件一致性报警;
若所述第三文件更新业务检测结果为结果一致性类型,则确定所述分布式系统针对所述目标文件同步更新正常;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第三文件更新业务检测结果对所述分布式系统进行文件一致性报警。
第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
在本申请一个或多个实施例中,电子设备通过获取至少一个分布式设备上针对目标文件的文件更新参数,基于文件更新参数对目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于文件更新业务检测结果对分布式系统进行文件一致性报警,整个文件更新业务一致性检测过程通过文件更新参数来检测文件同步更新业务的一致性,可以避免大量误报。在被检测的目标文件持续动态更新下,根据采集周期分布式设备上报的文件更新参数而非直接比对所有设备上文件是否一致,从而根据文件更新参数检测文件更新业务一致性来替代对目标文件一致性检测,优化了文件一致性检测流程,更贴合实际分布式文件同步更新情形,实现文件一致性智能报警。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种文件检测方法的流程示意图;
图2是本申请实施例提供的一种文件更新参数确定的示意图;
图3是本申请实施例提供的另一种文件检测方法的流程示意图;
图4是本申请实施例提供的一种文件检测装置的举例示意图;
图5是本申请实施例提供的一种检测模块的结构示意图;
图6是本申请实施例提供的一种获取模块的结构示意图;
图7是本申请实施例提供的一种电子设备的结构示意图;
图8是本申请实施例提供的操作系统和用户空间的结构示意图;
图9是图8中安卓操作系统的架构图;
图10是图8中IOS操作系统的架构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、 “第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在相关技术中,各个分布式设备在进行文件同步时,会有各种异常情况,如:一批分布式设备更新完成但另一批分布式设备尚未更新、文件正在更新同步中、文件更新间隔不一致、更新次数不相等各种异常状态。目前的文件一致性检测方案中,存在未及时发现数据更新的异常状态的情况,亦或是存在大量误报警的情况,较难对数据更新进行准确监控。基于此,相关技术中文件一致性检测方案存在一定的局限性。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中,如图1所示,特提出了一种文件检测方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的文件检测装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。所述文件检测装置可以为电子设备,该电子设备可以为服务器也可以为终端设备,其中该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云让算服务的云服务器。终端设备可以是智能手机、平板电脑、台式计算机等,但并不局限于此。具体的,该文件检测方法包括:
S102:获取至少一个分布式设备上针对目标文件的文件更新参数;
目标文件可以理解为文件更新业务一致性检测的文件对象。
可选的,电子设备可以在到达采集周期(也可理解为进行更新上报的更新上报时间)后,向分布式系统的各个分布式设备采集关于目标文件的文件更新参数,以此可获取到每个分布式设备上针对目标文件的文件更新参数。
可选的,可以为分布式系统的各个分布式设备配置一个采集周期(也可理解为进行更新上报的更新上报时间),分布式设备在当前时间点满足采集周期时,生成针对目标文件的文件更新参数,将文件更新参数上报至电子设备。
在一种可行的实施方式中,如图2所示,图2是一种文件更新参数确定的示意图。如下:
S2002:采集至少一个分布式设备基于更新上报时间上报的参考文件更新参数;
在一种具体的实施场景中,分布式设备上可部署客户端(程序)Agent,电子设备上可部署服务端(程序)Server;
客户端(程序)Agent指的是部署在各个待监控的设备上的程序,用来采集诸如文件更新时间、文件哈希值等文件更新参数,再上报给服务端Server
服务端(程序)Server指的是部署在电子设备上,用来接收和处理客户端(程序)Agent上报的消息(如参考文件更新参数),并能够对消息的内容做出规则判断和告警等动作。
示意性的,分布式设备通过客户端(程序)Agent,根据所配置的采集周期,到采集周期指示的时间后开始采集监控的目标文件对应的参考文件更新参数,参考文件更新参数可以包括但不限机器信息Hi、采集时间Tc、文件路径P、文件更新时间T、文件哈希值H等一种或多种的拟合,并上报给服务端(程序)Server;此时,电子设备实现了从至少一个分布式设备上采集参考文件更新参数。
S2004:从缓存空间中读取所述分布式设备对应的历史文件更新记录参数,基于所述参考文件更新参数对所述历史文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,并将所述文件更新参数存入缓存空间中;
历史文件更新记录参数可以包括但不限于历史累计更新次数、历史更新时间、历史文件哈希值、历史采集上报时间等等;
可选的,所述基于所述参考文件更新参数对所述历史文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,可以是:
A2:对所述历史文件更新记录参数进行格式解析,得到历史累计更新次数、历史更新时间以及历史文件哈希值;
例如:电子设备通过服务端(程序)Server先从缓存空间中读取分布式设备的历史文件文件更新记录参数(通常可视作缓存的历史上报信息),历史文件更新记录参数解析格式为:<历史累计更新次数,历史更新时间,历史文件哈希值...>
历史文件哈希值是对目标文件采用哈希算法计算得到的文件哈希值;
历史累计更新次数是记录的分布式设备上目标文件的更新总次数;
历史更新时间是记录的分布式设备上目标文件的最近更新时间。
可选的,历史文件更新记录参数还可包括分布式设备上针对目标文件的历史更新上报时间,
A4:基于所述参考文件更新参数对所述历史累计更新次数进行更新得到累计更新次数,基于所述参考文件更新参数对所述历史更新时间参数进行更新得到文件更新时间参数,基于所述参考文件更新参数对所述历史文件哈希值进行更新得到目标文件哈希值;
A6:基于所述目标文件哈希值、所述累计更新次数以及所述文件更新时间参数得到针对所述分布式设备的文件更新记录参数。
例如:电子设备通过服务端(程序)Server将此次获取到的分布式设备Agent上报的参考文件更新参数,也整理为格式:<在历史累计更新次数上加1得到累计更新次数C,本次上报的文件更新时间参数Tcr,本次上报的目标文件哈希值Hcr...>的文件更新记录参数,以此得到了文件更新记录参数并保存入缓存空间中;
可选的,历史文件更新记录参数还可包括分布式设备上针对目标文件的历史更新上报时间,更新时,可基于参考文件更新参数中的更新上报时间对历史更新上报时间进行更新。
S2006:从缓存空间中获取至少一个分布式设备上针对目标文件的文件更新记录参数。
示意性的,后续在电子设备在对目标文件进行文件更新业务一致性检测之前,先从缓存空间中获取至少一个分布式设备上针对目标文件最新的文件更新记录参数。
S104:基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于所述文件更新业务检测结果对分布式系统进行文件一致性报警。
预先设置文件更新业务一致性检测规则,检测所有分布式设备的文件更新业务是否一致而非聚焦于所有设备上的目标文件是否一致。在文件更新业务一致检测规则中避免分布式设备满足文件不一致时即进行文件一致性报警。
在本说明书中,考虑到实际场景下的客观情况,不要求目标文件的强一致性,也即不期望目标文件一模一样才通过文件更新业务一致性检测。但实际业务中,分布式系统各个机器文件更新有先后,很难直接单一状态检查解决文件一致性现象,经发明人创造性劳动通过执行本说明书的文件检测方法,仅需结合分布式设备定期的文件更新记录参数来检测文件同步更新业务的一致性而非聚焦于所有分布式设备上的目标文件是完全一致的,整个文件更新业务一致性检测过程通过文件更新参数来检测文件同步更新业务的一致性,可以避免大量误报。在被检测的目标文件持续动态更新下,根据采集周期分布式设备上报的文件更新参数而非直接比对所有设备上文件是否一致,从而根据文件更新参数检测文件更新业务一致性来替代对目标文件一致性检测,可以判断出“文件同步更新”业务是否一致而非所有的目标文件是否一致,这样可以避免大量误报也能从业务一致维度保证与目标文件相关的业务场景的运行。
在本说明书一个或多个实施例中,电子设备通过获取至少一个分布式设备上针对目标文件的文件更新参数,基于文件更新参数对目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于文件更新业务检测结果对分布式系统进行文件一致性报警,整个文件更新业务一致性检测过程通过文件更新参数来检测文件同步更新业务的一致性,可以避免大量误报。在被检测的目标文件持续动态更新下,根据采集周期分布式设备上报的文件更新参数而非直接比对所有设备上文件是否一致,从而根据文件更新参数检测文件更新业务一致性来替代对目标文件一致性检测,优化了文件一致性检测流程,更贴合实际分布式文件同步更新情形,实现文件一致性智能报警。
请参见图3,图3是本申请提出的一种文件检测方法的另一种实施例的流程示意图。具体的:
S202:获取至少一个分布式设备上针对目标文件的文件更新参数;
具体可参考本说明书其他实施例的方法步骤,此处不再赘述。
S204:确定所述文件更新参数中的目标文件哈希值,对所有所述分布式设备的所述目标文件哈希值进行哈希值检测,得到第一文件更新业务检测结果;
示意性的,文件更新参数可以包含目标文件哈希值;假设分布式设备有n个,则所有分布式设备的目标文件哈希值集合可表示为{H1、H2...Hn},对所有分布式设备的目标文件哈希值进行哈希值检测,也即比对{H1、H2...Hn}中的各集合元素是否一致;
进一步的,通常两两分布式设备的目标文件哈希值一致,则此时两两分布式设备上的目标文件是一致的。
进一步的,考虑到分布式系统各个机器文件更新有先后,很难直接单一状态检查解决文件一致性现象,基于此,本说明书中对所有所述分布式设备的所述目标文件哈希值进行哈希值检测,若所有分布式设备的所述目标文件哈希值一致,则生成一致性类型的第一文件更新业务检测结果;若存在至少一个分布式设备的目标文件哈希值不一致,则生成不一致性类型的第一文件更新业务检测结果;
可选的,第一文件更新业务检测结果可以是用于在生成一致性类型的第一文件更新业务检测结果之后,不再进行其余维度的文件更新业务一致性检测,在生成不一致性类型的第一文件更新业务检测结果之后,触发进行其余维度的文件更新业务一致性检测。
S206:确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果;
示意性的,文件更新参数可以包含文件更新时间参数;假设分布式设备有n个,则所有分布式设备的文件更新时间参数集合可表示为{T1、T2...Tn},对所有分布式设备的文件更新时间参数进行文件更新时间检测,从而得到第二文件更新业务检测结果;
第二文件更新业务检测结果分为两种类型:结果一致类型和结果不一致类型,第二文件更新业务检测结果从文件更新维度反映文件更新业务的一致性程度;
在一种可行的实施方式中,执行所述确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果,可以采用如下方式:
B2:确定所述文件更新参数中的更新上报时间和文件更新时间,获取针对所有所述分布式设备的更新反应时长,所述更新反应时长为所有所述分布式设备完成所述目标文件的参考总时长;
更新上报时间可以理解为分布式设备向电子设备上报的采集时间,更新上报时间可记作Tc;
更新反应时长为可以理解为所有所述分布式设备完成所述目标文件的参考总时长,通常更新反应时长为基于专家端服务衡量本次目标文件更新同步情况后所设置的经验值;更新反应时长:表示第一个分布式设备开始文件更新到最后一个机器文件更新结束所设置的参考总时长,也即更新所需要的参考时间总长;
进一步的,更新反应时长配置过程中,先获取针对目标文件的文件更新间隔时长,以文件更新间隔时长为参考,配置针对所有分布式设备的更新反应时长,更新反应时长小于或等于所述文件更新间隔时长。
文件更新间隔时长为文件数据需要更新的间隔时间,可能是天周期,小时周期或者不定期;
需要注意的是:文件更新间隔时长Tt>更新反应时长Tr,考虑到每次文件一致性检测时,可能各个分布式设备里总有某一台或多个机器的文件处于更新中,未完全更新完毕,那必然总会有更新不一致的情况,而通过设置文件更新间隔时长Tt>更新反应时长Tr,可以避免文件一致性检测情形下的误报警。
B4:基于更新上报时间和文件更新时间计算针对每个所述分布式设备的时间差值,检测每个所述分布式设备的时间差值是否大于或等于所述更新反应时长,得到第二文件更新业务检测结果。
时间差值=更新上报时间Tc-文件更新时间T;
若更新上报时间Tc与文件更新时间T(可视作目标文件时间戳)差值已经大于反应时间,可理解为目标文件没有在反应时间内更新,需要进行文件一致性报警报警,否则到下一步。
文件一致性报警可以理解为按照相关技术中针对文件一致性检测报警流程执行文件不一致的报警操作;
进一步的,电子设备所述检测每个所述分布式设备的时间差值是否大于所述更新反应时长,得到第二文件更新业务检测结果,包括如下情况:
1、若每个所述分布式设备的时间差值均大于或等于所述更新反应时长,则生成结果一致性类型的第二文件更新业务检测结果;
2、若每个所述分布式设备的时间差值中存在目标时间差值小于所述更新反应时长,则生成结果不一致性类型的第二文件更新业务检测结果。
S208:确定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果。
示意性的,文件更新参数可以包含文件更新次数;假设分布式设备有n个,则所有分布式设备的文件更新次数集合可表示为{C1、C2...Cn},对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果;
第三文件更新业务检测结果分为两种类型:结果一致类型和结果不一致类型,第三文件更新业务检测结果从文件更新次数维度反映文件更新业务的一致性程度;
在一种可行的实施方式中,执行对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果,可以采用如下方式:
C2:从所有所述分布式设备的所述文件更新次数中确定最大文件更新次数,基于所述文件更新次数确定所述分布式设备对应的参考文件更新次数,所述参考文件更新次数与所述文件更新次数相隔预设更新次数;
C4:检测每个所述分布式设备的参考文件更新次数是否小于所述最大文件更新次数,得到第三文件更新业务检测结果。
示意性的,所有分布式设备的文件更新次数集合可表示为{C1、C2...Cn},从文件更新次数集合中确定各分布式设备中最大的累计更新次数Cmax;最大的累计更新次数Cmax也即最大文件更新次数;
基于所述文件更新次数确定所述分布式设备对应的参考文件更新次数,参考文件更新次数考虑到了设置更新余量,也即参考文件更新次数与所述文件更新次数相隔预设更新次数;
具体而言,若每个所述分布式设备的参考文件更新次数均小于所述更新反应时长,则生成结果一致性类型的第三文件更新业务检测结果;
若每个所述分布式设备的参考文件更新次数中存在目标文件更新次数大于或等于所述更新反应时长,则生成结果不一致性类型的第三文件更新业务检测结果。
例如,预设更新次数可以是1,如果某个分布式设备的当前累积更新次数加预设更新次数还没有赶上最新更新Cmax,以及一些情况下由于间隔时长大于反应时长,说明在反应时长内文件数据未更新,生成结果不一致性类型的第三文件更新业务检测结果;
S210:基于文件更新业务检测结果对分布式系统进行文件一致性报警。
文件更新业务检测结果可以包括第一文件更新业务检测结果、第二文件更新业务检测结果、第三文件更新业务检测结果中的一种或多种;
示意性的,基于文件更新业务检测结果对分布式系统进行文件一致性报警,通常若第一文件更新业务检测结果为结果不一致性类型,需要参考其他文件更新业务检测结果是否为结果不一致性类型,才触发文件一致性报警;
示例性的,若第一文件更新业务检测结果为结果不一致性类型,则执行确定所述文件更新参数中的文件更新时间参数,对所有分布式设备的文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果的步骤;若第一文件更新业务检测结果为结果一致性类型,则进行报警忽略处理;
示例性的,若第二文件更新业务检测结果为结果一致性类型,则执行定所述文件更新参数中的文件更新次数,对所有分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果的步骤;若第二文件更新业务检测结果为结果不一致性类型,则基于第二文件更新业务检测结果对分布式系统进行文件一致性报警;
示例性的,若第三文件更新业务检测结果为结果一致性类型,则确定分布式系统针对目标文件同步更新正常;若第二文件更新业务检测结果为结果不一致性类型,则基于第三文件更新业务检测结果对所述分布式系统进行文件一致性报警。
在本说明书一个或多个实施例中,电子设备通过执行上述文件检测方法,整个文件一致性检测过程通过文件更新参数来检测文件同步更新业务的一致性,可以避免大量误报。在被检测的目标文件持续动态更新下,根据采集周期分布式设备上报的文件更新参数而非直接比对所有设备上文件是否一致,从而根据文件更新参数检测文件更新业务一致性来替代对目标文件一致性检测,优化了文件一致性检测流程,更贴合实际分布式文件同步更新情形,实现文件一致性智能报警。
下面将结合图4,对本申请实施例提供的文件检测装置进行详细介绍。需要说明的是,图4所示的文件检测装置,用于执行本申请图1~图3所示实施例的方法,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请图1~图3所示的实施例。
请参见图4,其示出本申请实施例的文件检测装置的结构示意图。该文件检测装置1可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。根据一些实施例,该文件检测装置1包括获取模块11和检测模块12,具体用于:
获取模块11,用于获取至少一个分布式设备上针对目标文件的文件更新参数;
检测模块12,用于基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于所述文件更新业务检测结果对分布式系统进行文件一致性报警。
可选的,如图5所示,所述检测模块12,包括:
第一检测单元121,用于确定所述文件更新参数中的目标文件哈希值,对所有所述分布式设备的所述目标文件哈希值进行哈希值检测,得到第一文件更新业务检测结果;和/或,
第二检测单元122,用于确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果;和/或,
第三检测单元123,用于确定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果;
可选的,所述第二检测单元122,用于:
确定所述文件更新参数中的更新上报时间和文件更新时间,获取针对所有所述分布式设备的更新反应时长,所述更新反应时长为所有所述分布式设备完成所述目标文件的参考总时长;
基于更新上报时间和文件更新时间计算针对每个所述分布式设备的时间差值,检测每个所述分布式设备的时间差值是否大于或等于所述更新反应时长,得到第二文件更新业务检测结果。
可选的,所述第二检测单元122,用于:
若每个所述分布式设备的时间差值均大于或等于所述更新反应时长,则生成结果一致性类型的第二文件更新业务检测结果;
若每个所述分布式设备的时间差值中存在目标时间差值小于所述更新反应时长,则生成结果不一致性类型的第二文件更新业务检测结果。
可选的,所述第三检测单元123,用于:
从所有所述分布式设备的所述文件更新次数中确定最大文件更新次数,基于所述文件更新次数确定所述分布式设备对应的参考文件更新次数,所述参考文件更新次数与所述文件更新次数相隔预设更新次数;
检测每个所述分布式设备的参考文件更新次数是否小于所述最大文件更新次数,得到第三文件更新业务检测结果。
可选的,所述第三检测单元123,用于:
若每个所述分布式设备的参考文件更新次数均小于所述更新反应时长,则生成结果一致性类型的第三文件更新业务检测结果;
若每个所述分布式设备的参考文件更新次数中存在目标文件更新次数大于或等于所述更新反应时长,则生成结果不一致性类型的第三文件更新业务检测结果。
可选的,所述检测模块12,用于:
若所述第一文件更新业务检测结果为结果不一致性类型,则执行所述确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果的步骤;若所述第一文件更新业务检测结果为结果一致性类型,则进行报警忽略处理;
若所述第二文件更新业务检测结果为结果一致性类型,则执行所述定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果的步骤;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第二文件更新业务检测结果对所述分布式系统进行文件一致性报警;
若所述第三文件更新业务检测结果为结果一致性类型,则确定所述分布式系统针对所述目标文件同步更新正常;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第三文件更新业务检测结果对所述分布式系统进行文件一致性报警。
可选的,如图6所示,所述获取模块11,用于:
采集单元111,用于采集至少一个分布式设备上报的参考文件更新参数;
缓存单元112,用于从缓存空间中读取所述分布式设备对应的文件更新记录参数,基于所述参考文件更新参数对所述文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,并将所述文件更新参数存入缓存空间中;
获取单元113,用于:从缓存空间中获取至少一个分布式设备上针对目标文件的文件更新记录参数,基于所述文件更新记录参数确定所述分布式设备上针对目标文件的文件更新参数。
可选的,所述获取模块11,用于:
对所述文件更新记录参数进行格式解析,得到参考累计更新次数、参考更新时间以及参考文件哈希值;
基于所述参考文件更新参数对所述参考累计更新次数进行更新得到累计更新次数,基于所述参考文件更新参数对所述参考更新时间参数进行更新得到文件更新时间参数,基于所述参考文件更新参数对所述参考文件哈希值进行更新得到目标文件哈希值;
基于所述目标文件哈希值、所述累计更新次数以及所述文件更新时间参数得到针对所述分布式设备的文件更新记录参数。
可选的,所述第二检测单元122,用于:
获取针对目标文件的文件更新间隔时长;
以所述文件更新间隔时长为参考,配置针对所有所述分布式设备的更新反应时长,所述更新反应时长小于或等于所述文件更新间隔时长
需要说明的是,上述实施例提供的文件检测装置在执行文件检测方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的文件检测装置与文件检测方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本说明书一个或多个实施例中,电子设备通过获取至少一个分布式设备上针对目标文件的文件更新参数,基于文件更新参数对目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于文件更新业务检测结果对分布式系统进行文件一致性报警,整个文件更新业务一致性检测过程通过文件更新参数来检测文件同步更新业务的一致性,可以避免大量误报。在被检测的目标文件持续动态更新下,根据采集周期分布式设备上报的文件更新参数而非直接比对所有设备上文件是否一致,从而根据文件更新参数检测文件更新业务一致性来替代对目标文件一致性检测,优化了文件一致性检测流程,更贴合实际分布式文件同步更新情形,实现智能文件一致性报警。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1~图3所示实施例的所述文件检测方法,具体执行过程可以参见图1~图3所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1~图3所示实施例的所述文件检测方法,具体执行过程可以参见图1~图3所示实施例的具体说明,在此不进行赘述。
请参考图7,其示出了本申请一个示例性实施例提供的电子设备的结构方框图。本申请中的电子设备可以包括一个或多个如下部件:处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(digital signal processing,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)、可编程逻辑阵列(programmable logicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessing unit,CPU)、图像处理器(graphics processing unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(random Access Memory,RAM),也可以包括只读存储器(read-only memory,ROM)。可选地,该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等,该操作系统可以是安卓(Android)系统,包括基于Android系统深度开发的系统、苹果公司开发的IOS系统,包括基于IOS系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据,等。
参见图8所示,存储器120可分为操作系统空间和用户空间,操作系统即运行于操作系统空间,原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果,操作系统针对不同第三方应用程序为其分配相应的系统资源。然而,同一第三方应用程序中不同应用场景对系统资源的需求也存在差异,比如,在本地资源加载场景下,第三方应用程序对磁盘读取速度的要求较高;在动画渲染场景下,第三方应用程序则对GPU性能的要求较高。而操作系统与第三方应用程序之间相互独立,操作系统往往不能及时感知第三方应用程序当前的应用场景,导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。
为了使操作系统能够区分第三方应用程序的具体应用场景,需要打通第三方应用程序与操作系统之间的数据通信,使得操作系统能够随时获取第三方应用程序当前的场景信息,进而基于当前场景进行针对性的系统资源适配。
以操作系统为Android系统为例,存储器120中存储的程序和数据如图9所示,存储器120中可存储有Linux内核层320、系统运行时库层340、应用框架层360和应用层380,其中,Linux内核层320、系统运行库层340和应用框架层360属于操作系统空间,应用层380属于用户空间。Linux内核层320为电子设备的各种硬件提供了底层的驱动,如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。系统运行库层340通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持,OpenGL/ES库提供了3D绘图的支持,Webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(Android runtime),它主要提供了一些核心库,能够允许开发者使用Java语言来编写Android应用。应用框架层360提供了构建应用程序时可能用到的各种API,开发者也可以通过使用这些API来构建自己的应用程序,比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序,这些应用程序可以是操作系统自带的原生应用程序,比如联系人程序、短信程序、时钟程序、相机应用等;也可以是第三方开发者所开发的第三方应用程序,比如游戏类应用程序、即时通信程序、相片美化程序等。
以操作系统为IOS系统为例,存储器120中存储的程序和数据如图10所示,IOS系统包括:核心操作系统层420(Core OS layer)、核心服务层440(Core Services layer)、媒体层460(Media layer)、可触摸层480(Cocoa Touch Layer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架,这些底层程序框架提供更接近硬件的功能,以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架,比如基础(Foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口,如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(AirPlay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架,可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(User Interface,UI)框架、用户界面UIKit框架、地图框架等等。
在图10所示出的框架中,与大部分应用程序有关的框架包括但不限于:核心服务层440中的基础框架和可触摸层480中的UIKit框架。基础框架提供许多基本的对象类和数据类型,为所有应用程序提供最基本的系统服务,和UI无关。而UIKit框架提供的类是基础的UI类库,用于创建基于触摸的用户界面,iOS应用程序可以基于UIKit框架来提供UI,所以它提供了应用程序的基础架构,用于构建用户界面,绘图、处理和用户交互事件,响应手势等等。
其中,在IOS系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考Android系统,本申请在此不再赘述。
其中,输入装置130用于接收输入的指令或数据,输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据,输出装置140包括但不限于显示设备和扬声器等。在一个示例中,输入装置130和输出装置140可以合设,输入装置130和输出装置140为触摸显示屏,该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作,以及显示各个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本申请实施例对此不加以限定。
除此之外,本领域技术人员可以理解,上述附图所示出的电子设备的结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(wireless fidelity,WiFi)模块、电源、蓝牙模块等部件,在此不再赘述。
在本申请实施例中,各步骤的执行主体可以是上文介绍的电子设备。可选地,各步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统,也可以是IOS系统,或者其它操作系统,本申请实施例对此不作限定。
本申请实施例的电子设备,其上还可以安装有显示设备,显示设备可以是各种能实现显示功能的设备,例如:阴极射线管显示器(cathode ray tubedisplay,简称CR)、发光二极管显示器(light-emitting diode display,简称LED)、电子墨水屏、液晶显示屏(liquid crystal display,简称LCD)、等离子显示面板(plasma display panel,简称PDP)等。用户可以利用电子设备101上的显示设备,来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
在图7所示的电子设备中,处理器110可以用于调用存储器120中存储的应用程序,并具体执行以下操作:
获取至少一个分布式设备上针对目标文件的文件更新参数;
基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于所述文件更新业务检测结果对分布式系统进行文件一致性报警。
在一个实施例中,所述处理器110在执行所述基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,执行以下操作:
确定所述文件更新参数中的目标文件哈希值,对所有所述分布式设备的所述目标文件哈希值进行哈希值检测,得到第一文件更新业务检测结果;和/或,
确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果;和/或,
确定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果。
在一个实施例中,所述处理器110在执行确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果,具体执行以下操作:
确定所述文件更新参数中的更新上报时间和文件更新时间,获取针对所有所述分布式设备的更新反应时长,所述更新反应时长为所有所述分布式设备完成所述目标文件的参考总时长;
基于更新上报时间和文件更新时间计算针对每个所述分布式设备的时间差值,检测每个所述分布式设备的时间差值是否大于或等于所述更新反应时长,得到第二文件更新业务检测结果。
在一个实施例中,所述处理器110在执行所述检测每个所述分布式设备的时间差值是否大于所述更新反应时长,得到第二文件更新业务检测结果,具体执行以下操作:
若每个所述分布式设备的时间差值均大于或等于所述更新反应时长,则生成结果一致性类型的第二文件更新业务检测结果;
若每个所述分布式设备的时间差值中存在目标时间差值小于所述更新反应时长,则生成结果不一致性类型的第二文件更新业务检测结果。
在一个实施例中,所述处理器110在执行所述方法还执行以下步骤:
获取针对目标文件的文件更新间隔时长;
以所述文件更新间隔时长为参考,配置针对所有所述分布式设备的更新反应时长,所述更新反应时长小于或等于所述文件更新间隔时长。
在一个实施例中,所述处理器110在执行所述对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果,执行以下步骤:
从所有所述分布式设备的所述文件更新次数中确定最大文件更新次数,基于所述文件更新次数确定所述分布式设备对应的参考文件更新次数,所述参考文件更新次数与所述文件更新次数相隔预设更新次数;
检测每个所述分布式设备的参考文件更新次数是否小于所述最大文件更新次数,得到第三文件更新业务检测结果。
在一个实施例中,所述处理器110在执行所述检测每个所述分布式设备的参考文件更新次数是否小于所述最大文件更新次数,得到第三文件更新业务检测结果,执行以下步骤:
若每个所述分布式设备的参考文件更新次数均小于所述最大文件更新次数,则生成结果一致性类型的第三文件更新业务检测结果;
若每个所述分布式设备的参考文件更新次数中存在目标文件更新次数大于或等于所述最大文件更新次数,则生成结果不一致性类型的第三文件更新业务检测结果。
在一个实施例中,所述处理器110在执行所述基于所述文件更新业务检测结果对分布式系统进行文件一致性报警,执行以下步骤:
若所述第一文件更新业务检测结果为结果不一致性类型,则执行所述确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果的步骤;若所述第一文件更新业务检测结果为结果一致性类型,则进行报警忽略处理;
若所述第二文件更新业务检测结果为结果一致性类型,则执行所述定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果的步骤;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第二文件更新业务检测结果对所述分布式系统进行文件一致性报警;
若所述第三文件更新业务检测结果为结果一致性类型,则确定所述分布式系统针对所述目标文件同步更新正常;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第三文件更新业务检测结果对所述分布式系统进行文件一致性报警。
在一个实施例中,所述处理器110在执行所述获取至少一个分布式设备上针对目标文件的文件更新参数之前,还执行以下步骤:
采集至少一个分布式设备基于更新上报时间上报的参考文件更新参数;
从缓存空间中读取所述分布式设备对应的历史文件更新记录参数,基于所述参考文件更新参数对所述历史文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,并将所述文件更新参数存入缓存空间中;
所述获取至少一个分布式设备上针对目标文件的文件更新参数,包括:
从缓存空间中获取至少一个分布式设备上针对目标文件的文件更新记录参数。
在一个实施例中,所述处理器110在执行所述基于所述参考文件更新参数对所述历史文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,执行以下步骤:
对所述历史文件更新记录参数进行格式解析,得到历史累计更新次数、历史更新时间以及历史文件哈希值;
基于所述参考文件更新参数对所述历史累计更新次数进行更新得到累计更新次数,基于所述参考文件更新参数对所述历史更新时间参数进行更新得到文件更新时间参数,基于所述参考文件更新参数对所述历史文件哈希值进行更新得到目标文件哈希值;
基于所述目标文件哈希值、所述累计更新次数以及所述文件更新时间参数得到针对所述分布式设备的文件更新记录参数。
在本申请一个或多个实施例中,电子设备通过获取至少一个分布式设备上针对目标文件的文件更新参数,基于文件更新参数对目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于文件更新业务检测结果对分布式系统进行文件一致性报警,整个文件更新业务一致性检测过程通过文件更新参数来检测文件同步更新业务的一致性,可以避免大量误报。在被检测的目标文件持续动态更新下,根据采集周期分布式设备上报的文件更新参数而非直接比对所有设备上文件是否一致,从而根据文件更新参数检测文件更新业务一致性来替代对目标文件一致性检测,优化了文件一致性检测流程,更贴合实际分布式文件同步更新情形,实现智能文件一致性报警。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (10)

1.一种文件检测方法,其特征在于,所述方法包括:
获取至少一个分布式设备上针对目标文件的文件更新参数;
基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于所述文件更新业务检测结果对分布式系统进行文件一致性报警。
2.根据权利要求1所述的方法,其特征在于,所述基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,包括:
确定所述文件更新参数中的目标文件哈希值,对所有所述分布式设备的所述目标文件哈希值进行哈希值检测,得到第一文件更新业务检测结果;和/或,
确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果;和/或,
确定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果。
3.根据权利要求2所述的方法,其特征在于,所述确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果,包括:
确定所述文件更新参数中的更新上报时间和文件更新时间,获取针对所有所述分布式设备的更新反应时长,所述更新反应时长为所有所述分布式设备完成所述目标文件的参考总时长;
基于更新上报时间和文件更新时间计算针对每个所述分布式设备的时间差值,检测每个所述分布式设备的时间差值是否大于所述更新反应时长;
若每个所述分布式设备的时间差值均大于或等于所述更新反应时长,则生成结果一致性类型的第二文件更新业务检测结果;
若每个所述分布式设备的时间差值中存在目标时间差值小于所述更新反应时长,则生成结果不一致性类型的第二文件更新业务检测结果。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取针对目标文件的文件更新间隔时长;
以所述文件更新间隔时长为参考,配置针对所有所述分布式设备的更新反应时长,所述更新反应时长小于或等于所述文件更新间隔时长。
5.根据权利要求2所述的方法,其特征在于,所述对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果,包括:
从所有所述分布式设备的所述文件更新次数中确定最大文件更新次数,基于所述文件更新次数确定所述分布式设备对应的参考文件更新次数,所述参考文件更新次数与所述文件更新次数相隔预设更新次数;
检测每个所述分布式设备的参考文件更新次数是否小于所述最大文件更新次数;
若每个所述分布式设备的参考文件更新次数均小于所述最大文件更新次数,则生成结果一致性类型的第三文件更新业务检测结果;
若每个所述分布式设备的参考文件更新次数中存在目标文件更新次数大于或等于所述最大文件更新次数,则生成结果不一致性类型的第三文件更新业务检测结果。
6.根据权利要求2所述的方法,其特征在于,所述基于所述文件更新业务检测结果对分布式系统进行文件一致性报警,包括:
若所述第一文件更新业务检测结果为结果不一致性类型,则执行所述确定所述文件更新参数中的文件更新时间参数,对所有所述分布式设备的所述文件更新时间参数进行文件更新时间检测,得到第二文件更新业务检测结果的步骤;若所述第一文件更新业务检测结果为结果一致性类型,则进行报警忽略处理;
若所述第二文件更新业务检测结果为结果一致性类型,则执行所述定所述文件更新参数中的文件更新次数,对所有所述分布式设备的所述文件更新次数进行文件更新次数检测,得到第三文件更新业务检测结果的步骤;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第二文件更新业务检测结果对所述分布式系统进行文件一致性报警;
若所述第三文件更新业务检测结果为结果一致性类型,则确定所述分布式系统针对所述目标文件同步更新正常;若所述第二文件更新业务检测结果为结果不一致性类型,则基于所述第三文件更新业务检测结果对所述分布式系统进行文件一致性报警。
7.根据权利要求1所述的方法,其特征在于,所述获取至少一个分布式设备上针对目标文件的文件更新参数之前,还包括:
采集至少一个分布式设备基于更新上报时间上报的参考文件更新参数;
从缓存空间中读取所述分布式设备对应的历史文件更新记录参数,基于所述参考文件更新参数对所述历史文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,并将所述文件更新参数存入缓存空间中;
所述获取至少一个分布式设备上针对目标文件的文件更新参数,包括:
从缓存空间中获取至少一个分布式设备上针对目标文件的文件更新记录参数。
8.根据权利要求7所述的方法,其特征在于,所述基于所述参考文件更新参数对所述历史文件更新记录参数进行参数更新,得到参数更新后的针对所述分布式设备的文件更新记录参数,包括:
对所述历史文件更新记录参数进行格式解析,得到历史累计更新次数、历史更新时间以及历史文件哈希值;
基于所述参考文件更新参数对所述历史累计更新次数进行更新得到累计更新次数,基于所述参考文件更新参数对所述历史更新时间参数进行更新得到文件更新时间参数,基于所述参考文件更新参数对所述历史文件哈希值进行更新得到目标文件哈希值;
基于所述目标文件哈希值、所述累计更新次数以及所述文件更新时间参数得到针对所述分布式设备的文件更新记录参数。
9.一种文件检测装置,其特征在于,所述装置包括:
获取模块,用于获取至少一个分布式设备上针对目标文件的文件更新参数;
检测模块,用于基于所述文件更新参数对所述目标文件进行文件更新业务一致性检测,得到文件更新业务检测结果,基于所述文件更新业务检测结果对分布式系统进行文件一致性报警。
10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~8任意一项所述的方法步骤。
CN202410077671.1A 2024-01-19 2024-01-19 一种文件检测方法、装置、存储介质及电子设备 Active CN117591488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410077671.1A CN117591488B (zh) 2024-01-19 2024-01-19 一种文件检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410077671.1A CN117591488B (zh) 2024-01-19 2024-01-19 一种文件检测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN117591488A true CN117591488A (zh) 2024-02-23
CN117591488B CN117591488B (zh) 2024-05-14

Family

ID=89910294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410077671.1A Active CN117591488B (zh) 2024-01-19 2024-01-19 一种文件检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117591488B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201227A1 (en) * 2006-11-07 2008-08-21 Lucia Urban Bakewell Interactive, Internet-based, trip planning, travel resource, travel community, virtual travel, travel-based education, travel-related gaming and virtual/live tour system, methods, and processes, emphasizing a user's ability to tailor complete travel, trip, route, game and touring choices to unique user-specified personal interests, preferences, and special requirements for self and companions
CN101807207A (zh) * 2010-03-22 2010-08-18 北京大用科技有限责任公司 一种基于内容差异比较的文档共享方法
CN116467388A (zh) * 2023-04-17 2023-07-21 北京航空航天大学 一种基于区块链的共享文件一致性维护系统及方法
CN116823493A (zh) * 2023-05-06 2023-09-29 支付宝(杭州)信息技术有限公司 一种特征处理方法、装置、存储介质及电子设备
CN117201031A (zh) * 2023-09-07 2023-12-08 重庆邮电大学 一种基于同态哈希树的文件分布式存储共享方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201227A1 (en) * 2006-11-07 2008-08-21 Lucia Urban Bakewell Interactive, Internet-based, trip planning, travel resource, travel community, virtual travel, travel-based education, travel-related gaming and virtual/live tour system, methods, and processes, emphasizing a user's ability to tailor complete travel, trip, route, game and touring choices to unique user-specified personal interests, preferences, and special requirements for self and companions
CN101807207A (zh) * 2010-03-22 2010-08-18 北京大用科技有限责任公司 一种基于内容差异比较的文档共享方法
CN116467388A (zh) * 2023-04-17 2023-07-21 北京航空航天大学 一种基于区块链的共享文件一致性维护系统及方法
CN116823493A (zh) * 2023-05-06 2023-09-29 支付宝(杭州)信息技术有限公司 一种特征处理方法、装置、存储介质及电子设备
CN117201031A (zh) * 2023-09-07 2023-12-08 重庆邮电大学 一种基于同态哈希树的文件分布式存储共享方法

Also Published As

Publication number Publication date
CN117591488B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN111459586B (zh) 远程协助方法、装置、存储介质及终端
CN111447107B (zh) 网络状态确定方法、装置、存储介质及电子设备
CN112653670B (zh) 业务逻辑漏洞检测方法、装置、存储介质以及终端
CN110702346B (zh) 一种振动测试方法、装置、存储介质及终端
CN112116212B (zh) 应用评测方法、装置、存储介质及电子设备
CN111124668A (zh) 内存释放方法、装置、存储介质及终端
CN117555459A (zh) 一种应用组处理方法、装置、存储介质及电子设备
CN110489318B (zh) systrace信息的抓取方法、装置、存储介质及终端
CN117591488B (zh) 一种文件检测方法、装置、存储介质及电子设备
CN112882857B (zh) 性能问题定位方法、装置、电子设备和存储介质
CN113312257B (zh) 版本识别方法、装置、存储介质及计算机设备
CN113825022B (zh) 一种播放控制状态检测方法、装置、存储介质及电子设备
CN113098859B (zh) 网页页面回退方法、装置、终端及存储介质
CN115328725A (zh) 状态监测方法、装置、存储介质及电子设备
CN113972989B (zh) 数据校验方法及存储介质、电子设备
CN113641431A (zh) 二维码的增强显示的方法和终端设备
CN113691676B (zh) 设备状态提示方法、装置、存储介质及电子设备
CN113268221B (zh) 文件匹配方法、装置、存储介质及计算机设备
CN112612487B (zh) 应用安装方法、装置、存储介质以及终端
CN114443204B (zh) 界面内容生成方法、装置、存储介质以及计算机设备
CN113778386B (zh) 组件生成方法、装置、存储介质及电子设备
CN116705023A (zh) 误唤醒数据确定方法、装置、存储介质及电子设备
CN117724780B (zh) 一种信息获取方法
CN113010064B (zh) 信息提示方法、装置和电子设备
CN112579072B (zh) 浏览器打包方法、装置、存储介质以及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant