CN111858494B - 文件获取方法、装置、存储介质及电子设备 - Google Patents
文件获取方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111858494B CN111858494B CN202010718369.1A CN202010718369A CN111858494B CN 111858494 B CN111858494 B CN 111858494B CN 202010718369 A CN202010718369 A CN 202010718369A CN 111858494 B CN111858494 B CN 111858494B
- Authority
- CN
- China
- Prior art keywords
- file
- determining
- data volume
- candidate
- file name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提出一种文件获取方法、装置、存储介质及电子设备,该文件获取方法包括获取文件系统日志,文件系统日志中包括有文件名属性;确定文件名属性所对应的文件的第一数据量;确定第一数据量是否大于预设的数据量阈值;若第一数据量大于数据量阈值,则确定出与第一数据量对应的目标文件。通过本申请能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种文件获取方法、装置、存储介质及电子设备。
背景技术
目前操作系统常用的磁盘卷格式为NTFS(New Technology File System)文件系统格式,当卷采用NTFS格式时,卷可以以簇为单位进行数据存储,且一个数据可以占用一个或多个簇,其中簇是NTFS格式中使用的最小磁盘单元,簇的大小是扇区的大小的整数倍,且簇的大小在被格式化时固定,扇区是磁盘读写的基本单位。NTFS使用逻辑簇号(LogicalCluster Number,LCN)和虚拟簇号(Virtual Cluster Number,VCN)来对簇进行定位。LCN是对整个卷中所有的簇从头到尾所进行的简单编号。用卷因子乘以LCN,NTFS就能够得到卷上的物理字节偏移量,从而得到物理磁盘地址。VCN则是对属于特定文件的簇从头到尾进行编号,以便于引用文件中的数据。VCN可以映射成LCN,而不必要求在物理上连续。
相关技术中,当需要获取一个大文件(大文件即数据量大于阈值的文件)时,通常是调用操作系统提供的应用程序编程接口来实现。
这种方式下,获取效率较低,获取效果不佳,从而可能影响其他衍生产品的应用功能。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的目的在于提出一种文件获取方法、装置、存储介质及电子设备,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
为达到上述目的,本申请第一方面实施例提出的文件获取方法,包括:获取文件系统日志,所述文件系统日志中包括有文件名属性;确定所述文件名属性所对应的文件的第一数据量;确定所述第一数据量是否大于预设的数据量阈值;若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件。
在本申请的一个实施例中,所述文件名属性对应文件系统存储结构中的文件,所述文件系统存储结构包括节点,在所述获取文件系统日志之前,还包括:
根据预配置的节点白名单,从所述节点中确定候选节点;
在所述获取文件系统日志之后,还包括:
从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性。
在本申请的一个实施例中,所述确定所述文件名属性所对应的文件的第一数据量,包括:
确定所述候选文件名属性所对应的候选文件的数据量并作为所述第一数据量。
在本申请的一个实施例中,在从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性之后,还包括:
获取所述候选文件名属性的后缀内容;
根据所述后缀内容,结合预配置的文件白名单从所述候选文件名属性中确定出目标文件名属性;
所述确定所述候选文件名属性所对应候选文件的数据量并作为所述第一数据量,包括:
确定所述目标文件名属性所对应目标文件的数据量并作为所述第一数据量。
在本申请的一个实施例中,所述确定所述文件名属性所对应的文件的第一数据量,包括:
确定所述文件名属性所对应文件的编号;
获取与所述编号对应的目标文件系统日志,所述目标文件系统日志包含节点属性;
根据所述节点属性,获取所述文件名属性所对应文件的第一数据量。
本申请第一方面实施例提出的文件获取方法,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
为达到上述目的,本申请第二方面实施例提出的文件获取装置,包括:第一获取模块,用于获取文件系统日志,所述文件系统日志中包括有文件名属性;第一确定模块,用于确定所述文件名属性所对应的文件的第一数据量;第一选取模块,用于确定所述第一数据量是否大于预设的数据量阈值,若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件。
在本申请的一个实施例中,所述文件名属性对应文件系统存储结构中的文件,所述文件系统存储结构包括节点,还包括:
第二选取模块,用于在所述获取文件系统日志之前,根据预配置的节点白名单,从所述节点中确定候选节点;
第二确定模块,用于在所述获取文件系统日志之后,从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性。
在本申请的一个实施例中,所述第一确定模块,具体用于:
确定所述候选文件名属性所对应的候选文件的数据量并作为所述第一数据量。
在本申请的一个实施例中,还包括:
第二获取模块,用于在从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性之后,获取所述候选文件名属性的后缀内容;
第三选取模块,用于根据所述后缀内容,结合预配置的文件白名单从所述候选文件名属性中确定出目标文件名属性;
所述第一确定模块,还用于:
确定所述目标文件名属性所对应目标文件的数据量并作为所述第一数据量。
在本申请的一个实施例中,所述第一确定模块,进一步用于:
确定所述文件名属性所对应文件的编号;
获取与所述编号对应的目标文件系统日志,所述目标文件系统日志包含节点属性;
根据所述节点属性,获取所述文件名属性所对应文件的第一数据量。
本申请第二方面实施例提出的文件获取装置,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
为达到上述目的,本申请第三方面实施例提出的电子设备,包括:处理器,存储器,电源电路,多媒体组件,音频组件,输入/输出(I/O)的接口,传感器组件,以及通信组件;其中,电路板安置在壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述电子设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行:获取文件系统日志,所述文件系统日志中包括有文件名属性;确定所述文件名属性所对应的文件的第一数据量;确定所述第一数据量是否大于预设的数据量阈值;若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件。
本申请第三方面实施例提出的电子设备,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
为达到上述目的,本申请第四方面实施例提出的非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器被执行时,使得电子设备能够执行一种文件获取方法,所述方法包括:获取文件系统日志,所述文件系统日志中包括有文件名属性;确定所述文件名属性所对应的文件的第一数据量;确定所述第一数据量是否大于预设的数据量阈值;若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件。
本申请第四方面实施例提出的非临时性计算机可读存储介质,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
为达到上述目的,本申请第五方面实施例提出的计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行一种文件获取方法,所述方法包括:获取文件系统日志,所述文件系统日志中包括有文件名属性;确定所述文件名属性所对应的文件的第一数据量;确定所述第一数据量是否大于预设的数据量阈值;若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件。
本申请第五方面实施例提出的计算机程序产品,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请一实施例提出的文件获取方法的流程示意图;
图2为本申请实施例中NTFS存储结构示意图;
图3是本申请另一实施例提出的文件获取方法的流程示意图;
图4是本申请另一实施例提出的文件获取方法的流程示意图;
图5是本申请一实施例提出的文件获取装置的结构示意图;
图6是本申请另一实施例提出的文件获取装置的结构示意图;
图7是本申请实施例的一个电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。相反,本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本申请一实施例提出的文件获取方法的流程示意图。
为了解决相关技术中文件获取效率较低,获取效果不佳,从而可能影响其他衍生产品的应用功能的技术问题,本申请提供一种文件获取方法,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
本实施例以文件获取方法被配置为文件获取装置中来举例说明。
本实施例中文件获取方法可以被配置在文件获取装置中,文件获取装置可以设置在服务器中,或者也可以设置在计算机设备中,本申请实施例对此不作限制。
本实施例以文件获取方法被配置在计算机设备中为例。
需要说明的是,本申请实施例的执行主体,在硬件上可以例如为服务器或者计算机设备中的中央处理器(Central Processing Unit,CPU),在软件上可以例如为服务器或者计算机设备中的相关的后台服务,对此不作限制。
参见图1,该文件获取方法包括:
S101:获取文件系统日志,文件系统日志中包括有文件名属性。
通常是采用NTFS(New Technology File System)文件系统格式预先将各个文件存储在操作系统的磁盘中,参见图2,图2为本申请实施例中NTFS存储结构示意图,图2描述了操作系统的根盘符下面有一个文件a.file,一个文件夹bdir,其中文件夹bdir下面有两个文件c.txt和d.exe,各个文件具有相应的编号,该编号例如FileReferenceNumber和ParentFileReferenceNumber,也即是说,编号包括描述了一个文件在NTFS存储结构内本身的编号和父节点文件夹的编号,能够用于唯一描述该文件在NTFS存储结构内的存储架构情况,上述的ParentFileReferenceNumber可以理解为:DirectoryFileReferenceNumber(直系的父节点文件夹的编号)。
其中,操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,当用户不再使用时撤销文件等。
而文件系统日志正是辅助文件系统的运转,记录文件系统建立文件,存入、读出、修改、转储文件,控制文件的存取的日志。
本申请实施例中的文件系统日志具体为NTFS文件系统日志(NTFS_FILE_RECORD)。
该文件系统日志(NTFS_FILE_RECORD)中包含了至少一个文件名属性,其中,AttributeFileName(文件名属性),文件名属性可以有至少一个,长文件名自动被转换为相应的短文件名(该短文件名能够便于MS-DOS和16位程序访问),或者当该文件存在硬链接时,会携带该节点属性,一个文件名属性对应一个文件。
一些实施例中,文件名属性对应文件系统存储结构中的文件,文件系统存储结构包括节点,节点的数量可以为一个或者多个,文件系统存储结构即可以如上述图2所示,获取文件系统日志之前,参见图3,还包括:
S301:根据预配置的节点白名单,从节点中确定候选节点。
其中,预配置的节点白名单之中可以包含需求的节点列表。
举例而言,假设文件系统存储结构中包含了20个节点,预配置的节点白名单的节点列表包括:节点A、节点B、节点C,则可以从文件系统存储结构中识别出节点A、节点B、节点C,并作为候选节点。
从而在步骤S101,获取文件系统日志之后,还包括:
S302:从文件系统日志中,确定出与候选节点对应的候选文件名属性。
上述预配置的节点白名单可以是根据操作系统的实际存储需求确定出的,假设实际存储需求是将大文件存储至路径A-B-C中,则可以将路径A-B-C覆盖的节点A、节点B、节点C均写入节点白名单中,从而辅助后续在搜索目标文件时,在候选节点中搜索即可,确定出与候选节点对应的候选文件名属性,缩小了节点搜索空间,提升搜索效率,提升目标文件的命中效果。
S102:确定文件名属性所对应的文件的第一数据量。
一些实施例中,可以确定文件名属性所对应文件的编号;获取与编号对应的目标文件系统日志,目标文件系统日志包含节点属性;根据节点属性,获取文件名属性所对应文件的第一数据量,实现快速地获取文件的数据量,提升获取效果。
举例而言,根据给定的文件名属性所对应文件的编号FileReferenceNumber,可以通过调用API DeviceIoControl读取NTFS_FILE_RECORD(目标文件系统日志),该目标文件系统日志中包含了节点属性,其中,节点属性是一个流结构,可以包含各种各样的属性。
可选地,节点属性的数量为至少一个,节点属性例如为文件名属性、数据属性,以及列表属性。
举例而言,AttributeAttributeList(列表属性),当一个文件要求至少一个MFT(即主文件表(Master File Table))文件记录时会有该节点属性,当文件具有该列表属性时,相应的会对应一个属性列表,该属性列表中包括构成该文件的这些节点属性,以及每个节点属性所在的MFT文件记录的文件引用。
数据属性(AttributeData),一个文件仅有一个未命名的数据属性,但可有额外至少一个命名的数据属性,即一个文件可以有至少一个数据流,目录没有默认的数据属性,但可有至少一个可选的命名的数据属性。
由于获取与编号对应的目标文件系统日志,目标文件系统日志包含节点属性,可以理解为从操作系统整体的NTFS文件系统日志中获取了与给定文件的编号对应的部分的目标文件系统日志,由此实现缩小了搜索空间,从而提升了获取效率。
当执行根据节点属性,获取上述文件名属性所对应文件的第一数据量时,可以是遍历目标文件系统日志之中各个节点属性,从中读取出相应的数据量,或者,也可以采用其他任意可能的方式去根据节点属性,获取上述文件名属性所对应文件的数据量,对此不做限制。
S103:确定第一数据量是否大于预设的数据量阈值。
S104:若第一数据量大于数据量阈值,则确定出与第一数据量对应的目标文件。
也即是说,可以预先设定一个数据量阈值,当获取了各个文件名属性所对应文件的第一数据量之后,可以分别将各个第一数据量与数据量阈值进行比对,从而确定出大于该数据量阈值的目标文件,以此实现快速地获取到大数据量的目标文件。
本实施例中,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
图4是本申请一实施例提出的文件获取方法的流程示意图。
参见图4,该文件获取方法包括:
S401:根据预配置的节点白名单,从节点中确定候选节点。
S402:获取文件系统日志,文件系统日志中包括有文件名属性。
S403:从文件系统日志中,确定出与候选节点对应的候选文件名属性。
其中,预配置的节点白名单之中可以包含需求的节点列表。
举例而言,假设文件系统存储结构中包含了20个节点,预配置的节点白名单的节点列表包括:节点A、节点B、节点C,则可以从文件系统存储结构中识别出节点A、节点B、节点C,并作为候选节点。
上述预配置的节点白名单可以是根据操作系统的实际存储需求确定出的,假设实际存储需求是将大文件存储至路径A-B-C中,则可以将路径A-B-C覆盖的节点A、节点B、节点C均写入节点白名单中,从而辅助后续在搜索目标文件时,在候选节点中搜索即可,确定出与候选节点对应的候选文件名属性,缩小了节点搜索空间,提升搜索效率,提升目标文件的命中效果。
S404:获取候选文件名属性的后缀内容。
S405:根据后缀内容,结合预配置的文件白名单从候选文件名属性中确定出目标文件名属性。
上述预配置的文件白名单可以是预先根据各种文件的实际数据量情况配置的,通常某些类型的文件的数据量比较大,则从该类型文件中获取到目标文件的命中概率越高,则可以将该种类型的文件的后缀内容记录在文件白名单中,从而结合预配置的文件白名单去命中目标文件,由此实现结合预配置的文件白名单筛选出了目标文件名属性,从而多角度地缩小了筛选搜索的空间。
另外一些实施例中,还可以预先配置文件路径白名单,可以在文件路径白名单内记录符合获取需求的文件路径,以此可以直接从该文件路径指示的路径下去获取目标文件,以此提升获取效率。
S406:确定目标文件名属性所对应目标文件的数据量并作为第一数据量。
S407:确定第一数据量是否大于预设的数据量阈值。
S408:若第一数据量大于数据量阈值,则确定出与第一数据量对应的目标文件。
步骤S406-S408具体执行的描述可以参见上述实施例,在此不再赘述。
本实施例中,通过根据预配置的节点白名单,从节点中确定候选节点,获取文件系统日志,从文件系统日志中,确定出与候选节点对应的候选文件名属性,获取候选文件名属性的后缀内容,并根据后缀内容,结合预配置的文件白名单从候选文件名属性中确定出目标文件名属性,确定目标文件名属性所对应目标文件的数据量并作为第一数据量,由于不仅确定出候选文件名属性,还结合预配置的文件白名单从候选文件名属性中筛选出了目标文件名属性,从而多角度地缩小了筛选搜索的空间,从整体上提升了文件获取的效率,以及提升目标文件的命中效果。
图5是本申请一实施例提出的文件获取装置的结构示意图。
参见图5,该装置500包括:
第一获取模块501,用于获取文件系统日志,文件系统日志中包括有文件名属性;
第一确定模块502,用于确定文件名属性所对应的文件的第一数据量;
第一选取模块503,用于确定第一数据量是否大于预设的数据量阈值,若第一数据量大于数据量阈值,则确定出与第一数据量对应的目标文件。
可选地,一些实施例中,参见图6,文件名属性对应文件系统存储结构中的文件,文件系统存储结构包括节点,还包括:
第二选取模块504,用于在获取文件系统日志之前,根据预配置的节点白名单,从节点中确定候选节点;
第二确定模块505,用于在获取文件系统日志之后,从文件系统日志中,确定出与候选节点对应的候选文件名属性。
可选地,一些实施例中,第一确定模块502,具体用于:
确定候选文件名属性所对应的候选文件的数据量并作为第一数据量。
可选地,一些实施例中,参见图6,还包括:
第二获取模块506,用于在从文件系统日志中,确定出与候选节点对应的候选文件名属性之后,获取候选文件名属性的后缀内容;
第三选取模块507,用于根据后缀内容,结合预配置的文件白名单从候选文件名属性中确定出目标文件名属性;
第一确定模块502,还用于:
确定目标文件名属性所对应目标文件的数据量并作为第一数据量。
可选地,一些实施例中,第一确定模块502,进一步用于:
确定文件名属性所对应文件的编号;
获取与编号对应的目标文件系统日志,目标文件系统日志包含节点属性;
根据节点属性,获取文件名属性所对应文件的第一数据量。
需要说明的是,前述图1-图4实施例中对文件获取方法实施例的解释说明也适用于该实施例的文件获取装置500,其实现原理类似,此处不再赘述。
本实施例中,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
本申请实施例还提供了一种电子设备,参见图7,电子设备700可以包括以下一个或至少一个组件:处理器701,存储器702,电源电路703,多媒体组件704,音频组件705,输入/输出(I/O)的接口706,传感器组件707,以及通信组件708。
电源电路703,用于为电子设备的各个电路或器件供电;存储器702用于存储可执行程序代码;处理器701通过读取存储器702中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行以下步骤:
获取文件系统日志,文件系统日志中包括有文件名属性;
确定文件名属性所对应的文件的第一数据量;
确定第一数据量是否大于预设的数据量阈值;
若第一数据量大于数据量阈值,则确定出与第一数据量对应的目标文件。
需要说明的是,前述图1-图4实施例中对文件获取方法实施例的解释说明也适用于该实施例的电子设备700,其实现原理类似,此处不再赘述。
本实施例中,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行一种文件获取方法,方法包括:
获取文件系统日志,文件系统日志中包括有文件名属性;
确定文件名属性所对应的文件的第一数据量;
确定第一数据量是否大于预设的数据量阈值;
若第一数据量大于数据量阈值,则确定出与第一数据量对应的目标文件。
本实施例中的非临时性计算机可读存储介质,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
为了实现上述实施例,本申请还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时,执行一种文件获取方法,方法包括:
获取文件系统日志,文件系统日志中包括有文件名属性;
确定文件名属性所对应的文件的第一数据量;
确定第一数据量是否大于预设的数据量阈值;
若第一数据量大于数据量阈值,则确定出与第一数据量对应的目标文件。
本实施例中的计算机程序产品,通过获取文件系统日志,文件系统日志中包括有文件名属性,并确定文件名属性所对应的文件的第一数据量,确定第一数据量是否大于预设的数据量阈值,以及在第一数据量大于数据量阈值时,确定出与第一数据量对应的目标文件,能够实现快速地获取数据量较大的目标文件,提升获取效果,有效避免影响其他衍生产品的应用功能。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种文件获取方法,其特征在于,所述方法包括:
获取文件系统日志,所述文件系统日志中包括有文件名属性;
确定所述文件名属性所对应的文件的第一数据量;
确定所述第一数据量是否大于预设的数据量阈值;
若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件;
其中,所述文件名属性对应文件系统存储结构中的文件,所述文件系统存储结构包括节点,在所述获取文件系统日志之前,还包括:
根据预配置的节点白名单,从所述节点中确定候选节点;
在所述获取文件系统日志之后,还包括:
从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性;
所述确定所述文件名属性所对应的文件的第一数据量,包括:
确定所述候选文件名属性所对应的候选文件的数据量并作为所述第一数据量;
在从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性之后,还包括:
获取所述候选文件名属性的后缀内容;
根据所述后缀内容,结合预配置的文件白名单从所述候选文件名属性中确定出目标文件名属性;
所述确定所述候选文件名属性所对应候选文件的数据量并作为所述第一数据量,包括:
确定所述目标文件名属性所对应目标文件的数据量并作为所述第一数据量。
2.如权利要求1所述的文件获取方法,其特征在于,所述确定所述文件名属性所对应的文件的第一数据量,包括:
确定所述文件名属性所对应文件的编号;
获取与所述编号对应的目标文件系统日志,所述目标文件系统日志包含节点属性;
根据所述节点属性,获取所述文件名属性所对应文件的第一数据量。
3.一种文件获取装置,其特征在于,所述装置包括:
第一获取模块,用于获取文件系统日志,所述文件系统日志中包括有文件名属性;
第一确定模块,用于确定所述文件名属性所对应的文件的第一数据量;
第一选取模块,用于确定所述第一数据量是否大于预设的数据量阈值,若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件;
其中,所述文件名属性对应文件系统存储结构中的文件,所述文件系统存储结构包括节点,还包括:
第二选取模块,用于在所述获取文件系统日志之前,根据预配置的节点白名单,从所述节点中确定候选节点;
第二确定模块,用于在所述获取文件系统日志之后,从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性;
所述第一确定模块,具体用于:
确定所述候选文件名属性所对应的候选文件的数据量并作为所述第一数据量;
所述装置还包括:
第二获取模块,用于在从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性之后,获取所述候选文件名属性的后缀内容;
第三选取模块,用于根据所述后缀内容,结合预配置的文件白名单从所述候选文件名属性中确定出目标文件名属性;
所述第一确定模块,还用于:
确定所述目标文件名属性所对应目标文件的数据量并作为所述第一数据量。
4.如权利要求3所述的文件获取装置,其特征在于,所述第一确定模块,进一步用于:
确定所述文件名属性所对应文件的编号;
获取与所述编号对应的目标文件系统日志,所述目标文件系统日志包含节点属性;
根据所述节点属性,获取所述文件名属性所对应文件的第一数据量。
5.一种电子设备,其特征在于,包括以下一个或至少一个组件:处理器,存储器,电源电路,多媒体组件,音频组件,输入/输出(I/O)的接口,传感器组件,以及通信组件;其中,电路板安置在壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述电子设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行:
获取文件系统日志,所述文件系统日志中包括有文件名属性;
确定所述文件名属性所对应的文件的第一数据量;
确定所述第一数据量是否大于预设的数据量阈值;
若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件;
其中,所述文件名属性对应文件系统存储结构中的文件,所述文件系统存储结构包括节点,在所述获取文件系统日志之前,还包括:
根据预配置的节点白名单,从所述节点中确定候选节点;
在所述获取文件系统日志之后,还包括:
从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性;
所述确定所述文件名属性所对应的文件的第一数据量,包括:
确定所述候选文件名属性所对应的候选文件的数据量并作为所述第一数据量;
在从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性之后,还包括:
获取所述候选文件名属性的后缀内容;
根据所述后缀内容,结合预配置的文件白名单从所述候选文件名属性中确定出目标文件名属性;
所述确定所述候选文件名属性所对应候选文件的数据量并作为所述第一数据量,包括:
确定所述目标文件名属性所对应目标文件的数据量并作为所述第一数据量。
6.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-2中任一项所述的文件获取方法。
7.一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行一种文件获取方法,所述方法包括:
获取文件系统日志,所述文件系统日志中包括有文件名属性;
确定所述文件名属性所对应的文件的第一数据量;
确定所述第一数据量是否大于预设的数据量阈值;
若所述第一数据量大于所述数据量阈值,则确定出与所述第一数据量对应的目标文件;
其中,所述文件名属性对应文件系统存储结构中的文件,所述文件系统存储结构包括节点,在所述获取文件系统日志之前,还包括:
根据预配置的节点白名单,从所述节点中确定候选节点;
在所述获取文件系统日志之后,还包括:
从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性;
所述确定所述文件名属性所对应的文件的第一数据量,包括:
确定所述候选文件名属性所对应的候选文件的数据量并作为所述第一数据量;
在从所述文件系统日志中,确定出与所述候选节点对应的候选文件名属性之后,还包括:
获取所述候选文件名属性的后缀内容;
根据所述后缀内容,结合预配置的文件白名单从所述候选文件名属性中确定出目标文件名属性;
所述确定所述候选文件名属性所对应候选文件的数据量并作为所述第一数据量,包括:
确定所述目标文件名属性所对应目标文件的数据量并作为所述第一数据量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010718369.1A CN111858494B (zh) | 2020-07-23 | 2020-07-23 | 文件获取方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010718369.1A CN111858494B (zh) | 2020-07-23 | 2020-07-23 | 文件获取方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111858494A CN111858494A (zh) | 2020-10-30 |
CN111858494B true CN111858494B (zh) | 2024-05-17 |
Family
ID=72950476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010718369.1A Active CN111858494B (zh) | 2020-07-23 | 2020-07-23 | 文件获取方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111858494B (zh) |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003067235A (ja) * | 2001-08-28 | 2003-03-07 | Nec Corp | Nfsサーバおよびそのリード性能高速化方法 |
CN102082812A (zh) * | 2009-12-01 | 2011-06-01 | 华为技术有限公司 | 支撑域系统间文件传送的方法、装置和系统 |
CN102158546A (zh) * | 2011-02-28 | 2011-08-17 | 中国科学院计算技术研究所 | 一种集群文件系统及其文件服务方法 |
CN102521349A (zh) * | 2011-12-12 | 2012-06-27 | 深圳市创新科信息技术有限公司 | 一种文件预读方法 |
CN103092927A (zh) * | 2012-12-29 | 2013-05-08 | 华中科技大学 | 一种分布式环境下的文件快速读写方法 |
CN103902735A (zh) * | 2014-04-18 | 2014-07-02 | 中国人民解放军理工大学 | 面向大规模集群消重的应用感知数据路由方法及系统 |
CN104715070A (zh) * | 2015-04-01 | 2015-06-17 | 武汉中科通达高新技术股份有限公司 | 一种大图像文件及生成和读取方法 |
CN105069048A (zh) * | 2015-07-23 | 2015-11-18 | 东方网力科技股份有限公司 | 一种小文件存储方法、查询方法和装置 |
CN105204959A (zh) * | 2015-08-28 | 2015-12-30 | 小米科技有限责任公司 | 恢复ext文件系统中已删除文件的方法及装置 |
CN105279278A (zh) * | 2015-11-13 | 2016-01-27 | 珠海市君天电子科技有限公司 | 文件的搜索方法及装置 |
CN106227830A (zh) * | 2016-07-25 | 2016-12-14 | 乐视控股(北京)有限公司 | 存储和读取文件的方法和装置 |
CN106250270A (zh) * | 2016-07-28 | 2016-12-21 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据备份方法 |
CN106293518A (zh) * | 2016-07-29 | 2017-01-04 | 成都神州数码索贝科技有限公司 | 一种高效的安防行业媒体数据存储文件系统 |
CN107733716A (zh) * | 2017-10-26 | 2018-02-23 | 郑州云海信息技术有限公司 | 分布式文件系统日志分析方法、系统、设备及存储介质 |
CN107886008A (zh) * | 2016-09-30 | 2018-04-06 | 北京京东尚科信息技术有限公司 | 文件管理方法和系统 |
CN108366010A (zh) * | 2018-01-15 | 2018-08-03 | 华南理工大学 | 一种基于云存储的电子邮件归档系统及其数据处理方法 |
CN108415962A (zh) * | 2018-02-06 | 2018-08-17 | 国家电网公司 | 一种云存储系统 |
CN110309035A (zh) * | 2018-03-20 | 2019-10-08 | 北京乐我无限科技有限责任公司 | 日志记录方法、装置、电子设备及存储介质 |
CN110377579A (zh) * | 2019-07-24 | 2019-10-25 | 南京中孚信息技术有限公司 | 文件存储方法、装置及服务器 |
CN110955632A (zh) * | 2019-11-18 | 2020-04-03 | 珠海豹趣科技有限公司 | 一种文件索引生成方法及装置 |
CN108021590B (zh) * | 2016-10-28 | 2022-01-18 | 斑马智行网络(香港)有限公司 | 一种目标对象属性确定方法、属性更新方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8326811B2 (en) * | 2010-10-26 | 2012-12-04 | Hitachi, Ltd. | File management method and computer system |
-
2020
- 2020-07-23 CN CN202010718369.1A patent/CN111858494B/zh active Active
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003067235A (ja) * | 2001-08-28 | 2003-03-07 | Nec Corp | Nfsサーバおよびそのリード性能高速化方法 |
CN102082812A (zh) * | 2009-12-01 | 2011-06-01 | 华为技术有限公司 | 支撑域系统间文件传送的方法、装置和系统 |
CN102158546A (zh) * | 2011-02-28 | 2011-08-17 | 中国科学院计算技术研究所 | 一种集群文件系统及其文件服务方法 |
CN102521349A (zh) * | 2011-12-12 | 2012-06-27 | 深圳市创新科信息技术有限公司 | 一种文件预读方法 |
CN103092927A (zh) * | 2012-12-29 | 2013-05-08 | 华中科技大学 | 一种分布式环境下的文件快速读写方法 |
CN103902735A (zh) * | 2014-04-18 | 2014-07-02 | 中国人民解放军理工大学 | 面向大规模集群消重的应用感知数据路由方法及系统 |
CN104715070A (zh) * | 2015-04-01 | 2015-06-17 | 武汉中科通达高新技术股份有限公司 | 一种大图像文件及生成和读取方法 |
CN105069048A (zh) * | 2015-07-23 | 2015-11-18 | 东方网力科技股份有限公司 | 一种小文件存储方法、查询方法和装置 |
CN105204959A (zh) * | 2015-08-28 | 2015-12-30 | 小米科技有限责任公司 | 恢复ext文件系统中已删除文件的方法及装置 |
CN105279278A (zh) * | 2015-11-13 | 2016-01-27 | 珠海市君天电子科技有限公司 | 文件的搜索方法及装置 |
CN106227830A (zh) * | 2016-07-25 | 2016-12-14 | 乐视控股(北京)有限公司 | 存储和读取文件的方法和装置 |
CN106250270A (zh) * | 2016-07-28 | 2016-12-21 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据备份方法 |
CN106293518A (zh) * | 2016-07-29 | 2017-01-04 | 成都神州数码索贝科技有限公司 | 一种高效的安防行业媒体数据存储文件系统 |
CN107886008A (zh) * | 2016-09-30 | 2018-04-06 | 北京京东尚科信息技术有限公司 | 文件管理方法和系统 |
CN108021590B (zh) * | 2016-10-28 | 2022-01-18 | 斑马智行网络(香港)有限公司 | 一种目标对象属性确定方法、属性更新方法及装置 |
CN107733716A (zh) * | 2017-10-26 | 2018-02-23 | 郑州云海信息技术有限公司 | 分布式文件系统日志分析方法、系统、设备及存储介质 |
CN108366010A (zh) * | 2018-01-15 | 2018-08-03 | 华南理工大学 | 一种基于云存储的电子邮件归档系统及其数据处理方法 |
CN108415962A (zh) * | 2018-02-06 | 2018-08-17 | 国家电网公司 | 一种云存储系统 |
CN110309035A (zh) * | 2018-03-20 | 2019-10-08 | 北京乐我无限科技有限责任公司 | 日志记录方法、装置、电子设备及存储介质 |
CN110377579A (zh) * | 2019-07-24 | 2019-10-25 | 南京中孚信息技术有限公司 | 文件存储方法、装置及服务器 |
CN110955632A (zh) * | 2019-11-18 | 2020-04-03 | 珠海豹趣科技有限公司 | 一种文件索引生成方法及装置 |
Non-Patent Citations (1)
Title |
---|
在大规模网络中挖掘恶意软件分布;邱凌志, 顾弘;《网络安全和信息化》(第07期);130-135 * |
Also Published As
Publication number | Publication date |
---|---|
CN111858494A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110019004B (zh) | 一种数据处理方法、装置及系统 | |
CN112445729B (zh) | 操作地址确定方法、PCIe系统、电子设备及存储介质 | |
US10671403B2 (en) | Method and apparatus for identifying hardware device in operating system | |
CN110147203B (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
CN109885577B (zh) | 数据处理方法、装置、终端及存储介质 | |
US8589454B2 (en) | Computer data file merging based on file metadata | |
US9547451B2 (en) | Writable clone data structure | |
CN111241040A (zh) | 信息获取方法、装置、电子设备及计算机存储介质 | |
WO2022228500A1 (zh) | 一种bios的数据存储方法、装置、设备及存储介质 | |
CN110753040B (zh) | 一种请求处理的方法及装置 | |
CN110990356A (zh) | 一种用于逻辑镜像的实时自动扩容方法和系统 | |
CN113853778B (zh) | 一种文件系统的克隆方法及装置 | |
US9817837B2 (en) | Method and system for file storage and access | |
CN111858494B (zh) | 文件获取方法、装置、存储介质及电子设备 | |
WO2024113688A1 (zh) | 闪存设备及其数据管理方法 | |
US9003354B2 (en) | Optimizing memory usage and system performance in a file system requiring entire blocks to be erased for rewriting data | |
CN113127430B (zh) | 镜像信息处理方法、装置、计算机可读介质及电子设备 | |
CN116301602A (zh) | 数据记录或读取方法、装置、采集设备、车辆及介质 | |
CN116303278A (zh) | 文件合并方法、文件读取方法、装置、设备及存储介质 | |
CN111858495B (zh) | 文件信息获取方法、装置、存储介质及电子设备 | |
CN114077575B (zh) | 用于内存快照文件的格式转换方法、设备和系统 | |
CN110851411B (zh) | 一种基于文件同步的dns动态变更系统及方法 | |
US8359456B2 (en) | Generating random addresses for verification of distributed computerized devices | |
US8402235B2 (en) | Backup apparatus, backup method and backup program | |
CN115344313B (zh) | 安卓系统分区的挂载方法、电子设备和机器可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |