CN110543452B - 一种数据采集的方法及设备 - Google Patents
一种数据采集的方法及设备 Download PDFInfo
- Publication number
- CN110543452B CN110543452B CN201910727416.6A CN201910727416A CN110543452B CN 110543452 B CN110543452 B CN 110543452B CN 201910727416 A CN201910727416 A CN 201910727416A CN 110543452 B CN110543452 B CN 110543452B
- Authority
- CN
- China
- Prior art keywords
- file
- file system
- identification
- target information
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1724—Details of de-fragmentation performed by the file system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1727—Details of free space management performed by the file system
Abstract
本发明提供一种数据采集的方法及设备,用以解决现有技术中在采集硬盘信息和文件系统信息时,造成数据丢失或性能下降的问题。在文件系统中没有可用空间后,按照数据文件存入文件系统的时间先后顺序,由前到后删除至少一部分数据文件;在确定删除失败的数据文件是用于确定文件系统当前轮次满覆盖的标识文件后,采集用于确定文件系统健康状态的目标信息;其中,目标信息包括硬盘的SMART信息和/或文件系统碎片率信息。由于在文件系统满覆盖时采集用于确定文件系统健康状态的目标信息,及时根据目标信息确定文件系统是否出现故障,防止数据丢失或性能下降,且并非主动实时监视,避免过度检测和目标信息的收集,避免频繁收集信息影响存储性能。
Description
技术领域
本发明涉及监控领域,特别涉及一种数据采集的方法及设备。
背景技术
监控设备在生活的各个场所随处可见,比如生活小区、大型商场、学校等。监控设备用于获取录像数据,进一步对获取的录像数据进行存储,在录像数据存储的时候通常采用机械硬盘及SSD(Solid State Drive,固态硬盘)配合文件系统对录像数据进行存储;机械硬盘及SSD在长期高负荷使用之后会出现坏块及擦写寿命损耗,文件系统会面临碎片困扰,这些问题都会降低存储系统数据的安全性和读写性能。因此需要提前采集硬盘信息和文件系统信息,进一步对采集的信息进行评估,确定硬盘和文件系统的损耗程度,以便提前换盘或进行碎片整理,防止数据丢失或性能下降。
现有技术中,主要通过两种方案采集硬盘信息和文件系统信息:
方案一:在存储系统出现问题后,开发人员采集硬盘信息和文件系统信息,根据采集的信息进行问题定位。但是在存储系统出现问题后才进行问题定位,只能做事后补救,但是会存在因损坏严重,导致数据丢失。
方案二:周期性采集硬盘信息和文件系统信息,根据采集的信息进行问题定位。虽然能提前报告硬盘和文件系统状态,但是若设置的采集周期不合理,则会错过发现问题的时机造成数据丢失,同时影响存储性能、浪费资源。
综上,现有技术中在采集硬盘信息和文件系统信息时,不能及时发现问题,造成数据丢失或性能下降。
发明内容
本发明提供一种数据采集的方法及设备,用以解决现有技术中在采集硬盘信息和文件系统信息时,不能及时发现问题,造成数据丢失或性能下降的问题。
第一方面,本发明实施例提供一种数据采集的方法,该方法包括:
在文件系统中没有可用空间后,按照数据文件存入所述文件系统的时间先后顺序,由前到后删除至少一部分数据文件;
在确定所述数据文件删除失败,且删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,采集用于确定所述文件系统健康状态的目标信息;
其中,所述目标信息包括硬盘的SMART(Self-Monitoring Analysis andReporting Technology,自我监测分析及报告技术)信息和/或文件系统碎片率信息。
上述方法,在确定文件系统中没有可用空间后,按照数据文件存入文件系统的时间先后顺序,由前到后删除数据文件,并在确定删除失败的数据文件是用于确定文件系统当前轮次满覆盖的标识文件后,采集用于确定文件系统健康状态的目标信息,由于根据文件系统满覆盖状态确定需要采集用于确定文件系统健康状态的目标信息,可以及时根据确定的目标信息确定文件系统是否出现故障,防止数据丢失或性能下降,且本发明实施例是在满覆盖时确定采集目标信息,并非主动实时监视,避免过度检测和目标信息的收集,节约CPU能力,且避免频繁收集信息影响存储性能。
在一种可能的实现方式中,所述在确定删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,对用于确定所述文件系统的健康状态的满覆盖轮数增加一个步长值,其中所述满覆盖轮数与所述文件系统的健康状态成反比。
上述方法,在确定删除失败的数据文件是用于确定文件系统满覆盖轮次的标识文件后,确定文件系统再次达到满覆盖,即文件系统满覆盖的轮数增加一次,并对用于确定文件系统健康状态的满覆盖轮数增加一个步长值,且满覆盖轮数与文件系统的健康状态成反比,满覆盖轮数越多,文件系统出现问题的概率越大,因此根据满覆盖轮数可以进一步确定文件系统是否会出现问题。
在一种可能的实现方式中,根据所述标识文件的时间属性确定所述标识文件存入所述文件系统的时间。
上述方法,根据标识文件的时间属性确定标识文件存入文件系统的时间,以在确定文件系统没有可用空间即满覆盖时,按照数据文件的时间的先后顺序删除数据文件时,删除到标识文件时确定达到新一轮的满覆盖,并确定采集目标信息及对满覆盖的轮数增加一个步长值。
在一种可能的实现方式中,所述采集用于确定所述文件系统健康状态的目标信息后,将采集到的所述目标信息存入所述标识文件,并根据采集所述目标信息的时间对所述标识文件的时间属性进行修改。
上述方法,由于将采集到的目标信息存入标识文件,是在满覆盖的时候执行的,因此根据采集目标信息的时间对标识文件的时间属性进行修改,使标识文件成为新一轮次中时间排在最前的数据文件,当在新一轮次达到满覆盖时,确定需要删除的数据文件中的第一个数据文件是标识文件,以在满覆盖的时候采集目标信息。
在一种可能的实现方式中,所述将采集到的所述目标信息存入所述标识文件之后,在接收到调取目标信息的指令后,根据所述文件系统中用于存储所述标识文件的路径名的索引文件索引所述标识文件,并调取所述标识文件中的所述目标信息。
上述方法,在接收到调取目标信息的指令后,根据所述文件系统中用于存储标识文件的路径名的索引文件索引标识文件,并调取标识文件中的目标信息,可以快速读取到标识文件中存储的目标信息。
在一种可能的实现方式中,所述标识文件的时间属性为文件名;
所述根据采集所述目标信息的时间对所述标识文件的时间属性进行修改后,还包括:
根据修改后的标识文件的文件名,对所述索引文件中所述标识文件的路径名进行更新。
上述方法,根据修改后的标识文件的文件名,对索引文件中标识文件的路径名进行更新,以根据索引文件中存储的标识文件的路径名可以准确的索引到标识文件。
第二方面,本发明实施例提供一种数据采集的设备,该设备包括:至少一个处理单元以及至少一个存储单元,其中,存储单元存储有程序代码,当程序代码被处理单元执行时,处理单元具体用于:
在文件系统中没有可用空间后,按照数据文件存入所述文件系统的时间先后顺序,由前到后删除至少一部分数据文件;
在确定所述数据文件删除失败,且删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,采集用于确定所述文件系统健康状态的目标信息;
其中,所述目标信息包括硬盘的SMART信息和/或文件系统碎片率信息。
第三方面,本发明实施例提供一种数据采集的设备,该设备包括:删除模块和采集模块;
删除模块用于:在文件系统中没有可用空间后,按照数据文件存入所述文件系统的时间先后顺序,由前到后删除至少一部分数据文件;
采集模块用于:在确定所述数据文件删除失败,且删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,采集用于确定所述文件系统健康状态的目标信息;
其中,所述目标信息包括硬盘的SMART信息和/或文件系统碎片率信息。
第四方面,本发明还提供一种计算机存储介质,其上存储有计算机程序,该程序被处理单元执行时实现第一方面方法的步骤。
另外,第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据采集的方法流程图;
图2为本发明实施例提供的一种数据采集的整体方法流程图;
图3为本发明实施例提供的一种数据采集的设备结构图;
图4为本发明实施例提供的另一种数据采集的设备结构图。
具体实施方式
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供的一种数据采集的方法流程图,包括如下步骤:
步骤100,在文件系统中没有可用空间后,按照数据文件存入所述文件系统的时间先后顺序,由前到后删除至少一部分数据文件;
步骤110,在确定所述数据文件删除失败,且删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,采集用于确定所述文件系统健康状态的目标信息;
其中,所述目标信息包括硬盘的SMART信息和/或文件系统碎片率信息。
上述方案,在确定文件系统中没有可用空间后,按照数据文件存入文件系统的时间先后顺序,由前到后删除数据文件,并在确定删除失败的数据文件是用于确定文件系统当前轮次满覆盖的标识文件后,采集用于确定文件系统健康状态的目标信息,由于根据文件系统满覆盖状态确定需要采集用于确定文件系统健康状态的目标信息,可以及时根据确定的目标信息确定文件系统是否出现故障,防止数据丢失或性能下降,且本发明实施例是在满覆盖时确定采集目标信息,并非主动实时监视,避免过度检测和目标信息的收集,节约CPU能力,且避免频繁收集信息影响存储性能。
进行数据采集的过程主要分为两个阶段:第一阶段为初始化阶段,第二阶段为文件系统满覆盖阶段。
在本发明实施例中,第一阶段:主要完成文件系统格式化;安插用于确定满覆盖,和用于存储采集的硬盘的SMART信息和/或文件系统碎片率信息的标识文件;同时安插用于索引标识文件的索引文件。
在本发明实施例中,在初始化设置标识文件时,可以设置至少一个用于确定满覆盖,和用于存储采集的SMART信息和/或文件系统碎片率信息的标识文件,且至少一个用于存储采集的SMART信息和/或文件系统碎片率信息的标识文件可以通过索引文件直接索引,至少一个用于存储采集的SMART信息和/或文件系统碎片率信息的标识文件是非直接索引的“深度潜伏”标识文件,将所有设置的标识文件都设置为不可删除;
其中,通过设置文件inode的不可变更拓展属性将初始化设置的标识文件设置为不可删除。
在本发明实施例中,在所述文件系统中设置索引文件,主要是用于索引标识文件;其中所述索引文件的名称是预先设置的且固定不变;所述索引文件中存储的内容是标识文件的路径名,以根据所述标识文件的路径名索引到标识文件,且所述索引文件中存储的内容会根据对应的标识文件的文件名的修改而更新。
比如,索引文件:commander.fix,存储的内容是spy0:/var/local/md0/20181031_04_01_2041_[0].MP4,此时索引文件索引的标识文件是文件名为20181031_04_01_2041_[0].MP4的文件,当索引文件索引的标识文件的文件名发生变化后,且变化后的标识文件的文件名为:20181031_05_01_2041_[0].MP4,则所述索引文件commander.fix中存储的内容将更改为:spy0:/var/local/md0/20181031_05_01_2041_[0].MP4,以便根据所述索引文件可以索引到对应的标识文件。
在本发明实施例中,设置至少一个用于存储采集的SMART信息和/或文件系统碎片率信息的标识文件是非直接索引的“深度潜伏”标识文件,是为了防止索引文件被读取,并将其直接索引的标识文件删除后,采集的用于确定文件系统健康状态的目标信息全部丢失。由于设置了未被索引文件索引的“深度潜伏”标识文件,且“深度潜伏”标识文件为不可删除的文件,因此即使在索引文件被读取,并将通过索引文件直接索引的标识文件删除后,“深度潜伏”标识文件也不会被删除,且“深度潜伏”标识文件中存储的用于确定文件系统健康状态的目标信息不会丢失;“深度潜伏”标识文件可通过内部程序扫描文件超级块找到,或在检测到文件系统没有可用空间,删除文件系统中的数据文件失败后被检测到。
需要说明的是,在本发明实施例中,初始化阶段还可以单独设置用于确定满覆盖的标识文件和用于存储采集的SMART信息和/或文件系统碎片率信息的标识文件,且索引文件中可以存储用于确定满覆盖的标识文件的路径名和/或用于存储采集的SMART信息和/或文件系统碎片率信息的标识文件的路径名。
在本发明实施例中,第二阶段主要用于获取数据文件,并将获取的数据文件存入文件系统中,由于获取数据文件存在时间的先后顺序,因此将当前时间获取的数据文件成为新的数据文件,将之前获取的数据文件称为历史数据文件,由于获取的数据文件不断的存入文件系统中,文件系统中的空间不断被数据文件所占用,当确定文件系统中没有可用的空间后,确定删除文件系统中的历史数据文件。
需要说明的是,在初始阶段安插的标识文件与后续获取的数据文件的文件名的格式一致,以数据文件为录像文件,及标识文件与获取的数据文件的文件名格式为“年月日_开始时间_结束时间_[通道号].MP4”为例,因此标识文件为文件系统中存储的数据文件中的一种。
由于标识文件是在获取数据文件之前安插在文件系统中的,因此按照时间顺序来说的话,标识文件是文件系统中时间最久的历史数据文件。由于不断的获取新的数据文件,文件系统的可用空间在不断的被占用,当确定文件系统中没有可用空间后,确定文件系统满覆盖,需要将文件系统中的数据文件按照时间顺序由前到后删除,因此最先删除的是初始化设置的标识文件。
在本发明实施例中,在初始化阶段时将标识文件设置成不可删除的数据文件,且标识文件为文件系统中时间最久的数据文件,因此在按照时间顺序由前到后删除数据文件时,首先删除标识文件,但又由于标识文件为不可删除的文件,因此会出现文件删除失败的情况,但是其他数据文件也可能因为某些原因会出现删除失败的情况;因此需要判断删除失败的文件是否为标识文件。
在判断删除失败的数据文件是否为标识文件时,会读取数据文件中的特征属性,并确定读取到的特征属性是否与标识文件的特征属性相对应,若读取的数据文件中的特征属性与标识文件中的特征属性相对应,则确定删除失败的数据文件为标识文件,否则确定删除失败的数据文件不是标识文件。
比如,在数据文件删除失败后,读取数据文件超级块(标识文件首部512字节为超级块)的前5个字节是否是‘S’‘P’‘Y’‘S’‘B’,若是则确定删除失败的数据文件是标识文件,其中判断删除失败的数据文件是否为标识文件的方式只是举例说明,任何一种可以确定数据文件是否为标识文件的方式都适用于本发明。
在本发明实施例中,当确定删除失败的数据文件是标识文件后,确定采集用于确定文件系统健康状态的目标信息,其中所述目标信息包括硬盘的SMART信息和/或文件系统碎片率信息。
进一步的,将采集到的用于确定文件系统健康状态的目标信息存入所述标识文件中,并根据采集所述目标信息的时间对所述标识文件的时间属性进行修改,以使所述标识文件成为文件系统中最新的数据文件也是新一轮次中的第一个数据文件,当新一轮满覆盖时,标识文件是当前轮次中时间最久的数据文件。
比如,初始阶段设置的标识文件为数据文件1,后续获取的数据文件按照时间先后顺序依次为数据文件2,数据文件3……数据文件10,此时确定文件系统中没有可用空间,文件系统完全被覆盖,删除的时候首先删除数据文件1(标识文件),但由于数据文件1为标识文件且不可删除,确定采集用于确定的文件系统健康状态的目标信息,并将采集的目标信息存入数据文件1中,并根据采集目标信息的时间对数据文件1的时间属性进行修改,此时数据文件1位新一轮次中的数据文件11,依次删除数据文件2,获取数据文件12,直至删除数据文件10,获取数据文件20,删除文件11时确定删除失败,且数据文件11为标识文件,该轮次达到满覆盖,采集用于确定文件系统健康状态的目标信息,并存入数据文件11(标识文件)中,进一步对标识文件的时间属性进行修改,以此类推。
因此,根据标识文件的时间属性可以确定标识文件存入文件系统的时间。
其中,根据采集的目标信息的时间对所述标识文件的时间属性进行修改时,若所述时间属性显示在所述标识文件的文件名中,则在根据采集的目标信息的时间对所述标识文件的时间属性进行修改时,即根据采集的目标信息的时间对标识文件的文件名进行修改;
进一步的,由于索引文件中存储的是标识文件的路径名,因此在标识文件的文件名称发生变化后,根据变化后的标识文件的文件名对索引文件中存储的标识文件的路径名进行更新,已在接收到调取目标信息的指令后,根据索引文件中存储的标识文件的路径名可以准确索引标识文件,并调取标识文件中存储的目标信息。
在本发明实施了中,在确定删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,对用于确定所述文件系统的健康状态的满覆盖轮数增加一个步长值,其中所述满覆盖轮数与所述文件系统的健康状态成反比。
其中,所述用于确定所述文件系统健康状态的满覆盖轮数可以存在所述标识文件中。
在本发明实施例中,当文件系统没有可用空间,确定删除所述文件系统中至少一部分历史数据文件,且在删除所述历史数据文件的过程中按照时间的先后顺序由前到后删除,在删除的时候可以按照时间的先后顺序一次性删除设定数量的数据文件,也可以按照时间的先后顺序一次性删除设定数据量的数据文件,还可以对文件系统中的数据文件按照时间的先后顺序逐一进行删除。
需要说明的是,在按照时间的先后顺序删除文件系统中的数据文件时,主要根据数据文件对应的时间属性确定数据文件的时间先后顺序,其中所述数据文件对应的时间属性可以通过数据文件的文件名方式体现,即数据文件以时间来命名;或数据文件对应的时间属性通过数据库记录的方式来体现,上述只是举例说明,任何一种可以确定数据文件的时间属性的方式都适用于本发明。
在本发明实施例中,当确定删除失败的数据文件不是标识文件后,进行报错,提示用户文件系统出现错误。
如图2所示,为本发明实施例提供的一种数据采集的整体方法流程图,包括如下步骤:
步骤200,将文件系统格式化,并设置标识文件和索引文件;
步骤201,获取数据文件,并将获取的数据文件存入文件系统中;
步骤202,确定文件系统没有可用空间后,按照数据文件存入文件系统的时间先后顺序,由前到后删除至少一部分数据文件;
步骤203,判断至少一部分数据文件是否全部删除成功,若全部删除成功,则执行步骤,201,否则执行步骤204;
步骤204,判断删除失败的数据文件是否为标识文件,若删除失败的数据文件是标识文件,则执行步骤205,否则执行步骤207;
步骤205,采集用于确定文件系统健康状态的目标信息,并将采集到的目标信息存入标识文件中,同时对标识文件中用于确定文件系统健康状态的满覆盖轮数增加一个步长值;
步骤206,根据采集所述目标信息的时间对所述标识文件的时间属性进行修改,并返回步骤201;
步骤207,报告错误。
基于同一发明构思,本发明实施例中还提供了一种数据采集的设备,由于该设备对应的是本发明实施例数据采集的方法对应的设备,并且该设备解决问题的原理与该方法原理相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图3所示,为本发明实施例提供的第一种数据采集的设备结构图,该设备包括:至少一个处理单元300以及至少一个存储单元301,其中,存储单元301存储有程序代码,当程序代码被处理单元300执行时,处理单元300具体用于:
在文件系统中没有可用空间后,按照数据文件存入所述文件系统的时间先后顺序,由前到后删除至少一部分数据文件;
在确定所述数据文件删除失败,且删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,采集用于确定所述文件系统健康状态的目标信息;
其中,所述目标信息包括硬盘的SMART信息和/或文件系统碎片率信息。
可选的,所述处理单元300还用于:
对用于确定所述文件系统的健康状态的满覆盖轮数增加一个步长值,其中所述满覆盖轮数与所述文件系统的健康状态成反比。
可选的,所述处理单元300还用于:
根据所述标识文件的时间属性确定所述标识文件存入所述文件系统的时间。
可选的,所述处理单元300还用于:
将采集到的所述目标信息存入所述标识文件,并根据采集所述目标信息的时间对所述标识文件的时间属性进行修改。
可选的,所述处理单元300还用于:
在接收到调取目标信息的指令后,根据所述文件系统中用于存储所述标识文件的路径名的索引文件索引所述标识文件,并调取所述标识文件中的所述目标信息。
可选的,所述标识文件的时间属性为文件名;
所述处理单元300还用于:
根据修改后的标识文件的文件名,对所述索引文件中所述标识文件的路径名进行更新。
如图4所示,为本发明实施例提供的第二种数据采集的设备结构图,该设备包括:删除模块400和采集模块410。
所述删除模块400用于:在文件系统中没有可用空间后,按照数据文件存入所述文件系统的时间先后顺序,由前到后删除至少一部分数据文件;
所述采集模块410用于:在确定所述数据文件删除失败,且删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,采集用于确定所述文件系统健康状态的目标信息;
其中,所述目标信息包括硬盘的SMART信息和/或文件系统碎片率信息。
可选的,所述采集模块410还用于:
对用于确定所述文件系统的健康状态的满覆盖轮数增加一个步长值,其中所述满覆盖轮数与所述文件系统的健康状态成反比。
可选的,所述采集模块410还用于:
根据所述标识文件的时间属性确定所述标识文件存入所述文件系统的时间。
可选的,所述采集模块410还用于:
将采集到的所述目标信息存入所述标识文件,并根据采集所述目标信息的时间对所述标识文件的时间属性进行修改。
可选的,所述采集模块410还用于:
在接收到调取目标信息的指令后,根据所述文件系统中用于存储所述标识文件的路径名的索引文件索引所述标识文件,并调取所述标识文件中的所述目标信息。
可选的,所述标识文件的时间属性为文件名;
所述采集模块410还用于:
根据修改后的标识文件的文件名,对所述索引文件中所述标识文件的路径名进行更新。
本发明实施例还提供一种计算机可存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述图1所述的方法的步。
以上参照示出根据本发明实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本发明。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本发明。更进一步地,本发明可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本发明上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种数据采集的方法,其特征在于,该方法包括:
监控设备在文件系统中没有可用空间后,按照录像数据文件存入所述文件系统的时间先后顺序,由前到后删除至少一部分录像数据文件;
监控设备在确定所述录像数据文件删除失败,且删除失败的录像数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,采集用于确定所述文件系统健康状态的目标信息;
其中,所述目标信息包括硬盘的自我监测分析及报告技术SMART信息和/或文件系统碎片率信息。
2.如权利要求1所述的方法,其特征在于,所述在确定删除失败的数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,还包括:
对用于确定所述文件系统的健康状态的满覆盖轮数增加一个步长值,其中所述满覆盖轮数与所述文件系统的健康状态成反比。
3.如权利要求1所述的方法,其特征在于,该方法还包括:
根据所述标识文件的时间属性确定所述标识文件存入所述文件系统的时间。
4.如权利要求3所述的方法,其特征在于,所述采集用于确定所述文件系统健康状态的目标信息后,还包括:
将采集到的所述目标信息存入所述标识文件,并根据采集所述目标信息的时间对所述标识文件的时间属性进行修改。
5.如权利要求4所述的方法,其特征在于,所述将采集到的所述目标信息存入所述标识文件之后,还包括:
在接收到调取目标信息的指令后,根据所述文件系统中用于存储所述标识文件的路径名的索引文件索引所述标识文件,并调取所述标识文件中的所述目标信息。
6.如权利要求5所述的方法,其特征在于,所述标识文件的时间属性为文件名;
所述根据采集所述目标信息的时间对所述标识文件的时间属性进行修改后,还包括:
根据修改后的标识文件的文件名,对所述索引文件中所述标识文件的路径名进行更新。
7.一种数据采集的设备,其特征在于,该设备包括:至少一个处理单元以及至少一个存储单元,其中,存储单元存储有程序代码,当程序代码被处理单元执行时,处理单元具体用于:
在文件系统中没有可用空间后,按照录像数据文件存入所述文件系统的时间先后顺序,由前到后删除至少一部分录像数据文件;
在确定所述录像数据文件删除失败,且删除失败的录像数据文件是用于确定所述文件系统当前轮次满覆盖的标识文件后,采集用于确定所述文件系统健康状态的目标信息;
其中,所述目标信息包括硬盘的SMART信息和/或文件系统碎片率信息。
8.如权利要求7所述的设备,其特征在于,所述处理单元还用于:
对用于确定所述文件系统的健康状态的满覆盖轮数增加一个步长值,其中所述满覆盖轮数与所述文件系统的健康状态成反比。
9.如权利要求7所述的设备,其特征在于,所述处理单元还用于:
根据所述标识文件的时间属性确定所述标识文件存入所述文件系统的时间。
10.如权利要求9所述的设备,其特征在于,所述处理单元还用于:
将采集到的所述目标信息存入所述标识文件,并根据采集所述目标信息的时间对所述标识文件的时间属性进行修改。
11.如权利要求10所述的设备,其特征在于,所述处理单元还用于:
在接收到调取目标信息的指令后,根据所述文件系统中用于存储所述标识文件的路径名的索引文件索引所述标识文件,并调取所述标识文件中的所述目标信息。
12.如权利要求11所述的设备,其特征在于,所述标识文件的时间属性为文件名;
所述处理单元还用于:
根据修改后的标识文件的文件名,对所述索引文件中所述标识文件的路径名进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910727416.6A CN110543452B (zh) | 2019-08-07 | 2019-08-07 | 一种数据采集的方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910727416.6A CN110543452B (zh) | 2019-08-07 | 2019-08-07 | 一种数据采集的方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110543452A CN110543452A (zh) | 2019-12-06 |
CN110543452B true CN110543452B (zh) | 2022-07-05 |
Family
ID=68710117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910727416.6A Active CN110543452B (zh) | 2019-08-07 | 2019-08-07 | 一种数据采集的方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110543452B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114598493B (zh) * | 2022-01-14 | 2023-09-05 | 浙江省通信产业服务有限公司 | 一种网络流量采集方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7024583B2 (en) * | 2002-10-31 | 2006-04-04 | Hewlett-Packard Development Company, L.P. | Method and apparatus for detecting file system corruption |
US7246156B2 (en) * | 2003-06-09 | 2007-07-17 | Industrial Defender, Inc. | Method and computer program product for monitoring an industrial network |
CN102693232B (zh) * | 2011-03-23 | 2014-05-21 | 腾讯科技(深圳)有限公司 | 一种删除文件的方法及文件删除装置 |
US9311317B1 (en) * | 2012-05-14 | 2016-04-12 | Symantec Corporation | Injecting custom data into files in zip format containing apps, without unzipping, resigning or re-zipping the files |
CN103474087B (zh) * | 2013-09-06 | 2016-10-05 | 南京南自信息技术有限公司 | 一种简单防止磁盘碎片产生录像文件的管理方法 |
CN104063187B (zh) * | 2014-07-08 | 2015-06-17 | 珠海安联锐视科技股份有限公司 | 适用于安防应用的硬盘文件系统及其运行方法 |
CN106610971B (zh) * | 2015-10-21 | 2020-04-07 | 腾讯科技(深圳)有限公司 | 一种zip压缩文件的标识确定方法及装置 |
CN106326384A (zh) * | 2016-08-16 | 2017-01-11 | 中国科学院长春光学精密机械与物理研究所 | 基于fpga的适用于高速海量存储的文件存储方法 |
CN107885458B (zh) * | 2017-09-28 | 2021-03-30 | 努比亚技术有限公司 | 一种磁盘碎片的整理方法、终端和计算机可读存储介质 |
CN108121645A (zh) * | 2017-12-25 | 2018-06-05 | 深圳市分期乐网络科技有限公司 | 一种日志质量评估方法、装置、服务器以及存储介质 |
-
2019
- 2019-08-07 CN CN201910727416.6A patent/CN110543452B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110543452A (zh) | 2019-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9286165B2 (en) | Apparatus and method for recovering partition using backup boot record information | |
CN106527958B (zh) | 用于分布式存储系统的写入数据、获取数据的方法和设备 | |
US8396840B1 (en) | System and method for targeted consistency improvement in a distributed storage system | |
US10459804B2 (en) | Database rollback using WAL | |
CN108984686B (zh) | 一种基于日志合并的分布式文件系统索引方法和装置 | |
KR20140083556A (ko) | SQLite 데이터베이스에서 삭제된 데이터의 복원 방법 및 장치 | |
CN111858468B (zh) | 分布式文件系统元数据校验方法、系统、终端及存储介质 | |
EP3798842A1 (en) | Database deleted record recovery method and system | |
CN109496292A (zh) | 一种磁盘管理方法、磁盘管理装置及电子设备 | |
CN111125298A (zh) | 重建ntfs文件目录树的方法、设备及存储介质 | |
CN110543452B (zh) | 一种数据采集的方法及设备 | |
CN106294470B (zh) | 基于切分日志的实时增量日志信息读取的方法 | |
CN109344163B (zh) | 一种数据校验方法、装置和计算机可读介质 | |
CN108108467B (zh) | 数据删除方法及装置 | |
KR101670473B1 (ko) | MySQL InnoDB 데이터베이스에서 삭제된 데이터를 복원하는 방법 | |
CN112631826A (zh) | 一种备份处理方法、装置及计算机可读存储介质 | |
CN112235599B (zh) | 一种视频处理方法及系统 | |
CN110990239A (zh) | 一种基于软传感器在用户设备中采集用户数据的系统及方法 | |
CN111143294A (zh) | 电力采集终端数据检索方法、装置和电子设备 | |
CN112597074B (zh) | 数据处理方法及装置 | |
CN112162950B (zh) | 基于文件系统的数据处理方法、装置和计算机设备 | |
EP4057155A1 (en) | Memory-efficient data unarchiving | |
US20110295808A1 (en) | HALDB OLR Variant Linear Statistics | |
US11169962B2 (en) | File management system, file management method, collection program, and non-transitory computer-readable information recording medium | |
CN111045868A (zh) | 一种数据库数据自动恢复的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |