CN112035069B - 一种判断文件是否完整落盘的控制方法及装置 - Google Patents

Abstract

本发明公开了一种判断文件是否完整落盘的控制方法，其通过捕捉文件预写处理信息实现对于文件落盘的判断，包括如下步骤：a：基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置，所述最终位置至少包括写入的偏移以及写入的大小；b：当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘；c：将所述文件通知给应用层，让其获取文件信息，md5。本发明对数据落盘的流程和时机是不干预的，方案简单便捷，而市面上大多数技术方案均会干预数据的落盘时机，都是一种参数调优的方案。本发明技术方案简单、功能强大、能准确高效的判断文件是否完整落盘，具有极高的商业价值。

Description

一种判断文件是否完整落盘的控制方法及装置

技术领域

本发明属于计算机技术应用领域，具体地，涉及一种判断文件是否完整落盘的控制方法及装置。

背景技术

一般操作系统为了减少不必要的磁盘读写，提升性能，延长硬盘使用寿命，引入缓存IO的概念。应用程序使用缓存IO写入文件后，系统会将数据存储于缓存区域。传统存储方式中为了提高客户端的读写性能，系统设计时均会引入缓存的概念，即划分出内存中一块区域用于容纳下发的读写请求数据。

在现有技术中，往往通过强制落盘来实现提高系统性能达到不卡顿的目的，例如，专利号为CN109032517A的一种数据落盘的方法、装置和计算机可读存储介质，其通过降低缓存中存储的数据量，增加了强制落盘IO的次数，从而达到不卡顿等目的，又例如专利号为CN111124258A的全闪存阵列的数据存储方法、装置、设备及可读存储介质，其通过降低缓存中的数据量，强制将其落盘，对于落盘的数据进行压缩，降低IO的频次。

在现有技术中，若不能准确的判断文件是否完整落盘，会增加通知应用层处理数据的频率和次数，同时还会对不完整的文件做md5计算，从而降低系统性能、效率，而目前，急需一种能够对文件是否完整落盘进行判断的控制方法，具体地，并没有一种判断文件是否完整落盘的控制方法及装置。

发明内容

针对现有技术存在的技术缺陷，本发明的目的是提供一种判断文件是否完整落盘的控制方法及装置，根据本发明的一个方面，提供了一种判断文件是否完整落盘的控制方法，其通过捕捉文件预写处理信息实现对于文件落盘的判断，包括如下步骤：

a：基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置，所述最终位置至少包括写入的偏移以及写入的大小；

b：当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘。

优选地，在所述步骤a之前，还包括步骤：

i：在文件创建时匹配策略，策略包含文件全路径，文件名，后缀，所在目录，策略命中则为其分配Stream，所述Stream用于在文件的整个生命周期内对其进行跟踪，并记录缓存写入IO的参数信息以及非缓存写入IO的最终位置；

ii：当有新的写入请求发生时，则更新记录。

优选地，在所述步骤b之前，还包括：当发生非缓存写入时，执行步骤b。

优选地，在所述步骤b之后，还包括步骤：

c：记录所述文件的文件全路径，在所述文件写入的后处理中判断当次的写入请求是否成功，若成功则插入内部链表，由特定线程通知给应用层，计算文件的md5，其中，所述特定线程为固定处理所述内部链表的线程，所述文件写入的后处理为文件落盘后由系统所发出的回调函数。

优选地，在所述步骤a之后，还包括步骤b′：当所述文件的非缓存写入IO的最后位置小于缓存写入IO的最后的位置时，确定所述文件未完整落盘。

根据本发明的另一个方面，提供了一种判断文件是否完整落盘的控制装置，其通过捕捉文件预写处理信息实现对于文件落盘的判断，包括：

第一获取装置：基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置；

第一确定装置：当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘。

优选地，还包括：

第一处理装置：在文件创建时匹配策略，策略包含文件全路径，文件名，后缀，所在目录，策略命中则为其分配Stream，所述Stream用于在文件的整个生命周期内对其进行跟踪，并记录缓存写入IO的参数信息以及非缓存写入IO的最终位置；

第二处理装置：当有新的写入请求发生时，则更新记录。

优选地，还包括：

第三处理装置(5)：将所述文件通知给应用层，计算文件的md5。

本发明基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置，所述最终位置至少包括写入的偏移以及写入的大小；当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘。

本发明相较于现有技术，其优点主要总结如下：A、本发明判断单元是文件，准确的判断文件是否落盘完整，避免对不完整的文件做md5计算，提升性能；B、本发明获取参数的时机是监控文件的写前处理(PreWrite)，前期监控文件的写入动作，捕获文件的缓存写IO的参数,非缓存写IO的参数(这里的参数指偏移及大小)，当捕获到文件的写缓存时，系统尚未将数据写入缓存，只是将要去写。C、当同个文件的非缓存写的最后位置大于或等于缓存写的最后的位置时才判为文件落盘完整；D、本发明对数据落盘的流程和时机是不干预的，方案简单便捷，而市面上大多数技术方案均会干预数据的落盘时机，都是一种参数调优的方案。本发明技术方案简单、功能强大、能准确高效的判断文件是否完整落盘，具有极高的商业价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出了本发明的具体实施方式的，一种判断文件是否完整落盘的控制方法的具体流程示意图；

图2示出了本发明的第一实施例的，一种判断文件是否完整落盘的控制方法的具体流程示意图；以及

图3示出了本发明的另一具体实施方式的，一种判断文件是否完整落盘的控制装置的模块连接示意图。

具体实施方式

为了更好的使本发明的技术方案清晰地表示出来，下面结合附图对本发明作进一步说明。

图1示出了本发明的具体实施方式的，一种判断文件是否完整落盘的控制方法的具体流程示意图，本发明将结合图1至图2来对如何实现文件完整落盘判断作详细描述，其主要是通过对写入IO的缓存、非缓存的最终位置进行比较、判断来确定，具体地，本发明公开了一种判断文件是否完整落盘的控制方法，其通过捕捉文件预写处理信息实现对于文件落盘的判断，包括如下步骤：

首先，进入步骤S101，基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置，所述最终位置至少包括写入的偏移以及写入的大小，本领域技术人员理解，在本发明中，获取所述最终位置的时机是监控文件的写前处理(PreWrite)，前期监控文件的写入动作，捕获文件的缓存写入IO的最终位置,非缓存写入IO的最终位置，所述最终位置至少包括写入的偏移以及写入的大小，本发明不会去主动读取系统缓存，当捕获到文件的写入缓存时，系统尚未将数据写入缓存，只是将要去写，因为本申请所注册的是文件前处理函数，表示事件发生之前，将要发生，而在现有技术中均是主动读取系统缓存，这与现有技术存在本质的区别，而本发明主要通过利用到上述写前处理时确定的缓存写入IO的最终位置以及非缓存写入IO的最终位置来进行文件是否完整落盘的判断，其具有高效、准确的特点，大大提高了系统性能。

本领域技术人员理解，当对一个文件正在写入数据时，往往缓存写入IO,非缓存写入IO均会同时存在，当非缓存写入IO的最后位置大于缓存写入IO最后位置时，说明当前没有残留的数据在内存中，即可初步判断文件数据完整。在本发明中主要通过获取缓存写入IO的最终位置以及非缓存写入IO的最终位置来判断文件是否完整落盘，所述最终位置至少包括写入的偏移以及写入的大小，进一步地，所述缓存写入IO的数据在操作系统内核中，而所述非缓存写入IO的数据在硬盘中，对大文件而言，系统不会将文件一次性写入，缓存和非缓存同时存在，只有最终位置才能确认。

所述写入的偏移以及写入的大小也不能完全确认落盘，只能说明此刻没有数据进一步传递，已完成落盘概率比较大，一般判断文件是否落盘在文件扫描阶段，在大概率完成落盘时，即可扫描，虽然不一定是绝对完成了落盘，但是也可以减少扫描的频率。

然后，进入步骤S102，当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘，在这样的实施例中，经过步骤S101，确定了所述文件的非缓存写入IO的写入的偏移以及写入的大小，以及所述文件的缓存写入IO的写入的偏移以及写入的大小，将两者的写入的偏移以及写入的大小的和进行比较，当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，则确定所述文件完整落盘。

进一步地，在所述步骤S102之前，还包括当发生非缓存写入时，执行步骤S102，即在这样的实施例中，执行步骤S102存在一个触发条件，只有当发生非缓存写入时，才会对所述文件的非缓存写入IO的最终位置以及缓存写入IO的最终位置进行大小上的判断。

进一步地，在所述步骤S102之后，还包括步骤S103：记录所述文件的文件全路径，在所述文件写入的后处理中判断当次的写入请求是否成功，若成功则插入内部链表，由特定线程通知给应用层，计算文件的md5，其中，所述特定线程为固定处理所述内部链表的线程，进一步地，所述特定线程会提取链表中的节点，并将节点的信息通知给应用层，通过FltSendMessage函数来通知，写入后处理指的是文件已经落盘后由系统所发出的回调函数，为了方便理解，与所述写入后处理相对应的写前处理指数据还没写入文件，系统给予一次过滤的机会，比如写入的数据里有病毒特征，那么就可以阻止这次写入的发生。写后处理指数据已经写完，系统发出通知，一般用于同步数据，或通知用，在一个优选地实施例中，迅雷下载完成后会“叮一下”进行通知并告知文件已经下载完成，而用户则可以打开文件了。

在这样的实施例中，本发明通过在文件的预写处理时就已经可以判断文件是否可以完整落盘，而不需要在文件真正完全落盘之时才能确定，从而节省了大量时间，有更为充裕的时间将所述文件通知给应用层，所述应用层可以在先的完成对于文件信息的获取，md5的计算等等操作，从而大大提高了系统的工作效率。

进一步地，在所述步骤S101之后，还包括步骤：当所述文件的非缓存写入IO的最后位置小于缓存写入IO的最后的位置时，确定所述文件未完整落盘，作为本发明的具体实施方式的补充实施例，结合步骤S102，当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘，作为其相对应地一种情况，即当所述文件的非缓存写入IO的最后位置小于缓存写入IO的最后的位置时，确定所述文件未完整落盘。

图2示出了本发明的第一实施例的，一种判断文件是否完整落盘的控制方法的具体流程示意图，在所述步骤S101之前，还包括步骤：

首先，进入步骤S201，在文件创建时匹配策略，策略包含文件全路径，文件名，后缀，所在目录，策略命中则为其分配Stream，所述Stream用于在文件的整个生命周期内对其进行跟踪，并记录缓存写入IO的参数信息以及非缓存写入IO的最终位置，在文件创建时匹配策略，策略包含文件全路径，文件名，后缀，所在目录的目的是为了确定文件的正常创建，本发明基于微软的文件过滤框架开发，在文件创建(PostCreate)时，策略命中则为其分配Stream，策略未命中则不为其分配Stream，所述Stream用于在文件的整个生命周期内对其进行跟踪，并记录缓存写入IO的参数信息以及非缓存写入IO的最终位置。

然后，进入步骤S202，当有新的写入请求发生时，则更新记录，本领域技术人员理解，在文件的整个生命周期内会不断有新的写入请求发生，结合步骤S101至步骤S103，基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置，有新的写入请求发生时且当发生非缓存写入时进行文件是否完整落盘的判断，即当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，即判断文件完整落盘。

图3示出了本发明的另一具体实施方式的，一种判断文件是否完整落盘的控制装置的模块连接示意图，所述判断文件是否完整落盘的控制装置其通过捕捉文件预写处理信息实现对于文件落盘的判断，其采用所述的控制方法，包括第一获取装置1：基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置，所述第一获取装置1的工作原理可以参考前述步骤S101，在此不予赘述。

进一步地，所述控制装置还包括第一确定装置2：当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘，所述第一确定装置2的工作原理可以参考前述步骤S102，在此不予赘述。

进一步地，还包括第一处理装置3：在文件创建时匹配策略，策略包含文件全路径，文件名，后缀，所在目录，策略命中则为其分配Stream，所述Stream用于在文件的整个生命周期内对其进行跟踪，并记录缓存写入IO的参数信息以及非缓存写入IO的最终位置，所述第一处理装置3的工作原理可以参考前述步骤S201，在此不予赘述。

进一步地，还包括第二处理装置4：当有新的写入请求发生时，则更新记录，所述第二处理装置4的工作原理可以参考前述步骤S202，在此不予赘述。

进一步地，所述控制装置还包括第三处理装置5：将所述文件通知给应用层，让其获取文件信息、md5，所述第三处理装置5的工作原理可以参考前述步骤S103，在此不予赘述。

需要说明的是，上述各装置实施例的具体实施方式与前述对应方法实施例的具体实施方式相同，在此不再赘述。

在此提供显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实施例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

此外，本领域技术人员理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种判断文件是否完整落盘的控制方法，其通过捕捉文件预写处理信息实现对于文件落盘的判断，其特征在于，包括如下步骤：

a：基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置，所述最终位置至少包括写入的偏移以及写入的大小；

b：当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘。

2.根据权利要求1所述的控制方法，其特征在于，在所述步骤a之前，还包括步骤：

i：在文件创建时匹配策略，策略包含文件全路径，文件名，后缀，所在目录，策略命中则为其分配Stream，所述Stream用于在文件的整个生命周期内对其进行跟踪，并记录缓存写入IO的参数信息以及非缓存写入IO的最终位置；

ii：当有新的写入请求发生时，则更新记录。

3.根据权利要求1所述的控制方法，其特征在于，在所述步骤b之前，还包括：当发生非缓存写入时，执行步骤b。

4.根据权利要求2所述的控制方法，其特征在于，在所述步骤b之后，还包括步骤：

c：记录所述文件的文件全路径，在所述文件写入的后处理中判断当次的写入请求是否成功，若成功则插入内部链表，由特定线程通知给应用层，计算文件的md5，其中，所述特定线程为固定处理所述内部链表的线程，所述文件写入的后处理为文件落盘后由系统所发出的回调函数。

5.根据权利要求2所述的控制方法，其特征在于，在所述步骤a之后，还包括步骤b′：当所述文件的非缓存写入IO的最后位置小于缓存写入IO的最后的位置时，确定所述文件未完整落盘。

6.一种判断文件是否完整落盘的控制装置，其通过捕捉文件预写处理信息实现对于文件落盘的判断，其采用如权利要求1-5中任一项所述的控制方法，其特征在于，包括：

第一获取装置(1)：基于文件的预写处理获取缓存写入IO的最终位置以及非缓存写入IO的最终位置；

第一确定装置(2)：当所述文件的非缓存写入IO的最终位置大于或等于缓存写入IO的最终位置时，确定所述文件完整落盘。

7.根据权利要求6所述的控制装置，其特征在于，还包括：

第一处理装置(3)：在文件创建时匹配策略，策略包含文件全路径，文件名，后缀，所在目录，策略命中则为其分配Stream，所述Stream用于在文件的整个生命周期内对其进行跟踪，并记录缓存写入IO的参数信息以及非缓存写入IO的最终位置；

第二处理装置(4)：当有新的写入请求发生时，则更新记录。

8.根据权利要求6所述的控制装置，其特征在于，还包括：

第三处理装置(5)：将所述文件通知给应用层，计算文件的md5。