CN114328417A - 一种案例数据快速存取系统 - Google Patents
一种案例数据快速存取系统 Download PDFInfo
- Publication number
- CN114328417A CN114328417A CN202111430376.2A CN202111430376A CN114328417A CN 114328417 A CN114328417 A CN 114328417A CN 202111430376 A CN202111430376 A CN 202111430376A CN 114328417 A CN114328417 A CN 114328417A
- Authority
- CN
- China
- Prior art keywords
- data
- metadata
- file
- linked list
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种案例数据快速存取系统，包括：数据层、数据引擎层和驱动层；数据层包括用于存储案例数据的元数据信息的元数据文件和用于存储案例数据的内容的数据文件；数据引擎层包括空闲空间处理引擎、元数据处理引擎和数据处理引擎；空闲空间处理引擎用于维护元数据文件空闲空间链表和数据文件空闲空间链表，并在元数据或数据文件有写入请求时返回一空闲空间；元数据处理引擎用于维护元数据链表；数据处理引擎用于维护数据链表；驱动层用于基于数据引擎层，在操作系统上将数据文件和元数据文件虚拟出文件系统。本发明一方面能够加快案例的生成速度，另一方面只需拷贝两个文件即可实现案例共享，为电子数据取证分析效率的提升提供了有效的基础。
Description
技术领域
本发明涉及数据存储领域，尤其涉及一种案例数据快速存取系统。
背景技术
随着存储技术的不断发展，计算机、手机等电子设备上的存储容量越来越大。电子数据取证过程中，常常会碰到取证生成的案例有上百万甚至上千万的文件，且很多情况下包含了海量的图片、文本等小文件。
现有的案例存取依赖于操作系统自带的文件系统，自带文件系统以文件为存储单位，涉及到小文件操作时，无法有效对小数据进行聚合处理，导致不管是存储还是拷贝共享时效率都较为低下。
海量的小文件存取(磁盘频繁读写)往往导致取证过程效率低下，一方面影响取证时生成案例的速度(间接影响到取证速度)，另一方面影响后期案例拷贝共享的效率。
发明内容
为了解决上述问题，本发明提出了一种案例数据快速存取系统。
具体方案如下：
一种案例数据快速存取系统，包括：数据层、数据引擎层和驱动层；
数据层包括用于存储案例数据的元数据信息的元数据文件和用于存储案例数据的内容的数据文件；
数据引擎层包括空闲空间处理引擎、元数据处理引擎和数据处理引擎；空闲空间处理引擎用于维护元数据文件空闲空间链表和数据文件空闲空间链表，并在元数据或数据文件有写入请求时返回一空闲空间；元数据处理引擎用于维护元数据链表；数据处理引擎用于维护数据链表；
驱动层用于基于数据引擎层，在操作系统上将数据文件和元数据文件虚拟出文件系统。
进一步的，元数据文件中包含的元数据信息的内容包括：文件全路径FilePath、文件类型FileType、文件大小FileSize、文件时间FileTime和数据索引DataIndex，其中数据索引DataIndex的内容包括：数据编号DataNum、数据起始位置DataStartOffset和数据长度DataLenth。
进一步的，空闲空间处理引擎在初始化时，通过读取元数据文件中的元数据信息，根据空闲记录对应的数据索引构建元数据文件空闲空间链表和数据文件空闲空间链表；当元数据信息中的文件全路径FilePath对应的内容为0x00时，则该元数据信息对应的记录为空闲记录。
进一步的，元数据文件空闲空间链表和数据文件空闲空间链表中各节点的属性包括空闲空间开始位置FreeSpaceOffset和空闲空间长度FreeSpaceLenth。
进一步的，空闲空间处理引擎对元数据文件空闲空间链表和数据文件空闲空间链表的管理规则包括：
当一块空闲空间开始位置为FreeSpaceOffsetk空闲空间长度为FreeSpaceLenthk的空闲空间需要插入链表时，假设链表中的节点i和节点i+1满足FreeSpaceOffsetk>FreeSpaceOffseti且FreeSpaceOffsetk<FreeSpaceOffseti+1，则进行如下操作：
1)若FreeSpaceOffseti+FreeSpaceLenthi等于FreeSpaceOffsetk，则将节点i的FreeSpaceLenthi更新为FreeSpaceLenthi+FreeSpaceLenthk；
2)若FreeSpaceOffsetk+FreeSpaceLenthk等于FreeSpaceOffseti+1，则将节点i+1的FreeSpaceOffseti+1更新为FreeSpaceOffsetk，FreeSpaceLenthi+1更新为FreeSpaceLenthk+FreeSpaceLenthi；
3)否则将(FreeSpaceOffsetk，FreeSpaceLenthk)作为一个新节点插入到i节点之后；
其中，FreeSpaceOffseti和FreeSpaceOffseti+1分别表示链表中节点i和节点i+1的空闲空间开始位置，FreeSpaceLenthi和FreeSpaceLenthi+1分别表示链表中节点i和节点i+1的空闲空间长度。
进一步的，空闲空间处理引擎对元数据文件空闲空间链表和数据文件空闲空间链表的管理规则包括：
当有数据写入请求时，根据需要写入的数据长度DataLenth，按照以下方式从空闲空间处理引擎中申请写入块位置：
判断链表中是否存在满足空闲空间长度大于或等于需要写入的数据长度DataLenth的节点，如果存在，将满足条件的所有节点中对应空闲空间长度最小的节点对应的空闲空间开始位置作为写入块的空间开始位置；同时，判断该节点的空闲空间长度是否等于需要写入的数据长度DataLenth，如果等于，将该节点从链表中移除；如果不等于，将该节点的空闲空间开始位置更新为原始空闲空间开始位置与需要写入的数据长度DataLenth之和；如果不存在，将文件的尾部作为写入块的空间开始位置。
进一步的，元数据链表中各节点的属性包括：元数据记录偏移MetaDataOffset、用于标识是否与元数据文件同步的同步标识SynMark和元数据记录MetaData。
进一步的，元数据处理引擎在初始化时，将元数据文件中所有非空闲的文件元数据记录进行读取，并按照元数据记录偏移MetaDataOffset从小到大进行排序。
进一步的，元数据处理引擎对元数据链表的管理规则包括：当需要新增文件时，从空闲空间处理引擎中获取符合条件的空闲块后，生成新的节点k，并按照元数据记录偏移从小到大的顺序将节点k插入到元数据链表中，同时将节点k的元数据记录偏移MetaDataOffsetk赋值为空闲块的空闲空间开始位置FreeSpaceOffseti，将节点k的同步标识SynMarkk赋值为未同步，将节点k的元数据记录MetaDatak赋值为新增文件的信息。
进一步的，元数据处理引擎对元数据链表的管理规则包括：当需要删除文件时，从元数据链表中找到待删除文件关联的所有节点信息，并读取相应的数据索引位置，并将链表中记录的元数据区域以及数据索引记录的区域当做空闲节点交由空间处理引擎处理后，将对应的节点从元数据链表中删除。
进一步的，元数据处理引擎对元数据链表的管理规则包括：当需要修改文件时，如果修改涉及到内容的新增或删减，则从元数据链表中找到待修改文件对应文件区域的链表节点，将节点从元数据链表中删除后重新申请新节点插入元数据链表，同时将新节点的同步标识赋值为未同步；当修改不涉及内容的新增或删减时，则不进行元数据链表的更改。
进一步的，元数据处理引擎对元数据链表的管理规则包括：元数据链表中的数据与元数据文件进行同步时采用如下策略：若MetaDataOffseti+MetadataLenth等于MetaDataOffseti+1则将节点i和节点i+1的元数据在内存中进行合并，合并完成后再更新至元数据文件中，其中MetadataLenth表示元数据记录固定长度，MetaDataOffseti和MetaDataOffseti+1分别表示链表中节点i和节点i+1的元数据记录偏移。
进一步的，数据链表中各节点的属性包括：数据偏移DataOffset、数据长度DataLenth和数据内容Data。
进一步的，数据处理引擎对数据链表的管理规则包括：将数据链表初始化为一个空链表；当有数据更新请求时，向数据链表中插入一个节点；当数据链表中各节点对应的数据长度之和超过最大允许数据长度时，将链表中各节点对应的数据内容写入数据文件对应的地址内，具体写入策略为：当存在节点i满足节点i的数据偏移与数据长度之和等于节点i+1的数据偏移时，将节点i对应的数据内容与节点i+1对应的数据内容在内容中进行合并，合并完成后再更新至数据文件中。
进一步的，驱动层的处理逻辑包括：
从数据引擎层中获取元数据链表；
基于元数据链表在内存中构造文件系统目录树结构；
基于应用层文件系统，将内存中构造的文件系统目录树结构映射为操作系统可见目录；
接收操作系统的所有对于文件的操作，并将相应的信息传递给数据引擎层进行处理。
本发明采用如上技术方案，一方面能够加快案例的生成速度，另一方面，只需拷贝两个文件即可实现案例共享，为电子数据取证分析效率的提升提供了有效的基础支撑。
附图说明
图1所示为本发明实施例一中系统结构示意图。
图2所示为该实施例中元数据文件的结构示意图。
图3所示为该实施例中数据文件的结构示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种案例数据快速存取系统，如图1所示，该系统运行于操作系统的应用层，包括数据层、数据引擎层和驱动层。
1.数据层包括用于存储案例数据的元数据信息的元数据文件和用于存储案例数据的内容的数据文件。案例数据的元数据信息包括案例数据相关的文件名称、大小、时间等属性信息。
元数据文件由元数据记录列表组成，每条元数据记录表示案例数据中文件的元数据信息。一个文件可以有多条的元数据信息，一条元数据记录固定长度为MetadataLenth。如图2所示，一条元数据信息包括文件全路径FilePath、文件类型FileType、文件大小FileSize、文件时间FileTime以及数据索引DataIndex，其中数据索引DataIndex包含：数据编号DataNum、数据起始位置DataStartOffset以及数据长度DataLenth。当元数据信息中的文件全路径FilePath对应的内容为0x00时，则表示该元数据信息对应的记录为空闲记录，可被分配利用。当一个文件出现文件碎片时，将会对应多条元数据记录，碎片的顺序根据数据索引中的DataNum信息进行确定，按照DataNum从小到大的排序为文件内容的分布方式。
如图3所示，数据文件根据元数据文件记录的信息，在对应的位置存储相应文件的内容。
2.数据引擎层包括空闲空间处理引擎、元数据处理引擎和数据处理引擎。
(1)空闲空间处理引擎：该引擎主要用于维护元数据文件空闲空间链表以及数据文件空闲空间链表，并在元数据或者数据文件有写入请求时返回合适的位置(即一空闲空间)。通过空闲空间处理引擎可以实现对元数据文件和数据文件中因删除而空出的空闲空间以及修改、新增时的空间分配的管理。
该引擎初始化时，通过读取元数据文件中的元数据信息，根据空闲记录对应的数据索引构建元数据文件空闲空间链表和数据文件空闲空间链表。链表中各节点的属性包含空闲空间开始位置FreeSpaceOffset以及空闲空间长度FreeSpaceLenth两个信息，并且链表中各节点的顺序按照FreeSpaceOffset从小到大排序。链表的管理规则如下：
①当一块空闲空间(假设空闲空间开始为FreeSpaceOffsetk，空闲空间长度为FreeSpaceLenthk)需要插入链表，假设链表中的节点i和节点i+1满足FreeSpaceOffsetk>FreeSpaceOffseti且FreeSpaceOffsetk<FreeSpaceOffseti+1,则进行如下操作：
i.若FreeSpaceOffseti+FreeSpaceLenthi等于FreeSpaceOffsetk，则将节点i的FreeSpaceLenthi更新为FreeSpaceLenthi+FreeSpaceLenthk；
ii.若FreeSpaceOffsetk+FreeSpaceLenthk等于FreeSpaceOffseti+1，则将节点i+1的FreeSpaceOffseti+1更新为FreeSpaceOffsetk，FreeSpaceLenthi+1更新为FreeSpaceLenthk+FreeSpaceLenthi；
iii.否则将(FreeSpaceOffsetk，FreeSpaceLenthk)作为一个新节点插入到i节点之后。
其中，FreeSpaceOffseti和FreeSpaceOffseti+1分别表示链表中节点i和节点i+1的空闲空间开始位置，FreeSpaceLenthi和FreeSpaceLenthi+1分别表示链表中节点i和节点i+1的空闲空间长度。
②当有数据写入请求时，根据需要写入的数据长度DataLenth，按照以下方式从空闲空间处理引擎中申请写入块位置：
i.若链表中存在节点i，满足FreeSpaceLenthi>＝DataLenth并且FreeSpaceLenthi是所有满足条件中最小的(若还有其他满足FreeSpaceLenth>＝DataLenth条件的节点，则取FreeSpaceOffset最小的节点作为节点i)，则将(FreeSpaceOffseti，DataLenth)位置区域响应该数据写入请求，同时如果FreeSpaceLenthi等于DataLenth则将i节点从链表中移除，否则将i节点的FreeSpaceOffseti更新为FreeSpaceOffseti+DataLenth；
ii.如果不存在，将文件的尾部作为写入块的空间开始位置，将需要写入的数据写入到文件的尾部，扩展文件。
(2)元数据处理引擎：该引擎主要用于维护元数据链表，可以实现对元数据的有效聚合，从而更高效的写入和读出。
元数据链表中各节点的属性包括元数据记录偏移MetaDataOffset、同步标识SynMark(标识是否与元数据文件同步)以及元数据记录MetaData。该引擎初始化时将元数据文件中所有非空闲的文件元数据记录进行读取，并按照元数据记录偏移MetaDataOffset从小到大进行排序。链表的管理规则如下：
i.新增文件时，从空闲空间处理引擎获取符合条件的空闲块(假设空闲块的偏移为FreeSpaceOffseti)，并生成新的节点k(对应的元数据记录偏移、同步标识以及元数据记录分别为：MetaDataOffsetk、SynMarkk和MetaDatak)插入到元数据链表中(插入的位置按照元数据记录偏移MetaDataOffset从小到大的顺序)。同时将MetaDataOffsetk赋值为FreeSpaceOffseti，SynMarkk赋值为0(该实施例中0表示未同步，1表示已同步)，MetaDatak赋值为新增文件的信息；
ii.删除文件时，从元数据链表中找到待删除文件关联的所有节点信息，并读取相应的数据索引位置，并将链表中记录的元数据区域以及数据索引记录的区域当做空闲节点交由空间处理引擎处理后，将对应的节点从链表中删除；
iii.修改文件时，如果修改涉及到内容的新增或删减，则从元数据链表中找到待修改文件对应文件区域的链表节点，将节点从元数据链表中删除后重新申请新节点插入元数据链表，同时将新节点的同步标识SynMark赋值为0；当修改不涉及内容的新增或删减时，则不进行元数据链表的更改；
iv.链表中数据与元数据文件进行同步时采用如下策略：若MetaDataOffseti+MetadataLenth等于MetaDataOffseti+1则将节点i和节点i+1的元数据在内存中进行合并(若存在连续多个可以合并的，需做多个合并)，则合并完再更新至元数据文件中，其中MetadataLenth表示元数据记录固定长度，MetaDataOffseti和MetaDataOffseti+1分别表示链表中节点i和节点i+1的元数据记录偏移。
(3)数据处理引擎：该引擎主要用于维护数据链表，可以对数据进行有效的聚合写入。
数据链表中各节点的属性包括数据偏移DataOffset、数据长度DataLenth以及数据内容Data，且数据链表中的各节点按照数据偏移DataOffset从小到大的顺序排序。
数据链表由于存储实际数据所以需控制在一定的大小范围内，因此该实施例中设定最大允许数据长度MaxDataLenth，具体大小可以根据实际设备内存大小进行设定，在此不做限定。链表的管理规则如下：
将数据链表初始化为一个空链表，当有数据更新请求时，向数据链表中插入一个节点，当数据链表中各节点对应的数据长度DataLenth之和超过最大允许数据长度MaxDataLenth时，将链表中各节点对应的数据内容Data写入到数据文件对应的地址内。写入的策略为：当存在节点i，满足节点i的数据偏移与数据长度之和等于节点i+1的数据偏移(DataOffseti+DataLenthi＝DataOffseti+1)时，需将节点i对应的数据内容与节点i+1对应的数据内容(Datai与Datai+1)在内存中进行合并(若存在连续多个可以合并的，需做多个合并)，合并完再更新至数据文件中。
3.驱动层的主要作用在于基于数据引擎层，在操作系统上将数据文件和元数据文件虚拟出文件系统，让一般的应用程序或者用户能够正常的访问浏览。其的主要的处理逻辑包括：
①从数据引擎中获取元数据链表；
②基于元数据链表在内存中构造文件系统目录树结构；
③基于应用层文件系统，将内存中构造的文件系统目录树结构映射为操作系统可见目录；
④接收操作系统所有对于文件操作并将相应的信息传递给数据引擎处理。
本实施例通过对取证案例生成过程的特性进行深入分析，提出了一种案例数据快速存取系统，该系统基于虚拟文件系统(应用层文件系统)将案例数据虚拟成两个文件，一个元数据文件和一个数据文件。将取证案例中涉及的所有文件的元数据存储元数据文件中，案例中涉及的所有文件数据存储于数据文件中，并通过小数据聚合读写、连续空间分配等方式，最大程度较低磁盘的IO次数。一方面，能够加快案例的生成速度，另一方面，通过对海量需要处理的小文件进行元数据以及数据两个维度的聚合快速处理，案例分享时也只需拷贝两个文件，大大提升了取证效率。本发明实施例不仅为电子数据取证的高效深入分析提供了有效技术支撑，同时也可应用于海量小文件快速存取的场景。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。
Claims (15)
1.一种案例数据快速存取系统，其特征在于，包括：数据层、数据引擎层和驱动层；
数据层包括用于存储案例数据的元数据信息的元数据文件和用于存储案例数据的内容的数据文件；
数据引擎层包括空闲空间处理引擎、元数据处理引擎和数据处理引擎；空闲空间处理引擎用于维护元数据文件空闲空间链表和数据文件空闲空间链表，并在元数据或数据文件有写入请求时返回一空闲空间；元数据处理引擎用于维护元数据链表；数据处理引擎用于维护数据链表；
驱动层用于基于数据引擎层，在操作系统上将数据文件和元数据文件虚拟出文件系统。
2.根据权利要求1所述的案例数据快速存取系统，其特征在于：元数据文件中包含的元数据信息的内容包括：文件全路径FilePath、文件类型FileType、文件大小FileSize、文件时间FileTime和数据索引DataIndex，其中数据索引DataIndex的内容包括：数据编号DataNum、数据起始位置DataStartOffset和数据长度DataLenth。
3.根据权利要求1所述的案例数据快速存取系统，其特征在于：空闲空间处理引擎在初始化时，通过读取元数据文件中的元数据信息，根据空闲记录对应的数据索引构建元数据文件空闲空间链表和数据文件空闲空间链表；当元数据信息中的文件全路径FilePath对应的内容为0x00时，则该元数据信息对应的记录为空闲记录。
4.根据权利要求1所述的案例数据快速存取系统，其特征在于：元数据文件空闲空间链表和数据文件空闲空间链表中各节点的属性包括空闲空间开始位置FreeSpaceOffset和空闲空间长度FreeSpaceLenth。
5.根据权利要求4所述的案例数据快速存取系统，其特征在于：空闲空间处理引擎对元数据文件空闲空间链表和数据文件空闲空间链表的管理规则包括：
当一块空闲空间开始位置为FreeSpaceOffsetk空闲空间长度为FreeSpaceLenthk的空闲空间需要插入链表时，假设链表中的节点i和节点i+1满足FreeSpaceOffsetk>FreeSpaceOffseti且FreeSpaceOffsetk<FreeSpaceOffseti+1，则进行如下操作：
1)若FreeSpaceOffseti+FreeSpaceLenthi等于FreeSpaceOffsetk，则将节点i的FreeSpaceLenthi更新为FreeSpaceLenthi+FreeSpaceLenthk；
2)若FreeSpaceOffsetk+FreeSpaceLenthk等于FreeSpaceOffseti+1，则将节点i+1的FreeSpaceOffseti+1更新为FreeSpaceOffsetk，FreeSpaceLenthi+1更新为FreeSpaceLenthk+FreeSpaceLenthi；
3)否则将(FreeSpaceOffsetk，FreeSpaceLenthk)作为一个新节点插入到i节点之后；
其中，FreeSpaceOffseti和FreeSpaceOffseti+1分别表示链表中节点i和节点i+1的空闲空间开始位置，FreeSpaceLenthi和FreeSpaceLenthi+1分别表示链表中节点i和节点i+1的空闲空间长度。
6.根据权利要求4所述的案例数据快速存取系统，其特征在于：空闲空间处理引擎对元数据文件空闲空间链表和数据文件空闲空间链表的管理规则包括：
当有数据写入请求时，根据需要写入的数据长度DataLenth，按照以下方式从空闲空间处理引擎中申请写入块位置：
判断链表中是否存在满足空闲空间长度大于或等于需要写入的数据长度DataLenth的节点，如果存在，将满足条件的所有节点中对应空闲空间长度最小的节点对应的空闲空间开始位置作为写入块的空间开始位置；同时，判断该节点的空闲空间长度是否等于需要写入的数据长度DataLenth，如果等于，将该节点从链表中移除；如果不等于，将该节点的空闲空间开始位置更新为原始空闲空间开始位置与需要写入的数据长度DataLenth之和；如果不存在，将文件的尾部作为写入块的空间开始位置。
7.根据权利要求1所述的案例数据快速存取系统，其特征在于：元数据链表中各节点的属性包括：元数据记录偏移MetaDataOffset、用于标识是否与元数据文件同步的同步标识SynMark和元数据记录MetaData。
8.根据权利要求1所述的案例数据快速存取系统，其特征在于：元数据处理引擎在初始化时，将元数据文件中所有非空闲的文件元数据记录进行读取，并按照元数据记录偏移MetaDataOffset从小到大进行排序。
9.根据权利要求1所述的案例数据快速存取系统，其特征在于：元数据处理引擎对元数据链表的管理规则包括：当需要新增文件时，从空闲空间处理引擎中获取符合条件的空闲块后，生成新的节点k，并按照元数据记录偏移从小到大的顺序将节点k插入到元数据链表中，同时将节点k的元数据记录偏移MetaDataOffsetk赋值为空闲块的空闲空间开始位置FreeSpaceOffseti，将节点k的同步标识SynMarkk赋值为未同步，将节点k的元数据记录MetaDatak赋值为新增文件的信息。
10.根据权利要求1所述的案例数据快速存取系统，其特征在于：元数据处理引擎对元数据链表的管理规则包括：当需要删除文件时，从元数据链表中找到待删除文件关联的所有节点信息，并读取相应的数据索引位置，并将链表中记录的元数据区域以及数据索引记录的区域当做空闲节点交由空间处理引擎处理后，将对应的节点从元数据链表中删除。
11.根据权利要求1所述的案例数据快速存取系统，其特征在于：元数据处理引擎对元数据链表的管理规则包括：当需要修改文件时，如果修改涉及到内容的新增或删减，则从元数据链表中找到待修改文件对应文件区域的链表节点，将节点从元数据链表中删除后重新申请新节点插入元数据链表，同时将新节点的同步标识赋值为未同步；当修改不涉及内容的新增或删减时，则不进行元数据链表的更改。
12.根据权利要求1所述的案例数据快速存取系统，其特征在于：元数据处理引擎对元数据链表的管理规则包括：元数据链表中的数据与元数据文件进行同步时采用如下策略：若MetaDataOffseti+MetadataLenth等于MetaDataOffseti+1则将节点i和节点i+1的元数据在内存中进行合并，合并完成后再更新至元数据文件中，其中MetadataLenth表示元数据记录固定长度，MetaDataOffseti和MetaDataOffseti+1分别表示链表中节点i和节点i+1的元数据记录偏移。
13.根据权利要求1所述的案例数据快速存取系统，其特征在于：数据链表中各节点的属性包括：数据偏移DataOffset、数据长度DataLenth和数据内容Data。
14.根据权利要求1所述的案例数据快速存取系统，其特征在于：数据处理引擎对数据链表的管理规则包括：将数据链表初始化为一个空链表；当有数据更新请求时，向数据链表中插入一个节点；当数据链表中各节点对应的数据长度之和超过最大允许数据长度时，将链表中各节点对应的数据内容写入数据文件对应的地址内，具体写入策略为：当存在节点i满足节点i的数据偏移与数据长度之和等于节点i+1的数据偏移时，将节点i对应的数据内容与节点i+1对应的数据内容在内容中进行合并，合并完成后再更新至数据文件中。
15.根据权利要求1所述的案例数据快速存取系统，其特征在于：驱动层的处理逻辑包括：
从数据引擎层中获取元数据链表；
基于元数据链表在内存中构造文件系统目录树结构；
基于应用层文件系统，将内存中构造的文件系统目录树结构映射为操作系统可见目录；
接收操作系统的所有对于文件的操作，并将相应的信息传递给数据引擎层进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111430376.2A CN114328417A (zh) | 2021-11-29 | 2021-11-29 | 一种案例数据快速存取系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111430376.2A CN114328417A (zh) | 2021-11-29 | 2021-11-29 | 一种案例数据快速存取系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114328417A true CN114328417A (zh) | 2022-04-12 |
Family
ID=81047629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111430376.2A Pending CN114328417A (zh) | 2021-11-29 | 2021-11-29 | 一种案例数据快速存取系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114328417A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016728A (zh) * | 2022-05-05 | 2022-09-06 | 阿里巴巴（中国）有限公司 | 数据处理方法以及装置 |
-
2021
- 2021-11-29 CN CN202111430376.2A patent/CN114328417A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016728A (zh) * | 2022-05-05 | 2022-09-06 | 阿里巴巴（中国）有限公司 | 数据处理方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7860907B2 (en) | Data processing | |
| US10430398B2 (en) | Data storage system having mutable objects incorporating time | |
| US8423733B1 (en) | Single-copy implicit sharing among clones | |
| US6353837B1 (en) | Method and apparatus providing mass storage access from systems using different meta-data formats | |
| US8627029B2 (en) | Methods for managing files according to application | |
| CN102629247B (zh) | 一种数据处理方法、装置和系统 | |
| KR100790991B1 (ko) | 데이터베이스 관리 시스템을 이용하여 파일시스템의메타데이터를 관리하는 방법 | |
| US8095678B2 (en) | Data processing | |
| CN107817946B (zh) | 用于混合存储设备读写数据的方法以及装置 | |
| CN109804359A (zh) | 用于将数据回写到存储设备的系统和方法 | |
| US8090925B2 (en) | Storing data streams in memory based on upper and lower stream size thresholds | |
| CN109240607B (zh) | 一种文件读取方法和装置 | |
| US8176087B2 (en) | Data processing | |
| JP4502375B2 (ja) | ファイルシステムおよびその制御方法 | |
| CN114328417A (zh) | 一种案例数据快速存取系统 | |
| CN1622094A (zh) | 一种合并文件的方法 | |
| JP2007287147A (ja) | 高速ファイル属性検索 | |
| KR100907477B1 (ko) | 플래시 메모리에 저장된 데이터의 인덱스 정보 관리 장치및 방법 | |
| US7689634B2 (en) | Flexible approach to store attribute information (META-DATA) related to files of a file system | |
| CN111752941A (zh) | 一种数据存储、访问方法、装置、服务器及存储介质 | |
| CN112286448B (zh) | 对象访问方法、装置、电子设备及机器可读存储介质 | |
| US8886656B2 (en) | Data processing | |
| CN109478181A (zh) | 用于使得能够修改文件系统卷内的多个数据对象的系统和方法 | |
| CN110825715A (zh) | 基于Ceph对象存储的多对象数据秒合的实现方法 | |
| US8290993B2 (en) | Data processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |