CN115421649B - 一种可索引、可扩展的参数文件分片存储系统及方法 - Google Patents

Abstract

本发明公开了一种可索引、可扩展的参数文件分片存储系统，系统包括逻辑文件和物理文件，通过设备列表逻辑文件记录逻辑文件的大小、偏移、校验码以及所在的物理文件，实现物理文件的分片存储，在结构上，本系统包括逻辑文件和物理文件，逻辑文件主要由系统逻辑文件、端口逻辑文件、通信协议逻辑文件、设备列表逻辑文件、实装置逻辑文件、虚装置逻辑文件、装置组逻辑文件，物理文件主要由系统配置片文件、端口片文件、通信协议片文件、设备列表片文件、设备片文件组成，设备物理文件采用分片存储，提高设备模型读取、写入效率，同时物理文件分片校验，提高了数据模型加载的可靠性，提高了设备模型配置文件的容错能力。

Description

一种可索引、可扩展的参数文件分片存储系统及方法

技术领域

本发明属于嵌入式系统文件存储技术领域，具体涉及一种可索引、可扩展的参数文件分片存储系统及方法。

背景技术

嵌入式设备使用范围十分广泛，包括电力、医疗、汽车、家居等多个领域。嵌入式设备的参数文件存储方式大多采用固定的文件存储结构，文件结构固定化、不可扩展。面对当前嵌入式设备功能多样化、复杂化的需求，固定文件结构的参数文件会导致产品研发周期延长、产品性能降低等情况。

对于固定文件存储结构的方式，通过产品研发人员针对不同业务需求做定制化的文件结构优化，一定程度上可以满足当前一种业务类型。但经过针对性设计、调整的文件结构不具备通用性，后续仍会有新的数据模型需求，导致开发资源浪费。面对数据量较大的业务需求，参数配置文件的大小也会较大，导致应用在加载文件时性能降低。目前针对参数文件过大的解决办法大多采用多文件存储的模式，这种模式虽然可以缩小参数文件大小，提高加载效率。但当文件参数文件组合复杂时，会导致参数文件过多，从而不利于程序管理。所以，对于嵌入式设备参数文件存储方式的结构优化是未来嵌入式设备业务扩展及功能提升的关键。

发明内容

为达到上述目的，本发明主要通过逻辑文件和物理文件相结合的方式，解决参数文件在面对多种业务数据模型需求时的可扩展性，面对复杂业务需求时的高效率。通过逻辑文件索引、物理文件动态分片，一方面解决了不同场景下不同数据模型的需求，另一方面，解决了数据模型过大导致的加载效率问题。其次，随着物联网、车辆网的不断普及嵌入式设备的功能性也会不断加强，设备功能性的提升，将带动应用对高效、灵活、可扩展的参数文件结构的迫切需求，本发明的技术方案如下：一种在嵌入式设备上可索引、可扩展的参数文件分片存储系统，系统包括逻辑文件和物理文件，通过设备列表逻辑文件记录逻辑文件的大小、偏移、校验码以及所在的物理文件，实现物理文件的分片存储。

基于上述技术方案，在结构上，本系统包括逻辑文件和物理文件，逻辑文件主要由系统逻辑文件、端口逻辑文件、通信协议逻辑文件、设备列表逻辑文件、实装置逻辑文件、虚装置逻辑文件、装置组逻辑文件，物理文件主要由系统配置片文件、端口片文件、通信协议片文件、设备列表片文件、设备片文件组成。

逻辑文件为应用需求，实现系统配置、通信配置、模型能力配置，物理文件是实际存储介质，其中设备物理文件采用分片存储，逻辑文件与物理文件映射关系如下表所示：

其中逻辑文件为程序中的文件结构，物理文件为实际的硬盘中存储的文件，system.cfg, port.cfg, protocol.cfg 是3个配置结构，分别存储在三个物理文件中；通过device.cfg, xxx.cde, xxx.cdt, xxx.cdg 实现文件的可索引，可扩展。其中device.cfg是设备列表可以索引装置逻辑文件所在物理文件的位置，xxx.cde, xxx.cdt,xxx.cdg 是装置文件；通过dev00.par,dev01.par,……实现物理文件的分片存储。

逻辑文件由文件头和数据组成，文件头主要由数据大小、文件版本、文件类型组成，逻辑文件结构如下表所示：

作为本发明的一种改进，设备物理采用分片存储，当片文件大于Mk时进行分片，当片文件小于Nk时进行合片，分片与合片后片文件的调整大小为Xk，其中M＞X＞N，分片与合片的操作对象均为当前片文件与最后一个设备片文件，中间的设备片文件不做移动处理。

作为本发明的一种改进，端口逻辑文件记录端口的配置参数，通讯协议逻辑文件记录通讯协议的具体参数。

基于上述技术方案，上述方案实现的是一个端口可以接收或发送多个装置模型的数据，发送或接收的装置数量可扩展，其中端口是数据的发送和接收通道。

作为本发明的一种改进，实装置逻辑文件记录嵌入式设备实际接入的设备数据模块，虚装置为通过实装置数据模型自组合的业务数据模块，装置组为实装置和虚装置数据模型的集合，每个端口使用一个通讯协议，并挂载多个实装置或装置组数据模型。

基于上述技术方案，实装置是实际的设备模型，虚装置是通过几个实装置或虚装置组合出来的设备模型，装置组是一种中间挂载结构，装置组可以集合多个实装置和虚装置的数据模型，并具备挂载到端口下的能力。

作为本发明的一种改进，虚装置由多个实装置或虚装置组成。

基于上述技术方案，虚装置的数据模型可以由实装置、虚装置的数据模型组合，实现虚装置数据模型可扩展。

作为本发明的一种改进，装置组集合多个实装置和虚装置的数据模型，并具备挂载到端口下的能力。

基于上述技术方案，由于虚装置不能直接挂在端口上，所以添加装置组，装置组可以装载实装置和虚装置。

设备列表逻辑文件记录了设备逻辑文件的名称、大小、偏移、所在物理文件的名称、所属端口等，具体的配置信息见下表：

通过查找设备列表逻辑文件中设备逻辑文件的偏移及所属物理文件，即可快速读取、写入设备的数据模型信息。

作为本发明的一种改进，提出一种可索引、可扩展的参数文件分片存储系统方法，方法包括以下步骤：

1）添加、删除、修改配置到指定的逻辑文件，计算片文件校验位，保存片文件；

2）查询设备列表，加载dev最后片文件中，将添加的设备逻辑文件添加到最后片文件中，判断最后片文件大小并进行分片存储；

3）查询设备列表，找到逻辑文件所在物理片文件，打开物理片文件，删除或修改逻辑文件数据段，并写片文件，然后检查物理片文件，根据判断结果选择删除、修改或保存。

作为本发明的一种改进，2）中，判断最后片文件大于Mk时进行分片处理，将最后片文件大于Xk的部分移至新建片文件，并保存最后片文件和新建片文件中，并同步设备列表文件，若最后片文件小于或等于Mk则直接保存最后片文件和新建片文件并同步设备列表文件。

作为本发明的一种改进，3）中当检查物理片文件大小为大于或等于Nk时且判断其大于Mk时，检查最后片文件大小是否小于Nk，最后片文件小于Nk时将物理片文件大于Xk的部分全部移动到最后文件中，并同步设备列表逻辑文件，最后片文件大于等于Nk时将物理片文件大于Xk的部分全部移动到新创建片文件中，当检查物理片文件大小为大于或等于Nk时判断其小于等于Mk时同步设备列表逻辑文件。

作为本发明的一种改进，3）中当物理片文件小于Nk时，读取设备列表找到最后片文件，若检查最后片文件与物理片文件为同一文件，进一步判断若物理片文件大小为0，则删除物理片文件后同步设备列表逻辑文件，否则直接同步设备列表逻辑文件；若检查最后片文件与物理片文件不为同一文件，进一步检查若最后片文件与物理片文件之和小于Nk，则将最后片文件中全部的逻辑文件移动至物理片文件中，并删除最后片文件。

作为本发明的一种改进，3）中进一步检查若最后片文件与物理片文件之和大于等于Nk且小于等于Xk，则将最后片文件中全部的逻辑文件移动到物理片文件中并删除最后片文件，保存设备列表逻辑文件，然后同步设备列表逻辑文件，进一步检查若最后片文件与物理片文件之和大于Xk，则将最后片文件中逻辑文件从后向前的顺序移动到物理片文件中，使物理片文件的大小为Xk，并保存这两个片文件，且同步至设备列表逻辑文件。

相对于现有技术，本发明的有益效果为：本发明提供了一种在嵌入式设备中参数文件可索引、可扩展的分片存储方法，此方法提供了一种高效、安全、稳定的参数文件存储方式，可以广泛的应用在电力、能源、汽车、互联网等多个领域，通过逻辑文件索引、物理文件分片的方式，极大降低了大文件读写操作对嵌入式设备处理器性能、内存容量的要求；同时通过设备逻辑文件的自组合能力，可以满足电力、能源领域中复杂、多变的数据需求；另一方面通过高效的文件分片存储方式，可以减少嵌入式设备硬件成本，减少了资源浪费，提高了资源的可用性及利用率。

附图说明

图1为端口下可挂载的设备类型。

图2为虚装置数据模型组成图。

图3为装置组下可挂载的设备类型。

图4为片文件新增、删除、修改配置流程图。

图5为设备逻辑文件添加流程图。

图6为设备逻辑文件删除、修改流程图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

实施例：一种在嵌入式设备上可索引、可扩展的参数文件分片存储系统，系统包括逻辑文件和物理文件，通过设备列表逻辑文件记录逻辑文件的大小、偏移、校验码以及所在的物理文件，实现物理文件的分片存储。在结构上，本系统包括逻辑文件和物理文件，逻辑文件主要由系统逻辑文件、端口逻辑文件、通信协议逻辑文件、设备列表逻辑文件、实装置逻辑文件、虚装置逻辑文件、装置组逻辑文件，物理文件主要由系统配置片文件、端口片文件、通信协议片文件、设备列表片文件、设备片文件组成。

逻辑文件为应用需求，实现系统配置、通信配置、模型能力配置，物理文件是实际存储介质，其中设备物理文件采用分片存储，逻辑文件与物理文件映射关系如下表所示：

其中逻辑文件为程序中的文件结构，物理文件为实际的硬盘中存储的文件，system.cfg, port.cfg, protocol.cfg 是3个配置结构，分别存储在三个物理文件中；通过device.cfg, xxx.cde, xxx.cdt, xxx.cdg 实现文件的可索引，可扩展。其中device.cfg是设备列表可以索引装置逻辑文件所在物理文件的位置，xxx.cde, xxx.cdt,xxx.cdg 是装置文件；通过dev00.par,dev01.par,……实现物理文件的分片存储。

逻辑文件由文件头和数据组成，文件头主要由数据大小、文件版本、文件类型组成，逻辑文件结构如下表所示：

设备物理采用分片存储，当片文件大于70k时进行分片，当片文件小于30k时进行合片，分片与合片后片文件的调整大小为50k，分片与合片的操作对象均为当前片文件与最后一个设备片文件，中间的设备片文件不做移动处理。

端口逻辑文件记录端口的配置参数，通讯协议逻辑文件记录通讯协议的具体参数。上述方案实现的是一个端口可以接收或发送多个装置模型的数据，发送或接收的装置数量可扩展，其中端口是数据的发送和接收通道。

实装置逻辑文件记录嵌入式设备实际接入的设备数据模块，虚装置为通过实装置数据模型自组合的业务数据模块，装置组为实装置和虚装置数据模型的集合，每个端口使用一个通讯协议，并挂载多个实装置或装置组数据模型，设计原理如图1所示。实装置是实际的设备模型，虚装置是通过几个实装置或虚装置组合出来的设备模型，装置组是一种中间挂载结构，装置组可以集合多个实装置和虚装置的数据模型，并具备挂载到端口下的能力。

虚装置由多个实装置或虚装置组成。虚装置的数据模型可以由实装置、虚装置的数据模型组合，实现虚装置数据模型可扩展，设计原理如图2所示。

装置组集合多个实装置和虚装置的数据模型，并具备挂载到端口下的能力。由于虚装置不能直接挂在端口上，所以添加装置组，装置组可以装载实装置和虚装置，设计原理如图3所示。

设备列表逻辑文件记录了设备逻辑文件的名称、大小、偏移、所在物理文件的名称、所属端口等，具体的配置信息见下表：

通过查找设备列表逻辑文件中设备逻辑文件的偏移及所属物理文件，即可快速读取、写入设备的数据模型信息。

如图4至图6所示，提出一种基于在嵌入式设备上可索引、可扩展的参数文件分片存储系统的使用方法，方法包括以下步骤：

1）添加、删除、修改配置到指定的逻辑文件，计算片文件校验位，保存片文件；

2）查询设备列表，加载dev最后片文件中，将添加的设备逻辑文件添加到最后片文件中，判断最后片文件大小并进行分片存储；

3）查询设备列表，找到逻辑文件所在物理片文件（dev.par），打开物理片文件，删除修改逻辑文件数据段，并写片文件，然后检查物理片文件，根据判断结果选择删除、修改或保存，若未找到逻辑文件所在物理片文件则结束流程。

上述2）中，判断最后片文件大于70k时进行分片处理，将最后片文件大于50k的部分移至新建片文件，并保存最后片文件（dev_last.par）和新建片文件（dev_new.par）中，并同步设备列表文件，若最后片文件小于或等于70k则直接保存最后片文件和新建片文件并同步设备列表文件。

上述3）中当检查物理片文件大小为大于或等于30k时且判断其大于70k时，检查最后片文件（dev_last.par）大小是否小于30k，最后片文件小于30k时将物理片文件大于50k的部分全部移动到最后文件中，并同步设备列表逻辑文件，最后片文件大于等于30k时将物理片文件大于50k的部分全部移动到新建片文件（dev_new.par）中，当检查物理片文件大小为大于或等于30k时判断其小于等于70k时同步设备列表逻辑文件。

上述3）中当物理片文件小于30k时，读取设备列表找到最后片文件，若检查最后片文件与物理片文件为同一文件，进一步判断若物理片文件大小为0，则删除物理片文件后同步设备列表逻辑文件，否则直接同步设备列表逻辑文件；若检查最后片文件与物理片文件不为同一文件，进一步检查若最后片文件与物理片文件之和小于30k，则将最后片文件中全部的逻辑文件移动至物理片文件中，并删除最后片文件。

上述3）中进一步检查若最后片文件与物理片文件之和大于等于30k且小于等于50k，则将最后片文件中全部的逻辑文件移动到物理片文件中并删除最后片文件，保存设备列表逻辑文件，然后同步设备列表逻辑文件，进一步检查若最后片文件与物理片文件之和大于50k，则将最后片文件中逻辑文件从后向前的顺序移动到物理片文件中，使物理片文件的大小为50k，并保存这两个片文件，且同步至设备列表逻辑文件。

需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。

Claims (1)

1.一种可索引、可扩展的参数文件分片存储方法，其特征在于，存储方法使用的存储系统包括逻辑文件和物理文件，通过设备列表逻辑文件记录逻辑文件的大小、偏移、校验码以及所在的物理文件，实现物理文件的分片存储，设备物理采用分片存储，当片文件大于Mk时进行分片，当片文件小于Nk时进行合片，分片与合片后片文件的调整大小为Xk，其中M＞X＞N，分片与合片的操作对象均为当前片文件与最后一个设备片文件，中间的设备片文件不做移动处理，端口逻辑文件记录端口的配置参数，通讯协议逻辑文件记录通讯协议的具体参数，实装置逻辑文件记录嵌入式设备实际接入的设备数据模块，虚装置为通过实装置数据模型自组合的业务数据模块，装置组为实装置和虚装置数据模型的集合，每个端口使用一个通讯协议，并挂载多个实装置或装置组数据模型，虚装置由多个实装置或虚装置组成，装置组集合多个实装置和虚装置的数据模型，并具备挂载到端口下的能力，存储方法包括以下步骤：

1）添加、删除、修改配置到指定的逻辑文件，计算片文件校验位，保存片文件；

2）查询设备列表，加载dev最后片文件，将添加的设备逻辑文件添加到最后片文件中，判断最后片文件大小并进行分片存储；

3）查询设备列表，找到逻辑文件所在物理片文件，打开物理片文件，删除或修改逻辑文件数据段，并写片文件，然后检查物理片文件，根据判断结果选择删除、修改或保存，2）中，判断最后片文件大于Mk时进行分片处理，将最后片文件大于Xk的部分移至新建片文件，并保存最后片文件和新建片文件，并同步设备列表逻辑文件，若最后片文件小于或等于Mk则直接保存最后片文件和新建片文件并同步设备列表逻辑文件，3）中当检查物理片文件大小为大于或等于Nk时且判断其大于Mk时，检查最后片文件大小是否小于Nk，最后片文件小于Nk时将物理片文件大于Xk的部分全部移动到最后片文件中，并同步设备列表逻辑文件，最后片文件大于等于Nk时将物理片文件大于Xk的部分全部移动到新创建片文件中，当检查物理片文件大小为大于或等于Nk时判断其小于等于Mk时同步设备列表逻辑文件，3）中当物理片文件小于Nk时，读取设备列表找到最后片文件，若检查最后片文件与物理片文件为同一文件，进一步判断若物理片文件大小为0，则删除物理片文件后同步设备列表逻辑文件，否则直接同步设备列表逻辑文件；若检查最后片文件与物理片文件不为同一文件，进一步检查若最后片文件与物理片文件之和小于Nk，则将最后片文件中全部的逻辑文件移动至物理片文件中，并删除最后片文件，3）中进一步检查若最后片文件与物理片文件之和大于等于Nk且小于等于Xk，则将最后片文件中全部的逻辑文件移动到物理片文件中并删除最后片文件，保存设备列表逻辑文件，然后同步设备列表逻辑文件，进一步检查若最后片文件与物理片文件之和大于Xk，则将最后片文件中逻辑文件从后向前的顺序移动到物理片文件中，使物理片文件的大小为Xk，并保存这两个片文件，且同步至设备列表逻辑文件。