CN115858458B - 一种基于数据统计的财会数据归档系统 - Google Patents

Abstract

本发明公开了一种基于数据统计的财会数据归档系统，涉及数据归档技术领域，解决了未对财会数据进行容量缩减和部分财会数据后期读写速率较慢的技术问题，对归档数据进行预存分析处理，通过所建立的预存空间，对不同预存空间的读写速率进行分析，记录读写速率最快预存空间的预存编号，并对预存编号进行记录，根据预存编号，对归档磁盘内部的存储空间进行选择，并对选择后的存储空间进行容量分析，容量不足时，需对此类存储空内部的其他数据进行清理，便于归档数据进行归档存储处理，并同时提升后续读写效率，提升对应归档数据的整体归档效率，将归档数据内部的短字段数据合并为合并数据段，便可充分缩减归档数据的整体存储容量。

Description

一种基于数据统计的财会数据归档系统

技术领域

本发明属于数据归档技术领域，具体是一种基于数据统计的财会数据归档系统。

背景技术

数据存档是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程，数据存档由旧的数据组成，但它是以后参考所必需且很重要的数据，其数据必须遵从规则来保存，数据存档具有索引和搜索功能，这样文件可以很容易地找到。

专利公开号为CN106294009B的发明公开了关于数据库归档方法及系统，其方法包括：根据预配置的备份任务启动相应的备份线程，所述备份任务包括用于筛选出源数据库中待归档的目标数据的筛选信息、所述目标数据要被归档到的分布式数据库中的目标位置以及键值生成方式；根据所述筛选信息获取源数据库中的目标数据；根据所述目标数据和所述键值生成方式确定目标键值；根据所述目标键值将所述目标数据归档到所述分布式数据库的目标位置中，所述目标键值用于查询分布式数据库中的目标数据，由于分布式数据库的处理能力强，并采用了键值对的方式存储数据，因此可以实现即时查询数据，提高查询数据的效率。

财会数据在进行数据归档过程中，因财会数据内部含有大量的报表数据以及指标数据，其整体容量较大，未对财会数据进行容量缩减，会造成归档磁盘空间不足，后期还需进行磁盘清理，对财会数据进行存储，同时，未针对不同存储空间不同财会数据的读写速率均不一致，会导致部分财会数据归档完毕后，后期对此类数据进行读写时，效率较低，整体读写速率过慢。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种基于数据统计的财会数据归档系统，用于解决未对财会数据进行容量缩减和部分财会数据后期读写速率较慢的技术问题。

为实现上述目的，根据本发明的第一方面的实施例提出一种基于数据统计的财会数据归档系统，包括数据获取端、归档中心以及归档磁盘；

所述归档中心包括数据容量缩减单元、自适应磁盘预存分析单元、预设磁盘、磁盘分选单元以及自清理单元；

所述数据获取端，用于对进行归档的财会数据进行采集获取，并将所获取的财会数据传输至归档中心内；

所述归档中心内部的数据容量缩减单元，对财会数据内部不同的数据段依次进行提取，根据预设的捆绑容量，将若干组依次排列的短字段数据进行合并，得到若干组合并数据段，缩减整组财会数据的整体容量，将处理后的财会数据标记为归档数据；

所述预设磁盘，内部设置有多组不同容量大小的预存空间，且不同的预存空间均设有不同的预存编号；

所述自适应磁盘预存分析单元，对归档数据进行接收，根据预设磁盘的不同预存空间，对归档数据进行预存分析处理，获取对应归档数据读写速率最快的一组预存空间，并进行记录，生成记录数据包传输至磁盘分选单元内；

所述磁盘分选单元，对记录数据包进行接收，并根据记录数据包所记录的预存编号，对归档磁盘内部的存储空间进行选择，并通过归档数据的数据容量判定对应存储空间的待存容量是否充足，若处于充足状态，直接进行存储归档处理，若处于不充足状态，则通过自清理单元对此存储空间内部的原始数据进行清理，增大存储空间的整体容量，再对归档数据进行存储归档处理。

优选的，所述数据容量缩减单元，缩减财会数据整体容量的具体方式为：

对财会数据内部多组不同的数据段进行提取，并将不同数据段的数据容量标记为RL_i，其中i代表不同的数据段；

将数据容量RL_i与预设参数Y1进行比对，当RL_i＜Y1时，将对应的数据段标记为短字段数据，反之，将对应的数据段标记为长字段数据；

按照对应数据段原始的排列方式，将相邻的短字段数据进行合并得到合并数据段，并在合并数据段的连接位置处设置拼接标记，其中合并后的合并数据段的总容量参数不得超过预设参数Y2；

将短字段数据合并为合并数据段的财会数据标记为归档数据，并将此归档数据传输至自适应磁盘预存分析单元内进行预存分析处理。

优选的，所述自适应磁盘预存分析单元，对归档数据进行预存分析处理的具体方式为：

对此归档数据的数据容量进行获取，并将其标记为SJ_k，其中k代表不同的归档数据；

将归档数据分别存储于预设磁盘不同的预存空间内，再依次对不同预存空间内部的归档数据进行读写，对不同的读写时长进行记录，并将其标记为DX_k-t，其中t代表不同的预存空间；

将若干个读写时长DX_k-t进行分析比对，提取最小值，根据最小值，提取对应预存空间的预存编号，将归档数据以及对应的预存编号进行归整记录，生成记录数据包，将记录数据包传输至磁盘分选单元内。

优选的，所述磁盘分选单元，对归档数据进行存储归档处理的具体方式为：

对记录数据包内部所记录的预存编号进行提取，根据预存编号，选取归档磁盘内部对应的存储空间；

获取所选存储空间的剩余存储容量，并将其标记为SY，并提取归档数据的数据容量SJ_k，将数据容量SJ_k与剩余存储容量SY进行比对处理，当SJ_k＜SY-X1时，其中X1为预设值，生成归档信号，将对应的归档数据直接存储归档至此存储空间内，反之，生成清理信号，并将清理信号传输至自清理单元内，且自清理单元根据磁盘分选单元所发送的清理信号，对归档磁盘内部不同的存储空间进行磁盘清理，直至SJ_k＜SY-X1时停止，将对应的归档数据存储归档至此存储空间内。

优选的，所述自清理单元根据清理信号对存储空间进行磁盘清理的具体方式为：

对存储空间内部所存储的其他数据进行分析，获取不同其他数据的数据访问次数以及所存储的时长，并将数据访问次数标记为CS_q，将所存储的时长标记为CC_q，其中q代表不同的其他数据，采用BD_q=(CS_q×C1)/(CC_q×C2)得到属于不同的其他数据的比对参数BD_q，其中C1以及C2均为预设的固定系数因子，根据比对参数BD_q的数值大小，按照从大至小的方式，依次对不同的其他数据进行排列；

按照数据容量SJ_k，将此存储空间内排列至后的其他数据依次进行清理，直至SJ_k＜SY-X1时停止，将对应的归档数据存储归档至此存储空间内。

优选的，所述归档磁盘，用于对归档数据进行存储归档处理，且内部设置有多组不同的存储空间，不同的存储空间均设有不同的存储编号，且存储编号与预设磁盘内部的预设编号一致。

与现有技术相比，本发明的有益效果是：对所获取的归档数据进行容量缩减，将归档数据内部的多组数据段进行提取，根据数据容量将不同的数据段判定为短字段数据和长字段数据，将若干组短字段进行合并，得到合并数据段，并在合并位置处设置有拼接标记，便于后续将合并数据段进行拆分，将归档数据内部的短字段数据合并为合并数据段，便可充分缩减归档数据的整体存储容量，对归档磁盘的存储空间进行合理利用；

对归档数据进行预存分析处理，通过所建立的预存空间，对不同预存空间的读写速率进行分析，记录读写速率最快预存空间的预存编号，并对预存编号进行记录，根据预存编号，对归档磁盘内部的存储空间进行选择，并对选择后的存储空间进行容量分析，容量不足时，需对此类存储空内部的其他数据进行清理，便于归档数据进行归档存储处理，并同时提升后续读写效率，提升对应归档数据的整体归档效率。

附图说明

图1为本发明原理框架示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本申请提供了一种基于数据统计的财会数据归档系统，包括数据获取端、归档中心以及归档磁盘；

所述数据获取端与归档中心输入端电性连接，所述归档中心与归档磁盘之间双向连接；

所述归档中心包括数据容量缩减单元、自适应磁盘预存分析单元、预设磁盘、磁盘分选单元以及自清理单元，所述数据容量缩减单元与自适应磁盘预存分析单元输入端电性连接，所述自适应磁盘预存分析单元与预设磁盘之间双向连接，所述自适应磁盘预存分析单元输出端与磁盘分选单元输入端电性连接，所述磁盘分选单元与自清理单元之间双向连接；

所述数据获取端，用于将进行归档的财会数据进行采集获取，并将所获取的财会数据传输至归档中心内；

所述归档中心内部的数据容量缩减单元，对财会数据内部不同的数据段依次进行提取，根据预设的捆绑容量，将若干组依次排列的短字段数据进行合并，得到若干组合并数据段，缩减整组财会数据的整体容量，其中进行合并的具体方式为：

对财会数据内部多组不同的数据段进行提取，并将不同数据段的数据容量标记为RL_i，其中i代表不同的数据段；

将数据容量RL_i与预设参数Y1进行比对，预设参数Y1的具体取值由操作人员根据经验拟定，当RL_i＜Y1时，将对应的数据段标记为短字段数据，反之，将对应的数据段标记为长字段数据；

按照对应数据段原始的排列方式，将相邻的短字段数据进行合并得到合并数据段，并在合并数据段的连接位置处设置拼接标记（后续通过拼接标记，将合并数据段进行拆分，得到原始的多个短字段数据，采用合并的方式，便可对此类财会数据的存储容量进行充分缩减，节省存储空间），其中合并后的合并数据段的总容量参数不得超过预设参数Y2，其中Y2的具体取值由操作人员根据经验拟定；

将短字段数据合并为合并数据段的财会数据标记为归档数据，并将此归档数据传输至自适应磁盘预存分析单元内进行预存分析处理。

所述预设磁盘，内部设置有多组不同容量大小的预存空间，其中不同预存空间的具体参数由操作人员根据个人经验拟定，且不同的预存空间均设有不同的预存编号；

所述自适应磁盘预存分析单元，对归档数据进行接收，根据预设磁盘的不同预存空间，对归档数据进行预存分析处理，获取对应归档数据读写速率最快的一组预存空间，并进行记录，生成记录数据包传输至磁盘分选单元内，其中进行预存分析处理的具体方式为：

对此归档数据的数据容量进行获取，并将其标记为SJ_k，其中k代表不同的归档数据；

将归档数据分别存储于预设磁盘不同的预存空间内，再依次对不同预存空间内部的归档数据进行读写，对不同的读写时长进行记录，并将其标记为DX_k-t，其中t代表不同的预存空间（其中，对应的预存空间内部的归档数据读写完毕后，便自行对内部所存储的数据进行删除）；

将若干个读写时长DX_k-t进行分析比对，提取最小值，根据最小值，提取对应预存空间的预存编号，将归档数据以及对应的预存编号进行归整记录，生成记录数据包，将记录数据包传输至磁盘分选单元内。

所述磁盘分选单元，对记录数据包进行接收，并根据记录数据包所记录的预存编号，对归档磁盘内部的存储空间进行选择，并通过归档数据的数据容量判定对应存储空间的待存容量是否充足，若处于充足状态，直接进行存储归档处理，若处于不充足状态，则通过自清理单元对此存储空间内部的原始数据进行清理，增大存储空间的整体容量，再对归档数据进行存储归档处理，其中进行存储归档处理的具体方式为：

对记录数据包内部所记录的预存编号进行提取，根据预存编号，选取归档磁盘内部对应的存储空间，归档磁盘内不同的存储空间也带有不同的存储编号，存储编号便是预存编号，编号一致时，代表对应的两组空间的实际运行参数一致，此存储空间可以理解为与预设磁盘内所选取的预存空间相同的储存空间；

获取所选存储空间的剩余存储容量，并将其标记为SY，并提取归档数据的数据容量SJ_k，将数据容量SJ_k与剩余存储容量SY进行比对处理，当SJ_k＜SY-X1时（其中X1为预设值，其具体取值由操作人员自行拟定，可以理解为运行时所需的容量），生成归档信号，将对应的归档数据直接存储归档至此存储空间内，反之，生成清理信号；

自清理单元根据清理信号，对存储空间内部所存储的其他数据进行分析，获取不同其他数据的数据访问次数以及所存储的时长，并将数据访问次数标记为CS_q，将所存储的时长标记为CC_q，其中q代表不同的其他数据，采用BD_q=(CS_q×C1)/(CC_q×C2)得到属于不同的其他数据的比对参数BD_q，其中C1以及C2均为预设的固定系数因子，根据比对参数BD_q的数值大小，按照从大至小的方式，依次对不同的其他数据进行排列；

按照数据容量SJ_k，将此存储空间内排列至后的其他数据依次进行清理，直至SJ_k＜SY-X1时停止，将对应的归档数据存储归档至此存储空间内。

所述自清理单元，根据磁盘分选单元所发送的清理信号，对归档磁盘内部不同的存储空间进行磁盘清理，增大磁盘空间。

所述归档磁盘，用于对归档数据进行存储归档处理，且内部设置有多组不同的存储空间，不同的存储空间均设有不同的存储编号，且存储编号与预设磁盘内部的预设编号一致，且在进行存储归档处理过程中，将进行归档的财会数据进行标准化处理，通过一定的数学变换方式，将原始数据按照一定的比例进行转换，使之落入到一个小的特定区间内，例如0~1或-1~1的区间内，消除不同变量之间性质、量纲、数量级等特征属性的差异，将其转化为一个无量纲的相对数值，也就是标准化数值，使各指标的数值都处于同一个数量级别上，从而便于不同单位或数量级的指标能够进行综合分析和比较；

后续再对标准化处理后的财会数据，将非结构化数据进行提取，保留结构化数据，并将非结构化数据与结构化数据进行分开存储。

上述公式中的部分数据均是去除量纲取其数值计算，公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式；公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。

本发明的工作原理：预先对所获取的归档数据进行容量缩减，将归档数据内部的多组数据段进行提取，根据数据容量将不同的数据段判定为短字段数据和长字段数据，将若干组短字段进行合并，得到合并数据段，并在合并位置处设置有拼接标记，便于后续将合并数据段进行拆分，将归档数据内部的短字段数据合并为合并数据段，便可充分缩减归档数据的整体存储容量，对归档磁盘的存储空间进行合理利用；

对归档数据进行预存分析处理，通过所建立的预存空间，对不同预存空间的读写速率进行分析，记录读写速率最快预存空间的预存编号，并对预存编号进行记录，根据预存编号，对归档磁盘内部的存储空间进行选择，并对选择后的存储空间进行容量分析，容量不足时，需对此类存储空内部的其他数据进行清理，便于归档数据进行归档存储处理，并同时提升后续读写效率，提升对应归档数据的整体归档效率。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (4)

1.一种基于数据统计的财会数据归档系统，其特征在于，包括数据获取端、归档中心以及归档磁盘；

所述归档中心包括数据容量缩减单元、自适应磁盘预存分析单元、预设磁盘、磁盘分选单元以及自清理单元；

所述数据获取端，用于对进行归档的财会数据进行采集获取，并将所获取的财会数据传输至归档中心内；

所述归档中心内部的数据容量缩减单元，对财会数据内部不同的数据段依次进行提取，根据预设的捆绑容量，将若干组依次排列的短字段数据进行合并，得到若干组合并数据段，缩减整组财会数据的整体容量，将处理后的财会数据标记为归档数据，具体方式为：

对财会数据内部多组不同的数据段进行提取，并将不同数据段的数据容量标记为RL_i，其中i代表不同的数据段；

将数据容量RL_i与预设参数Y1进行比对，当RL_i＜Y1时，将对应的数据段标记为短字段数据，反之，将对应的数据段标记为长字段数据；

按照对应数据段原始的排列方式，将相邻的短字段数据进行合并得到合并数据段，并在合并数据段的连接位置处设置拼接标记，其中合并后的合并数据段的总容量参数不得超过预设参数Y2；

将短字段数据合并为合并数据段的财会数据标记为归档数据，并将此归档数据传输至自适应磁盘预存分析单元内进行预存分析处理；

所述预设磁盘，内部设置有多组不同容量大小的预存空间，且不同的预存空间均设有不同的预存编号；

所述自适应磁盘预存分析单元，对归档数据进行接收，根据预设磁盘的不同预存空间，对归档数据进行预存分析处理，获取对应归档数据读写速率最快的一组预存空间，并进行记录，生成记录数据包传输至磁盘分选单元内，具体方式为：

对此归档数据的数据容量进行获取，并将其标记为SJ_k，其中k代表不同的归档数据；

将归档数据分别存储于预设磁盘不同的预存空间内，再依次对不同预存空间内部的归档数据进行读写，对不同的读写时长进行记录，并将其标记为DX_k-t，其中t代表不同的预存空间；

将若干个读写时长DX_k-t进行分析比对，提取最小值，根据最小值，提取对应预存空间的预存编号，将归档数据以及对应的预存编号进行归整记录，生成记录数据包，将记录数据包传输至磁盘分选单元内；

所述磁盘分选单元，对记录数据包进行接收，并根据记录数据包所记录的预存编号，对归档磁盘内部的存储空间进行选择，并通过归档数据的数据容量判定对应存储空间的待存容量是否充足，若处于充足状态，直接进行存储归档处理，若处于不充足状态，则通过自清理单元对此存储空间内部的原始数据进行清理，增大存储空间的整体容量，再对归档数据进行存储归档处理。

2.根据权利要求1所述的一种基于数据统计的财会数据归档系统，其特征在于，所述磁盘分选单元，对归档数据进行存储归档处理的具体方式为：

对记录数据包内部所记录的预存编号进行提取，根据预存编号，选取归档磁盘内部对应的存储空间；

获取所选存储空间的剩余存储容量，并将其标记为SY，并提取归档数据的数据容量SJ_k，将数据容量SJ_k与剩余存储容量SY进行比对处理，当SJ_k＜SY-X1时，其中X1为预设值，生成归档信号，将对应的归档数据直接存储归档至此存储空间内，反之，生成清理信号，并将清理信号传输至自清理单元内，且自清理单元根据磁盘分选单元所发送的清理信号，对归档磁盘内部不同的存储空间进行磁盘清理，直至SJ_k＜SY-X1时停止，将对应的归档数据存储归档至此存储空间内。

3.根据权利要求2所述的一种基于数据统计的财会数据归档系统，其特征在于，所述自清理单元根据清理信号对存储空间进行磁盘清理的具体方式为：

对存储空间内部所存储的其他数据进行分析，获取不同其他数据的数据访问次数以及所存储的时长，并将数据访问次数标记为CS_q，将所存储的时长标记为CC_q，其中q代表不同的其他数据，采用BD_q=(CS_q×C1)/(CC_q×C2)得到属于不同的其他数据的比对参数BD_q，其中C1以及C2均为预设的固定系数因子，根据比对参数BD_q的数值大小，按照从大至小的方式，依次对不同的其他数据进行排列；

按照数据容量SJ_k，将此存储空间内排列至后的其他数据依次进行清理，直至SJ_k＜SY-X1时停止，将对应的归档数据存储归档至此存储空间内。

4.根据权利要求3所述的一种基于数据统计的财会数据归档系统，其特征在于，所述归档磁盘，用于对归档数据进行存储归档处理，且内部设置有多组不同的存储空间，不同的存储空间均设有不同的存储编号，且存储编号与预设磁盘内部的预设编号一致，在进行存储归档处理过程中，将进行归档的财会数据进行标准化处理，通过一定的数学变换方式，将原始数据按照一定的比例进行转换，使之落入到0~1或-1~1的区间内，消除不同变量之间性质、量纲、数量级等特征属性的差异，将其转化为一个无量纲的相对数值，便是标准化数值，使各指标的数值都处于同一个数量级别上；

后续再对标准化处理后的财会数据，将非结构化数据进行提取，保留结构化数据，并将非结构化数据与结构化数据进行分开存储。

Images