CN110399242A - 基于Hadoop平台的信息维护管理系统 - Google Patents

Abstract

本发明公开基于Hadoop平台的信息维护管理系统，包括存储单元、数据检测单元、自动修复单元、处理器、显示屏、警报单元、数据分析模块、采集单元和数据处理模块，所述存储单元内存储有数据信息，所述数据信息包括文件数据、初始字节数据和访问次数数据，所述文件数据指代文件以及文件的拓展名，所述数据检测单元用于对文件数据进行检测，所述数据检测单元在接收到文件数据后，即对其进行数据检测操作，本发明通过数据分析模块的设置，对修复过后的文件数据以及没有损坏的文件数据进行数据分析，计算出文件的访问率以及平均字节减少率，从而对文件数据的重要性作出判断，节省人们判断的时间，提高工作效率。

Description

基于Hadoop平台的信息维护管理系统

技术领域

本发明涉及信息维护管理技术领域，具体为基于Hadoop平台的信息维护管理系统。

背景技术

信息维护是指保持信息处于适合使用的状态。狭义信息维护指经常更新存储介质中的数据，使其保持正常状态。广义信息维护指信息系统建成后的全部数据管理工作。其目的是保证信息的准确、及时、安全和保密。

现有专利申请公布号为CN108629670A的一种自助式询价和物料信息维护管理系统，该自助式询价和物料信息维护管理系统，具有以下特点：SAAS化管理系统，面向供应商开放的在线管理和服务系统。基于大数据平台设计，客户询价任务按照规则自动化分配和流转。系统与I CKEYERP无缝集成，数据集中式管理。OAuth2API保证系统安全，7*24自动化监控保证系统稳定，但是，该自助式询价和物料信息维护管理系统无法对文件的损坏进行检测和判断，同时，不能对文件的重要性做出判定，以及在接收到信号后对文件进行多次备份，为此，我们提出基于Hadoop平台的信息维护管理系统。

发明内容

本发明的目的在于通过数据检测单元的设置，对文件数据的损坏进行检测，得到没有损坏的文件数据S i和损坏的文件数据Wt，来实现如何对文件进行损坏判断，通过数据分析模块的设置，对修复过后的文件数据以及没有损坏的文件数据进行数据分析，计算出文件的访问率以及平均字节减少率，来实现对文件的重要性做出判断，通过数据处理模块的设置，根据数据分析模块发出的常访问信号、低访问信号、常损坏信号和保质信号对文件的备份进行分类，来根据生成的信号对文件进行重点备份。

本发明所要解决的技术问题为：

(1)如何通过数据检测单元的设置，来实现对文件损坏的判断；

(2)如何通过数据分析模块的设置，来实现对文件的重要性做出判断；

(3)如何通过数据处理模块的设置，来根据生成的信号对文件进行重点备份。

本发明的目的可以通过以下技术方案实现：基于Hadoop平台的信息维护管理系统，包括存储单元、数据检测单元、自动修复单元、处理器、显示屏、警报单元、数据分析模块、采集单元和数据处理模块；

所述存储单元内存储有数据信息，所述数据信息包括文件数据、初始字节数据和访问次数数据，所述文件数据指代文件以及文件的拓展名，所述数据检测单元用于对文件数据进行检测，所述数据检测单元在接收到文件数据后，即对其进行数据检测操作，来得到没有损坏的文件数据S i和损坏的文件数据Wt，并将为S i和Wt的文件数据分别传输到数据分析模块和自动修复单元；

所述自动修复单元在接收损坏的文件数据Wt后，并依据文件自动修复技术对损坏的文件数据进行自动修复处理，来生成修复完成信号和修复失败信号，并将其经处理器分别传输到警报单元和数据分析模块，当警报单元在接收到修复失败信号后，立即发出警报；

所述采集单元用于采集实时文件数据的实时字节数据和存储时间数据，并将其传输到数据分析模块，所述数据分析模块在接收实时字节数据、存储时间数据、修复完成信号、修复失败信号以及修复后的文件数据后，将其与没有损坏的文件数据进行分析操作，来得到常访问信号、低访问信号、常损坏信号和保质信号，并将其传输到数据处理模块；

所述数据处理模块在接收到常访问信号、低访问信号、常损坏信号和保质信号后，依据其对文件数据进行备份处理，得出多次备份和正常备份，并将其再次存储到存储单元内；

所述显示屏用于显示数据分析模块、数据监测单元和自动修复单元所得出的结果数据，所述结果数据指带分析操作、数据检测操作和备份处理得出的结果。

优选的，数据检测操作的具体操作过程为：

S1：获取文件数据并识别其拓展名数据，并依据拓展名数据将文件进行检测划分，当文件拓展名为pdf和jpg时，则判定该文件为图像文件，需要看图软件对其进行打开，当文件拓展名为rm和av i时，则判定该文件为视频文件，需要使用视频播放插件进行打开，当文件拓展名为doc和x l s时，则判定为文本文件，需要使用WPS进行打开；

S2：根据S1中的文件拓展名，对文件数据进行文件检测，判定其存储状态；

S3：当使用对应的软件或方法可以打开该文件数据时，则判定该文件数据没有损坏，将没有损坏的文件数据标记为S i，i＝1,2,3......n；

S4：当使用对应的软件或方法无法打开该文件时，则判定该文件数据损坏，将损坏的文件数据标记为Wt，t＝1,2,3......m。

优选的，分析操作的具体操作过程如下：

K1：获取修复后的文件，并将修复失败信号所对应的文件数据直接删除，获取修复完成信号所对应的的文件数据，将其与没有损坏得文件数据一同进行下列操作；

K2：获取访问次数数据、存储时间数据、初始字节数据和实时字节数据，依据公式V_频＝访问次数/访问时间，得出文件的访问频率，同时，依据公式J l＝初始字节数据-实时字节数据，得出存储时间内的减少字节数据，依据Hs＝减少字节数据/存储时间数据，得出平均字节减少率；

K3：根据K2中的访问频率对文件数据进行备份分类，具体为：当V_频≥D时，则判定该文件数据为经常访问文件，生成常访问信号，当V_频<D时，则判定该文件数据为低访问文件，生成低访问信号，其中D为预设值；

K4：根据K2中的平均字节减少率对文件数据进行备份分类，具体为：当Hs≥F，则判定该文件数据为常损坏文件，生成常损坏信号，当Hs<F，则判定该文件数据为保质文件，生成保质信号，其中，F为预设值；

K5：当K3与K4判定不一致时，取K3的判定值为主判定。

优选的，备份处理的具体处理过程如下：

P1：当接收到同一个文件常访问信号和常损坏信号，则对该文件数据进行多次备份；

P2：当接收到同一个文件低访问信号和保质信号，则对该文件数据进行正常备份；

P3：当接收到同一个文件常访问信号和保质信号，则对该文件数据进行多次备份；

P4：当接收到同一个文件低访问信号和常损坏信号，则对该文件数据进行正常备份。

本发明的有益效果：

(1)存储单元内存储有数据信息，数据信息包括文件数据、初始字节数据和访问次数数据，文件数据指代文件以及文件的拓展名，数据检测单元用于对文件数据进行检测，数据检测单元在接收到文件数据后，即对其进行数据检测操作，通过数据检测单元的设置，对文件数据的损坏进行检测，来得到没有损坏的文件数据S i和损坏的文件数据Wt，便于数据分析模块对损坏的文件数据和没有损坏的文件数据进行分析，节省时间，提高工作效率；

(2)自动修复单元在接收损坏的文件数据Wt后，并依据文件自动修复技术对损坏的文件数据进行自动修复处理，来生成修复完成信号和修复失败信号，并将其经处理器分别传输到警报单元和数据分析模块，当警报单元在接收到修复失败信号后，立即发出警报；采集单元用于采集实时文件数据的实时字节数据和存储时间数据，并将其传输到数据分析模块，数据分析模块在接收实时字节数据、存储时间数据、修复完成信号、修复失败信号以及修复后的文件数据后，将其与没有损坏的文件数据进行分析操作，通过数据分析模块的设置，对修复过后的文件数据以及没有损坏的文件数据进行数据分析，计算出文件的访问率以及平均字节减少率，从而对文件数据的重要性作出判断，节省人们判断的时间，提高工作效率；

(3)数据处理模块在接收到常访问信号、低访问信号、常损坏信号和保质信号后，依据其对文件数据进行备份处理，得出多次备份和正常备份，并将其再次存储到存储单元内；显示屏用于显示数据分析模块、数据监测单元和自动修复单元所得出的结果数据，结果数据指带分析操作、数据检测操作和备份处理得出的结果，通过数据处理模块的设置，根据数据分析模块发出的常访问信号、低访问信号、常损坏信号和保质信号对文件的备份进行分类，对重要文件进行多次备份，避免文件损坏后无法恢复。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为基于Hadoop平台的信息维护管理系统，包括存储单元、数据检测单元、自动修复单元、处理器、显示屏、警报单元、数据分析模块、采集单元和数据处理模块；

所述存储单元内存储有数据信息，所述数据信息包括文件数据、初始字节数据和访问次数数据，所述文件数据指代文件以及文件的拓展名，所述数据检测单元用于对文件数据进行检测，所述数据检测单元在接收到文件数据后，即对其进行数据检测操作，数据检测操作的具体操作过程为：

S1：获取文件数据并识别其拓展名数据，并依据拓展名数据将文件进行检测划分，当文件拓展名为pdf和jpg时，则判定该文件为图像文件，需要看图软件对其进行打开，当文件拓展名为rm和avi时，则判定该文件为视频文件，需要使用视频播放插件进行打开，当文件拓展名为doc和x l s时，则判定为文本文件，需要使用WPS进行打开；

S2：根据S1中的文件拓展名，对文件数据进行文件检测，判定其存储状态；

S3：当使用对应的软件或方法可以打开该文件数据时，则判定该文件数据没有损坏，将没有损坏的文件数据标记为S i，i＝1,2,3......n；

S4：当使用对应的软件或方法无法打开该文件时，则判定该文件数据损坏，将损坏的文件数据标记为Wt，t＝1,2,3......m，并将为S i和Wt的文件数据分别传输到数据分析模块和自动修复单元；

所述自动修复单元在接收损坏的文件数据Wt后，并依据文件自动修复技术对损坏的文件数据进行自动修复处理，来生成修复完成信号和修复失败信号，并将其经处理器分别传输到警报单元和数据分析模块，当警报单元在接收到修复失败信号后，立即发出警报；

所述采集单元用于采集实时文件数据的实时字节数据和存储时间数据，并将其传输到数据分析模块，所述数据分析模块在接收实时字节数据、存储时间数据、修复完成信号、修复失败信号以及修复后的文件数据后，将其与没有损坏的文件数据进行分析操作，分析操作的具体操作过程如下：

K1：获取修复后的文件，并将修复失败信号所对应的文件数据直接删除，获取修复完成信号所对应的的文件数据，将其与没有损坏得文件数据一同进行下列操作；

K2：获取访问次数数据、存储时间数据、初始字节数据和实时字节数据，依据公式V_频＝访问次数/访问时间，得出文件的访问频率，同时，依据公式J l＝初始字节数据-实时字节数据，得出存储时间内的减少字节数据，依据Hs＝减少字节数据/存储时间数据，得出平均字节减少率；

K3：根据K2中的访问频率对文件数据进行备份分类，具体为：当V_频≥D时，则判定该文件数据为经常访问文件，生成常访问信号，当V_频<D时，则判定该文件数据为低访问文件，生成低访问信号，其中D为预设值；

K4：根据K2中的平均字节减少率对文件数据进行备份分类，具体为：当Hs≥F，则判定该文件数据为常损坏文件，生成常损坏信号，当Hs<F，则判定该文件数据为保质文件，生成保质信号，其中，F为预设值；

K5：当K3与K4判定不一致时，取K3的判定值为主判定，并将常访问信号、低访问信号、常损坏信号和保质信号传输到数据处理模块；

所述数据处理模块在接收到常访问信号、低访问信号、常损坏信号和保质信号后，依据其对文件数据进行备份处理，备份处理的具体处理过程如下：

P1：当接收到同一个文件常访问信号和常损坏信号，则对该文件数据进行多次备份；

P2：当接收到同一个文件低访问信号和保质信号，则对该文件数据进行正常备份；

P3：当接收到同一个文件常访问信号和保质信号，则对该文件数据进行多次备份；

P4：当接收到同一个文件低访问信号和常损坏信号，则对该文件数据进行正常备份，并将多次备份和正常备份再次存储到存储单元内；

所述显示屏用于显示数据分析模块、数据监测单元和自动修复单元所得出的结果数据，所述结果数据指带分析操作、数据检测操作和备份处理得出的结果。

本发明在工作时，存储单元内存储有数据信息，数据信息包括文件数据、初始字节数据和访问次数数据，文件数据指代文件以及文件的拓展名，数据检测单元用于对文件数据进行检测，数据检测单元在接收到文件数据后，即对其进行数据检测操作，通过数据检测单元的设置，对文件数据的损坏进行检测，来得到没有损坏的文件数据S i和损坏的文件数据Wt，便于数据分析模块对损坏的文件数据和没有损坏的文件数据进行分析，节省时间，提高工作效率；自动修复单元在接收损坏的文件数据Wt后，并依据文件自动修复技术对损坏的文件数据进行自动修复处理，来生成修复完成信号和修复失败信号，并将其经处理器分别传输到警报单元和数据分析模块，当警报单元在接收到修复失败信号后，立即发出警报；采集单元用于采集实时文件数据的实时字节数据和存储时间数据，并将其传输到数据分析模块，数据分析模块在接收实时字节数据、存储时间数据、修复完成信号、修复失败信号以及修复后的文件数据后，将其与没有损坏的文件数据进行分析操作，通过数据分析模块的设置，对修复过后的文件数据以及没有损坏的文件数据进行数据分析，计算出文件的访问率以及平均字节减少率，从而对文件数据的重要性作出判断，节省人们判断的时间，提高工作效率，数据处理模块在接收到常访问信号、低访问信号、常损坏信号和保质信号后，依据其对文件数据进行备份处理，得出多次备份和正常备份，并将其再次存储到存储单元内；显示屏用于显示数据分析模块、数据监测单元和自动修复单元所得出的结果数据，结果数据指带分析操作、数据检测操作和备份处理得出的结果，通过数据处理模块的设置，根据数据分析模块发出的常访问信号、低访问信号、常损坏信号和保质信号对文件的备份进行分类，对重要文件进行多次备份，避免文件损坏后无法恢复。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (4)

1.基于Hadoop平台的信息维护管理系统，其特征在于，包括存储单元、数据检测单元、自动修复单元、处理器、显示屏、警报单元、数据分析模块、采集单元和数据处理模块；

所述存储单元内存储有数据信息，所述数据信息包括文件数据、初始字节数据和访问次数数据，所述文件数据指代文件以及文件的拓展名，所述数据检测单元用于对文件数据进行检测，所述数据检测单元在接收到文件数据后，即对其进行数据检测操作，来得到没有损坏的文件数据Si和损坏的文件数据Wt，并将为Si和Wt的文件数据分别传输到数据分析模块和自动修复单元；

所述自动修复单元在接收损坏的文件数据Wt后，并依据文件自动修复技术对损坏的文件数据进行自动修复处理，来生成修复完成信号和修复失败信号，并将其经处理器分别传输到警报单元和数据分析模块，当警报单元在接收到修复失败信号后，立即发出警报；

所述采集单元用于采集实时文件数据的实时字节数据和存储时间数据，并将其传输到数据分析模块，所述数据分析模块在接收实时字节数据、存储时间数据、修复完成信号、修复失败信号以及修复后的文件数据后，将其与没有损坏的文件数据进行分析操作，来得到常访问信号、低访问信号、常损坏信号和保质信号，并将其传输到数据处理模块；

所述数据处理模块在接收到常访问信号、低访问信号、常损坏信号和保质信号后，依据其对文件数据进行备份处理，得出多次备份和正常备份，并将其再次存储到存储单元内；

所述显示屏用于显示数据分析模块、数据监测单元和自动修复单元所得出的结果数据，所述结果数据指带分析操作、数据检测操作和备份处理得出的结果。

2.根据权利要求1所述的基于Hadoop平台的信息维护管理系统，其特征在于，数据检测操作的具体操作过程为：

S1：获取文件数据并识别其拓展名数据，并依据拓展名数据将文件进行检测划分，当文件拓展名为pdf和jpg时，则判定该文件为图像文件，需要看图软件对其进行打开，当文件拓展名为rm和avi时，则判定该文件为视频文件，需要使用视频播放插件进行打开，当文件拓展名为doc和xls时，则判定为文本文件，需要使用WPS进行打开；

S2：根据S1中的文件拓展名，对文件数据进行文件检测，判定其存储状态；

S3：当使用对应的软件或方法可以打开该文件数据时，则判定该文件数据没有损坏，将没有损坏的文件数据标记为Si，i＝1,2,3......n；

S4：当使用对应的软件或方法无法打开该文件时，则判定该文件数据损坏，将损坏的文件数据标记为Wt，t＝1,2,3......m。

3.根据权利要求1所述的基于Hadoop平台的信息维护管理系统，其特征在于，分析操作的具体操作过程如下：

K1：获取修复后的文件，并将修复失败信号所对应的文件数据直接删除，获取修复完成信号所对应的的文件数据，将其与没有损坏得文件数据一同进行下列操作；

K2：获取访问次数数据、存储时间数据、初始字节数据和实时字节数据，依据公式V_频＝访问次数/访问时间，得出文件的访问频率，同时，依据公式Jl＝初始字节数据-实时字节数据，得出存储时间内的减少字节数据，依据Hs＝减少字节数据/存储时间数据，得出平均字节减少率；

K3：根据K2中的访问频率对文件数据进行备份分类，具体为：当V_频≥D时，则判定该文件数据为经常访问文件，生成常访问信号，当V_频<D时，则判定该文件数据为低访问文件，生成低访问信号，其中D为预设值；

K4：根据K2中的平均字节减少率对文件数据进行备份分类，具体为：当Hs≥F，则判定该文件数据为常损坏文件，生成常损坏信号，当Hs<F，则判定该文件数据为保质文件，生成保质信号，其中，F为预设值；

K5：当K3与K4判定不一致时，取K3的判定值为主判定。

4.根据权利要求1所述的基于Hadoop平台的信息维护管理系统，其特征在于，备份处理的具体处理过程如下：

P1：当接收到同一个文件常访问信号和常损坏信号，则对该文件数据进行多次备份；

P2：当接收到同一个文件低访问信号和保质信号，则对该文件数据进行正常备份；

P3：当接收到同一个文件常访问信号和保质信号，则对该文件数据进行多次备份；

P4：当接收到同一个文件低访问信号和常损坏信号，则对该文件数据进行正常备份。