一种数据分布管理系统
技术领域
本发明属于数据管理领域,涉及一种数据分布技术,具体是一种数据分布管理系统。
背景技术
数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程;其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织。
随着计算机技术的发展,数据管理经历了人工管理、文件系统、数据库系统三个发展阶段。在数据库系统中所建立的数据结构,更充分地描述了数据间的内在联系,便于数据修改、更新与扩充,同时保证了数据的独立性、可靠、安全性与完整性,减少了数据冗余,故提高了数据共享程度及数据管理效率。
但是当前数据管理基本上都将数据存储在同一数据库内,数据存储无需,而且冗杂,在需要查找时候,计时利用计算机的检索技术也需要花费较长时间,无法实现快速有效检索;为解决上述缺陷,先提供一种解决方案。
发明内容
本发明的目的在于提供一种数据分布管理系统。
本发明所要实现的目的如下:
(1)如何提供一种有效的分布式存储数据库,能够有效的存储数据文件;
(2)如何在数据存储过程中有效对文件进行分类;
(3)如何在数据存储之后,如何形成对应的检索文件表,便于检索,而且检索到了之后能够直接转到对应文件位置;
(4)如何对损坏文件进行有效修复,且如何判定是否修复了对应损坏文件;
本发明的目的可以通过以下技术方案实现:
一种数据分布管理系统,包括数据收集模块、数据修复模块、数据核验模块、暂存模块、数据筛选模块、图片存储模块、文档存储模块、有声数据存储模块、控制器、显示器和数据查询模块;
其中,所述数据收集模块用于获取各类待存储文件,所述数据收集模块用于将待存储文件传输到数据修复模块,所述数据修复模块接收到待存储文件时会将其传输到数据核验模块,所述数据核验模块用于核验待存储文件的文件名情况;所述数据核验模块在无法打开待存储文件时会将待存储文件返回数据修复模块,所述数据修复模块用于对文件名出错的待存储文件进行修复,修复过程如下:
步骤一:获取待存储文件的损坏文件名,并将该损坏文件名与常规文件名进行比对;
步骤二:在比对到损坏文件名与常规文件名的重合度,当重合度达到预设值时会将常规文件名代替损坏文件名;
具体修复过程表现为:检测到待存储文件的文件名若为dox,则通过常规比对可判断得到常规文件中会有docx文件,此时会自动将待存储文件的文件名自动更换为docx;之后利用数据核验模块将修复之后的待存储文件打开,如果能够打开则可判定为修复完成;
所述数据修复模块将修复之后的待存储文件传输到数据核验模块重新核验,所述数据核验模块在检测到修复之后的待存储文件能够打开之后向数据修复模块返回存储信号,所述数据修复模块在接收到数据核验模块返回的存储信号会将待存储文件传输到数据筛选模块;
所述数据核验模块在能够打开待存储文件时会将待存储文件和传输信号返回数据修复模块,所述数据修复模块在接收到数据核验模块传输的待存储文件和传输信号时会将待存储文件传输到数据筛选模块;
所述数据筛选模块接收到数据修复模块传输的待存储文件时会自动识别文件名并将其分类,所述数据筛选模块在识别到待存储文件为图片文件时将其标记为图片文件并将其传输到图片存储模块;所述数据筛选模块在识别到待存储文件为文档文件时将其标记为文档文件并将其传输到文档存储模块;所述数据筛选模块在识别到待存储文件为有声文件时将其标记为有声文件并将其传输到有声数据存储模块;
所述文档存储模块包括第一处理器和文档库,所述数据筛选模块用于将文档文件传输到第一处理器,所述第一处理器用于对接收到的若干文档文件进行处理转换为文档存储文件存储到文档库;具体处理步骤如下:
S1:将若干文档文件按照类型进行分类,之后根据文档文件的类型建立若干首层文件夹,将不同类型的文档文件按照类型存储在首层文件夹内;
S2:将首层文件夹里面的文件读取标题之后,判断所属领域,创建次层文件夹,之后将文档文件按照领域分类并存储到对应次层文件夹内部;
S3:将次层文件夹内部的文件按照时间排序建立底层文件夹,按照年月创建底层文件夹;之后将对应文件传输到对应的底层文件夹内;
S4:对每一份文档文件内部内容进行识别,并检索提取出关键词;
S5:将文档名与文档对应的关键词融合形成为检索语,同时将文档的路径信息与检索语结合构成查询信息,若干个文档的查询信息构成了查询信息表,将查询信息表单独存储,形成本文件夹的目录文件;通过所述路径信息可直接转到对应路径信息的文档文件处;
所述图片存储模块包括第二处理器和图片库,所述第二处理器接收数据筛选模块传输的图片文件,所述第二处理器在接收到数据筛选模块传输的图片文件之后对其做相关处理之后存储在图片库内:
SS1:对图片文件进行识别;
SS2:识别之后根据图片内的信息对其进行分类,分类之后按照类型建立一层文件夹存储对应图片文件;
SS3:将一层文件夹内部的图片文件按照时间建立二层文件夹,二层文件夹为一个月建立一份对应文件夹;
SS4:提取图片文件信息,同时获取每份图片文件对应的路径信息,将图片文件信息和路径信息融合形成为检索信息,若干份图片文件的检索信息构成图片文件的检索信息表;通过所述路径信息可直接转到对应路径信息的图片文件处;
所述有声数据存储模块包括第三处理器和有声数据库,所述第三处理器接收数据筛选模块传输的有声文件,所述有声文件为音频文件和视频文件,所述第三处理器用于对有声文件做相关处理之后存储到有声数据库内,具体处理步骤如下:
SSS1:将有声文件按照音频文件和视频文件区别,建立一类文件夹,并将其对应存储;
SSS2:在一类文件夹内部建立二类文件夹,所述二类文件夹按照时间划分,将同一个月的视频文件或音频文件划分为二类文件夹。
进一步地,所述数据筛选模块还用于将其他文件传输到有声数据存储模块,所述其他文件为除图片文件、文档文件和有声文件以外的文件,所述有声数据存储模块的第三处理器用于接收数据筛选模块传输的其他文件,所述第三处理器用于在有声数据库内建立其他文件夹并将其他文件传输到其他文件夹内实施存储。
进一步地,所述数据查询模块用于用户查询文件用,所述数据查询模块用于向控制器传输查询信息,所述查询信息包括文件类型和文件关键词,所述控制器用于根据查询信息内的文件类型自动从对应数据库获取到查询文件,查询过程具体如下:
步骤一:根据文件类型自动锁定对应的检索文件数据库;
步骤二:获取对应文件数据库内部的查询信息表和检索信息表自动获取到对应文件列表;
步骤三:锁定需要检索文件之后根据其对应的路径信息自动打开对应查询文件。
进一步地,所述控制器用于将查询文件传输到显示器进行实时显示。
进一步地,所述数据核验模块在检测到修复之后的待存储文件不能打开之后将待存储文件恢复原有文件名,所述数据核验模块用于将恢复原有文件名的待存储文件标记为破损数据,所述数据核验模块用于将破损数据传输到暂存模块进行暂时存储;
所述数据查询模块还用于通过控制器对暂存模块的破损数据进行管理,在所述破损数据无用之后可利用数据查询模块想控制器传输删除信息,所述控制器接收数据查询模块传输的删除信息,所述控制器根据删除信息将暂存模块存储的破损数据删除。
进一步地,所述第一处理器用于对接收到的若干文档文件进行处理,所述具体处理步骤的S4中提取关键词原理如下:
S1:对文档的首段和尾段进行分词处理;
S2:提取出若干组分词;
S3:判断出出现频率最高的前若干名组分词;
S4:将该前若干名组分词标记为关键词。
本发明的有益效果:
(1)本发明通过数据收集模块获取的需要存储的数据之后,利用数据修复模块修复已经损坏的文件,之后利用数据筛选模块对数据文件进行筛选,筛选之后对数据文件进行分类,分为图片文件、文档文件、有声文件和其他文件;之后利用图片存储模块将图片文件存储,利用文档存储模块对文档文件进行存储,利用有声数据存储模块对有声文件进行存储,通过上述分类,可以有效的将不同的文件存储到对应的存储模块中,便于有效存储;
(2)图片存储模块接收到图片文件之后,利用第二处理器对接收到的图片文件做相关处理之后存储在图片库内,通过图片文件进行识别,识别之后根据图片内的信息对其进行分类,分类之后按照类型建立一层文件夹存储对应图片文件;之后根据相关规则建立二层文件夹存储对应的图片文件;同时文档存储模块会利用相应规则建立首层文件夹、次层文件夹和底层文件夹,之后根据对应规则将文档文件存储到对应的底层文件夹之后,底层文件夹依次存储到次层文件夹和首层文件夹之中;同时利用相关规则能够将有声文件按照分类存储到对应的文件夹之中;
(3)将对应的数据文件存储到对应文件夹之后,会自动获取该数据文件中的关键词,同时会自动建立对应的路径信息,在通过关键词检索到相应文件之后,根据路径信息可直接转到对应文件所在路径处;
(4)本发明通过数据修复模块获取待存储文件的损坏文件名,并将该损坏文件名与常规文件名进行比对;之后在比对到损坏文件名与常规文件名的重合度,当重合度达到预设值时会将常规文件名代替损坏文件名;修复之后通过数据核验模块核验是否修复,在修复完成之后将其往下一层进行传输,如果检测到修复失败之后且该文件损坏将该损坏文件传输的暂存模块存储;本发明简单有效,且易于实用。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的系统框图。
具体实施方式
如图1所示,一种数据分布管理系统,包括数据收集模块、数据修复模块、数据核验模块、暂存模块、数据筛选模块、图片存储模块、文档存储模块、有声数据存储模块、控制器、显示器和数据查询模块;
其中,所述数据收集模块用于获取各类待存储文件,所述数据收集模块用于将待存储文件传输到数据修复模块,所述数据修复模块接收到待存储文件时会将其传输到数据核验模块,所述数据核验模块用于核验待存储文件的文件名情况;所述数据核验模块在无法打开待存储文件时会将待存储文件返回数据修复模块,所述数据修复模块用于对文件名出错的待存储文件进行修复,修复过程如下:
步骤一:获取待存储文件的损坏文件名,并将该损坏文件名与常规文件名进行比对;
步骤二:在比对到损坏文件名与常规文件名的重合度,当重合度达到预设值时会将常规文件名代替损坏文件名;
具体修复过程表现为:检测到待存储文件的文件名若为dox,则通过常规比对可判断得到常规文件中会有docx文件,此时会自动将待存储文件的文件名自动更换为docx;之后利用数据核验模块将修复之后的待存储文件打开,如果能够打开则可判定为修复完成;
所述数据修复模块将修复之后的待存储文件传输到数据核验模块重新核验,所述数据核验模块在检测到修复之后的待存储文件能够打开之后向数据修复模块返回存储信号,所述数据修复模块在接收到数据核验模块返回的存储信号会将待存储文件传输到数据筛选模块;所述数据核验模块在检测到修复之后的待存储文件不能打开之后将待存储文件恢复原有文件名,所述数据核验模块用于将恢复原有文件名的待存储文件标记为破损数据,所述数据核验模块用于将破损数据传输到暂存模块进行暂时存储;
所述数据核验模块在能够打开待存储文件时会将待存储文件和传输信号返回数据修复模块,所述数据修复模块在接收到数据核验模块传输的待存储文件和传输信号时会将待存储文件传输到数据筛选模块;
所述数据筛选模块接收到数据修复模块传输的待存储文件时会自动识别文件名并将其分类,所述数据筛选模块在识别到待存储文件为图片文件时将其标记为图片文件并将其传输到图片存储模块;所述数据筛选模块在识别到待存储文件为文档文件时将其标记为文档文件并将其传输到文档存储模块;所述数据筛选模块在识别到待存储文件为有声文件时将其标记为有声文件并将其传输到有声数据存储模块;
所述文档存储模块包括第一处理器和文档库,所述数据筛选模块用于将文档文件传输到第一处理器,所述第一处理器用于对接收到的若干文档文件进行处理转换为文档存储文件存储到文档库;具体处理步骤如下:
步骤一:将若干文档文件按照类型进行分类,之后根据文档文件的类型建立若干首层文件夹,将不同类型的文档文件按照类型存储在首层文件夹内;此处分类可表现为PDF文件类、TXT文件类和DOC文件类等这几种类型的文件,分别创建对应文件夹;
步骤二:将首层文件夹里面的文件读取标题之后,判断所属领域,创建次层文件夹,之后将文档文件按照领域分类并存储到对应次层文件夹内部;具体可表现为从标题内看出“机械桥梁”等字眼时可将其划分为机械类,并建立相关文件;
步骤三:将次层文件夹内部的文件按照时间排序建立底层文件夹,按照年月创建底层文件夹;之后将对应文件传输到对应的底层文件夹内,具体可表现为建立一个2018年5月的底层文件夹,内部存储的文件为2018年5月创建的文档文件;
步骤四:对每一份文档文件内部内容进行识别,并检索提取出关键词,提取原理如下:
S1:对文档的首段和尾段进行分词处理;
S2:提取出若干组分词;
S3:判断出出现频率最高的前若干名组分词;
S4:将该前若干名组分词标记为关键词;
步骤五:将文档名与文档对应的关键词融合形成为检索语,同时将文档的路径信息与检索语结合构成查询信息,若干个文档的查询信息构成了查询信息表,将查询信息表单独存储,形成本文件夹的目录文件;通过所述路径信息可直接转到对应路径信息的文档文件处;
上述处理步骤中文档文件存储在底层文件夹内部,之后将底层文件夹存储到对应的次层文件夹内部,之后对应的次层文件夹存储到对应的首层文件夹中;形成一层一层的存储文件夹。
所述图片存储模块包括第二处理器和图片库,所述第二处理器接收数据筛选模块传输的图片文件,所述第二处理器在接收到数据筛选模块传输的图片文件之后对其做相关处理之后存储在图片库内:
步骤一:对图片文件进行识别;
步骤二:识别之后根据图片内的信息对其进行分类,分类之后按照类型建立一层文件夹存储对应图片文件;分类规则具体可表现为:在识别到图片文件中的图片信息为风景图,将其划分为风景类;在识别到图片文件中的图片信息为一些设备图,设备图为现场机械和一些相关的设备图片,则将其划分为基本设备类;
步骤三:将一层文件夹内部的图片文件按照时间建立二层文件夹,二层文件夹为一个月建立一份对应文件夹;具体可表现为检测到图片拍摄时间为2018年6月,则建立对应的2018.6月的二层文件夹;
步骤四:提取图片文件信息,同时获取每份图片文件对应的路径信息,将图片文件信息和路径信息融合形成为检索信息,若干份图片文件的检索信息构成图片文件的检索信息表;通过所述路径信息可直接转到对应路径信息的图片文件处;
上述处理步骤中二层文件夹存储在对应的一层文件夹之中,图片文件存储在对应的二层文件夹之中。
所述有声数据存储模块包括第三处理器和有声数据库,所述第三处理器接收数据筛选模块传输的有声文件,所述有声文件为音频文件和视频文件,所述第三处理器用于对有声文件做相关处理之后存储到有声数据库内,具体处理步骤如下:
步骤一:将有声文件按照音频文件和视频文件区别,建立一类文件夹,并将其对应存储;
步骤二:在一类文件夹内部建立二类文件夹,所述二类文件夹按照时间划分,将同一个月的视频文件或音频文件划分为二类文件夹,具体表现可为如果建立时间为2018年3月,则建立2018.3月的二类文件夹;
上述过程中,有声文件存储在二类文件夹之后,二类文件夹存储在对应的一类文件夹之后。
所述数据筛选模块还用于将其他文件传输到有声数据存储模块,所述其他文件为除图片文件、文档文件和有声文件以外的文件,所述有声数据存储模块的第三处理器用于接收数据筛选模块传输的其他文件,所述第三处理器用于在有声数据库内建立其他文件夹并将其他文件传输到其他文件夹内实施存储。
所述数据查询模块用于用户查询文件用,所述数据查询模块用于向控制器传输查询信息,所述查询信息包括文件类型和文件关键词,所述控制器用于根据查询信息内的文件类型自动从对应数据库获取到查询文件,查询过程具体如下:
步骤一:根据文件类型自动锁定对应的检索文件数据库;
步骤二:获取对应文件数据库内部的查询信息表和检索信息表自动获取到对应文件列表;
步骤三:锁定需要检索文件之后根据其对应的路径信息自动打开对应查询文件。
所述控制器用于将查询文件传输到显示器进行实时显示。
所述数据查询模块还用于通过控制器对暂存模块的破损数据进行管理,在所述破损数据无用之后可利用数据查询模块想控制器传输删除信息,所述控制器接收数据查询模块传输的删除信息,所述控制器根据删除信息将暂存模块存储的破损数据删除。
一种数据分布管理系统,在工作时,首先通过数据收集模块获取到对应需要的文件,之后数据修复模块会利用数据核验模块对该文件进行检验,如果该文件出现了损坏,会利用数据修复模块进行修复,修复完成之后会利用数据核验模块进行进一步的核验,如果该文件损坏了且无法修复则会将其传输到暂存模块,用于后续过程中人工对其进行验证和处理;之后利用数据筛选模块对获取到的数据文件进行分类,按照图片文件、文档文件和有声文件以及其他文件存储到对应的数据库内部;之后利用图片存储模块、文档存储模块和有声数据存储模块对对应文件进行处理,并建立相应的检索文件;之后通过数据查询模块输入对应查询关键字,从对应存储模块获取到对应的数据和文件,查询到对应文件之后将其传输到显示器进行显示;
本发明的有益效果如下:
(4)本发明通过数据收集模块获取的需要存储的数据之后,利用数据修复模块修复已经损坏的文件,之后利用数据筛选模块对数据文件进行筛选,筛选之后对数据文件进行分类,分为图片文件、文档文件、有声文件和其他文件;之后利用图片存储模块将图片文件存储,利用文档存储模块对文档文件进行存储,利用有声数据存储模块对有声文件进行存储,通过上述分类,可以有效的将不同的文件存储到对应的存储模块中,便于有效存储;
(5)图片存储模块接收到图片文件之后,利用第二处理器对接收到的图片文件做相关处理之后存储在图片库内,通过图片文件进行识别,识别之后根据图片内的信息对其进行分类,分类之后按照类型建立一层文件夹存储对应图片文件;之后根据相关规则建立二层文件夹存储对应的图片文件;同时文档存储模块会利用相应规则建立首层文件夹、次层文件夹和底层文件夹,之后根据对应规则将文档文件存储到对应的底层文件夹之后,底层文件夹依次存储到次层文件夹和首层文件夹之中;同时利用相关规则能够将有声文件按照分类存储到对应的文件夹之中;
(6)将对应的数据文件存储到对应文件夹之后,会自动获取该数据文件中的关键词,同时会自动建立对应的路径信息,在通过关键词检索到相应文件之后,根据路径信息可直接转到对应文件所在路径处;
(7)本发明通过数据修复模块获取待存储文件的损坏文件名,并将该损坏文件名与常规文件名进行比对;之后在比对到损坏文件名与常规文件名的重合度,当重合度达到预设值时会将常规文件名代替损坏文件名;修复之后通过数据核验模块核验是否修复,在修复完成之后将其往下一层进行传输,如果检测到修复失败之后且该文件损坏将该损坏文件传输的暂存模块存储;本发明简单有效,且易于实用。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。