CN109299040B - 一种基于大数据的文件存储空间智能分配方法 - Google Patents
一种基于大数据的文件存储空间智能分配方法 Download PDFInfo
- Publication number
- CN109299040B CN109299040B CN201811117584.5A CN201811117584A CN109299040B CN 109299040 B CN109299040 B CN 109299040B CN 201811117584 A CN201811117584 A CN 201811117584A CN 109299040 B CN109299040 B CN 109299040B
- Authority
- CN
- China
- Prior art keywords
- information
- module
- file
- controller
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于大数据的文件存储空间智能分配方法,包括数据接入模块、文件分析模块、文件查询模块、控制器、调用监控模块、限期存储模块、备份存储模块、调用记录模块和文件调转模块;所述数据接入模块用于用户录入数据信息用,所述数据接入模块用于将数据信息传输到文件分析模块,所述文件分析模块用于对数据信息进行分析;本发明通过文件分析模块根据数据信息的后缀名将数据信息分类为文档信息、图片信息、影像信息和其他信息;同时给上述各个信息打上识别字眼便于识别,之后将上述各类信息传输到控制器内,控制器将上述各个带有识别字眼的信息传输到限期存储模块按照类别进行存储。
Description
技术领域
本发明属于智能分配领域,涉及一种大数据技术,具体是一种基于大数据的文件存储空间智能分配方法。
背景技术
文件系统是操作系统用于明确存储设备(常见的是磁盘,也有基于NANDFlash的固态硬盘)或分区上的文件的方法和数据结构;即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。文件系统由三部分组成:文件系统的接口,对对象操纵和管理的软件集合,对象及属性。从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,当用户不再使用时撤销文件等。
但是当前,文件在存储的时候,在数据量很大的时候,如何将文件智能的进行分类存储以便于快速检索成为了一个关键问题,但是当前检索都是依托于常规技术检索,没有结合存储的情况和文件具体的热度来进行存储;这样就导致了在检索文件时造成了大量的浪费;为了解决上述缺陷,现提供一种解决方案。
发明内容
本发明的目的在于提供一种基于大数据的文件存储空间智能分配方法。
本发明所有解决的技术问题为:
(1):如何对数据信息进行准确分类,且带有标识性,便于存储和分辨;
(2):如何对数据信息按照重要程度进行分类,将一些不经常用到信息进行集中存储;
(3):如何形成数据信息的检索信息;
本发明的目的可以通过以下技术方案实现:
一种基于大数据的文件存储空间智能分配方法,包括数据接入模块、文件分析模块、文件查询模块、控制器、调用监控模块、限期存储模块、备份存储模块、调用记录模块和文件调转模块;
其中,所述数据接入模块用于用户录入数据信息用,所述数据接入模块用于将数据信息传输到文件分析模块,所述文件分析模块用于对数据信息进行分析,具体分析步骤如下:
步骤一:获取到数据信息,自动读取数据信息的后缀名;
步骤二:对后缀名进行识别,判断其文档类型;
S1:将数据信息划分为文档信息,文档信息包括所有的文本类文档文件;
S2:图片信息,图片信息包括所有格式的图片文件;
S3:影像信息,影像信息包括所有的音频、视频文件;
S4:其他信息,其他信息为除上述文档信息、图片信息和影像信息以外的信息;
步骤三:给上述各数据信息添加识别字眼;
S1:在文档信息名称前端添加识别字眼W;
S2:在图片信息名称前端添加识别字眼T;
S3:在影像信息名称前端添加识别字眼Y;
S4:在其他信息名称前端添加识别字眼Q;
所述文件分析模块用于将分类后的文档信息、图片信息、影像信息和其他信息传输到控制器;所述控制器接收文档分析模块传输的文档信息、图片信息、影像信息和其他信息,所述控制器用于将文档信息、图片信息、影像信息和其他信息传输到限期存储模块,所述限期存储模块接收控制器传输的文档信息、图片信息、影像信息和其他信息,所述限期存储模块用于根据文档信息、图片信息、影像信息和其他信息形成检索信息组并进行实时存储;所述检索信息组为限期存储模块存储的每一份数据信息的检索信息,检索信息用于用户在需要进行检索时用,检索信息包括检索关键词和路径信息;检索关键词为上述各数据信息的文件名称信息加简介信息,路径信息为对应数据信息的存储位置信息;所述文件查询模块用于用户在需要进行检索时候输入查询信息用;所述查询信息包括查询关键词和数据信息的识别字眼;查询关键词包括查询名称信息和查询简介,查询简介为用户自主输入;
所述文件查询模块用于将查询信息传输到控制器,所述控制器根据检索关键词自动从限期存储模块进行查询,查询过程如下:
步骤一:获取到查询信息内数据信息的识别字眼,根据识别字眼锁定数据信息的类型并将该类文档类型标记为锁定数据信息组;
步骤二:获取到查询信息内的查询名称信息,同时获取到锁定数据信息组内的检索信息组,之后获取对应检索信息组内检索信息的检索关键词,再之后获取检索关键词内的文件名称信息;将查询名称信息与文件名称信息进行比对;具体比对过程如下:
S1:将查询名称信息与文件名称信息进行逐字比对,获取到查询名称信息与文件名称信息的重叠率C1i,i=1...n;
S2:将C1i与预设值C1进行比对,获取所有大于C1的重叠率C1i对应的文件名称信息并将其标定为待确认文件名称信息组;
S3:获取到待确认文件名称信息组对应的简介信息组,获取到查询信息内的查询简介;
S4:将查询简介与简介信息组进行逐字比对,获取到查询简介与简介信息组的重合率C2i,i=1...n;
S5:将C2i按照由大到小的顺序进行排序,获取前三名重合率对应的简介信息并将其标定为待选择简介信息组;
步骤三:获取待选择简介信息组对应的检索信息内的路径信息组并将路径信息组标记为待选择路径信息组;
步骤四:根据待选择路径信息组内的三组路径信息获取到对应的数据信息组并将其标定为待选择数据信息组;
所述控制器用于将待选择数据信息组传输到显示模块进行实时显示,所述控制器用于将待选择数据信息组返回到文件查询模块用于用户输入目标数据信息,所述文件查询模块用于向控制器传输目标数据信息,所述控制器接收到目标数据信息并将目标数据信息传输到调用监控模块,所述调用监控模块用于将目标数据信息打上时间戳之后传输到调用记录模块,所述调用记录模块用于接收调用监控模块每一次传输的目标数据信息并进行下述处理:
步骤一:获取到接收到的所有目标数据信息最后一次的时间戳并将其标记为Ti,i=1...n;
步骤二:将Ti按照时间由近到远的顺序进行排序;
步骤三:并将Ti与当天时间进行比对计算得到距当天过去的时间信息Tji,i=1...n;
步骤四:按照Tji≤X1,X1<Tji<X2,Tji≥X2,将Tji划分为三个阶段;X1和X2均为预设值;并获取对应时间段的目标数据信息;
步骤五:将Tji≤X1时间段对应的目标数据信息标记为热门数据信息;
将X1<Tji<X2时间段对应的目标数据信息标记为常规数据信息;
将Tji≥X2时间段对应的目标数据信息标记为冷门数据信息;
所述调用记录模块用于将热门数据信息、常规数据信息和冷门数据信息融合形成调用信息,所述调用记录模块用于将调用信息传输到文件调转模块,所述文件调转模块用于将调用信息与限期存储模块内存储所有的数据信息进行比对,获取得到未调用过的数据信息并将其标记为转移信息;所述文件调转模块用于将转移信息从限期存储模块内调用出来并将其传输到备份存储模块,所述备份存储模块接收到文件调转模块传输的转移信息并将转移信息对应的检索信息删除形成备份存储信息,所述备份存储模块用于存储备份存储信息;
当所述控制器未从限期存储模块内查询到查询信息对应的数据信息时会自动查询备份存储模块内的数据信息,所述控制器用于根据查询信息内的查询名称信息从备份存储模块查找对应数据信息,当数据信息被查询后控制器会将其自动标记为目标数据信息并将其传输到调用监控模块;所述调用监控模块用于将目标数据信息打上时间戳传输到调用记录模块。
进一步地,所述文件调转模块用于根据调用信息将备份存储模块内被调用过的备份存储信息重新标记为数据信息并将数据信息传输到文件分析模块;
所述控制器接收到目标数据信息并将目标数据信息传输到显示模块进行实时显示;所述调用记录模块还用于将调用信息返回到调用监控模块,所述调用监控模块用于将调用信息传输到控制器,所述控制器用于将调用信息传输到显示器进行实时显示。
进一步地,所述限期存储模块包括辅助控制器、文档文件存储单元、图像识别单元、图片文件存储单元、语音转文字模块、影像文件存储单元、索引库和其他信息存储单元;所述控制器用于将文档信息、图片信息、影像信息和其他信息传输到辅助控制器;
所述辅助控制器用于读取文档信息的内容并进行分词处理,获取出现频率前S1名的词汇并将其标记为简介信息;S1为预设值;所述辅助控制器用于将文档信息传输到文档文件存储单元进行存储并获取其存储的路径信息,将路径信息、名称信息和简介信息融合形成检索信息;所述辅助控制器用于将检索信息传输到索引库进行实时存储;
所述辅助控制器用于将图片信息传输到图像识别单元,所述图像识别单元用于识别图像为何种图像,并形成图像简介信息,所述图像识别单元用于将图片信息传输到图片文件存储单元并将对应路径信息返回到辅助控制器;所述图像识别单元用于将简介信息返回到辅助控制器,所述辅助控制器用于将图片信息的名称信息、简介信息和路径信息融合形成检索信息并将检索信息传输到索引库进行存储;
所述辅助控制器用于将影像信息传输到语音转文字模块,所述影像信息包括语音信息和视频信息;所述语音转文字模块用于获取影像信息内的语音信息并将其转换为文字信息,所述语音转文字模块用于将文字信息内的出现频率前S2名的词语标记为简介信息,S2为预设值;所述语音转文字模块用于将简介信息返回到辅助控制器,所述语音转文字模块用于将语音信息传输到影像文件存储单元进行存储并将路径信息返回辅助控制器,所述辅助控制器用于将简介信息、路径信息和语音信息的名称信息融合形成语音信息的检索信息;
所述语音转文字模块还用于获取视频信息的名称信息之后将其传输到影像文件存储单元进行存储,所述语音转文字模块还用于获取对应视频信息的路径信息并将其返回辅助控制器,所述辅助控制器用于将名称信息和路径信息融合形成视频信息的检索信息;
所述辅助控制器用于将其他信息传输到其他信息存储单元并获取其路径信息,所述辅助控制器用于将其他信息的名称信息和路径信息结合形成检索信息,所述辅助控制器用于将检索信息返回到索引库进行实时存储。
本发明的有益效果:
本发明的有益效果如下;
(1):本发明通过文件分析模块根据数据信息的后缀名将数据信息分类为文档信息、图片信息、影像信息和其他信息;同时给上述各个信息打上识别字眼便于识别,之后将上述各类信息传输到控制器内,控制器将上述各个带有识别字眼的信息传输到限期存储模块按照类别进行存储;
(2):本发明通过调用监控模块的设置,能够对用户调用的文件进行实时监控,并打上时间戳之后根据时间戳判定数据信息的热门程度,将从来没有调用过的数据信息从限期存储模块内转移到备份存储模块进行存储,并删除对应的检索信息,以便于减少空间的浪费,如果对应数据信息重新被启用的话,则会通过文件调转模块将数据信息重新回传到文件分析模块进行重新处理并存储在限期存储模块内部;
(3)本发明通过限期存储模块内部各个单元的设置,能够对接收到的数据信息进行自动识别,并获取内部的关键信息,结合名称和路径信息形成对应的检索信息,便于用户在搜索时直接跟索引库内部的检索信息进行比对,比对完成之后通过路径信息即可自动转到对应文件位置,不需要重新一个个文件进行查找,浪费时间而且工程量大;本发明简单有效,且易于实用。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的系统框图;
图2为本发明限期存储模块的系统结构图。
具体实施方式
如图1-2所示,一种基于大数据的文件存储空间智能分配方法,包括数据接入模块、文件分析模块、文件查询模块、控制器、调用监控模块、限期存储模块、备份存储模块、调用记录模块和文件调转模块;
其中,所述数据接入模块用于用户录入数据信息用,所述数据接入模块用于将数据信息传输到文件分析模块,所述文件分析模块用于对数据信息进行分析,具体分析步骤如下:
步骤一:获取到数据信息,自动读取数据信息的后缀名;
步骤二:对后缀名进行识别,判断其文档类型;
S1:将数据信息划分为文档信息,文档信息包括所有的文本类文档文件;
S2:图片信息,图片信息包括所有格式的图片文件;
S3:影像信息,影像信息包括所有的音频、视频文件;
S4:其他信息,其他信息为除上述文档信息、图片信息和影像信息以外的信息;
步骤三:给上述各数据信息添加识别字眼;
S1:在文档信息名称前端添加识别字眼W;
S2:在图片信息名称前端添加识别字眼T;
S3:在影像信息名称前端添加识别字眼Y;
S4:在其他信息名称前端添加识别字眼Q;
所述文件分析模块用于将分类后的文档信息、图片信息、影像信息和其他信息传输到控制器;所述控制器接收文档分析模块传输的文档信息、图片信息、影像信息和其他信息,所述控制器用于将文档信息、图片信息、影像信息和其他信息传输到限期存储模块,所述限期存储模块接收控制器传输的文档信息、图片信息、影像信息和其他信息,所述限期存储模块用于根据文档信息、图片信息、影像信息和其他信息形成检索信息组并进行实时存储;所述检索信息组为限期存储模块存储的每一份数据信息的检索信息,检索信息用于用户在需要进行检索时用,检索信息包括检索关键词和路径信息;检索关键词为上述各数据信息的文件名称信息加简介信息,路径信息为对应数据信息的存储位置信息;所述文件查询模块用于用户在需要进行检索时候输入查询信息用;所述查询信息包括查询关键词和数据信息的识别字眼;查询关键词包括查询名称信息和查询简介,查询简介为用户自主输入;
所述文件查询模块用于将查询信息传输到控制器,所述控制器根据检索关键词自动从限期存储模块进行查询,查询过程如下:
步骤一:获取到查询信息内数据信息的识别字眼,根据识别字眼锁定数据信息的类型并将该类文档类型标记为锁定数据信息组;
步骤二:获取到查询信息内的查询名称信息,同时获取到锁定数据信息组内的检索信息组,之后获取对应检索信息组内检索信息的检索关键词,再之后获取检索关键词内的文件名称信息;将查询名称信息与文件名称信息进行比对;具体比对过程如下:
S1:将查询名称信息与文件名称信息进行逐字比对,获取到查询名称信息与文件名称信息的重叠率C1i,i=1...n;
S2:将C1i与预设值C1进行比对,获取所有大于C1的重叠率C1i对应的文件名称信息并将其标定为待确认文件名称信息组;
S3:获取到待确认文件名称信息组对应的简介信息组,获取到查询信息内的查询简介;
S4:将查询简介与简介信息组进行逐字比对,获取到查询简介与简介信息组的重合率C2i,i=1...n;
S5:将C2i按照由大到小的顺序进行排序,获取前三名重合率对应的简介信息并将其标定为待选择简介信息组;
步骤三:获取待选择简介信息组对应的检索信息内的路径信息组并将路径信息组标记为待选择路径信息组;
步骤四:根据待选择路径信息组内的三组路径信息获取到对应的数据信息组并将其标定为待选择数据信息组;
所述控制器用于将待选择数据信息组传输到显示模块进行实时显示,所述控制器用于将待选择数据信息组返回到文件查询模块用于用户输入目标数据信息,所述文件查询模块用于向控制器传输目标数据信息,所述控制器接收到目标数据信息并将目标数据信息传输到调用监控模块,所述调用监控模块用于将目标数据信息打上时间戳之后传输到调用记录模块,所述调用记录模块用于接收调用监控模块每一次传输的目标数据信息并进行下述处理:
步骤一:获取到接收到的所有目标数据信息最后一次的时间戳并将其标记为Ti,i=1...n;
步骤二:将Ti按照时间由近到远的顺序进行排序;
步骤三:并将Ti与当天时间进行比对计算得到距当天过去的时间信息Tji,i=1...n;
步骤四:按照Tji≤X1,X1<Tji<X2,Tji≥X2,将Tji划分为三个阶段;X1和X2均为预设值;并获取对应时间段的目标数据信息;
步骤五:将Tji≤X1时间段对应的目标数据信息标记为热门数据信息;
将X1<Tji<X2时间段对应的目标数据信息标记为常规数据信息;
将Tji≥X2时间段对应的目标数据信息标记为冷门数据信息;
所述调用记录模块用于将热门数据信息、常规数据信息和冷门数据信息融合形成调用信息,所述调用记录模块用于将调用信息传输到文件调转模块,所述文件调转模块用于将调用信息与限期存储模块内存储所有的数据信息进行比对,获取得到未调用过的数据信息并将其标记为转移信息;所述文件调转模块用于将转移信息从限期存储模块内调用出来并将其传输到备份存储模块,所述备份存储模块接收到文件调转模块传输的转移信息并将转移信息对应的检索信息删除形成备份存储信息,所述备份存储模块用于存储备份存储信息;
当所述控制器未从限期存储模块内查询到查询信息对应的数据信息时会自动查询备份存储模块内的数据信息,所述控制器用于根据查询信息内的查询名称信息从备份存储模块查找对应数据信息,当数据信息被查询后控制器会将其自动标记为目标数据信息并将其传输到调用监控模块;所述调用监控模块用于将目标数据信息打上时间戳传输到调用记录模块;
所述文件调转模块用于根据调用信息将备份存储模块内被调用过的备份存储信息重新标记为数据信息并将数据信息传输到文件分析模块;
所述控制器接收到目标数据信息并将目标数据信息传输到显示模块进行实时显示;所述调用记录模块还用于将调用信息返回到调用监控模块,所述调用监控模块用于将调用信息传输到控制器,所述控制器用于将调用信息传输到显示器进行实时显示。
所述限期存储模块包括辅助控制器、文档文件存储单元、图像识别单元、图片文件存储单元、语音转文字模块、影像文件存储单元、索引库和其他信息存储单元;所述控制器用于将文档信息、图片信息、影像信息和其他信息传输到辅助控制器;
所述辅助控制器用于读取文档信息的内容并进行分词处理,获取出现频率前S1名的词汇并将其标记为简介信息;S1为预设值;所述辅助控制器用于将文档信息传输到文档文件存储单元进行存储并获取其存储的路径信息,将路径信息、名称信息和简介信息融合形成检索信息;所述辅助控制器用于将检索信息传输到索引库进行实时存储;
所述辅助控制器用于将图片信息传输到图像识别单元,所述图像识别单元用于识别图像为何种图像,并形成图像简介信息,所述图像识别单元用于将图片信息传输到图片文件存储单元并将对应路径信息返回到辅助控制器;所述图像识别单元用于将简介信息返回到辅助控制器,所述辅助控制器用于将图片信息的名称信息、简介信息和路径信息融合形成检索信息并将检索信息传输到索引库进行存储;
所述辅助控制器用于将影像信息传输到语音转文字模块,所述影像信息包括语音信息和视频信息;所述语音转文字模块用于获取影像信息内的语音信息并将其转换为文字信息,所述语音转文字模块用于将文字信息内的出现频率前S2名的词语标记为简介信息,S2为预设值;所述语音转文字模块用于将简介信息返回到辅助控制器,所述语音转文字模块用于将语音信息传输到影像文件存储单元进行存储并将路径信息返回辅助控制器,所述辅助控制器用于将简介信息、路径信息和语音信息的名称信息融合形成语音信息的检索信息;
所述语音转文字模块还用于获取视频信息的名称信息之后将其传输到影像文件存储单元进行存储,所述语音转文字模块还用于获取对应视频信息的路径信息并将其返回辅助控制器,所述辅助控制器用于将名称信息和路径信息融合形成视频信息的检索信息;
所述辅助控制器用于将其他信息传输到其他信息存储单元并获取其路径信息,所述辅助控制器用于将其他信息的名称信息和路径信息结合形成检索信息,所述辅助控制器用于将检索信息返回到索引库进行实时存储。
一种基于大数据的文件存储空间智能分配方法,在工作时,首先通过数据接入模块获取到数据信息,之后通过文件分析模块对数据信息进行识别并表上识别字眼,之后将数据信息传输到控制器,控制器将数据信息按照类别将其传输到限期存储模块进行存储,且获取到对应检索信息;之后利用文件查询模块查询所需的数据信息,并将查询状况通过调用监控模块和调用记录模块记录下数据信息的调用情况,之后通过文件调转模块按照相关规则将数据信息分门别类的存储在限期存储模块和备份存储模块内部;
本发明的有益效果如下;
(1):本发明通过文件分析模块根据数据信息的后缀名将数据信息分类为文档信息、图片信息、影像信息和其他信息;同时给上述各个信息打上识别字眼便于识别,之后将上述各类信息传输到控制器内,控制器将上述各个带有识别字眼的信息传输到限期存储模块按照类别进行存储;
(2):本发明通过调用监控模块的设置,能够对用户调用的文件进行实时监控,并打上时间戳之后根据时间戳判定数据信息的热门程度,将从来没有调用过的数据信息从限期存储模块内转移到备份存储模块进行存储,并删除对应的检索信息,以便于减少空间的浪费,如果对应数据信息重新被启用的话,则会通过文件调转模块将数据信息重新回传到文件分析模块进行重新处理并存储在限期存储模块内部;
(3)本发明通过限期存储模块内部各个单元的设置,能够对接收到的数据信息进行自动识别,并获取内部的关键信息,结合名称和路径信息形成对应的检索信息,便于用户在搜索时直接跟索引库内部的检索信息进行比对,比对完成之后通过路径信息即可自动转到对应文件位置,不需要重新一个个文件进行查找,浪费时间而且工程量大;本发明简单有效,且易于实用。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (3)
1.一种基于大数据的文件存储空间智能分配方法,其特征在于,包括数据接入模块、文件分析模块、文件查询模块、控制器、调用监控模块、限期存储模块、备份存储模块、调用记录模块和文件调转模块;
其中,所述数据接入模块用于用户录入数据信息用,所述数据接入模块用于将数据信息传输到文件分析模块,所述文件分析模块用于对数据信息进行分析,具体分析步骤如下:
步骤一:获取到数据信息,自动读取数据信息的后缀名;
步骤二:对后缀名进行识别,判断其文档类型;
S1:将数据信息划分为文档信息,文档信息包括所有的文本类文档文件;
S2:图片信息,图片信息包括所有格式的图片文件;
S3:影像信息,影像信息包括所有的音频、视频文件;
S4:其他信息,其他信息为除上述文档信息、图片信息和影像信息以外的信息;
步骤三:给上述各数据信息添加识别字眼;
S1:在文档信息名称前端添加识别字眼W;
S2:在图片信息名称前端添加识别字眼T;
S3:在影像信息名称前端添加识别字眼Y;
S4:在其他信息名称前端添加识别字眼Q;
所述文件分析模块用于将分类后的文档信息、图片信息、影像信息和其他信息传输到控制器;所述控制器接收文档分析模块传输的文档信息、图片信息、影像信息和其他信息,所述控制器用于将文档信息、图片信息、影像信息和其他信息传输到限期存储模块,所述限期存储模块接收控制器传输的文档信息、图片信息、影像信息和其他信息,所述限期存储模块用于根据文档信息、图片信息、影像信息和其他信息形成检索信息组并进行实时存储;所述检索信息组为限期存储模块存储的每一份数据信息的检索信息,检索信息用于用户在需要进行检索时用,检索信息包括检索关键词和路径信息;检索关键词为上述各数据信息的文件名称信息加简介信息,路径信息为对应数据信息的存储位置信息;所述文件查询模块用于用户在需要进行检索时候输入查询信息用;所述查询信息包括查询关键词和数据信息的识别字眼;查询关键词包括查询名称信息和查询简介,查询简介为用户自主输入;
所述文件查询模块用于将查询信息传输到控制器,所述控制器根据检索关键词自动从限期存储模块进行查询,查询过程如下:
步骤一:获取到查询信息内数据信息的识别字眼,根据识别字眼锁定数据信息的类型并将该类文档类型标记为锁定数据信息组;
步骤二:获取到查询信息内的查询名称信息,同时获取到锁定数据信息组内的检索信息组,之后获取对应检索信息组内检索信息的检索关键词,再之后获取检索关键词内的文件名称信息;将查询名称信息与文件名称信息进行比对;具体比对过程如下:
S1:将查询名称信息与文件名称信息进行逐字比对,获取到查询名称信息与文件名称信息的重叠率C1i,i=1...n;
S2:将C1i与预设值C1进行比对,获取所有大于C1的重叠率C1i对应的文件名称信息并将其标定为待确认文件名称信息组;
S3:获取到待确认文件名称信息组对应的简介信息组,获取到查询信息内的查询简介;
S4:将查询简介与简介信息组进行逐字比对,获取到查询简介与简介信息组的重合率C2i,i=1...n;
S5:将C2i按照由大到小的顺序进行排序,获取前三名重合率对应的简介信息并将其标定为待选择简介信息组;
步骤三:获取待选择简介信息组对应的检索信息内的路径信息组并将路径信息组标记为待选择路径信息组;
步骤四:根据待选择路径信息组内的三组路径信息获取到对应的数据信息组并将其标定为待选择数据信息组;
所述控制器用于将待选择数据信息组传输到显示模块进行实时显示,所述控制器用于将待选择数据信息组返回到文件查询模块用于用户输入目标数据信息,所述文件查询模块用于向控制器传输目标数据信息,所述控制器接收到目标数据信息并将目标数据信息传输到调用监控模块,所述调用监控模块用于将目标数据信息打上时间戳之后传输到调用记录模块,所述调用记录模块用于接收调用监控模块每一次传输的目标数据信息并进行下述处理:
步骤一:获取到接收到的所有目标数据信息最后一次的时间戳并将其标记为Ti,i=1...n;
步骤二:将Ti按照时间由近到远的顺序进行排序;
步骤三:并将Ti与当天时间进行比对计算得到距当天过去的时间信息Tji,i=1...n;
步骤四:按照Tji≤X1,X1<Tji<X2,Tji≥X2,将Tji划分为三个阶段;X1和X2均为预设值;并获取对应时间段的目标数据信息;
步骤五:将Tji≤X1时间段对应的目标数据信息标记为热门数据信息;
将X1<Tji<X2时间段对应的目标数据信息标记为常规数据信息;
将Tji≥X2时间段对应的目标数据信息标记为冷门数据信息;
所述调用记录模块用于将热门数据信息、常规数据信息和冷门数据信息融合形成调用信息,所述调用记录模块用于将调用信息传输到文件调转模块,所述文件调转模块用于将调用信息与限期存储模块内存储所有的数据信息进行比对,获取得到未调用过的数据信息并将其标记为转移信息;所述文件调转模块用于将转移信息从限期存储模块内调用出来并将其传输到备份存储模块,所述备份存储模块接收到文件调转模块传输的转移信息并将转移信息对应的检索信息删除形成备份存储信息,所述备份存储模块用于存储备份存储信息;
当所述控制器未从限期存储模块内查询到查询信息对应的数据信息时会自动查询备份存储模块内的数据信息,所述控制器用于根据查询信息内的查询名称信息从备份存储模块查找对应数据信息,当数据信息被查询后控制器会将其自动标记为目标数据信息并将其传输到调用监控模块;所述调用监控模块用于将目标数据信息打上时间戳传输到调用记录模块。
2.根据权利要求1所述的一种基于大数据的文件存储空间智能分配方法,其特征在于,所述文件调转模块用于根据调用信息将备份存储模块内被调用过的备份存储信息重新标记为数据信息并将数据信息传输到文件分析模块;
所述控制器接收到目标数据信息并将目标数据信息传输到显示模块进行实时显示;所述调用记录模块还用于将调用信息返回到调用监控模块,所述调用监控模块用于将调用信息传输到控制器,所述控制器用于将调用信息传输到显示器进行实时显示。
3.根据权利要求1所述的一种基于大数据的文件存储空间智能分配方法,其特征在于,所述限期存储模块包括辅助控制器、文档文件存储单元、图像识别单元、图片文件存储单元、语音转文字模块、影像文件存储单元、索引库和其他信息存储单元;所述控制器用于将文档信息、图片信息、影像信息和其他信息传输到辅助控制器;
所述辅助控制器用于读取文档信息的内容并进行分词处理,获取出现频率前S1名的词汇并将其标记为简介信息;S1为预设值;所述辅助控制器用于将文档信息传输到文档文件存储单元进行存储并获取其存储的路径信息,将路径信息、名称信息和简介信息融合形成检索信息;所述辅助控制器用于将检索信息传输到索引库进行实时存储;
所述辅助控制器用于将图片信息传输到图像识别单元,所述图像识别单元用于识别图像为何种图像,并形成图像简介信息,所述图像识别单元用于将图片信息传输到图片文件存储单元并将对应路径信息返回到辅助控制器;所述图像识别单元用于将简介信息返回到辅助控制器,所述辅助控制器用于将图片信息的名称信息、简介信息和路径信息融合形成检索信息并将检索信息传输到索引库进行存储;
所述辅助控制器用于将影像信息传输到语音转文字模块,所述影像信息包括语音信息和视频信息;所述语音转文字模块用于获取影像信息内的语音信息并将其转换为文字信息,所述语音转文字模块用于将文字信息内的出现频率前S2名的词语标记为简介信息,S2为预设值;所述语音转文字模块用于将简介信息返回到辅助控制器,所述语音转文字模块用于将语音信息传输到影像文件存储单元进行存储并将路径信息返回辅助控制器,所述辅助控制器用于将简介信息、路径信息和语音信息的名称信息融合形成语音信息的检索信息;
所述语音转文字模块还用于获取视频信息的名称信息之后将其传输到影像文件存储单元进行存储,所述语音转文字模块还用于获取对应视频信息的路径信息并将其返回辅助控制器,所述辅助控制器用于将名称信息和路径信息融合形成视频信息的检索信息;
所述辅助控制器用于将其他信息传输到其他信息存储单元并获取其路径信息,所述辅助控制器用于将其他信息的名称信息和路径信息结合形成检索信息,所述辅助控制器用于将检索信息返回到索引库进行实时存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811117584.5A CN109299040B (zh) | 2018-09-21 | 2018-09-21 | 一种基于大数据的文件存储空间智能分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811117584.5A CN109299040B (zh) | 2018-09-21 | 2018-09-21 | 一种基于大数据的文件存储空间智能分配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109299040A CN109299040A (zh) | 2019-02-01 |
CN109299040B true CN109299040B (zh) | 2019-07-05 |
Family
ID=65164335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811117584.5A Active CN109299040B (zh) | 2018-09-21 | 2018-09-21 | 一种基于大数据的文件存储空间智能分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109299040B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977076B (zh) * | 2019-03-25 | 2023-04-07 | 段崇楷 | 一种基于大数据分析的历史文献分类存储方法 |
CN110046139A (zh) * | 2019-04-12 | 2019-07-23 | 广西科技师范学院 | 一种基于路由器的挂载设备存储方法 |
CN111444187B (zh) * | 2020-03-31 | 2022-07-29 | 温州大学 | 一种基于计算机大数据存储系统 |
CN111625582B (zh) * | 2020-05-18 | 2023-11-10 | 海南电网有限责任公司 | 数据仓储系统 |
CN111652125B (zh) * | 2020-06-02 | 2023-03-24 | 马鞍山芯乔科技有限公司 | Ai对象排列与间距自动识别系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346388A (zh) * | 2013-07-31 | 2015-02-11 | 株式会社理光 | 云端服务器以及图像存储检索系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2384583A (en) * | 2002-01-29 | 2003-07-30 | Inventec Corp | System and method for managing mail and files |
US20150142742A1 (en) * | 2013-11-17 | 2015-05-21 | Zhen-Chao HONG | System and method for syncing local directories that enable file access across multiple devices |
CN105808770A (zh) * | 2016-03-22 | 2016-07-27 | 北京北方微电子基地设备工艺研究中心有限责任公司 | 文件管理的方法及装置 |
CN107591039A (zh) * | 2017-09-28 | 2018-01-16 | 武汉海鲸教育科技有限公司 | 一种智能教育学习平台 |
-
2018
- 2018-09-21 CN CN201811117584.5A patent/CN109299040B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346388A (zh) * | 2013-07-31 | 2015-02-11 | 株式会社理光 | 云端服务器以及图像存储检索系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109299040A (zh) | 2019-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299040B (zh) | 一种基于大数据的文件存储空间智能分配方法 | |
KR100462292B1 (ko) | 중요도 정보를 반영한 검색 결과 리스트 제공 방법 및 그시스템 | |
Derczynski et al. | Towards context-aware search and analysis on social media data | |
US20010047351A1 (en) | Document information search apparatus and method and recording medium storing document information search program therein | |
US9009163B2 (en) | Lazy evaluation of semantic indexing | |
US20070233720A1 (en) | Lazy bulk insertion method for moving object indexing | |
WO2000062264A3 (en) | Method and system for retrieving data from multiple data sources using a search routing database | |
CA2565050A1 (en) | Media asset management system for managing video segments from fixed-area security cameras and associated methods | |
US20140351273A1 (en) | System and method for searching information | |
KR101290325B1 (ko) | 이동 단말기의 위치 로그 기반의 개인화된 여행지 컨텐츠 검색 방법 및 이를 수행하는 여행지 컨텐츠 검색 시스템 | |
JP2008242965A (ja) | 動画像提示システム | |
GB2517944A (en) | Locating objects using images from portable devices | |
CN117453852B (zh) | 基于云端存储的档案更新管理方法 | |
US20090157670A1 (en) | Contents-retrieving apparatus and method | |
CN108124478A (zh) | 图片查找方法和装置 | |
CN111061916B (zh) | 一种基于多目标库图像识别的视频共享系统 | |
CN107590233A (zh) | 一种文件管理方法及装置 | |
CN113158688B (zh) | 一种领域知识库构建方法、装置、设备及存储介质 | |
KR100656954B1 (ko) | 분산 컴퓨팅 환경에서의 멀티미디어 컨텐츠 처리 방법 및그 장치 | |
CN114648010A (zh) | 数据表标准化方法、装置、设备及计算机存储介质 | |
Badenhoop | Contextualising frontex: A long-term perspective on database monitoring of migrants | |
CN111046195A (zh) | 一种海量媒资智能编目的方法 | |
CN112559758A (zh) | 构建知识图谱的方法、装置、设备和计算机可读存储介质 | |
Wechsler et al. | The probability ranking principle revisited | |
KR100994326B1 (ko) | 중요도 정보를 반영한 검색 결과 리스트 제공 방법 및 그시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |