CN106446101A - 一种数据管理系统 - Google Patents
一种数据管理系统 Download PDFInfo
- Publication number
- CN106446101A CN106446101A CN201610822613.2A CN201610822613A CN106446101A CN 106446101 A CN106446101 A CN 106446101A CN 201610822613 A CN201610822613 A CN 201610822613A CN 106446101 A CN106446101 A CN 106446101A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- category
- management system
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据管理系统。该数据管理系统包括数据分类模块、数据监测模块、数据告警模块、数据清除模块和数据库,其中,数据分类模块,用于在接收到第一数据时,根据预设的分类规则,确定第一数据所属的第一类别,并根据第一类别,将第一数据存储到数据库中;数据监测模块,用于监测数据库中的数据;在监测到数据库中第二类别的数据满足预设的告警条件时,通过数据告警模块输出告警信息;在监测到数据库中第三类别的数据的生命周期大于预设的第三类别对应的生命周期时,通过数据清除模块清除第三类别的数据。应用本发明实施例所提供的技术方案,提高了数据管理效率,减少了人力成本,减少了因误操作带来的影响。
Description
技术领域
本发明涉及数据管理技术领域,特别是涉及一种数据管理系统。
背景技术
随着信息化进程的加快,各企业或者单位产生的数据越来越多,对大量数据的管理受到了越来越多的关注。
在现有技术中,主要是通过管理员对数据进行管理,人力成本较高,工作效率较低,对管理员的依赖性较大,如果出现误操作,可能会产生较大损失。
发明内容
本发明的目的是提供一种数据管理系统,以对数据进行自动化管理,减少人力成本,减少因误操作带来的影响。
一种数据管理系统,包括数据分类模块、数据监测模块、数据告警模块、数据清除模块和数据库,所述数据监测模块分别与所述数据告警模块和所述数据清除模块通信连接,其中,
所述数据分类模块,用于在接收到第一数据时,根据预设的分类规则,确定所述第一数据所属的第一类别,并根据所述第一类别,将所述第一数据存储到所述数据库中;
所述数据监测模块,用于监测所述数据库中的数据;在监测到所述数据库中第二类别的数据满足预设的告警条件时,通过所述数据告警模块输出告警信息;在监测到所述数据库中第三类别的数据的生命周期大于预设的所述第三类别对应的生命周期时,通过所述数据清除模块清除所述第三类别的数据。
在本发明的一种具体实施方式中,所述数据分类模块,具体用于:
根据所述第一类别,将所述第一数据存储到所述数据库中所述第一类别对应的目录中。
在本发明的一种具体实施方式中,所述数据分类模块,还用于:
在所述确定所述第一数据所属的第一类别之后,在所述第一数据中添加所述第一类别的标签。
在本发明的一种具体实施方式中,所述数据监测模块,还用于:
在通过所述数据清除模块清除所述第三类别的数据之前,输出第一提示信息,以提示用户当前存在待清除的数据。
在本发明的一种具体实施方式中,所述数据监测模块,还用于:
在通过所述数据清除模块清除所述第三类别的数据之后,输出第二提示信息,所述第二提示信息中携带已清除数据的信息。
在本发明的一种具体实施方式中,所述数据监测模块,还用于:
接收针对所述数据库中的数据的清除指令;
根据所述清除指令,确定所述数据库中待清除的数据;
通过所述数据清除模块对所述待清除的数据进行清除处理。
在本发明的一种具体实施方式中,还包括数据查找模块,用于:
接收对所述数据库中数据的查找请求,所述查找请求中携带查找关键字的信息;
在所述数据库中查找与所述查找关键字匹配的数据,并输出查找结果。
在本发明的一种具体实施方式中,所述数据查找模块,具体用于:
在所述数据库中查找与所述查找关键字精确匹配的数据,并输出第一查找结果;
和/或,
在所述数据库中查找与所述查找关键字模糊匹配的数据,并输出第二查找结果。
应用本发明实施例所提供的技术方案,数据分类模块可以在接收到第一数据时,自动对第一数据进行分类处理,确定第一数据所属的第一类别,并根据第一类别,将第一数据存储到数据库中,数据监测模块可以对数据库中的数据进行监测,在监测到第二类别的数据满足预设的告警条件时,通过数据告警模块输出告警信息,在监测到第三类别的数据的生命周期大于预设的第三类别对应的生命周期时,通过数据清除模块清除第三类别的数据,实现了对数据的自动化管理,提高了数据管理效率,减少了人力成本,减少了因误操作带来的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中数据管理系统的一种结构示意图;
图2为本发明实施例中数据管理系统的另一种结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1所示,为本发明实施例所提供的一种数据管理系统的结构示意图。该系统可以包括数据分类模块110、数据监测模块120、数据告警模块130、数据清除模块140和数据库100,数据监测模块120分别与数据告警模块130和数据清除模块140通信连接,其中,
数据分类模块110,用于在接收到第一数据时,根据预设的分类规则,确定第一数据所属的第一类别,并根据第一类别,将第一数据存储到数据库100中;
数据监测模块120,用于监测数据库100中的数据;在监测到数据库100中第二类别的数据满足预设的告警条件时,通过数据告警模块130输出告警信息;在监测到数据库100中第三类别的数据的生命周期大于预设的第三类别对应的生命周期时,通过数据清除模块140清除第三类别的数据。
在本发明实施例中,数据管理系统包括数据分类模块110、数据监测模块120、数据告警模块130、数据清除模块140和数据库100。数据监测模块120分别与数据告警模块130和数据清除模块140通信连接,数据分类模块110、数据监测模块120和数据清除模块140均可访问数据库100。
在实际应用中,数据管理系统可以接收来自于其他系统的数据,或者直接接收用户输入的数据,将接收到的数据存储到数据库100中,并对数据库100中的数据状态进行监测。
数据分类模块110在接收到第一数据时,可以根据预设的分类规则,确定第一数据所属的第一类别。该第一数据为数据分类模块110接收到的任意一个新数据。
在实际应用中,可以根据实际情况设定分类规则。如可以根据数据创建时刻进行分类,创建时刻在第一时刻之前的数据为类别1,创建时刻在第一时刻和第二时刻之间的数据为类别2,创建时刻在第二时刻和第三时刻之间的数据为类别3,……。或者,可以根据数据大小进行分类,数据大小小于第一阈值的数据为类别1,数据大小在第一阈值和第二阈值之间的数据为类别2,数据大小大于第三阈值的数据为类别3,……。
数据分类模块110确定第一数据所属的第一类别后,可以根据该第一类别,将第一数据存储到数据库100中。
在本发明的一种具体实施方式中,数据分类模块110可以根据第一类别,将第一数据存储到数据库100中第一类别对应的目录中。
在本发明实施例中,数据库100中的数据均按照类别进行存储。不同类别对应不同的目录。数据分类模块110在确定第一数据所属的第一类别后,可以根据该第一类别,将第一数据存储到数据库100中该第一类别对应的目录中。这样,便于用户针对每类别的数据进行查看。
在本发明的一种具体实施方式中,数据分类模块110可以在确定第一数据所属的第一类别之后,在第一数据中添加第一类别的标签。
这样,第一数据携带了其所属的第一类别的标签,当有相应的查找请求时,可以根据标签查找到相应数据。
数据分类模块110主要用于对接收到的新数据进行分类,并将新数据保存到数据库100中。数据监测模块120可以监测数据库100中的数据。
在数据监测模块120监测到数据库100中第二类别的数据满足预设的告警条件时,可以通过数据告警模块130输出告警信息。以便相应人员及时对问题进行定位和处理。
在实际应用中,告警条件可以根据实际情况进行设定和调整。比如,数据库100中存储的数据中可以携带其大小信息,当某数据的实际大小与其携带的大小信息不匹配时,可以确定该数据被损坏,如果某种类别的数据中损坏数据的占比达到了预设的比例阈值,则可以确定该类别数据满足了告警条件;或者,数据库100中某种类别的数据的总大小大于预设的该类别的大小阈值,则可以确定该类别的数据满足了告警条件。
数据告警模块130输出告警信息,具体可以输出声音告警信息,或者可以是向预设的邮箱地址发送告警邮件等。
在实际应用中,可以针对数据库100中每种类别的数据,预先设定该类别数据对应的生命周期。在数据监测模块120监测到数据库100中第三类别的数据的生命周期大于预设的第三类别对应的生命周期时,可以通过数据清除模块140清除第三类别的数据。这样,可以保持数据库100中数据的新鲜性,避免陈旧数据占用过多的存储空间。
在本发明的一种具体实施方式中,数据监测模块120在通过数据清除模块140清除第三类别的数据之前,可以输出第一提示信息,以提示用户当前存在待清除的数据。
如果用户根据该第一提示信息,取消对第三类别的数据的清除,则可以取消相应的清除操作,避免误清除掉用户还需要的数据。
在本发明的一种具体实施方式中,数据监测模块120在通过数据清除模块140清除第三类别的数据之后,可以输出第二提示信息,第二提示信息中携带已清除数据的信息。
这样,方便用户及时获悉已清除数据的信息。
在本发明的一种具体实施方式中,数据监测模块120,还用于:
接收针对数据库100中的数据的清除指令;
根据清除指令,确定数据库100中待清除的数据;
通过数据清除模块140对待清除的数据进行清除处理。
在实际应用中,用户或者其他系统可能存在对某些特定数据的清除需求。当数据监测模块120接收到针对数据库100库中的数据的清除指令时,可以根据该清除指令,确定数据库100中待清除的数据,通过数据清除模块140对待清除的数据进行清除处理。
应用本发明实施例所提供的数据管理系统,数据分类模块可以在接收到第一数据时,自动对第一数据进行分类处理,确定第一数据所属的第一类别,并根据第一类别,将第一数据存储到数据库中,数据监测模块可以对数据库中的数据进行监测,在监测到第二类别的数据满足预设的告警条件时,通过数据告警模块输出告警信息,在监测到第三类别的数据的生命周期大于预设的第三类别对应的生命周期时,通过数据清除模块清除第三类别的数据,实现了对数据的自动化管理,提高了数据管理效率,减少了人力成本,减少了因误操作带来的影响。
参见图2所示,在本发明的一个实施例中,该系统还可以包括数据查找模块140,数据查找模块140可以访问数据库100,用于:
接收对数据库100中数据的查找请求,查找请求中携带查找关键字的信息;
在数据库100中查找与查找关键字匹配的数据,并输出查找结果。
在实际应用中,用户或者其他系统可能存在对数据库100中数据的查找需求,可以向数据查找模块140发送查找请求,查找请求中携带查找关键字的信息。当数据查找模块140接收到对数据库100中数据的查找请求时,可以在数据库100中查找与查找关键字相匹配的数据,并将查找结果输出出来。
具体的,数据查找模块140可以在数据库100中查找与查找关键字精确匹配的数据,并输出第一查找结果。
还可以在数据库100中查找与查找关键字模糊匹配的数据,并输出第二查找结果。
当数据查找模块140接收到用户对查找结果的切换指令时,可以在第一查找结果和第二查找结果间切换,满足用户对于不同查找结果的查看需求。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种数据管理系统,其特征在于,包括数据分类模块、数据监测模块、数据告警模块、数据清除模块和数据库,所述数据监测模块分别与所述数据告警模块和所述数据清除模块通信连接,其中,
所述数据分类模块,用于在接收到第一数据时,根据预设的分类规则,确定所述第一数据所属的第一类别,并根据所述第一类别,将所述第一数据存储到所述数据库中;
所述数据监测模块,用于监测所述数据库中的数据;在监测到所述数据库中第二类别的数据满足预设的告警条件时,通过所述数据告警模块输出告警信息;在监测到所述数据库中第三类别的数据的生命周期大于预设的所述第三类别对应的生命周期时,通过所述数据清除模块清除所述第三类别的数据。
2.根据权利要求1所述的数据管理系统,其特征在于,所述数据分类模块,具体用于:
根据所述第一类别,将所述第一数据存储到所述数据库中所述第一类别对应的目录中。
3.根据权利要求2所述的数据管理系统,其特征在于,所述数据分类模块,还用于:
在所述确定所述第一数据所属的第一类别之后,在所述第一数据中添加所述第一类别的标签。
4.根据权利要求1所述的数据管理系统,其特征在于,所述数据监测模块,还用于:
在通过所述数据清除模块清除所述第三类别的数据之前,输出第一提示信息,以提示用户当前存在待清除的数据。
5.根据权利要求1所述的数据管理系统,其特征在于,所述数据监测模块,还用于:
在通过所述数据清除模块清除所述第三类别的数据之后,输出第二提示信息,所述第二提示信息中携带已清除数据的信息。
6.根据权利要求1所述的数据管理系统,其特征在于,所述数据监测模块,还用于:
接收针对所述数据库中的数据的清除指令;
根据所述清除指令,确定所述数据库中待清除的数据;
通过所述数据清除模块对所述待清除的数据进行清除处理。
7.根据权利要求1至6任一项所述的数据管理系统,其特征在于,还包括数据查找模块,用于:
接收对所述数据库中数据的查找请求,所述查找请求中携带查找关键字的信息;
在所述数据库中查找与所述查找关键字匹配的数据,并输出查找结果。
8.根据权利要求7所述的数据管理系统,其特征在于,所述数据查找模块,具体用于:
在所述数据库中查找与所述查找关键字精确匹配的数据,并输出第一查找结果;
和/或,
在所述数据库中查找与所述查找关键字模糊匹配的数据,并输出第二查找结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610822613.2A CN106446101A (zh) | 2016-09-13 | 2016-09-13 | 一种数据管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610822613.2A CN106446101A (zh) | 2016-09-13 | 2016-09-13 | 一种数据管理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106446101A true CN106446101A (zh) | 2017-02-22 |
Family
ID=58167921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610822613.2A Pending CN106446101A (zh) | 2016-09-13 | 2016-09-13 | 一种数据管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106446101A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688350A (zh) * | 2018-06-19 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 一种存储日志的方法、装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10289135A (ja) * | 1997-04-14 | 1998-10-27 | Casio Comput Co Ltd | 検索結果のキャッシュ機能を有するデータベース検索方式 |
CN104424246A (zh) * | 2013-08-27 | 2015-03-18 | 鸿富锦精密工业(深圳)有限公司 | 数据存储系统及方法 |
CN105045535A (zh) * | 2015-07-22 | 2015-11-11 | 北京京东尚科信息技术有限公司 | 一种自动删除过期数据的方法和系统 |
CN105488167A (zh) * | 2015-11-30 | 2016-04-13 | 北京金山安全软件有限公司 | 一种索引库更新方法及装置 |
-
2016
- 2016-09-13 CN CN201610822613.2A patent/CN106446101A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10289135A (ja) * | 1997-04-14 | 1998-10-27 | Casio Comput Co Ltd | 検索結果のキャッシュ機能を有するデータベース検索方式 |
CN104424246A (zh) * | 2013-08-27 | 2015-03-18 | 鸿富锦精密工业(深圳)有限公司 | 数据存储系统及方法 |
CN105045535A (zh) * | 2015-07-22 | 2015-11-11 | 北京京东尚科信息技术有限公司 | 一种自动删除过期数据的方法和系统 |
CN105488167A (zh) * | 2015-11-30 | 2016-04-13 | 北京金山安全软件有限公司 | 一种索引库更新方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688350A (zh) * | 2018-06-19 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 一种存储日志的方法、装置 |
CN110688350B (zh) * | 2018-06-19 | 2023-05-09 | 阿里巴巴集团控股有限公司 | 一种存储日志的方法、装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108062202A (zh) | 一种文件分块存储方法及系统 | |
CN101673192B (zh) | 时序化的数据处理方法、装置及系统 | |
CN108255925A (zh) | 一种数据表结构变更情况的显示方法及其终端 | |
CN109344153A (zh) | 业务数据的处理方法及终端设备 | |
CN103559231B (zh) | 一种文件系统配额管理方法、装置及系统 | |
CN107003935A (zh) | 优化数据库去重 | |
CN104573093B (zh) | 一种管理文件目录的方法和装置 | |
CN104992240B (zh) | 一种优化拣货路径的方法及装置 | |
CN108885724A (zh) | 信息处理装置、信息处理方法和信息处理程序 | |
CN109559054B (zh) | 一种电力工程施工信息处理系统 | |
CN103631967B (zh) | 一种带自增量标识字段的数据表的处理方法及装置 | |
CN106202416A (zh) | 列表数据写方法和装置、列表数据读取方法和装置 | |
CN107689628A (zh) | 一种电网环路检测方法 | |
US8090994B2 (en) | System, method, and computer readable media for identifying a log file record in a log file | |
CN117035687A (zh) | 一种电网业务固定资产流程配置方法、系统及计算机存储介质 | |
CN107943423A (zh) | 云系统中存储资源的管理方法和计算机可读存储介质 | |
CN106815232A (zh) | 目录管理方法、装置及系统 | |
CN108376110A (zh) | 一种自动检测方法、系统及终端设备 | |
CN108763517A (zh) | 一种删除元数据的方法以及相关设备 | |
CN106446101A (zh) | 一种数据管理系统 | |
CN108073641A (zh) | 查询数据表的方法和装置 | |
CN107832455A (zh) | 一种存储对象的数据获取方法、系统、设备及存储介质 | |
CN105988881B (zh) | 用于处理资源访问操作信息的方法与设备 | |
CN107016054A (zh) | 一种日志信息存储的方法及装置 | |
CN110489416A (zh) | 一种基于数据处理的信息存储方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |
|
RJ01 | Rejection of invention patent application after publication |