CN112148707A - 一种数据综合管理方法 - Google Patents
一种数据综合管理方法 Download PDFInfo
- Publication number
- CN112148707A CN112148707A CN202010852210.9A CN202010852210A CN112148707A CN 112148707 A CN112148707 A CN 112148707A CN 202010852210 A CN202010852210 A CN 202010852210A CN 112148707 A CN112148707 A CN 112148707A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- management
- cleaning
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 36
- 238000004140 cleaning Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000013523 data management Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000001105 regulatory effect Effects 0.000 claims abstract description 4
- 238000011156 evaluation Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据综合管理方法，包括数据库备份及数据管理，步骤：监测任务相关数据综合管理，获取任务信息；监测任务相关数据综合管理，将任务相关数据文件规整到指定目录；监测任务相关数据综合管理，将数据文件存放目录索引保存到数据库；数据管理流程步骤：数据清理轮询判断是否符合清理条件；如果不符合返回；符合清理条件对文件服务器上文件按照清理条件进行清理；符合清理条件对数据库中数据按照清理条件进行清理。本发明的优点是，通过TCP对数据流进行转发，并建立独立转发通道保障实时数据流转发时延≤1秒，大大提高了数据传输效率。
Description
技术领域
本发明属于信息网络服务领域，具体涉及一种数据综合管理方法。
背景技术
现有系统软件基本实现了主要功能，含卫星跟踪、数据接收、设备状态显示、电平显示、频谱显示、数据存储等。主要控制设备包括40米天线、接收机、采集卡、频谱仪等，每台设备的控制由独立的一套控制软件实现。要执行一个完整的监测任务需要分别独立操作每个控制软件并设置参数。比如，首先手动生成星历数据，然后将星历数据导入天线控制软件（ACU）中，设定天线跟踪方式及参数；再分别设置接收机、采集卡、频谱仪等设备的参数及数据存储路径。任务执行完成后，需要人工分别到接收机、采集卡、频谱仪等设备上拷贝数据进行规整。
现有系统软件主要不足之处是：没有独立转发通道保障实时数据流转发时延，数据转发效率低；服务系统长时间的数据积累造成数据库变慢、磁盘存储不够，继而造成的系统性风险。
发明内容
本发明的目的是解决上述问题，提供一种消息传输效率更高的数据综合管理方法，能够自动规整数据并调用评估算法，整个任务执行过程可随时查看和下载。
为实现上述目的，本发明提供如下技术方案：
一种数据综合管理方法，包括数据库备份及数据管理，所述数据库备份流程包括以下步骤：
S1：监测任务相关数据综合管理，获取任务信息；
S2：监测任务相关数据综合管理，将任务相关数据文件规整到指定目录；
S3：监测任务相关数据综合管理，将数据文件存放目录索引保存到数据库；
所述数据管理流程包括以下步骤：
S1：数据清理轮询判断是否符合清理条件；
S2：如果不符合返回；
S3：符合清理条件对文件服务器上文件按照清理条件进行清理；
S4：符合清理条件对数据库中数据按照清理条件进行清理。
进一步的，所述数据综合管理提供数据库备份功能，实现对数据进行安全备份，其中包括数据库与文件进行备份；根据数据的生成时间进行整理，删除指定时间周期以前生成的数据；其时间周期按数据库或文件的重要程度不同而分别设定。
进一步的，所述数据管理根据数据的生成时间进行整理，删除指定时间周期以前生成的数据，其时间周期按数据库或文件的重要程度不同而分别设定。
进一步的，本发明包括对监测任务及相关数据的综合管理、对评估任务及相关数据的综合管理、对数据进行安全备份。
进一步的，数据库备份，包括对数据库与文件进行备份。
与现有技术相比，本发明的有益效果在于：
本发明采用多线程对数据进行监视，并根据设置对数据按照条件进行清理和迁移；通过多线程技术解决和数据库清理方案解决因长时间的数据积累造成数据库变慢和磁盘存储不够造成的系统性风险。通过增加新任务相关设备属性，实现了与设备的指令、状态、数据相关的数据结构调整改造；通过增减字段及新的任务配置属性，实现与任务制定、下达、反馈相关的数据结构调整改造；通过增加新属性和要素，实现与评估数据相关的数据结构调整改造；通过对监测任务及相关数据的综合管理，实现监测任务所有相关数据的关联性综合及引用；通过对评估任务及相关数据的综合管理，实现评估任务所有相关数据的关联性综合及引用；可实现对数据进行安全备份，可根据数据的生成时间进行整理，删除指定时间周期以前生成的数据，其时间周期可按数据库或文件的重要程度不同而分别设定。通过TCP对数据流进行转发，并建立独立转发通道保障实时数据流转发时延≤1秒，大大提高了数据传输效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是为了更清楚地说明本发明实施例或现有技术中的技术方案，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的监测任务相关数据综合管理流程图；
图2为本发明的数据清理流程图；
图3为本发明的数据综合管理模块组成图。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案能予以实施，下面结合具体实施例对本发明作进一步说明，但所举实施例只作为对本发明的说明，不作为对本发明的限定。
如图1-3所示的一种数据综合管理方法，所述数据综合管理包括数据库备份及数据管理。
一、数据综合管理
管理员的操作包括：用户权限管理、数据迁移、数据清理等操作。
（一）功能需求
1、对监测任务及相关数据的综合管理，实现监测任务所有相关数据的关联性综合及引用；
2、对评估任务及相关数据的综合管理，实现评估任务所有相关数据的关联性综合及引用；
3、可实现对数据进行安全备份，其中包括数据库与文件进行备份。可根据数据的生成时间进行整理，删除指定时间周期以前生成的数据，其时间周期可按数据库或文件的重要程度不同而分别设定。
（二）性能需求
如下表1所示：
表1 性能需求分析
| 序号 | 性能要求 | 性能设计 |
| 1 | 实时数据流转发时延：≤1秒 | 通过TCP对数据流进行转发，并建立独立转发通道保障实时数据流转发时延≤1秒。 |
（三）功能分解
数据综合管理：提供数据库备份功能，实现对数据进行安全备份，其中包括数据库与文件进行备份。可根据数据的生成时间进行整理，删除指定时间周期以前生成的数据，其时间周期可按数据库或文件的重要程度不同而分别设定。具体内容如下表2所示：
表2功能分解说明表
（四）流程分析
1、监测任务相关数据综合管理流程
如图1所示，为监测任务相关数据综合管理流程：
1）监测任务相关数据综合管理获取任务信息；
2）监测任务相关数据综合管理将任务相关数据文件规整到指定目录；
3）监测任务相关数据综合管理将数据文件存放目录索引保存到数据库。
2、数据清理流程
如图2所示，为数据清理流程：
1）数据清理轮询判断是否符合清理条件；
2）如果不符合返回；
3）符合清理条件对文件服务器上文件按照清理条件进行清理；
4）符合清理条件对数据库中数据按照清理条件进行清理。
数据生命周期管理，可以对数据库数据进行定时清理。
本发明能够实现的功能：
a）增加新任务相关设备属性，实现与设备的指令、状态、数据相关的数据结构调整改造；
b）增减字段及新的任务配置属性，实现与任务制定、下达、反馈相关的数据结构调整改造；
c）增加新属性和要素，实现与评估数据相关的数据结构调整改造；
d）将历史数据及文件迁移到新的数据库及文件目录结构下；
e）对监测任务及相关数据的综合管理，实现监测任务所有相关数据的关联性综合及引用；
f）对评估任务及相关数据的综合管理，实现评估任务所有相关数据的关联性综合及引用；
g）可实现对数据进行安全备份，其中包括数据库与文件进行备份，可根据数据的生成时间进行整理，删除指定时间周期以前生成的数据。其时间周期可按数据库或文件的重要程度不同而分别设定。
用户通过外部任务申请页面申请任务并提交管理员，管理员对申请任务进行审批，审批通过的任务将自动创建为任务并加入执行计划中等待执行。监测任务执行完成后自动规整数据并调用评估算法，生成评估报告，管理员对任务相关数据和评估报告进行审阅，审阅通过进行发布，发布对象可以授权为评估任务申请人或其他人员。被授权人员可通过查看页面对任务信息、任务流程、任务执行情况、任务数据、评估报告、任务全景进行查看和下载。
本发明中未做详细描述的内容均为现有技术。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种数据综合管理方法，其特征在于，包括数据库备份及数据管理，所述数据库备份流程包括以下步骤：
S1：监测任务相关数据综合管理，获取任务信息；
S2：监测任务相关数据综合管理，将任务相关数据文件规整到指定目录；
S3：监测任务相关数据综合管理，将数据文件存放目录索引保存到数据库；
所述数据管理流程包括以下步骤：
S1：数据清理轮询判断是否符合清理条件；
S2：如果不符合返回；
S3：符合清理条件对文件服务器上文件按照清理条件进行清理；
S4：符合清理条件对数据库中数据按照清理条件进行清理。
2.根据权利要求1所述的一种数据综合管理方法，其特征在于，所述数据综合管理提供数据库备份功能，实现对数据进行安全备份，其中包括数据库与文件进行备份；根据数据的生成时间进行整理，删除指定时间周期以前生成的数据；其时间周期按数据库或文件的重要程度不同而分别设定。
3.根据权利要求1所述的一种数据综合管理方法，其特征在于，所述数据管理根据数据的生成时间进行整理，删除指定时间周期以前生成的数据，其时间周期按数据库或文件的重要程度不同而分别设定。
4.根据权利要求1所述的一种数据综合管理方法，其特征在于，包括对监测任务及相关数据的综合管理、对评估任务及相关数据的综合管理、对数据进行安全备份。
5.根据权利要求4所述的一种数据综合管理方法，其特征在于，数据库备份，包括对数据库与文件进行备份。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852210.9A CN112148707A (zh) | 2020-08-21 | 2020-08-21 | 一种数据综合管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852210.9A CN112148707A (zh) | 2020-08-21 | 2020-08-21 | 一种数据综合管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112148707A true CN112148707A (zh) | 2020-12-29 |
Family
ID=73889093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010852210.9A Pending CN112148707A (zh) | 2020-08-21 | 2020-08-21 | 一种数据综合管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148707A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930431A (zh) * | 2009-06-25 | 2010-12-29 | 升东网络科技发展(上海)有限公司 | 数据库备份信息清理系统及方法 |
| CN108833658A (zh) * | 2018-03-27 | 2018-11-16 | 陈迎春 | 一种数据清理的方法与装置 |
| CN109033442A (zh) * | 2018-08-16 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种通用文件管理方法 |
| CN109299039A (zh) * | 2018-08-30 | 2019-02-01 | 努比亚技术有限公司 | 一种文件管理方法、设备及计算机可读存储介质 |
| CN109377438A (zh) * | 2018-11-27 | 2019-02-22 | 武汉华信联创技术工程有限公司 | 一种灾害天气临近预警预报业务平台 |
| CN110851081A (zh) * | 2019-11-06 | 2020-02-28 | 深圳传音控股股份有限公司 | 存储空间的安全清理方法、装置及计算机可读存储介质 |
-
2020
- 2020-08-21 CN CN202010852210.9A patent/CN112148707A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930431A (zh) * | 2009-06-25 | 2010-12-29 | 升东网络科技发展(上海)有限公司 | 数据库备份信息清理系统及方法 |
| CN108833658A (zh) * | 2018-03-27 | 2018-11-16 | 陈迎春 | 一种数据清理的方法与装置 |
| CN109033442A (zh) * | 2018-08-16 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种通用文件管理方法 |
| CN109299039A (zh) * | 2018-08-30 | 2019-02-01 | 努比亚技术有限公司 | 一种文件管理方法、设备及计算机可读存储介质 |
| CN109377438A (zh) * | 2018-11-27 | 2019-02-22 | 武汉华信联创技术工程有限公司 | 一种灾害天气临近预警预报业务平台 |
| CN110851081A (zh) * | 2019-11-06 | 2020-02-28 | 深圳传音控股股份有限公司 | 存储空间的安全清理方法、装置及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 赵立成等: "气象卫星资料虚拟存储系统设计与实现", 《计算机工程与设计》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108874640B (zh) | 一种集群性能的评估方法和装置 | |
| EP2791825B1 (en) | System and method for monitoring and managing data center resources in real time incorporating manageability subsystem | |
| CN112396404A (zh) | 一种数据中台系统 | |
| US9600389B2 (en) | Generating performance and capacity statistics | |
| US9195700B1 (en) | Systems and methods for storing time-series data | |
| CN110990391A (zh) | 多源异构数据的整合方法、系统、计算机设备及存储介质 | |
| CN104657497A (zh) | 一种基于分布式计算的海量用电信息并行计算系统及方法 | |
| CN106210124B (zh) | 一种统一的云数据中心监控系统 | |
| Wang et al. | Iominer: Large-scale analytics framework for gaining knowledge from i/o logs | |
| CN112948492A (zh) | 一种数据处理系统、方法、装置、电子设备及存储介质 | |
| CN104536965A (zh) | 一种大数据条件下的数据查询展示系统及方法 | |
| CN107220271A (zh) | 一种分布式数字资源存储处理与管理的方法及系统 | |
| CN113641567B (zh) | 一种数据库巡检方法、装置、电子设备及存储介质 | |
| CN107193749B (zh) | 测试方法、装置及设备 | |
| CN112395333A (zh) | 用于排查数据异常的方法、装置、电子设备及存储介质 | |
| CN112148707A (zh) | 一种数据综合管理方法 | |
| CN116362443A (zh) | 一种企业信息平台的数据治理方法和装置 | |
| CN111414355A (zh) | 一种海上风电场数据监测存储系统及方法、装置 | |
| CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 | |
| US9092508B1 (en) | Overseeing data storage equipment power usage via local collection of power consumption data and remote evaluation and reporting of performance | |
| CN113111103A (zh) | 一种智能综合大数据融合处理平台 | |
| CN112560044A (zh) | 一种项目bug跟踪统计方法、系统及设备 | |
| CN111259082A (zh) | 大数据环境下实现全量数据同步的方法 | |
| CN109471892A (zh) | 数据库集群数据处理方法及装置、存储介质和终端 | |
| CN112448840A (zh) | 一种通信数据质量监控方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |
|
| RJ01 | Rejection of invention patent application after publication |