CN107818041A - Secondo系统文件读写检测软件 - Google Patents
Secondo系统文件读写检测软件 Download PDFInfo
- Publication number
- CN107818041A CN107818041A CN201711037940.8A CN201711037940A CN107818041A CN 107818041 A CN107818041 A CN 107818041A CN 201711037940 A CN201711037940 A CN 201711037940A CN 107818041 A CN107818041 A CN 107818041A
- Authority
- CN
- China
- Prior art keywords
- read
- write
- monitoring
- secondo
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/865—Monitoring of software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明所述的SECONDO系统文件读写检测软件的主要功能是分别实现的,数据库的文件读写监控使用的是Linux系统中strace实现的;分析方法是将strace所得到的监控日志进行有效分析,解析出我们所需要的内容,列出用户的每条操作命令读写了哪些文件,每次读写量的大小等,除此之外此软件还可将解析出的读写数据记录表导入SECONDO数据库中,方便开发者直接对数据进行进一步的分析操作。
Description
一、技术领域
本发明是数据库领域,用于实现在可扩充移动对象数据库SECONDO运行时操作对文件的读写监控并解析的软件。
二、背景技术
随着计算机技术的发展,数据表示越来越复杂,也越来越庞大,相对应的数据库技术也在不断发展。数据库操作的本质是对数据文件的读写操作,而一个数据库操作的读写量大小也是评价这个操作性能的重要指标之一。
由于数据库操作既存在读操作也存在写操作,而且数据库的操作不是单一使用的,也很难判断哪些读写操作对应哪些操作命令。开发者往往需要判断一个操作的读写量或者需要知道这个操作影响到了磁盘的哪些文件时就会出现一定的困难。
三、发明内容
【发明目的】
为了实现对数据库文件的读写监控,以及分析监控数据并得到相应操作的读写量和读写文件列表,本发明实现了在可扩充移动对象数据库SECONDO中监控操作指令,并生成每条指令的读写监控报告的方法。
【技术方案】
本发明所述的SECONDO系统文件读写检测软件的主要功能是分别实现的,数据库的文件读写监控使用的是Linux系统中strace实现的;分析方法是将strace所得到的监控日志进行有效分析,解析出我们所需要的内容,列出用户的每条操作命令读写了哪些文件,每次读写量的大小等,除此之外此软件还可将解析出的读写数据记录表导入SECONDO数据库中,方便开发者直接对数据进行进一步的分析操作。主要步骤如下:
(1)数据库读写监控
本发明需要先对数据库进行实时监控,监控数据库运行时对文件的操作。监控方式我们采用的是利用strace命令对数据库进行实时监控。在本发明中,为了后面的报告分析,所以监控时我们加上了时间戳。然后将监控数据保存到制定的磁盘位置中。
(2)详细报告生成
对于已经生成的监控数据,我们需要对数据进行有效筛选,只筛选出我们需要的内容。对于一个数据操作除了用户的指令操作外,还有一系列的运行操作,这些操作都会对数据库文件进行磁盘读写操作等。可扩充移动对象数据库SECONDO中一个机制是会将用户的有效操作语句保存到一个数据文件中,通过对该文件的监控,可以找到用户的有效操作语句,分析后面的数据便可得到该语句读写操作信息,从而实现筛选。此外,该方法还设置了一个筛选目录项,可以通过筛选指定目录下的文件,对于非指定目录下的文件读写操作一律不进行分析。
本发明将用户操作语句、磁盘文件名、操作时间、读/写缓存大小、读/写实际大小,作为统计项,对监控数据进行有效筛选和分析分类,将得到的详细数据报告以数据库表的形式存储到了可扩充移动对象数据库SECONDO中。同时,可以使用数据库的导出命令将数据报告以可阅读文件形式导出到磁盘中,也可以在可扩充移动对象数据库SECONDO对数据进行后续分析等。
【有益效果】
本发明所述的SECONDO系统文件读写检测软件通过可扩充移动对象数据库SECONDO将最终生成的分析数据以读写数据记录表的形式存储起来,效果图如图1所示,其中读写数据记录表既可以供可扩充移动对象数据库SECONDO后续分析使用,也可以通过可扩充移动对象数据库SECONDO导出成为数据分析报告。
四、附图说明
图1数据库文件读写监控分析效果图
图2监控分析流程示意图
图3筛选分析流程示意图
五、具体实施方式
下面结合附图对本发明进一步说明。
本发明所述的SECONDO系统文件读写检测软件的具体实现是分别实现的,流程示意图如图2所示,数据库的文件读写监控通过strace,并生成相应的监控日志;分析方法是将strace所得到的监控目志进行有效分析,整理出我们需要的内容,列出每条数据库操作命令读写了哪些文件,每次读写量的大小等,除此之外此算法还可将报告导入SECONDO数据库中,方便开发者直接对数据进行进一步的分析操作。主要步骤如下:
(1)Strace监控数据库操作;
本发明需要监控并分析数据库的读写操作,并将解析结果保存到可扩充数据库系统SECONDO中,为了方便后面报告生成,我们在使用Strace监控时增加时间戳保存,并且将监控日志保存在我们指定的位置上。
(2)数据筛选分析;
对于strace的监控日志,如何将其转换成我们需要的读写记录报告是本发明的重点之一。我们已经在指定位置生成了strace的监控日志,同时我们在SECONDO中建立了一张读写数据记录表,我们的目的是将监控日志中有效数据,按照读写数据记录表的格式存到SECONDO中。其主要步骤如下:
1.从日志中筛选出有效的文件读写操作;
2.监控proglogt.scv文件,找出用户的操作指令,按照指令将读写操作划分;
3.再次筛选,如果不是用户指定的目录下的文件操作,无需分析跳过并分析下条记录;
4.分析每个读写操作的读写缓冲大小以及实际的读写大小,找出读写操作的具体对象的位置;
5.将分析的数据保存到SECONDO的读写数据记录表中。
其中关键的算法是将日志数据转换成可以使用的读写数据记录表数据,如示意图图3所示,需要先将日志数据筛选出读写记录,将读写记录更具proglogt.scv的监控记录将记录分块,在提取记录中的有效信息,转换成读写数据记录表,并保存到SECONDO中。具体算法如下所示:
(3)保存SECONDO数据库;
最后将处理好的数据以读写数据记录表的形式保存到SECONDO数据库中,通过SECONDO数据库的导出读写数据记录表的功能,即可获得以文本形式存在的读写监控数据分析报告;也可以通过SECONDO数据库对读写数据记录表进行进一步的数据分析。
Claims (3)
1.本发明所述的SECONDO系统文件读写检测软件的主要功能是分别实现的,数据库的文件读写监控使用的是Linux系统中strace实现的;分析方法是将strace所得到的监控日志进行有效分析,解析出我们所需要的内容,列出用户的每条操作命令读写了哪些文件,每次读写量的大小等,除此之外此软件还可将解析出的读写数据记录表导入SECONDO数据库中,方便开发者直接对数据进行进一步的分析操作。其过程由以下三部分构成:
(1)Strace监控数据库操作:以Strace监控模式启动数据库,并将监控日志保存到指定目录中,并对监控记录添加时间戳;
(2)监控日志初步筛选及分块:由(1)得到的监控日志为输入,遍历一次所有监控日志,筛选出所有读写记录,并将不符合要求的读写记录删除,根据监控用户的输入的操作语句将记录进行分块;
(3)数据转换并保存和导出:由(2)得到的预处理后的数据为输入,遍历一次提取出记录我们需要的内容(包括,时间、读写缓存大小、读写实际大小、目标文件名等),并将其转换成读写数据记录表保存至可扩充移动对象数据库SECONDO中。
2.根据权利要求1所述的SECONDO系统文件读写监控软件,其特征在于利用Strace进行监控得到监控日志,并能够读取日志文件并做出相应的解析,步骤(2)中,给定的参数有:指定目录的地址,由此我们可以删除无关记录,以及日志文件所在位置,软件通过给定的日志文件所在位置,读取日志,并作出相应的分析;指定的目录地址,可以由此为筛选条件之一,帮助用户监控指定目录下的读写记录排除无关记录。
3.根据权利要求2所述的SECONDO系统文件读写监控软件,其特征在于根据解析后所得到的数据记录表在可扩充移动对象数据库SECONDO中进行了存储,步骤(3)中,将筛选后的读写记录进行关键信息提取,并以读写数据记录表形式存放在了SECONDO中,利用了SECONDO的机制直接可以导出分析报告,同时也可以提供SECONDO作为后续分析使用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711037940.8A CN107818041A (zh) | 2017-10-24 | 2017-10-24 | Secondo系统文件读写检测软件 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711037940.8A CN107818041A (zh) | 2017-10-24 | 2017-10-24 | Secondo系统文件读写检测软件 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107818041A true CN107818041A (zh) | 2018-03-20 |
Family
ID=61604560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711037940.8A Pending CN107818041A (zh) | 2017-10-24 | 2017-10-24 | Secondo系统文件读写检测软件 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107818041A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108874621A (zh) * | 2018-05-25 | 2018-11-23 | 北京小度信息科技有限公司 | 文件监控方法、装置、电子设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040250169A1 (en) * | 2003-04-17 | 2004-12-09 | Kddi Corporation | IDS log analysis support apparatus, IDS log analysis support method and IDS log analysis support program |
CN102915269A (zh) * | 2012-09-20 | 2013-02-06 | 山东浪潮齐鲁软件产业股份有限公司 | 一种b/s软件系统的通用日志分析方法 |
CN104391954A (zh) * | 2014-11-27 | 2015-03-04 | 北京国双科技有限公司 | 数据库日志的处理方法及装置 |
CN105183609A (zh) * | 2015-09-16 | 2015-12-23 | 焦点科技股份有限公司 | 一种应用于软件系统的实时监控系统及方法 |
CN106254096A (zh) * | 2016-07-21 | 2016-12-21 | 柳州龙辉科技有限公司 | 一种Linux日志的处理装置 |
-
2017
- 2017-10-24 CN CN201711037940.8A patent/CN107818041A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040250169A1 (en) * | 2003-04-17 | 2004-12-09 | Kddi Corporation | IDS log analysis support apparatus, IDS log analysis support method and IDS log analysis support program |
CN102915269A (zh) * | 2012-09-20 | 2013-02-06 | 山东浪潮齐鲁软件产业股份有限公司 | 一种b/s软件系统的通用日志分析方法 |
CN104391954A (zh) * | 2014-11-27 | 2015-03-04 | 北京国双科技有限公司 | 数据库日志的处理方法及装置 |
CN105183609A (zh) * | 2015-09-16 | 2015-12-23 | 焦点科技股份有限公司 | 一种应用于软件系统的实时监控系统及方法 |
CN106254096A (zh) * | 2016-07-21 | 2016-12-21 | 柳州龙辉科技有限公司 | 一种Linux日志的处理装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108874621A (zh) * | 2018-05-25 | 2018-11-23 | 北京小度信息科技有限公司 | 文件监控方法、装置、电子设备及计算机可读存储介质 |
CN108874621B (zh) * | 2018-05-25 | 2022-02-11 | 北京星选科技有限公司 | 文件监控方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9607059B2 (en) | Intelligent data mining and processing of machine generated logs | |
KR100969656B1 (ko) | 엑셀기반 분석보고서 작성 시스템 및 방법 | |
JP5756386B2 (ja) | 動的なウェブ・アプリケーションの問題を修正するメタデータの生成・管理の支援方法、装置、およびプログラム | |
CN103729337B (zh) | 报表转换方法及装置 | |
CN108171600A (zh) | 征信报告解析方法、服务器及存储介质 | |
CN104376043B (zh) | 日志记录与显示方法及装置 | |
DE102012209006A1 (de) | Testen von Web-Anwendungen auf Sicherheitslücken beim Heraufladen von Dateien | |
US20150213066A1 (en) | System and method for creating data models from complex raw log files | |
CN103399848B (zh) | 发动机试验数据标准化特定格式导入处理方法 | |
CN103077192B (zh) | 一种数据处理方法及其系统 | |
CN102087657A (zh) | 一种用于核电站仿真平台的io对点方法和io对点装置 | |
CN114281877A (zh) | 一种数据管理系统及方法 | |
CN106802928B (zh) | 电网历史数据管理方法及其系统 | |
CN102819542B (zh) | 展现实例文档的方法及装置 | |
CN108170409A (zh) | Web前端控件的开发方法和系统 | |
CN107885628A (zh) | 一种磁盘i/o性能的测试方法、装置及设备 | |
CN106528566A (zh) | 日志文件的输出方法、服务器及客户端 | |
CN107818041A (zh) | Secondo系统文件读写检测软件 | |
CN106407288A (zh) | 一种信息同步更新的方法及系统 | |
CN109359202B (zh) | 基于音频视频记录的电子运维工单自动生成方法及系统 | |
CN109614143B (zh) | Ietm浏览器中自动生成故障流程图的开发方法 | |
CN108052637B (zh) | 电网时标量测数据接入全生命周期实时图文监控方法 | |
US20090287994A1 (en) | Document processing device and document processing method | |
CN106326400A (zh) | 基于多维数据集的数据处理系统 | |
CN106778136A (zh) | 一种甄别绕行登录事件的审计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180320 |
|
WD01 | Invention patent application deemed withdrawn after publication |