CN101436956A - 一种数据库操作响应时间测算方法及系统 - Google Patents

一种数据库操作响应时间测算方法及系统 Download PDF

Info

Publication number
CN101436956A
CN101436956A CNA2007101771980A CN200710177198A CN101436956A CN 101436956 A CN101436956 A CN 101436956A CN A2007101771980 A CNA2007101771980 A CN A2007101771980A CN 200710177198 A CN200710177198 A CN 200710177198A CN 101436956 A CN101436956 A CN 101436956A
Authority
CN
China
Prior art keywords
database
response time
return information
message
concrete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101771980A
Other languages
English (en)
Other versions
CN101436956B (zh
Inventor
孙海波
骆拥政
张辉
李新鹏
刘晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING QIMING XINGCHEN INFORMATION TECHNOLOGY Co Ltd
Beijing Venus Information Technology Co Ltd
Original Assignee
BEIJING QIMING XINGCHEN INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING QIMING XINGCHEN INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING QIMING XINGCHEN INFORMATION TECHNOLOGY Co Ltd
Priority to CN2007101771980A priority Critical patent/CN101436956B/zh
Publication of CN101436956A publication Critical patent/CN101436956A/zh
Application granted granted Critical
Publication of CN101436956B publication Critical patent/CN101436956B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种数据库操作响应时间测算方法及系统,包括具体数据库操作请求提取器;服务端返回信息定位器;具体操作响应时间计算器;其特征在于包含以下步骤:具体数据库操作请求提取步骤;服务端返回信息定位步骤;具体操作响应时间计算步骤。本发明解决了传统审计产品中缺乏对数据库操作响应时间测算可能造成的数据库使用的影响。可以终止某些无响应或响应时间过长的操作以提高数据库的使用效率,有效的反映各种数据库操作对系统资源的占用情况,对数据库系统的运行性能进行有效的调整和保障。此外在系统实现的过程充分考虑了灵活性和扩展性问题,对于新型的数据库只需添加该数据库识别特征而无需对系统进行大的改动,可广泛应用于网络业务审计产品中。

Description

一种数据库操作响应时间测算方法及系统
技术领域
本发明涉及一种可用于网络业务审计产品中的对于数据库在操作过程中服务器端对客户端具体操作进行响应的响应时间的测算方法,它依据网络数据流中报文具有的特征对数据库操作过程中服务器端响应时间进行提取及计算,属于网络技术领域。
背景技术
网络业务审计系统是目前应用日益广泛的作为网络安全防护的重要手段,它通过对业务系统中可信人员的网络活动进行解析、记录、分析以帮助管理人员事前规划预防、事中实时监控、违规行为阻止和事后追查网络运营事故,从而帮助用户加强内外部网络行为监管、避免核心资产(数据库、服务器、网络设备)损失、保障客户业务系统的正常运营,是企业实现IT管理和控制的最佳实践。其中在金融、电信等行业当中大量使用的数据库系统对于审计的要求尤为重要,行业内部经常需要对于业务系统当中的用户对于数据库的操作进行准确详细的审计。其中数据库(mysql、sqlserver、DB2、Oracle、informix、sybase等)是网络业务审计系统最为重要的审计对象。目前绝大多数的网络业务审计系统只提供各类用户对于数据库操作时的具体行为动作的审计,而对各种操作数据库返回信息所用的时间缺乏有效的提取和计算。在不同的客户环境当中对于数据库的操作有很大的差别,例如有些环境查询行为居多而有些环境下对于表项的修改行为居多等等。而对于各种不同的数据库操作在不同的应用环境当中数据库服务器端对该操作结果的返回时间可以有效的反映出该操作在特定环境中对于系统资源的消耗。这对于客户环境当中有效的判定各种数据库操作对系统资源的消耗情况并对于占用大量系统资源的操作采取相应的措施(例如当某项操作占用大量系统资源而导致其他用户的操作无法进行的时候可以根据响应时间判断具体那些操作占用了系统资源从而终止无响应或响应时间过长的操作进而更加有效的使用数据库资源),因此具有重要意义。
目前日益广泛使用的数据库应用成为了当前网络业务的重要组成部分,越来越多的用户及企事业单位对于这些数据库业务的审计提出了全面的要求。很多客户环境下经常出现某些时段并发的操作过多导致系统性能急剧下降的情况。而由于目前大多数网络业务审计系统当中对于各种操作的服务端响应时间的审计功能的缺乏导致在系统性能急剧下降的情况下无法有效的判断占用系统资源的操作行为,这使得对于系统资源的释放变得没有目的,只能依靠整个系统的重新启动。产生这种问题的主要原因在于对各种数据库操作服务端响应时间缺乏一个有效的测算方法。注意到,对于一般的数据库访问操作,服务端的返回时间都是非常短的,而对于某些占用大量系统资源的操作其返回时间明显的要长很多,这说明说明实现一种基于数据库访问操作请求及响应报文之间的时间间隔,来计算数据库服务器响应时间,进而判断各种数据库操作对于系统资源的占用情况并根据响应时间实时的终止某些无响应或响应时间过长的数据库操作是可行的。基于这种可行性以及对于数据库操作响应时间测算带来的有益的作用,有必要发展一种能够实现对数据库操作当中服务器返回时间的准确测算方法用以提高网络业务审计系统对于数据库业务审计的准确性、全面性和审计范围。
发明内容
为了克服现有网络业务审计系统对于数据库操作当中服务器端返回操作结果时间测算功能的不足,本发明提供一种对于数据库操作过程当中服务器端响应时间的测算方法及系统。所述的数据库操作响应时间测算技术可以满足:对于各种数据库操作过程当中,数据库响应时间能够进行准确的测算,以提供具体数据库操作对于系统资源占用的审计需要,具有很好的灵活性和扩展性,对于新型数据库只需要添加数据库识别特征而不需要对系统进行大的改动以扩大数据库审计的范围;具有非常高的数据库响应时间测算效率,算法实现尽可能简单。
本发明的目的是这样实现的:
一种数据库操作响应时间测算系统,包括:
对实际网络运行环境当中数据库操作请求信息进行提取并进行会话标识及该操作发送时间提取的具体数据库操作请求提取器;
依赖具体数据库操作请求信息当中的会话标识,由所有服务器端返回信息当中对相应数据库操作响应的数据报文,进行定位并记录该响应报文发送时间的服务端返回信息定位器;
依据数据库操作请求报文发送时间和服务器端,对该操作响应的数据报文发送时间,计算服务器端响应时间的具体操作响应时间计算器;
所述的具体数据库操作请求提取器与服务端返回信息定位器和具体操作响应时间计算器连接;所述的服务端返回信息定位器和具体操作响应时间计算器连接。
一种数据库操作响应时间测算方法,包括如下步骤:
具体数据库操作请求提取步骤;
服务端返回信息定位步骤;
具体操作响应时间计算。
本发明的有益效果是,本发明解决了传统审计产品中对于数据库仅仅对相关用户行为动作的审计而缺乏对各种数据库操作响应时间测算可能造成的数据库使用的影响。尤其是可以通过响应时间的测算终止某些无响应或响应时间过长的操作请求以进一步提高数据库的使用效率。对于各种数据库操作响应时间的测算可以有效的反映出各种不同数据库操作在不同的客户环境当中对于系统资源的占用情况,可以很好的依据对于系统资源的占用情况对数据库系统的运行性能进行有效的调整和保障。对于数据库操作过程当中各种不同操作服务器端的响应时间都可以进行有效的测算。在保证效率的前提下实现了对于数据库各种操作的响应时间的准确测算。此外在系统实现的过程当中充分考虑了灵活性和扩展性问题,对于新型的数据库只需添加该数据库识别特征而无需对系统进行大的改动即可以对操作的响应时间进行有效的测算,可广泛应用于网络业务审计产品中。
附图说明
图1为本发明的数据库操作响应时间测算系统图;
图2为本发明的数据库操作响应时间测算流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
实施例一:
本实施例为数据库操作响应时间测算方法的基本模式。所使用的系统如图1所示。包括具体数据库操作请求提取器;服务端返回信息定位器;具体操作响应时间计算器,运行流程如图2所示:
①具体数据库操作请求提取步骤。尽管不同的数据库使用不同的通信协议,例如Sybase数据库和sqlserver数据库采用TDS协议、Oracle数据库采用TNS协议。但是所有数据库客户端与服务器端交互过程当中都是以TCP协议作为传输负载的。在TCP协议之上为各个不同数据库使用的应用层协议进行数据交互。因此本阶段步骤负责在所有TCP数据报文当中采用协议识别的方式和硬匹配方法确定当前使用的数据库类型并进一步提取所有关于当前环境下数据库操作的请求数据报文,在提取出相关数据库操作行为数据报文之后记录该会话标识(包括当前会话标识、数据报文序号以及响应包序号等等)。此阶段的输出将作为下一阶段对数据库服务器端返回信息进行定位的依据同时输出当前数据库操作请求报文发送的时间供服务器响应时间计算阶段的计算。
②服务端返回信息定位步骤。本阶段步骤负责在提取出当前环境下数据库操作请求报文之后,根据具体数据库操作请求提取步骤输出的当前会话标识信息,在此会话后续报文当中从所有数据库服务器端返回的报文当中根据会话标识及数据报文序号标识确定标识该数据库操作对应的由服务器端返回的结果报文。并且在报文序号匹配的结果基础之上,进一步检查返回报文当中载荷部分的大小进而唯一的定位对应于当前数据库操作的服务器端返回的结果数据报文。此阶段的输出为以定位的数据库服务器端的返回信息发送时间供服务器响应时间计算阶段的计算。
③具体操作响应时间计算步骤。此阶段步骤以具体数据库操作请求提取步骤输出的当前数据库操作请求报文发送的时间和服务端返回信息定位步骤输出的数据库服务器端的返回信息发送时间为计算对象,对服务器端针对该数据库操作的响应时间进行计算,并返回计算的结果,将审计结果返回给客户端显示系统或储存在事件库及日志库当中。
实施例二:
本实施例为实施例一中的具体数据库操作请求提取步骤的优选方案;
①对于实际捕获的网络报文通过报文特征及端口进行当前数据库类型判定,以此作为数据库类型判定子步骤。
②对当前数据库使用的所有TCP连接当中交互的数据报文采用多模式匹配方法进行数据库操作请求数据报文提取子步骤。
③对于所有提取的数据库操作请求报文记录其会话标识及发送时间的子步骤。
本实施例的基本思路是:首先依据实际捕获的数据报文特征或端口标识初步确定目前环境当中使用的数据库类型。以便于在进行数据库操作请求报文提取的时候能够准确的进行会话的跟踪。然后在数据库客户端和服务器进行数据交互的过程当中采用多模式匹配的方式对所有相关数据库的操作信息进行提取。因为所有数据库操作信息在交互过程中是以sql语句形式进行传输的。因此采用多模式匹配算法以所有sql语句的特征关键字为模式、以实际网络环境当中传输当前数据库操作使用的TCP数据报文为样本进行多模式匹配,匹配成功的数据报文即为当前环境当中对数据库进行操作行为的信息,以这样的数据报文作为提取对象。例如检测到当前的数据库类型为sybase则可以确定所有的数据库操作数据报文服务器端应该在TCP5000端口进行通信,则在数据库操作请求报文提取过程当中主要针对TCP5000端口进行多模式匹配提取包含数据库操作信息的数据报文。所有的标识数据库操作行为的sql语句都具有特征关键字如insert、select、delete等等,以这些特征关键字为模式,以所有TCP5000端口交互的数据报文为样本进行多模式匹配,将所有具有这些模式的数据报文做为提取对象。在提取出相关数据库操作请求报文之后,依据TCP协议的格式,记录当前数据库操作行为建立的TCP会话的信息,包括源IP、目的IP、源端口、目的端口、当前提取的数据报文在此会话当中的包序号以及对应于当前操作请求报文数据库服务器端返回信息的包序号,以此作为下阶段返回信息定位的依据。同时记录捕获当前数据库操作请求报文的系统时间并传输给具体操作响应时间计算器。
本实施例所使用的算法:
多模式匹配算法:在对具体数据库操作请求报文提取过程当中使用了多模式匹配算法进行数据报文的自动提取。以所有数据库操作对应的sql语句的特征关键字为模式,以实际捕获的当前数据库使用的TCP交互报文为样本进行多模式匹配。(如本实施例当中以select、insert等关键字为模式,以sybase数据库使用的TCP5000端口上的数据报文为样本进行sybase数据库操作请求报文的提取)。
实施例三:
本实施例为实施例一中的服务端返回信息定位步骤的优选方案;
①以收到的会话标识信息为依据对数据库服务器端返回信息当中对应相关操作的返回信息进行提取,以此作为响应信息定位子步骤。
②对于所有已定位的响应信息记录其发送时间的子步骤。
本实施例的基本思路是:在具体数据库操作请求提取步骤对实际网络环境当中所有数据库操作请求数据报文已经提取为前提。在相关请求报文已经提取之后,本步骤负责依据记录的当前报文对应的会话标识在此会话的后续报文当中确定服务器端对当前操作结果返回的数据报文并记录返回的数据报文的发送时间供具体操作响应时间计算使用。例如在sybase数据库环境下,由上一阶段提取的具体数据库操作请求数据报文当中的会话标识为源IP:192.168.5.218,目的IP为192.168.5.17。源端口为2713,目的端口为5000,该报文的序号为4983,其响应包序号为11998。则在该会话所有的服务器端响应报文(源IP:192.168.5.17,目的IP为192.168.5.218。源端口为5000,目的端口为2713)当中匹配包序号为11998的数据报文,同时验证该响应报文的数据载荷部分大于0,则定位该响应报文为该sybase数据库操作对应的由服务器端返回的数据报文。同时记录该响应报文的发送时间。
实施例四:
本实施例为实施例一中的具体操作响应时间计算步骤的优选方案;
本实施例是在接收到具体数据库操作请求提取步骤输出的数据库操作请求报文发送时间和服务端返回信息定位步骤输出的响应报文的发送时间的前提下进行的。本步骤负责依据接收到的两个时间进行时间间隔的计算,即计算由服务器端发送的响应报文的发送时间与对应的该数据库操作请求报文发送的时间之间的时间间隔,做为当前环境下该数据库对该操作的响应时间。
实施例五:
本实施例是实现实施例一、二、三、四、所述的方法的虚拟装置或者说系统。系统如图1所示,本实施例包括:对实际网络运行环境当中数据库操作请求信息进行提取并进行会话标识及该操作发送时间提取的具体数据库操作请求提取器;依赖具体数据库操作请求信息当中的会话标识由所有服务器端返回信息当中对相应数据库操作响应的数据报文进行定位并记录该响应报文发送时间的服务端返回信息定位器;依据数据库操作请求报文发送时间和服务器端对该操作响应的数据报文发送时间计算服务器端响应时间的具体操作响应时间计算器。
其中,具体数据库操作请求提取器实现了如实施例二中所述的对具体的数据库操作请求信息提取并记录会话标识和该操作发送时间的功能;服务端返回信息定位器实现了如实施例三所述的依赖接收的会话标识定位数据库服务器端对该操作请求结果返回的数据报文及记录该响应报文发送时间的功能;具体操作响应时间计算器实现了如实施例四所述的计算数据库对于不同的操作行为进行响应所需时间的功能。
一种数据库操作响应时间测算系统,其特征在于包括:具体数据库操作请求提取器、服务端返回信息定位器、具体操作响应时间计算器。所述的具体数据库操作请求提取器与服务端返回信息定位器和具体操作响应时间计算器连接;所述的服务端返回信息定位器和具体操作响应时间计算器连接。

Claims (5)

1.一种数据库操作响应时间测算方法,其特征在于包含以下步骤:
具体数据库操作请求提取步骤;
服务端返回信息定位步骤;
具体操作响应时间计算。
2.如权利要求1所述的一种数据库操作响应时间测算方法,其特征在于所述具体数据库操作请求提取步骤中的子步骤:
对于实际捕获的网络报文通过报文特征及端口进行当前数据库类型判定,以此作为数据库类型判定子步骤;
对当前数据库使用的所有TCP连接当中交互的数据报文采用多模式匹配方法进行数据库操作请求数据报文提取子步骤;
对于所有提取的数据库操作请求报文记录其会话标识及发送时间的子步骤;
对数据库操作请求数据报文进行提取并记录会话标识以实现服务端返回信息定位子步骤,对数据库操作请求数据报文发送时间进行记录以实现具体操作响应时间计算步骤。
3.如权利要求1所述的一种数据库操作响应时间测算方法,其特征在于所述服务端返回信息定位步骤中的子步骤:
以收到的会话标识信息为依据对数据库服务器端返回信息当中对应相关操作的返回信息进行提取,以此作为响应信息定位子步骤;
对于所有已定位的响应信息记录其发送时间的子步骤;
对相关数据库操作对应的服务器端返回信息进行定位并记录该返回信息发送时间以实现具体操作响应时间计算步骤。
4.如权利要求1所述的一种数据库操作响应时间测算方法,其特征在于所述具体操作响应时间计算:
以具体数据库操作请求提取步骤中记录的数据库操作请求信息发送时间和服务端返回信息定位步骤中记录的服务器端返回信息发送时间为计算对象计算数据库对于该操作的响应时间;将结果返回给管理系统进行实时显示同时将审计结果存储于事件库或系统日志当中。
5.数据库操作响应时间测算系统,其特征在于包括:
对实际网络运行环境当中数据库操作请求信息进行提取并进行会话标识及该操作发送时间提取的具体数据库操作请求提取器;
依赖具体数据库操作请求信息当中的会话标识,由所有服务器端返回信息当中对相应数据库操作响应的数据报文,进行定位并记录该响应报文发送时间的服务端返回信息定位器;
依据数据库操作请求报文发送时间和服务器端,对该操作响应的数据报文发送时间,计算服务器端响应时间的具体操作响应时间计算器;
所述的具体数据库操作请求提取器与服务端返回信息定位器和具体操作响应时间计算器连接;所述的服务端返回信息定位器和具体操作响应时间计算器连接。
CN2007101771980A 2007-11-12 2007-11-12 一种数据库操作响应时间测算方法及系统 Expired - Fee Related CN101436956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007101771980A CN101436956B (zh) 2007-11-12 2007-11-12 一种数据库操作响应时间测算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101771980A CN101436956B (zh) 2007-11-12 2007-11-12 一种数据库操作响应时间测算方法及系统

Publications (2)

Publication Number Publication Date
CN101436956A true CN101436956A (zh) 2009-05-20
CN101436956B CN101436956B (zh) 2011-05-11

Family

ID=40711188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101771980A Expired - Fee Related CN101436956B (zh) 2007-11-12 2007-11-12 一种数据库操作响应时间测算方法及系统

Country Status (1)

Country Link
CN (1) CN101436956B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902440B (zh) * 2009-05-27 2013-11-06 北京启明星辰信息技术股份有限公司 一种阻断tcp连接的方法和装置
CN104618144A (zh) * 2014-12-31 2015-05-13 深圳市兰丁科技有限公司 一种根据消息标识追踪数据包的方法和系统
CN104899278A (zh) * 2015-05-29 2015-09-09 北京京东尚科信息技术有限公司 一种Hbase数据库数据操作日志的生成方法及装置
CN107104949A (zh) * 2017-03-24 2017-08-29 深圳昂楷科技有限公司 数据库类型获取方法、装置及电子设备
CN111611134A (zh) * 2020-05-21 2020-09-01 中国建设银行股份有限公司 一种时间监控方法、装置、应用端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100511687B1 (ko) * 2003-05-21 2005-09-01 니트젠테크놀러지스 주식회사 네트워크에 대한 지능형 트래픽 관리시스템 및 그를이용한 지능형 트래픽 관리방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902440B (zh) * 2009-05-27 2013-11-06 北京启明星辰信息技术股份有限公司 一种阻断tcp连接的方法和装置
CN104618144A (zh) * 2014-12-31 2015-05-13 深圳市兰丁科技有限公司 一种根据消息标识追踪数据包的方法和系统
CN104899278A (zh) * 2015-05-29 2015-09-09 北京京东尚科信息技术有限公司 一种Hbase数据库数据操作日志的生成方法及装置
CN104899278B (zh) * 2015-05-29 2019-05-03 北京京东尚科信息技术有限公司 一种Hbase数据库数据操作日志的生成方法及装置
CN107104949A (zh) * 2017-03-24 2017-08-29 深圳昂楷科技有限公司 数据库类型获取方法、装置及电子设备
CN107104949B (zh) * 2017-03-24 2019-08-23 深圳昂楷科技有限公司 数据库类型获取方法、装置及电子设备
CN111611134A (zh) * 2020-05-21 2020-09-01 中国建设银行股份有限公司 一种时间监控方法、装置、应用端及存储介质

Also Published As

Publication number Publication date
CN101436956B (zh) 2011-05-11

Similar Documents

Publication Publication Date Title
CN101453358B (zh) 一种oracle数据库绑定变量的sql语句审计方法及系统
CN109961204B (zh) 一种微服务架构下业务质量分析方法和系统
CN101436956B (zh) 一种数据库操作响应时间测算方法及系统
CN109525595A (zh) 一种基于时间流特征的黑产账号识别方法及设备
CN101388010B (zh) 一种Oracle数据库审计方法及系统
CN101453359B (zh) 一种数据库错误信息提取方法及系统
CN109102157A (zh) 一种基于深度学习的银行工单派单方法及系统
CN103618652A (zh) 一种业务数据的审计和深度分析系统及其方法
CN107844914B (zh) 基于集团管理的风险管控系统和实现方法
CN109902859B (zh) 基于大数据和机器学习算法的排队高峰时段预估方法
CN111931189B (zh) Api接口转用风险检测方法、装置和api服务系统
CN101426008B (zh) 一种基于回显的审计方法及系统
CN105096195A (zh) 基于互联网应用平台的账户资金数值处理方法和系统
CN113379530A (zh) 用户风险的确定方法、装置和服务器
CN113536054A (zh) 一种基于图数据的业务监控方法、装置、设备及存储介质
CN104540035B (zh) 一种无障碍视频手语呼叫系统及方法
CN112749953A (zh) 一种基于大数据的互联网企业移动办公系统
CN110532153A (zh) 一种业务层级用户操作体验可视化系统
TW201805862A (zh) 一種用區塊鏈來識別優惠資訊的方法
CN110457897A (zh) 一种基于通信协议与sql语法的数据库安全检测方法
CN107608979A (zh) 识别用户潜在求助的知识点的方法及装置
CN110473101A (zh) 模拟交易所的报文处理方法及装置
CN105590232A (zh) 一种客户关系生成方法、装置及电子设备
CN110362626A (zh) 一种基于区块链网络便民查询系统及使用方法
CN111008872B (zh) 一种适用于以太坊的用户画像构建方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110511

Termination date: 20161112