CN113360357B - 数据监控方法、系统及设备 - Google Patents

数据监控方法、系统及设备 Download PDF

Info

Publication number
CN113360357B
CN113360357B CN202110611797.9A CN202110611797A CN113360357B CN 113360357 B CN113360357 B CN 113360357B CN 202110611797 A CN202110611797 A CN 202110611797A CN 113360357 B CN113360357 B CN 113360357B
Authority
CN
China
Prior art keywords
query statement
statement
slow
sql
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110611797.9A
Other languages
English (en)
Other versions
CN113360357A (zh
Inventor
汪成
江旻
杨杨
吴磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110611797.9A priority Critical patent/CN113360357B/zh
Publication of CN113360357A publication Critical patent/CN113360357A/zh
Application granted granted Critical
Publication of CN113360357B publication Critical patent/CN113360357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及金融科技(Fintech)技术领域，公开了一种数据监控方法、系统、设备及计算机程序产品，该方法包括：当检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；根据所述文件标识和所述行信息对所述慢查询语句进行定位告警。当拦截的查询语句中存在慢查询语句时，通过慢查询语句的栈信息自动确定慢查询语句对应的文件标识和行信息，进而实现对慢查询语句的自动定位和告警，提高了对慢查询语句的定位和监控效率。

Description

数据监控方法、系统及设备
技术领域
本发明涉及金融科技(Fintech)技术领域，尤其涉及一种数据监控方法、系统及设备。
背景技术
随着计算机技术的发展，越来越多的技术(大数据、分布式、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、通用性要求，也对数据查询技术提出了更高的要求。
对于数据库来说，数据的查询速度是通过对SQL查询语句的执行耗时长短进行确定的，超过指定时间的SQL语句即为慢查询，为确保数据的查询速度，要找出数据库中的慢查询语句并对其进行分析和优化，以提高数据查询速度。而现有技术只能查询到存在的慢查询的SQL语句，但是不能准确定位慢查询的SQL语句在代码中的位置，只能通过人工分析进行确定，如果有多处相同的SQL语句，通过人工分析进行定位容易产生遗漏。
发明内容
本发明的主要目的在于提出一种数据监控方法、系统、设备及计算机程序产品，旨在提供一套数据监控方案，从而提升对慢查询语句的定位和监控效率。
为实现上述目的，本发明提供一种数据监控方法，所述数据监控方法包括如下步骤：
当检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；
当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；
根据所述文件标识和所述行信息对所述慢查询语句进行定位告警。
可选地，所述根据所述栈信息确定所述慢查询语句对应的文件标识和行信息的步骤，包括：
将所述栈信息转化为文本信息，并获取所述栈信息的识别路径的配置信息；
根据所述配置信息，对所述文本信息进行字符匹配，以确定所述慢查询语句对应的文件标识和行信息。
可选地，所述配置信息中包括匹配字符串，所述根据所述配置信息，对所述文本信息进行字符匹配，以确定所述慢查询语句对应的文件标识和行信息的步骤，包括：
将所述配置信息中的匹配字符串的字符与所述文本信息的字符自左向右对齐，以从所述文本信息中确定与所述匹配字符串字符数量相同的目标字符串；
对所述匹配字符串中的字符和所述目标字符串中的字符自右向左进行比较，以确定所述目标字符串的字符与所述匹配字符串的字符是否匹配；
若不匹配，则确定所述匹配字符串中是否存在与所述目标字符串的尾字符相同的目标字符；
若不存在，则从所述文本信息中所述目标字符串的下一个字符开始与所述匹配字符串的字符自左向右对齐，并返回执行所述从所述文本信息中确定与所述匹配字符串字符数量相同的目标字符串的步骤，直到所述目标字符串的字符与所述匹配字符串的字符匹配；
若存在，则将所述匹配字符串中的目标字符与所述目标字符串的尾字符对齐，并返回执行所述从所述文本信息中确定与所述匹配字符串字符数量相同的目标字符串的步骤，直到所述目标字符串的字符与所述匹配字符串的字符匹配；
根据与所述匹配字符串的字符匹配的目标字符串对应的文件标识和行信息，确定所述慢查询语句对应的文件标识和行信息。
可选地，所述根据所述配置信息，对所述文本信息进行字符匹配的步骤之后，还包括：
对所述文本信息的字符匹配过程进行检测，当检测到所述文本信息的字符匹配过程存在异常时，根据所述栈信息确定栈参数；
根据所述栈参数对所述栈信息进行栈排查处理，以确定所述慢查询语句对应的文件标识和行信息。
可选地，所述确定所述查询语句中是否存在慢查询语句的步骤，包括：
获取所述查询语句对应的历史执行计划，并从所述历史执行计划中确定所述查询语句对应的历史执行耗时；
根据所述历史执行耗时对所述历史执行计划进行归类，以确定所述查询语句中每个语句对应的风险等级；
根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
可选地，所述确定所述查询语句中是否存在慢查询语句的步骤，包括：
对拦截的查询语句的出现频次进行统计，确定所述查询语句对应的语句出现频次；
当所述语句出现频次大于预设频次阈值时，获取所述查询语句的计算参数值，并根据所述语句出现频次和所述计算参数值计算所述查询语句对应的权重值，其中，所述计算参数值包括第一计算参数值、执行所述查询语句的设备的性能参数值和所述查询语句要访问的数据库的性能参数值，所述第一计算参数值是对所述查询语句对应的历史执行耗时进行计算得到的；
根据所述权重值确定所述查询语句中每个语句对应的风险等级，并根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
可选地，所述对查询语句进行拦截的步骤之后，还包括：
当检测到所述查询语句被执行时，获取所述查询语句的执行耗时，并根据所述查询语句的执行耗时构建所述查询语句对应的执行时间曲线；
根据所述执行时间曲线的趋势对所述查询语句未来的执行耗时进行预测；
若根据预测结果确定所述查询语句未来的执行耗时超过预设阈值，对所述查询语句进行定位告警。
此外，为实现上述目的，本发明还提供一种数据监控系统，所述数据监控系统包括：
语句拦截模块，用于当检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；
信息检测模块，用于当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；
定位告警模块，用于根据所述文件标识和所述行信息对所述慢查询语句进行定位。
此外，为实现上述目的，本发明还提供一种数据监控设备，所述数据监控设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据监控程序，所述数据监控程序被所述处理器执行时实现如上所述的数据监控方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的数据监控方法的步骤。
本发明通过在检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；根据所述文件标识和所述行信息对所述慢查询语句进行定位告警。通过对查询语句进行拦截，实现对慢查询语句的监控，当检测到存在慢查询语句时，根据慢查询语句的栈信息自动确定慢查询语句所在的文件的标识和行信息，对慢查询语句进行精准定位并告警，从而提高了对慢查询语句的定位和监控效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的数据监控设备结构示意图；
图2为本发明数据监控方法第一实施例的流程示意图；
图3为本发明数据监控方法第二实施例中字符匹配的过程示意图；
图4本发明数据监控系统的系统模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的数据监控设备结构示意图。
本发明实施例数据监控设备可以是PC机或服务器设备，其上运行有虚拟机。
如图1所示，该数据监控设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的数据监控设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据监控程序。
在图1所示的数据监控设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据监控程序，并执行下述数据监控方法中的操作。
基于上述硬件结构，提出本发明数据监控方法实施例。
参照图2，图2为数据监控方法第一实施例的流程示意图，所述方法包括：
步骤S10，当检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；
本实施例基于慢查询语句的数据监控方法运用于数据监控设备中，数据监控设备可以是终端、机器人或者PC设备。
本申请中的数据监控方法用于对访问数据库的查询语句进行监控，以确定查询语句中是否存在慢查询语句，该慢查询语句是指执行耗时超过指定时长的查询语句，查询语句的执行耗时较长会影响数据的查询和/或调用速度，因此，需要找出查询语句中的慢查询语句并进行优化以提高数据查询和/或调用的速度。现有技术中，通过查询语句访问数据库时，如果想要查询访问数据库的查询语句中是否存在慢查询时，只能查询到相应的慢查询语句，但是无法对慢查询语句进行精准定位。
在此背景下，本实施例提供了一套数据监控方案，从而能够实现对慢查询语句的监控和精准定位。
具体地，本实施例中，以SQL语句为查询语句为例进行说明，当检测到数据监控指令时，启动数据监控功能并对访问数据库的SQL语句进行拦截，进而获取SQL语句，并对拦截的SQL语句进行缓存，便于对SQL语句进行统计分析等集中式处理。其中，数据监控指令可以是用户触发的，也可以是自动触发的，该数据监控功能对数据监控设备上的其他应用程序无代码入侵性，仅需获取用户添加的相应的配置文件，即可在不同的应用程序中接入该功能，而对SQL语句的拦截只是获取相应的信息，并不影响SQL语句的传输和执行。此外，数据监控功能在接入到不同的应用程序中后，通过获取用户的配置信息控制该功能的开启或关闭，用户的配置信息包括被监控的应用程序列表，以及用户在不同的应用程序中对数据监控功能的启动开关进行的操作信息。在获取到用户的配置信息后，当检测到用户配置的应用程序列表中的应用程序启动时，即启动对该应用程序的数据监控功能，当数据监控功能在应用程序中启动后，用户随时可以通过对应用程序中设置的开关按钮进行操作，进而选择开启或关闭对该应用程序的数据监控功能。
由此可知，所述数据监控功能可以同时在多个应用程序中启动，并同时对多个应用程序的SQL语句进行拦截，从而获取来自不同应用程序的SQL语句，通过拦截的方式获取SQL语句，可以对SQL语句进行实时监控，提高监控效率。进一步地，获取到的多个SQL语句中可能存在相同的语句，也可能存在慢语句，需要说明的是，在拦截查询语句时，并不影响查询语句的执行，同时也对查询语句的执行结果进行监控，进而确定拦截的慢查询语句中是否存在慢查询语句。
步骤S20，当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；
根据拦截的SQL语句的执行结果，可以确定拦截获取的SQL语句中是否存在慢SQL，如果存在慢SQL，可以及时进行优化。具体分析时，包括但不限于根据相同SQL语句的历史执行耗时对拦截的SQL语句的执行耗时进行预估，以及根据相同SQL语句的历史执行耗时曲线对拦截的SQL语句的执行耗时趋势进行分析和预测，根据预估或预测结果，如果SQL语句的执行耗时超过预设时长则为慢SQL。
当检测到存在慢SQL时，通过获取的慢SQL对应的栈信息并，自动获取该慢SQL所在的文件的文件标识和在文件中的行信息，从而对慢SQL进行定位，该文件标识包括但不限于文件名称、文件的路径等，若以文件路径作为文件标识，还在文件路径中包含文件所在的设备信息，如设备编号等，以对来自不同终端设备的相同的SQL语句进行区分。传统的定位慢SQL的方式中，由于SQL语句存在的形态各异，或在配置文件中，或被创建在底层，如果按照传统方式通过扫描代码对慢SQL进行定位无法做到通用化，实现较为困难，而通过文件名称和行信息进行定位只能依靠人工分析实现，当文件中存在多个相同的SQL语句时，人工分析往往会产生遗漏。在本实施例中，通过自动获取慢SQL对应的文件标识和行信息，实行对慢SQL的自动定位，与人工分析相比，提高了对慢SQL定位的效率和准确率。
当检测到拦截的SQL语句中存在慢SQL时，通过确定慢SQL对应的文件标识和行信息对慢SQL进行定位，具体地，在确定慢SQL对应的文件标识和行信息时，首先对应获取慢SQL对应的栈信息，该栈信息同样是被拦截获取的，在拦截SQL语句时，同时获取到SQL语句的当前线程对象，然后通过当前线程对象，获取到SQL语句对应的栈信息。由于调用栈一般深度较大，如果将栈信息对应的栈完整保存，则需要占用大量存储空间，对整体性能有较大影响，所以采取对栈信息进行探测的方式从栈信息中获取慢SQL对应的文件标识和行信息，从而对慢SQL进行定位。
步骤S30，根据所述文件标识和所述行信息对所述慢查询语句进行定位告警。
进一步地，在根据慢SQL对应的文件标识和行信息对慢SQL进行定位时，是将获取的文件标识和行信息等与慢SQL进行关联绑定，从而实现对慢SQL的精准定位。当同一个文件里存在多个慢SQL时，利用行信息进行区分，防止对相同的慢SQL产生遗漏。例如，若将慢SQL以列表的形式显示，则列表的每一行代表一个慢SQL的定位信息，该列表至少包括慢SQL、文件标识和行信息三列，其中，文件标识和行信息是慢SQL的位置信息，在对慢SQL进行定位时，首先根据文件标识确定慢SQL来自于哪个文件，然后根据行信息进一步确定慢SQL在文件中所在的行位置，对于同一个文件中的多个相同的慢SQL，文件标识可能是相同的，行信息可能存在不同，因此可以利用行信息对同一个文件中多个相同的慢SQL进行区分，防止产生遗漏。在对慢SQL进行定位后，对拦截的慢SQL进行告警以提示相关技术人员及时处理，告警方式包括邮件发送告警信息、短信发送告警信息、在数据监控功能设置的监控界面中显示告警信息，以及上述方式的任意组合，可知地，对不不同程度的慢SQL可以采用不同方式和/或不同等级的告警，例如，对于执行耗时较长的慢SQL同时通过邮件和短信发送告警信息进行提醒，对于执行耗时不那么长的慢SQL只通过邮件发送告警信息进行提醒，而对于轻度慢SQL不发送告警信息，然后将不同程度的慢SQL在数据监控功能的监控界面同时显示，并通过不同的颜色进行区分。其中，告警信息例如“xx文件第y行存在一条慢SQL-xxx，该慢SQL执行耗时a秒，为重度慢SQL，请及时处理”
更进一步地，在对慢SQL进行定位时，是根据栈信息确定慢SQL所在的文件的文件标识和行信息的，具体过程包括步骤A1-A2：
步骤A1，将所述栈信息转化为文本信息，并获取所述栈信息的识别路径的配置信息；
步骤A2，根据所述配置信息，对所述文本信息进行字符匹配，以确定所述慢查询语句对应的文件标识和行信息。
在确定慢SQL对应的文件标识和行信息时，是对慢SQL的栈信息进行探测的，具体过程为，首先将慢SQL对应的栈信息转化为文本信息，然后对转化的文本信息进行字符匹配，如上所述，保存完整的栈需要占用大量的存储空间，因此，将栈信息转化为文本信息后再进行字符匹配，可以节省存储空间且有助于提高探测效率。在对转化的文本信息进行字符匹配时，首先要获取栈信息的识别路径的配置信息，即确定配置的识别路径的识别字符串，根据配置的识别字符串对文本信息进行匹配，从而确定慢SQL对应的文件标识和行信息。
具体地，包括步骤A21-A26：
步骤A21，将所述配置信息中的识别字符串的字符与所述文本信息的字符自左向右对齐，以从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串；
步骤A22，对所述识别字符串中的字符和所述目标字符串中的字符自右向左进行比较，以确定所述目标字符串的字符与所述识别字符串的字符是否匹配；
步骤A23，若不匹配，则确定所述识别字符串中是否存在与所述目标字符串的尾字符相同的目标字符；
步骤A24，若不存在，则从所述文本信息中所述目标字符串的下一个字符开始与所述识别字符串的字符自左向右对齐，并返回执行所述从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串的步骤，直到所述目标字符串的字符与所述识别字符串的字符匹配；
步骤A25，若存在，则将所述识别字符串中的目标字符与所述目标字符串的尾字符对齐，并返回执行所述从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串的步骤，直到所述目标字符串的字符与所述识别字符串的字符匹配；
步骤A26，根据与所述识别字符串的字符匹配的目标字符串对应的文件标识和行信息，确定所述慢查询语句对应的文件标识和行信息。
其中，在根据配置的识别字符串对文本信息进行字符匹配时，可以利用字符匹配算法，该字符匹配算法可以是BM(Boyer-Moore)算法，也可以是KMP算法(Knuth-Morris-Pratt，字符串匹配算法)，还可以是Naive String Matching Algorithm(朴素字符串匹配算法)算法，在此不作具体限定。
本实施例中，以BM算法为例进行说明，配置信息中包括识别字符串，例如若配置信息中配置的识别路径(detectorPath)为“detect orPath＝cn.webank.db”，则配置信息中的识别字符串为“cn.webank.db”，将栈信息转化为文本信息为"java.util.concurrent.Executors$RunnableA dapter.callorg.spring.dbcn.webank.db"。需要说明的是，在本实施例中，识别字符串和文本信息中的英文字符串仅仅用于对字符串算法的匹配过程进行说明，英文字符本身并无实际意义。在将识别字符串与文本信息进行匹配时，首先将文本信息与识别字符串自左向右从头部对齐，对齐后如图3中的情形一所示，图3为本实施例中利用BM算法进行字符串匹配的过程示意图，由图3中的情形一可知，识别字符串"cn.webank.db"与文本信息中的“java.util.co”对应，从识别路径字符串"cn.webank.db"的尾部开始比较，显然文本信息中的"o"和识别路径"b"并不相同，这时，"o"就被称为"坏字符"，即不匹配的字符。进一步地，"o"不包含在识别路径字符串"cn.webank.db"之中，则把识别路径直接移到"o"的后一位，移位后如图3中的情形二所示，此时，识别路径字符串与文本信息中的“ncurrent.Exe”对应，依然从识别路径字符串的尾部开始比较，"e"与"b"不匹配，所以"e"是"坏字符"。但是，"e"包含在识别路径字符串中，所以将识别路径和中的"e"和文本信息中的"e"对齐，参照图3中的情形三，此时，识别路径字符串与文本信息中的“t.Executors$”对应，对齐后发现，文本信息尾部的"$"与识别路径字符串尾部的"b"不匹配，且"$"也没有在识别路径字符串之中，则把识别路径字符串直接移到"$"的后一位，继续匹配。
当匹配至图3中情形四所示的后缀字符相同的情况时，识别路径字符串与文本信息中的“rg.spring.db”对应，此时，识别路径字符串尾部的"b"与文本信息字符串尾部的"b"匹配，"d"和"d"匹配，"."和"."匹配，则".db"、"db"、"b"为好后缀，即匹配的字符串。由此总结出识别字符串与文本信息进行匹配时的移位规律，即后移位数＝坏字符的位置(或好后缀的位置)-在识别路径字符串中上一次出现的位置。以上述图3情形1至情形四的匹配过程为例："o"为坏字符，出现在文本信息的第11位(从0开始编号)，在识别路径中未出现过，所以后移位数为11-(-1)＝12位。再以"e"为例，它出现在文本信息的第11位，在识别路径字符串中上一次出现的位置是4，则整个识别路径字符串后移11-4＝7位。而对于"好后缀"".db"、"db"、"b"，都未在识别路径字符串"cn.webank.db"中出现过，所以后移的位数为12-(-1)＝13位。若按照"坏字符"规则移动的位数，与按照"好后缀"规则移动的位数不同，则取两者中的较大值。按照这个规则继续将上述的识别路径字符串与文本信息进行匹配，直至图3情形五所示的情况，文本信息中的字符串与识别路径字符串能够完全匹配，则完成对栈信息的探测，从而获取到慢SQL对应的文件标识和行信息。
也即，在机型字符匹配时，将识别字符串与文本信息自左向右对其，从文本信息中选取与识别字符串字符数量相同的目标字符串，然后从识别字符串的尾部开始，自右向左比较，首先确定识别字符串的尾字符与选取的目标字符串的尾字符是否匹配，如果匹配，则继续比较下一位，从而确定目标字符串中与识别字符串对应位置的字符是否都匹配，若不匹配，则确定识别字符串中是否包含目标字符串的尾字符，如果不包含，则直接将识别字符串的首字符与文本信息中，目标识别字符串的下一个字符自左向右对齐，从文本信息中重新选取目标字符串并进行比较，直到选取的目标字符串的字符与识别字符串的字符完全匹配，若不完全匹配且识别字符串中包含选取的目标字符串的尾字符时，则将识别字符串中与目标字符串的尾字符对齐，从文本信息中重新选取目标字符串进行比较，直到选取的目标字符串的字符与是被字符串的字符完全匹配，根据与是被字符串完全匹配的目标字符串对应的文件表示和行信息，确定慢SQL对应的文件标识和行信息。
步骤A2之后，还包括步骤A3-A4：
步骤A3，对所述文本信息的字符匹配过程进行检测，当检测到所述文本信息的字符匹配过程存在异常时，根据所述栈信息确定栈参数；
步骤A4，根据所述栈参数对所述栈信息进行栈排查处理，以确定所述慢查询语句对应的文件标识和行信息。
更进一步地，在利用字符串匹配算法对栈信息的文本信息进行字符匹配时，对算法的匹配过程进行检测，当检测到算法匹配出现异常，无法获取慢SQL对应的文件标识和行信息时，则对栈信息进行栈排查处理，从而对算法的字符匹配进行异常兜底。算法匹配的异常包括算法模型宕机等，在利用栈排查处理对字符匹配进行异常兜底时，具体地，首先根据栈信息的配置信息排除特定的与SQL语句不相关的栈，然后根据获取的栈信息识别到慢SQL对应的堆栈中并确定栈参数，其中，栈参数包括栈深度和查找路径长度，栈深度对应文本信息的字符串长度，而查找路径的长度即为配置信息中的识别字符串的长度，根据栈深度和查找路径长度，逐一对栈信息进行排查，从而完成对栈信息的探测并从堆栈中确定该慢SQL对应的文件标识和行信息。
在本实施例中，若栈深度为n，查找路径长度为m，利用预设的BM字符匹配算法对栈信息进行探测的时间复杂度在最好的情况下为(n/m)，最坏的情况下是(3n)。而通过栈排查处理对栈信息进行探测的时间复杂度在最好的情况下是(n+m)，最坏的情况下是(n*m)。可见，在探测效率上，利用字符匹配算法要优于栈排查处理的方式，但是栈排查处理的稳定性和可靠性较好，因此，采用两者结合的方式进行栈信息探测，利用栈排查处理对字符匹配算法的探测进行异常兜底，提高了信息探测的稳定性，进而提高了数据监控功能的稳定性。
本实施例通过在当检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；根据所述文件标识和所述行信息对所述慢查询语句进行定位。通过对查询语句进行拦截，实现对慢查询语句的监控，当检测到存在慢查询语句时，根据慢查询语句对应的栈信息确定慢查询语句对应的文件标识和行信息，进而确定慢查询语句所在的文件，以及在文件中所处的行数，实现对慢查询语句的精准定位，提高了对慢查询语句的定位和监控效率。同时，通过字符匹配和栈排查处理结合的方式对栈信息进行探测，利用栈排查处理对字符匹配进行异常兜底，提高了栈信息探测的稳定性，进而进一步提高了对慢查询语句的监控效率
进一步地，基于上述第一实施例，提出本发明数据监控方法第二实施例，本实施例是上述实施例步骤S10中，确定拦截的查询语句中是否存在慢查询语句的细化，包括步骤B1-B3：
步骤B1，获取所述查询语句对应的历史执行计划，并从所述历史执行计划中确定所述查询语句对应的历史执行耗时；
步骤B2，根据所述历史执行耗时对所述历史执行计划进行归类，以确定所述查询语句中每个语句对应的风险等级；
步骤B3，根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
基于上述实施例，在本实施例中，同样以SQL语句为查询语句为例进行说明。在本实施例中，主要是对上述实施例中拦截的查询语句进行统计分析，从而确定拦截的查询语句中是否存在慢查询语句，并可以实现对拦截的慢查询语句进行分级告警。现有的查询慢查询语句的技术不能对SQL语句进行智能分析，只能依据SQL语句的执行耗时来判断该SQL语句是否为慢查询的SQL语句，只能被动地做事后优化，无法做到事前预警。
在本实施例中，对通过拦截缓存的SQL语句进行统计分析处理，从而可以对拦截的SQL语句进行等级划分，进而确定拦截的SQL语句为慢SQL的风险等级，对不同等级的SQL语句分别进行不同程度和/或不同形式的告警，以便进行区分，可知地，告警的形式包括在特定的监控界面上实时显示和/或以邮件、短信等方式推送提示信息，实现对SQL语句的分级告警或预警。
具体地，在通过对获取的SQL语句进行统计分析处理以实现对SQL语句的分级告警时，首先要对应获取SQL语句的历史执行计划，该历史执行计划是对相同或相似的SQL语句的历史执行结果的记录，包含了往期SQL语句的查询规则、执行耗时等信息，然后根据执行耗时信息对获取的历史执行计划进行归类总结，以排除重复的SQL语句存在的干扰，并根据历史执行计划对相同的SQL语句或具有相同规则的SQL语句进行归类，归类后的SQL语句可以以配置清单的形式进行存储。在该配置清单中，根据不同SQL语句的执行耗时长短将SQL语句划分为不同的风险等级，将拦截获取的SQL语句映射到配置清单中，从而可以快速确定拦截的SQL语句对应的风险等级。对历史执行计划进行归类总结后，可以根据SQL语句的执行耗时将执行计划分为高风险性计划、中风险性计划、低风险性计划和无风险性计划四类，而对历史执行计划进行归类后，就可以确定SQL语句对应的风险等级，具体是将SQL语句与历史执行计划进行匹配，这是由于若历史执行计划中某个SQL语句是执行耗时较长的慢SQL，则在拦截的SQL语句中，与该慢SQL相同或者具有相同规则的SQL语句很有可能为慢SQL，将拦截的SQL语句映射到生成的配置清单中，根据被拦截的SQL语句为慢SQL的可能性大小确定其对应的风险等级并进行告警。进一步地，以上述对历史执行计划的等级划分为例，根据对历史执行计划的归类，确定SQL语句对应的风险等级，其中，SQL语句对应的风险等级包括高风险性语句(高风险SQL)、中风险性语句(中风险SQL)、低风险性语句(低风险SQL)和正常语句(正常SQL)，其中，高风险性语句是可能存在重度慢查询的SQL语句，其查询语句的执行耗时最长，中风险性语句的执行耗时次之。也即，高风险性语句、中风险性语句、低风险性语句和正常语句的执行耗时依次降低。
当然，也可以在高风险性、中风险性、低风险性和无风险性的基础上，对获取的执行计划进一步进行细分，从而将执行计划归类为更多更加细化的等级，或者根据实际需要将历史执行计划的风险等级划分为更少的等级，而对查询语句的等级划分的细化程度，取决于对执行计划归类的细化程度，在此不再赘述。在本实施例中，确定SQL语句对应的风险等级后可以发现，高风险SQL的查询规则主要包括“关联表数量超过阈值”、“全表扫描，且扫描行数超过预设行数”、“查询语句没有走索引”等，中风险SQL的查询规则主要包括“语句没有走主键索引且没有使用limit关键字”、“查询语句使用外排，且扫描行数超过预设行数”等，低风险SQL的查询规则主要包括“查询语句使用文件类型”等，而对于被拦截的SQL语句，根据其对应的查询规则映射到预先生成的配置清单中，进而确定其风险等级，没拦截到一条查询语句就可以直接通过与配置清单的映射或匹配，及时判断拦截的该查询语句是否为慢查询语句，若是，则对拦截的该慢查询语句继续宁定位和告警，提高了告警的及时性。
进一步地，对于中风险SQL和低风险SQL，大部分可以通过优化索引的方式减少SQL语句的执行耗时，进而提高数据的查询速度，而对于高风险SQL则需要深入分析原因后采取对应的优化措施。因此，对高风险SQL、中风险SQL和低风险SQL需要分别进行不同形式的告警，例如，在数据监控功能的监控界面上实时显示高风险SQL、中风险SQL和低风险SQL，并以不同的颜色进行区分，此外，高风险SQL再分别发送短信、邮件进行提醒，以提示存在高风险SQL需要紧急处理，中风险SQL则只发送邮件提醒，低风险SQL只在监控界面显示即可，正常SQL则无需告警或在监控界面显示。也即，通过结合以往相同或相似的SQL语句的执行计划，对拦截的SQL语句的执行耗时进行实时判断，从而确定拦截的SQL语句是否为慢SQL，进而可以对拦截的SQL语句进行实时告警。
在本实施例中，通过基于拦截的查询语句的历史执行计划，生成查询语句的配置清单，根据生成的配置清单对拦截的查询语句进行匹配或映射，可以快速判断拦截的查询语句是否为慢查询语句，若是慢查询语句，则对拦截的慢查询语句进行定位和告警，提高了对慢查询语句告警的及时性。
进一步地，基于上述第二实施例，提出本发明数据监控方法第三实施例，本实施例是上述实施例步骤S10中，确定拦截的查询语句中是否存在慢查询语句的细化，包括步骤B4-B6：
步骤B4，对拦截的查询语句的出现频次进行统计，确定所述查询语句对应的语句出现频次；
步骤B5，当所述语句出现频次大于预设频次阈值时，获取所述查询语句的计算参数值，并根据所述语句出现频次和所述计算参数值计算所述查询语句对应的权重值，其中，所述计算参数值包括第一计算参数值、执行所述查询语句的设备的性能参数值和所述查询语句要访问的数据库的性能参数值，所述第一计算参数值是对所述查询语句对应的历史执行耗时进行计算得到的；
步骤B6，根据所述权重值确定所述查询语句中每个语句对应的风险等级，并根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
更进一步地，在对获取的SQL语句进行分级告警时，还可以通过对获取的SQL语句中，相同或相似的SQL语句出现的频次进行统计，从而确定获取的SQL语句中，相同的SQL语句或具有相同规则的SQL语句出现的频次，然后获取SQL语句执行耗时的计算参数值，根据SQL语句出现的频次和计算参数值，计算不同的SQL对应的权重值，该权重值表示SQL语句执行耗时长短的预测值，以及该SQL语句是慢SQL的可能性大小。然后利用计算出的权重值确定拦截的SQL语句中每个SQL语句对应的风险等级，根据每个SQL语句对应的风险等级，确定拦截的SQL语句中是否存在慢SQL，若存在，则对慢SQL进行定位告警。其中，SQL语句的计算参数值包括第一计算参数值、执行所述查询语句的设备的性能参数值和所述查询语句要访问的数据库的性能参数值，其中，第一计算参数值时基于拦截的SQL语句的历史执行耗时进行计算得到的，此外，SQL语句的执行耗时不仅与SQL语句本身有关，还与数据监控设备的处理器以及SQL语句要访问的数据库的性能有关，通过对计算参数值进行计算，可以对拦截的SQL语句中每个语句的执行耗时进行预估，从而根据预估的每个语句的执行耗时确定拦截的SQL语句中是否存在慢SQL，如果存在慢SQL，则对拦截的慢SQL进行定位告警。其中，根据计算得到的权重值确定SQL语句对应的风险等级时，是将权重值与预设的基准值进行对照，不同的权重值区间对应不同类的SQL语句，具体可以参照表4。
进一步地，计算SQL语句的权重值的计算参数值包括第一计算参数值、执行所述查询语句的设备的性能参数值，以及所述查询语句要访问的数据库的性能参数值。在计算SQL语句对应的权重值时，首先计算第一计算参数值，该参数值与SQL语句本身的查询规则有关。具体地，首先将相同或相似的SQL语句出现的频次与预设频次阈值进行比较，其中，SQL语句中有高频语句和低频语句之分，不同的SQL语句可以对应设置不同的频次阈值，高频语句为减少计算次数和计算量，可以将频次阈值设置为一个较高的值，例如10次，而对于低频语句，由于出现的次数较少，为确保告警及时性，在不影响计算结果准确性的前提下，可以将频次阈值设置为一个较小的值，例如3次或5次。当拦截获取的SQL语句中相同的SQL语句出现的频次达到预设频次阈值时，则基于上述第二实施例中获取的历史执行计划确定该SQL语句对应的历史执行耗时，根据该SQL语句对应的历史执行耗时计算该SQL语句的平均执行耗时，根据计算出的平均执行耗时确定该SQL语句的第一计算参数值。
然后获取执行SQL语句的设备的性能参数值、以及SQL语句要访问的数据库的性能参数值，其中，第一计算参数值是由SQL语句本身的执行耗时确定的，而执行SQL语句的设备的性能参数值是与执行SQL语句的设备的性能参数有关的，SQL语句要访问的数据库的性能参数值是与SQL语句要访问的数据库的性能参数有关的。在本实施例中，设备性能参数值参数值包括执行SQL语句的设备的处理器的核心数目(即CPU核心数目)，CPU核心数目表示CPU在某一时刻可以同时并行处理的任务数，CPU核心数目越多，就越有利于同时运行多个程序；数据库的性能参数包括SQL语句要访问的数据库的I/O负载，数据库的I/O负载可以侧面反映出数据库当前的性能，在本实施例中，设备的性能参数值和数据库的性能参数值仅以CPU核心数目以及数据库的I/O负载为例进行说明。在确定计算参数值时，不同的参数值对应不同的计算值。
具体地，可以参照下列表1至表3，表1是不同的平均执行耗时区间的SQL语句对应的计算值，表1中的平均执行耗时是根据10个相同的SQL语句的执行耗时进行计算得到的，表2是不同的CPU核心数目对应的计算值，表3是不同的数据库的I/O负载对应的计算值。
平均执行耗时(每10条的平均数) 计算值
10～50ms 10
51～100ms 50
101ms以上 100
表1
CPU核心数目 计算值
4 4
2 2
表2
I/O负载 计算值
0％～30％ 10
31～70％ 50
70％～100％以上 100
表3
基准值 SQL语句分类
0～5 正常SQL
5～10 低风险SQL
10～15 中风险SQL
15以上 高风险SQL
表4
上述表1-3中的对应的计算值和表4中的基准值都可以通过对历史SQL语句数据进行分析得到，在确定所有计算参数值后，计算SQL语句的执行耗时的权重值的方式可以参考公式1：
权重值＝(平均执行耗时计算值+I/O负载计算值)/CPU核心数目计算值(1)
由公式1可知，若当前某个SQL语句的10条语句的平均执行耗时为90ms，则对应的计算值为50，CPU核心数目为4，对应的计算值为4，数据库当前的I/O负载为25％，对应的计算值为10，根据公式1进行计算得到的权重值为15，则参照表4中的基准值，该SQL语句为中风险SQL，则按照中风险SQL的告警方式进行告警。在实际应用时，可以利用更多的计算参数值进行权重值的计算，不同参数的计算值与基准值，以及参与计算的SQL语句等数据都可以进行同步或异步的迭代更新，从而保证告警的及时性和准确性。
在本实施例中，通过对拦截的查询语句进行统计分析，确定所述查询语句对应的风险等级；根据所述风险等级对所述查询语句进行分级告警，利用两种不同的方式对拦截的查询语句进行异步分析，一方面通过根据历史执行计划的风险等级对拦截的查询语句进行实时告警，另一方面，通过对拦截的查询语句的执行耗时进行预估，确定所述查询语句对应的风险等级，并对所述查询语句未来的执行耗时进行预测，根据预测结果和所述查询语句对应的风险等级进行告警，从而实现对查询语句不同层面的分级告警，提高了告警的准确性。
进一步地，基于上述第三实施例，提出本发明数据监控方法第四实施例，本实施例是上述实施例步骤S10中，对查询语句进行拦截之后的步骤，包括步骤S101-S103：
步骤S101，当检测到所述查询语句被执行时，获取所述查询语句的执行耗时，并根据所述查询语句的执行耗时构建所述查询语句对应的执行时间曲线；
步骤S102，根据所述执行时间曲线的趋势对所述查询语句未来的执行耗时进行预测；
步骤S103，若根据预测结果确定所述查询语句未来的执行耗时超过预设阈值，对所述查询语句进行定位告警。
在实际应用中，很多SQL语句存在潜在问题，如随着数据量的提升、数据结构的变化等，原本正常的SQL语句后期可能会转变为慢查询的SQL语句，对于可能转化为慢查询的SQL语句，对于存在潜在问题的查询语句，现有技术也只能被动地做事后优化，无法做到事前预防。而本实施例提供一种查询语句的告警方案，通过对拦截的查询语句进行智能分析，可以实现对可能转化为慢查询语句的正常语句的预警。
具体地，在对查询语句进行拦截之后，当检测到拦截的查询语句被执行时，获取查询语句的执行耗时，并根据获取的执行耗时构建查询语句的执行耗时曲线。需要说明的是，同一条执行时间曲线是基于多个相同的SQL语句的执行耗时构建的，不同的SQL语句对应不同的执行时间曲线，根据构建的耗时执行曲线的趋势，对SQL语句未来的执行耗时进行预测，根据预测结果，确定SQL语句未来的执行耗时是否超过预设阈值，若超过预设阈值，则证明对应的SQL语句可能存在转化为慢SQL的可能性，但不同的SQL语句转化为慢SQL的可能性不一定是相同的，因此，也可以根据SQL语句转化为慢SQL的可能性的大小，对可能转化为慢SQL的查询语句进行定位和等级划分，并对不同等级的SQL语句进行告警。
在本实施例中，通过对拦截的查询语句的执行耗时进行智能分析，能够及时发现存在潜在问题的查询语句，对可能转化为慢查询语句的正常语句提前进行预警，在正常的查询语句转化为慢查询语句之前进行优化，减少慢查询语句的数量，提高数据的响应速度。
需要说明的是，上述第二、第三和第四实施例中的三种告警方式中，第二实施例中的告警方式是基于SQL语句的执行计划，对拦截获取的SQL语句是否为慢SQL进行实时判断，不对拦截的SQL语句本身的执行耗时进行预估；而第三实施例中的告警方式与第二实施例中的告警方式不同，第三实施例中的告警方式是基于SQL语句的执行计划，对拦截的SQL语句的执行耗时进行预估后，再判断该SQL语句是否为慢SQL；第四实施例中，是在拦截的查询语句被执行后，根据查询语句的执行耗时对查询语句未来的执行耗时进行预估，从而可以发现潜在的慢查询语句，三种方式对获取的SQL语句进行异步分析，在不同的阶段从不同的角度对拦截的查询语句进行分析，并进行定位告警。在实际应用时，上述实施例中的告警方式可以任意组合地结合使用，也可以单独使用，当将上述告警方式结合使用时可以互为参考，使告警结果更加准确，同时也有利于对慢查询语句的产生原因进行快速分析，而结合使用的告警方式在进行告警时，可以显示在同一个告警界面上，也可以显示在不同的告警界面上由用户触发指令进行切换，在此不作具体限定。
本发明还提供一种数据监控系统，参照图4，所述数据监控系统包括：
语句拦截模块10，用于当检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；
信息检测模块20，用于当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；
定位告警模块30，用于根据所述文件标识和所述行信息对所述慢查询语句进行定位告警。
可选地，所述信息检测模块20，用于：
将所述栈信息转化为文本信息，并获取所述栈信息的识别路径的配置信息；
根据所述配置信息，对所述文本信息进行字符匹配，以确定所述慢查询语句对应的文件标识和行信息。
可选地，所述信息检测模块20，还用于：
将所述配置信息中的识别字符串的字符与所述文本信息的字符自左向右对齐，以从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串；
对所述识别字符串中的字符和所述目标字符串中的字符自右向左进行比较，以确定所述目标字符串的字符与所述识别字符串的字符是否匹配；
若不匹配，则确定所述识别字符串中是否存在与所述目标字符串的尾字符相同的目标字符；
若不存在，则从所述文本信息中所述目标字符串的下一个字符开始与所述识别字符串的字符自左向右对齐，并返回执行所述从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串的步骤，直到所述目标字符串的字符与所述识别字符串的字符匹配；
若存在，则将所述识别字符串中的目标字符与所述目标字符串的尾字符对齐，并返回执行所述从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串的步骤，直到所述目标字符串的字符与所述识别字符串的字符匹配；
根据与所述识别字符串的字符匹配的目标字符串对应的文件标识和行信息，确定所述慢查询语句对应的文件标识和行信息。
可选地，所述定位告警模块30，还用于：
获取所述查询语句对应的历史执行计划，并从所述历史执行计划中确定所述查询语句对应的历史执行耗时；
根据所述历史执行耗时对所述历史执行计划进行归类，以确定所述查询语句中每个语句对应的风险等级；
根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
可选地，所述定位告警模块30，还用于：
对拦截的查询语句的出现频次进行统计，确定所述查询语句对应的语句出现频次；
当所述语句出现频次大于预设频次阈值时，获取所述查询语句的计算参数值，并根据所述语句出现频次和所述计算参数值计算所述查询语句对应的权重值，其中，所述计算参数值包括第一计算参数值、执行所述查询语句的设备的性能参数值和所述查询语句要访问的数据库的性能参数值，所述第一计算参数值是对所述查询语句对应的历史执行耗时进行计算得到的；
根据所述权重值确定所述查询语句中每个语句对应的风险等级，并根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
可选地，所述数据监控装置还包括分类预警模块，用于：
当检测到所述查询语句被执行时，获取所述查询语句的执行耗时，并根据所述查询语句的执行耗时构建所述查询语句对应的执行时间曲线；
根据所述执行时间曲线的趋势对所述查询语句未来的执行耗时进行预测；
若根据预测结果确定所述查询语句未来的执行耗时超过预设阈值，对所述查询语句进行定位告警。
上述各程序单元所执行的方法可参照本发明数据监控方法各个实施例，此处不再赘述。
本发明还提供一种数据监控设备，所述数据监控设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的数据监控程序，所述数据监控程序被处理器执行时所实现的方法可参照本发明数据监控方法各个实施例，此处不再赘述。
本发明还提供一种计算机程序产品。
本发明计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上述的数据监控方法的步骤。
其中，在所述处理器上运行的数据监控程序被执行时所实现的方法可参照本发明数据监控方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的数据监控方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种数据监控方法，其特征在于，所述数据监控方法包括如下步骤：
当检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；
当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；
根据所述文件标识和所述行信息对所述慢查询语句进行定位告警；
所述确定所述查询语句中是否存在慢查询语句的步骤，包括：
对拦截的查询语句的出现频次进行统计，确定所述查询语句对应的语句出现频次；
当所述语句出现频次大于预设频次阈值时，获取所述查询语句的计算参数值，并根据所述语句出现频次和所述计算参数值计算所述查询语句对应的权重值，其中，所述计算参数值包括第一计算参数值、执行所述查询语句的设备的性能参数值和所述查询语句要访问的数据库的性能参数值，所述第一计算参数值是对所述查询语句对应的历史执行耗时进行计算得到的；
根据所述权重值确定所述查询语句中每个语句对应的风险等级，并根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
2.如权利要求1所述的数据监控方法，其特征在于，所述根据所述栈信息确定所述慢查询语句对应的文件标识和行信息的步骤，包括：
将所述栈信息转化为文本信息，并获取所述栈信息的识别路径的配置信息；
根据所述配置信息，对所述文本信息进行字符匹配，以确定所述慢查询语句对应的文件标识和行信息。
3.如权利要求2所述数据监控方法，其特征在于，所述配置信息中包括识别字符串，所述根据所述配置信息，对所述文本信息进行字符匹配，以确定所述慢查询语句对应的文件标识和行信息的步骤，包括：
将所述配置信息中的识别字符串的字符与所述文本信息的字符自左向右对齐，以从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串；
对所述识别字符串中的字符和所述目标字符串中的字符自右向左进行比较，以确定所述目标字符串的字符与所述识别字符串的字符是否匹配；
若不匹配，则确定所述识别字符串中是否存在与所述目标字符串的尾字符相同的目标字符；
若不存在，则从所述文本信息中所述目标字符串的下一个字符开始与所述识别字符串的字符自左向右对齐，并返回执行所述从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串的步骤，直到所述目标字符串的字符与所述识别字符串的字符匹配；
若存在，则将所述识别字符串中的目标字符与所述目标字符串的尾字符对齐，并返回执行所述从所述文本信息中确定与所述识别字符串字符数量相同的目标字符串的步骤，直到所述目标字符串的字符与所述识别字符串的字符匹配；
根据与所述识别字符串的字符匹配的目标字符串对应的文件标识和行信息，确定所述慢查询语句对应的文件标识和行信息。
4.如权利要求2所述的数据监控方法，其特征在于，所述根据所述配置信息，对所述文本信息进行字符匹配的步骤之后，还包括：
对所述文本信息的字符匹配过程进行检测，当检测到所述文本信息的字符匹配过程存在异常时，根据所述栈信息确定栈参数；
根据所述栈参数对所述栈信息进行栈排查处理，以确定所述慢查询语句对应的文件标识和行信息。
5.如权利要求1所述的数据监控方法，其特征在于，所述确定所述查询语句中是否存在慢查询语句的步骤，包括：
获取所述查询语句对应的历史执行计划，并从所述历史执行计划中确定所述查询语句对应的历史执行耗时；
根据所述历史执行耗时对所述历史执行计划进行归类，以确定所述查询语句中每个语句对应的风险等级；
根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
6.如权利要求1所述的数据监控方法，其特征在于，所述对查询语句进行拦截的步骤之后，包括：
当检测到所述查询语句被执行时，获取所述查询语句的执行耗时，并根据所述查询语句的执行耗时构建所述查询语句对应的执行时间曲线；
根据所述执行时间曲线的趋势对所述查询语句未来的执行耗时进行预测；
若根据预测结果确定所述查询语句未来的执行耗时超过预设阈值，对所述查询语句进行定位告警。
7.一种数据监控系统，其特征在于，所述数据监控系统包括：
语句拦截模块，用于当检测到数据监控指令时，对查询语句进行拦截，确定所述查询语句中是否存在慢查询语句；
信息检测模块，用于当所述查询语句中存在慢查询语句时，获取所述慢查询语句对应的栈信息，并根据所述栈信息确定所述慢查询语句对应的文件标识和行信息；
定位告警模块，用于根据所述文件标识和所述行信息对所述慢查询语句进行定位告警；
所述语句拦截模块，用于：
对拦截的查询语句的出现频次进行统计，确定所述查询语句对应的语句出现频次；
当所述语句出现频次大于预设频次阈值时，获取所述查询语句的计算参数值，并根据所述语句出现频次和所述计算参数值计算所述查询语句对应的权重值，其中，所述计算参数值包括第一计算参数值、执行所述查询语句的设备的性能参数值和所述查询语句要访问的数据库的性能参数值，所述第一计算参数值是对所述查询语句对应的历史执行耗时进行计算得到的；
根据所述权重值确定所述查询语句中每个语句对应的风险等级，并根据所述查询语句中每个语句对应的风险等级确定所述查询语句中是否存在慢查询语句。
8.一种数据监控设备，其特征在于，所述数据监控设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据监控程序，所述数据监控程序被所述处理器执行时实现如权利要求1至6中任一项所的数据监控方法的步骤。
CN202110611797.9A 2021-06-01 2021-06-01 数据监控方法、系统及设备 Active CN113360357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110611797.9A CN113360357B (zh) 2021-06-01 2021-06-01 数据监控方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110611797.9A CN113360357B (zh) 2021-06-01 2021-06-01 数据监控方法、系统及设备

Publications (2)

Publication Number Publication Date
CN113360357A CN113360357A (zh) 2021-09-07
CN113360357B true CN113360357B (zh) 2023-05-09

Family

ID=77531174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110611797.9A Active CN113360357B (zh) 2021-06-01 2021-06-01 数据监控方法、系统及设备

Country Status (1)

Country Link
CN (1) CN113360357B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986736A (zh) * 2021-10-29 2022-01-28 重庆富民银行股份有限公司 基于java代理和字节码增强的慢sql监控系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509530A (zh) * 2018-03-14 2018-09-07 武汉斗鱼网络科技有限公司 一种MySQL慢查询语句自动优化方法、计算机设备和存储介质
CN110297814A (zh) * 2019-05-22 2019-10-01 中国平安人寿保险股份有限公司 数据库操作的性能监控方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271360A1 (en) * 2008-04-25 2009-10-29 Bestgen Robert J Assigning Plan Volatility Scores to Control Reoptimization Frequency and Number of Stored Reoptimization Plans
CN107463485B (zh) * 2017-06-26 2020-11-10 北京五八信息技术有限公司 基于方法栈的日志获取方法、装置和终端
CN107632920A (zh) * 2017-09-16 2018-01-26 广西电网有限责任公司电力科学研究院 一种输变电设备监测装置深度监控方法
CN112835921B (zh) * 2021-01-27 2024-03-19 北京达佳互联信息技术有限公司 慢查询处理方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509530A (zh) * 2018-03-14 2018-09-07 武汉斗鱼网络科技有限公司 一种MySQL慢查询语句自动优化方法、计算机设备和存储介质
CN110297814A (zh) * 2019-05-22 2019-10-01 中国平安人寿保险股份有限公司 数据库操作的性能监控方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113360357A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN110334241B (zh) 客服录音的质检方法、装置、设备及计算机可读存储介质
US8619084B2 (en) Dynamic adaptive process discovery and compliance
US20170315855A1 (en) Method of detecting anomalies on appliances and system thereof
US11481707B2 (en) Risk prediction system and operation method thereof
CN108710662B (zh) 语言转换方法和装置、存储介质、数据查询系统和方法
US11556838B2 (en) Efficient data relationship mining using machine learning
US11868346B2 (en) Automated linear clustering recommendation for database zone maps
CN113360357B (zh) 数据监控方法、系统及设备
CN113141276A (zh) 一种基于知识图谱的信息安全方法
CN110766100A (zh) 轴承故障诊断模型构建方法、诊断方法及电子设备
CN114419631A (zh) 一种基于rpa的网管虚拟系统
CN116781330A (zh) 一种改进型贝叶斯理论的sql注入检测方法和电子设备
Ameri et al. On a new approach to the index selection problem using mining algorithms
CN114816962A (zh) 基于attention-lstm的网络故障预测方法
CN111798237B (zh) 基于应用日志的异常交易诊断方法及系统
CN111221704B (zh) 一种确定办公管理应用系统运行状态的方法及系统
CN113742116A (zh) 一种异常定位方法及装置、设备、存储介质
JP2009245353A (ja) 情報処理システムおよび情報処理方法
KR102395550B1 (ko) 기밀정보 분석 방법 및 장치
CN116227995B (zh) 一种基于机器学习的指标分析方法及系统
CN116108138B (zh) 临床研究数据处理方法、装置、设备及存储介质
EP4339845A1 (en) Method, apparatus and electronic device for detecting data anomalies, and readable storage medium
JP2009245351A (ja) 情報処理システムおよび情報処理方法
KR100884889B1 (ko) 검색 데이터베이스의 자동 색인어 추가 방법 및 시스템
KR102375133B1 (ko) 다변량 시계열 모니터링 시스템에서의 알람정보 분석 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant