CN113032277A - 数据查询监测方法、装置、电子设备和存储介质 - Google Patents

数据查询监测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113032277A
CN113032277A CN202110414424.2A CN202110414424A CN113032277A CN 113032277 A CN113032277 A CN 113032277A CN 202110414424 A CN202110414424 A CN 202110414424A CN 113032277 A CN113032277 A CN 113032277A
Authority
CN
China
Prior art keywords
data
query statement
query
database
implicit conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110414424.2A
Other languages
English (en)
Inventor
余聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Network Technology Shanghai Co Ltd
Original Assignee
Ctrip Travel Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Network Technology Shanghai Co Ltd filed Critical Ctrip Travel Network Technology Shanghai Co Ltd
Priority to CN202110414424.2A priority Critical patent/CN113032277A/zh
Publication of CN113032277A publication Critical patent/CN113032277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域，提供一种数据查询监测方法、装置、电子设备和存储介质。所述数据查询监测方法包括：在一应用服务的测试过程中，实时获取所述应用服务的查询语句的执行计划；解析所述执行计划，判断所述查询语句是否需要隐式转换；若是，获得包含所述查询语句的隐式转换信息；以及，监测数据库执行所述查询语句的性能消耗数据，根据所述隐式转换信息和所述性能消耗数据，生成报警信息推送至所述应用服务的测试端。本发明通过在应用服务的测试过程中自动检测查询语句是否存在隐式转换，高效提早识别风险，避免存在隐式转换的查询语句发布至生产环境后而对线上数据库造成冲击，能够确保数据库的稳定性。

Description

数据查询监测方法、装置、电子设备和存储介质
技术领域
本发明涉及数据处理技术领域，具体地说，涉及一种数据查询监测方法、装置、电子设备和存储介质。
背景技术
SQL(Structured Query Language，结构化查询语言)查询语句可用于对关系型数据库(如SQL Server)进行数据查询。
当SQL查询语句中的数据类型与数据库中的实际数据类型不一致，通常是在WHERE子句或JOIN子句中遇到两个不同数据类型比较时，就会涉及到隐式转换，占用数据库大量的CPU(Central Processing Unit，中央处理器)资源、IO(Input/Output，输入输出)资源和内存。
举例来说，数据库的数据表结构中某个字段的数据类型为varchar(20)类型，而SQL查询语句的WHERE条件中该字段的数据类型为nvarchar(20)，两个数据类型不一致，就会在数据查询时引发隐式转换。隐式转换对数据库的性能影响非常大，尤其是在高并发大数据表查询的场景中，会对数据库的性能产生极大的冲击，影响数据库稳定性。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种数据查询监测方法、装置、电子设备和存储介质，能够在应用服务的测试过程中，自动检测查询语句是否存在隐式转换，高效提早识别风险，确保数据库的稳定性。
本发明的一个方面提供一种数据查询监测方法，包括：在一应用服务的测试过程中，实时获取所述应用服务的查询语句的执行计划；解析所述执行计划，判断所述查询语句是否需要隐式转换；若是，获得包含所述查询语句的隐式转换信息；以及，监测数据库执行所述查询语句的性能消耗数据，根据所述隐式转换信息和所述性能消耗数据，生成报警信息推送至所述应用服务的测试端。
在一些实施例中，所述隐式转换信息还包括：所述查询语句的请求服务器及账号信息；所述查询语句中需要隐式转换的目标字段；以及，所述目标字段在所述数据库中的目标数据类型。
在一些实施例中，所述性能消耗数据包括所述数据库执行所述查询语句的IO消耗数据、CPU消耗数据和执行时间。
在一些实施例中，监测所述数据库执行所述查询语句的性能消耗数据之前，还包括：获得所述数据库执行所述查询语句的各项性能的预估消耗数据；判断是否有至少一项性能的预估消耗数据超过对应的风险阈值；若是，拦截所述查询语句的执行，并根据所述隐式转换信息和所述预估消耗数据生成所述报警信息。
在一些实施例中，获得所述数据库执行所述查询语句的各项性能的预估消耗数据，包括：根据所述目标字段在所述数据库中的存储位置，获得所述目标字段所在数据表的对应列的数据量，作为待转换数据量；自转换数据量与消耗数据的映射关系中，获得对应所述待转换数据量的所述预估消耗数据。
在一些实施例中，所述查询语句为SQL查询语句，解析所述执行计划时，若所述执行计划中存在CONVERT_IMPLICIT语句，则判断所述查询语句需要隐式转换。
在一些实施例中，当判断所述查询语句需要隐式转换，还包括：拦截所述应用服务的发布。
本发明的另一个方面提供一种数据查询监测装置，包括：执行计划获取模块，用于在一应用服务的测试过程中，实时获取所述应用服务的查询语句的执行计划；隐式转换检测模块，用于解析所述执行计划，判断所述查询语句是否需要隐式转换；转换信息获取模块，用于当判断所述查询语句需要隐式转换，获得包含所述查询语句的隐式转换信息；以及报警信息推送模块，用于监测数据库执行所述查询语句的性能消耗数据，根据所述隐式转换信息和所述性能消耗数据，生成报警信息推送至所述应用服务的测试端。
本发明的又一个方面提供一种电子设备，包括：一处理器；一存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现上述任意实施例所述的数据查询监测方法。
本发明的再一个方面提供一种计算机可读的存储介质，用于存储程序，所述程序被执行时实现上述任意实施例所述的数据查询监测方法。
本发明与现有技术相比的有益效果至少包括：
本发明在应用服务的测试过程中，自动检测查询语句是否存在隐式转换，高效提早识别风险，能够避免查询语句发布至生产环境后，由于隐式转换开销而导致数据库性能异常，使数据库查询速度更快，服务性能更稳定。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明实施例中数据查询监测方法的步骤示意图；
图2示出本发明实施例中对一条查询语句进行检测的步骤示意图；
图3示出本发明又一实施例中数据查询监测方法的步骤示意图；
图4示出本发明实施例中数据查询监测装置的模块示意图；
图5示出本发明实施例中电子设备的结构示意图；
图6示出本发明实施例中计算机可读的存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本发明全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
此外，附图中所示的流程仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤可以分解，有的步骤可以合并或部分合并，且实际执行的顺序有可能根据实际情况改变。需要说明的是，在不冲突的情况下，本发明的实施例及不同实施例中的特征可以相互组合。
图1示出实施例中数据查询监测方法的主要步骤，参照图1所示，本实施例中数据查询监测方法包括：步骤S110，在一应用服务的测试过程中，实时获取应用服务的查询语句的执行计划；步骤S120，解析执行计划，判断查询语句是否需要隐式转换；若是，执行步骤S130，获得包含查询语句的隐式转换信息；若否，返回继续获取数据库中更新的执行计划，对数据库的数据查询进行持续监测；步骤S140，监测数据库执行查询语句的性能消耗数据，根据隐式转换信息和性能消耗数据，生成报警信息推送至应用服务的测试端；之后，返回继续获取数据库中更新的执行计划，对数据库的数据查询进行持续监测。
上述的数据查询监测方法，在应用服务的测试过程中，自动检测查询语句是否存在隐式转换，无需人工进行类型一致性检查，能够高效提早识别风险；在测试环境进行检测，对存在隐式转换的查询语句进行拦截和报警，能够避免查询语句发布至生产环境后，由于隐式转换开销而导致数据库性能异常，避免对线上数据库造成冲击，确保不影响线上数据库的稳定性；采用上述的数据查询监测方法，能够使数据库查询速度更快，服务性能更稳定。
下面结合具体的示例，对数据查询监测方法进行详细说明。
在一个实施例中，数据查询监测方法对应的检测程序可以部署在测试环境中的一台普通双核服务器上，实时地对正在测试的应用服务访问的数据库服务器进行查询语句隐式转换检测，当检测到存在隐式转换的查询语句时及时通知数据库管理员和对应的应用服务的开发人员，在故障发生之前优化这些查询语句，以避免因查询语句隐式转换而导致的数据库故障。
查询语句具体是指SQL查询语句。SQL查询语句在传入到数据库正式执行前，会生成执行计划。执行计划缓存在数据库的内存空间中，直到被新的执行计划覆盖。通过实时截取所有的数据库中缓存的执行计划，对XML格式的执行计划进行解析，判断查询语句是否需要隐式转换。具体地，可以判断执行计划中是否存在CONVERT_IMPLICIT语句，若存在则确定查询语句需要隐式转换。
当确定查询语句需要隐式转换，获得隐式转换信息，具体包括：该需要隐式转换的查询语句；查询语句的请求服务器及账号信息，发出查询语句的请求服务器及账号来源的相关信息会携带在查询语句中；该查询语句的开发团队；查询语句中需要隐式转换的目标字段；以及查询数据库，获得目标字段在数据库中的正确的目标数据类型。该些隐式转换信息可供后续生成报警信息用，使相关人员接收到报警信息后，能快速定位具体需要改进的查询语句。
进一步地，对数据库执行该需要隐式转换的查询语句的资源消耗情况进行监测，获得数据库执行该查询语句的性能消耗数据，具体包括：数据库执行查询语句的IO消耗数据、CPU消耗数据和执行时间。另外，可收集应用服务的测试过程中数据库执行各查询语句的总性能消耗数据，通过将需要隐式转换的查询语句对应的Query_Hash与各查询语句对应的Query_Hash进行比对，获得需要隐式转换的查询语句对数据库的各项性能的消耗占比，以此评估数据库执行需要隐式转换的查询语句时对其各项性能的影响。
获得隐式转换信息和性能消耗数据后，生成报警信息及时通知相关的开发人员，促使其调整查询语句传入的参数类型。
在图1所示数据查询监测方法的基础上，图2示出实施例中对一条查询语句进行检测的主要步骤，参照图2所示，包括：步骤S210，获取数据库中的SQL查询语句的执行计划；步骤S220，判断SQL查询语句是否需要隐式转换；若否可结束对该条查询语句的检测，若是则继续执行：步骤S230-a，提取隐式转换的目标字段及错误的数据类型；步骤S230-b，查询数据库中目标字段的正确的数据类型，并获得隐式转换信息；步骤S240-a，监测数据库执行该SQL查询语句的各项性能消耗数据，并获得该SQL查询语句对数据库的各项性能的消耗占比；步骤S240-b，综合隐式转换信息和消耗占比信息，生成报警信息进行推送。报警信息可通过邮件方式进行推送。
一个具体的报警案例例如：
/
*IO_Percent:21％
*CPU_Percent:28％
*Exec_Time_Percent:27％
*Query_Hash:0xf04b1564c1c8cf07
*Login_Name:app_123456
*Data:(2020/12/1900:00:00～2020/12/1912:00:00)
#下面传递参数存在隐式类型转换#
*Column_Type:
DemoDB..DemoTable.Column1:varchar(40)
DemoDB..DemoTable.Column2:varchar(20)
*Parameters:
@Column1Val:N'100001234'传入类型Nvarchar(40)
@Column2Val:N'50_ACB_800'传入类型Nvarchar(20)
/
其中，对USE DemoDB的SQL查询语句例如：SELECT*FROM DemoTable(nolock)WHEREColumn1＝@Column1Val AND Column2＝@Column2Val。
在图1所示数据查询监测方法的基础上，图3示出又一实施例中数据查询监测方法的主要步骤，参照图3所示，本实施例中，在步骤S140监测数据库执行查询语句的性能消耗数据之前，还包括：步骤S310，获得数据库执行查询语句的各项性能的预估消耗数据；步骤S320，判断是否有至少一项性能的预估消耗数据超过对应的风险阈值；若是则执行步骤S330，拦截查询语句的执行，并根据隐式转换信息和预估消耗数据生成报警信息；若否则执行步骤S140。
获得数据库执行查询语句的预估消耗数据的过程具体包括：首先根据目标字段在数据库中的存储位置，获得目标字段所在数据表的对应列的数据量，作为待转换数据量；例如，若目标字段在数据库中的存储位置是一张数据表的列名，则隐式转换操作需要对该目标字段对应的列的所有字段进行数据类型转换，因此待转换数据量即目标字段在数据表中的对应列的数据量。再自转换数据量与消耗数据的映射关系中，获得对应待转换数据量的预估消耗数据；可以根据历史收集数据，获得转换数据量与数据库的各项性能的消耗数据的对应关系，形成映射关系表，以供预估当前的待转换数据量对应的预估消耗数据，具体可获得预估IO消耗数据、预估CPU消耗数据和预估执行时间。
接着，判断各项性能的预估消耗数据是否超过对应的风险阈值，若有任意一项或多项性能的预估消耗数据超过对应的风险阈值，则拦截该查询语句的执行，以避免造成数据库崩溃，确保数据库的其他服务能够正常运行。根据隐式转换信息和预估消耗数据生成报警信息，提醒相关开发人员及时改进查询语句后，可继续应用服务的测试过程。
进一步地，在上述各实施例中，当判断查询语句需要隐式转换，数据查询监测方法还包括：拦截应用服务的发布。在测试环境中，当发现有隐式转换的查询语句，则关联对应的应用服务，在发布系统中，禁止该应用服务发布到生产环境，以避免对线上数据库造成影响。
综上，上述的数据查询监测方法，在应用服务的测试过程中，自动检测查询语句是否存在隐式转换，无需人工进行类型一致性检查，能够高效提早识别风险；在测试环境进行检测，对存在隐式转换的查询语句进行拦截和报警，能够避免查询语句发布至生产环境后，由于隐式转换开销而导致数据库性能异常，避免对线上数据库造成冲击，确保不影响线上数据库的稳定性；采用上述的数据查询监测方法，能够使数据库查询速度更快，服务性能更稳定。
本发明实施例还提供一种数据查询监测装置，可用于实现上述任意实施例描述的数据查询监测方法。上述任意实施例描述的数据查询监测方法的特征和原理均可应用至下面的数据查询监测装置实施例。在下面的数据查询监测装置实施例中，对已经阐明的关于数据查询监测的特征和原理不再重复说明。
图4示出实施例中数据查询监测装置的主要模块，参照图4所示，本实施例中数据查询监测装置400包括：执行计划获取模块410，用于在一应用服务的测试过程中，实时获取应用服务的查询语句的执行计划；隐式转换检测模块420，用于解析执行计划，判断查询语句是否需要隐式转换；转换信息获取模块430，用于当判断查询语句需要隐式转换，获得包含查询语句的隐式转换信息；以及报警信息推送模块440，用于监测数据库执行查询语句的性能消耗数据，根据隐式转换信息和性能消耗数据，生成报警信息推送至应用服务的测试端。
进一步地，数据查询监测装置400还可包括实现上述各数据查询监测方法实施例的其他流程步骤的模块，各个模块的具体原理可参照上述各数据查询监测方法实施例的描述，此处不再重复说明。
上述的数据查询监测装置可部署在测试环境中的一台普通双核服务器上，实时地对正在测试的应用服务访问的数据库服务器进行查询语句隐式转换检测，当检测到存在隐式转换的查询语句时及时通知数据库管理员和对应的应用服务的开发人员，在故障发生之前优化这些查询语句，以避免因查询语句隐式转换而导致的数据库故障。
上述的数据查询监测装置，在应用服务的测试过程中，自动检测查询语句是否存在隐式转换，无需人工进行类型一致性检查，能够高效提早识别风险；在测试环境进行检测，对存在隐式转换的查询语句进行拦截和报警，能够避免查询语句发布至生产环境后，由于隐式转换开销而导致数据库性能异常，避免对线上数据库造成冲击，确保不影响线上数据库的稳定性；采用上述的数据查询监测方法，能够使数据库查询速度更快，服务性能更稳定。
本发明实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，可执行指令被处理器执行时，实现上述任意实施例描述的数据查询监测方法。
如上所述，本发明的电子设备能够在应用服务的测试过程中，自动检测查询语句是否存在隐式转换，无需人工进行类型一致性检查，能够高效提早识别风险；在测试环境进行检测，对存在隐式转换的查询语句进行拦截和报警，能够避免查询语句发布至生产环境后，由于隐式转换开销而导致数据库性能异常，避免对线上数据库造成冲击，确保不影响线上数据库的稳定性；采用上述的数据查询监测方法，能够使数据库查询速度更快，服务性能更稳定。
图5是本发明实施例中电子设备的结构示意图，应当理解的是，图5仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行上述任意实施例描述的数据查询监测方法的步骤。例如，处理单元610可以执行如图1至图3所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一个或多个程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700通信，外部设备700可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备700使得用户能与该电子设备600进行交互通信。电子设备600也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读的存储介质，用于存储程序，程序被执行时实现上述任意实施例描述的数据查询监测方法。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述任意实施例描述的数据查询监测方法。
如上所述，本发明的计算机可读的存储介质能够在应用服务的测试过程中，自动检测查询语句是否存在隐式转换，无需人工进行类型一致性检查，能够高效提早识别风险；在测试环境进行检测，对存在隐式转换的查询语句进行拦截和报警，能够避免查询语句发布至生产环境后，由于隐式转换开销而导致数据库性能异常，避免对线上数据库造成冲击，确保不影响线上数据库的稳定性；采用上述的数据查询监测方法，能够使数据库查询速度更快，服务性能更稳定。
图6是本发明的计算机可读的存储介质的结构示意图。参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读的存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种数据查询监测方法，其特征在于，包括：
在一应用服务的测试过程中，实时获取所述应用服务的查询语句的执行计划；
解析所述执行计划，判断所述查询语句是否需要隐式转换；
若是，获得包含所述查询语句的隐式转换信息；以及
监测数据库执行所述查询语句的性能消耗数据，根据所述隐式转换信息和所述性能消耗数据，生成报警信息推送至所述应用服务的测试端。
2.如权利要求1所述的数据查询监测方法，其特征在于，所述隐式转换信息还包括：
所述查询语句的请求服务器及账号信息；
所述查询语句中需要隐式转换的目标字段；以及
所述目标字段在所述数据库中的目标数据类型。
3.如权利要求2所述的数据查询监测方法，其特征在于，所述性能消耗数据包括所述数据库执行所述查询语句的IO消耗数据、CPU消耗数据和执行时间。
4.如权利要求3所述的数据查询监测方法，其特征在于，监测所述数据库执行所述查询语句的性能消耗数据之前，还包括：
获得所述数据库执行所述查询语句的各项性能的预估消耗数据；
判断是否有至少一项性能的预估消耗数据超过对应的风险阈值；
若是，拦截所述查询语句的执行，并根据所述隐式转换信息和所述预估消耗数据生成所述报警信息。
5.如权利要求4所述的数据查询监测方法，其特征在于，获得所述数据库执行所述查询语句的各项性能的预估消耗数据，包括：
根据所述目标字段在所述数据库中的存储位置，获得所述目标字段所在数据表的对应列的数据量，作为待转换数据量；
自转换数据量与消耗数据的映射关系中，获得对应所述待转换数据量的所述预估消耗数据。
6.如权利要求1所述的数据查询监测方法，其特征在于，所述查询语句为SQL查询语句，解析所述执行计划时，若所述执行计划中存在CONVERT_IMPLICIT语句，则判断所述查询语句需要隐式转换。
7.如权利要求1所述的数据查询监测方法，其特征在于，当判断所述查询语句需要隐式转换，还包括：
拦截所述应用服务的发布。
8.一种数据查询监测装置，其特征在于，包括：
执行计划获取模块，用于在一应用服务的测试过程中，实时获取所述应用服务的查询语句的执行计划；
隐式转换检测模块，用于解析所述执行计划，判断所述查询语句是否需要隐式转换；
转换信息获取模块，用于当判断所述查询语句需要隐式转换，获得包含所述查询语句的隐式转换信息；以及
报警信息推送模块，用于监测数据库执行所述查询语句的性能消耗数据，根据所述隐式转换信息和所述性能消耗数据，生成报警信息推送至所述应用服务的测试端。
9.一种电子设备，其特征在于，包括：
一处理器；
一存储器，所述存储器中存储有可执行指令；
其中，所述可执行指令被所述处理器执行时，实现如权利要求1-7任一项所述的数据查询监测方法。
10.一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被执行时实现如权利要求1-7任一项所述的数据查询监测方法。
CN202110414424.2A 2021-04-16 2021-04-16 数据查询监测方法、装置、电子设备和存储介质 Pending CN113032277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110414424.2A CN113032277A (zh) 2021-04-16 2021-04-16 数据查询监测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110414424.2A CN113032277A (zh) 2021-04-16 2021-04-16 数据查询监测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113032277A true CN113032277A (zh) 2021-06-25

Family

ID=76456761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110414424.2A Pending CN113032277A (zh) 2021-04-16 2021-04-16 数据查询监测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113032277A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463642A (zh) * 2017-07-19 2017-12-12 北京京东尚科信息技术有限公司 提升数据仓库工具资源利用率的方法和装置
US20180218038A1 (en) * 2017-01-30 2018-08-02 International Business Machines Corportation Database optimization based on forecasting hardware statistics using data mining techniques
CN108460079A (zh) * 2018-01-08 2018-08-28 平安科技（深圳）有限公司 数据库监控方法、装置、终端设备及存储介质
CN110362404A (zh) * 2019-06-28 2019-10-22 北京淇瑀信息科技有限公司 一种基于sql的资源分配方法、装置和电子设备
CN112395305A (zh) * 2020-11-11 2021-02-23 中国人寿保险股份有限公司 一种sql语句分析方法、装置、电子设备及存储介质
CN112506893A (zh) * 2020-12-04 2021-03-16 苏州浪潮智能科技有限公司 一种sql预执行优化的方法、装置、设备及可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180218038A1 (en) * 2017-01-30 2018-08-02 International Business Machines Corportation Database optimization based on forecasting hardware statistics using data mining techniques
CN107463642A (zh) * 2017-07-19 2017-12-12 北京京东尚科信息技术有限公司 提升数据仓库工具资源利用率的方法和装置
CN108460079A (zh) * 2018-01-08 2018-08-28 平安科技（深圳）有限公司 数据库监控方法、装置、终端设备及存储介质
CN110362404A (zh) * 2019-06-28 2019-10-22 北京淇瑀信息科技有限公司 一种基于sql的资源分配方法、装置和电子设备
CN112395305A (zh) * 2020-11-11 2021-02-23 中国人寿保险股份有限公司 一种sql语句分析方法、装置、电子设备及存储介质
CN112506893A (zh) * 2020-12-04 2021-03-16 苏州浪潮智能科技有限公司 一种sql预执行优化的方法、装置、设备及可读介质

Similar Documents

Publication Publication Date Title
US9529662B1 (en) Dynamic rule-based automatic crash dump analyzer
US8156473B2 (en) Model oriented debugging
CN108776696B (zh) 节点配置方法及装置、存储介质和电子设备
US11200051B2 (en) Creation and execution of customised code for a data processing platform
CN111309343B (zh) 一种开发部署方法及装置
CN110287117A (zh) RESTful接口测试方法、系统、设备及存储介质
JP6419081B2 (ja) トランスフォーム生成システム
CN116502273B (zh) 基于数据血缘的动态数据脱敏方法、装置和设备
CN115757483A (zh) 一种自动化测试方法、装置、电子设备和存储介质
CN112256577A (zh) 配置文件差异校验方法、装置、设备及存储介质
CN113287096A (zh) 用于失败代码验证的测试结果分类
CN112363938A (zh) 数据处理方法、装置、电子设备和存储介质
CN111949549A (zh) 测试请求筛选方法、系统、电子设备和存储介质
US20130124971A1 (en) Real time web script refresh using asynchronous polling without full web page reload
CN109582528B (zh) 状态监测方法、装置、电子设备及计算机可读存储介质
CN110716912A (zh) 一种sql性能检测方法及服务器
Sun et al. Propagating bug fixes with fast subgraph matching
US20140372488A1 (en) Generating database processes from process models
CN113032277A (zh) 数据查询监测方法、装置、电子设备和存储介质
CN116414855A (zh) 信息处理方法及装置、电子设备和计算机可读存储介质
CN113901094B (zh) 一种数据处理方法、装置、设备及存储介质
CN109460416A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN114706856A (zh) 故障处理方法及装置、电子设备和计算机可读存储介质
CN114218313A (zh) 数据管理方法、装置、电子设备、存储介质及产品
CN113626423A (zh) 业务数据库的日志管理方法、装置、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination