CN112818049B - 一种信息系统性能全链路分析系统及其方法 - Google Patents

Abstract

本发明涉及一种信息系统性能全链路分析系统及其方法，该系统中，数据库端和应用端分别连接有对应的性能管理模块，两个性能管理模块均连接至数据采集单元，数据采集单元依次与标识解析单元、分析单元连接，应用端用于对数据库语句进行动态分级标识；数据库用于执行来自应用端的数据库语句；数据采集单元用于分别从两个性能管理模块采集数据库性能数据和应用性能数据；标识解析单元用于解析并记录采集数据中的各级标识；分析单元根据标识解析单元输出的各级标识，将应用端与数据库端执行信息进行关联，以完成全链路分析过程，得到对应的性能分析结果。与现有技术相比，本发明通过跨数据库与应用地语句标识管理关联，能够实现全链路的性能分析。

Description

一种信息系统性能全链路分析系统及其方法

技术领域

本发明涉及信息系统性能分析技术领域，尤其是涉及一种信息系统性能全链路分析系统及其方法。

背景技术

随着计算机技术和网络技术的普及与广泛应用，数据库技术也得到了长足发展，并成为现代计算机信息与应用系统的核心基础技术。由于用户规模和应用范围不断扩展，由此带来的系统性能问题也越来越突出，因此，有必要对整个信息系统性能进行分析，以确保数据库和业务系统稳定、高效地运行。

应用程序对数据库的操作，最终体现在数据库语句对数据库的操作，可以说，数据库语句的执行效率决定了数据库的性能。数据库语句是数据输入、输出与管理的命令，也是外部应用程序调用数据库执行查询、插入、修改、删除、事务控制、数据库控制的载体。对关系型数据库而言，其语句通常是SQL(Structured Query Language，结构化查询语言)，对非关系型数据库而言，其同样有类似的相应数据库语句。

目前分析数据库性能时，大多分别从数据库端或者应用端入手，数据库端主要采用慢语句(执行时长较长的语句)或者TOP语句(资源开销或某项指标排名靠前的语句，例如物理读量、CPU使用率)方法来定位分析，应用端性能分析系统可以获取应用内部各方法间或方法内的时间分布，等待信息，异常信息，但无法获取数据库内部的执行情况，只能获取语句开始执行到语句执行完毕的时间差。数据库端性能分析系统则可以捕获每次语句执行的内部时长分布、资源开销分布、等待事件等信息。

上述现有分析方法存在以下不足：

1、无法建立应用端与数据端的信息关联，即应用端的数据库语句执行信息无法与数据库端的语句执行信息关联对应，无法实现真正的全链路监控与分析；

2、嵌入语句的标识会因不断变化，导致业务高峰时出现性能问题，不能实现性能的无损影响；

3、无法实现在集群环境中跨应用服务器、跨数据库节点综合分析。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种信息系统性能全链路分析系统及其方法，以实现应用端与数据库端的全链路分析。

本发明的目的可以通过以下技术方案来实现：一种信息系统性能全链路分析系统，包括数据库端和应用端，所述应用端与数据库端连接，所述数据库端连接有数据库性能管理模块，所述应用端连接有应用端性能管理模块，所述数据库性能管理模块和应用端性能管理模块均连接至数据采集单元，所述数据采集单元与标识解析单元连接，所述标识解析单元与分析单元连接，所述应用端用于对数据库语句进行动态分级标识，以及将应用性能数据传输给应用端性能管理模块；

所述数据库用于执行来自应用端的数据库语句，以及将数据库性能数据传输给数据库性能管理模块；

所述数据库性能管理模块用于实时更新存储数据库性能数据；

所述应用端性能管理模块用于实时更新存储应用性能数据；

所述数据采集单元用于分别从数据库性能管理模块采集数据库性能数据、从应用端性能管理模块采集应用性能数据；

所述标识解析单元用于解析并记录数据库性能数据以及应用性能数据中的各级标识；

所述分析单元根据标识解析单元输出的各级标识，将应用端与数据库端执行信息进行关联，以完成全链路分析过程，得到对应的性能分析结果。

进一步地，所述应用端设置有动态分级标识单元，所述动态分级标识单元用于对数据库语句构建四级标识，所述四级标识包括语句级标识、程序级标识、运行级标识和业务级标识。

进一步地，所述动态分级标识单元具体是根据用户配置在线动态调整各级标识的开关，如在日常生产中打开部分标识，在发生异常时打开全部标识。

进一步地，所述应用性能数据包括含有分级标识信息的数据库语句以及应用端执行信息；

所述数据库性能数据包括含有分级标识信息的数据库端语句以及数据库端执行信息。

进一步地，所述数据采集单元连接有本地数据库，所述本地数据库用于存储采集的数据库性能数据和应用性能数据。

进一步地，所述数据采集单元具体是根据预设的采集频率和采集范围进行数据采集。

进一步地，所述分析单元包括应用端性能分析子单元和数据库端性能分析子单元，所述应用端性能分析子单元用于根据标识解析单元输出的各级标识，以查询语句在数据库端执行信息；

所述数据库端性能分析子单元用于根据标识解析单元输出的各级标识，以查询语句所述的功能、模块、系统及其应用端执行信息。

一种信息系统全链路分析方法，包括以下步骤：

S1、应用端对数据库语句进行动态分级标识，之后将含有分级标识信息的数据库语句发送给数据库端；

S2、数据库端执行语句，执行完毕后，应用端将应用性能数据传输给应用端性能管理模块、数据库端将数据库性能数据传输给数据库性能管理模块，其中，应用性能数据包括含有分级标识信息的数据库语句以及应用端执行信息，数据库性能数据包括含有分级标识信息的数据库端语句以及数据库端执行信息；

S3、数据采集单元分别从应用端性能管理模块获取应用性能数据、从数据库性能管理模块获取数据库性能数据；

S4、标识解析单元对数据采集单元采集的数据进行解析，以得到各级标识并记录；

S5、分析单元根据标识解析单元输出的各级标识，将应用端与数据库端执行信息进行关联，以完成全链路分析过程，得到对应的性能分析结果。

进一步地，所述步骤S1中应用端对数据库语句进行动态分级标识的具体过程为：

S11、按语句文本内容，为每一条相同文本的语句做一个相同的全局唯一的语句级标识，不同文本语句的语句标识不相同；

S12、按应用功能模块信息，建立程序级标识；

S13、按服务器运行信息，建立运行级标识；

S14、按业务交易号进行业务级标识；

进一步地，所述语句标识、程序级标识和运行级标识均以语句注释的方式直接嵌入语句文本中；

所述业务级标识以绑定变量的形式进行传递。

与现有技术相比，本发明具有以下优点：

一、本发明利用应用端对数据库语句进行动态分级标识，并设置用于更新存储应用端性能数据的应用端性能管理模块、用于更新存储数据库性能数据的数据库性能管理模块，结合数据采集单元进行数据采集、标识解析单元解析并记录语句内的各级标识、分析单元根据各级标识将应用端与数据库端执行信息进行关联，使得应用端能够通过各级标识查询到语句在数据库端执行信息，数据端能够通过各级标识获取语句所属的功能、模块、系统及其应用端执行信息，从而可靠地实现应用端与数据库端的全链路分析。

二、本发明在当前数据库执行信息、应用执行信息的基础上，通过在应用端对语句进行动态分级标识并将含有标识信息的数据库语句传输给数据库端、标识解析单元对语句进行标识解析、分析单元根据解析的各级标识完成应用端与数据库端执行信息的关联，以此实现跨数据库与应用的语句标识管理，能够方便、快速、准确地找到集群内的相同语句，能够实现在集群环境中跨应用服务器、跨数据库节点综合分析。

三、本发明针对数据库语句进行动态分级标识，使得数据库在执行相同文本内容的语句时只需进行软解析，以减少资源开销；本发明将变化缓慢的标识信息(语句标识、程序级标识和运行级标识)以语句注释形式嵌入语句文本，能够够维持较好的可读性，将快速不断变化的标识信息(业务级标识)以绑定变量的形式传递给数据库端，数据库端通过还原绑定变量信息即可获取标识，能够避免数据库端后续执行语句时需要进行硬解析的问题，从而避免业务高峰时发生性能问题。

附图说明

图1为本发明的系统结构示意图；

图2为实施例中的系统架构示意图；

图3为实施例中的全链路分析流程示意图；

图中标记说明：1、数据库端，2、应用端，3、数据库性能管理模块，4、应用端性能管理模块，5、数据采集单元，6、标识解析单元，7、分析单元，201、动态分级标识单元，701、数据库端性能分析子单元，702、应用端性能分析子单元。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种信息系统性能全链路分析系统，包括数据库端1和应用端2，应用端2与数据库端1连接，数据库端1连接有数据库性能管理模块3，应用端2连接有应用端性能管理模块4，数据库性能管理模块3和应用端性能管理模块4均连接至数据采集单元5，数据采集单元5与标识解析单元6连接，标识解析单元6与分析单元7连接，其中，应用端2用于对数据库语句进行动态分级标识，以及将应用性能数据传输给应用端性能管理模块4；

数据库1用于执行来自应用端2的数据库语句，以及将数据库性能数据传输给数据库性能管理模块3；

数据库性能管理模块3用于实时更新存储数据库性能数据，数据库性能数据包括含有分级标识信息的数据库端语句以及数据库端执行信息；

应用端性能管理模块4用于实时更新存储应用性能数据，应用性能数据包括含有分级标识信息的数据库语句以及应用端执行信息；

数据采集单元5用于分别从数据库性能管理模块3采集数据库性能数据、从应用端性能管理模块4采集应用性能数据；

标识解析单元6用于解析并记录数据库性能数据以及应用性能数据中的各级标识；

分析单元7根据标识解析单元输6出的各级标识，将应用端2与数据库端1执行信息进行关联，以完成全链路分析过程，得到对应的性能分析结果。

具体的，应用端2设置有动态分级标识单元201，动态分级标识单元201用于对数据库语句构建四级标识，四级标识包括语句级标识、程序级标识、运行级标识和业务级标识，动态分级标识单元具体是根据用户配置在线动态调整各级标识的开关，如在日常生产中打开部分标识，在发生异常时打开全部标识。

数据采集单元5具体是根据预设的采集频率和采集范围进行数据采集，此外，在实际应用中，数据采集单元5连接有本地数据库，本地数据库用于存储采集的数据库性能数据和应用性能数据。

分析单元7包括应用端性能分析子单元702和数据库端性能分析子单元701，应用端性能分析子单元702用于根据标识解析单元6输出的各级标识，以查询语句在数据库端1执行信息；

数据库端性能分析子单元701用于根据标识解析单元6输出的各级标识，以查询语句的功能、模块、系统及其应用端2执行信息。

将上述信息系统全链路分析应用于实际，其具体的信息系统全链路分析方法包括以下步骤：

S1、应用端对数据库语句进行动态分级标识，之后将含有分级标识信息的数据库语句发送给数据库端，具体的，在进行动态分级标识时，按语句文本内容，为每一条相同文本的语句做一个相同的全局唯一的语句级标识，不同文本语句的语句标识不相同；

按应用功能模块信息，建立程序级标识；

按服务器运行信息，建立运行级标识；

按业务交易号进行业务级标识；

其中，语句标识、程序级标识和运行级标识均以语句注释的方式直接嵌入语句文本中；业务级标识则以绑定变量的形式进行传递；

S2、数据库端执行语句，执行完毕后，应用端将应用性能数据传输给应用端性能管理模块、数据库端将数据库性能数据传输给数据库性能管理模块，其中，应用性能数据包括含有分级标识信息的数据库语句以及应用端执行信息，数据库性能数据包括含有分级标识信息的数据库端语句以及数据库端执行信息；

S3、数据采集单元分别从应用端性能管理模块获取应用性能数据、从数据库性能管理模块获取数据库性能数据；

S4、标识解析单元对数据采集单元采集的数据进行解析，以得到各级标识并记录；

S5、分析单元根据标识解析单元输出的各级标识，将应用端与数据库端执行信息进行关联，以完成全链路分析过程，得到对应的性能分析结果。

本实施例中，构建的信息系统全链路分析系统架构如图2所示，在业务应用层，部署有应用端和数据库端，应用端和数据库端分别将各自的性能数据传输至基础性能数据层，再由数据采集单元采集基础性能数据层存储的数据、并传输至数据层，在数据层内，分别对应存储应用性能信息、数据库性能信息、SQL文本及绑定变量(含动态分级标识)、数据库生成的唯一标识，数据层与应用层相互连接，应用层内部署有动态分级标识单元、数据采集单元、标识解析单元和分析单元，其中，动态分级标识单元：在应用端进行分级标识，包括：按语句文本内容，为每一条相同文本的语句做一个相同的全局唯一的语句级标识(不包括其他级别的标识)，不同文本语句的语句标识不相同；

按应用功能模块信息，建立系统/应用/模块/功能等程序级标识；

按服务器运行信息，建立服务器地址/进程号/线程号等运行级信息标识；

按业务(交易或查询)交易号进行业务级标识。

数据采集单元：根据指定的采集频率和采样范围，采集数据库端语句信息(含标识信息)、执行性能信息，采集应用端的数据库语句信息(含标识信息)、执行性能信息，并最终存储至本地数据库；

标识解析单元：解析并记录语句内的各个标识，记录应用、模块、服务器、进程、业务唯一事务号

分析单元：应用端性能分析系统可通过各级标识查询到语句在数据库端执行信息。数据端性能分析系统可通过各级标识获取语句所属的功能、模块、系统及其应用端执行信息，通过各级标识关联应用与数据库端执行信息，实现全链路分析。

本实施例的全链路分析方法如图2所示，在应用端进行动态分级标识时，基于语句信息、程序信息、运行信息、业务信息，构建四级标识，其中的动态分级标识单元，可以按用户配置在线动态调整各项标识的开关，可以在日常生产中打开部分标识，在发生异常时打开全部标识。如此能够有效避免标识带来的硬解析问题：由于数据库每次执行新语句需要进行硬解析，资源开销较大，再次执行相同文本内容的语句只需进行软解析，软解析的资源开源远小于硬解析。动态标识通常以语句注释的方式直接嵌入语句文本中，不断变化的标识信息，例如每次都不同的业务交易号，会造成严重的硬解析问题，影响系统稳定性。针对此问题，本发明将变化缓慢标识信息以注释形式嵌入语句文本，维持较好的可读性，将快变的标识信息以绑定变量形式传递给数据库，避免了硬解析问题。数据库端可以通过还原绑定变量信息来获取这些标识。

在标识解析之后，通过解析得到的各级标识，能够快速准确地将应用端与数据库端进行关联，实现应用端与数据库端的真正的全链路分析；

此外，基于本发明提出的技术方案，能够按照应用端的系统、应用、模块、功能、应用服务器主机、用户、进程、线程、语句、执行计划、数据库、数据库实例等维度汇总展示语句执行信息，进行多维分析及相关预警，进一步保证整个信息系统的可靠运行。

Claims (7)

1.一种信息系统性能全链路分析系统，包括数据库端(1)和应用端(2)，所述应用端(2)与数据库端(1)连接，其特征在于，所述数据库端(1)连接有数据库性能管理模块(3)，所述应用端(2)连接有应用端性能管理模块(4)，所述数据库性能管理模块(3)和应用端性能管理模块(4)均连接至数据采集单元(5)，所述数据采集单元(5)与标识解析单元(6)连接，所述标识解析单元(6)与分析单元(7)连接，所述应用端(2)用于对数据库语句进行动态分级标识，以及将应用性能数据传输给应用端性能管理模块(4)；

所述数据库用于执行来自应用端(2)的数据库语句，以及将数据库性能数据传输给数据库性能管理模块(3)；

所述数据库性能管理模块(3)用于实时更新存储数据库性能数据；

所述应用端性能管理模块(4)用于实时更新存储应用性能数据；

所述数据采集单元(5)用于分别从数据库性能管理模块(3)采集数据库性能数据、从应用端性能管理模块(4)采集应用性能数据；

所述标识解析单元(6)用于解析并记录数据库性能数据以及应用性能数据中的各级标识；

所述分析单元(7)根据标识解析单元(6)输出的各级标识，将应用端(2)与数据库端(1)执行信息进行关联，以完成全链路分析过程，得到对应的性能分析结果；

所述应用端(2)设置有动态分级标识单元(201)，所述动态分级标识单元(201)用于对数据库语句构建四级标识，所述四级标识包括语句级标识、程序级标识、运行级标识和业务级标识，应用端(2)对数据库语句进行动态分级标识的具体过程为：

按语句文本内容，为每一条相同文本的语句做一个相同的全局唯一的语句级标识，不同文本语句的语句标识不相同；

按应用功能模块信息，建立程序级标识；

按服务器运行信息，建立运行级标识；

按业务交易号进行业务级标识；

其中，所述语句标识、程序级标识和运行级标识均以语句注释的方式直接嵌入语句文本中；所述业务级标识以绑定变量的形式进行传递。

2.根据权利要求1所述的一种信息系统性能全链路分析系统，其特征在于，所述动态分级标识单元(201)具体是根据用户配置在线动态调整各级标识的开关，在日常生产中打开部分标识，在发生异常时打开全部标识。

3.根据权利要求1所述的一种信息系统性能全链路分析系统，其特征在于，所述应用性能数据包括含有分级标识信息的数据库语句以及应用端(2)执行信息；

所述数据库性能数据包括含有分级标识信息的数据库端(1)语句以及数据库端(1)执行信息。

4.根据权利要求1所述的一种信息系统性能全链路分析系统，其特征在于，所述数据采集单元(5)连接有本地数据库，所述本地数据库用于存储采集的数据库性能数据和应用性能数据。

5.根据权利要求1所述的一种信息系统性能全链路分析系统，其特征在于，所述数据采集单元(5)具体是根据预设的采集频率和采集范围进行数据采集。

6.根据权利要求3所述的一种信息系统性能全链路分析系统，其特征在于，所述分析单元(7)包括应用端性能分析子单元(702)和数据库端性能分析子单元(701)，所述应用端性能分析子单元(702)用于根据标识解析单元(6)输出的各级标识，以查询语句在数据库端(1)执行信息；

所述数据库端性能分析子单元(701)用于根据标识解析单元(6)输出的各级标识，以查询语句的功能、模块、系统及其应用端(2)执行信息。

7.一种应用权利要求1所述信息系统性能全链路分析系统的信息系统全链路分析方法，其特征在于，包括以下步骤：

S1、应用端对数据库语句进行动态分级标识，之后将含有分级标识信息的数据库语句发送给数据库端；

S2、数据库端执行语句，执行完毕后，应用端将应用性能数据传输给应用端性能管理模块、数据库端将数据库性能数据传输给数据库性能管理模块，其中，应用性能数据包括含有分级标识信息的数据库语句以及应用端执行信息，数据库性能数据包括含有分级标识信息的数据库端语句以及数据库端执行信息；

S3、数据采集单元分别从应用端性能管理模块获取应用性能数据、从数据库性能管理模块获取数据库性能数据；

S4、标识解析单元对数据采集单元采集的数据进行解析，以得到各级标识并记录；

S5、分析单元根据标识解析单元输出的各级标识，将应用端与数据库端执行信息进行关联，以完成全链路分析过程，得到对应的性能分析结果。