CN112765196B - 数据处理及数据识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开实施例公开了一种数据处理及数据识别方法、装置、电子设备及存储介质。该方法包括：获取样本数据；其中，所述样本数据包括在历史时间段内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于所述数据库操作语句的响应信息；从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果；其中，所述第一关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；所述标注结果用于表征所述数据库操作语句是否会导致所述数据库性能降低；利用所述数据库操作语句、所述第一关键信息以及所述标注结果对机器自学习模型进行训练，获得用于识别会导致数据库性能降低的目标数据库操作语句的识别模型。

Description

数据处理及数据识别方法、装置、电子设备及存储介质

技术领域

本公开涉及数据库技术领域，具体涉及一种数据处理及数据识别方法、装置、电子设备及存储介质。

背景技术

数据库中间件层存在于用户和数据库之间，用于接收用户的数据库操作语句，并将数据库操作语句转发至数据库执行，数据库做出响应之后，数据库中间件层从数据库获得响应结果，并返回给用户。数据库中间件层作为一种中介，可以获取用户发送过来的数据库操作语句，以及对数据库操作语句进行识别，并拦截会导致数据库性能下降的数据操作语句。但是，如何通过数据库中间件识别所接收到的数据库操作语句是否会导致数据库性能下降是目前需要解决的主要问题之一。

发明内容

本公开实施例提供一种数据处理及数据识别方法、装置、电子设备及存储介质。

第一方面，本公开实施例中提供了一种数据处理方法。

具体的，所述数据处理方法，包括：

获取样本数据；其中，所述样本数据包括在历史时间段内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于所述数据库操作语句的响应信息；

从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果；其中，所述第一关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；所述标注结果用于表征所述数据库操作语句是否会导致所述数据库性能降低；

利用所述数据库操作语句、所述第一关键信息以及所述标注结果对机器自学习模型进行训练，获得用于识别会导致数据库性能降低的目标数据库操作语句的识别模型。

结合第一方面，本公开在第一方面的第一种实现方式中，所述数据库对于所述数据库操作语句的响应信息包括：所述数据库中的数据表在所述历史时间段内对所述数据库操作语句的响应时间、所述数据库针对所述数据库操作语句返回的结果集大小。

结合第一方面和/或第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述第一关键信息包括：在所述历史时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型、所述数据库操作语句涉及的数据库字段、所述数据库中的数据表对所述数据库操作语句的平均响应时间和/或所述数据库针对所述数据库操作语句返回的结果集的平均大小。

结合第一方面、第一方面的第一种实现方式和/或第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果，包括：

从所述数据库操作语句的相关信息以及所述响应信息中获取所述第一关键信息；

根据所述第一关键信息中的所述平均响应时间确定所述标注结果。

第二方面，本公开实施例中提供了一种数据识别方法。

具体的，所述数据识别方法，包括：

获取当前时间段内接收到的数据库操作语句；

从所述数据库操作语句获取第二关键信息；其中，所述第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；

利用识别模型对所述数据库操作语句以及所述第二关键信息进行识别，以确定所述数据库操作语句是否会导致数据库性能降低；

在所述数据库操作语句会导致数据库性能降低时，将所述数据库操作语句确定为目标语句。

结合第二方面，本公开在第二方面的第一种实现方式中，还包括：

在所述数据库性能不低于预设阈值时，将所述目标语句发送至所述数据库，并向所述目标语句的发送者返回所述目标语句会导致数据库性能降低的反馈信息；

在所述数据库性能低于预设阈值时，丢弃所述目标语句，并向所述目标语句的发送者返回所述目标语句被拒绝的反馈信息。

结合第二方面和/或第二方面的第一种实现方式，本公开在第二方面的第二种实现方式中，还包括：

利用第一方面所述的方法训练所述识别模型。

结合第二方面、第二方面的第一种实现方式和/或第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，所述第二关键信息包括当前时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型和/或所述数据库操作语句涉及的数据库字段。

第三方面，本公开实施例中提供了一种数据处理装置。

具体的，所述数据处理装置，包括：

第一获取模块，被配置为获取样本数据；其中，所述样本数据包括在历史时间段内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于所述数据库操作语句的响应信息；

第二获取模块，被配置为从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果；其中，所述第一关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；所述标注结果用于表征所述数据库操作语句是否会导致所述数据库性能降低；

第一训练模块，被配置为利用所述数据库操作语句、所述第一关键信息以及所述标注结果对机器自学习模型进行训练，获得用于识别会导致数据库性能降低的目标数据库操作语句的识别模型。结合第三方面，本公开在第三方面的第一种实现方式中，所述数据库对于所述数据库操作语句的响应信息包括：所述数据库中的数据表在所述历史时间段内对所述数据库操作语句的响应时间、所述数据库针对所述数据库操作语句返回的结果集大小。

结合第三方面和/或第三方面的第一种实现方式，本公开在第三方面的第二种实现方式中，所述第一关键信息包括：在所述历史时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型、所述数据库操作语句涉及的数据库字段、所述数据库中的数据表对所述数据库操作语句的平均响应时间和/或所述数据库针对所述数据库操作语句返回的结果集的平均大小。

结合第三方面、第三方面的第一种实现方式和/或第三方面的第二种实现方式，本公开在第三方面的第三种实现方式中，所述第二获取模块，包括：

获取子模块，被配置为从所述数据库操作语句的相关信息以及所述响应信息中获取所述第一关键信息；

确定子模块，被配置为根据所述第一关键信息中的所述平均响应时间确定所述标注结果。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，数据处理装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持数据处理装置执行上述第一方面中数据处理方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述数据处理装置还可以包括通信接口，用于数据处理装置与其他设备或通信网络通信。

第四方面，本公开实施例中提供了一种数据识别装置。

具体的，所述数据识别装置，包括：

第三获取模块，被配置为获取当前时间段内接收到的数据库操作语句；

第四获取模块，被配置为从所述数据库操作语句获取第二关键信息；其中，所述第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；

识别模块，被配置为利用识别模型对所述数据库操作语句以及所述第二关键信息进行识别，以确定所述数据库操作语句是否会导致数据库性能降低；

确定模块，被配置为在所述数据库操作语句会导致数据库性能降低时，将所述数据库操作语句确定为目标语句。

结合第四方面，本公开在第四方面的第一种实现方式中，发送模块，被配置为在所述数据库性能不低于预设阈值时，将所述目标语句发送至所述数据库，并向所述目标语句的发送者返回所述目标语句会导致数据库性能降低的反馈信息；

返回模块，被配置为在所述数据库性能低于预设阈值时，丢弃所述目标语句，并向所述目标语句的发送者返回所述目标语句被拒绝的反馈信息。

结合第四方面和/或第四方面的第一种实现方式，本公开在第四方面的第二种实现方式中，第二训练模块，被配置为利用权利要求9-12任一项所述的装置训练所述识别模型。

结合第四方面、第四方面的第一种实现方式和/或第四方面的第二种实现方式，本公开在第四方面的第三种实现方式中，所述第二关键信息包括当前时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型和/或所述数据库操作语句涉及的数据库字段。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，数据识别装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持数据识别装置执行上述第一方面中数据识别方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述数据识别装置还可以包括通信接口，用于数据识别装置与其他设备或通信网络通信。

第五方面，本公开实施例提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现第一方面和/或第二方面所述的方法。

第六方面，本公开实施例提供了一种计算机可读存储介质，用于存储数据处理装置和/或数据识别装置所用的计算机指令，其包含用于执行上述任一方法所涉及的计算机指令。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例利用数据库中间件层获取用户在历史时间段内发送的数据库操作语句以及数据库对于这些数据库操作语句的响应信息；并从数据查询语句以及该响应信息中提取可以识别数据库操作语句是否会导致数据库性能降低的第一关键信息，以及该数据库操作语句是否会导致数据库性能降低的标注结果；根据数据库操作语句、第一关键信息以及标注结果对机器自学习模型进行训练，最终获得能够识别会导致数据库性能降低的目标数据库操作语句的识别模型。通过本公开实施例，可以通过数据库中间件记录数据库接收到的数据库操作语句以及数据库的响应信息，进而根据这些数据训练机器自学习模型，以便利用训练好的机器自学习模型自动识别出问题语句，以确保数据库不被问题语句拖累，而能够正常运行。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的数据处理方法的流程图；

图2示出根据图1所示实施方式的步骤S102的流程图；

图3示出根据本公开一实施方式的数据识别方法的流程图；

图4示出根据本公开一实施方式中目标语句反馈部分的流程图；

图5示出根据本公开一实施方式的数据处理装置的结构框图；

图6示出根据图5所示实施方式的第二获取模块502的结构框图；

图7示出根据本公开一实施方式的数据识别装置的结构框图；

图8示出根据本公开一实施方式中目标语句反馈部分的结构框图；

图9是适于用来实现根据本公开一实施方式的数据处理及识别方法的电子设备的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出根据本公开一实施方式的数据处理方法的流程图。如图1所示，所述数据处理方法包括以下步骤：

在步骤S101中，获取样本数据；其中，所述样本数据包括在历史时间段内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于所述数据库操作语句的响应信息；

在步骤S102中，从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果；其中，所述第一关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；所述标注结果用于表征所述数据库操作语句是否会导致所述数据库性能降低；

在步骤S103中，利用所述数据库操作语句、所述第一关键信息以及所述标注结果对机器自学习模型进行训练，获得用于识别会导致数据库性能降低的目标数据库操作语句的识别模型。

本实施例中，数据库中间件位于用户与数据库之间，用于接收用户发送的数据库操作语句，并将数据操作语句转发给数据库，数据库在执行该数据库操作语句后，将操作结果返回给数据库中间件；数据库中间件将操作结果转发给用户。数据库操作语句可以包括但不限于数据存储语句、数据更新语句、数据查询语句、数据删除语句等；例如，SQL语句为关系型数据库中的数据库操作语句。

因此，数据库中间件在运行过程中可以记录从用户接收到的数据库操作语句的相关信息以及数据库对于数据库操作语句的响应信息等。数据库操作语句的相关信息可以包括但不限于数据库操作语句本身、该语句涉及的操作字段、该数据库操作语句的发送时间(也即从用户接收到的时间)、语句类型、发送该数据库操作语句的用户等信息；数据库对于数据库操作语句的响应信息可以包括但不限于数据库对于数据库操作语句的响应时间、结果集大小等。

本公开实施例可以对数据库中间件所记录的上述信息进行采样，以获得样本数据。例如可以周期性采样得到样本数据，比如采样1秒内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于该1秒内接收到的数据库操作语句的响应信息。

对于采样得到的上述样本数据，可以通过统计分析，进而从中提取用于识别数据库操作是否会导致数据库性能降低的第一关键信息。在一些实施例中，数据库性能高低的衡量指标可以是数据库对于数据库操作语句的响应时间。数据库对于数据库操作语句的响应时间可以包括数据库中各个数据表对数据库操作语句的平均响应时间；可以通过比较该平均响应时间与预设的基准响应时间来确定数据库性能是否正常；预设的基准响应时间可以是数据库在正常运行状态下确定的响应时间。在上述平均响应时间不大于预设的基准响应时间时，可以认为该数据库运行正常，而该平均响应时间大于预设的基准响应时间时，则可以认为该数据库性能低下，该数据库可能运行不正常。

在一些实施例中，第一关键信息可以包括但不限于在所述历史时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型、所述数据库操作语句涉及的数据库字段、所述数据库中的数据表对所述数据库操作语句的平均响应时间和/或所述数据库针对每条所述数据库操作语句返回的结果集的平均大小。

数据库操作语句的标注结果可以根据上述第一关键信息来确定。例如，从本次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间较从上次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间升高，或者高于预设的基准响应时间，则可以认为本次样本数据为负样本数据，该样本数据中包括的数据库操作语句包括会导致数据库效率低下的语句；而如果从本次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间较从上次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间未升高，或者不高于预设的基准响应时间，则可以认为本次样本数据为正样本数据，且该样本数据中的各数据库操作语句包括不会导致数据库效率低下的语句。

机器自学习模型可以包括但不限于卷积神经网络、深度神经网络、反馈神经网络、支持向量机、K-means、K-neighbors、决策树、随机森林、贝叶斯网络中的一种或多种组合。本实施例中可以根据实际情况选择使用，在此不做限制。

在机器自学习模型的训练过程中，可以将通过上述方式获得的样本数据输入至机器自学习模型，机器自学习模型可以从中学习哪一类的数据库操作语句会导致数据库性能降低，最终将所学习到的信息反应到模型参数上。由于机器自学习模型的训练过程是已知技术，在此不做赘述。

本公开实施例利用数据库中间件层获取用户在历史时间段内发送的数据库操作语句以及数据库对于这些数据库操作语句的响应信息；并从数据查询语句以及该响应信息中提取可以识别数据库操作语句是否会导致数据库性能降低的第一关键信息，以及该数据库操作语句是否会导致数据库性能降低的标注结果；根据数据库操作语句、第一关键信息以及标注结果对机器自学习模型进行训练，最终获得能够识别会导致数据库性能降低的目标数据库操作语句的识别模型。通过本公开实施例，可以通过数据库中间件记录数据库接收到的数据库操作语句以及数据库的响应信息，进而根据这些数据训练机器自学习模型，以便利用训练好的机器自学习模型自动识别出问题语句，以确保数据库不被问题语句拖累，而能够正常运行。

在本实施例的一个可选实现方式中，如图2所示，所述步骤S102，即从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果的步骤，进一步包括以下步骤：

在步骤S201中，从所述数据库操作语句的相关信息以及所述响应信息中获取所述第一关键信息；

在步骤S202中，根据所述第一关键信息中的所述平均响应时间确定所述标注结果。

该可选的实现方式中，数据库操作语句的相关信息包括但不限于数据库操作语句本身、该语句涉及的数据库字段、该数据库操作语句的发送时间、语句类型(例如数据存储语句、数据查询语句、数据更新语句、数据存储语句等)、发送数据库操作语句的用户等信息；数据库对于数据库操作语句的响应信息包括但不限于数据库对于数据库操作语句的响应时间、结果集大小等。

第一关键信息可以包括但不限于在历史时间段内同一个用户发送数据库操作语句的频率、数据库操作语句的发送时间、数据库操作语句的语句类型、数据库操作语句涉及的数据库字段、数据库中的数据表对数据库操作语句的平均响应时间和/或数据库针对每条数据库操作语句返回的结果集的平均大小。

从数据库中间件所记录的上述数据库操作语句的相关信息以及数据库对于数据库操作语句的响应信息中提取出上述第一关键信息之后，还可以根据第一关键信息确定该历史时间段内采样得到的样本数据的标注结果。例如，从本次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间较从上次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间升高，或者高于预设平均响应时间，则可以认为本次样本数据为负样本数据，该样本数据中包括会导致数据库效率低下的数据库操作语句；而如果从本次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间较从上次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间未升高，或者不高于预设平均响应时间，则可以认为本次样本数据为正样本数据，且该样本数据中包括不会导致数据库效率低下的数据库操作语句。

图3示出根据本公开一实施方式的数据识别方法的流程图。如图3所示，所述数据识别方法包括以下步骤：

在步骤S301中，获取当前时间段内接收到的数据库操作语句；

在步骤S302中，从所述数据库操作语句获取第二关键信息；其中，所述第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；

在步骤S303中，利用识别模型对所述数据库操作语句以及所述第二关键信息进行识别，以确定所述数据库操作语句是否会导致数据库性能降低；

在步骤S304中，在所述数据库操作语句会导致数据库性能降低时，将所述数据库操作语句确定为目标语句。

本实施例中，该数据识别方法可以在数据库中间件层上执行。数据库中间件可以从用户接收数据库操作语句，数据库中间件可以针对当前时间段内(当前时间段可以是秒级、毫秒级、微秒级等数量级的时间段)接收到的数据库操作语句提取第二关键信息，第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息。

在一些实施例中，第二关键信息包括但不限于在当前时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型和/或所述数据库操作语句涉及的数据库字段。

在提取到第二关键信息之后，数据库中间件可以将当前时间段内接收到的数据库操作语句以及对应的第二关键信息输入至预先训练好的识别模型，以便该识别模型能够输出当前时间段内接收到的该数据库操作语句是否会导致数据库性能降低的识别信息，在当前时间段内接收到的数据库操作语句会导致数据库性能降低时，则可以将当前时间段内接收到该数据库操作语句确定为目标语句。

在一些实施例中，数据库中间件在确定了目标语句之后，可以根据预先设定的方式向发送目标语句的用户反馈相关信息，和/或拒绝将该目标语句发送至数据库，以避免数据库受目标语句的影响而导致数据库性能降低。而对于非目标语句的其他数据库操作语句，数据库中间件则可以正常将其转发至数据库。通过这种方式，可以利用数据库中间件对发送至数据库的数据库操作语句进行识别和监控，以保证数据库能够正常运行，避免因为数据库操作语句本身的问题导致数据库的性能下降。

在本实施例的一个可选实现方式中，如图4所示，所述方法进一步还包括以下步骤：

在步骤S401中，在所述数据库性能不低于预设阈值时，将所述目标语句发送至所述数据库，并向所述目标语句的发送者返回所述目标语句会导致数据库性能降低的反馈信息；

在步骤S402中，在所述数据库性能低于预设阈值时，丢弃所述目标语句，并向所述目标语句的发送者返回所述目标语句被拒绝的反馈信息。

该可选的实现方式中，数据库中间件通过上述识别模型确定当前时间段接收到的数据库操作语句中包括会导致数据库性能降低的数据库操作语句时，可以根据数据库当前的运行状态选择合适的措施来维护数据库的正常运行。例如，在数据库正常运行也即数据库性能不低于正常运行时的性能(可以通过预设阈值来表示数据库正常运行时的性能)的情况下，可以将目标语句发送至数据库执行，但是可以给该目标语句的发送者返回这些目标语句可能会导致数据库性能降低的反馈信息，以便提示用户避免发送此类问题语句；而在数据库性能已经下降例如低于预设阈值的情况下，可以直接拒绝将该目标语句发送至数据库，并且向该目标语句的发送者返回该目标语句被拒绝执行的反馈信息，以便用户重新发送优质的数据库操作语句。

在一些实施例中，数据库性能高低可以利用数据库中各数据表对于数据库操作语句的响应时间来衡量，数据库中各数据表对于数据库操作语句的响应时间短，例如不低于预先设定的平均响应时间，则可以认为数据库性能不低于预设阈值，而数据库中各数据表对于数据库操作语句的响应时间长，例如长于预先设定的平均响应时间，则可以认为数据库性能低于预设阈值。当然，可以理解的是，数据库性能高低还可以通过其他方式来衡量，具体可以根据实际情况而定，在此不做限制。

在本实施例的一个可选实现方式中，所述方法进一步还包括：

利用上述数据处理方法训练所述识别模型。

该可选的实现方式中，识别模型可以利用图1所示实施例及相关实施例中提出的数据处理方法训练得到，具体细节可参加上述对图1所示实施例及相关实施例中提出的数据处理方法的描述，在此不做限制。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图5示出根据本公开一实施方式的数据处理装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，所述数据处理装置包括：

第一获取模块501，被配置为获取样本数据；其中，所述样本数据包括在历史时间段内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于所述数据库操作语句的响应信息；

第二获取模块502，被配置为从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果；其中，所述第一关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；所述标注结果用于表征所述数据库操作语句是否会导致所述数据库性能降低；

第一训练模块503，被配置为利用所述数据库操作语句、所述第一关键信息以及所述标注结果对机器自学习模型进行训练，获得用于识别会导致数据库性能降低的目标数据库操作语句的识别模型。

本实施例中，数据库中间件位于用户与数据库之间，用于接收用户发送的数据库操作语句，并将数据操作语句转发给数据库，数据库在执行该数据库操作语句后，将操作结果返回给数据库中间件；数据库中间件将操作结果转发给用户。数据库操作语句可以包括但不限于数据存储语句、数据更新语句、数据查询语句、数据删除语句等；例如，SQL语句为关系型数据库中的数据库操作语句。

因此，数据库中间件在运行过程中可以记录从用户接收到的数据库操作语句的相关信息以及数据库对于数据库操作语句的响应信息等。数据库操作语句的相关信息可以包括但不限于数据库操作语句本身、该语句涉及的操作字段、该数据库操作语句的发送时间(也即从用户接收到的时间)、语句类型、发送该数据库操作语句的用户等信息；数据库对于数据库操作语句的响应信息可以包括但不限于数据库对于数据库操作语句的响应时间、结果集大小等。

本公开实施例可以对数据库中间件所记录的上述信息进行采样，以获得样本数据。例如可以周期性采样得到样本数据，比如采样1秒内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于该1秒内接收到的数据库操作语句的响应信息。

对于采样得到的上述样本数据，可以通过统计分析，进而从中提取用于识别数据库操作是否会导致数据库性能降低的第一关键信息。在一些实施例中，数据库性能高低的衡量指标可以是数据库对于数据库操作语句的响应时间。数据库对于数据库操作语句的响应时间可以包括数据库中各个数据表对数据库操作语句的平均响应时间；可以通过比较该平均响应时间与预设的基准响应时间来确定数据库性能是否正常；预设的基准响应时间可以是数据库在正常运行状态下确定的响应时间。在上述平均响应时间不大于预设的基准响应时间时，可以认为该数据库运行正常，而该平均响应时间大于预设的基准响应时间时，则可以认为该数据库性能低下，该数据库可能运行不正常。

在一些实施例中，第一关键信息可以包括但不限于在所述历史时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型、所述数据库操作语句涉及的数据库字段、所述数据库中的数据表对所述数据库操作语句的平均响应时间和/或所述数据库针对每条所述数据库操作语句返回的结果集的平均大小。

数据库操作语句的标注结果可以根据上述第一关键信息来确定。例如，从本次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间较从上次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间升高，或者高于预设的基准响应时间，则可以认为本次样本数据为负样本数据，该样本数据中包括的数据库操作语句包括会导致数据库效率低下的语句；而如果从本次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间较从上次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间未升高，或者不高于预设的基准响应时间，则可以认为本次样本数据为正样本数据，且该样本数据中的各数据库操作语句包括不会导致数据库效率低下的语句。

机器自学习模型可以包括但不限于卷积神经网络、深度神经网络、反馈神经网络、支持向量机、K-means、K-neighbors、决策树、随机森林、贝叶斯网络中的一种或多种组合。本实施例中可以根据实际情况选择使用，在此不做限制。

在机器自学习模型的训练过程中，可以将通过上述方式获得的样本数据输入至机器自学习模型，机器自学习模型可以从中学习哪一类的数据库操作语句会导致数据库性能降低，最终将所学习到的信息反应到模型参数上。由于机器自学习模型的训练过程是已知技术，在此不做赘述。

本公开实施例利用数据库中间件层获取用户在历史时间段内发送的数据库操作语句以及数据库对于这些数据库操作语句的响应信息；并从数据查询语句以及该响应信息中提取可以识别数据库操作语句是否会导致数据库性能降低的第一关键信息，以及该数据库操作语句是否会导致数据库性能降低的标注结果；根据数据库操作语句、第一关键信息以及标注结果对机器自学习模型进行训练，最终获得能够识别会导致数据库性能降低的目标数据库操作语句的识别模型。通过本公开实施例，可以通过数据库中间件记录数据库接收到的数据库操作语句以及数据库的响应信息，进而根据这些数据训练机器自学习模型，以便利用训练好的机器自学习模型自动识别出问题语句，以确保数据库不被问题语句拖累，而能够正常运行。

在本实施例的一个可选实现方式中，如图6所示，所述第二获取模块502，包括：

获取子模块601，被配置为从所述数据库操作语句的相关信息以及所述响应信息中获取所述第一关键信息；

确定子模块602，被配置为根据所述第一关键信息中的所述平均响应时间确定所述标注结果。

该可选的实现方式中，数据库操作语句的相关信息包括但不限于数据库操作语句本身、该语句涉及的数据库字段、该数据库操作语句的发送时间、语句类型(例如数据存储语句、数据查询语句、数据更新语句、数据存储语句等)、发送数据库操作语句的用户等信息；数据库对于数据库操作语句的响应信息包括但不限于数据库对于数据库操作语句的响应时间、结果集大小等。

第一关键信息可以包括但不限于在历史时间段内同一个用户发送数据库操作语句的频率、数据库操作语句的发送时间、数据库操作语句的语句类型、数据库操作语句涉及的数据库字段、数据库中的数据表对数据库操作语句的平均响应时间和/或数据库针对每条数据库操作语句返回的结果集的平均大小。

从数据库中间件所记录的上述数据库操作语句的相关信息以及数据库对于数据库操作语句的响应信息中提取出上述第一关键信息之后，还可以根据第一关键信息确定该历史时间段内采样得到的样本数据的标注结果。例如，从本次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间较从上次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间升高，或者高于预设平均响应时间，则可以认为本次样本数据为负样本数据，该样本数据中包括会导致数据库效率低下的数据库操作语句；而如果从本次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间较从上次采样得到的样本数据中获得的数据库中各个数据表的平均响应时间未升高，或者不高于预设平均响应时间，则可以认为本次样本数据为正样本数据，且该样本数据中包括不会导致数据库效率低下的数据库操作语句。

图7示出根据本公开一实施方式的数据识别装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示，所述数据识别装置包括：

第三获取模块701，被配置为获取当前时间段内接收到的数据库操作语句；

第四获取模块702，被配置为从所述数据库操作语句获取第二关键信息；其中，所述第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；

识别模块703，被配置为利用识别模型对所述数据库操作语句以及所述第二关键信息进行识别，以确定所述数据库操作语句是否会导致数据库性能降低；

确定模块704，被配置为在所述数据库操作语句会导致数据库性能降低时，将所述数据库操作语句确定为目标语句。

本实施例中，该数据识别装置可以在数据库中间件层上运行。数据库中间件可以从用户接收数据库操作语句，数据库中间件可以针对当前时间段内(当前时间段可以是秒级、毫秒级、微秒级等数量级的时间段)接收到的数据库操作语句提取第二关键信息，第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息。

在一些实施例中，第二关键信息包括但不限于在当前时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型和/或所述数据库操作语句涉及的数据库字段。

在提取到第二关键信息之后，数据库中间件可以将当前时间段内接收到的数据库操作语句以及对应的第二关键信息输入至预先训练好的识别模型，以便该识别模型能够输出当前时间段内接收到的该数据库操作语句是否会导致数据库性能降低的识别信息，在当前时间段内接收到的数据库操作语句会导致数据库性能降低时，则可以将当前时间段内接收到该数据库操作语句确定为目标语句。

在一些实施例中，数据库中间件在确定了目标语句之后，可以根据预先设定的方式向发送目标语句的用户反馈相关信息，和/或拒绝将该目标语句发送至数据库，以避免数据库受目标语句的影响而导致数据库性能降低。而对于非目标语句的其他数据库操作语句，数据库中间件则可以正常将其转发至数据库。通过这种方式，可以利用数据库中间件对发送至数据库的数据库操作语句进行识别和监控，以保证数据库能够正常运行，避免因为数据库操作语句本身的问题导致数据库的性能下降。

在本实施例的一个可选实现方式中，如图8所示，所述装置还包括：

发送模块801，被配置为在所述数据库性能不低于预设阈值时，将所述目标语句发送至所述数据库，并向所述目标语句的发送者返回所述目标语句会导致数据库性能降低的反馈信息；

返回模块802，被配置为在所述数据库性能低于预设阈值时，丢弃所述目标语句，并向所述目标语句的发送者返回所述目标语句被拒绝的反馈信息。

该可选的实现方式中，数据库中间件通过上述识别模型确定当前时间段接收到的数据库操作语句中包括会导致数据库性能降低的数据库操作语句时，可以根据数据库当前的运行状态选择合适的措施来维护数据库的正常运行。例如，在数据库正常运行也即数据库性能不低于正常运行时的性能(可以通过预设阈值来表示数据库正常运行时的性能)的情况下，可以将目标语句发送至数据库执行，但是可以给该目标语句的发送者返回这些目标语句可能会导致数据库性能降低的反馈信息，以便提示用户避免发送此类问题语句；而在数据库性能已经下降例如低于预设阈值的情况下，可以直接拒绝将该目标语句发送至数据库，并且向该目标语句的发送者返回该目标语句被拒绝执行的反馈信息，以便用户重新发送优质的数据库操作语句。

在一些实施例中，数据库性能高低可以利用数据库中各数据表对于数据库操作语句的响应时间来衡量，数据库中各数据表对于数据库操作语句的响应时间短，例如不低于预先设定的平均响应时间，则可以认为数据库性能不低于预设阈值，而数据库中各数据表对于数据库操作语句的响应时间长，例如长于预先设定的平均响应时间，则可以认为数据库性能低于预设阈值。当然，可以理解的是，数据库性能高低还可以通过其他方式来衡量，具体可以根据实际情况而定，在此不做限制。

在本实施例的一个可选实现方式中，所述装置还包括：

第二训练模块，被配置为利用上述数据处理装置训练所述识别模型。

该可选的实现方式中，识别模型可以利用图5所示实施例及相关实施例中提出的数据处理装置训练得到，具体细节可参加上述对图5所示实施例及相关实施例中提出的数据处理装置的描述，在此不做限制。

本公开实施方式还提供了一种电子设备，如图9所示，包括至少一个处理器901；以及与至少一个处理器901通信连接的存储器902；其中，存储器902存储有可被至少一个处理器901执行的指令，指令被至少一个处理器901执行以实现数据处理方法包括的下述步骤：

获取样本数据；其中，所述样本数据包括在历史时间段内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于所述数据库操作语句的响应信息；

从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果；其中，所述第一关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；所述标注结果用于表征所述数据库操作语句是否会导致所述数据库性能降低；

利用所述数据库操作语句、所述第一关键信息以及所述标注结果对机器自学习模型进行训练，获得用于识别会导致数据库性能降低的目标数据库操作语句的识别模型。

其中，所述数据库对于所述数据库操作语句的响应信息包括：所述数据库中的数据表在所述历史时间段内对所述数据库操作语句的响应时间、所述数据库针对所述数据库操作语句返回的结果集大小。

其中，所述第一关键信息包括：在所述历史时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型、所述数据库操作语句涉及的数据库字段、所述数据库中的数据表对所述数据库操作语句的平均响应时间和/或所述数据库针对所述数据库操作语句返回的结果集的平均大小。

其中，从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果，包括：

从所述数据库操作语句的相关信息以及所述响应信息中获取所述第一关键信息；

根据所述第一关键信息中的所述平均响应时间确定所述标注结果。

本公开实施例中的上述电子设备上的存储器902中还存储有可被至少一个处理器901执行的指令，指令被至少一个处理器901执行以实现数据识别方法包括的以下步骤：

获取当前时间段内接收到的数据库操作语句；

从所述数据库操作语句获取第二关键信息；其中，所述第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；

利用识别模型对所述数据库操作语句以及所述第二关键信息进行识别，以确定所述数据库操作语句是否会导致数据库性能降低；

在所述数据库操作语句会导致数据库性能降低时，将所述数据库操作语句确定为目标语句。

其中，数据识别方法还包括：

在所述数据库性能不低于预设阈值时，将所述目标语句发送至所述数据库，并向所述目标语句的发送者返回所述目标语句会导致数据库性能降低的反馈信息；

在所述数据库性能低于预设阈值时，丢弃所述目标语句，并向所述目标语句的发送者返回所述目标语句被拒绝的反馈信息。

其中，数据识别方法还包括：

利用上述数据处理方法训练所述识别模型。

其中，所述第二关键信息包括当前时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型和/或所述数据库操作语句涉及的数据库字段。

具体地，处理器901、存储器902可以通过总线或者其他方式连接，图9中以通过总线连接为例。存储器902作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器901通过运行存储在存储器902中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现本公开实施例中的上述方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储航运网络运输的历史数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，电子设备可选地包括通信组件903，存储器902可选地包括相对于处理器901远程设置的存储器，这些远程存储器可以通过通信组件903连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器902中，当被一个或者多个处理器901执行时，执行本公开实施例中的上述方法。

上述产品可执行本公开实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本公开实施方式所提供的方法。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种数据处理方法，其特征在于，包括：

获取样本数据；其中，所述样本数据包括在历史时间段内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于所述数据库操作语句的响应信息；其中，所述数据库中间件位于用户与数据库之间，用于接收用户发送的数据库操作语句，并将数据操作语句转发给数据库，数据库在执行完所述数据库操作语句后，将操作结果返回给数据库中间件；数据库中间件将所述操作结果转发给用户；

从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果；其中，所述第一关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；所述标注结果用于表征所述数据库操作语句是否会导致所述数据库性能降低；

利用所述数据库操作语句、所述第一关键信息以及所述标注结果对机器自学习模型进行训练，获得用于识别会导致数据库性能降低的目标数据库操作语句的识别模型。

2.根据权利要求1所述的方法，其特征在于，所述数据库对于所述数据库操作语句的响应信息包括：所述数据库中的数据表在所述历史时间段内对所述数据库操作语句的响应时间、所述数据库针对所述数据库操作语句返回的结果集大小。

3.根据权利要求1或2所述的方法，其特征在于，所述第一关键信息包括：在所述历史时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型、所述数据库操作语句涉及的数据库字段、所述数据库中的数据表对所述数据库操作语句的平均响应时间和/或所述数据库针对所述数据库操作语句返回的结果集的平均大小。

4.根据权利要求3所述的方法，其特征在于，从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果，包括：

从所述数据库操作语句的相关信息以及所述响应信息中获取所述第一关键信息；

根据所述第一关键信息中的所述平均响应时间确定所述标注结果。

5.一种数据识别方法，其特征在于，所述方法在数据库中间件上执行，包括：

获取当前时间段内接收到的数据库操作语句；

从所述数据库操作语句获取第二关键信息；其中，所述第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；

利用识别模型对所述数据库操作语句以及所述第二关键信息进行识别，以确定所述数据库操作语句是否会导致数据库性能降低；

在所述数据库操作语句会导致数据库性能降低时，将所述数据库操作语句确定为目标语句；其中，所述数据库中间件位于用户与数据库之间，用于接收用户发送的数据库操作语句，并在所述数据操作语句为非目标语句时，将所述数据操作语句转发给数据库，数据库在执行完所述数据库操作语句后，将操作结果返回给数据库中间件；数据库中间件将所述操作结果转发给用户。

6.根据权利要求5所述的方法，其特征在于，还包括：

在所述数据库性能不低于预设阈值时，将所述目标语句发送至所述数据库，并向所述目标语句的发送者返回所述目标语句会导致数据库性能降低的反馈信息；

在所述数据库性能低于预设阈值时，丢弃所述目标语句，并向所述目标语句的发送者返回所述目标语句被拒绝的反馈信息。

7.根据权利要求5或6所述的方法，其特征在于，所述识别模型利用权利要求1-4任一项所述的方法训练得到。

8.根据权利要求5或6所述的方法，其特征在于，所述第二关键信息包括当前时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型和/或所述数据库操作语句涉及的数据库字段。

9.一种数据处理装置，其特征在于，包括：

第一获取模块，被配置为获取样本数据；其中，所述样本数据包括在历史时间段内数据库中间件接收到的数据库操作语句的相关信息以及数据库对于所述数据库操作语句的响应信息；其中，所述数据库中间件位于用户与数据库之间，用于接收用户发送的数据库操作语句，并将数据操作语句转发给数据库，数据库在执行完所述数据库操作语句后，将操作结果返回给数据库中间件；数据库中间件将所述操作结果转发给用户；

第二获取模块，被配置为从所述数据库操作语句的相关信息以及所述响应信息中获取第一关键信息以及标注结果；其中，所述第一关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；所述标注结果用于表征所述数据库操作语句是否会导致所述数据库性能降低；

第一训练模块，被配置为利用所述数据库操作语句、所述第一关键信息以及所述标注结果对机器自学习模型进行训练，获得用于识别会导致数据库性能降低的目标数据库操作语句的识别模型。

10.根据权利要求9所述的装置，其特征在于，所述数据库对于所述数据库操作语句的响应信息包括：所述数据库中的数据表在所述历史时间段内对所述数据库操作语句的响应时间、所述数据库针对所述数据库操作语句返回的结果集大小。

11.根据权利要求9或10所述的装置，其特征在于，所述第一关键信息包括：在所述历史时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型、所述数据库操作语句涉及的数据库字段、所述数据库中的数据表对所述数据库操作语句的平均响应时间和/或所述数据库针对所述数据库操作语句返回的结果集的平均大小。

12.根据权利要求11所述的装置，其特征在于，所述第二获取模块，包括：

获取子模块，被配置为从所述数据库操作语句的相关信息以及所述响应信息中获取所述第一关键信息；

确定子模块，被配置为根据所述第一关键信息中的所述平均响应时间确定所述标注结果。

13.一种数据识别装置，其特征在于，包括：

第三获取模块，被配置为获取当前时间段内接收到的数据库操作语句；

第四获取模块，被配置为从所述数据库操作语句获取第二关键信息；其中，所述第二关键信息包括用于识别所述数据库操作语句是否会导致数据库性能降低的信息；

识别模块，被配置为利用识别模型对所述数据库操作语句以及所述第二关键信息进行识别，以确定所述数据库操作语句是否会导致数据库性能降低；

确定模块，被配置为在所述数据库操作语句会导致数据库性能降低时，将所述数据库操作语句确定为目标语句；其中，所述数据库中间件位于用户与数据库之间，用于接收用户发送的数据库操作语句，并在所述数据操作语句为非目标语句时，将所述数据操作语句转发给数据库，数据库在执行完所述数据库操作语句后，将操作结果返回给数据库中间件；数据库中间件将所述操作结果转发给用户。

14.根据权利要求13所述的装置，其特征在于，还包括：

发送模块，被配置为在所述数据库性能不低于预设阈值时，将所述目标语句发送至所述数据库，并向所述目标语句的发送者返回所述目标语句会导致数据库性能降低的反馈信息；

返回模块，被配置为在所述数据库性能低于预设阈值时，丢弃所述目标语句，并向所述目标语句的发送者返回所述目标语句被拒绝的反馈信息。

15.根据权利要求13或14所述的装置，其特征在于，所述识别模型利用权利要求9-12任一项所述的装置训练得到。

16.根据权利要求13或14所述的装置，其特征在于，所述第二关键信息包括当前时间段内同一个用户发送所述数据库操作语句的频率、所述数据库操作语句的发送时间、所述数据库操作语句的语句类型和/或所述数据库操作语句涉及的数据库字段。

17.一种电子设备，其特征在于，包括存储器和至少一个处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述至少一个处理器执行以实现权利要求1-8任一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-8任一项所述的方法。

Images