CN110647415B - 数据库检测方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明涉及大数据处理技术领域，公开了一种数据库检测方法，通过根据远程服务器的操作请求生成类对象库存储在操作平台的存储单元上，然后基于远程操作请求来从类对象库中选择对应的各种操作代码实现对远程服务器的数据库的数据进行操作检验，然后对读取到的数据进行格式的检验，生成日志文件，并将日志文件保存到操作平台上。本发明还公开了一种数据库检测装置、设备及计算机可读存储介质，本发明基于设置在操作平台上的操作代码来实现对远程服务器的操作，并将操作的结果存储在操作本地上，从而实现了用户可以对远程服务器中的数据库的数据存储的结果进行实施查看，不需要再通过远程的操作方式来查看了，大大提高了对数据库的检修维护效率。

Description

数据库检测方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据库检测方法、装置、设备及计算机可读存储介质。

背景技术

服务器数据库是目前使用较多的大型存储系统，对于服务可用性、数据可靠性、性能、安全和扩展性等等都具有比较高的要求，而在使用服务器数据库作为数据的存储工具时，则为了保证数据的完整性或者系统的稳定性，则需要不断地进行维护，而该维护除了对设备本身硬件上的维护之外，还包括对数据的维护，为数据的维护则需要工作人员根据数据的工作日志来进行逐一排查，这些工作日志的产生需要数据库本身来记录实现，并且还不能进行远程控制实现，这必须要在数据库本地来实现维护排查，这样就导致了维护的难度。

以及，对于同时存在多个数据库的前提下，工作人员需要逐个数据库进行排查和读取工作日志，这种系统的数据库维护难度就更加大了。尤其是存在多个数据库时，会由于存储的数据的格式是各种各样的，在转化数据格式时并不一定都会按标准转换为相同的数据格式，对此使得工作人员在维护数据库过程中增加了格式的排查，大大提高了维护难度。

发明内容

本发明的主要目的在于提供一种数据库检测方法、装置、设备及计算机可读存储介质，旨在解决由于现有的服务器维护平台不支持远程服务器上检测日志文件的存储，而导致检修维护的操作过于复杂的技术问题。

为实现上述目的，本发明提供一种数据库检测方法，应用于对远程数据库中的数据检测，所述方法包括以下步骤：

根据远程服务器的操作请求生成类对象库，并将所述类对象库存储于操作平台上的存储单元中，其中，所述类对象库用于控制所述操作平台对所述远程服务器的远程操作，所述类对象库中包含有远程服务器操作代码、远程数据库操作代码以及文件下载代码；

接收远程操作请求，并确定所述远程操作请求中待触发访问的远程服务器的类型，通过所述操作平台从所述类对象库中调取与所述远程服务器的类型对应的远程服务器操作代码，基于所述远程服务器操作代码建立所述操作平台与所述远程服务器之间的通信链路；

根据所述远程服务器的类型和所述通信链路对应的通信协议，从所述类对象库中获取对应的远程数据库操作代码，并基于所述远程数据库操作代码对所述远程服务器上的各数据库进行访问，以读取所述数据库中的数据；

根据预设的检验规则对从所述远程服务器中读取到的各数据库的数据进行比对，以筛选出所述数据库中异常的数据，并根据所述异常的数据生成日志格式的比对结果文件，其中，所述预设的检验规则包括所述数据在所述数据库中的存储格式和数据中的敏感字；

调取与所述远程服务器的类型对应的所述文件下载代码，以通过所述文件下载代码将所述比对结果文件从所述远程服务器中下载并保存至所述操作平台上。

可选的，所述根据远程服务器的操作请求生成类对象库，并将所述类对象库存储于操作平台上的存储单元中的步骤包括：

根据所述操作请求中请求操作的所述远程数据库，确定所述远程服务器中各数据库的属性信息，所述属性信息包括数据库的访问方式、操作方式和数据库类型；

根据所述访问方式、调取与所述访问方式对应的所述数据库的访问接口以及预设的访问执行代码，并根据所述访问接口对所述预设的访问执行代码中参数进行修改，生成所述远程服务器操作代码；

根据所述操作方式、所述数据库类型以及预设的数据库访问代码，生成用于所述远程数据库进行操作访问的所述远程数据库操作代码；

将所述远程服务器操作代码和所述操作远程数据库操作代码存储于所述类对象库中。

可选的，所述在建立所述通信链路后，根据所述远程服务器的类型和所述通信链路对应的通信协议，从所述类对象库中获取对应的远程数据库操作代码，并基于所述远程数据库操作代码对所述远程服务器上的各数据库进行访问，以读取所述数据库中的数据的步骤包括：

根据存储在所述操作平台上的操作远程数据库操作代码对数据库进行访问，读取所述数据库中存储的数据；

根据所述远程服务器的类型确定用于分析数据的数据地图类型，并基于所述数据地图类型提取数据格式的转换规则；

根据所述转换规则对所述数据进行转换，并分别存储于数据地图中。

可选的，所述根据预设的检验规则对从所述远程服务器中读取到的各数据库的数据进行比对，以筛选出所述数据库中异常的数据，并根据所述异常的数据生成日志格式的比对结果文件的步骤包括：

根据所述存储格式，将统一转换后的数据地图中的数据进行比对验证，得到第一比对结果，所述第一比对结果为基于所述比对验证从所述数据中筛选出数据格式与所述存储格式不一致的数据；

根据所述敏感字对筛选出来的数据进行对比，识别出所述数据中的敏感字并进行异常标记，得到第二比对结果；

根据第一比对结果和第二比对结果生成日志文件。

可选的，在所述接收远程操作请求，并确定所述远程操作请求中待触发访问的远程服务器的类型，通过所述操作平台从所述类对象库中调取与所述远程服务器的类型对应的远程服务器操作代码，基于所述远程服务器操作代码建立所述操作平台与所述远程服务器之间的通信链路的步骤所述之后，还包括：

接收所述操作平台上远程服务器发起的维护请求，所述维护请求中包括待维护的远程服务器和对应的数据库信息；

根据所述维护请求将所述类对象库中与所述远程服务器对应的所有操作代码进行整合编译，得到一个远程服务器数据的维护小程序代码，所述维护小程序代码用于获取所述远程服务器中的数据库的数据进行比对分析；

通过所述通信链路将所述维护小程序代码上传至所述远程服务器并进行执行。

可选的，所述调取与所述远程服务器的类型对应的所述文件下载代码，以通过所述文件下载代码将所述比对结果文件从所述远程服务器中下载并保存至所述操作平台上的步骤包括：

在接收到所述维护小程序代码执行完成的响应消息后，根据所述远程服务器的类型调取所述文件下载代码，以及从所述远程服务器中下载所述对比结果文件，并将所述对比结果文件存储在操作平台本地的存储器中。

可选的，所述数据库检测方法还包括：

根据所述维护请求和数据库的属性信息，生成用于存储数据库的数据的表格文件，并将所述表格文件嵌入到所述维护小程序代码中上传至所述远程服务器中，其中，所述表格文件的数据存储格式与所述数据库的数据的存储格式一致。

此外，为实现上述目的，本发明还一种数据库检测装置，应用于对远程服务器数据库中的数据检测，所述数据库检测装置包括：

对象生成模块，用于根据远程服务器的操作请求生成类对象库，并将所述类对象库存储于操作平台上的存储单元中，其中，所述类对象库用于控制所述操作平台对所述远程服务器的远程操作，所述类对象库中包含有远程服务器操作代码、远程数据库操作代码以及文件下载代码；

通信模块，用于接收远程操作请求，并确定所述远程操作请求中待触发访问的远程服务器的类型，通过所述操作平台从所述类对象库中调取与所述远程服务器的类型对应的远程服务器操作代码，基于所述远程服务器操作代码建立所述操作平台与所述远程服务器之间的通信链路；

数据读取模块，用于根据所述远程服务器的类型和所述通信链路对应的通信协议，从所述类对象库中获取对应的远程数据库操作代码，并基于所述远程数据库操作代码对所述远程服务器上的各数据库进行访问，以读取所述数据库中的数据；

检测模块，用于根据预设的检验规则对从所述远程服务器中读取到的各数据库的数据进行比对，以筛选出所述数据库中异常的数据，并根据所述异常的数据生成日志格式的比对结果文件，其中，所述预设的检验规则包括所述数据在所述数据库中的存储格式和数据中的敏感字；

下载模块，用于调取与所述远程服务器的类型对应的所述文件下载代码，以通过所述文件下载代码将所述比对结果文件从所述远程服务器中下载并保存至所述操作平台上。

可选的，所述对象生成模块用于根据所述操作请求中请求操作的所述远程数据库，确定所述远程服务器中各数据库的属性信息，所述属性信息包括数据库的访问方式、操作方式和数据库类型；根据所述访问方式，调取与所述访问方式对应的所述数据库的访问接口以及预设的访问执行代码，并根据所述访问接口对所述预设的访问执行代码中参数进行修改，生成所述远程服务器操作代码；根据所述操作方式、所述数据库类型以及预设的数据库访问代码，生成用于所述远程数据库进行操作访问的所述远程数据库操作代码；将所述远程服务器操作代码和所述操作远程数据库操作代码存储于所述类对象库中。

可选的，所述数据读取模块用于根据存储在所述操作平台上的操作远程数据库操作代码对数据库进行访问，读取所述数据库中存储的数据；根据所述远程服务器的类型确定用于分析数据的数据地图类型，并基于所述数据地图类型提取数据格式的转换规则；根据所述转换规则对所述数据进行转换，并分别存储于数据地图中。

可选的，所述检测模块用于根据所述存储格式，将统一转换后的数据地图中的数据进行比对验证，得到第一比对结果，所述第一比对结果为基于所述比对验证从所述数据中筛选出数据格式与所述存储格式不一致的数据；根据所述敏感字对筛选出来的数据进行对比，识别出所述数据中的敏感字并进行异常标记，得到第二比对结果；根据第一比对结果和第二比对结果生成日志文件。

可选的，所述数据库检测装置还包括维护模块，用于接收通过所述通信链路所述操作平台上远程服务器发起的维护请求，所述维护请求中包括待维护的远程服务器和对应的数据库信息；根据所述维护请求将所述类对象库中与所述远程服务器对应的所有操作代码进行整合编译，得到一个远程服务器数据的维护小程序代码，所述维护小程序代码用于获取所述远程服务器中的数据库的数据进行比对分析；将所述维护小程序代码上传至所述远程服务器并进行执行。

可选的，所述检测模块用于在接收到所述维护小程序代码执行完成的响应消息后，根据所述远程服务器的类型调取所述文件下载代码，以及从所述远程服务器中下载所述对比结果文件，并将所述对比结果文件存储在操作平台本地的存储器中。

可选的，所述维护模块还用于根据所述维护请求和数据库的属性信息，生成用于存储数据库的数据的表格文件，并将所述表格文件嵌入到所述维护小程序代码中上传至所述远程服务器中，其中，所述表格文件的数据存储格式与所述数据库的数据的存储格式一致。

此外，为实现上述目的，本发明还一种数据库检测设备，所述数据库检测设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的数据库检测程序，所述数据库检测程序被所述处理器执行时实现如上任一项所述的数据库检测方法的步骤。

此外，为实现上述目的，本发明还一种计算机可读存储介质，所述计算机可读存储介质上存储有数据库检测程序，所述数据库检测程序被处理器执行时实现如上任一项所述的数据库检测方法的步骤。

本发明通过在操作平台上设置类对象库的方式来实现对远程服务器的访问以及对对应的远程数据库的检测，并将对远程数据库中数据的检测所得到的对比结果文件，通过文件下载代码下载到操作平台上来，由于远程数据库的检测结果已经存储在了操作平台上，所以当用户需要对远程数据库的数据进行维护检查时，可以直接通过读取操作平台上的比较结果文件进行查阅即可实现对远程数据库的检查，不再需要直接对远程数据库进行操作了，大大提高了对数据库的检修维护效率；同时，由于对于控制远程服务器访问和远程数据库的检测的类对象库是存储在操作平台上的，所以本发明是相当于提供的一个统一的控制平台来对多个远程服务器和远程数据库的管理，相对于现有技术，不需要再逐一的访问维护了，提高了维护的效率，也简化了维护的操作流程，减少了人力资源的投入。

附图说明

图1为本发明提供的数据库检测方法第一实施例的流程示意图；

图2为本发明提供的数据库检测方法第二实施例的流程示意图；

图3为本发明提供的数据库检测装置一实施例的功能模块示意图；

图4为本发明实施例方案涉及的操作平台的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在本发明中，其提供的数据库检测方法主要是通过在操作平台上设置远程服务器的操作代码来实现对远程服务器上的数据库的操作和数据的读取，然后对读取到的数据进行格式的检验，生成日志文件，并将日志文件保存到操作平台上，从而实现了用户可以在操作平台本地就可以对远程服务器中的数据库的数据存储的结果进行实施查看，不需要再通过远程的操作方式来查看了，大大提高了对数据库的检修维护效率。在本实施例中，该方法的物理实现系统可以是个人计算机(PC)、智能手机等一些具有远程访问功能的操作终端。基于这样的硬件结果，提出本发明数据库检测方法的各个实施例。

参照图1，图1为本发明实施例提供的数据库检测方法的流程图。在本实施例中，所述数据库检测方法具体包括以下步骤：

步骤S110，根据远程服务器的操作请求生成类对象库，并将所述类对象库存储于操作平台上的存储单元中；

在该步骤中，所述类对象库用于控制所述操作平台对所述远程服务器的远程操作，所述类对象库中包含有远程服务器操作代码、远程数据库操作代码以及文件下载代码。

在本实施例中，所述类对象库指的是包含有远程服务器的类型、通信接口和控制代码的对应关系的远程访问代码库。其中，所述操作代码用于实现远程对所述远程服务器的访问及操作，其可以是一种访问的控制代码，也可以是一种映射文件。

对于采用控制代码的实现时，可以是基于对应的远程服务器特定开发的一种集访问和操作控制一体的小程序代码，当需要对远程服务器的数据库进行检测时，直接调用该小程序代码在平台上执行就可以对远程服务器上的数据库进行操作和读取数据了。

对于采用映射文件来实现时，具体通过在平台所在服务器上先生成一个远程操作的类对象channelExec，使用该对象建立起与需要操作的远程服务器的连接，之后就可以调用这个已建立连接的对象的exeCommand方法来执行远程服务器的命令了。

在该步骤中设置的操作代码，不管是使用控制代码还是映射文件来实现，其在执行的效果是相当于在远程服务器上执行命令，执行完命令后，就会将执行得到的结果以字符串形式返回给平台。这个远程操作的对象和方法是属于平台的一部分，所以说是平台封装了该方法的代码。

步骤S120，接收远程操作请求，并确定所述远程操作请求中待触发访问的远程服务器的类型，通过所述操作平台从所述类对象库中调取与所述远程服务器的类型对应的远程服务器操作代码，基于所述远程服务器操作代码建立所述操作平台与所述远程服务器之间的通信链路；

在该步骤中，该通信连接可以是无线的连接，也可以是有线的连接，具体可以根据平台与远程服务器的实际连接关系来确定。

在本案中，还可以是通过根据操作代码来生成链路连接代码、远程控制代码和访问代码的方式来实现，也即是说这里建立的连接不仅仅是实现两者的通信，还是用来实现操作平台对远程服务器的操作，只是这里操作是采用了代码控制的方式来实现。

步骤S130，根据所述远程服务器的类型和所述通信链路对应的通信协议，从所述类对象库中获取对应的远程数据库操作代码，并基于所述远程数据库操作代码对所述远程服务器上的各数据库进行访问，已读取所述数据库中的数据；

在该步骤中，通过根据远程数据库操作代码形成的访问代码对远程服务器中的数据库进行访问，并读取数据库中存储的数据，，对于数据的读取可以通过抽样的方式选择部分数据进行读取，也可以是全部读取，优选的，这里选择部分读取。

进一步的，在读取了数据之后，还包括对所述读取到的数据进行转换，即是将各个数据库中读取到的数据进行同一的转换，分别形成数据地图，该数据地图中的每个数据都具有相同格式的。

在实际应用中，对于数据的转换，可以是基于一种数据转换规则进行转换，只是对于将正常的数据按照转换规则进行转换时，最终得到的结果是符合检验规则的；而对于数据本身就出现了异常时，其经过数据转换规则转换后，最终得到的数据也是无法通过检验规则的检验的，只是这里进行统一的转换可以保证了数据的统一性，这里在比对的过程中，更加能提高准确率。

步骤S140，根据预设的检验规则对从所述远程服务器中读取到的各数据库的数据进行比对，以筛选出所述数据库中异常的数据，并根据所述异常的数据生成日志格式的比对结果文件；

在该步骤中，所述预设的检验规则包括所述数据在所述数据库中的存储格式和数据中的敏感字。

在本实施例中，对于比对的实现是将从每个数据库中读取的每个数据的相互比对，而这里的比对验证具体是对数据的格式的验证，若数据格式不一致，则认为是异常数据，若数据格式一致，则认为该数据正常。

在实际应用中，所述对比的过程包括将数据库中获取到的数据与预设的数据的存储格式进行一一比对，若与存储格式不一样的，则认为是无效数据或者是具有恶意性质的数据，并在日志格式的文件中进行记录，同时还会进行数据异常标记；

进一步的，对于存储格式不一样的数据还需要检测数据中是否存在敏感字眼，若存在，则在日志文件中进行标注；这里的敏感字眼指的是对所述远程服务器造成危险攻击的、对会导致服务器数据丢失的、对服务器的操作系统恶意攻击等等的词条或者代码语言。

进一步的，所述比对过程还可以是数据库与数据库之间的比对，例如远程服务器中存在备份数据库和执行数据库，而执行数据库中的数据备份在备份数据库中，对于这种情况，执行数据库中存储的数据可以通过备份数据库中的数据进行相互比对验证，在相互比对后再选择与验证规则进行比对，最后将两者比对的结果生成日志文件。

在本案中，若将每个数据库中读取的数据转换为数据地图后，则比对的是数据地图了，同时基于数据地图的比对也是将数据地图中的每个数据与预设的检验规则进行比对验证，只是数据地图中的每个数据都已经进行了相应的转换了。

步骤S150，调取与所述远程服务器的类型对应的所述文件下载代码，以通过所述文件下载代码将所述比对结果文件从所述远程服务器中下载并保存至所述操作平台上。

在实际应用中，在通过文件下载代码将远程服务器中的比对结果下载下来后，当需要进行维护时，直接从操作平台中读取对应的结果后即可实现同时对远程数库的维护；进一步的，还可以是由操作平台在接收到维护指令后，通过自动维护程序从日志文件中提取出标记有异常的数据进行安全处理。

在本案中，对于步骤S140，若在将每个数据进行比对验证后，其不满足规则时，将该数据单独提取出来，知道对该数据库的所有数据都比对完成后，将这些异常的数据形成一个异常数据集，并存储到日志文件中，同时保存在远程服务器上，并且在存储到日志文件时，分开每个数据库进行存储，但是还存储在一个日志文件中，当然了也可以是形成多个日志文件。

进一步的，还可以是将从所有数据库中异常数据形成一个大的异常数据集存储到日志文件中。

在本实施例中，对于步骤S110根据操作请求生成类对象库时，还需要根据数据库的属性信息来生成，具体可以通过以下方式实现：

根据所述操作请求中请求操作的所述远程数据库确定所述远程服务器中各数据库的属性信息，所述属性信息包括数据库的访问方式、操作方式和数据库类型；

根据所述访问方式调取所述数据库的访问接口，以及预设的访问执行代码，并根据所述访问接口对所述预设的访问执行代码中参数进行修改，生成所述远程服务器操作代码；

根据所述操作方式和所述数据库类型，以及预设的数据库访问代码，生成用于所述远程数据库进行操作访问的所述远程数据库操作代码；

将所述远程服务器操作代码和所述操作远程数据库操作代码存储于所述类对象库中。

在本实施例中，在生成远程服务器操作代码的过程中，主要是针对远程服务器与操作平台两者之间的通信连接，对于进一步的数据库访问连接，则是在该通信连接的基础上再由操作远程数据库的代码来实现。

也即是说，通过远程服务器操作代码先实现操作平台与远程服务器的通信连接，而对于连接后应当如何访问每个数据库，则通过操作远程数据库操作代码来实现，对于该操作远程数据库操作代码可以理解为是一个代码集合，该集合包括了多个子代码，每个子代码对应一个数据库，通过这些子代码来试下对数据库的单独访问和操作控制；当然，该操作远程数据库的代码还可以理解为是一个可以同时控制多个数据库访问和操作的脚本代码，例如通过对所有数据库的共同性来开发的脚本代码。

进一步的，还可以是用于控制远程服务器中访问数据库功能的控制代码，对于这种情况，当操作平台上基于通信连接的链路执行该控制代码时，相当于对远程服务器中的数据库访问功能的控制，控制该数据库访问功能的执行，从而实现对远程服务器数据库的间接访问了，而这时读取都的数据可以通过一些下载文件的代码来控制操作平台从远程服务器中下载下来保存至操作平台上，然后操作平台在进行步骤S120-S150的步骤。

例如，远程服务器上的数据库分别为：oracle数据库、mysql数据库、hbase数据库、hive数据库，其中oracle数据库和mysql数据库都是关系型数据库，使用方式比较接近，而hbase数据库是分布式的、面向列的开源数据库，hive数据库是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表。这几个数据库的操作方式是不一样的，并且操作后返回的数据集合结果形式也是不一样的。在日常应用中，这几个数据库都会被使用到，以保存不一样的数据。操作平台通过上述的代码来实现远程的检测控制，并把对这些数据库的查询出来的数据内容统一转化成map形式保存，这样就能对这些不同的数据进行统一比较了。

在实际应用中，对于生成的类对象库是具体可以是按照数据库的类型对操作代码进行分类存储，具体可以是存储在类对象库中存储在操作平台上，也可以是通过类对象库的对象关系来获取对象的操作代码，而实际的操作胆码是存储在操作平台的存储单元中，而类对象库中存储的是远程服务器、数据库和操作代码之间的对应关系，即是步骤S130包括：

根据存储在所述操作平台上的操作远程数据库操作代码对数据库进行访问，读取所述数据库中存储的数据；

根据所述远程服务器的类型确定用于分析数据的数据地图类型，并基于所述数据地图类型提取数据格式的转换规则；

根据所述转换规则对所述数据进行转换，并分别存储于数据地图中。

对于操作远程数据库操作代码也可以通过两种方式来开发，一种是访问的控制代码，另一种是一种映射文件。

而对于访问的控制代码指的是对远程服务器上的数据库访问程序的启动脚本，而该脚本至用于控制远程服务器中的程序代码的执行，并不具有直接控制数据库的功能，也即是说这个脚本是间接控制数据库的工具。

同理，对于映射文件，则是通过将不同的数据库映射到远程服务器上的访问接口上，然后通过建立访问接口与操作平台的通信接口之间的对应关系，最后汇总形成一个映射关系表；而在对数据库进行检测时，直接通过查询映射关系表的方式来实现对对应的数据库进行远程访问，同时还可以是通过对应关系的方式来获取到数据库访问代码，并控制访问代码的执行来实现对数据库的访问。

在本实施例中，所述数据地图在存储数据的同时，还可以对数据进行分类存储，即是说对于在将数据转换至存储在数据地图的过程中，还包括对从所述数据库中获取到的数据根据数据地图中的类别进行分类，然后在分类的基础上进行转换存储值数据地图中对应的类别中。

在本案中，对于数据地图的转化包括对每个数据库中的数据都转换为一个数据地图，以及将所有获取到的数据库的数据统一转换为一个数据地图；对于转化为一个数据地图时，按照数据库来进行转化，每个数据库的数据作为一个数据类型进行转换，当然在转化的过程中也可以对各个数据库的数据进行初步的转化检验，将正常转化成功的数据存储，对于转换不成功的数据进行异常的标记。

进一步的，在将获取到的数据库数据转换存储到数据地图中之后，对于步骤S140的实施，具体可以通过以下方式实现：

根据所述存储格式将统一转换后的数据地图中的数据进行比对验证，得到第一比对结果，所述第一比对结果为基于所述比对验证从所述数据中筛选出数据格式与所述存储格式不一致的数据；

根据所述敏感字对筛选出来的数据进行对比，识别出所述数据中的敏感字，并进行异常标记，得到第二比对结果；

根据第一比对结果和第二比对结果生成日志文件。

在实际应用中，对于比对数据地图时，具体是分别对数据地图中的数据元素与规则进行比对，优选的可以是数据格式的比对，也可以是通过一些计算算法来对其检验，比如哈希算法等等，通过算法来计算验证值来对数据进行检验。

对于比对异常(及时不符合规则)的数据库数据从数据地图中提取出来进行单独的保存，在最后会将这些异常的数据生成日志文件，通过日志文件来记录数据库检测的情况，从而便于后续维护人员对数据库的维护和评估。

在实际应用中，对于是否启动上述的检测过程对远程服务器上的数据库的数据进行处理，在建立了两者之间的通信链路之后，还需要根据用户在操作平台上的维护触发来控制执行下一步的检测和对日志文件的下载，具体是在建立通信链路后，

接收用户在所述操作平台上的远程服务器的维护请求，所述维护请求中包括待维护的远程服务器和对应的数据库信息；

根据所述维护请求将所述类对象库中与所述远程服务器对应的所有操作代码进行整合编译，得到一个远程服务器数据的维护小程序代码，所述维护小程序代码用于获取所述远程服务器中的数据库的数据进行比对分析；

将所述维护小程序代码通过所述通信链路上传至所述远程服务器进行执行。

这时，在操作平台控制对远程服务器完成检测的操作后，远程服务器会想操作平台返馈一个响应消息，操作平台根据响应消息控制执行下一步数据的比对和下载操作，而在步骤S150中，具体实现是：在接收到所述维护小程序代码执行完成的响应消息后，根据所述远程服务器的类型调取所述文件下载代码，从所述远程服务器中下载所述对比结果文件，并存储在操作平台本地的存储器中。

在本实施例中，所述对比结果文件也称为日志文件，在操作平台对远程服务器的数据库进行访问、读取等操作，获取到数据后，可以是将读取到的数据放置在远程服务器上进行比对的处理，而该处理可以是由服务器自动执行服务器自身的检测程序进行比对处理，也可以是通过操作平台开发的规则进行比对处理。

在本实施例中，所述数据库检测方法还包括：

根据所述维护请求和数据库的属性信息生成一个用于存储数据库的数据的表格文件，并嵌入到所述维护小程序代码中上传至所述远程服务器中，其中，所述表格文件的数据存储格式与所述数据库的数据的存储格式一致。

在实际应用中，所述远程服务器中数据库的数据在存储的同时，所述维护小程序代码会定时执行将所述数据库中的数据备份至所述表格文件中，回传给操作平台进行存储。

在本案中，除了生成维护小程序代码之外，所述操作平台还可以通过文件上传代码向所述远程服务器上传一些其他的测试代码，通过该测试代码实现一些其他的功能，不需要每个都要重新生成代码程序，这里的测试脚本文件是一些现有的测试代码，具体为用户根据实际需求自主开发的检测流程对应的脚本代码，与远程服务器本身的检测流程不相同，例如，检测数据库存储卷的坏道情况或者是检测数据库中符合存储的数据格式等要求。对于数据库的检测维护可以是一些预设的检测过程，只是这些检测步骤是需要用户来去控制执行的，而在现有的检测控制中，一般都是采用直接在远程服务器上进行的操作，而不是在操作平台上的操作，而通过本提案的方法，不仅实现了在操作平台本地上控制远程服务器对其自身的数据库的检测，还实现了将检测生成的日志文件下载保存在操作平台本地，从而实现了对检测结果的本地查看，同时还大大节省了手工的维护操作以及来回对数据库的检查。

进一步的，对于一些特殊的检查，用户可以根据实际需要开发出具有特别需求的检测脚本，而这些脚本并不在远程服务器上，通过上述的方法，将这些检测脚本上传至服务器上，在使用时，通过保存在操作平台本地的执行代码来远程控制上传至服务器上的脚本进行控制，从而实现了特殊检测的开发，并且该脚本执行形成的检测日志文件，通过下载文件代码可以下载到操作平台上，以供给用户查看，从而实现在在本地平台上就可以同时实现对数据库中维护和检查，以及实现了对特殊的定制检查需求。

如图2所示，为本发明实施例基于linux执行系统实现的数据库检测方法的具体实现流程图，该方法具体包括以下步骤：

步骤S210、提取系统中的支持连接、登陆、操作远程服务器的操作平台，通过该操作平台执行代码控制在远程服务器上执行系统命令；

对于该步骤的具体实现方式为，通过在操作平台上封装用于实现远程操作服务器的代码，而该代码是以Linux系统语言开发得到，当然也可以是通过该调取Linux系统上的远程服务器的访问代码来修改对应的访问接口和访问协议来得到与远程服务器对应的操作代码。

步骤S220，在远程服务器上进入相关服务器；

在该步骤中，通过该操作平台上的操作代码远程控制服务器访问其对应的数据库，如hbase、hive等，具体的访问实现：在平台上封装了链接和操作远程数据库的代码。

步骤S230、支持进行oracle数据、Mysql数据库与远程服务器上hbase、hive数据库中的数据的批量比对；

对于该步骤的实现方式：首先查询出各个数据库中的数据，存成map，然后对每个map进行一一比对，将不符合规则的map中的元素单独存起来。

步骤S240、支持上传文档文件、脚本文件(python、shell、js、jmeter等)到远程服务器上，并在远程服务上执行该脚本或者使用该文档文件；

对于该步骤的实现方式：在平台上封装了上传文件的代码。

步骤S250、当数据库数据比对完成后，将不符合规则的数据整合返回到本地，保存成日志文件；

对于该步骤的实现方式：在平台上封装了下载文件的代码。

步骤S260、将日志文件下载保存到操作平台上，以实现在操作平台本地上进行维护查看日志文件。

在该步骤中，具体是通过将步骤S230中保存的不符合规则元素先在服务器上存成日志文件，然后调用下载文件代码方法，将该文件下载到本地。

在本实施例中，通过以上方案，实现了自动检测扫描服务器上数据库中不符合规则数据并将检测结果保存到本地以供查阅的方案，这一自动化的过程，大大节省了手工操作的人力。

为了解决上述的问题，本发明还提供一种数据库检测设备，该数据库检测设备可以用于实现本发明实施例提供的数据库检测方法，其物理实现以本地PC电脑端的方式存在，该PC的具体硬件实现如图3所示。

参见图3，该移动设备包括：处理器301，例如CPU，通信总线302、用户接口303，网络接口304，存储器305。其中，通信总线302用于实现这些组件之间的连接通信。用户接口303可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，网络接口304可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器305可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器305可选的还可以是独立于前述处理器301的存储装置。

本领域技术人员可以理解，图3中示出的设备的硬件结构并不构成对数据库检测装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图3所示，作为一种计算机可读存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及基于数据库检测程序。其中，操作系统是管理和数据分析装置和软件资源的程序，所述数据库检测程序以及其它软件和/或程序的运行。

在图3所示的PC操作平台的硬件结构中，网络接口104主要用于接入网络；用户接口103主要用于与外界互联网或者是与提供企业数据的远程服务器进行通信，调取远程服务器上的所有数据库中的存储的数据，然后对这些数据进行分析处理，得到对应的数据异常结构，而处理器301可以用于调用存储器305中存储的数据库检测程序，并执行以下数据库检测方法的各实施例的操作。

在本大明实施例中，对于图3的实现还可以是一种手机等可以触控操作的移动终端，该移动终端的处理器通过读取存储在缓存器或者存储单元中的可以实现数据库检测方法的程序代码来进行对远程服务器上的数据库进行远程的操作，并将操作后的结果生成日志文件返馈下载到操作平台本地上进行存储。

为了解决上述的问题，本发明实施例还提供了一种数据库检测装置，参照图4，图4为本发明实施例提供的数据库检测装置的功能模块的示意图。在本实施例中，该装置包括：

对象生成模块41，用于根据远程服务器的操作请求生成类对象库，并将所述类对象库存储于操作平台上的存储单元中，其中，所述类对象库用于控制所述操作平台对所述远程服务器的远程操作，所述类对象库中包含有远程服务器操作代码、远程数据库操作代码以及文件下载代码；

通信模块42，用于接收远程操作请求，并确定所述远程操作请求中待触发访问的远程服务器的类型，通过所述操作平台从所述类对象库中调取与所述远程服务器的类型对应的远程服务器操作代码，基于所述远程服务器操作代码建立所述操作平台与所述远程服务器之间的通信链路；

数据读取模块43，用于在建立所述通信链路后，根据所述远程服务器的类型和所述通信链路对应的通信协议从所述类对象库中获取对应的远程数据库操作代码，并基于所述远程数据库操作代码对所述远程服务器上的各数据库进行访问，读取所述数据库中的数据；

检测模块44，用于根据预设的检验规则对从所述远程服务器中读取到的各数据库的数据进行比对，筛选出所述数据库中异常的数据，并根据所述异常的数据生成日志格式的比对结果文件，其中，所述预设的检验规则包括所述数据在所述数据库中的存储格式和数据中的敏感字；

下载模块45，用于调取与所述远程服务器的类型对应的所述文件下载代码将所述比对结果文件从所述远程服务器中下载并保存至所述操作平台上。

基于与上述本发明实施例的数据库检测方法相同的实施例说明内容，因此本实施例对数据库检测装置的实施例内容不做过多赘述。

本实施例通过在操作平台上设置远程服务器的操作代码来实现对远程服务器上的数据库的操作和数据的读取，然后对读取到的数据进行格式的检验，生成日志文件，并将日志文件保存到操作平台上，从而实现了用户可以对远程服务器中的数据库的数据存储的结果进行实施查看，不需要再通过远程的操作方式来查看了，大大提高了对数据库的检修维护效率，从而解决了现有的服务器维护平台不支持远程服务器上检测日志文件的存储，而导致检修维护的操作过于复杂的技术问题，大大提高了远程服务器数据库的维护效率。

本发明还提供一种计算机可读存储介质。

本实施例中，所述计算机可读存储介质上存储有数据库检测程序，所述数据库检测程序被处理器执行时实现如上述任一项实施例中所述的数据库检测方法的步骤。其中，数据库检测程序被处理器执行时所实现的方法可参照本发明数据库检测方法的各个实施例，因此不再过多赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims (10)

1.一种数据库检测方法，其特征在于，应用于对远程数据库中的数据检测，所述方法包括以下步骤：

根据远程服务器的操作请求生成类对象库，并将所述类对象库存储于操作平台上的存储单元中，其中，所述类对象库用于控制所述操作平台对所述远程服务器的远程操作，所述类对象库中包含有远程服务器操作代码、远程数据库操作代码以及文件下载代码；

接收远程操作请求，并确定所述远程操作请求中待触发访问的远程服务器的类型，通过所述操作平台从所述类对象库中调取与所述远程服务器的类型对应的远程服务器操作代码，基于所述远程服务器操作代码建立所述操作平台与所述远程服务器之间的通信链路；

根据所述远程服务器的类型和所述通信链路对应的通信协议，从所述类对象库中获取对应的远程数据库操作代码，并基于所述远程数据库操作代码对所述远程服务器上的各数据库进行访问，以读取所述数据库中的数据；

根据预设的检验规则对从所述远程服务器中读取到的各数据库的数据进行比对，以筛选出所述数据库中异常的数据，并根据所述异常的数据生成日志格式的比对结果文件，其中，所述预设的检验规则包括所述数据在所述数据库中的存储格式和数据中的敏感字；

调取与所述远程服务器的类型对应的所述文件下载代码，以通过所述文件下载代码将所述比对结果文件从所述远程服务器中下载并保存至所述操作平台上。

2.如权利要求1所述的数据库检测方法，其特征在于，所述根据远程服务器的操作请求生成类对象库，并将所述类对象库存储于操作平台上的存储单元中的步骤包括：

根据所述操作请求中请求操作的所述远程数据库，确定所述远程服务器中各数据库的属性信息，所述属性信息包括数据库的访问方式、操作方式和数据库类型；

根据所述访问方式，调取与所述访问方式对应的所述数据库的访问接口以及预设的访问执行代码，并根据所述访问接口对所述预设的访问执行代码中参数进行修改，生成所述远程服务器操作代码；

根据所述操作方式、所述数据库类型以及预设的数据库访问代码，生成用于所述远程数据库进行操作访问的所述远程数据库操作代码；

将所述远程服务器操作代码和所述远程数据库操作代码存储于所述类对象库中。

3.如权利要求2所述的数据库检测方法，其特征在于，所述根据所述远程服务器的类型和所述通信链路对应的通信协议，从所述类对象库中获取对应的远程数据库操作代码，并基于所述远程数据库操作代码对所述远程服务器上的各数据库进行访问，以读取所述数据库中的数据的步骤包括：

根据存储在所述操作平台上的操作远程数据库操作代码对数据库进行访问，读取所述数据库中存储的数据；

根据所述远程服务器的类型确定用于分析数据的数据地图类型，并基于所述数据地图类型提取数据格式的转换规则；

根据所述转换规则对所述数据进行转换，并分别存储于数据地图中。

4.如权利要求3所述的数据库检测方法，其特征在于，所述根据预设的检验规则对从所述远程服务器中读取到的各数据库的数据进行比对，以筛选出所述数据库中异常的数据，并根据所述异常的数据生成日志格式的比对结果文件的步骤包括：

根据所述存储格式，将统一转换后的数据地图中的数据进行比对验证，得到第一比对结果，所述第一比对结果为基于所述比对验证从所述数据中筛选出数据格式与所述存储格式不一致的数据；

根据所述敏感字对筛选出来的数据进行对比，识别出所述数据中的敏感字并进行异常标记，得到第二比对结果；

根据第一比对结果和第二比对结果生成日志文件。

5.如权利要求1-4任一项所述的数据库检测方法，其特征在于，在所述接收远程操作请求，并确定所述远程操作请求中待触发访问的远程服务器的类型，通过所述操作平台从所述类对象库中调取与所述远程服务器的类型对应的远程服务器操作代码，基于所述远程服务器操作代码建立所述操作平台与所述远程服务器之间的通信链路的步骤所述之后，还包括：

接收所述操作平台上远程服务器发起的维护请求，所述维护请求中包括待维护的远程服务器和对应的数据库信息；

根据所述维护请求将所述类对象库中与所述远程服务器对应的所有操作代码进行整合编译，得到一个远程服务器数据的维护小程序代码，所述维护小程序代码用于获取所述远程服务器中的数据库的数据进行比对分析；

通过所述通信链路将所述维护小程序代码上传至所述远程服务器并执行。

6.如权利要求5所述的数据库检测方法，其特征在于，所述调取与所述远程服务器的类型对应的所述文件下载代码，以通过所述文件下载代码将所述比对结果文件从所述远程服务器中下载并保存至所述操作平台上的步骤包括：

在接收到所述维护小程序代码执行完成的响应消息后，根据所述远程服务器的类型调取所述文件下载代码，以及从所述远程服务器中下载所述比对 结果文件，并将所述比对结果文件存储在操作平台本地的存储器中。

7.如权利要求6所述的数据库检测方法，其特征在于，所述数据库检测方法还包括：

根据所述维护请求和数据库的属性信息，生成用于存储数据库的数据的表格文件，并将所述表格文件嵌入到所述维护小程序代码中上传至所述远程服务器中，其中，所述表格文件的数据存储格式与所述数据库的数据的存储格式一致。

8.一种数据库检测装置，其特征在于，应用于对远程服务器数据库中的数据检测，所述数据库检测装置包括：

对象生成模块，用于根据远程服务器的操作请求生成类对象库，并将所述类对象库存储于操作平台上的存储单元中，其中，所述类对象库用于控制所述操作平台对所述远程服务器的远程操作，所述类对象库中包含有远程服务器操作代码、远程数据库操作代码以及文件下载代码；

通信模块，用于接收远程操作请求，并确定所述远程操作请求中待触发访问的远程服务器的类型，通过所述操作平台从所述类对象库中调取与所述远程服务器的类型对应的远程服务器操作代码，基于所述远程服务器操作代码建立所述操作平台与所述远程服务器之间的通信链路；

数据读取模块，用于根据所述远程服务器的类型和所述通信链路对应的通信协议，从所述类对象库中获取对应的远程数据库操作代码，并基于所述远程数据库操作代码对所述远程服务器上的各数据库进行访问，以读取所述数据库中的数据；

检测模块，用于根据预设的检验规则对从所述远程服务器中读取到的各数据库的数据进行比对，以筛选出所述数据库中异常的数据，并根据所述异常的数据生成日志格式的比对结果文件，其中，所述预设的检验规则包括所述数据在所述数据库中的存储格式和数据中的敏感字；

下载模块，用于调取与所述远程服务器的类型对应的所述文件下载代码，以通过所述文件下载代码将所述比对结果文件从所述远程服务器中下载并保存至所述操作平台上。

9.一种数据库检测设备，其特征在于，所述数据库检测设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的数据库检测程序，所述数据库检测程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据库检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据库检测程序，所述数据库检测程序被处理器执行时实现如权利要求1-7中任一项所述的数据库检测方法的步骤。

Images