CN115712675A - 数据库的数据处理方法、数据可视化服务器构建方法 - Google Patents

Abstract

本公开涉及一种数据库的数据处理方法、数据可视化服务器构建方法。涉及大数据数据库处理技术领域，所述方法包括：接收数据处理指令，所述数据处理指令至少包括：数据库对应的标识信息和数据库执行语句；根据所述标识信息建立所述数据可视化服务器与所述数据库之间的连接；利用所述数据库执行语句查询与所述数据可视化服务器建立连接的数据库中的数据；对所述数据进行数据处理，其中，所述数据可视化服务器是将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中得到的。采用本方法能够减少数据处理过程中，即ETL过程中重复性较高的工作或者繁琐的编写代码工作的工作量。

Description

数据库的数据处理方法、数据可视化服务器构建方法

技术领域

本公开涉及大数据数据库处理技术领域，特别是涉及一种数据库的数据处理方法、数据可视化服务器构建方法。

背景技术

随着大数据的发展，各种业务系统每天会产生大量的应用数据，因此通常需要对应用数据进行ETL(Extract-Transform-Load)数据加工处理。传统的ETL数据加工处理，通常需要编写脚本完成许多的流程，例如，数据库连接，获取数据，读写同步数据等。目前一般通用的ETL平台，虽然可以快速建立ETL任务，屏蔽复杂的编码任务，但是缺少灵活性。而目前通过编写SQL语句实现ELT的方式虽然灵活性较高，但是编码复杂。

另外，虽然目前使用ELT平台或者通过编写SQL语句可以实现ELT，但是ELT的处理过程中需要处理人员拥有一定量的数据库知识，才能够配置ETL所需的各种参数或者编写处理代码，而对于一些重复性较高的或者繁琐的工作会额外增加编写处理代码的工作量，降低工作的效率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够减少重复性较高的或者繁琐的编写代码的工作量的数据库的数据处理方法、数据可视化服务器构建方法。

第一方面，本公开提供了一种数据库的数据处理方法，所述方法包括：

接收数据处理指令，所述数据处理指令至少包括：数据库对应的标识信息和数据库执行语句；

利用预先创建的数据可视化服务器、所述标识信息和数据库执行语句对所述数据库中的数据进行处理，其中，所述数据可视化服务器是将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中得到的。

在其中一个实施例中，所述利用预先创建的数据可视化服务器、所述标识信息和数据库执行语句对所述数据库中的数据进行处理，包括：

在所述数据可视化服务器中，根据所述标识信息建立所述数据可视化服务器与所述数据库之间的连接，其中，所述标识信息与所述查询接口连接的第三方应用关联，所述标识信息用于指示所述第三方应用获取对应的数据库中的数据；

利用所述数据库执行语句查询与所述数据可视化服务器建立连接的数据库中的数据；

对所述数据进行数据处理，所述数据处理包括：数据转换和数据加载。

在其中一个实施例中，所述方法还包括：

利用所述查询接口将所述数据可视化服务器与所述第三方应用连接。

在其中一个实施例中，所述利用所述查询接口将所述数据可视化服务器与所述第三方应用连接，包括：

利用所述查询接口和预先设置的白名单，将所述数据可视化服务器与所述白名单中的所述第三方应用连接。

在其中一个实施例中，所述数据可视化服务器中至少包括：数据库处理程序查询界面，用于根据所述数据库处理程序的执行过程建立对应的可视化结果，以及展示和修改所述标识信息和数据库执行语句。

在其中一个实施例中，所述利用预先创建的数据可视化服务器、所述标识信息和数据库执行语句对所述数据库中的数据进行处理，包括：

进入所述数据可视化服务器中命令控制界面；

接收数据库连接指令，在所述命令控制界面中根据所述数据库连接指令建立所述数据可视化服务器与所述数据库之间的连接。

在其中一个实施例中，所述方法还包括：

根据所述标识信息和与所述数据库之间的连接信息创建第一数据表；

根据所述查询接口的信息创建第二数据表；

根据查询与所述数据可视化服务器建立连接的数据库中的数据创建第三数据表；

将所述第一数据表、第二数据表和第三数据表进行关联。

第二方面，本公开还提供了一种数据可视化服务器构建方法，所述方法包括：

封装查询接口至可视化服务器中，所述查询接口用于连接第三方应用；

将数据库处理程序集成在所述可视化服务器中，得到数据可视化服务器，所述数据库处理程序用于执行数据库执行语句，所述数据库执行语句用于查询数据库中的数据。

第三方面，本公开还提供了一种数据库的数据处理装置，所述装置包括：

指令接收模块，用于接收数据处理指令，所述数据处理指令至少包括：数据库对应的标识信息和数据库执行语句；

数据库连接模块，用于根据所述标识信息建立所述数据可视化服务器与所述数据库之间的连接，其中，所述标识信息与所述查询接口连接的第三方应用关联，所述标识信息用于指示所述第三方应用获取对应的数据库中的数据；

数据查询模块，用于利用所述数据库执行语句查询与所述数据可视化服务器建立连接的数据库中的数据；

数据处理模块，用于对所述数据进行数据处理，所述数据处理包括：数据转换和数据加载，其中，所述数据可视化服务器是将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中得到的。

在所述装置的一个实施例中，所述装置还包括：

应用连接模块，用于利用所述查询接口将所述数据可视化服务器与所述第三方应用连接。

在所述装置的一个实施例中，所述应用连接模块，还用于：利用所述查询接口和预先设置的白名单，将所述数据可视化服务器与所述白名单中的所述第三方应用连接。

在所述装置的一个实施例中，所述数据可视化服务器中至少包括：数据库处理程序查询界面，用于根据所述数据库处理程序的执行过程建立对应的可视化结果。

在所述装置的一个实施例中，所述装置还包括：

控制界面进入模块，用于进入所述数据可视化服务器中命令控制界面；

指令处理模块，用于接收数据库连接指令，在所述命令控制界面中根据所述数据库连接指令建立所述数据可视化服务器与所述数据库之间的连接。

在所述装置的一个实施例中，所述装置还包括：数据表关联模块，用于根据所述标识信息和与所述数据库之间的连接信息创建第一数据表；根据所述查询接口的信息创建第二数据表；根据查询与所述数据可视化服务器建立连接的数据库中的数据创建第三数据表；将所述第一数据表、第二数据表和第三数据表进行关联。

第四方面，本公开还提供了一种数据可视化服务器构建装置，所述装置包括：

封装模块，封装查询接口至可视化服务器中，所述查询接口用于连接第三方应用；

集成模块，用于将数据库处理程序集成在所述可视化服务器中，得到数据可视化服务器，所述数据库处理程序用于执行数据库执行语句，所述数据库执行语句用于查询数据库中的数据。

第五方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法实施例的步骤。

第六方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例的步骤。

第七方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法实施例的步骤。

上述各实施例中，将需要编写脚本的处理流程通过封装和集成的方式加入到可视化服务器中，得到数据可视化服务器。然后利用数据库的标识信息能够确定需要处理的数据库，确定数据库之后可以在数据可视化服务器中，利用数据库执行语句对数据库中的数据进行处理。区别于目前通过SQL语句和ETL平台进行处理的方式。本案中可以无需处理人员拥有一定量的数据库知识，会简单的输入数据即可，可以直接输入数据库对应的标识信息和数据库执行语句，后续数据库可视化平台根据其中的查询接口和数据库处理程序以及输入的数据对数据库中的数据进行处理，对于重复性的较高或者编写处理代码繁琐的工作均集成在数据可视化平台中，能够减少传统技术中ETL处理流程中重复性较高或者繁琐的编写代码的工作量，提升工作效率，另外，本案重复性较高或者繁琐的编写代码的工作可以集成在可视化服务器中，能够通过可视化的方式进行处理，使得ETL处理过程更加形象容易理解，提高效率。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中数据库的数据处理方法的应用环境示意图；

图2为一个实施例中数据库的数据处理方法的流程示意图；

图3为一个实施例中S204步骤的流程示意图；

图4为一个实施例中数据库处理程序查询界面一部分的示意图；

图5为一个实施例中数据库处理程序查询界面另一部分的示意图；

图6为一个实施例中数据库处理程序查询界面又一部分示意图；

图7为一个实施例中S204中另一步骤的流程示意图；

图8为一个实施例中数据表关联步骤的流程示意图；

图9为一个实施例中数据可视化服务器构建方法的流程示意图；

图10为另一个实施例中数据库的数据处理方法的流程示意图；

图11为一个实施例中数据库的数据处理装置的结构示意框图；

图12为一个实施例中数据可视化服务器构建装置的结构示意框图；

图13为一个实施例中计算机设备的内部结构示意图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。

需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

正如背景技术所述，一般通用的ETL可视化平台中，仅仅针对简单的数据加工过程提供可视化操作，在其提供的SQL Lab(Linux服务器)的控制台上面编写基础的SQL脚本进行查询，或者将SQL脚本内嵌插入服务器中执行。但是缺少数据库与数据库之间连接，以及基本的数据同步传输等功能。并且主要集中于数据库的处理以及数据的清洗加工处理等。而对于一些可视化的平台，将ETL的开发和平台可视化的开发分离开，对于单独部分的开发效率会提高，但难以将技术要求高的ETL与可视化平台很好结合起来。而在进行ETL的处理过程中，存在一些重复繁琐的流程，并且仅支持简单的功能处理，因此功能不全面，不具备面向客户性，在可视化方面没有提供丰富的应用，另外在使用时需要操作人员具有一定的数据库中代码命令基础才能够进行ETL处理。其中，在本公开的一些实施例中，ETL通常是用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。

因此，为解决上述问题，本公开实施例提供了一种数据库的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与数据库104进行通信。终端102接收用户传输的数据处理指令，所述数据处理指令至少包括：数据库104对应的标识信息和数据库执行语句。终端102利用预先创建的数据可视化服务器、所述标识信息和数据库执行语句对数据库104中的数据进行处理。其中，所述数据可视化服务器是将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中得到的。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。数据库104可以是MySQL数据库、Oracl数据库、SqlServer数据库、SQLite数据库、INFORMIX数据库、Redis数据库等等。可视化服务器通常可以是通过三维表现技术来表示复杂的信息，实现对海量数据的立体体现的服务器，其表现形式通常可以是平台、应用程序、网页界面等等方式。

在一个实施例中，如图2所示，提供了一种数据库的数据处理方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：

S202，接收数据处理指令，所述数据处理指令至少包括：数据库对应的标识信息和数据库执行语句。

其中，数据处理指令通常可以是用户需要对数据库中的数据进行处理的指令，其通常情况下会包括了一些需要数据的数据库的信息。数据库对应的标识信息通常可以是数据库的ID(Identity document)或者数据库名称等，是用来对本公开一些实施例中需要处理的数据库进行区分的信息。数据库执行语句通常可以是SQL语句，例如对数据库中数据的查询、筛选操作等等对应的语句。

具体地，本公开的一些实施例中，通常对数据库中的数据处理的方式是将数据库中的数据加载至数据仓库中。因此，当需要对数据库中的数据进行处理时，用户需要将包含各种需要处理的数据库的信息通过数据处理指令的方式发送到终端。终端接收数据处理指令。

S204，利用预先创建的数据可视化服务器、所述标识信息和数据库执行语句对所述数据库中的数据进行处理，

其中，所述数据可视化服务器是将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中得到的。查询接口通常可以是http接口或者ip接口。通过该查询接口并利用数据可视化平台可以将需要处理数据的数据库与第三方应用连接。封装是底层开发的内容，通过底层开发好形成平台的某些功能，而对外展示的连接方式都是非常简单易操作的，这样也大大降低用户的使用门槛。查询接口在本公开的一些实施例中也可以包括可视化服务器和数据库连接的接口以及，第三方应用和可视化服务器连接的接口。可视化服务器通常可以理解为可视化平台。数据库处理程序通常可以是SQL Lab，其可以是提供专门编写SQL来查询数据的程序。数据库处理程序还可以包括：用于连接数据库等的python代码。对数据库中的数据进行处理的方式通常可以是将数据库中的数据进行数据抽取、数据转换将转换后的数据加载到目的端的过程。数据库执行语句可以是预先通过有一定的数据库知识的操作人员进行编写的，通过其他人员进行输入的。也可以直接是通过有一定的数据库知识的操作人员进行编写后输入的。

具体地，首先可以将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中，得到数据可视化服务器。封装查询接口，就可以通过互联网或者ip地址的方式直接调用获取到数据，类似于前端请求后端接口，直接获取json数据的形式，这样就可以直接通过该方式，改进之前繁琐的ETL开发流程。终端将标识信息输入数据可视化服务器中。数据可视化服务器根据标识信息并利用其中的查询接口与对应的数据库进行连接。然后利用其中的数据库处理程序执行数据库执行语句，对数据库中的数据进行处理。

需要说明的是，公开的一些实施例中涉及的封装和集成的方式低代码的方式进行实现，低代码通常可以是一种可视化的应用开发方法，使用较少的代码，以较快的速度来交付应用程序，主要是将一些重复的，繁琐的开发做成自动化流程。低代码指的是通过图形化拖拽、参数化配置等方式来实现代码执行一样的效果。

上述数据库的数据处理方法中，将需要编写脚本的处理流程通过封装和集成的方式加入到可视化服务器中，得到数据可视化服务器。然后利用数据库的标识信息能够确定需要处理的数据库，确定数据库之后可以在数据可视化服务器中，利用数据库执行语句对数据库中的数据进行处理。区别于目前通过SQL语句和ETL平台进行处理的方式。本案中可以无需处理人员拥有一定量的数据库知识，会简单的输入数据即可，可以直接输入数据库对应的标识信息和数据库执行语句，后续数据库可视化平台根据其中的查询接口和数据库处理程序以及输入的数据对数据库中的数据进行处理，对于重复性的较高或者编写处理代码繁琐的工作均集成在数据可视化平台中，能够减少传统技术中ETL处理流程中重复性较高或者繁琐的编写代码的工作量，提升工作效率，另外，本案重复性较高或者繁琐的编写代码的工作集成在可视化服务器中，能够通过可视化的方式进行处理，使得ETL处理过程更加形象容易理解，提高效率。

在一个实施例中，如图3所示，所述利用预先创建的数据可视化服务器、所述标识信息和数据库执行语句对所述数据库中的数据进行处理，包括：

S302，在所述数据可视化服务器中，根据所述标识信息建立所述数据可视化服务器与所述数据库之间的连接，其中，所述标识信息与所述查询接口连接的第三方应用关联，所述标识信息用于指示所述第三方应用获取对应的数据库中的数据。

其中，第三方应用通常可以是需要连接数据库获取数据库中数据的不同应用，也可以是上述实施例中所提及的终端，第三方应用的具体类型在本公开的一些实施例中不进行绝对的限制。

具体地，后续处理的过程通常都是在数据可视化服务器中进行处理。标识信息通常情况下表示唯一性的信息，通过该信息可以找到对应的数据库。因为已经将查询接口封装在数据可视化服务器中了，不再需要在脚本中配置数据库信息，因此可以直接利用标识信息将对应的数据库和数据可视化建立连接。另外，第三方应用还可以利用查询接口和数据可视化服务器连接。将标识信息和第三应用关联，通过这种方式，能够减少了外部代码中的大量编写的连接数据可视化平台连接的数据库的代码。第三方应用可以根据该标识信息获取与数据可视化服务器连接的对应的数据库中的数据。

更进一步的，可以利用查询接口将数据可视化服务器和所述第三方应用进行连接，第三方应用可以通过查询接口来获取与数据可视化服务器连接的数据库中的数据。

在一些示例性的实施例中，比如第三方应用通过查询接口来获取数据库中的数据，可以通过POSTMAN等软件，直接填写请求地址如http://128.xxx.xxx.xxx/api/xx以及参数params:{id:x}这种方式获取数据库中的数据。

S304，利用所述数据库执行语句查询与所述数据可视化服务器建立连接的数据库中的数据。

具体地，在数据可视化服务器中可以直接利用数据库处理程序，执行预先编写完成数据库执行语句，以查询与数据可视化服务器建立连接的数据库中的数据。

S306，对所述数据进行数据处理，所述数据处理包括：数据转换和数据加载。

具体地，可以利用目前的数据处理工具，例如Hive工具对查询得到的数据进行处理。因为本公开所涉及的大多是ETL数据加工处理，因此需要对数据进行转换，并将转换的数据加载到目的端中，供目的端使用，目的端可以是第三方应用，也可以是其他的数据库或者数据仓库。

在本实施例中，在数据库可视化服务器中，利用标识信息能够将数据库、第三方应用进行连接，减少了外部代码中的大量编写的连接数据库的代码，提高了处理效率。另外通过查询接口的方式与第三方应用进行连接，可以使第三方应用直接利用数据可视化服务器获取数据库中的数据。而目前第三方应用通过JAVA编写大量后台代码调用HTTP请求获取到查询返回的数据，目前的这种方式的缺点在于后台开发和我们的可视化服务器分离，且使用了多种编程语言，在理解与调试上也会存在问题。本实施例中利用查询接口和标识信息的方式能够很好的解决这些问题。另外，利用数据库执行语句查询数据库中的数据，区别于目前ETL的数据加工流程，目前的ETL的数据加工流程都是将固定的执行数据处理的参数写入脚本，进而执行脚本，这种方式扩展性较差，并且不利于修改，本案中利用数据处理指令中数据库执行语句进行处理，能够很好的修改查询语句，以适应多种情况。

在一个实施例中，所述利用查询接口将数据可视化服务器和所述第三方应用进行连接，包括：

利用所述查询接口和预先设置的白名单，将所述数据可视化服务器与所述白名单中的所述第三方应用连接。

具体地，可以预先设置开放白名单，在白名单中的第三方应用的IP地址和网络地址为信任的地址，只有在开放白名单中的第三方应用才能与数据可视化服务器连接，进而获取数据库中的数据。

在本实施例中，设置开放白名单的功能可以防止一些非法的请求以及攻击，对系统进行蓄意破坏或者盗取数据，只有信任的第三方应用才能获取到请求的数据，保证数据的安全性和完整性。

在一个实施例中，所述数据可视化服务器中至少包括：数据库处理程序查询界面，用于根据所述数据库处理程序的执行过程建立对应的可视化结果，以及展示和修改所述标识信息和数据库执行语句。

具体地，如图4所示，将数据库处理程序集成在可视化服务器中后，数据可视化服务器需要进行可视化展示该部分，因此可以进行展示数据可视化连接的数据库、对数据库中操作的各种结果，如各个数据库的名称、数据库的类型(如图4中的数据库为MySQL数据库)、异步执行查询结果、是否允许DML(Data Manipulation Language)、允许Csv(Comma-Separated Values)上传、在SQL工具箱中公开等等结果。如图5所示，数据库处理程序查询界面还可以包括：数据库执行语句、标识信息显示及修改的部分，用来显示数据库执行语句的部分并且显示对应的操作的数据库和操作模式，以及显示标识信息。如图所示的数据库为：MySQL数据库，数据模式可以为bigdata。如图6所示，数据库处理程序查询界面还可以展示连接的数据库ID(标识信息)、连接模式、是否异步、数据库执行语句(sql语句)等。

在一些示例性的实施例中，可以使用python实现后端和React实现前端，通过python的flask技术实现的模板建立相应的界面，然后就可以实现出如图4、如图5或者如图6所示的界面。

可以理解的是，如上所述的数据库处理程序查询界面可以为一个界面也可以为多个界面。

在本实施例中，利用数据库处理程序查询界面，能够可视化的展示本案中对数据库的各种操作，并且可以在对应界面中进行修改数据库执行语句和标识信息，可以在需要的时候通过直接在对应的界面上对相对应的字段进行修改，如更改数据库ID，更改库名，更改SQL等，动态性强，且比较自由。

在一个实施例中，如图7所示，所述利用预先创建的数据可视化服务器、所述标识信息和数据库执行语句对所述数据库中的数据进行处理，还包括：

S402，进入所述数据可视化服务器中命令控制界面。

S404，接收数据库连接指令，在所述命令控制界面中根据所述数据库连接指令建立所述数据可视化服务器与所述数据库之间的连接。

其中，命令控制界面通常可以是数据可视化服务器中编写命令，或者编写代码的界面。数据库连接指令通常可以是预先编写的与数据库进行连接的代码。

具体地，确定数据可视化服务器所对应的操作系统，操作系统可以包括：window操作系统，Linux操作系统，MAC操作系统等等。根据不同的操作系统进入对应的命令控制界面，例如window操作系统上的cmd，Linux操作系统中的Terminal，MAC操作系统中的iTerm。用户输入数据库连接指令，数据库连接指令中包括了需要连接的数据库，以对应的连接代码。接收该数据库连接指令，将数据库连接指令输入命令控制界面中，在命令控制界面中，根据数据库连接指令中的连接代码建立可视化服务器和数据库之间的连接。

在本实施例中，还可以通过命令控制界面实现数据可视化服务器和数据库之间的连接，可以进行批量连接多个数据库，提高数据库连接效率，

在一个实施例中，如图8所示，所述方法还包括：

S502，根据所述标识信息和与所述数据库之间的连接信息创建第一数据表。

S504，根据所述查询接口的信息创建第二数据表。

S506，根据查询与所述数据可视化服务器建立连接的数据库中的数据创建第三数据表。

S508，将所述第一数据表、第二数据表和第三数据表进行关联。

具体的，可以利用数据可视化服务器建立各个数据表。数据可视化服务器与数据库之间的连接信息，以及对应的每个数据库的标识信息可以为一张数据表，该数据表可以为第一数据表。将与第三方应用连接的查询接口创建一张单独的数据表，该数据表可以为第二数据表。将查询得到的数据库的数据创建一张单独的表，该表可以为第三数据表。然后通过数据库的外键进行表之间的关联，将这三个部分的数据进行整合。可以是将数据存放在单表中，也可以存放在多张表中，然后通过某个或某几个字段将它们关联起来，最终的目的是实现数据的连接与共享。

在一个示例性的实施例中，例如，数据可视化服务器分别和数据库A、B和C进行连接。数据库A、B和C的标识信息依次为11、12和13。则可以将数据可视化服务器和11、12、13之间建立对应的第一数据表。数据可视化服务器通常是通过查询接口和第三方服务器连接。每个第三方应用连接的查询接口通常情况下是不相同的，则可以通过查询接口连接的第三方应用的信息创建第二数据表。例如，通过数据可视化服务器中的S1、S2和S3查询接口分别与第三方应用X1、X2和X3连接，则对应的S1和X1、S2和X2、S3和X3建立第二数据表。第三方应用通常情况下利用查询接口获取到与数据可视化服务器建立连接的数据库中的数据，例如第三方应用X1获取数据库A中的数据A1，X2获取数据库B中的数据B1，X3获取数据C中的数据C1，则将X1和A1，X2和A2，X3和A3建立第三数据表，将第一数据表、第二数据表和第三数据表利用外键或者字段进行关联。例如，当查询标识信息11时，因为标识信息11和数据可视化服务器连接，其对应的数据库为A，根据第一数据表可以确定数据库A和数据可视化服务器连接。数据库A其中的数据为A1，根据第三数据表可以确定数据A1对应的是第三方应用X1获取的。根据第二数据表可以确定第三方应用X1是与数据可视化服务器S1查询接口连接的。

本实施例中，通过建立第一数据表、第二数据表和第三数据表，并且将第一数据表、第二数据表和第三数据表进行关联，可以实现数据之间的连接与共享。通过数据表中的外键进行关联，就可以在后台开发一套代码实现前端界面展示出一些需要通过命令行开发的流程，能够减少重复性较高的或者繁琐的编写代码的工作量。

在一个实施例中，如图9所示，本公开实施例还提供了一种数据可视化服务器构建方法，所述方法包括：

S602，封装查询接口至可视化服务器中，所述查询接口用于连接第三方应用。

S604，将数据库处理程序集成在所述可视化服务器中，得到数据可视化服务器，所述数据库处理程序用于执行数据库执行语句，所述数据库执行语句用于查询数据库中的数据。

关于本实施例中的具体实施方式和限定可以参见上述实施例，在此不进行重复赘述。

在一个实施例中，本公开实施例还提供了另一种数据库的数据处理方法，如图10所示，所述方法包括：

S702，封装查询接口至可视化服务器中，所述查询接口用于连接第三方应用。

S704，将数据库处理程序集成在所述可视化服务器中，得到数据可视化服务器。

S706，接收数据处理指令，所述数据处理指令至少包括：数据库对应的标识信息和数据库执行语句。

S708，利用所述查询接口和预先设置的白名单，将所述数据可视化服务器与所述白名单中的所述第三方应用连接。

S710，在所述数据可视化服务器中，根据所述标识信息建立所述数据可视化服务器与所述数据库之间的连接，其中，所述标识信息与所述查询接口连接的第三方应用关联，所述标识信息用于指示所述第三方应用获取对应的数据库中的数据。

或者，S712，进入所述数据可视化服务器中命令控制界面；

S714，接收数据库连接指令，在所述命令控制界面中根据所述数据库连接指令建立所述数据可视化服务器与所述数据库之间的连接。

S716，利用所述数据库执行语句查询与所述数据可视化服务器建立连接的数据库中的数据。

S718，根据所述标识信息和与所述数据库之间的连接信息创建第一数据表。

S720，根据所述查询接口信息创建第二数据表。

S722，根据查询与所述数据可视化服务器建立连接的数据库中的数据创建第三数据表。

S724，将所述第一数据表、第二数据表和第三数据表进行关联。

关于本实施例中的具体实施方式和限定可以参见上述实施例，在此不进行重复赘述。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的数据库的数据处理方法的数据库的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据库的数据处理装置实施例中的具体限定可以参见上文中对于数据库的数据处理方法的限定，在此不再赘述。

在一个实施例中，如图11所示，提供了一种数据库的数据处理装置800，包括：指令接收模块802和数据库连接模块804、数据查询模块608和数据处理模块808。

指令接收模块802，用于接收数据处理指令，所述数据处理指令至少包括：数据库对应的标识信息和数据库执行语句；

数据库连接模块804，用于根据所述标识信息建立所述数据可视化服务器与所述数据库之间的连接，其中，所述标识信息与所述查询接口连接的第三方应用关联，所述标识信息用于指示所述第三方应用获取对应的数据库中的数据；

数据查询模块806，用于利用所述数据库执行语句查询与所述数据可视化服务器建立连接的数据库中的数据；

数据处理模块808，用于对所述数据进行数据处理，所述数据处理包括：数据转换和数据加载。其中，所述数据可视化服务器是将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中得到的。

在所述装置的一个实施例中，所述装置还包括：

应用连接模块，用于利用所述查询接口将所述数据可视化服务器与所述第三方应用连接。

在所述装置的一个实施例中，利用所述查询接口和预先设置的白名单，将所述数据可视化服务器与所述白名单中的所述第三方应用连接。

在所述装置的一个实施例中，所述数据可视化服务器中至少包括：数据库处理程序查询界面，用于根据所述数据库处理程序的执行过程建立对应的可视化结果。

在所述装置的一个实施例中，所述装置还包括：

控制界面进入模块，用于进入所述数据可视化服务器中命令控制界面；

指令处理模块，用于接收数据库连接指令，在所述命令控制界面中根据所述数据库连接指令建立所述数据可视化服务器与所述数据库之间的连接。

在所述装置的一个实施例中，所述装置还包括：数据表关联模块，用于根据所述标识信息和与所述数据库之间的连接信息创建第一数据表；根据所述查询接口的信息创建第二数据表；根据查询与所述数据可视化服务器建立连接的数据库中的数据创建第三数据表；将所述第一数据表、第二数据表和第三数据表进行关联。

上述数据库的数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图12所示，本公开实施例还提供了一种数据可视化服务器构建装置900，所述装置包括：

封装模块902，封装查询接口至可视化服务器中，所述查询接口用于连接第三方应用；

集成模块904，用于将数据库处理程序集成在所述可视化服务器中，得到数据可视化服务器，所述数据库处理程序用于执行数据库执行语句，所述数据库执行语句用于查询数据库中的数据。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据库的数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。

Claims (17)

1.一种数据库的数据处理方法，其特征在于，所述方法包括：

接收数据处理指令，所述数据处理指令至少包括：数据库对应的标识信息和数据库执行语句；

根据所述标识信息建立所述数据可视化服务器与所述数据库之间的连接，其中，所述标识信息与所述查询接口连接的第三方应用关联，所述标识信息用于指示所述第三方应用获取对应的数据库中的数据；

利用所述数据库执行语句查询与所述数据可视化服务器建立连接的数据库中的数据；

对所述数据进行数据处理，所述数据处理包括：数据转换和数据加载，其中，所述数据可视化服务器是将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中得到的。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用所述查询接口将所述数据可视化服务器与所述第三方应用连接。

3.根据权利要求2所述的方法，其特征在于，所述利用所述查询接口将所述数据可视化服务器与所述第三方应用连接，包括：

利用所述查询接口和预先设置的白名单，将所述数据可视化服务器与所述白名单中的所述第三方应用连接。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述数据可视化服务器中至少包括：数据库处理程序查询界面，用于根据所述数据库处理程序的执行过程建立对应的可视化结果，以及展示和修改所述标识信息和数据库执行语句。

5.根据权利要求1所述的方法，其特征在于，所述利用预先创建的数据可视化服务器、所述标识信息和数据库执行语句对所述数据库中的数据进行处理，包括：

进入所述数据可视化服务器中命令控制界面；

接收数据库连接指令，在所述命令控制界面中根据所述数据库连接指令建立所述数据可视化服务器与所述数据库之间的连接。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述标识信息和与所述数据库之间的连接信息创建第一数据表；

根据所述查询接口的信息创建第二数据表；

根据查询与所述数据可视化服务器建立连接的数据库中的数据创建第三数据表；

将所述第一数据表、第二数据表和第三数据表进行关联。

7.一种数据可视化服务器构建方法，其特征在于，所述方法包括：

封装查询接口至可视化服务器中，所述查询接口用于连接第三方应用；

将数据库处理程序集成在所述可视化服务器中，得到数据可视化服务器，所述数据库处理程序用于执行数据库执行语句，所述数据库执行语句用于查询数据库中的数据。

8.一种数据库的数据处理装置，其特征在于，所述装置包括：

指令接收模块，用于接收数据处理指令，所述数据处理指令至少包括：数据库对应的标识信息和数据库执行语句；

数据库连接模块，用于在所述数据可视化服务器中，根据所述标识信息建立所述数据可视化服务器与所述数据库之间的连接，其中，所述标识信息与所述查询接口连接的第三方应用关联，所述标识信息用于指示所述第三方应用获取对应的数据库中的数据；

数据查询模块，用于利用所述数据库执行语句查询与所述数据可视化服务器建立连接的数据库中的数据；

数据处理模块，用于对所述数据进行数据处理，所述数据处理包括：数据转换和数据加载，其中，所述数据可视化服务器是将查询接口封装至可视化服务器中，以及将数据库处理程序集成在可视化服务器中得到的。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

应用连接模块，用于利用所述查询接口将所述数据可视化服务器与所述第三方应用连接。

10.根据权利要求9所述的装置，其特征在于，所述应用连接模块，还用于：利用所述查询接口和预先设置的白名单，将所述数据可视化服务器与所述白名单中的所述第三方应用连接。

11.根据权利要求8-10任一项所述装置，其特征在于，所述数据可视化服务器中至少包括：数据库处理程序查询界面，用于根据所述数据库处理程序的执行过程建立对应的可视化结果。

12.根据权利要求8所述的装置，其特征在于，所述装置还包括：

控制界面进入模块，用于进入所述数据可视化服务器中命令控制界面；

指令处理模块，用于接收数据库连接指令，在所述命令控制界面中根据所述数据库连接指令建立所述数据可视化服务器与所述数据库之间的连接。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：数据表关联模块，用于根据所述标识信息和与所述数据库之间的连接信息创建第一数据表；根据所述查询接口的信息创建第二数据表；根据查询与所述数据可视化服务器建立连接的数据库中的数据创建第三数据表；将所述第一数据表、第二数据表和第三数据表进行关联。

14.一种数据可视化服务器构建装置，其特征在于，所述装置包括：

封装模块，封装查询接口至可视化服务器中，所述查询接口用于连接第三方应用；

集成模块，用于将数据库处理程序集成在所述可视化服务器中，得到数据可视化服务器，所述数据库处理程序用于执行数据库执行语句，所述数据库执行语句用于查询数据库中的数据。

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。

17.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。

Images