CN102262561B - 数据库大批量任务处理的调度方法 - Google Patents

Abstract

本发明是对针对数据库大批量任务处理的调度方法，属于计算机信息处理领域，是一种数据库中间件，实现了应用程序与本地或异地的同构或异构数据源的数据交换。本发明提供统一接口，屏蔽数据库之间的操作差异。当客户端发出对某个数据库的请求时，通过数据库中间件搜索匹配的数据库连接，并在客户端发送请求过程中进行数据加密处理，数据库服务完成数据查询，再经中间件，将结果返回客户端，通过其对数据库进行操作。

Description

数据库大批量任务处理的调度方法

技术领域

本发明是属于计算机信息处理技术领域，具体涉及对数据库大批量任务处理的调度方法。

背景技术

随着计算机网络的迅速发展，传统的信息系统概念发生了巨大的改变，这些信息突出的表现在信息存储，传递，发布，以及获取方式发生了革命性的变化，随着高性能技术应用需求的迅速发展，已不再满足当前人们的需求。

目前，互联网中已有多种数据库存在，包括OracleDatabaseServer、MicrosoftSQLServer、Sybase、MySQL、DB2等。这些数据库对外提供的接口基本上是c的API，数据库的发展很好的帮助了人们解决信息的传递和存储，但又有新的问题出现，使用不同的数据应用程序，他们之间不能相互移植，即通信接口不统一，往往需要程序开发人员改动大量的代码，这就给程序开发人员带来了很大的困难。在安全性方面，也有新的问题，即应用程序与数据库服务通信过程中，是以明码的方式传递数据，这就存在一定的信息泄露风险。

基于数据库大批量任务处理的调度方法很好的解决了上述问题，本技术将客户请求处理的数据收集起来。并自动过滤无用的信息，保证信息的有效性，还将信息按一定方式组织、整理、分块、加密，取出数据信息，然后将数据交与它处理，同步处理分发过来的数据，最后把数据写入数据库中，直到所有数据处理完毕。

发明内容

本发明旨在提供一种对数据库大批量任务处理的调度方法，技术实现的主要功能有：(1)支持常用大型数据库的各种操作。如ORACLE，DB2，MYSQL等常用数据库。(2)提供统一接口，屏蔽不同类型数据库之间的操作差异。(3)封装复杂烦琐的数据库应用接口和数据库操作过程，简化应用程序的数据库操作，提高应用程序开发效率。(4)支持常用的操作系统。如Windows、UNIX、Linux等，便于应用代码在各平台之间的移植。(5)支持多线程，可以提供多线程与线程库，满足各种场合应用。(6)对发送的数据进行加密处理，保证信息传递安全。(7)对请求的任务进行合理的整理分块，有效防止程序假死。本发明是提供一种对数据批量任务处理调度方法，以便提高对大量数据处理的便利程度和灵活性。

具体实施方式：

为了实现上述目的，本发明采用的是对数据库大批量任务处理的一种调度，包括以下步骤：

(1)数据库服务运行：运行数据库服务器；

(2)运行中间件：运行应用程序；

(3)连接通讯：判断中间件是否和数据库连接成功；

(4)数据接收：接收客户端发送的请求，获取请求的数据，并对请求数据进行加密处理；

(5)数据处理：并解密数据，构建SQL语句，打开数据集，取出数据；

(6)写入数据库：将提取出来的数据依次写入数据库中；

(7)返回数据：将数据库处理结果返回中间件，中间件加密数据后发送给客户端。

1.如权利要求(1)中对数据库大批量任务处理的一种调度步骤(1)中，其特征在于：运行数据库服务器，程序自动连接上数据库，保证程序和数据库的通讯。

2.如权利要求(2)中对数据库大批量任务处理的一种调度步骤(2)中，其特征在于：运行程序，自动接收用户请求处理的数据源。

3.如权利要求(3)中对数据库大批量任务处理的一种调度步骤(3)中，其特征在于：判断程序是否和数据库连接成功。

4.如权利要求(4)中对数据库大批量任务处理的一种调度步骤(4)中，其特征在于：接收用户请求处理的数据，如列信息对象，包括：列名、类型、长度等，并在客户端发送请求过程中对数据进行加密处理。

5.如权利要求(5)中对数据库大批量任务处理的一种调度步骤(5)中，其特征在于：对数据解密后，轮流取出数据，即多个客户端同时发送任务请求，将先处理每个客户端的第一个请求，执行完成之后，再处理客户端的第二次请求。

6.如权利要求(6)中对数据库大批量任务处理的一种调度步骤(6)中，其特征在于：将整理完整的数据依次写入数据库中。

7.如权利要求(7)中对数据库大批量任务处理的一种调度步骤(7)中，其特征在于：数据库服务处理完请求后，将处理结果返回给中间件，中间件对数据进行加密后，发送给客户端。如客户端只写入数据请求，数据库无结果返回。

附图说明

图1为传统的客户端与数据库之间的通信流程图。

图2为加入数据库大批量任务处理的一种调度方法后客户端与数据库之间的图像流程图。

在图1中，此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解析本发明，并不构成对本发明的不当限定，在附图中图1是传统技术对数据库处理大批量任务的流程图。

在图2中：

1.其特征在于：

在A处将接收用户请求处理的数据，然后再写入数据库中，若是多个任务同时操作数据库，那么A处就会把任务请求数据进行分块处理。同时将每个任务所分配的同等数据进行处理。处理完之后会把数据写入数据库，相比之下，本发明对数据信息处理更高效

2.具体实施方案：

(1)创建一个数据库基类：当客户端需要访问数据库服务端某个表时，需要定义一个数据库。

(2)基类生成表操作环境，打开某个数据库，定时查询连接状态，如果断开，自动发起连接，与服务端进行通讯，把接收的信息发给相应的表。

(3)创建一个表基类：当客户端需要访问极限网络数据库服务端某个表时，需要在此基类上派生出自己的表，在某个数据库上打开此表或关闭此表，将客户需要发送的消息，打包给数据库进行操作，数据库接收到的消息后还原成客户需要的格式。

(4)程序需要操作数据库时，各个任务将发送数据到A处进行数据分配，在自身派生的表中处理数据，在A处将处理好的数据再还原成用户所求形式，提交至数据库。

(5)数据库处理完任务请求后，将处理结果返回给中间件，返回过程中对数据进行加密处理，通过中间件解密后将数据返回给客户端。

Claims (1)

1.一种数据库大批量任务处理的调度方法，使用统一接口，其外部连接数据库，在任务对数据进行运作的时候，继承创建的数据库基类和表基类，当客户端需要访问数据库服务端某个表时，在此数据库基类上派生出自己的表，再根据不同的操作指令指向数据库，将客户需要发送的消息，打包给数据库进行操作，数据库接收到的消息后还原成客户需要的格式；客户端程序需要操作数据库时，各个任务将发送数据到中间件处进行数据分配，在自身派生的表中处理数据，将处理好的数据再还原成用户所求形式，提交至数据库；

(1)接口统一屏蔽不同类型数据库之间的操作差异；

(2)加密处理：客户端发送请求过程中对数据进行加密处理，接收客户端请求的数据，并在客户端发送请求过程中对数据进行加密处理；

(3)解密处理：对加密后的请求进行解密处理；

(4)任务请求分块：解密任务请求后，对任务请求进行分块处理，构建并执行SQL语句，把请求发送给数据库服务，对多个客户端请求的任务中轮流取出数据，若多个客户端同时发送多个任务请求，将先处理多个客户端的第一个请求，执行完成之后，再处理客户端的第二个任务请求，直到所有请求处理完成,若是多个任务同时操作数据库，那么中间件处就会把任务请求数据进行分块处理，同时将每个任务所分配的同等数据进行处理；

(5)返回数据：接收数据库返回的数据，发送给客户端，其特征在于：接收数据库返回的信息，数据库返回数据过程中对数据进行加密处理，发送给客户端并进行解密处理。