CN104794147A - 异构数据库访问方法 - Google Patents

Abstract

本发明提出一种异构数据库访问方法，针对JDBC，ODBC，ADO以及BDE技术，解决了数据访问跨平台特性，数据访问跨开发语言与开发环境特性，同时充分考虑数据访问效率，通过特定的方法实现不同数据类型，大容量数据类型的访问模式，使应用层面的开发人员抛弃繁琐的SQL语言，数据库存储过程开发工作，专注于应用业务逻辑的实现，而数据库开发人员，可以专注于不同数据库服务器的特性，组织业务数据格式，提升数据访问效率。对开发人员来说，采用一个成熟的系统架构模型和专业的开发分工，有助于提升应用系统开发的可靠性。

Description

异构数据库访问方法

技术领域

本发明涉及数据处理方法，特别是涉及数据库的访问方法。

背景技术

随着当前计算机技术发展，对数据库访问能力越来越重要，开发者在实现某种系统应用同时，必须考虑不同类型的关系数据库的部署，以适应企业已有的IT管理架构。不同企业对数据库系统的选择不同，如果一个应用系统强制要求数据库服务器类型，有可能需要增加企业在数据库服务器方面的投资，增加数据库服务的维护投入。而如果一个系统应用能够按照企业已有的数据库服务器进行部署，则能够节省企业在数据库方面的投资，有利于保护原有投资，简化系统部署的方案和成本。这就要求开发者在实现一个具体的系统应用时，能够兼顾目前主流的关系数据库服务器平台，在系统部署时，能够按照客户已有的数据库服务器类型实现灵活的系统部署实现机制。

目前主流的关系数据库种类有：

ORACLE系统（8i, 10g, 11g等等）；

微软公司SQL SERVER平台（2003，2005，2008等等）；

IBM公司DB2；

开源数据库平台My Sql等等；

开发者在实现不同类型数据库访问时，往往需要通过操作系统本身或者开发工具提供的一些数据库连接工具来实现数据的连接和数据库的访问，如ODBC，JDBC，ADO，BDE等等。开发过程中往往需要根据不同的后台数据库开发独立的应用客户端程序和中间层应用程序，以实现不同类型数据库的访问，如图3所示。

JDBC池连接技术。JDBC池连接是由J2EE服务器打开和维护的。J2EE服务器启动时会建立一定数量的池连接。并一直维持不少于此数目的池连接。客户端程序需要连接时，根据数据库类型选择相应的驱动程序，池驱动程序会返回一个未使用的池连接并将其标记为忙。如果当前没有空闲的连接，池驱动程序就新建一定数量的连接，新建连接的数量由配置参数决定。当使用池连接的调用完成后，池驱动程序将此连接标记为空闲，这样其它调用又可以使用这个连接。JDBC是JAVA开发语言的主要数据库连接技术，具备较好的跨操作系统平台特性以及数据访问效率，但不具备其他开发语言的支持能力。

ODBC技术。开放数据库互连（Open Database Connectivity，ODBC）是微软公司开放服务结构（WOSA，Windows Open Services Architecture）中有关数据库的一个组成部分，它建立了一组规范，并提供了一组对数据库访问的标准API（应用程序编程接口）。这些API利用SQL来完成其大部分任务。ODBC本身也提供了对SQL语言的支持，用户可以直接将SQL语句送给ODBC，如图4所示。

一个基于ODBC的应用程序对数据库的操作不依赖任何DBMS，不直接与DBMS打交道，所有的数据库操作由对应的DBMS的ODBC驱动程序完成。ODBC基于Windows操作系统平台，它用包含在DLL内的驱动程序完成任务。ODBC不具备跨平台的数据库访问支持能力。ODBC技术数据访问效率相对较低，对WEB程序的支持能力不足。

ADO技术。ADO (ActiveX Data Objects，ActiveX数据对象）是Microsoft提出的应用程序接口（API）用以实现访问关系或非关系数据库中的数据。ADO（ActiveX Data Objects）是基于组件的数据库编程接口，它是一个和编程语言无关的COM组件系统。

和ODBC技术类似，ADO不具备跨平台的数据库访问支持能力，但ADO能够完成对WEB应用的数据访问支持，同时数据访问效率也较高。

BDE技术。BDE(Borland Database Engine)是Inprise公司的数据库引擎，它结合了SQL Links允许程序员通过它能够连接到各种不同的数据库。主要应用于Inprise公司相应的开发工具，具备跨平台的开发支持能力，数据访问效率较高。

现有的ODBC，JDBC，ADO，BDE等技术，能够实现对异构数据的访问，但这些技术与数据库系统本身关联密切，都需要在前台（客户端）完成SQL语句的封装后，提交到数据库服务器后台实现数据的查询处理，或者直接调用数据库服务器的存储过程来完成。由于不同数据库平台的连接方式，SQL语法存在差异，开发者通过这些技术进行数据访问时，必须针对后台数据库类型进行适应性的开发工作，也就是说需要按照不同的数据库平台进行独立的中间件和客户端的开发工作，降低了开发者的工作效率，增加了部署难度，也增加了开发项目管理的难度。

关于几种数据库访问技术的特点和不足，可以参考下表 

技术描述	跨平台支持	多语言开发支持	数据访问效率	备注
					ODBC技术	否	是	高	基于WINDOWS平台的一种数据访问方法，难以实现跨平台的数据访问，主流数据库访问方法
JDBC技术	是	否	高	基于JAVA开发工具的数据库访问，开发语言限定在JAVA语言，其他开发语言无法利用JDBC实现跨平台数据访问；
					ADO	否	是	中	访问效率和跨平台特性不足，能够在微软提供的WINDOWS开发工具中使用
BDE	是	否	高	仅在BORLAND系统开发工具中使用

发明内容

本发明要解决的技术问题在于避免现有技术的不足之处而提出一种异构数据库访问方法，DBES：DataBase Engine System，用来解决计算机系统异构数据库访问方法，提出了一个“应用层客户端——DBES——数据库服务器”的统一架构，在统一系统架构下，独立的客户端模式实现对不同类型数据库架构下数据挖掘和数据访问管理。

本发明提出一种系统架构方法，通过统一数据接口定义的方法，建立客户端与中间层的统一数据访问机制。系统架构中，由中间层应用实现对异构数据库的访问，并充分实现异构数据库的特点，而客户端侧只关心业务需要的数据类型和格式，数据访问的接口定义，并不需要关心数据来源和数据库服务的类型，从而达到简化开发流程，简化系统部署，兼容异构数据库的目的。

本发明通过中间件模式，建立统一的数据接口规范，通过中间件实现异构数据库驱动的加载，客户端应用程序无需与数据库建立直接联系，只需要通过数据访问接口来实现对数据的访问。

数据访问接口表采用统一数据接口规范定义，接口定义了基本的消息格式，消息报文格式。消息格式定义了DBES的访问的基本框架，消息报文格式则定义了具体应用实现的内容，请参考后续的详细阐述。客户端与应用平台中间件共同维护数据访问接口列表，完成对具体应用数据的访问和管理。客户端不需要直接与数据库建立连接，也不需要对具体的应用进行数据的增加，删除，修改，查询的SQL语句封装，客户端只需要关注应用数据的格式，类型，数据长度等应用相关信息，通过统一数据接口实现数据的访问。DBES开发人员则重点关注数据库访问的实现，关注数据查询和管理效率，数据完整性，异构数据库特点的实现。系统架构实现数据库开发和应用层开发分离，更有效，更专业的实现系统的开发分工，同时由于采用了统一的数据接口，当数据库服务器发生变化时，只需要在DBES范围内进行相应的驱动开发即可，不需要应用层开发人员做更多的工作即可实现不同类型数据库的兼容特性。

DBES层面的开发工作，可以按照数据访问接口进行模块化的开发工作。将不同类型的应用进行分类，通过消息格式中服务ID的描述，由系统消息总线平台实现消息分发，DBES负责解析消息内容，根据应用消息报文调用相应的数据库服务驱动，完成数据的访问和管理职能。消息执行完成后，通过消息总线将数据访问结果返回给客户端应用程序，完成一个数据访问流程。

同现有技术相比较，本发明“异构数据库访问方法”的技术效果在于：

本发明针对JDBC，ODBC，ADO以及BDE技术，解决了数据访问跨平台特性，数据访问跨开发语言与开发环境特性，同时充分考虑数据访问效率，通过特定的方法实现不同数据类型，大容量数据类型的访问模式，使应用层面的开发人员抛弃繁琐的SQL语言，数据库存储过程开发工作，专注于应用业务逻辑的实现，而数据库开发人员，可以专注于不同数据库服务器的特性，组织业务数据格式，提升数据访问效率。对开发人员来说，采用一个成熟的系统架构模型和专业的开发分工，有助于提升应用系统开发的可靠性。

附图说明

图1是本发明“异构数据库访问方法”系统架构图；

图2是DBES流程图；

图3是现有技术数据库开发流程图；

图4是现有技术ODBC数据访问模式示意图。

具体实施方式

以下结合附图所示实施例作进一步详述。

第一、DBES处理消息流程，如图1所示。

“应用层客户端——数据库引擎系统DBES——数据库服务器”架构实现数据库访问流程按照以下步骤实现：

1. 数据库引擎系统DBES启动，按照配置文件定义加载具体的后台数据库服务器驱动程序，完成数据库连接；

2. 数据库引擎系统DBES确认数据库连接成功以后，建立与系统消息总线连接，将统一数据接口以服务的模式注册到系统消息总线上，准备提供后续服务；

3. 客户端应用程序按照具体应用类型，选择应用数据访问接口，对接口消息体进行封装，并通过消息总线将消息发送给数据库引擎系统DBES进行处理；

4. 数据库引擎系统DBES收到消息后，对消息体进行解析，调用对应的接口函数，在接口函数中对消息体参数进行解析，并封装相应的结构化查询语言Structured Query Language （SQL）语句或者调用数据库服务器存储过程，获得应用数据；

5. 数据获得以后，按照接口类型进行数据处理，将数据处理结果封装为返回消息报文，以可扩展标记语言Extensible Markup Language （XML）方式将数据通过消息总线返回给应用层客户端程序；

6. 应用层客户端解析返回的消息报文，判断数据接口访问执行结果，将结果或者返回的数据展现给操作人员。

第二、 消息报文格式

客户端与DBES消息报文交互采用XML格式，分XML头和XML体两部分。其中XML头中包含的数据为固定数据，XML体包含的数据为可变数据。根据不同的接口XML头中的数据和XML体中包含的字段数量有不同。消息报文体格式如下：

<?xml version="1.0" encoding="gb2312"?>//固定格式

<!DOCTYPE msg SYSTEM "msg.dtd">//固定格式

<msg>

<head>XML报文头,所有节点全部为固定的

                   <version>1.0.0.1</version>版本号

                   <device_id>1</device_id>设备编号

                   <method_id>1073742870</method_id>

                   <req_id>191946906</req_id>

                   <result_code>0</result_code>

                   <type>4</type>

                   <one_page_count>100</one_page_count>

                   <curr_page>1</curr_page>

                   <total_page>0</total_page>

                 </head>

<body>XML报文体,其中field和value节点数量会变化

                   <field_num>1</field_num>

<field_list>

                          <field name="ifname" type="4105"/>字段名,根据field_num值变化

                           …..

                   </field_list>

                   <data_num>1</data_num>

<data>

                          <value len="10">='ge.11.1'</value>字段值

……

                    </data>

                    ……

             </body>

</msg>

消息报文体说明表

  

 第三、 消息交互相关数据结构

消息报文相关数据结构定义如下：

消息交互协议头定义：

typedef struct

{

      Byte m_leading_byte[4];   // 协议起始字符，请求报文：0xaaaaaaaa，应答报文：0xffffffff.

      int  m_size;                       // 要接收的数据包长度(不包括协议头本身的长度)

}PROTOCOL_HEAD;        

消息报文头定义：

typedef struct

{

      char version[12];       // 版本号

      _UL device_id;          // 设备ID

      _UL method_id;          // 操作方法ID, 就是针对某个设置或者查询命令

      _UL result_code;        // 返回码, 在应答报文中有效.

      int type;                     // 报文类型

      int one_page_count;     // 每页显示的记录个数

      int curr_page;          // 当前页数

      int total_page;         // 查到的总页数

}MSG_HEAD;

 通用参数字段结构体, 可以用来标识报文头或者报文体的某个字段：

typedef struct

{

        int  index;              // 表示在报文体中的第几个数据下标, 在报文体中有用.

      char m_field_name[32];   // 字段名称

      int  m_type;             // 字段类型

      char m_value[256];       // 字段的值, xml是文本字符串格式的

}PARAM_FIELD_STRUCT;

 报文体结构定义：

typedef struct

{

      int data_num;      // data的个数, 即para_datas中包括几个data.

      vector<PARAM_FIELD_STRUCT> para_datas;  // 存放body中所有data的数据(para参数)

}MSG_BODY。

Claims (1)

1.一种异构数据库访问方法，其特征在于构建按如下步骤运行的数据库引擎系统：

A. 数据库引擎系统启动，按照配置文件定义加载具体的后台数据库服务器驱动程序，完成数据库连接；

B. 数据库引擎系统确认数据库连接成功以后，建立与系统消息总线连接，将统一数据接口以服务的模式注册到系统消息总线上，准备提供后续服务；

C. 客户端应用程序按照具体应用类型，选择应用数据访问接口，对接口消息体进行封装，并通过消息总线将消息发送给数据库引擎系统进行处理；

D. 数据库引擎系统收到消息后，对消息体进行解析，调用对应的接口函数，在接口函数中对消息体参数进行解析，并封装相应的结构化查询语言语句或者调用数据库服务器存储过程，获得应用数据；

E. 数据获得以后，按照接口类型进行数据处理，将数据处理结果封装为返回消息报文，以可扩展标记语言方式将数据通过消息总线返回给应用层客户端程序；

F. 应用层客户端解析返回的消息报文，判断数据接口访问执行结果，将结果或者返回的数据展现给操作人员。