CN117874114A - 一种多类型数据库上位访问方法及系统 - Google Patents

Abstract

本发明涉及一种多类型数据库上位访问方法及系统，属于数据库访问技术领域。其中，该方法包括：获取多源异构数据，构建上位机网关模型，设置通信模式和数据库传输接口；通过数据接收器采集多源异构数据，并将多源异构数据通过串口通信传输至上位机网关模型；通过协议转换将所述串口数据转换为网络数据并传输至分类器；在分类器内对接收的数据流进行分类处理并添加分类标签；通过分类标签和数据库传输接口的配置数据进行匹配生成调度指令并传输至调度器；在调度器内根据所述调度指令控制所述数据库传输接口；通过所述数据库传输接口连接对应类型的数据库，在完成数据传输后断开连接。实现了复杂数据来源的存储与访问，提高了数据移植性。

Description

一种多类型数据库上位访问方法及系统

技术领域

本发明属于数据库访问技术领域，具体涉及一种多类型数据库上位访问方法及系统。

背景技术

由于应用场景的复杂性和数据来源的不确定性，关系型数据库无法适应连续的、时空相关性的数据，而各类型的数据库之间适配性问题和数据内容的兼容性难以有效统一，现有技术大部分都针对某一特定的应用环境，采集的数据移植性差且通信协议单一，无法处理复杂数据来源，效率较为低下。

发明内容

为解决现有技术中存在的上述问题，本发明提供了一种多类型数据库上位访问方法及系统；

本发明的目的可以通过以下技术方案实现：

S1：获取多源异构数据，所述多源异构数据包括关系数据、列式数据、键值数据、图形数据、分布式文档数据；

S2：构建上位机网关模型，设置通信模式和数据库传输接口；通过数据接收器采集所述多源异构数据，并将所述多源异构数据通过串口通信传输至所述上位机网关模型；

S3：所述上位机网关模型接收到串口数据后，通过协议转换将所述串口数据转换为网络数据并传输至分类器；在所述分类器内对接收的数据流进行分类处理并添加分类标签；

S4：通过所述分类标签和所述数据库传输接口的配置数据进行匹配生成调度指令并传输至调度器；在所述调度器内根据所述调度指令控制所述数据库传输接口；通过所述数据库传输接口连接对应类型的数据库，在完成数据传输后断开连接。

具体地，所述协议转换方法为：

初始化串口和网络设置并建立连接，创建网络数据接收线程和串口数据监听线程，若所述网络数据线程监听到网络数据时，将所述网络数据发送至串口传输端，若所述串口数据监听线程监听到串口数据时，将所述串口数据发送至网络端的分类器。

具体地，所述上位机网管模型包括配置信息、通信模式、回复认证、数据处理；其中，所述配置信息为与上位机连接的已配置数据库列表和资源配置参数；所述通信模式包括串口、以太网；所述回复认证为定时处理消息队列的转存报文，并检测数据库是否正常运行；所述数据处理为接收数据流信息并通过多线程技术调用协议接口进行报文分析，通过数据库传输接口将上位机网管模型的输入与对应的数据库连接。

具体地，所述数据库传输接口对实时数据进行传输，以3min为采样周期，传输报文采用JSON格式。

作为本发明的一种优选技术方案，所述分类器处理方法为：

根据所述多源异构数据设置分类通道，分别对应关系数据、列式数据、键值数据、图形数据、分布式文档数据；通过分类器将所述多源异构数据的分类结果添加至对应的分类通道，在单个采样周期内对分类通道的数据流进行数据检测剔除异常数据并添加所述分类通道的分类标签和时间戳得到数据流时间序列；根据所述数据流时间序列得到数据传输接口的转换时间节点，通过所述转换时间节点和所述分类标签生成调度指令。

具体地，所述调度器包括驱动程序和中断服务程序；其中，所述驱动程序用于根据所述分类标签将数据传输接口端设为源地址，将数据库连接端设为目的地址，建立所述源地址与所述目的地址的地址映射；所述中断服务程序用于在数据传输完成后，将已建立连接关系的数据传输接口端和数据库连接端中断。

一种多类型数据库上位访问系统，包括：数据采集模块、通信初始化模块、分类处理模块、任务调度模块。

所述数据采集模块用于获取多源异构数据，所述多源异构数据包括关系数据、列式数据、键值数据、图形数据、分布式文档数据；

所述通信初始化模块用于构建上位机网关模型，设置通信模式和数据库传输接口；通过数据接收器采集所述多源异构数据，并将所述多源异构数据通过串口通信传输至所述上位机网关模型；

所述分类处理模块用于通过协议转换将所述串口数据转换为网络数据并传输至分类器；在所述分类器内对接收的数据流进行分类处理并添加分类标签；

所述任务调度模块用于通过所述分类标签和所述数据库传输接口的配置数据进行匹配生成调度指令并传输至调度器；在所述调度器内根据所述调度指令控制所述数据库传输接口；通过所述数据库传输接口连接对应类型的数据库，在完成数据传输后断开连接。

本发明的有益效果为：

(1)通过设置上位机网关模型，适应不同类型数据库软件和不同类型操作系统的要求，运行在多种类型的操作系统上，根据数据来源对相应的数据库进行存储与访问。

(2)通过设置分类器对多模态数据流进行分类验证，在数据转换前进行数据检测，提高了数据的准确性和可靠性，减少了外界因素的干扰和不确定的突发状况。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的一种多类型数据库上位访问方法的流程示意图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

请参阅图1，一种多类型数据库上位访问方法及系统：

S1：获取多源异构数据，所述多源异构数据包括关系数据、列式数据、键值数据、图形数据、分布式文档数据；

S2：构建上位机网关模型，设置通信模式和数据库传输接口；通过数据接收器采集所述多源异构数据，并将所述多源异构数据通过串口通信传输至所述上位机网关模型；

S3：所述上位机网关模型接收到串口数据后，通过协议转换将所述串口数据转换为网络数据并传输至分类器；在所述分类器内对接收的数据流进行分类处理并添加分类标签；

S4：通过所述分类标签和所述数据库传输接口的配置数据进行匹配生成调度指令并传输至调度器；在所述调度器内根据所述调度指令控制所述数据库传输接口；通过所述数据库传输接口连接对应类型的数据库，在完成数据传输后断开连接。

具体地，所述协议转换方法为：

初始化串口和网络设置并建立连接，创建网络数据接收线程和串口数据监听线程，若所述网络数据线程监听到网络数据时，将所述网络数据发送至串口传输端，若所述串口数据监听线程监听到串口数据时，将所述串口数据发送至网络端的分类器。

本实施例中，系统开始运行时分别调用串口操作类和TCP协议类，调用串口操作类打开串口，调用TCP协议类与远端服务器建立连接，然后建立两个数据监听线程分别监听以太网数据和串口数据，当监听到以太网数据时，就把数据传递给无线节点，当监听到串口数据时就把数据递交给以太网模块，然后完成了协议转换。

具体地，所述上位机网管模型包括配置信息、通信模式、回复认证、数据处理；其中，所述配置信息为与上位机连接的已配置数据库列表和资源配置参数；所述通信模式包括串口、以太网；所述回复认证为定时处理消息队列的转存报文，并检测数据库是否正常运行；所述数据处理为接收数据流信息并通过多线程技术调用协议接口进行报文分析，通过数据库传输接口将上位机网管模型的输入与对应的数据库连接。

本实施例中，网关模型采用MQTT、串口和以太网三种通信模式。MQTT通信模式采用MQTT协议进行通信,数据传输形式是JSON格式字符串；串口通信模式采用RS-232和RS485协议,数据传输形式是16进制字符串；以太网通信模式采用TCP/IP协议，数据传输形式是16进制字符串；设备层则按照各自的协议标准组成16进制字符串报文，再进行数据传输。

具体地，所述数据库传输接口对实时数据进行传输，以3min为采样周期，传输报文采用JSON格式。

作为本发明的一种优选技术方案，所述分类器处理方法为：

根据所述多源异构数据设置分类通道，分别对应关系数据、列式数据、键值数据、图形数据、分布式文档数据；通过分类器将所述多源异构数据的分类结果添加至对应的分类通道，在单个采样周期内对分类通道的数据流进行数据检测剔除异常数据并添加所述分类通道的分类标签和时间戳得到数据流时间序列；根据所述数据流时间序列得到数据传输接口的转换时间节点，通过所述转换时间节点和所述分类标签生成调度指令。

本实施例中，数据处理模块可以针对不同协议进行解析和反解析，每个协议对应一个解析接口和一个反解析接口，新增协议时只需添加新增协议的解析接口和反解析接口。每个协议的解析接口和反解析接口都包含通配功能的解析和反解析方法以及非通配功能的解析和反解析方法，而添加通配功能时只需进行配置，添加非通配功能时需要在对应协议的非通用接口中增加该功能的解析和反解析方法。

具体地，所述调度器包括驱动程序和中断服务程序；其中，所述驱动程序用于根据所述分类标签将数据传输接口端设为源地址，将数据库连接端设为目的地址，建立所述源地址与所述目的地址的地址映射；所述中断服务程序用于在数据传输完成后，将已建立连接关系的数据传输接口端和数据库连接端中断。

本实施例中，底层子系统通过串口与网关相连，上层通过IPV6网络层与服务器相连。通过串口驱动将数据发送给网关系统，数据转入虚拟网络设备后，虚拟网路设备根据不同的数据类型提供不同的服务子程序，服务子程序将根据端口号生成Socket处理将接收到的数据包转化成IPV6数据包；硬件电路采用DM9000芯片，要根据芯片的的片选信号地址进行重新映射，对地址映射后需要对网关设备进行注册，通过建立一个结构体完成对网关设备ID，源地址和目的地址的初始化，初始化网卡设备后，调用外部中断的轮询操作，检测网卡进行数据的接收和发送。

一种多类型数据库上位访问系统，包括：数据采集模块、通信初始化模块、分类处理模块、任务调度模块。

所述数据采集模块用于获取多源异构数据，所述多源异构数据包括关系数据、列式数据、键值数据、图形数据、分布式文档数据；

所述通信初始化模块用于构建上位机网关模型，设置通信模式和数据库传输接口；通过数据接收器采集所述多源异构数据，并将所述多源异构数据通过串口通信传输至所述上位机网关模型；

所述分类处理模块用于通过协议转换将所述串口数据转换为网络数据并传输至分类器；在所述分类器内对接收的数据流进行分类处理并添加分类标签；

所述任务调度模块用于通过所述分类标签和所述数据库传输接口的配置数据进行匹配生成调度指令并传输至调度器；在所述调度器内根据所述调度指令控制所述数据库传输接口；通过所述数据库传输接口连接对应类型的数据库，在完成数据传输后断开连接。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种多类型数据库上位访问方法，其特征在于，包括：

S1：获取多源异构数据，所述多源异构数据包括关系数据、列式数据、键值数据、图形数据、分布式文档数据；

S2：构建上位机网关模型，设置通信模式和数据库传输接口；通过数据接收器采集所述多源异构数据，并将所述多源异构数据通过串口通信传输至所述上位机网关模型；

S3：所述上位机网关模型接收到串口数据后，通过协议转换将所述串口数据转换为网络数据并传输至分类器；在所述分类器内对接收的数据流进行分类处理并添加分类标签；

S4：通过所述分类标签和所述数据库传输接口的配置数据进行匹配生成调度指令并传输至调度器；在所述调度器内根据所述调度指令控制所述数据库传输接口；通过所述数据库传输接口连接对应类型的数据库，在完成数据传输后断开连接。

2.根据权利要求1所述的一种多类型数据库上位访问方法，其特征在于，所述协议转换方法为：

初始化串口和网络设置并建立连接，创建网络数据接收线程和串口数据监听线程，若所述网络数据线程监听到网络数据时，将所述网络数据发送至串口传输端，若所述串口数据监听线程监听到串口数据时，将所述串口数据发送至网络端的分类器。

3.根据权利要求1所述的一种多类型数据库上位访问方法，其特征在于，所述上位机网管模型包括配置信息、通信模式、回复认证、数据处理；其中，所述配置信息为与上位机连接的已配置数据库列表和资源配置参数；所述通信模式包括串口、以太网；所述回复认证为定时处理消息队列的转存报文，并检测数据库是否正常运行；所述数据处理为接收数据流信息并通过多线程技术调用协议接口进行报文分析，通过数据库传输接口将上位机网管模型的输入与对应的数据库连接。

4.根据权利要求1所述的一种多类型数据库上位访问方法，其特征在于，所述数据库传输接口对实时数据进行传输，以3min为采样周期，传输报文采用JSON格式。

5.根据权利要求1所述的一种多类型数据库上位访问方法，其特征在于，所述分类器处理方法为：

根据所述多源异构数据设置分类通道，分别对应关系数据、列式数据、键值数据、图形数据、分布式文档数据；通过分类器将所述多源异构数据的分类结果添加至对应的分类通道，在单个采样周期内对分类通道的数据流进行数据检测剔除异常数据并添加所述分类通道的分类标签和时间戳得到数据流时间序列；根据所述数据流时间序列得到数据传输接口的转换时间节点，通过所述转换时间节点和所述分类标签生成调度指令。

6.根据权利要求1所述的一种多类型数据库上位访问方法，其特征在于，所述调度器包括驱动程序和中断服务程序；其中，所述驱动程序用于根据所述分类标签将数据传输接口端设为源地址，将数据库连接端设为目的地址，建立所述源地址与所述目的地址的地址映射；所述中断服务程序用于在数据传输完成后，将已建立连接关系的数据传输接口端和数据库连接端中断。

7.一种多类型数据库上位访问系统，用于执行如权利要求1-6中任一所述的一种多类型数据库上位访问方法，其特征在于，包括：数据采集模块、通信初始化模块、分类处理模块、任务调度模块。

所述数据采集模块用于获取多源异构数据，所述多源异构数据包括关系数据、列式数据、键值数据、图形数据、分布式文档数据；

所述通信初始化模块用于构建上位机网关模型，设置通信模式和数据库传输接口；通过数据接收器采集所述多源异构数据，并将所述多源异构数据通过串口通信传输至所述上位机网关模型；

所述分类处理模块用于通过协议转换将所述串口数据转换为网络数据并传输至分类器；在所述分类器内对接收的数据流进行分类处理并添加分类标签；

所述任务调度模块用于通过所述分类标签和所述数据库传输接口的配置数据进行匹配生成调度指令并传输至调度器；在所述调度器内根据所述调度指令控制所述数据库传输接口；通过所述数据库传输接口连接对应类型的数据库，在完成数据传输后断开连接。