CN112688976A - 一种采用jdbc/http标准的数据处理传输服务系统 - Google Patents
一种采用jdbc/http标准的数据处理传输服务系统 Download PDFInfo
- Publication number
- CN112688976A CN112688976A CN201910988835.5A CN201910988835A CN112688976A CN 112688976 A CN112688976 A CN 112688976A CN 201910988835 A CN201910988835 A CN 201910988835A CN 112688976 A CN112688976 A CN 112688976A
- Authority
- CN
- China
- Prior art keywords
- dtube
- data processing
- data
- server
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 155
- 230000005540 biological transmission Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000006854 communication Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 20
- 238000013475 authorization Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Storage Device Security (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种采用JDBC/HTTP标准的数据处理传输服务系统，该系统通过二进制文件来远程调用数据处理的数据服务模型，它包含DTube客户端、二进制文件处理程序、DTube服务端及DPS数据处理服务端，同时还包括有J2EE WEB中间件数据库驱动程序的配套软件，DTube客户端兼容JDBC接口，它对DPS数据处理服务端的访问请求通过二进制文件处理程序给DTube服务端，DTube服务端调用DPS数据处理服务端进行数据集算处理，DPS数据处理服务端进而对具体数据进行处理。本发明的系统可以解决在远程环境下的分布式异构数据访问、运算问题，同时能在DTube服务端进行数据处理的权限控制，保证数据服务的安全性。
Description
技术领域
本发明属于计算机数据处理技术领域，具体涉及一种异构数据处理、传输服务中间件及方法。
背景技术
信息系统建设的封闭运行，信息系统运行安全的要求下现在业务系统数据库之间的数据相互独立，非业务系统的数据因为数据非结构化的原因也无法用于数据统计分析，更是无法为远程数据处理服务需求方提供有效的数据处理服务接口。因此需要搭建数据处理服务平台，实现数据处理需求端和数据处理服务端建立数据处理传输通道，实现安全可靠的数据服务请求的同时提供较大数据量数据安全传输的的保障，为数据需求方提供提供统一数据处理服务接口，提高数据访问的方便性以及数据处理服务的易用性。
发明内容
本发明的目的在于解决上述问题和不足，提供一种采用JDBC/HTTP标准的数据处理传输服务系统，该系统提供客户端发起数据整理请求、在服务器端接收请求并进行数据提取整理然后将处理好的结果以文件形式返回给客户端，客户端和服务端采用http通信，传输文件采用RSA技术加密实现安全可靠的远程数据整理传输。
本发明的技术方案是这样实现的：一种采用JDBC/HTTP标准的数据处理传输服务系统，其特点在于包括DTube客户端、DTube服务端、DPS数据处理服务端，其中
所述DTube客户端又包括MJDBC驱动模块、DTube客户端通信模块、DTube客户端异常处理模块、DTube加密模块；
所述MJDBC驱动模块为一个JDBC驱动器，用户通过该MJDBC驱动模块发送后台数据处理服务请求，服务请求数据在MJDBC驱动模块中包装成DTube文件，DTube文件经过DTube加密模块加密后，通过DTube客户端通信模块发送至DTube服务端；
所述DTube加密模块为一个采用RSA算法实现的加密程序，用于对DTube客户端和DTube服务端传输的DTube文件进行加密与解密；
所述DTube客户端通信模块使用DTube文件进行DTube客户端与DTube服务端之间的数据传输，用户访问DPS数据处理服务端请求通过HTTP发送给DTube服务端，并接收返回的数据处理结果，通信过程中产生的数据传输异常及数据处理异常时，调用DTube客户端的DTube异常处理程序进行处理；
DTube客户端的DTube异常处理程序提供数据传输异常和数据处理异常处理，当DTube客户端网络出现连接故障时抛出数据传输异常，当用户访问DPS数据处理服务端请求错误时抛出数据处理异常；
所述DTube服务端又包括DTube服务端通信模块、DTube授权管控模块、DTube并发管理模块、DTube服务端异常处理模块、DTube加密模块；
所述DTube服务端通信模块接收DTube客户端以DTube文件发送的数据处理服务请求，并调用DPS数据处理服务端进行数据处理，然后返回数据处理结果；
所述DTube授权管控模块根据来自DTube客户端的数据服务请求在DPS数据处理服务端对所有访问用户提供统一的访问权限控制；
所述DTube并发管理模块用于处理并发连接，处理多用户连接、多用户并发数据服务请求；
所述DTube服务端异常处理模块将数据处理异常再转发到客户端，提高客户端易用性；
所述DTube加密模块使用已有的RSA256位加密算法对传输信息进行加密和解密，保证数据传输的安全性；
所述DPS数据处理服务端又包括关系数据库数据处理模块、NoSql数据库数据处理模块、文件数据处理模块、扩展数据处理模块；
所述关系数据库数据处理模块将根据数据处理服务请求，访问关系数据库获获取数据进行处理，并返回处理结果给DTube服务端；
所述NoSql数据库数据处理模块根据NoSql类型调用相应的NoSql数据访问接口获取数据进行处理，并返回处理结果给DTube服务端；
所述文件数据处理模块对XML、CVS、TXT,Excel等文件提供数据的提取整理服务，处理结果交给DTube服务端；
所述扩展数据处理模块提供可扩展的数据服务接口支持特殊的数据来源，如数据总线，时序数据库等数据源。
本发明的有益效果：本发明针对数据处理服务现状，提出一种数据管道（Dtube）式数据处理传输系统，它提供一个用于通过二进制文件来访问数据服务的CS系统，客户端程序兼容JDBC驱动，可以将对数据处理服务的访问请求通过二进制文件递给DTube服务端，DTube服务端直接调用DPS数据处理服务接口，DPS数据处理服务可以根据命令直接操作数据库服务器、NoSql数据库或者数据文件实现真正的远程异构数据处理，再将结果以二进制文件形式传送给数据处理请求方。可以解决在远程环境下的数据处理以及数据获取问题，服务器端同时对数据处理服务访问的权限控制，保证数据访问、数据处理的安全性。
本发明与现有技术相比的优点在于:(1)提供了一种在远程环境下的复杂数据处理请求方法，搭建了基于HTTP通信协议的JDBC驱动框架，提供广泛熟悉的的数据服务访问方式，降低了数据服务接口调用学习的门槛。(2)本发明实现了远程网络环境下批量结构化数据的通信传输，DTbue服务端处于安全的内部网络环境的通过HTTP协议服务于外部环境的DTube客户端。(3)本发明在服务器端实现了数据服务接口权限控制，为不同用户请求提供了相对应的数据服务权限，保证了数据处理和数据获取的安全性。(4)本发明提供了完善的异常处理机制，建立了异常的传递机制，由服务端访问数据源处理数据，其所产生的异常发生在服务端可以传回到客户端。(5)提供了多并发访问机制，建立了处理多用户连接，多用户并发访问数据服务接口的并发访问机制，解决并发访问冲突等问题。(6)提供了文件传输解密机制，使用RSA256位加密算法对传输信息进行加密和解密，对通过文件数据进行加密，在DTube客服端与DTube服务端进行加密和安全认证，保证了信息传输安全性。(7)提供了创新的异构数据库甚至数据文件的统一处理机制，DPS数据处理服务可以对异构关系数据库、NoSql数据库、数据文件的数据进行统一关联处理，实现了真正的数据大统一。
附图说明
图1为本发明的方框原理示意图之一。
图2为本发明的方框原理示意图之二。
具体实施方式
如图1与图2所示，本发明所述的一种采用JDBC/HTTP标准的数据处理传输服务系统，它包括DTube客户端、DTube服务端、DPS数据处理服务端，其中
所述DTube客户端又包括MJDBC驱动模块、DTube客户端通信模块、DTube客户端异常处理模块、DTube加密模块；
所述MJDBC驱动模块为一个JDBC驱动器，用户通过该MJDBC驱动模块发送后台数据处理服务请求，服务请求数据在MJDBC驱动模块中包装成DTube文件，DTube文件经过DTube加密模块加密后，通过DTube客户端通信模块发送至DTube服务端；
所述DTube加密模块为一个采用RSA算法实现的加密程序，用于对DTube客户端和DTube服务端传输的DTube文件进行加密与解密；
所述DTube客户端通信模块使用DTube文件进行DTube客户端与DTube服务端之间的数据传输，用户访问DPS数据处理服务端请求通过HTTP发送给DTube服务端，并接收返回的数据处理结果，通信过程中产生的数据传输异常及数据处理异常时，调用DTube客户端的DTube异常处理程序进行处理；
DTube客户端的DTube异常处理程序提供数据传输异常和数据处理异常处理，当DTube客户端网络出现连接故障时抛出数据传输异常，当用户访问DPS数据处理服务端请求错误时抛出数据处理异常；
所述DTube服务端又包括DTube服务端通信模块、DTube授权管控模块、DTube并发管理模块、DTube服务端异常处理模块、DTube加密模块；
所述DTube服务端通信模块接收DTube客户端以DTube文件发送的数据处理服务请求，并调用DPS数据处理服务端进行数据处理，然后返回数据处理结果；
所述DTube授权管控模块根据来自DTube客户端的数据服务请求在DPS数据处理服务端对所有访问用户提供统一的访问权限控制；
所述DTube并发管理模块用于处理并发连接，处理多用户连接、多用户并发数据服务请求；
所述DTube服务端异常处理模块将数据处理异常再转发到客户端，提高客户端易用性；
所述DTube加密模块使用已有的RSA256位加密算法对传输信息进行加密和解密，保证数据传输的安全性；
所述DPS数据处理服务端又包括关系数据库数据处理模块、NoSql数据库数据处理模块、文件数据处理模块、扩展数据处理模块；
所述关系数据库数据处理模块将根据数据处理服务请求，访问关系数据库获获取数据进行处理，并返回处理结果给DTube服务端；
所述NoSql数据库数据处理模块根据NoSql类型调用相应的NoSql数据访问接口获取数据进行处理，并返回处理结果给DTube服务端；
所述文件数据处理模块对XML、CVS、TXT,Excel等文件提供数据的提取整理服务，处理结果交给DTube服务端；
所述扩展数据处理模块提供可扩展的数据服务接口支持特殊的数据来源，如数据总线，时序数据库等数据源。
如图2所示，本发明的实现过程大致是这样的：
(1)用户通过DTube客户端发送数据整理请求并获取返回的执行结果，DTube客户端提供的MJDBC驱动模块将传输请求的数据编码成DTube文件，文件经过DTube加密模块加密后通过DTube客户端通信模块将数据整理请求发送至DTube服务端；
(2)DTube服务端接收到DTube客户端的DTube文件请求，调用DTube加密模块对文件进行解密，并规范成DPS接口调用请求调用DPS数据处理服务端进行处理数据处理工作。
(3)DPS数据处理服务端接收到请求，根据请求以及DTube服务端配置访问关系数据库，NoSql数据库或者数据文件，对数据进行处理，处理结果按原来路径返回到DTube客户端，至此一个通信过程完成。
(4)DTube客户端和DTube服务端需要部署在支持HTTP通信两个远程环境中，DTube服务端、DPS数据处理服务端一起组成服务提供点，DTube客户端和DTube服务端通过DTube文件进行通信；
(5)DTube文件加密程序使用RSA256位加密算法对传输文件进行加密和解密，保证了文件数据安全性；
(6)DTube客户端在调用服务时产生异常时，调用DTube客户端异常处理模块进行处理，DTube服务端在处理数据的时候发生异常时由DTube服务端异常处理模块进行处理，并将异常发到DTube客户端，提高客户端易用性；
(7)当并发访问时，DTube服务端处理多用户连接、多用户并发访问数据处理服务的情况。DTube客户端会针对每一个请求开启一个新的处理线程，直至获得服务端返回的远程数据库访问数据，完成服务。同样每当DTube服务端接收到客户端发送的一条访问请求开启一个新的处理线程，直至调用DPS数据处理服务端结束，并返回给DTube客户端。
Claims (1)
1.一种采用JDBC/HTTP标准的数据处理传输服务系统，其特征在于：包括DTube客户端、DTube服务端、DPS数据处理服务端，其中
所述DTube客户端又包括MJDBC驱动模块、DTube客户端通信模块、DTube客户端异常处理模块、DTube加密模块；
所述MJDBC驱动模块为一个JDBC驱动器，用户通过该MJDBC驱动模块发送后台数据处理服务请求，服务请求数据在MJDBC驱动模块中包装成DTube文件，DTube文件经过DTube加密模块加密后，通过DTube客户端通信模块发送至DTube服务端；
所述DTube加密模块为一个采用RSA算法实现的加密程序，用于对DTube客户端和DTube服务端传输的DTube文件进行加密与解密；
所述DTube客户端通信模块使用DTube文件进行DTube客户端与DTube服务端之间的数据传输，用户访问DPS数据处理服务端请求通过HTTP发送给DTube服务端，并接收返回的数据处理结果，通信过程中产生的数据传输异常及数据处理异常时，调用DTube客户端的DTube异常处理程序进行处理；
DTube客户端的DTube异常处理程序提供数据传输异常和数据处理异常处理，当DTube客户端网络出现连接故障时抛出数据传输异常，当用户访问DPS数据处理服务端请求错误时抛出数据处理异常；
所述DTube服务端又包括DTube服务端通信模块、DTube授权管控模块、DTube并发管理模块、DTube服务端异常处理模块、DTube加密模块；
所述DTube服务端通信模块接收DTube客户端以DTube文件发送的数据处理服务请求，并调用DPS数据处理服务端进行数据处理，然后返回数据处理结果；
所述DTube授权管控模块根据来自DTube客户端的数据服务请求在DPS数据处理服务端对所有访问用户提供统一的访问权限控制；
所述DTube并发管理模块用于处理并发连接，处理多用户连接、多用户并发数据服务请求；
所述DTube服务端异常处理模块将数据处理异常再转发到客户端，提高客户端易用性；
所述DTube加密模块使用已有的RSA256位加密算法对传输信息进行加密和解密，保证数据传输的安全性；
所述DPS数据处理服务端又包括关系数据库数据处理模块、NoSql数据库数据处理模块、文件数据处理模块、扩展数据处理模块；
所述关系数据库数据处理模块将根据数据处理服务请求，访问关系数据库获获取数据进行处理，并返回处理结果给DTube服务端；
所述NoSql数据库数据处理模块根据NoSql类型调用相应的NoSql数据访问接口获取数据进行处理，并返回处理结果给DTube服务端；
所述文件数据处理模块对XML、CVS、TXT,Excel等文件提供数据的提取整理服务，处理结果交给DTube服务端；
所述扩展数据处理模块提供可扩展的数据服务接口支持特殊的数据来源，如数据总线，时序数据库等数据源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910988835.5A CN112688976A (zh) | 2019-10-17 | 2019-10-17 | 一种采用jdbc/http标准的数据处理传输服务系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910988835.5A CN112688976A (zh) | 2019-10-17 | 2019-10-17 | 一种采用jdbc/http标准的数据处理传输服务系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112688976A true CN112688976A (zh) | 2021-04-20 |
Family
ID=75444703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910988835.5A Pending CN112688976A (zh) | 2019-10-17 | 2019-10-17 | 一种采用jdbc/http标准的数据处理传输服务系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112688976A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102385628A (zh) * | 2011-11-14 | 2012-03-21 | 北京锐安科技有限公司 | 一种基于jdbc的数据分布式处理方法 |
| CN105721507A (zh) * | 2016-04-21 | 2016-06-29 | 中国科学院软件研究所 | 一种基于jdbc服务-长报文的数据共享服务平台基础支撑系统及方法 |
| CN106293887A (zh) * | 2015-05-21 | 2017-01-04 | 中兴通讯股份有限公司 | 数据库处理方法及装置 |
| CN107451221A (zh) * | 2016-09-21 | 2017-12-08 | 广州特道信息科技有限公司 | 一种数据库接口单元和分布式NewSQL数据库系统 |
| WO2018138426A1 (fr) * | 2017-01-25 | 2018-08-02 | De Pomereu Daligre Nicolas | Procede pour l'acces par un equipement informatique client a un systeme de gestion de base de donnees |
-
2019
- 2019-10-17 CN CN201910988835.5A patent/CN112688976A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102385628A (zh) * | 2011-11-14 | 2012-03-21 | 北京锐安科技有限公司 | 一种基于jdbc的数据分布式处理方法 |
| CN106293887A (zh) * | 2015-05-21 | 2017-01-04 | 中兴通讯股份有限公司 | 数据库处理方法及装置 |
| CN105721507A (zh) * | 2016-04-21 | 2016-06-29 | 中国科学院软件研究所 | 一种基于jdbc服务-长报文的数据共享服务平台基础支撑系统及方法 |
| CN107451221A (zh) * | 2016-09-21 | 2017-12-08 | 广州特道信息科技有限公司 | 一种数据库接口单元和分布式NewSQL数据库系统 |
| WO2018138426A1 (fr) * | 2017-01-25 | 2018-08-02 | De Pomereu Daligre Nicolas | Procede pour l'acces par un equipement informatique client a un systeme de gestion de base de donnees |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10735426B2 (en) | Secure asynchronous retrieval of data behind a firewall | |
| US11546348B2 (en) | Data service system | |
| CN109213790A (zh) | 一种基于区块链的数据流通分析方法和系统 | |
| CN112039826A (zh) | 一种应用于小程序端的登录方法和装置 | |
| CN113872940B (zh) | 基于NC-Link的访问控制方法、装置及设备 | |
| CN110610101A (zh) | 一种数据存证方法、装置、设备及存储介质 | |
| CN114362931B (zh) | 一种物联网设备注册和安全认证连接及指令交互方法 | |
| CN113905081B (zh) | 数据闸道系统以数据互通方法 | |
| CN105933295A (zh) | 一种积分发放的方法、系统和装置 | |
| CN113489706B (zh) | 一种数据处理方法、装置、系统、设备及存储介质 | |
| CN111460475B (zh) | 基于云服务实现数据对象主体去标识化处理的方法 | |
| KR101709276B1 (ko) | 엔드 포인트 보안서버 관리 시스템 | |
| CN112688976A (zh) | 一种采用jdbc/http标准的数据处理传输服务系统 | |
| CN117272358A (zh) | 数据存储加密方法、装置、电子设备和计算机程序产品 | |
| CN111125224B (zh) | 一种在Java程序中实现数据库数据自动加密解密的方法和系统 | |
| CN114884655A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN111698192B (zh) | 监控交易系统的方法、交易设备、监管设备及系统 | |
| CN112364308A (zh) | 一种联网授权的安卓apk签名方法和装置 | |
| CN102523568A (zh) | 一种保证可靠接收的加密短信传输方法 | |
| CN113127841A (zh) | 远程管理软件用户的方法、装置、设备及存储介质 | |
| CN106708634B (zh) | Vr应用设备与厂家设备的通讯方法及其系统 | |
| CN114640491A (zh) | 通信方法和系统 | |
| CN116383841A (zh) | 支持国密算法的操作系统、国密证书验证方法及电子设备 | |
| CN117955638A (zh) | 一种安全通信方法及系统 | |
| CN116668034A (zh) | 数据服务对象的连接系统、方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210420 |