CN111949693A - 一种数据处理装置、数据处理方法、存储介质及电子设备 - Google Patents

一种数据处理装置、数据处理方法、存储介质及电子设备 Download PDF

Info

Publication number
CN111949693A
CN111949693A CN202010807323.7A CN202010807323A CN111949693A CN 111949693 A CN111949693 A CN 111949693A CN 202010807323 A CN202010807323 A CN 202010807323A CN 111949693 A CN111949693 A CN 111949693A
Authority
CN
China
Prior art keywords
data source
sql
database
access request
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010807323.7A
Other languages
English (en)
Other versions
CN111949693B (zh
Inventor
何星
谢永恒
万月亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN202010807323.7A priority Critical patent/CN111949693B/zh
Publication of CN111949693A publication Critical patent/CN111949693A/zh
Application granted granted Critical
Publication of CN111949693B publication Critical patent/CN111949693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理装置、方法、服务器及存储介质，其中数据处理装置包括REST接口、AOP切面组件、SQL构造器、SQL执行器、数据源容器池和数据库连接池，其中，REST接口用于接收外部输入的访问请求；AOP切面组件用于对访问请求进行拦截，并识别访问请求中的数据源标识和数据库信息；SQL构造器用于构造访问请求对应的SQL语句，并将SQL语句发送至SQL执行器；SQL执行器用于基于数据源标识从数据源容器池中调用对应的数据源，将调用的数据源与数据库连接池中与数据库信息对应的目标数据库进行连接，并基于目标数据库执行SQL语句。解决了数据源和数据库差异导致的访问困难的问题，兼容不同类型的数据源和数据库，提高了数据处理的效率和灵活性。

Description

一种数据处理装置、数据处理方法、存储介质及电子设备
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理装置和方法。
背景技术
随着Web技术的发展，数量的数据量越来越大，一般通过不同类型的数据库对海量数据进行存储和处理。
软件开发工作时，无法避免应用各种数据库，例如Oracle、Mysql、SqlServer、PostgreSql等，将信息化系统中产生的海量业务数据存储在各种关系型数据库中，当操作不同的数据库时，应用和数据库的交互存在诸多不便，例如切换数据库选型后需要重构代码，为了兼容各种异构数据源，而产生的重复性的编码、操作数据源时代码逻辑繁琐，运行效率低下等问题。
发明内容
本发明提供一种数据处理装置和方法，以实现兼容不同类型的数据源。
第一方面，本发明实施例提供了一种数据处理装置，包括REST接口、AOP切面组件、SQL构造器、SQL执行器、数据源容器池和数据库连接池，其中，所述REST接口用于接收外部输入的访问请求；
所述AOP切面组件用于对所述访问请求进行拦截，并识别所述访问请求中的数据源标识和数据库信息；
所述SQL构造器用于构造所述访问请求对应的SQL语句，并将所述SQL语句发送至所述SQL执行器；
所述SQL执行器用于基于所述数据源标识从所述数据源容器池中调用对应的数据源，将调用的数据源与所述数据库连接池中与数据库信息对应的目标数据库进行连接，并基于所述目标数据库执行所述SQL语句。
第二方面，本发明实施例还提供了一种数据处理方法，包括：
接收外部输入的访问请求，识别所述访问请求中的数据源标识和数据库信息；
调用所述数据源标识对应的数据源，并将调用的数据源与所述数据库信息相对应的目标数据库进行连接；
构造所述访问请求对应的SQL语句，并基于所述目标数据库执行所述SQL语句。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的数据处理方法。
本发明实施例提高的技术方案，通过AOP切面组件对REST接口接收的访问请求进行识别，确定访问确定的数据源标识和数据库信息，以使得到SQL构造器构造数据库信息对应的目标数据库的可执行SQL语句，以及SQL执行器调用数据源标识对应的数据源，并将数据源与目标数据库进行连接后，执行SQL语句，得到访问请求的反馈信息。解决了数据源和数据库差异导致的访问困难的问题，兼容不同类型的数据源和数据库，提高了数据处理的效率和灵活性。
附图说明
图1是本发明实施例一提供的一种数据处理装置的结构示意图；
图2是本发明实施例提供的一种RdbService的组件逻辑结构图；
图3是本发明实施例提供的一种RdbService的组件结构示意图；
图4为本发明实施例二提供的一种数据处理方法的流程图；
图5为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种数据处理装置的结构示意图，该装置包括：REST接口110、AOP切面组件120、SQL构造器130、SQL执行器140、数据源容器池150和数据库连接池160，其中，
REST接口110，用于接收外部输入的访问请求；
AOP切面组件120，用于对访问请求进行拦截，并识别访问请求中的数据源标识和数据库信息；
SQL构造器130，用于构造访问请求对应的SQL语句，并将SQL语句发送至SQL执行器140；
SQL执行器140，用于基于数据源标识从数据源容器池150中调用对应的数据源，将调用的数据源与数据库连接池160中与数据库信息对应的目标数据库进行连接，并基于目标数据库执行SQL语句。
本实施例中提供的数据处理装置可以是RdbService装置，提供有REST(REpresentational State Transfer，表现层状态转移)接口110，该REST接口110可使用标准的SQL(Structured Query Language，结构化查询语句)语法，以接收对不同数据源的方位请求，屏蔽底层数据源储存的差异性。
该访问请求中至少包括待访问的数据源的唯一标识和数据库信息。AOP(AspectOriented Programming，面向切面编程)切面组件120可对访问请求进行拦截，并识别该访问请求中的数据源标识和数据库信息，确定访问数据源。通过设置AOP切面组件120可准确识别各访问数据对应的数据源，以实现数据源的动态切换。
其中，数据源标识可以是预先设置的各数据源的唯一标识，不对标识的形式进行限定，例如可以是数据源名称、哈希值或者由数字、字符等形成的字符串。数据库信息可以包括数据库用户名和密码。
AOP切面组件120将识别到的数据库信息发送至SQL构造器130，SQL构造器130用于构造数据库信息对应的关系型数据库的可执行SQL语句。其中本实施例中的关系型数据库可以包括但不限于MySQL、Oracle、PostgreSQL、SqlServer、Db2、GreenPlus，通过构造不同关系型数据库的可执行SQL语句，实现对不同数据库的访问，屏蔽对数据库的差异。
可选的，SQL构造器用于根据访问请求中的数据库信息和访问类型调用目标SQL语法模板，并基于访问请求中的访问内容和目标SQL语法模板生成访问请求对应的SQL语句。其中，该装置中存储有各类型数据库和各访问类型的SQL语法模板，例如可以是设置有SQL语法模板存储单元，基于数据库信息和访问类型作为索引进行存储。基于访问请求本身的访问类型，以及访问请求中的数据库信息确定对应的关系型数据库，调用对应的SQL语法模型。将访问请求中的访问内容添加到调用的SQL语法模板中，形成可执行的SQL语句。
进一步的，该装置还包括SQL语法模板定义组件，用于各类型数据库对应的SQL语法模板，并将定义的SQL语法模板以及对应的关系型数据库和访问类型进行存储，便于后期进行调用。其中，访问请求的方访问类型可以包括但不限于新增、查询、删除、修改等。
AOP切面组件120将识别到的数据源标识发送至SQL执行器140，SQL执行器140可根据接收的数据源标识从数据源容器库150中调用对应的数据源。其中，数据源容器库150存储有已注册的多个数据源，以及数据源标识。SQL执行器140根据接收的数据源标识在数据源容器库150进行数据源匹配，确定访问请求中数据源标识对应的数据源，并调用该数据源。
AOP切面组件120还用于将识别到的数据库信息发送至SQL执行器140，SQL执行器140将调用的数据源在数据库连接池160中与数据库信息对应的目标数据库进行连接。其中，数据库连接池160可以是但不限于Druid、HikariCP、DBCP、C3P0等。可以对上述数据库连接池进行资源配置和连接参数的动态管理。
SQL构造器将构造的可执行SQL语句发送至SQL执行器140，SQL执行器140基于连接有数据源的数据库执行上述可执行SQL语句，并得到反馈信息。
可选的，AOP切面组件120还用于监测各访问请求的访问时长，并对各数据源的各个访问请求以及访问时长进行汇总，确定各数据源的健康状态。支持SQL的执行情况、慢查询SQL进行记录与汇总统计，为SQL语句的性能调优提供支撑条件，支持数据源访问的白名单、黑名单配置。
本实施例提供的技术方案，通过AOP切面组件对REST接口接收的访问请求进行识别，确定访问确定的数据源标识和数据库信息，以使得到SQL构造器构造数据库信息对应的目标数据库的可执行SQL语句，以及SQL执行器调用数据源标识对应的数据源，并将数据源与目标数据库进行连接后，执行SQL语句，得到访问请求的反馈信息。解决了数据源和数据库差异导致的访问困难的问题，兼容不同类型的数据源和数据库，提高了数据处理的效率和灵活性。
在上述实施例的基础上，装置还包括数据源管理器，数据源管理器用于对已注册数据源进行关联，例如查询、注销、动态切换以及监控，该用于对新的数据源进行注册。具体的，数据源管理器用于存储数据源容器池中已存储数据源的数据源标识，并对访问请求中的数据源标识进行判定，当已存储数据源中不存在与数据源标识对应的数据源时，基于数据源标识构建对应的数据源，并将构建的数据源添加至数据源容器池中。可选的，访问请求中可以包括数据源唯一标识名称、数据库用户名、密码、驱动类、URL等参数，基于访问请求中的数据源相关参数进行数据源注册，并将注册的数据源储存至数据源容器池150中。通过对数据源的动态创建，提高了数据源的可扩展性。
需要说明的是，参见图2，图2是本发明实施例提供的一种RdbService的组件逻辑结构图。其中，数据源管理器还用于数据源查询、数据源注销、数据源动态切换、多数据源选型支持、查询指定数据源下的所有表、多数据源连接池支持和数据源监控。
在上述实施例的基础上，该装置还包括数据库扩展接口，用于接入新类型的数据库，数据库的可扩展性高。
图2中，RdbService的组件逻辑结构中还包括系统管理模块，用于实现系统的缓存管理、权限管理、事务管理、数据加密和配置管理。数据服务模块包括单表操作模块、sql透传模块和多表联查模块，用于采集用户操作生成访问请求，以实现对数据源的数据处理。其中，单表操作模块可实现单表记录新增、单表记录删除、单表记录修改、单表记录查询、单表字段结构查询、统一SQL操作和跨数据源操作，sql透传模块可执行DML(data manipulationlanguage，数据操纵语言)操作、DDL(Data Definition Language，数据定义语言)操作和DCL(Data Control Language，数据控制语言)操作。
参见图3，图3是本发明实施例提供的一种RdbService的组件结构示意图。其中，RdbService中的组件基于Java语言编写，使用SpringBoot框架搭建，集成Nacos配置管理以及服务管理插件，可以运行在docker容器环境下，部署到云主机，支持集群环境配置，也可以使用Tomcat单机运行。
存储层包括两种存储形式，结构化数据库和缓存数据库，其中，结构化数据库可以是MySQL、Oracle、PostgreSQL、SqlServer、Db2、GreenPlus等，缓存数据库支持对接redis进行数据的缓存管理，也支持接入Ehcache，将数据持久化到文件。
服务层可提供两种服务，包括数据范围和管理服务，其中，数据服务包括：单表操作服务、多表联查服务、SQL透传服务以及数据源管理服务，管理服务包括：缓存管理服务、权限管理服务、事务管理服务、数据加密服务。
网关层使用SpringBoot结合Nacos实现了配置管理、服务管理、API网关、路由服务、安全访问控制以及限流服务。
进一步的，RdbService装置提供了RESTFul接口，支持对不同数据源和数据库的操作，以及提供了swagger接口API文档，方便应用查阅接口文档，进行参数的组合与接口的调用。
实施例二
图4为本发明实施例二提供的一种数据处理方法的流程图，本实施例可适用于对不同数据源的数据进行处理的情况，具体包括如下步骤：
S210、接收外部输入的访问请求，识别访问请求中的数据源标识和数据库信息。
S220、调用数据源标识对应的数据源，并将调用的数据源与数据库信息相对应的目标数据库进行连接。
S230、构造访问请求对应的SQL语句，并基于目标数据库执行SQL语句。
可选的，调用数据源标识对应的数据源包括：
基于所述数据源容器池中已存储数据源的数据源标识，并对所述访问请求中的数据源标识进行匹配，确定数据源标识对应的数据源，并进行调用。
当已存储数据源中不存在与所述数据源标识对应的数据源时，基于所述数据源标识构建对应的数据源，并将构建的所述数据源添加至所述数据源容器池中。
可选的，构造访问请求对应的SQL语句包括：根据访问请求中的数据库信息和访问类型调用目标SQL语法模板，并基于所述访问请求中的访问内容和所述目标SQL语法模板生成所述访问请求对应的SQL语句。其中，SQL语法模板基于SQL语法模板定义组件进行定义得到。
可选的，该方法还包括：监测各访问请求的访问时长，并对各数据源的各个访问请求以及访问时长进行汇总，确定各数据源的健康状态。
可选的，该方法还包括：当检测到新的数据库时，基于数据库扩展接口接入新类型的数据库。
本实施例的技术方案，通过对接收的访问请求进行识别，确定访问确定的数据源标识和数据库信息，构造数据库信息对应的目标数据库的可执行SQL语句，以及调用数据源标识对应的数据源，并将数据源与目标数据库进行连接后，执行SQL语句，得到访问请求的反馈信息。解决了数据源和数据库差异导致的访问困难的问题，兼容不同类型的数据源和数据库，提高了数据处理的效率和灵活性。
实施例三
图5为本发明实施例三提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的电子设备412的框图。图5显示的电子设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备412典型的是承担图像分类功能的电子设备。
如图5所示，电子设备412以通用计算设备的形式表现。电子设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。电子设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
电子设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该电子设备412交互的设备通信，和/或与使得该电子设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，电子设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与电子设备412的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的ETL任务执行方法。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的ETL任务执行方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的ETL任务执行方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据处理装置，其特征在于，包括REST接口、AOP切面组件、SQL构造器、SQL执行器、数据源容器池和数据库连接池，其中，
所述REST接口用于接收外部输入的访问请求；
所述AOP切面组件用于对所述访问请求进行拦截，并识别所述访问请求中的数据源标识和数据库信息；
所述SQL构造器用于构造所述访问请求对应的SQL语句，并将所述SQL语句发送至所述SQL执行器；
所述SQL执行器用于基于所述数据源标识从所述数据源容器池中调用对应的数据源，将调用的数据源与所述数据库连接池中与数据库信息对应的目标数据库进行连接，并基于所述目标数据库执行所述SQL语句。
2.根据权利要求1所述的装置，其特征在于，所述装置还包括数据源管理器，其中，
所述数据源管理器用于存储所述数据源容器池中已存储数据源的数据源标识，并对所述访问请求中的数据源标识进行判定，当所述已存储数据源中不存在与所述数据源标识对应的数据源时，基于所述数据源标识构建对应的数据源，并将构建的所述数据源添加至所述数据源容器池中。
3.根据权利要求1所述的装置，其特征在于，所述SQL构造器用于根据访问请求中的数据库信息和访问类型调用目标SQL语法模板，并基于所述访问请求中的访问内容和所述目标SQL语法模板生成所述访问请求对应的SQL语句。
4.根据权利要求3所述的装置，其特征在于，所述装置还包括SQL语法模板定义组件，用于各类型数据库对应的SQL语法模板。
5.根据权利要求1所述的装置，其特征在于，所述AOP切面组件还用于监测各访问请求的访问时长，并对各数据源的各个访问请求以及访问时长进行汇总，确定各数据源的健康状态。
6.根据权利要求1所述的装置，其特征在于，所述装置还包括数据库扩展接口，用于接入新类型的数据库。
7.根据权利要求1所述的装置，其特征在于，所述装置还包括单表查询模块、多表联查模块、SQL透传模块、缓存管理模块、权限管理模块、数据加密模块，分别用于根据获取的控制操作生成对应的访问请求。
8.一种数据处理方法，其特征在于，包括：
接收外部输入的访问请求，识别所述访问请求中的数据源标识和数据库信息；
调用所述数据源标识对应的数据源，并将调用的数据源与所述数据库信息相对应的目标数据库进行连接；
构造所述访问请求对应的SQL语句，并基于所述目标数据库执行所述SQL语句。
9.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求8中任一所述的数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求8中任一所述的数据处理方法。
CN202010807323.7A 2020-08-12 2020-08-12 一种数据处理装置、数据处理方法、存储介质及电子设备 Active CN111949693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010807323.7A CN111949693B (zh) 2020-08-12 2020-08-12 一种数据处理装置、数据处理方法、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010807323.7A CN111949693B (zh) 2020-08-12 2020-08-12 一种数据处理装置、数据处理方法、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111949693A true CN111949693A (zh) 2020-11-17
CN111949693B CN111949693B (zh) 2024-03-01

Family

ID=73332397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010807323.7A Active CN111949693B (zh) 2020-08-12 2020-08-12 一种数据处理装置、数据处理方法、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111949693B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597222A (zh) * 2020-12-16 2021-04-02 中国建设银行股份有限公司 金融数据库连接处理方法、装置、设备及存储介质
CN112650773A (zh) * 2020-12-24 2021-04-13 北京奇艺世纪科技有限公司 数据查询方法、装置、电子设备及存储介质
CN112799643A (zh) * 2021-01-26 2021-05-14 中国工商银行股份有限公司 基于数据库映射动态接口的前端页面应用开发方法及装置
CN113515564A (zh) * 2021-05-18 2021-10-19 平安国际智慧城市科技股份有限公司 基于j2ee的数据访问方法、装置、设备及存储介质
CN113806813A (zh) * 2021-08-27 2021-12-17 上海得帆信息技术有限公司 一种多数据源的数据隔离切换方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1650263A (zh) * 2002-04-08 2005-08-03 国际商业机器公司 用于在分布式企业应用中进行问题确定的方法和系统
CN104008349A (zh) * 2014-04-28 2014-08-27 国家电网公司 数据库安全访问控制方法和系统
CN107122365A (zh) * 2016-02-25 2017-09-01 阿里巴巴集团控股有限公司 异构数据库的访问方法及装置
CN108647300A (zh) * 2018-05-09 2018-10-12 携程旅游信息技术（上海）有限公司 数据库访问中间系统、方法、设备及存储介质
CN109614427A (zh) * 2018-10-23 2019-04-12 平安科技（深圳）有限公司 多源数据库的访问方法及装置、存储介质和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1650263A (zh) * 2002-04-08 2005-08-03 国际商业机器公司 用于在分布式企业应用中进行问题确定的方法和系统
CN104008349A (zh) * 2014-04-28 2014-08-27 国家电网公司 数据库安全访问控制方法和系统
CN107122365A (zh) * 2016-02-25 2017-09-01 阿里巴巴集团控股有限公司 异构数据库的访问方法及装置
CN108647300A (zh) * 2018-05-09 2018-10-12 携程旅游信息技术（上海）有限公司 数据库访问中间系统、方法、设备及存储介质
CN109614427A (zh) * 2018-10-23 2019-04-12 平安科技（深圳）有限公司 多源数据库的访问方法及装置、存储介质和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597222A (zh) * 2020-12-16 2021-04-02 中国建设银行股份有限公司 金融数据库连接处理方法、装置、设备及存储介质
CN112650773A (zh) * 2020-12-24 2021-04-13 北京奇艺世纪科技有限公司 数据查询方法、装置、电子设备及存储介质
CN112799643A (zh) * 2021-01-26 2021-05-14 中国工商银行股份有限公司 基于数据库映射动态接口的前端页面应用开发方法及装置
CN112799643B (zh) * 2021-01-26 2024-02-20 中国工商银行股份有限公司 基于数据库映射动态接口的前端页面应用开发方法及装置
CN113515564A (zh) * 2021-05-18 2021-10-19 平安国际智慧城市科技股份有限公司 基于j2ee的数据访问方法、装置、设备及存储介质
CN113806813A (zh) * 2021-08-27 2021-12-17 上海得帆信息技术有限公司 一种多数据源的数据隔离切换方法和系统

Also Published As

Publication number Publication date
CN111949693B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN111949693B (zh) 一种数据处理装置、数据处理方法、存储介质及电子设备
CN109299131B (zh) 一种支持可信计算的spark查询方法及系统
US10169437B2 (en) Triplestore replicator
US7386609B2 (en) Method, system, and program for managing devices in a network
US9152796B2 (en) Dynamic analysis interpreter modification for application dataflow
US11550845B2 (en) Accessing files in a database stage using a user defined function
US11061964B2 (en) Techniques for processing relational data with a user-defined function (UDF)
US10248668B2 (en) Mapping database structure to software
WO2023056946A1 (zh) 一种数据缓存方法、装置和电子设备
KR102443171B1 (ko) 이기종 컴퓨팅 환경에서 데이터 타입 변환을 지원하기 위한 시스템 및 방법
US11294901B1 (en) Isolating the performance of functions included in queries
CA3089289C (en) System and methods for loading objects from hash chains
US11087003B2 (en) Scalable pre-analysis of dynamic applications
US9201937B2 (en) Rapid provisioning of information for business analytics
US10783245B2 (en) Feedback-directed static analysis
US10620946B1 (en) Dynamic modeling for opaque code during static analysis
CN114219643A (zh) 一种交易调用方法、装置、设备及存储介质
US11888937B2 (en) Domain specific provider contracts for core data services
US11726976B1 (en) Database encoding and decoding for database functions
US11586740B2 (en) Detecting second-order security vulnerabilities in libraries
US20240126726A1 (en) Techniques for comprehensively supporting json schema in a rdbms
KR102449107B1 (ko) 게시판 서비스 제공 장치 및 방법
US20240126727A1 (en) Techniques for comprehensively supporting json schema in a rdbms
CN114461716A (zh) 数据加载方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant