CN113656484A - 数据库的访问系统及方法、装置、电子设备、存储介质 - Google Patents
数据库的访问系统及方法、装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113656484A CN113656484A CN202111017229.2A CN202111017229A CN113656484A CN 113656484 A CN113656484 A CN 113656484A CN 202111017229 A CN202111017229 A CN 202111017229A CN 113656484 A CN113656484 A CN 113656484A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- database
- engine
- data request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004590 computer program Methods 0.000 claims description 17
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 78
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 3
- 241000282813 Aepyceros melampus Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 208000024780 Urticaria Diseases 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理领域，公开了一种数据库的访问系统及方法、装置、电子设备、存储介质，该系统包括数据请求端、数据服务模块和数据服务端，数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，接口模块用于接收数据请求端发送的用于访问数据服务端中的至少一数据库的数据请求，向资源管理服务组件请求数据服务端的硬件资源信息；引擎管理组件用于判断是否允许数据请求端申请硬件资源信息，若允许，则向资源管理服务组件请求锁定硬件资源信息，启动引擎服务，访问数据库中的数据。本发明还涉及区块链技术，将所述数据写入区块链节点中。通过本发明，解决了相关技术中应用层直接对接底层引擎存在数据访问效率低的技术问题。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据库的访问系统及方法、装置、电子设备、存储介质。
背景技术
随着大数据技术的广泛应用，催生出层出不穷的上层应用和下层计算引擎，例如从早期的Hadoop MapReduce，到后来的presto、impala，再到spark、flink等下层计算引擎。企业通过不断地引入各种开源技术来实现上层的业务需求，不断地增加和丰富大数据平台架构，使大数据平台的功能越来越强大，同时也让整个大数据平台架构变成了一个相当复杂的网状结构。
然而，在该复杂的网状结构中，为了满足变化多样的业务需求或者多样的前端界面，需要多种开源组件协调完成，而不断引入新的开源组件，随之带来的维护成本也是越来越高，同时也带来了很多痛点。例如，1)用户经常要跳转至不同的页面或者使用不用的操作语言，才能达到要求的功能效果，导致用户的学习成本偏高；2)引入新的开源组件，导致需要访问的数据种类也变得繁多，开源组件涉及的开发语言就有java、scala、ruby等等，数据存储和计算变得更加复杂，不仅增加了运维成本，若要做相应的个性化开发，对开发人员的技术要求也很苛刻；3)另外，各种开源组件对用户资源管理、权限管理并不统一，并且较少组件有租户概念，无法对硬件资源进行有效地隔离，比如presto，对数据权限控制较弱，易产生数据安全问题；4)此外，上层应用在对接底层hive、spark等引擎时，很难做到应用层和大数据平台之间的网络隔离，一旦大数据平台的底层引擎有相应的改动或者升级，涉及到的应用层均需做出相应的调整，牵涉范围过大。总之，应用层对接大数据平台的底层引擎存在操作复杂、运维成本高、数据访问效率低等技术问题。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种数据库的访问系统及方法、装置、电子设备、存储介质，以至少解决了相关技术中应用层直接对接底层引擎存在数据访问效率低的技术问题。
根据本发明的一个实施例，提供了一种数据库的访问系统，所述系统包括数据请求端、数据服务模块和数据服务端，所述数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，其中，所述接口模块，用于接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求，向所述资源管理服务组件发起用于请求所述数据服务端的硬件资源信息的请求，其中，所述硬件资源信息为所述数据请求端访问所述数据服务端时所述数据服务端中可用的硬件资源；所述引擎管理组件，用于在得到用于请求所述数据服务端的硬件资源信息的请求之后，判断是否允许所述数据请求端申请所述硬件资源信息；若允许，则向所述资源管理服务组件请求锁定所述硬件资源信息；启动引擎服务，由所述引擎服务访问所述数据库中的数据并通过所述接口模块将所述数据、所述引擎服务的执行进度信息以及执行状态信息反馈给所述数据请求端。
可选的，所述接口模块还用于：在接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求之后，解析所述数据请求，得到所述数据请求端的应用系统信息和所述数据库的唯一标识码；基于所述应用系统信息和所述唯一标识码向所述资源管理服务组件请求所述硬件资源信息。
可选的，所述接口模块，还用于在解析所述数据请求，得到所述数据请求端的应用系统信息和所述数据库的唯一标识码之后，根据所述应用系统信息判断所述资源管理服务组件是否提供与所述数据库对应的引擎服务；若不存在，则向所述资源管理组件申请实例化新的引擎服务。
可选的，所述接口模块，还用于在引擎管理组件启动引擎服务之后，将所述数据请求发送至所述引擎服务；所述引擎服务，用于根据所述数据请求访问所述数据库中的数据；向所述接口模块反馈所述数据、所述执行进度信息以及所述执行状态信息。
可选的，将所述数据以块链式机制进行存储。
根据本发明的一个实施例，提供了一种数据库的访问方法，应用于数据库的访问系统，所述系统包括数据请求端、数据服务模块和数据服务端，其中，所述数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，所述数据库的访问方法包括：通过所述接口模块接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求；向所述资源管理服务组件发起用于请求所述数据服务端的硬件资源信息的请求，其中，所述硬件资源信息为所述数据请求端访问所述数据服务端时所述数据服务端中可用的硬件资源；判断是否允许所述数据请求端申请所述硬件资源信息；若允许所述数据请求端申请所述硬件资源信息，则启动引擎服务，由所述引擎服务访问所述数据库中的数据并通过所述接口模块将所述数据、所述引擎服务的执行进度信息以及执行状态信息反馈给所述数据请求端。
可选的，所述启动引擎服务，由所述引擎服务访问所述数据库中的数据包括：通过解析所述数据请求，判断所述资源管理服务组件是否提供与所述数据库对应的引擎服务；若所述资源管理服务组件提供与所述数据库对应的引擎服务，则由所述引擎服务访问所述数据库中的数据；并向所述接口模块反馈所述数据、所述执行进度信息以及所述执行状态信息；若不存在，则向所述资源管理组件申请实例化新的引擎服务。
根据本发明的一个实施例，提供了一种数据库的访问装置，应用于数据库的访问系统，所述系统包括数据请求端、数据服务模块和数据服务端，其中，所述数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，所述数据库的访问装置包括：接收模块，用于通过所述接口模块接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求；发送模块，用于向所述资源管理服务组件发起用于请求所述数据服务端的硬件资源信息的请求，其中，所述硬件资源信息为所述数据请求端访问所述数据服务端时所述数据服务端中可用的硬件资源；判断模块，用于判断是否允许所述数据请求端申请所述硬件资源信息；执行模块，用于若允许所述数据请求端申请所述硬件资源信息，则启动引擎服务，由所述引擎服务访问所述数据库中的数据并通过所述接口模块将所述数据、所述引擎服务的执行进度信息以及执行状态信息反馈给所述数据请求端。
可选的，所述执行模块包括：判断单元，用于通过解析所述数据请求，判断所述资源管理服务组件是否提供与所述数据库对应的引擎服务；执行单元，用于当所述资源管理服务组件提供与所述数据库对应的引擎服务时，由所述引擎服务访问所述数据库中的数据；并向所述接口模块反馈所述数据、所述执行进度信息以及所述执行状态信息；若不存在，则向所述资源管理组件申请实例化新的引擎服务。
根据本发明的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。
通过本发明，应用于包括数据请求端、数据服务模块和数据服务端的数据库访问系统，利用包括接口模块、资源管理服务组件和引擎管理组件的数据服务模块，基于数据请求端发送的数据请求，向资源管理服务组件请求数据服务端的硬件资源信息，然后由引擎管理组件向资源管理服务组件请求锁定硬件资源信息；并通过启动引擎服务访问数据库中的数据，通过接口模块将数据反馈给所述数据请求端，在数据请求端和数据服务端之间所有的应用直接连接至该数据服务模块即可，无须关注原有的应用层对接底层引擎时的大量技术细节和原理，即可很方便的接入常用的存储引擎和计算引擎，大大的降低了用户使用和接入成本，保证了数据的安全性以及实现数据统一管理，方便统计和审计上层应用使用的数据，提高了应用层对接底层引擎的数据访问效率，解决了相关技术中应用层直接对接底层引擎存在数据访问效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例提供的一种数据库的访问系统的结构框图；
图2是本发明实施例提供的一种数据库的访问方法应用于计算机终端的硬件结构框图；
图3是根据本发明实施例提供的一种数据库的访问方法的流程图；
图4是根据本发明实施例提供的一种数据库的访问装置的结构框图；
图5是根据本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了解决相关技术存在的技术问题，在本实施例中提供了一种数据库的访问系统。下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1是根据本发明实施例提供的一种数据库的访问系统的结构框图，如图1所示，该系统包括数据请求端10、数据服务模块20和数据服务端30，其中，数据请求端可以为用户终端或者其他服务终端，本实施例中的数据库访问系统适应于用户终端与服务器之间的数据访问，或者服务器与服务器之间的数据访问。例如，应用系统工具与数据库中的计算存储引擎之间的信息交互。
在本实施例中，数据服务模块20至少包括接口模块201、资源管理服务组件202和引擎管理组件203，其中，
优选地，数据服务模块可使用SpringCloud框架搭建，利用微服务集群来提高可能能力。
接口模块201，用于接收数据请求端发送的用于访问数据服务端30中的至少一数据库的数据请求；在接收到数据请求后向资源管理服务组件202发起用于请求数据服务端30的硬件资源信息的请求；
在本实施例中，硬件资源信息为数据请求端10访问数据服务端30时数据服务端30中可用的硬件资源，例如硬件资源为服务器的CPU、内存等。
优选地，本实施例中的接口模块数据请求端与数据服务模块之间的统一入口，用于统一用户角色以及数据访问的权限管理。
引擎管理组件203，在得到用于请求数据服务端30的硬件资源信息的请求之后，判断是否允许数据请求端10申请硬件资源信息；若允许，则向资源管理服务组件202请求锁定硬件资源信息，并获取该硬件资源信息；
进一步地，由引擎管理组件203启动引擎服务，执行引擎服务以访问数据库中的数据，并通过接口模块201将数据、引擎服务的执行进度信息以及执行状态信息反馈给数据请求端10。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
上述实施例通过应用于包括数据请求端、数据服务模块和数据服务端的数据库访问系统，利用包括接口模块、资源管理服务组件和引擎管理组件的数据服务模块，基于数据请求端发送的数据请求，向资源管理服务组件请求数据服务端的硬件资源信息，然后由引擎管理组件向资源管理服务组件请求锁定硬件资源信息；并通过启动引擎服务访问数据库中的数据，通过接口模块将数据反馈给数据请求端，在数据请求端和数据服务端之间所有的应用直接连接至该数据服务模块即可，无须关注原有的应用层对接底层引擎时的大量技术细节和原理，即可很方便的接入常用的存储引擎和计算引擎，大大的降低了用户使用和接入成本，保证了数据的安全性以及实现数据统一管理，方便统计和审计上层应用使用的数据，提高了应用层对接底层引擎的数据访问效率，解决了相关技术中应用层直接对接底层引擎存在数据访问效率低的技术问题。
在本案的一个应用场景中，现有的上层应用直接对接底层hive、spark等数据库引擎，对接复杂，效率低下，而通过本发明提供的上述实施例，通过在应用程序和底层引擎之间构建了一层大数据服务引擎中间件(即上述数据服务模块)，通过该中间件统一提供给上层应用REST/WebSocket/JDBC等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎，同时可以实现不同开源组件的便利、脚本、函数共享。
在本案的一个可选的实施例中，接口模块201在接收数据请求端10发送的用于访问数据服务端30中的至少一数据库的数据请求之后，解析数据请求，得到数据请求端10的应用系统信息和数据库的唯一标识码；基于应用系统信息和唯一标识码向资源管理服务组件请求硬件资源信息。
进一步地，在得到数据请求端10的应用系统信息和数据库的唯一标识码之后，接口模块根据应用系统信息判断资源管理服务组件是否提供与数据库对应的引擎服务；若不存在，则向资源管理组件申请实例化新的引擎服务。
在本实施例中，接口模块设有网关功能，通过网关接收数据请求段发送的数据请求，然后利用网关对数据请求进行解析，得到数据请求端10请求的数据库的唯一标识码以及数据请求端10的应用系统信息；接口模块还设有统一入口，用于接收网关发送对的应用系统信息和唯一标识码，向资源管理服务组件申请硬件资源信息以及向资源管理组件申请待访问数据库实例化的执行引擎；
进一步地，若基于数据请求端10的应用系统信息判断出，允许数据请求端10请求服务器硬件资源信息，则由资源管理组件203锁定该硬件资源信息并获取该硬件资源信息，以便执行引擎服务。
优选地，接口模块201，还用于在引擎管理组件203启动引擎服务之后，引擎服务向资源管理服务组件202反馈启动信息，并实时上报服务器硬件资源信息；引擎服务在接收到由统一入口发送的数据请求后，访问数据库中的数据；并实时向接口模块201反馈数据、执行进度信息以及执行状态信息。
下面结合一具体实施例，对本发明做进一步地说明：
以用户在上层提交一个SQL请求为例，具体包括以下内容：
在本示例中，数据服务模块使用SpringCloud框架搭建服务引擎中间件，中间件包括网关入口Gateway，服务注册中心Eureka(即服务注册组件)，资源管理服务组件及引擎管理器(即引擎管理组件)，具体流程如下：
1)前端用户向Gateway(网关入口)请求执行SQL；
2)Gateway转发请求至Entrance统一入口；
3)Entrance统一入口请求资源管理服务获取硬件环境资源；
4)Entrance统一入口请求引擎管理器申请实例化新的执行引擎，例如spark、hive引擎；
5)引擎管理器请求资源管理服务判断该前端用户和前端用户的应用系统是否可以申请新的硬件环境资源；
6)引擎管理器请求资源，并且锁定资源；
7)引擎管理器启动执行引擎；
8)执行引擎向资源管理服务返回启动信息，并且上报实时负载至资源管理服务；
9)新引擎实例向Eureka注册中心注册服务；
10)新引擎实例发送请求至统一入口；
11)新引擎实例提交SQL至Yarn集群，执行SQL；
12)新引擎实例推送状态/进度至统一入口；
13)新引擎实例推送结果至统一入口；
14)统一入口推送结果(结果包括：日志/状态/进度)返回至前端用户；
15)前端用户接收到推送的结果(结果包括：日志/状态/进度)，整个流程结束。
通过上述示例，通过统一的大数据服务引擎中间件，所有的应用直接连接至该中间件，无须关注太多技术细节和原理，即可很方便的接入Spark、Hive、Presto、Flink、impala等等存储和计算引擎，大大的降低了用户使用和接入成本。
其次，大数据服务引擎中间件统一用户角色、数据权限管理，对上层应用屏蔽各种引擎数据权限管理差异，所有的脚本以多租户的方式去执行，系统安全风险大大降低，并且数据安全统一管理后，方便统计和审计上层应用使用的数据。
另外，应用层对接中间件后，应用层网络和大数据平台网络可以很好的进行隔离，提高了网络安全性。
大数据硬件资源统一管理，对上层应用用户的使用资源全局分配，无论用户使用hive、还是spark、或者是presto，数据服务引擎中间件统一计算后进行分配，避免某些组件全部将硬件资源吃满。在资源统一管理后，也可便于对各个上层应用资源使用情况进行统计分析和考核。
使用SpringCloud框架搭建服务引擎中间件，服务治理功能强大，具备了负载均衡、多租户、流量控制等等功能，系统稳定性有所保障，并且易于横向拓展中间件。
基于上文各个实施例提供的数据库的访问系统，基于同一发明构思，在本实施例中还提供了一种数据库的访问方法，该方法用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。
本申请实施例所提供的方法实施例可以在移动终端、服务器、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图2是本发明实施例提供的一种数据库的访问方法应用于计算机终端的硬件结构框图。如图2所示，计算机终端可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器204，可选地，上述计算机终端还可以包括用于通信功能的传输设备206以及输入输出设备208。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。
存储器204可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据库的访问方法对应的计算机程序，处理器202通过运行存储在存储器204内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器，也可以包括易失性存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备206包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备206可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本发明实施例提供的数据库的访问方法，应用于数据库的访问系统，系统包括数据请求端、数据服务模块和数据服务端，其中，数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，图3是根据本发明实施例提供的一种数据库的访问方法的流程图，如图3所示，该流程包括如下步骤：
步骤S302，通过接口模块接收数据请求端发送的用于访问数据服务端中的至少一数据库的数据请求；
步骤S304，向资源管理服务组件发起用于请求数据服务端的硬件资源信息的请求，其中，硬件资源信息为数据请求端访问数据服务端时数据服务端中可用的硬件资源；
步骤S306，判断是否允许数据请求端申请硬件资源信息；
步骤S308，若允许数据请求端申请硬件资源信息，则启动引擎服务，由引擎服务访问数据库中的数据并通过接口模块将数据、引擎服务的执行进度信息以及执行状态信息反馈给数据请求端。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。
本发明实施例提供的数据库的访问方法，利用包括接口模块、资源管理服务组件和引擎管理组件的数据服务模块，应用于数据请求端访问数据服务端的访问系统中，基于数据请求端发送的数据请求，向资源管理服务组件请求数据服务端的硬件资源信息，然后由引擎管理组件向资源管理服务组件请求锁定硬件资源信息；并通过启动引擎服务访问数据库中的数据，通过接口模块将数据反馈给数据请求端，在数据请求端和数据服务端之间所有的应用直接连接至该数据服务模块即可，无须关注原有的应用层对接底层引擎时的大量技术细节和原理，即可很方便的接入常用的存储引擎和计算引擎，大大的降低了用户使用和接入成本，保证了数据的安全性以及实现数据统一管理，方便统计和审计上层应用使用的数据，提高了应用层对接底层引擎的数据访问效率，解决了相关技术中应用层直接对接底层引擎存在数据访问效率低的技术问题。
可选地，启动引擎服务，由引擎服务访问数据库中的数据包括：通过解析数据请求，判断资源管理服务组件是否提供与数据库对应的引擎服务；若资源管理服务组件提供与数据库对应的引擎服务，则由引擎服务访问数据库中的数据；并向接口模块反馈数据、执行进度信息以及执行状态信息；若不存在，则向资源管理组件申请实例化新的引擎服务。
基于上文各个实施例提供的数据库的访问方法，基于同一发明构思，在本实施例中还提供了一种数据库的访问装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例提供的一种数据库的访问装置的结构框图，如图4所示，该装置应用于数据库的访问系统，系统包括数据请求端、数据服务模块和数据服务端，其中，数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，该装置包括：接收模块40，用于通过接口模块接收数据请求端发送的用于访问数据服务端中的至少一数据库的数据请求；发送模块42，连接至上述接收模块40，用于向资源管理服务组件发起用于请求数据服务端的硬件资源信息的请求，其中，硬件资源信息为数据请求端访问数据服务端时数据服务端中可用的硬件资源；判断模块44，连接至上述发送模块42，用于判断是否允许数据请求端申请硬件资源信息；执行模块46，连接至上述判断模块44，用于若允许数据请求端申请硬件资源信息，则启动引擎服务，由引擎服务访问数据库中的数据并通过接口模块将数据、引擎服务的执行进度信息以及执行状态信息反馈给数据请求端。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。
可选的，执行模块46包括：判断单元，用于通过解析数据请求，判断资源管理服务组件是否提供与数据库对应的引擎服务；执行单元，用于当资源管理服务组件提供与数据库对应的引擎服务时，由引擎服务访问数据库中的数据；并向接口模块反馈数据、执行进度信息以及执行状态信息；若不存在，则向资源管理组件申请实例化新的引擎服务。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，应用于数据库的访问系统，所述系统包括数据请求端、数据服务模块和数据服务端，其中，所述数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，通过所述接口模块接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求；
S2，向所述资源管理服务组件发起用于请求所述数据服务端的硬件资源信息的请求，其中，所述硬件资源信息为所述数据请求端访问所述数据服务端时所述数据服务端中可用的硬件资源；
S3，判断是否允许所述数据请求端申请所述硬件资源信息；
S4，若允许所述数据请求端申请所述硬件资源信息，则启动引擎服务，由所述引擎服务访问所述数据库中的数据并通过所述接口模块将所述数据、所述引擎服务的执行进度信息以及执行状态信息反馈给所述数据请求端。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。
基于上述图3所示方法和图4所示装置的实施例，为了实现上述目的，本申请实施例还提供了一种电子设备，如图5所示，包括存储器52和处理器51，其中存储器52和处理器51均设置在总线53上存储器52存储有计算机程序，处理器51执行计算机程序时实现图3所示的数据库的访问方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个存储器(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
可选地，该设备还可以连接用户接口、网络接口、摄像头、射频(Radio Frequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的一种电子设备的结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据库的访问系统，其特征在于，所述系统包括数据请求端、数据服务模块和数据服务端，所述数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，其中，
所述接口模块，用于接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求，向所述资源管理服务组件发起用于请求所述数据服务端的硬件资源信息的请求，其中，所述硬件资源信息为所述数据请求端访问所述数据服务端时所述数据服务端中可用的硬件资源；
所述引擎管理组件，用于在得到用于请求所述数据服务端的硬件资源信息的请求之后，判断是否允许所述数据请求端申请所述硬件资源信息；若允许，则向所述资源管理服务组件请求锁定所述硬件资源信息；启动引擎服务，由所述引擎服务访问所述数据库中的数据并通过所述接口模块将所述数据、所述引擎服务的执行进度信息以及执行状态信息反馈给所述数据请求端。
2.根据权利要求1所述的系统，其特征在于，所述接口模块还用于：
在接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求之后，解析所述数据请求，得到所述数据请求端的应用系统信息和所述数据库的唯一标识码；
基于所述应用系统信息和所述唯一标识码向所述资源管理服务组件请求所述硬件资源信息。
3.根据权利要求2所述的系统，其特征在于，
所述接口模块，还用于在解析所述数据请求，得到所述数据请求端的应用系统信息和所述数据库的唯一标识码之后，根据所述应用系统信息判断所述资源管理服务组件是否提供与所述数据库对应的引擎服务；若不存在，则向所述资源管理组件申请实例化新的引擎服务。
4.根据权利要求1所述的系统，其特征在于，
所述接口模块，还用于在引擎管理组件启动引擎服务之后，将所述数据请求发送至所述引擎服务；
所述引擎服务，用于根据所述数据请求访问所述数据库中的数据；向所述接口模块反馈所述数据、所述执行进度信息以及所述执行状态信息。
5.根据权利要求1-4中任一项所述的系统，其特征在于，将所述数据以块链式机制进行存储。
6.一种数据库的访问方法，其特征在于，应用于数据库的访问系统，所述系统包括数据请求端、数据服务模块和数据服务端，其中，所述数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，所述数据库的访问方法包括：
通过所述接口模块接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求；
向所述资源管理服务组件发起用于请求所述数据服务端的硬件资源信息的请求，其中，所述硬件资源信息为所述数据请求端访问所述数据服务端时所述数据服务端中可用的硬件资源；
判断是否允许所述数据请求端申请所述硬件资源信息；
若允许所述数据请求端申请所述硬件资源信息，则启动引擎服务，由所述引擎服务访问所述数据库中的数据并通过所述接口模块将所述数据、所述引擎服务的执行进度信息以及执行状态信息反馈给所述数据请求端。
7.根据权利要求6所述的方法，其特征在于，所述启动引擎服务，由所述引擎服务访问所述数据库中的数据包括：
通过解析所述数据请求，判断所述资源管理服务组件是否提供与所述数据库对应的引擎服务；
若所述资源管理服务组件提供与所述数据库对应的引擎服务，则由所述引擎服务访问所述数据库中的数据；并向所述接口模块反馈所述数据、所述执行进度信息以及所述执行状态信息；若不存在，则向所述资源管理组件申请实例化新的引擎服务。
8.一种数据库的访问装置，其特征在于，应用于数据库的访问系统，所述系统包括数据请求端、数据服务模块和数据服务端，其中，所述数据服务模块至少包括接口模块、资源管理服务组件和引擎管理组件，所述数据库的访问装置包括：
接收模块，用于通过所述接口模块接收所述数据请求端发送的用于访问所述数据服务端中的至少一数据库的数据请求；
发送模块，用于向所述资源管理服务组件发起用于请求所述数据服务端的硬件资源信息的请求，其中，所述硬件资源信息为所述数据请求端访问所述数据服务端时所述数据服务端中可用的硬件资源；
判断模块，用于判断是否允许所述数据请求端申请所述硬件资源信息；
执行模块，用于若允许所述数据请求端申请所述硬件资源信息，则启动引擎服务，由所述引擎服务访问所述数据库中的数据并通过所述接口模块将所述数据、所述引擎服务的执行进度信息以及执行状态信息反馈给所述数据请求端。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111017229.2A CN113656484A (zh) | 2021-08-31 | 2021-08-31 | 数据库的访问系统及方法、装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111017229.2A CN113656484A (zh) | 2021-08-31 | 2021-08-31 | 数据库的访问系统及方法、装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113656484A true CN113656484A (zh) | 2021-11-16 |
Family
ID=78482625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111017229.2A Pending CN113656484A (zh) | 2021-08-31 | 2021-08-31 | 数据库的访问系统及方法、装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113656484A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116126944A (zh) * | 2023-02-14 | 2023-05-16 | 中电金信软件有限公司 | 数据访问系统、方法和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130219064A1 (en) * | 2010-09-30 | 2013-08-22 | Huawei Technologies Co., Ltd. | Device management method, middleware, and machine-to-machine communications platform, device, and system |
| CN110351384A (zh) * | 2019-07-19 | 2019-10-18 | 深圳前海微众银行股份有限公司 | 大数据平台资源管理方法、装置、设备及可读存储介质 |
| CN113127477A (zh) * | 2019-12-30 | 2021-07-16 | 华为技术有限公司 | 访问数据库的方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-31 CN CN202111017229.2A patent/CN113656484A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130219064A1 (en) * | 2010-09-30 | 2013-08-22 | Huawei Technologies Co., Ltd. | Device management method, middleware, and machine-to-machine communications platform, device, and system |
| CN110351384A (zh) * | 2019-07-19 | 2019-10-18 | 深圳前海微众银行股份有限公司 | 大数据平台资源管理方法、装置、设备及可读存储介质 |
| CN113127477A (zh) * | 2019-12-30 | 2021-07-16 | 华为技术有限公司 | 访问数据库的方法、装置、计算机设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116126944A (zh) * | 2023-02-14 | 2023-05-16 | 中电金信软件有限公司 | 数据访问系统、方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11941425B2 (en) | Systems and methods for tuning containers in a high availability environment | |
| US9237130B2 (en) | Hierarchical rule development and binding for web application server firewall | |
| US9602599B2 (en) | Coordinating application migration processes | |
| CN111936974A (zh) | 将现有虚拟计算资源采纳到用于管理操作的逻辑容器中 | |
| CN109479062B (zh) | 混合云计算系统中的使用跟踪 | |
| CN111414381B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| DE112013002544T5 (de) | Cloudbasiertes Teilen von Datenpunkten und Zusammenarbeit unter Benutzergruppen | |
| EP3895049A1 (en) | Utilizing independently stored validation keys to enable auditing of instrument measurement data maintained in a blockchain | |
| US11461288B2 (en) | Systems and methods for database management system (DBMS) discovery | |
| CN113468511A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN115758459A (zh) | 数据权限管理方法及装置 | |
| Menon | Cloudera administration handbook | |
| CN113656484A (zh) | 数据库的访问系统及方法、装置、电子设备、存储介质 | |
| CN114237853A (zh) | 应用于异构系统的任务执行方法、装置、设备、介质和程序产品 | |
| CN114253798A (zh) | 指标数据采集方法和装置、电子设备、存储介质 | |
| CN112256760A (zh) | 一种数据预测方法、装置、计算机设备及存储介质 | |
| CN113704765A (zh) | 基于人工智能的操作系统识别方法、装置及电子设备 | |
| CN114785526B (zh) | 基于区块链的多用户多批次权重分配计算及存储处理系统 | |
| CN114095272B (zh) | 基于内外网安全架构的内网数据上链方法及装置 | |
| US20190332386A1 (en) | Systems and methods for providing multiple console sessions that enable line-by-line execution of scripts on a server application | |
| CN103679023A (zh) | 一种联合计算架构下的海量病毒报告分析方法 | |
| CN115147963B (zh) | 车辆数字钥匙数据变化分析方法、系统、设备及存储介质 | |
| US20230396448A1 (en) | Client secure connections for database host | |
| CN115857938A (zh) | 对大数据提交作业进行资源审计的方法及装置 | |
| CN116866165A (zh) | 容器注入方法、装置、电子设备、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220525 Address after: 518000 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd. Address before: Room 12G, Area H, 666 Beijing East Road, Huangpu District, Shanghai 200001 Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right |