CN111782428B - 数据调用系统以及方法 - Google Patents

数据调用系统以及方法 Download PDF

Info

Publication number
CN111782428B
CN111782428B CN202010842072.6A CN202010842072A CN111782428B CN 111782428 B CN111782428 B CN 111782428B CN 202010842072 A CN202010842072 A CN 202010842072A CN 111782428 B CN111782428 B CN 111782428B
Authority
CN
China
Prior art keywords
data
target data
target
cluster
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010842072.6A
Other languages
English (en)
Other versions
CN111782428A (zh
Inventor
陈琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010842072.6A priority Critical patent/CN111782428B/zh
Publication of CN111782428A publication Critical patent/CN111782428A/zh
Application granted granted Critical
Publication of CN111782428B publication Critical patent/CN111782428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/547Messaging middleware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种数据调用系统以及方法,其中所述系统包括:所述第一应用集群,被配置为接收待调用目标数据的特征信息,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据,并向所述第二应用集群发送针对所述第二目标数据的调用请求,以及向所述中间件服务器发送针对所述第一目标数据的调用请求;所述第二应用集群,被配置为基于所述第二目标数据的调用请求获取所述第二目标数据,并将所述第二目标数据返回至所述第一应用集群;所述中间件服务器,被配置为基于所述第一目标数据的调用请求获取所述第一目标数据,并将所述第一目标数据返回至所述第一应用集群。

Description

数据调用系统以及方法
技术领域
本说明书实施例涉及合规数据管理领域,特别涉及一种数据调用系统。本说明书一个或者多个实施例同时涉及一种数据调用方法。
背景技术
随着互联网技术的发展,各式各样的服务都相继开展了线上服务,虽然线上模式更加方便的服务于用户,但是对于线上服务的数据进行监管也面临着巨大的挑战。目前主要是监管机构要求各个提供服务方的分布式系统进行独立部署,满足监管机构对调用的数据进行合规性检查,但各个提供服务方均具有自己的独立部署,这对监管的及时性、有效性造成了很大的障碍,同时也会导致资源的浪费。
因此,急需提供一种可以解决资源浪费的数据调用系统。
发明内容
有鉴于此,本说明书施例提供了一种数据调用系统。本说明书一个或者多个实施例同时涉及一种数据调用方法以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种数据调用系统,包括:
所述系统包括:第一应用集群、第二应用集群和中间件服务器;
所述第一应用集群,被配置为接收待调用目标数据的特征信息,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据,并向所述第二应用集群发送针对所述第二目标数据的调用请求,以及向所述中间件服务器发送针对所述第一目标数据的调用请求;
所述第二应用集群,被配置为基于所述第二目标数据的调用请求获取所述第二目标数据,并将所述第二目标数据返回至所述第一应用集群;
所述中间件服务器,被配置为基于所述第一目标数据的调用请求获取所述第一目标数据,并将所述第一目标数据返回至所述第一应用集群。
可选的,所述系统还包括:目标服务器;
所述目标服务器,被配置为接收客户端发送的数据调用指令,并将所述数据调用指令中携带的所述待调用目标数据的特征信息发送至所述第一应用集群。
其中,所述特征信息包括所述待调用目标数据的应用集群标识、所述待调用目标数据的属性信息、所述客户端信息。
可选的,所述第一应用集群,还被配置为基于所述待调用目标数据的特征信息确定调用所述待调用目标数据的目标子集群。
可选的,所述第一应用集群包括至少两个子集群;
所述第二应用集群,还被配置为存储所述至少两个子集群的第二目标数据。
可选的,所述中间件服务器包括数据库中间件;
所述数据库中间件,被配置为在确定所述第一目标数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述目标子集群对应的数据库,从所述目标子集群对应的数据库中调用所需读取的目标数据并返回至所述客户端。
可选的,所述中间件服务器还包括消息队列中间件;
所述消息队列中间件,被配置为在确定所述第一目标数据的调用请求为数据处理请求的情况下,根据所述数据处理请求确定所述目标子集群对应的消息队列,从所述目标子集群对应的消息队列中调用所需处理的目标数据并返回至所述客户端。
可选的,所述中间件服务器还包括文件存储中间件;
所述文件存储中间件,被配置为在确定所述第一目标数据的调用请求为数据存储请求的情况下,根据所述数据存储请求确定所述目标子集群对应的文件存储,从所述目标子集群对应的文件存储中调用所需存储的目标数据并返回至所述客户端。
可选的,所述中间件服务器还包括数据服务网关;
所述数据服务网关,被配置为在确定所述第一目标数据的调用请求为数据加工请求的情况下,根据所述数据加工请求确定所述目标子集群对应的数据仓库,从所述目标子集群对应的数据仓库中调用所需加工的目标数据并返回至所述客户端。
根据本说明书实施例的第二方面,提供了一种数据调用方法,应用于第一应用集群、第二应用集群和中间件服务器,包括:
第一应用集群接收待调用目标数据相关的特征信息,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据,并向所述第二应用集群发送针对所述第二目标数据的调用请求,以及向所述中间件服务器发送针对所述第一目标数据的调用请求;
所述第二应用集群基于所述第二目标数据的调用请求获取所述第二目标数据,并将所述第二目标数据返回至所述第一应用集群;
所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据,并将所述第一目标数据返回至所述第一应用集群。
可选的,所述特征信息包括:所述待调用目标数据的应用集群标识、待调用目标数据的属性信息、所述客户端信息;
相应的,所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据包括:
根据所述待调用目标数据的属性信息确定所述第一应用集群相对应的第一目标数据;以及
根据所述待调用目标数据的属性信息确定所述第二应用集群相对应的第二目标数据。
可选的,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据之前,还包括:
根据所述待调用目标数据的特征信息确定调用所述待调用目标数据的目标子集群。
可选的,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的数据库中间件在确定所述第一目标数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述目标子集群对应的数据库,从所述目标子集群对应的数据库中调用所需读取的目标数据并返回至所述客户端。
可选的,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的消息队列中间件在确定所述第一目标数据的调用请求为数据处理请求的情况下,根据所述数据处理请求确定所述目标子集群对应的消息队列,从所述目标子集群对应的消息队列中调用所需处理的目标数据并返回至所述客户端。
可选的,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的文件存储中间件在确定所述第一目标数据的调用请求为数据存储请求的情况下,根据所述数据存储请求确定所述目标子集群对应的文件存储,从所述目标子集群对应的文件存储中调用所需存储的目标数据并返回至所述客户端。
可选的,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的数据服务网关在确定所述第一目标数据的调用请求为数据加工请求的情况下,根据所述数据加工请求确定所述目标子集群对应的数据仓库,从所述目标子集群对应的数据仓库中调用所需加工的目标数据并返回至所述客户端。
本说明书一个实施例实现了对提供服务方系统进行独立部署的同时,通过一个中间件服务器向数据调用请求所对应匹配的服务器调用目标数据,避免了添加硬件设备资源的浪费,从而提高了资源利用率,也提升了用户体验。
附图说明
图1是本说明书一个实施例提供的一种数据调用系统的结构示意图;
图2是本说明书一个实施例提供的一种数据调用方法的流程图;
图3是本说明书一个实施例提供的第一种数据调用方法的处理过程流程图;
图4是本说明书一个实施例提供的第二种数据调用方法的处理过程流程图;
图5是本说明书一个实施例提供的第三种数据调用方法的处理过程流程图;
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
数据库中间件(zdal):采用标准的JDBC规范,可以在分布式环境下看上去像传统数据库一样提供海量数据服务,是一种通用的分库分表数据库访问框架。
消息队列中间件(msgbroker):消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。
文件存储中间件:一种提供海量、安全、低成本、高可靠的分布式存储服务,可通过调用API(英文全称:Application Program Interface;中文全称:应用程序接口),在任何应用、任何时间、任何地点上传和下载数据,也可通过web(互联网网页)控制台对数据进行简单的管理。
数据服务网关:一种一站式统一的数据研发平台,为数据仓库开发人员提供数据集成和数据仓库构建能力,满足数据仓库开发人员全场景数据加工的需求。
数据仓库:数据仓库是面向主题的,操作型数据库的数据组织面向事务处理任务,而数据仓库中的数据是按照一定的主题域进行组织。
在本说明书中,提供了一种数据调用系统,本说明书同时涉及一种数据调用方法,在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一个实施例提供的一种数据调用系统的结构示意图,所述系统包括第一应用集群102、第二应用集群104以及中间件服务器106,具体包括:
所述第一应用集群102,被配置为接收待调用目标数据的特征信息,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据,并向所述第二应用集群104发送针对所述第二目标数据的调用请求,以及向所述中间件服务器106发送针对所述第一目标数据的调用请求;
实际应用中,客户端为了调取某个应用集群的目标数据,向第一应用集群发送调取待调用目标数据的特征信息,第一应用集群根据待调用目标数据的特征信息,将待调用目标数据进行分类,分为第一目标数据以及第二目标数据,其中,第一目标数据为所需的敏感数据,第二目标数据为非敏感数据,第一应用集群并向第二应用集群发送针对第二目标数据的调用请求,以及向中间件服务器发送针对第一目标数据的目标调用请求。
本实施例提供的数据调用系统,为了能够对不同类型的数据实现快速的调用,可通过中间件服务器快速实现对数据的调用,也可通过第二应用集群对非敏感数据实现调用,在整个调取数据的过程中,不仅可以节省资源的消耗,还能够进一步提高后续对数据的应用处理。
具体的,本实施例提供的数据调用系统还包括:目标服务器;
所述目标服务器,被配置为接收客户端发送的数据调用指令,并将所述数据调用指令中携带的所述待调用目标数据的特征信息发送至所述第一应用集群,
其中,所述特征信息包括所述待调用目标数据的应用集群标识、待调用目标数据的属性信息、所述客户端信息。
具体实施时,所述目标服务器可为流量网关服务器,在接收到由客户端发送的数据调用指令后,对所述数据调用指令进行解析,获取待调用目标数据的特征信息,其中,所述特征信息包括待调用目标数据的应用集群标识、待调用目标数据的属性信息(该属性信息为待调用目标数据的名称、待调用目标数据的存储地址等关于调用目标数据的基础信息)、客户端信息,并将获取的特征信息发送至第一应用集群。
进一步的,所述第一应用集群,还被配置为基于所述待调用目标数据的特征信息确定调用所述待调用目标数据的目标子集群。
具体的,第一应用集群会根据接收到的待调用目标数据的特征信息中的待调用目标数据的应用集群标识,确定待调用目标数据的目标子集群,其中,所述目标子集群可以为一个应用集群、两个应用集群或多个应用集群。
具体实施时,第一应用集群包括至少两个子集群,第一应用集群能够根据待调用目标数据的应用集群标识,确定待调用目标数据的应用集群,将此应用集群作为目标子集群。
例如,第一应用集群包括应用集群A、应用集群B,第二应用集群有应用集群C,客户端向目标服务器发送调取应用集群业务数据的调用指令,目标服务器在接收到应用集群业务数据的调用指令后,对该指令进行解析,获取待调用应用集群业务数据的特征信息,其中,所述特征信息包括应用集群的标识、调用应用集群业务数据的属性信息以及客户端信息,目标服务器将获取的待调用应用集群业务数据的特征信息发送至第一应用集群,第一应用集群根据该特征信息中的应用集群的标识确定客户端要获取的是应用集群A的业务数据,并将应用集群A作为目标子集群。同时,应用集群A将客户端调用的应用集群A的业务数据进行分类,分为调用应用集群A的业务数据、私密数据以及不便于向外界透露的敏感数据,以应用集群为支付集群为例,例如,所调用的业务数据可为支付数据、客户信息等;分为调用应用集群A的非敏感数据,以应用集群为支付集群为例,例如,支付数据的表名、表结构等。
基于此,在第一应用集群确定出待调用目标数据的第一目标数据以及第二目标数据的情况下,并向第二应用集群发送针对第二目标数据的调用请求,以及向中间件服务器发送针对第一目标数据的目标调用请求。
综上,通过第一应用集群将所需待调用的目标数据进行分类,并根据分类后的目标数据的属性中的待调用目标数据的存储地址,分别向不同的应用集群所对应的存储目标数据的存储地址调用目标数据,不仅能够在节省硬件设备资源利用率,也进一步提高用户调用数据的体验度。
所述第二应用集群104,被配置为基于所述第二目标数据的调用请求获取所述第二目标数据,并将所述第二目标数据返回至所述第一应用集群102;
具体的,在所述第一应用集群包括至少两个子集群的基础上,第二应用集群将存储所述至少两个子集群的第二目标数据,其中,所述第二目标数据为非敏感数据,该非敏感数据根据具体情况存放和业务敏感数据无关的数据和服务,而第一目标数据为敏感数据,存放的是每个应用子集群所对应的敏感数据。
进一步的,第二应用集群接收到由第一应用集群发送的调用第二目标数据调用请求之后,调用第二应用集群存储的第二目标数据,并将第二目标数据返回至第一应用集群。
沿用上例,第一应用集群将应用集群A作为目标子集群后,由应用集群A将待调用的应用集群A的业务数据进行划分,分为调用应用集群A的业务敏感数据以及应用集群A的业务非敏感数据,并向第二应用集群发送针对业务非敏感数据的调用请求,第二应用集群针对该请求调取应用集群A的业务非敏感数据,并将应用集群A的业务非敏感数据返回至第一应用数据。
实际应用中,第二应用集群所存放的每个应用集群的非敏感数据是每个应用集群提前存放的,由于各个应用集群的数据或服务量不断更新或扩充,可以将和敏感数据无关的数据和服务存放在第二应用集群中,例如权限管理、元数据描述、配置信息等等。
所述中间件服务器106,被配置为基于所述第一目标数据的调用请求获取所述第一目标数据,并将所述第一目标数据返回至所述第一应用集群102。
具体的,中间件服务器将根据第一目标数据调用请求的不同,确定不同的中间件调用目标子集群的第一目标数据,并将调用的第一目标数据返回至第一应用集群。
进一步的,所述中间件服务器包括数据库中间件;
所述数据库中间件,被配置为在确定所述第一目标数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述目标子集群对应的数据库,从所述目标子集群对应的数据库中调用所需读取的目标数据并返回至所述客户端。
具体实施时,在中间件服务器接收到基于第一目标数据的调用请求后,将根据针对第一目标数据的调用请求的不同调用数据类型,确定由与调用数据类型相匹配的中间件完成数据调用。
沿用上例,第一应用集群将应用集群A作为目标子集群后,将调用应用集群A的业务敏感数据,向第一应用集群发送针对业务敏感数据的调用请求,中间件服务器在确定所述调用应用集群A的业务敏感数据请求为数据读取请求的情况下,根据所述读取请求确定应用集群A所对应的数据库,从应用集群A所对应的数据库中调用应用集群A所需读取的业务读取数据并返回至客户端。
实际应用中,采用数据库中间件服务器,能在数据访问压力过大时,解决单库单表数据库访问压力,并对数据也有缓冲作用,减少数据直接读取的功效,起到安全、高效的作用。
进一步的,所述中间件服务器包括消息队列中间件;
所述消息队列中间件,被配置为在确定所述第一目标数据的调用请求为数据处理请求的情况下,根据所述数据处理请求确定所述目标子集群对应的消息队列,从所述目标子集群对应的消息队列中调用所需处理的目标数据并返回至所述客户端。
具体实施时,所述消息队列中间件为分布式系统的重要组件,消息队列应用到具体的使用场景中,具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能。
沿用上例,第一应用集群将应用集群A作为目标子集群后,将调用应用集群A的业务敏感数据,向第一应用集群发送针对业务敏感数据的调用请求,中间件服务器在确定所述调用应用集群A的业务敏感数据请求为数据处理请求的情况下,根据所述处理请求确定应用集群A所对应的数据库,从应用集群A所对应的消息队列中调用应用集群A所需处理的业务处理数据并返回至客户端。
实际应用中,采用消息队列中间件可提供高可靠、高实时的异步消息通信服务,是交易链路的核心节点,不仅可提高数据处理效率,更能进一步的实现分布式系统的处理便捷性。
进一步的,所述中间件服务器包括文件存储中间件;
所述文件存储中间件,被配置为在确定所述第一目标数据的调用请求为数据存储请求的情况下,根据所述数据存储请求确定所述目标子集群对应的文件存储,从所述目标子集群对应的文件存储中调用所需存储的目标数据并返回至所述客户端。
沿用上例,第一应用集群将应用集群A作为目标子集群后,将调用应用集群A的业务敏感数据,向第一应用集群发送针对业务敏感数据的调用请求,中间件服务器在确定所述调用应用集群A的业务敏感数据请求为数据存储请求的情况下,根据所述存储请求确定应用集群A所对应的数据库,从应用集群A所对应的文件存储中调用应用集群A所需存储的业务处理数据并返回至客户端。
实际应用中,采用文件存储中间件,能够快速的获取到文件存储的资源,并大量减轻了文件存储压力。
进一步的,所述中间件服务器包括数据服务网关;
所述数据服务网关,被配置为在确定所述第一目标数据的调用请求为数据加工请求的情况下,根据所述数据加工请求确定所述目标子集群对应的数据仓库,从所述目标子集群对应的数据仓库中调用所需加工的目标数据并返回至所述客户端。
具体实施时,所述数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合后才能进入数据仓库,数据仓库的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是一致的全局信息。
沿用上例,第一应用集群将应用集群A作为目标子集群后,将调用应用集群A的业务敏感数据,向第一应用集群发送针对业务敏感数据的调用请求,中间件服务器在确定所述调用应用集群A的业务敏感数据请求为数据加工请求的情况下,根据所述加工请求确定应用集群A所对应的数据库,从应用集群A所对应的数据仓库中调用应用集群A所需加工的业务处理数据并返回至客户端。
实际应用中,数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询,采用数据服务网关从数据仓库中对所需数据进行加工处理,可提供数据集成和数仓构建能力,满足对数据加工的需求。
在上述实施例中,中间件服务器调取所需目标数据的方式不做限定,在上述实施例中,所述数据库、消息队列、文件存储、数据仓库即可为分别独立的服务器,也可为存储端,在中间件服务器调取所需的目标数据时,既可直接调取所需数据,也可将调用请求发送至数据库服务器节点、消息队列服务器节点、文件存储服务器节点、数据仓库服务器节点,所需调用的数据再通过所对应的节点返回至应用集群。
综上,本实施例中,每个应用集群都对应一组数据库、消息队列、文件存储、数据仓库等,通过一个中间件服务器可以根据客户端不同的调用数据请求,由一个中间件服务器中的不同的中间件从每个应用集群的数据库、消息队列、文件存储、数据仓库中完成对数据的调用,极大的提高了硬件设备的利用率,避免了资源的浪费。
下述结合附图2,以本说明书提供的数据调用方法的流程图,具体步骤包括步骤202至步骤206。
步骤202:第一应用集群接收待调用目标数据相关的特征信息,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据,并向所述第二应用集群发送针对所述第二目标数据的调用请求,以及向所述中间件服务器发送针对所述第一目标数据的调用请求。
进一步,所述特征信息包括:所述待调用目标数据的应用集群标识、所述待调用目标数据的属性信息、所述客户端信息;
具体实施时,待调用目标数据的应用集群标识来确定调用目标数据的应用集群;待调用目标数据的属性信息包括调用目标数据的名称、待调用目标数据的存储路径等关于调用目标数据的基础信息,在此不做具体的限定;客户端信息包括客户端标识信息。
根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据之前,还包括:
根据所述待调用目标数据的特征信息确定调用所述待调用目标数据的目标子集群。
具体实施时,根据待调用目标数据的应用集群标识确定待调用目标数据的应用集群。
相应的,所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据包括:
根据所述待调用目标数据的属性信息确定所述第一应用集群相对应的第一目标数据;以及
根据所述待调用目标数据的属性信息确定所述第二应用集群相对应的第二目标数据。
具体实施时,所述待调用目标数据的属性信息包括待调用目标数据的数据名称、数据类型等,根据待调用目标数据的数据类型,将待调用目标数据分为第一目标数据类型以及第二目标数据类型后,确定所述第一应用集群相对应的第一目标数据以及所述第二应用集群相对应的第二目标数据,其中,第一目标数据可为待调用目标数据的敏感信息,第二目标数据可为待调用目标数据的非敏感信息。
进一步,将调用目标数据的非敏感信息的调用请求发送至第二应用集群;将调用目标数据的敏感信息的调用请求发送至中间件服务器。
步骤204:所述第二应用集群基于所述第二目标数据的调用请求获取所述第二目标数据,并将所述第二目标数据返回至所述第一应用集群。
第二应用集群接收到由第一应用集群发送的调用第二目标数据调用请求之后,调用第二应用集群存储的第二目标数据,并将第二目标数据返回至第一应用集群。
步骤206:所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据,并将所述第一目标数据返回至所述第一应用集群。
进一步,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的数据库中间件在确定所述第一目标数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述目标子集群对应的数据库,从所述目标子集群对应的数据库中调用所需读取的目标数据并返回至所述客户端。
具体的,在中间件服务器接收到基于第一目标数据的调用请求后,根据针对第一目标数据的调用请求的不同调用数据类型,确定由与调用数据类型相匹配的中间件完成数据调用。
具体实施时,中间件服务器接收到针对第一目标数据读取请求的情况下,确定所述目标子集群对应的数据库,从所述目标子集群对应的数据库中调用所需读取的目标数据并返回至所述客户端。
进一步,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的消息队列中间件在确定所述第一目标数据的调用请求为数据处理请求的情况下,根据所述数据处理请求确定所述目标子集群对应的消息队列,从所述目标子集群对应的消息队列中调用所需处理的目标数据并返回至所述客户端。
具体实施时,中间件服务器接收到针对第一目标数据处理请求的情况下,确定所述目标子集群对应的消息队列,从所述目标子集群对应的消息队列中调用所需处理的目标数据并返回至所述客户端。
进一步,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的文件存储中间件在确定所述第一目标数据的调用请求为数据存储请求的情况下,根据所述数据存储请求确定所述目标子集群对应的文件存储,从所述目标子集群对应的文件存储中调用所需存储的目标数据并返回至所述客户端。
具体实施时,中间件服务器接收到针对第一目标数据存储请求的情况下,确定所述目标子集群对应的文件存储,从所述目标子集群对应的文件存储中调用所需存储的目标数据并返回至所述客户端。
进一步,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的数据服务网关在确定所述第一目标数据的调用请求为数据加工请求的情况下,根据所述数据加工请求确定所述目标子集群对应的数据仓库,从所述目标子集群对应的数据仓库中调用所需加工的目标数据并返回至所述客户端。
具体实施时,中间件服务器接收到针对第一目标数据加工请求的情况下,确定所述目标子集群对应的数据仓库,从所述目标子集群对应的数据仓库中调用所需加工的目标数据并返回至所述客户端。
综上,本实施例提供的数据调用系统,通过一个中间件服务器可实现对数据的调用,不仅可以提高硬件资源的利用率,还能够进一步提高后续对数据的应用处理。
上述为本实施例的一种数据调用方法的示意性方案。需要说明的是,该数据调用方法的技术方案与上述的数据调用系统的技术方案属于同一构思,数据调用方法的技术方案未详细描述的细节内容,均可以参见上述数据调用系统的技术方案的描述。
下述结合附图3,以本说明书提供的数据调用方法在审核风险业务数据的应用为例,对所述数据调用方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的第一种数据调用方法的处理过程流程图,具体步骤包括步骤302至步骤310。
步骤302:目标服务器接收由客户端发送的数据调用指令,所述数据调用指令中携带的所述待调用目标数据的特征信息。
具体的,所述目标服务器接收由客户端发送的待调用目标数据的调用指令,其中,所述数据调用指令中携带的所述待调用目标数据的特征信息。
具体实施时,以监管机构审核服务提供方A的风险业务数据为例,目标服务器接收由客户端发送的调用应用集群A的风险业务数据指令,对所述风险业务数据指令进行解析,获取待调用风险业务数据的特征信息。
步骤304:目标服务器将待调用目标数据的特征信息发送至第一应用集群。
具体的,目标服务器将待调用目标数据的特征信息发送至所述第一应用集群,其中,所述特征信息包括所述待调用目标数据的应用集群标识、待调用目标数据的属性信息、所述客户端信息。
进一步,第一应用集群基于所述待调用目标数据的特征信息确定调用所述待调用目标数据的目标子集群。
具体实施时,目标服务器将待调用风险业务数据的特征信息发送至所述第一应用集群,第一应用集群基于待调用风险业务数据的特征信息确定调用所述待调用风险业务数据的应用集群A。同时,应用集群A将客户端调用的应用集群A的风险业务数据进行分类,分为调用应用集群A的风险业务数据的敏感数据以及调用应用集群A的风险业务数据的非敏感数据,将敏感数据作为第一目标数据,非敏感数据作为第二目标数据。
步骤306:应用集群A基于待调用目标数据的特征信息发送调用第二目标数据请求至第二应用集群。
具体的,应用集群A根据待调用目标数据的属性信息,将待调用第二目标数据请求发送至应用集群C。
具体实施时,应用集群A根据待调用风险业务数据的属性信息,将调用风险业务数据中的非敏感数据请求发送至应用集群C。
步骤308:应用集群C向中间件服务器发送待调用第二目标数据请求。
步骤310:应用集群A基于待调用目标数据的特征信息向中间件服务器发送调用第一目标数据请求。
具体的,应用集群A根据待调用目标数据的属性信息,将待调用第一目标数据请求发送至中间件服务器。
具体实施时,应用集群A根据待调用风险业务数据的属性信息,将调用风险业务数据中的敏感数据请求发送至中间件服务器。
步骤312:中间件服务器基于调用第一目标数据请求调用待调用目标数据。
步骤314:中间件服务器基于调用第二目标数据请求调用待调用目标数据。
具体的,中间件服务器根据调用应用集群业务数据的属性信息中的调用数据名称信息,确定与其相匹配的中间件调用应用集群所对应的业务数据。
具体实施时,中间件服务器根据接收的调用风险业务数据中的敏感数据请求中的调用敏感数据的名称,确定由相对应的中间件调用应用集群A所对应的数据。
进一步,在确定所述调用风险业务数据中的敏感数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述应用集群A对应的数据库,从所述应用集群A对应的数据库中调用所需读取的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据处理请求的情况下,根据所述处理请求确定所述应用集群A对应的消息队列,从所述应用集群A对应的消息队列中调用所需处理的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据存储请求的情况下,根据所述存储请求确定所述应用集群A对应的文件存储,从所述应用集群A对应的文件存储中调用所需存储的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据加工请求的情况下,根据所述加工请求确定所述应用集群A对应的数据仓库,从所述应用集群A对应的数据仓库中调用所需加工的敏感数据并返回至所述客户端。
综上,本实施例中,每个应用集群都对应一组数据库、消息队列、文件存储、数据仓库等,通过一个中间件服务器可以根据客户端不同的调用数据请求,由一个中间件服务器中的不同的中间件从每个应用集群的数据库、消息队列、文件存储、数据仓库中完成对数据的调用,极大的提高了硬件设备的利用率,避免了资源的浪费。
下述结合附图4,以本说明书提供的数据调用方法在风险业务数据的应用为例,对所述数据调用方法进行进一步说明。其中,图4示出了本说明书一个实施例提供的第二种数据调用方法的处理过程流程图,具体步骤包括步骤402至步骤408。
步骤402:目标服务器接收由客户端发送的待调用目标数据指令。
具体实施时,以监管机构审核服务提供方A的风险业务数据为例,目标服务器接收由客户端发送的调用应用集群A的风险业务数据指令,对所述风险业务数据指令进行解析,获取待调用风险业务数据的特征信息。
步骤404:目标服务器将待调用目标数据的特征信息发送至第一应用集群。
进一步,第一应用集群基于所述待调用目标数据的特征信息确定调用所述待调用目标数据的目标子集群。
具体实施时,目标服务器将待调用风险业务数据的特征信息发送至所述第一应用集群,第一应用集群基于待调用风险业务数据的特征信息确定调用所述待调用风险业务数据的应用集群A。
步骤406:由应用集群A将调用第一目标数据请求发送至中间件服务器。
具体实施时,应用集群A根据待调用风险业务数据的属性信息,将调用风险业务数据中的敏感数据请求发送至中间件服务器。
步骤408:中间件服务器调用待调用目标数据。
具体实施时,中间件服务器根据接收的调用风险业务数据中的敏感数据请求中的调用敏感数据的名称,确定由相对应的中间件调用应用集群A所对应的数据,在确定所述调用风险业务数据中的敏感数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述应用集群A对应的数据库,从所述应用集群A对应的数据库中调用所需读取的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据处理请求的情况下,根据所述处理请求确定所述应用集群A对应的消息队列,从所述应用集群A对应的消息队列中调用所需处理的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据存储请求的情况下,根据所述存储请求确定所述应用集群A对应的文件存储,从所述应用集群A对应的文件存储中调用所需存储的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据加工请求的情况下,根据所述加工请求确定所述应用集群A对应的数据仓库,从所述应用集群A对应的数据仓库中调用所需加工的敏感数据并返回至所述客户端。
综上,本实施例中,每个应用集群都对应一组数据库、消息队列、文件存储、数据仓库等,通过一个中间件服务器可以根据客户端不同的调用数据请求,由一个中间件服务器中的不同的中间件从每个应用集群的数据库、消息队列、文件存储、数据仓库中完成对数据的调用,极大的提高了硬件设备的利用率,避免了资源的浪费。
下述结合附图5,以本说明书提供的数据调用方法在风险业务数据的应用为例,对所述数据调用方法进行进一步说明。其中,图5示出了本说明书一个实施例提供的第三种数据调用方法的处理过程流程图,具体步骤包括步骤502至步骤514。
步骤502:目标服务器接收由客户端发送的待调用目标数据指令。
具体实施时,以监管机构审核服务提供方A的风险业务数据为例,目标服务器接收由客户端发送的调用应用集群A的风险业务数据指令,对所述风险业务数据指令进行解析,获取待调用风险业务数据的特征信息。
步骤504:目标服务器发送待调用目标数据应用集群A的特征信息。
具体实施时,目标服务器将待调用风险业务数据的特征信息发送至所述第一应用集群,第一应用集群基于待调用风险业务数据的特征信息确定调用所述待调用风险业务数据的应用集群A。
步骤506:目标服务器发送待调用目标数据应用集群B的特征信息。
具体实施时,目标服务器将待调用风险业务数据的特征信息发送至所述第一应用集群,第一应用集群基于待调用风险业务数据的特征信息确定调用所述待调用风险业务数据的应用集群B。
步骤508:应用集群A向应用集群C发送调用第二目标数据的调用请求。
具体实施时,应用集群A根据待调用风险业务数据的属性信息,将调用风险业务数据中的非敏感数据请求发送至应用集群C。
步骤510:应用集群B向应用集群C发送调用第二目标数据的调用请求。
具体实施时,应用集群B根据待调用风险业务数据的属性信息,将调用风险业务数据中的非敏感数据请求发送至应用集群C。
步骤512:应用集群A向中间件服务器发送调用第一目标数据的调用请求。
具体实施时,应用集群A根据待调用风险业务数据的属性信息,将调用风险业务数据中的敏感数据请求发送至中间件服务器。
步骤514:应用集群B向中间件服务器发送调用第一目标数据的调用请求。
具体实施时,应用集群B根据待调用风险业务数据的属性信息,将调用风险业务数据中的敏感数据请求发送至中间件服务器。
步骤516:应用集群C向中间件服务器发送调用第二目标数据的调用请求。
步骤518:中间件服务器调用应用集群A的待调用目标数据。
步骤520:中间件服务器调用应用集群B的待调用目标数据。
所述中间件服务器在确定应用集群A调用风险业务数据中的敏感数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述应用集群A对应的数据库,从所述应用集群A对应的数据库中调用所需读取的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据处理请求的情况下,根据所述处理请求确定所述应用集群A对应的消息队列,从所述应用集群A对应的消息队列中调用所需处理的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据存储请求的情况下,根据所述存储请求确定所述应用集群A对应的文件存储,从所述应用集群A对应的文件存储中调用所需存储的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据加工请求的情况下,根据所述加工请求确定所述应用集群A对应的数据仓库,从所述应用集群A对应的数据仓库中调用所需加工的敏感数据并返回至所述客户端。
所述中间件服务器在确定应用集群B调用风险业务数据中的敏感数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述应用集群B对应的数据库,从所述应用集群B对应的数据库中调用所需读取的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据处理请求的情况下,根据所述处理请求确定所述应用集群B对应的消息队列,从所述应用集群B对应的消息队列中调用所需处理的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据存储请求的情况下,根据所述存储请求确定所述应用集群B对应的文件存储,从所述应用集群B对应的文件存储中调用所需存储的敏感数据并返回至所述客户端;在确定所述调用风险业务数据中的敏感数据的调用请求为数据加工请求的情况下,根据所述加工请求确定所述应用集群B对应的数据仓库,从所述应用集群B对应的数据仓库中调用所需加工的敏感数据并返回至所述客户端。
步骤522:中间件服务器调用应用集群C的待调用目标数据。
上述实施例中,应用集群A与应用集群B共用一个中间件服务器,同时为应用集群A与应用集群B调用目标数据,在实现分布式系统独立部署的前提下,能够通过一个中间件服务器完成对业务敏感数据以及非敏感数据的调用,不仅提高了硬件设备的资源,也为用户提高了服务质量。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种数据调用系统,所述系统包括:目标服务器、第一应用集群、第二应用集群和中间件服务器;
所述目标服务器,被配置为接收客户端发送的数据调用指令,并将所述数据调用指令中携带的待调用目标数据的特征信息发送至所述第一应用集群;
所述第一应用集群,被配置为接收所述待调用目标数据的特征信息,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据,并向所述第二应用集群发送针对所述第二目标数据的调用请求,以及向所述中间件服务器发送针对所述第一目标数据的调用请求,其中,所述特征信息包括所述待调用目标数据的应用集群标识、所述待调用目标数据的属性信息和所述客户端信息;
所述第二应用集群,被配置为基于所述第二目标数据的调用请求获取所述第二目标数据,并将所述第二目标数据返回至所述第一应用集群;
所述中间件服务器,被配置为基于所述第一目标数据的调用请求获取所述第一目标数据,并将所述第一目标数据返回至所述第一应用集群。
2.根据权利要求1所述的一种数据调用系统,所述第一应用集群,还被配置为基于所述待调用目标数据的特征信息确定调用所述待调用目标数据的目标子集群。
3.根据权利要求1所述的一种数据调用系统,所述第一应用集群包括至少两个子集群;
所述第二应用集群,还被配置为存储所述至少两个子集群的第二目标数据。
4.根据权利要求2所述的一种数据调用系统,所述中间件服务器包括数据库中间件;
所述数据库中间件,被配置为在确定所述第一目标数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述目标子集群对应的数据库,从所述目标子集群对应的数据库中调用所需读取的目标数据并返回至所述客户端。
5.根据权利要求2所述的一种数据调用系统,所述中间件服务器还包括消息队列中间件;
所述消息队列中间件,被配置为在确定所述第一目标数据的调用请求为数据处理请求的情况下,根据所述数据处理请求确定所述目标子集群对应的消息队列,从所述目标子集群对应的消息队列中调用所需处理的目标数据并返回至所述客户端。
6.根据权利要求2所述的一种数据调用系统,所述中间件服务器还包括文件存储中间件;
所述文件存储中间件,被配置为在确定所述第一目标数据的调用请求为数据存储请求的情况下,根据所述数据存储请求确定所述目标子集群对应的文件存储,从所述目标子集群对应的文件存储中调用所需存储的目标数据并返回至所述客户端。
7.根据权利要求2所述的一种数据调用系统,所述中间件服务器还包括数据服务网关;
所述数据服务网关,被配置为在确定所述第一目标数据的调用请求为数据加工请求的情况下,根据所述数据加工请求确定所述目标子集群对应的数据仓库,从所述目标子集群对应的数据仓库中调用所需加工的目标数据并返回至所述客户端。
8.一种数据调用方法,应用于目标服务器、第一应用集群、第二应用集群和中间件服务器,包括:
目标服务器接收客户端发送的数据调用指令,并将所述数据调用指令中携带的待调用目标数据的特征信息发送至所述第一应用集群;
第一应用集群接收所述待调用目标数据相关的特征信息,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据,并向所述第二应用集群发送针对所述第二目标数据的调用请求,以及向所述中间件服务器发送针对所述第一目标数据的调用请求,其中,所述特征信息包括所述待调用目标数据的应用集群标识、所述待调用目标数据的属性信息和所述客户端信息;
所述第二应用集群基于所述第二目标数据的调用请求获取所述第二目标数据,并将所述第二目标数据返回至所述第一应用集群;
所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据,并将所述第一目标数据返回至所述第一应用集群。
9.根据权利要求8所述的一种数据调用方法,所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据包括:
根据所述待调用目标数据的属性信息确定所述第一应用集群相对应的第一目标数据;以及
根据所述待调用目标数据的属性信息确定所述第二应用集群相对应的第二目标数据。
10.根据权利要求8所述的一种数据调用方法,根据所述特征信息确定所述待调用目标数据的第一目标数据以及第二目标数据之前,还包括:
根据所述待调用目标数据的特征信息确定调用所述待调用目标数据的目标子集群。
11.根据权利要求10所述的一种数据调用方法,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的数据库中间件在确定所述第一目标数据的调用请求为数据读取请求的情况下,根据所述读取请求确定所述目标子集群对应的数据库,从所述目标子集群对应的数据库中调用所需读取的目标数据并返回至所述客户端。
12.根据权利要求10所述的一种数据调用方法,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的消息队列中间件在确定所述第一目标数据的调用请求为数据处理请求的情况下,根据所述数据处理请求确定所述目标子集群对应的消息队列,从所述目标子集群对应的消息队列中调用所需处理的目标数据并返回至所述客户端。
13.根据权利要求10所述的一种数据调用方法,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的文件存储中间件在确定所述第一目标数据的调用请求为数据存储请求的情况下,根据所述数据存储请求确定所述目标子集群对应的文件存储,从所述目标子集群对应的文件存储中调用所需存储的目标数据并返回至所述客户端。
14.根据权利要求10所述的一种数据调用方法,所述中间件服务器基于所述第一目标数据的调用请求获取所述第一目标数据包括:
所述中间件服务器中的数据服务网关在确定所述第一目标数据的调用请求为数据加工请求的情况下,根据所述数据加工请求确定所述目标子集群对应的数据仓库,从所述目标子集群对应的数据仓库中调用所需加工的目标数据并返回至所述客户端。
CN202010842072.6A 2020-08-20 2020-08-20 数据调用系统以及方法 Active CN111782428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010842072.6A CN111782428B (zh) 2020-08-20 2020-08-20 数据调用系统以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010842072.6A CN111782428B (zh) 2020-08-20 2020-08-20 数据调用系统以及方法

Publications (2)

Publication Number Publication Date
CN111782428A CN111782428A (zh) 2020-10-16
CN111782428B true CN111782428B (zh) 2024-04-16

Family

ID=72763062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010842072.6A Active CN111782428B (zh) 2020-08-20 2020-08-20 数据调用系统以及方法

Country Status (1)

Country Link
CN (1) CN111782428B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766430A (zh) * 2022-11-21 2023-03-07 中电云数智科技有限公司 一种基于已孵化中间件实例部署集群服务的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878473A (zh) * 2017-04-20 2017-06-20 腾讯科技(深圳)有限公司 一种消息处理方法、服务器集群及系统
US10133797B1 (en) * 2013-08-16 2018-11-20 Amazon Technologies, Inc. Distributed heterogeneous system for data warehouse management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133797B1 (en) * 2013-08-16 2018-11-20 Amazon Technologies, Inc. Distributed heterogeneous system for data warehouse management
CN106878473A (zh) * 2017-04-20 2017-06-20 腾讯科技(深圳)有限公司 一种消息处理方法、服务器集群及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A PSO clustering based RFID middleware;Yu Lili;IEEE;20180614;全文 *
基于集群节点间即时拷贝的会话同步技术研究;曹海涛;胡牧;蒋厚明;;计算机系统应用;20170315(第03期);全文 *

Also Published As

Publication number Publication date
CN111782428A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US10560465B2 (en) Real time anomaly detection for data streams
CN109936571B (zh) 一种海量数据共享方法、开放共享平台及电子设备
US11775501B2 (en) Trace and span sampling and analysis for instrumented software
US11394794B2 (en) Fast ingestion of records in a database using data locality and queuing
US7818752B2 (en) Interface for application components
CN111309550A (zh) 应用程序的数据采集方法、系统、设备和存储介质
CN107103011B (zh) 终端数据搜索的实现方法和装置
CN103248677B (zh) 互联网行为分析系统及其工作方法
CN113839977A (zh) 消息推送方法、装置、计算机设备及存储介质
CN111786984A (zh) Pod通信连接方法、装置及电子设备、存储介质
CN117271460B (zh) 基于科研数字对象语用关系的科研数联网服务方法与系统
CN112732663A (zh) 一种日志信息处理方法及装置
CN110688201B (zh) 一种日志管理方法及相关设备
CN115185997A (zh) 一种主机信息处理方法、装置、电子设备及存储介质
CN111782428B (zh) 数据调用系统以及方法
CN116204239A (zh) 业务处理方法、装置和计算机可读存储介质
CN114765599B (zh) 子域名采集方法、装置
CN112000618B (zh) 集群节点的文件变动管理方法、装置、设备及存储介质
CN111881174A (zh) 一种提供分布式nlp能力服务的装置及方法
US9805373B1 (en) Expertise services platform
CN117632445B (zh) 请求处理方法以及装置、任务执行方法以及装置
CN114844957B (zh) 链路报文转换方法、装置、设备、存储介质和程序产品
CN114860826B (zh) 数据同步方法和装置
US12132804B2 (en) Runtime module conversion
US20230247111A1 (en) Runtime module conversion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant