CN113329043A - 一种数据服务提供方法及装置 - Google Patents
一种数据服务提供方法及装置 Download PDFInfo
- Publication number
- CN113329043A CN113329043A CN202010127246.0A CN202010127246A CN113329043A CN 113329043 A CN113329043 A CN 113329043A CN 202010127246 A CN202010127246 A CN 202010127246A CN 113329043 A CN113329043 A CN 113329043A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- data service
- information
- application party
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 120
- 230000004044 response Effects 0.000 claims abstract description 64
- 238000003860 storage Methods 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 12
- 230000032683 aging Effects 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 abstract description 14
- 238000009826 distribution Methods 0.000 abstract description 11
- 238000011161 development Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了数据服务提供方法及装置,采用服务需求信息自动识别及数据服务自动配置的方式,预先基于各数据服务应用方的业务需求信息为其配置相应的数据服务,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
Description
技术领域
本发明涉及大数据处理技术领域,尤其涉及一种数据服务提供方法及装置。
背景技术
目前,随着大数据时代的到来,数据服务的应用场景越来越多,如,实时场景、推荐场景、事件场景、用户偏好挖掘、个性化推荐等,因而,数据服务的需求越来越多样化,并且需要针对不同的应用场景需要配置相应的数据服务。
当前,针对数据服务开发的过程,主要以系统、平台、应用间的单一应用场景为开发对象,需要技术人员深入了解服务设计环节,针对每个应用场景由人工分别进行数据服务配置,其中,由于应用场景的多样性和多变性,需要不断针对新的应用场景重新开发新的数据服务;以及,针对数据服务提供的过程,同一数据可能需要服务于不同的应用场景,但不同应用场景对数据处理和数据响应的速度要求不同,因而需要为其开发多个数据服务。
由此可知,现有的数据服务配置过程存在人工开发成本低、数据服务开发难度大的问题,以及在数据服务提供过程中存在数据处理和数据响应的不匹配性,导致数据服务稳定性差。
发明内容
本发明实施例的目的是提供一种数据服务提供方法及装置,以降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及解决后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
为了解决上述技术问题,本发明实施例是这样实现的:
第一方面,本发明实施例提供了一种数据服务提供方法,包括:
接收数据服务应用方的数据服务调用请求,其中,所述数据服务调用请求携带有目标业务数据的标识信息;
在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务,其中,所述多个数据服务是预设服务配置中心基于各所述数据服务应用方的业务需求信息自动配置得到的;
利用预设数据服务执行引擎执行所述目标数据服务,从预先为所述数据服务应用方所匹配的前端数据库中读取所述目标业务数据,其中,所述前端数据库中缓存的业务数据是在预设任务调度中心触发下将后端数据库中的数据同步至所述前端数据库得到的;
将读取出的所述目标业务数据返回至所述数据服务应用方,以使所述数据服务应用方基于所述目标业务数据响应客户端的业务请求。
第二方面,本发明实施例提供了一种数据服务提供装置,包括:
服务调用请求接收模块,用于接收数据服务应用方的数据服务调用请求,其中,所述数据服务调用请求携带有目标业务数据的标识信息;
数据服务确定模块,用于在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务,其中,所述多个数据服务是预设服务配置中心基于各所述数据服务应用方的业务需求信息自动配置得到的;
数据服务执行模块,用于利用预设数据服务执行引擎执行所述目标数据服务,从预先为所述数据服务应用方所匹配的前端数据库中读取所述目标业务数据,其中,所述前端数据库中缓存的业务数据是在预设任务调度中心触发下将后端数据库中的数据同步至所述前端数据库得到的;
数据服务提供模块,用于将读取出的所述目标业务数据返回至所述数据服务应用方,以使所述数据服务应用方基于所述目标业务数据响应客户端的业务请求。
第三方面,本发明实施例提供了一种计算机设备,包括处理器、通信接口、存储器和通信总线;其中,所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,实现如第一方面所述的数据服务提供方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现如第一方面所述的数据服务提供方法的步骤。
本发明实施例中的数据服务提供方法及装置,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据服务提供系统的应用场景示意图;
图2为本发明实施例提供的数据服务提供方法的第一种流程示意图;
图3为本发明实施例提供的数据服务提供方法的第二种流程示意图;
图4为本发明实施例提供的数据服务提供方法中确定数据服务的任务调度信息的具体实现原理示意图;
图5为本发明实施例提供的数据服务提供方法的具体实现原理示意图;
图6为本发明实施例提供的数据服务提供装置的模块组成示意图;
图7为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明实施例提供了一种数据服务提供方法及装置,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
图1为本发明实施例提供的数据服务提供系统的应用场景示意图,如图1所示,该系统包括:服务管理终端、数据服务应用方和数据服务提供装置,其中,所述数据服务提供装置包括:数据服务配置中心、数据服务执行引擎、任务调度中心和数据缓存中心。其中,该服务管理终端可以是用于输入待数据服务配置的数据服务应用方的业务需求信息的终端设备,该数据服务应用方可以是用于向客户端提供数据访问服务的网站应用,该数据服务提供装置可以是用于自动为数据服务应用方配置数据服务并响应数据服务应用方的数据服务调用请求的后台服务器,该后台服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。其中,数据服务配置中心可以具有数据服务分类、数据服务配置、数据服务测试、数据服务配置中的至少一项业务功能,任务调度中心可以具有实时、定时、周期、触发、循环、依赖、排斥、并发中的至少一项任务调度功能,数据服务执行引擎具有高并发、速度快、支持海量数据等数据服务功能,数据缓存中心用于提供多种类型特性的存储介质,该存储介质作为数据载体用于缓存具有不同业务需要的数据服应用方的处理后的业务数据,从而满足不同的数据存储需求,例如,存储介质可以包括:Oracle、hive、TimesTen等。另外,上述数据服务提供装置还可以包括:数据服务监控中心和微服务网关,该数据服务监控中心用于实时监控数据服务执行情况和调用请求,以确保稳定、安全、可靠地为数据服务应用方提供相应的数据服务,该微服务网关用于采用微服务架构对数据服务应用方的数据服务调用请求进行控制,该微服务网关可以具有服务注册、申请、授权、访问、熔断、流量控制中的至少一项访问控制功能。
具体的,上述数据服务提供的具体过程为:
(1)服务管理终端,向数据服务提供装置发送待数据服务配置的数据服务应用方的业务需求信息;
(2)数据服务配置中心,根据获取到的数据服务应用方的业务需求信息,生成相应的数据服务,以及确定该数据服务的任务调度信息;其中,该任务调度信息包括:数据同步策略、数据处理策略、数据缓存策略、数据服务策略、数据服务调度策略中至少一项;
(3)数据服务配置中心,将生成的数据服务发布至数据服务执行引擎,以及,将确定出的任务调度信息发布至任务调度中心;
(4)任务调度中心,基于获取到的任务调度信息,对数据服务执行引擎执行相应的任务调度;具体的,任务调度中心控制并调派任务,触发数据服务执行引擎对后端数据库中数据服务应用方所需的数据进行相应的数据处理得到处理后的业务数据,以及将处理后的业务数据由后端数据库缓存至数据缓存中心。
(5)数据服务执行引擎,在任务调度中心的触发下,按照上述数据处理策略,对后端数据库中的数据进行相应的数据处理,得到处理后的业务数据;以及,
按照上述数据缓存策略,确定与数据服务应用方匹配的前端数据库,具体的,基于数据缓存策略确定用于存储处理后的业务数据的目标存储介质类型,将具有该目标存储介质类型的存储介质对应的数据库确定为与数据服务应用方匹配的前端数据库;以及,
按照上述数据同步策略,将处理后的业务数据从后端数据库同步至为数据服务应用方匹配的前端数据库,具体的,将处理后的业务数据缓存至数据缓存中心中具有目标存储介质类型的存储介质中;
具体的,数据服务执行引擎利用差速缓存自适应技术,在任务调度中心的控制并调派下,对数据服务应用方所需的数据进行相应的数据处理得到处理后的业务数据,以及将处理后的业务数据由后端数据库缓存至数据缓存中心,解决了数据处理与服务响应的速度差异、数据架构差异,实现跨数据架构同步的多向数据分发功能。
(6)数据服务执行引擎,在任务调度中心的触发下,按照上述数据服务策略,基于数据服务应用方的数据服务调用请求,从对应的前端数据库中获取目标业务数据并将该目标业务数据返回至数据服务应用方。
具体的,通过基于数据服务应用方的业务需求信息,自动识别数据服务应用方所需数据所在的后端数据库的类型信息和数据处理方式、以及自动确定所需的前端数据库的类型,来实现对不同后端数据库自动识别、以及实现为各数据服务应用方有针对性地进行不同前端数据库的选型,从而实现后端数据库与前端数据库之间的自动匹配;再基于自动确定出的数据服务应用方所需数据所在的后端数据库的类型信息和数据处理方式、以及自动确定所需的前端数据库的类型,确定数据服务应用方对应的数据服务的数据同步策略、数据处理策略、数据缓存策略、数据服务策略、数据服务调度策略中至少一项,实现跨数据架构同步的多向数据分发功能,将后端数据库中的数据同步至预先适配的前端数据库中,这样能够解决后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
在上述数据服务提供的过程中,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
图2为本发明实施例提供的数据服务提供方法的第一种流程示意图,图2中的方法能够由图1中的数据服务提供装置执行,如图2所示,该方法至少包括以下步骤:
S201,接收数据服务应用方的数据服务调用请求,其中,该数据服务调用请求携带有目标业务数据的标识信息;
具体的,数据服务应用方在接收到客户端的访问请求后,可以向数据服务提供装置调用相应的数据服务,以触发数据服务提供装置执行相应的数据服务,并为数据服务应用方返回所需的目标业务数据;
其中,数据服务提供装置还可以包括:服务网关,利用该服务网关接收数据服务应用方的数据服务调用请求。
S202,在预先配置的多个数据服务中,确定与数据服务应用方对应的目标数据服务,其中,该多个数据服务是预设服务配置中心基于各数据服务应用方的业务需求信息自动配置得到的;
具体的,在接收到数据服务应用方的数据服务调用请求后,先判断是否预先为该数据服务应用方配置相应的数据服务,若是,则将确定与数据服务应用方对应的目标数据服务;
其中,为了进一步提高数据服务提供的灵活性,还可以根据数据服务应用方的实际需求,预先为其配置多个数据服务,上述数据服务调用请求还携带有数据服务标识,对应的,将与该数据服务标识对应的数据服务确定为目标数据服务。
S203,利用预设数据服务执行引擎执行目标数据服务,从预先为数据服务应用方所匹配的前端数据库中读取目标业务数据,其中,该前端数据库中缓存的业务数据是在预设任务调度中心触发下将后端数据库中的数据同步至前端数据库得到的;
具体的,上述数据缓存中心可以具有多种类型存储介质的前端数据库,针对每个数据服务应用方匹配前端数据库的过程即为针对每个数据服务应用方匹配相应的存储介质,并将数据服务应用方所需的业务数据缓存至为其匹配的存储介质,这样能够有效屏蔽后端数据库的数据处理与服务响应的速度差异,以便快速并稳定地向数据服务应用方反馈目标业务数据,从而实现自动为数据服务应用方进行多向差速适配相应的数据服务。
S204,将读取出的目标业务数据返回至数据服务应用方,以使该数据服务应用方基于目标业务数据响应客户端的业务请求。
本发明提供的实施例中,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
其中,如图3所示,在上述S201,接收数据服务应用方的数据服务调用请求之前,还包括:
S205,获取待数据服务配置的各数据服务应用方分别对应的业务需求信息;
具体的,数据服务配置中心接收服务管理终端发送的数据服务应用方的业务需求信息,其中,该业务需求信息可以包括:数据处理周期、业务数据需求限定、服务响应时效信息和数据反馈规模信息中至少一项;
S206,针对每个数据服务应用方,基于该数据服务应用方的业务需求信息,生成为其配置的数据服务,并将该数据服务发布至预设数据服务执行引擎;
S207,针对每个数据服务应用方,基于该数据服务应用方的业务需求信息,确定生成的数据服务的任务调度信息,并将该任务调度信息发布至预设任务调度中心,其中,该任务调度信息包括:数据同步策略、数据处理策略、数据缓存策略、数据服务策略中至少一项。
具体的,数据服务配置中心自动解析业务需求信息,自动配置数据服务以及相应的数据服务策略,从而实现提高数据服务的配置效率,降低数据服务的配置成本。
其中,在上述S207,针对每个数据服务应用方,基于该数据服务应用方的业务需求信息,确定生成的数据服务的任务调度信息,并将该任务调度信息发布至预设任务调度中心之后,还包括:
步骤一,在预设任务调度中心触发下,按照上述任务调度信息中的数据处理策略,对后端数据库中的数据进行相应的数据处理,得到处理后的业务数据;
其中,数据服务执行引擎可以包括配置解析模块,该配置解析模块可以用于对原始业务数据进行输入解析、输出解析、排序解析、维度翻译、关系解析、别名解析、条件解析、分组解析中至少一项解析处理;
步骤二,按照上述任务调度信息中的数据缓存策略,确定与数据服务应用方匹配的前端数据库;
具体的,数据服务执行引擎调用数据服务,并基于数据缓存策略确定用于存储处理后的业务数据的目标存储介质类型,将具有该目标存储介质类型的存储介质对应的数据库确定为与数据服务应用方匹配的前端数据库;
步骤三,按照上述任务调度信息中的数据同步策略,将处理后的业务数据从后端数据库同步至为数据服务应用方所匹配的前端数据库;
具体的,数据服务执行引擎调用数据服务,并按照相应的数据同步策略,将后端数据库中的业务数据同步至为数据服务应用方所匹配的前端数据库;
具体的,通过增加数据缓存机制,将后端数据库中的业务数据缓存至相应的存储介质中,直接从该存储介质中读取业务数据并反馈给数据服务应用方,有效屏蔽后端数据库的数据处理与服务响应的速度差异,无需针对同一业务数据开发多个数据服务,从而不仅提高数据服务的稳定性和适应性,还降低了数据服务的开发成本。
对应的,上述S204,将读取出的目标业务数据返回至数据服务应用方,具体包括:
在预设任务调度中心触发下,按照上述任务调度信息中的数据服务策略,将读取出的目标业务数据返回至数据服务应用方。
其中,考虑到数据缓存中心可以具有多种类型存储介质的前端数据库,因此,数据服务执行引擎针对不同的数据服务应用方所读取的目标业务数据来自于多种类型的存储介质,对应的,数据服务执行引擎还可以包括语法适配模块,该语法适配模块可以用于对缓存至前端数据库中的业务数据进行语法适配;
具体的,数据服务执行引擎调用数据服务,并按照相应的数据服务策略,向数据服务应用方反馈相应的目标业务数据。
其中,针对数据服务的任务调度信息的生成过程,上述业务需求信息包括:数据处理周期、业务数据需求限定、服务响应时效信息和数据反馈规模信息;
对应的,上述S207,针对每个数据服务应用方,基于该数据服务应用方的业务需求信息,确定生成的数据服务的任务调度信息,具体包括:
步骤一,根据上述数据处理周期、业务数据需求限定和服务响应时效信息,确定针对数据服务应用方所生成的数据服务的数据同步策略;
步骤二,根据上述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定针对数据服务应用方所生成的数据服务的数据缓存策略;其中,该数据缓存策略可以包括:不缓存、高速缓存、大数据量缓存、数据累积缓存中至少一项数据缓存方式;
步骤三,根据上述数据处理周期、业务数据需求限定和服务响应时效信息,确定针对数据服务应用方所生成的数据服务的数据处理策略;其中,该数据处理策略可以包括:事务处理、常规处理、实时处理、海量处理中至少一项数据处理类型;
步骤四,根据上述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定针对数据服务应用方所生成的数据服务的数据服务策略;其中,该数据服务策略可以包括:同步响应、异步响应、触发响应、定时推送中至少一项数据反馈类型。
具体的,针对数据同步策略的确定过程,上述步骤一,根据上述数据处理周期、业务数据需求限定和服务响应时效信息,确定针对数据服务应用方所生成的数据服务的数据同步策略,具体包括:
步骤a1,根据上述数据处理周期和业务数据需求限定,确定数据服务应用方所需数据所在的后端数据库的属性信息;
步骤a2,根据上述业务数据需求限定、服务响应时效信息和后端数据库的属性信息,确定后端数据库所需的数据处理方式;
步骤a3,根据上述后端数据库的属性信息和后端数据库所需的数据处理方式,确定针对数据服务应用方所生成的数据服务的数据同步策略。
具体的,针对数据缓存策略的确定过程,上述步骤二,根据上述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定针对数据服务应用方所生成的数据服务的数据缓存策略,具体包括:
步骤b1,根据上述业务数据需求限定、服务响应时效信息,确定后端数据库所需的数据处理方式;
步骤b2,根据上述数据反馈规模信息和后端数据库所需的数据处理方式,确定数据服务应用方的数据反馈类型;
步骤b3,根据上述后端数据库所需的数据处理方式和数据服务应用方的数据反馈类型,确定针对数据服务应用方所生成的数据服务的数据缓存策略。
具体的,针对数据处理策略的确定过程,上述步骤三,根据上述数据处理周期、业务数据需求限定和服务响应时效信息,确定针对数据服务应用方所生成的数据服务的数据处理策略,具体包括:
步骤c1,根据上述业务数据需求限定、服务响应时效信息和后端数据库的属性信息,确定后端数据库所需的数据处理方式;其中,该后端数据库的属性信息是根据上述数据处理周期和业务数据需求限定所确定的;
步骤c2,根据上述后端数据库所需的数据处理方式,确定针对数据服务应用方所生成的数据服务的数据处理策略。
具体的,针对数据服务策略的确定过程,上述步骤四,根据上述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定针对数据服务应用方所生成的数据服务的数据服务策略,具体包括:
步骤d1,根据上述数据反馈规模信息和后端数据库所需的数据处理方式,确定数据服务应用方的数据反馈类型;其中,该后端数据库所需的数据处理方式是根据上述业务数据需求限定和服务响应时效信息所确定的;
步骤d2,根据上述数据服务应用方的数据反馈类型,确定针对数据服务应用方所生成的数据服务的数据服务策略。
在一个具体的实施例中,数据服务的任务调度信息可以包括:数据同步策略、数据处理策略、数据缓存策略、数据服务策略,具体的,如图4所示,给出了确定数据服务的任务调度信息的具体实现原理示意图,具体为:
其中,上述业务需求信息包括:数据处理周期、业务数据需求限定、服务响应时效信息和数据反馈规模信息;该数据处理周期用于表征参与数据处理的业务数据的处理时间间隔,例如,实时、1小时内、当天、近三个月、全年等;该业务数据需求限定用于表征业务对象和业务目标;该服务响应时效信息用于表征数据服务响应的期待速度,例如,实时、分钟级、同步、异步、触发式、推送式等;该数据反馈规模信息用于表征数据服务输入或输出的数据量。
具体的,(1)根据业务数据需求限定,确定数据服务应用方对应的后端数据库中的数据的位置信息和后端数据库的类型信息,即确定数据服务应用方所需数据所在的后端数据库的属性信息,其中,该位置信息包括:后端数据库中的数据涉及到的数据库标识和字段标识,该类型信息包括:关系数据库或非关系数据库,例如,oracle、db2、mysql、hive、hbase、MPP等,其中,该类型信息用于表征后端数据库的数据库类型;
(2)根据业务数据需求限定、服务响应时效信息和后端数据库的类型信息,确定后端数据库所需的数据处理方式和数据架构,其中,该数据处理方式包括:事务处理、批量处理、数据流处理,实时数据处理、海量数据处理、简单数据处理、复杂数据处理中至少一项;
(3)根据数据处理周期,确定后端数据库中的数据的数据量规模、后端数据库所需的数据处理方式和数据存储要求;其中,该后端数据库中的数据的数据量规模包括:M级、G级、T级、P级中至少一种,例如,后端数据库中的数据的数据量规模为T级,数据处理方式为海量数据处理;
(4)根据后端数据库的类型信息和后端数据库所需的数据处理方式,结合预设数据处理规则和数据处理周期,生成数据同步策略;其中,该同步策略可以包括:源数据库结构、目标数据库结构、数据读取方式、数据同步范围、数据同步周期、数据同步条件、数据转换逻辑中至少一项;
(5)根据后端数据库所需的数据处理方式,生成数据处理策略;其中,该数据处理策略可以包括:数据转换逻辑、结果数据结构、数据处理类型、数据处理时效、异常数据处理、二次缓存处理中至少一项;
(6)根据数据反馈规模信息和后端数据库所需的数据处理方式,确定数据反馈类型;其中,该数据反馈类型包括:1:1反馈、1:N(<100)抽样反馈、全量(海量)反馈、实时反馈;事件反馈、多次反馈、异步反馈中至少一项,由于直接从前端数据库中读取数据反馈给数据服务应用方,因此,前端数据库的存储介质的类型与数据反馈类型有关,具体的,可以基于该数据反馈类型确定数据缓存策略,再基于该数据缓存策略为数据服务应用方匹配所需的前端数据库;
(7)根据上述数据处理方式和数据反馈类型,确定数据缓存策略;其中,该数据缓存策略包括:缓存类型(如,不缓存、高速缓存、海量缓存、累积缓存等)、缓存介质、缓存空间、缓存周期、更新方式、落地缓存备份中至少一项;
(8)根据上述数据反馈类型,确定数据服务策略;其中,该数据服务策略包括:结果数据结构、数据反馈方式(如,同步、异步、推送、订阅等)、安全控制、数据备份、异常反馈机制中至少一项。
其中,针对数据服务调用请求的接收过程,上述S201,接收数据服务应用方的数据服务调用请求,具体包括:
利用预设微服务网关接收数据服务应用方的数据服务调用请求,以使该预设微服务网关采用预设服务鉴权方式响应该数据服务调用请求;
具体的,在预先配置的数据服务生效后,数据服务应用方可以向数据服务提供装置请求对该数据服务进行调用;
对应的,上述S202,在预先配置的多个数据服务中,确定与数据服务应用方对应的目标数据服务,具体包括:
在数据服务应用方具有数据服务调用权限时,在预先配置的多个数据服务中,确定与数据服务应用方对应的目标数据服务。
在一个具体的实施例中,如图5所示,给出了数据服务提供的具体实现原理示意图,具体为:
(1)服务管理终端获取待数据服务配置的数据服务应用方的业务需求信息,并将该业务需求信息发送至数据服务配置中心;
(2)数据服务配置中心根据获取到的数据服务应用方的业务需求信息,生成相应的数据服务,以及确定该数据服务的任务调度信息,以及数据服务的元数据;其中,该任务调度信息包括:数据同步策略、数据处理策略、数据缓存策略、数据服务策略、数据服务调度策略中至少一项,该元数据用于数据服务的生成周期管控;
(3)数据服务配置中心将生成的数据服务发布至微服务网关,并纳入数据服务执行引擎的可执行范围,以及,将确定出的任务调度信息发布至任务调度中心;
(4)任务调度中心基于获取到的任务调度信息,对数据服务执行引擎执行相应的任务调度;其中,该任务调度可以包括:后端数据库中的数据采集任务调度、数据同步任务调度、数据处理任务调度、数据结果缓存任务调度、数据文件生成任务调度、数据推送任务调度、执行条件触发任务调度中至少一项;
(5)微服务网关接收数据服务应用方的数据服务调用请求,并采用预设服务鉴权方式响应该数据服务调用请求;
(6)微服务网关在确定数据服务应用方具有数据服务调用权限时,触发数据服务执行引擎调用相应的数据服务;
(7)数据服务执行引擎在任务调度中心的触发下,按照上述数据处理策略,对后端数据库中的数据进行相应的数据处理,得到处理后的业务数据;以及,
(8)数据服务执行引擎在任务调度中心的触发下,按照上述数据缓存策略,确定与数据服务应用方匹配的前端数据库;
(9)数据服务执行引擎在任务调度中心的触发下,按照上述数据同步策略,将处理后的业务数据从后端数据库缓存至与数据服务应用方匹配的前端数据库,其中,该前端数据库包括:数据缓存中心中的任一类型的存储介质,例如,该存储介质可以包括:Oracle、hive、TimesTen等;
(10)数据服务执行引擎在任务调度中心的触发下,按照上述数据服务策略,基于数据服务应用方的数据服务调用请求,从对应的前端数据库中获取目标业务数据并将该目标业务数据返回至数据服务应用方。
本发明实施例中的数据服务提供方法,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
对应上述实施例提供的数据服务提供方法,基于相同的技术构思,本发明实施例还提供了一种数据服务提供装置,图6为本发明实施例提供的数据服务提供装置的模块组成示意图,该数据服务提供装置用于执行图1至图5描述的数据服务提供方法,如图6所示,该数据服务提供装置包括:
服务调用请求接收模块601,用于接收数据服务应用方的数据服务调用请求,其中,所述数据服务调用请求携带有目标业务数据的标识信息;
数据服务确定模块602,用于在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务,其中,所述多个数据服务是预设服务配置中心基于各所述数据服务应用方的业务需求信息自动配置得到的;
数据服务执行模块603,用于利用预设数据服务执行引擎执行所述目标数据服务,从预先为所述数据服务应用方所匹配的前端数据库中读取所述目标业务数据,其中,所述前端数据库中缓存的业务数据是在预设任务调度中心触发下将后端数据库中的数据同步至所述前端数据库得到的;
数据服务提供模块604,用于将读取出的所述目标业务数据返回至所述数据服务应用方,以使所述数据服务应用方基于所述目标业务数据响应客户端的业务请求。
本发明实施例中,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
可选地,上述装置还包括:数据服务配置模块,用于:
获取待数据服务配置的各数据服务应用方分别对应的业务需求信息;
针对每个所述数据服务应用方,基于该数据服务应用方的所述业务需求信息,生成为其配置的数据服务,并将所述数据服务发布至预设数据服务执行引擎;以及,
基于该数据服务应用方的所述业务需求信息,确定所述数据服务的任务调度信息,并将所述任务调度信息发布至预设任务调度中心,其中,所述任务调度信息包括:数据同步策略、数据处理策略、数据缓存策略、数据服务策略中至少一项。
可选地,上述数据服务配置模块,还用于:
在所述预设任务调度中心触发下,按照所述任务调度信息中的数据处理策略,对所述后端数据库中的数据进行相应的数据处理,得到处理后的业务数据;以及,
按照所述任务调度信息中的数据缓存策略,确定与所述数据服务应用方匹配的前端数据库;以及,
按照所述任务调度信息中的数据同步策略,将所述处理后的业务数据从后端数据库同步至为所述数据服务应用方所匹配的前端数据库;
对应的,上述数据服务提供模块604,具体用于:
按照所述任务调度信息中的数据服务策略,将读取出的所述目标业务数据返回至所述数据服务应用方。
可选地,所述业务需求信息包括:数据处理周期、业务数据需求限定、服务响应时效信息和数据反馈规模信息;
对应的,上述数据服务配置模块,具体用于:
根据所述数据处理周期、业务数据需求限定和服务响应时效信息,确定所述数据服务的数据同步策略;
根据所述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定所述数据服务的数据缓存策略;
根据所述数据处理周期、业务数据需求限定和服务响应时效信息,确定所述数据服务的数据处理策略;
根据所述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定所述数据服务的数据服务策略。
可选地,上述数据服务配置模块,进一步具体用于:
根据所述数据处理周期和所述业务数据需求限定,确定所述数据服务应用方所需数据所在的后端数据库的属性信息;
根据所述业务数据需求限定、所述服务响应时效信息和所述后端数据库的属性信息,确定后端数据库所需的数据处理方式;
根据所述后端数据库的属性信息和所述后端数据库所需的数据处理方式,确定所述数据服务的数据同步策略。
可选地,上述数据服务配置模块,进一步具体用于:
根据所述业务数据需求限定、所述服务响应时效信息,确定后端数据库所需的数据处理方式;
根据所述数据反馈规模信息和所述后端数据库所需的数据处理方式,确定所述数据服务应用方的数据反馈类型;
根据所述后端数据库所需的数据处理方式和所述数据服务应用方的数据反馈类型,确定所述数据服务的数据缓存策略。
可选地,上述服务调用请求接收模块601,具体用于:
利用预设微服务网关接收数据服务应用方的数据服务调用请求,以使该预设微服务网关采用预设服务鉴权方式响应所述数据服务调用请求;
对应的,上述数据服务确定模块602,具体用于:
在所述数据服务应用方具有数据服务调用权限时,在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务。
本发明实施例中的数据服务提供装置,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
本发明实施例提供的数据服务提供装置能够实现上述数据服务提供方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本发明实施例提供的数据服务提供装置与本发明实施例提供的数据服务提供方法基于同一发明构思,因此该实施例的具体实施可以参见前述数据服务提供方法的实施,重复之处不再赘述。
对应上述实施例提供的数据服务提供方法,基于相同的技术构思,本发明实施例还提供了一种计算机设备,该设备用于执行上述的数据服务提供方法,图7为实现本发明各个实施例的一种计算机设备的结构示意图,如图7所示。计算机设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器701和存储器702,存储器702中可以存储有一个或一个以上存储应用程序或数据。其中,存储器702可以是短暂存储或持久存储。存储在存储器702的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对计算机设备中的一系列计算机可执行指令。更进一步地,处理器701可以设置为与存储器702通信,在计算机设备上执行存储器702中的一系列计算机可执行指令。计算机设备还可以包括一个或一个以上电源703,一个或一个以上有线或无线网络接口704,一个或一个以上输入输出接口705,一个或一个以上键盘706。
具体在本实施例中,计算机设备包括有处理器、通信接口、存储器和通信总线;其中,处理器、通信接口以及存储器通过总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序,实现以下方法步骤:
接收数据服务应用方的数据服务调用请求,其中,所述数据服务调用请求携带有目标业务数据的标识信息;
在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务,其中,所述多个数据服务是预设服务配置中心基于各所述数据服务应用方的业务需求信息自动配置得到的;
利用预设数据服务执行引擎执行所述目标数据服务,从预先为所述数据服务应用方所匹配的前端数据库中读取所述目标业务数据,其中,所述前端数据库中缓存的业务数据是在预设任务调度中心触发下将后端数据库中的数据同步至所述前端数据库得到的;
将读取出的所述目标业务数据返回至所述数据服务应用方,以使所述数据服务应用方基于所述目标业务数据响应客户端的业务请求。
本发明实施例中的计算机设备,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
本发明实施例提供的计算机设备能够实现上述数据服务提供方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本发明实施例提供的计算机设备与本发明实施例提供的数据服务提供方法基于同一发明构思,因此该实施例的具体实施可以参见前述数据服务提供方法的实施,重复之处不再赘述。
对应上述实施例提供的数据服务提供方法,基于相同的技术构思,本申请实施例还提供一种计算机可读存储介质,存储介质内存储有计算机程序,计算机程序被处理器执行时实现以下方法步骤:
接收数据服务应用方的数据服务调用请求,其中,所述数据服务调用请求携带有目标业务数据的标识信息;
在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务,其中,所述多个数据服务是预设服务配置中心基于各所述数据服务应用方的业务需求信息自动配置得到的;
利用预设数据服务执行引擎执行所述目标数据服务,从预先为所述数据服务应用方所匹配的前端数据库中读取所述目标业务数据,其中,所述前端数据库中缓存的业务数据是在预设任务调度中心触发下将后端数据库中的数据同步至所述前端数据库得到的;
将读取出的所述目标业务数据返回至所述数据服务应用方,以使所述数据服务应用方基于所述目标业务数据响应客户端的业务请求。
本发明实施例中的计算机可读存储介质,采用服务需求信息自动识别及数据服务自动配置的方式,预先自动基于各数据服务应用方的业务需求信息为其配置相应的数据服务,降低了人工分别针对各数据服务场景进行数据服务开发成本,简化了针对不同的数据服务场景的数据服务开发难度;以及采用跨数据集群的多向数据同步分发的方式,预先为各数据服务应用方匹配相应的前端数据库,并将各数据服务应用方所需的业务数据从后端数据库同步缓存至为其匹配的前端数据库中,这样能够实现差速缓存自适配前端数据库,基于前端数据库响应数据服务,对后端数据库的性能进行有效隔离,从而解决了后端数据库的数据处理与服务响应的速度差异,满足数据服务应用方的不同数据服务需求,提高了数据服务的稳定性、适应性和时效性。
本发明实施例提供的计算机可读存储介质能够实现上述数据服务提供方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本发明实施例提供的计算机可读存储介质与本发明实施例提供的数据服务提供方法基于同一发明构思,因此该实施例的具体实施可以参见前述数据服务提供方法的实施,重复之处不再赘述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据服务提供方法,其特征在于,包括:
接收数据服务应用方的数据服务调用请求,其中,所述数据服务调用请求携带有目标业务数据的标识信息;
在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务,其中,所述多个数据服务是预设服务配置中心基于各所述数据服务应用方的业务需求信息自动配置得到的;
利用预设数据服务执行引擎执行所述目标数据服务,从预先为所述数据服务应用方所匹配的前端数据库中读取所述目标业务数据,其中,所述前端数据库中缓存的业务数据是在预设任务调度中心触发下将后端数据库中的数据同步至所述前端数据库得到的;
将读取出的所述目标业务数据返回至所述数据服务应用方,以使所述数据服务应用方基于所述目标业务数据响应客户端的业务请求。
2.根据权利要求1所述的方法,其特征在于,在接收数据服务应用方的数据服务调用请求之前,还包括:
获取待数据服务配置的各数据服务应用方分别对应的业务需求信息;
针对每个所述数据服务应用方,基于该数据服务应用方的所述业务需求信息,生成为其配置的数据服务,并将所述数据服务发布至预设数据服务执行引擎;以及,
基于该数据服务应用方的所述业务需求信息,确定所述数据服务的任务调度信息,并将所述任务调度信息发布至预设任务调度中心,其中,所述任务调度信息包括:数据同步策略、数据处理策略、数据缓存策略、数据服务策略中至少一项。
3.根据权利要求2所述的方法,其特征在于,在将所述任务调度信息发布至预设任务调度中心之后,还包括:
在所述预设任务调度中心触发下,按照所述任务调度信息中的数据处理策略,对所述后端数据库中的数据进行相应的数据处理,得到处理后的业务数据;以及,
按照所述任务调度信息中的数据缓存策略,确定与所述数据服务应用方匹配的前端数据库;以及,
按照所述任务调度信息中的数据同步策略,将所述处理后的业务数据从后端数据库同步至为所述数据服务应用方所匹配的前端数据库;
对应的,所述将读取出的所述目标业务数据返回至所述数据服务应用方,包括:
按照所述任务调度信息中的数据服务策略,将读取出的所述目标业务数据返回至所述数据服务应用方。
4.根据权利要求2所述的方法,其特征在于,所述业务需求信息包括:数据处理周期、业务数据需求限定、服务响应时效信息和数据反馈规模信息;
所述基于该数据服务应用方的所述业务需求信息,确定所述数据服务的任务调度信息,包括:
根据所述数据处理周期、业务数据需求限定和服务响应时效信息,确定所述数据服务的数据同步策略;
根据所述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定所述数据服务的数据缓存策略;
根据所述数据处理周期、业务数据需求限定和服务响应时效信息,确定所述数据服务的数据处理策略;
根据所述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定所述数据服务的数据服务策略。
5.根据权利要求4所述的方法,其特征在于,所述根据所述数据处理周期、业务数据需求限定和服务响应时效信息,确定所述数据服务的数据同步策略,包括:
根据所述数据处理周期和所述业务数据需求限定,确定所述数据服务应用方所需数据所在的后端数据库的属性信息;
根据所述业务数据需求限定、所述服务响应时效信息和所述后端数据库的属性信息,确定后端数据库所需的数据处理方式;
根据所述后端数据库的属性信息和所述后端数据库所需的数据处理方式,确定所述数据服务的数据同步策略。
6.根据权利要求4所述的方法,其特征在于,所述根据所述业务数据需求限定、服务响应时效信息和数据反馈规模信息,确定所述数据服务的数据缓存策略,包括:
根据所述业务数据需求限定、所述服务响应时效信息,确定后端数据库所需的数据处理方式;
根据所述数据反馈规模信息和所述后端数据库所需的数据处理方式,确定所述数据服务应用方的数据反馈类型;
根据所述后端数据库所需的数据处理方式和所述数据服务应用方的数据反馈类型,确定所述数据服务的数据缓存策略。
7.根据权利要求1所述的方法,其特征在于,所述接收数据服务应用方的数据服务调用请求,包括:
利用预设微服务网关接收数据服务应用方的数据服务调用请求,以使该预设微服务网关采用预设服务鉴权方式响应所述数据服务调用请求;
对应的,所述在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务,包括:
在所述数据服务应用方具有数据服务调用权限时,在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务。
8.一种数据服务提供装置,其特征在于,包括:
服务调用请求接收模块,用于接收数据服务应用方的数据服务调用请求,其中,所述数据服务调用请求携带有目标业务数据的标识信息;
数据服务确定模块,用于在预先配置的多个数据服务中,确定与所述数据服务应用方对应的目标数据服务,其中,所述多个数据服务是预设服务配置中心基于各所述数据服务应用方的业务需求信息自动配置得到的;
数据服务执行模块,用于利用预设数据服务执行引擎执行所述目标数据服务,从预先为所述数据服务应用方所匹配的前端数据库中读取所述目标业务数据,其中,所述前端数据库中缓存的业务数据是在预设任务调度中心触发下将后端数据库中的数据同步至所述前端数据库得到的;
数据服务提供模块,用于将读取出的所述目标业务数据返回至所述数据服务应用方,以使所述数据服务应用方基于所述目标业务数据响应客户端的业务请求。
9.一种计算机设备,其特征在于,包括处理器、通信接口、存储器和通信总线;其中,所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,实现如权利要求1-7任一项所述的数据服务提供方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的数据服务提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010127246.0A CN113329043A (zh) | 2020-02-28 | 2020-02-28 | 一种数据服务提供方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010127246.0A CN113329043A (zh) | 2020-02-28 | 2020-02-28 | 一种数据服务提供方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113329043A true CN113329043A (zh) | 2021-08-31 |
Family
ID=77412548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010127246.0A Pending CN113329043A (zh) | 2020-02-28 | 2020-02-28 | 一种数据服务提供方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113329043A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114679446A (zh) * | 2022-03-28 | 2022-06-28 | 阿里云计算有限公司 | 数据处理方法、系统和数据处理设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102081605A (zh) * | 2009-11-30 | 2011-06-01 | 中国移动通信集团上海有限公司 | 基于数据仓库的数据封装装置及业务数据获取方法 |
CN109492040A (zh) * | 2018-11-06 | 2019-03-19 | 深圳航天智慧城市系统技术研究院有限公司 | 一种适用于数据中心海量短报文数据处理的系统 |
US20190220305A1 (en) * | 2018-01-16 | 2019-07-18 | Jpmorgan Chase Bank, N.A. | Automation as a service |
CN110597739A (zh) * | 2019-06-03 | 2019-12-20 | 上海云盾信息技术有限公司 | 一种配置的管理方法、系统及设备 |
CN110661826A (zh) * | 2018-06-28 | 2020-01-07 | 北京京东尚科信息技术有限公司 | 代理服务器端处理网络请求的方法和代理服务器 |
-
2020
- 2020-02-28 CN CN202010127246.0A patent/CN113329043A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102081605A (zh) * | 2009-11-30 | 2011-06-01 | 中国移动通信集团上海有限公司 | 基于数据仓库的数据封装装置及业务数据获取方法 |
US20190220305A1 (en) * | 2018-01-16 | 2019-07-18 | Jpmorgan Chase Bank, N.A. | Automation as a service |
CN110661826A (zh) * | 2018-06-28 | 2020-01-07 | 北京京东尚科信息技术有限公司 | 代理服务器端处理网络请求的方法和代理服务器 |
CN109492040A (zh) * | 2018-11-06 | 2019-03-19 | 深圳航天智慧城市系统技术研究院有限公司 | 一种适用于数据中心海量短报文数据处理的系统 |
CN110597739A (zh) * | 2019-06-03 | 2019-12-20 | 上海云盾信息技术有限公司 | 一种配置的管理方法、系统及设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114679446A (zh) * | 2022-03-28 | 2022-06-28 | 阿里云计算有限公司 | 数据处理方法、系统和数据处理设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109739929B (zh) | 数据同步方法、装置及系统 | |
US20200293549A1 (en) | Blockchain-based data processing method and device | |
CN110019240B (zh) | 一种业务数据交互方法、装置及系统 | |
CN111767143B (zh) | 交易数据处理方法、装置、设备及系统 | |
CN106250543B (zh) | 一种自动化数据查询同步存储方法 | |
CN108536778A (zh) | 一种数据应用共享平台及方法 | |
CN110908658A (zh) | 一种“微服务+微应用”系统、数据处理方法及装置 | |
CN110716744A (zh) | 一种数据流处理方法、系统和计算机可读存储介质 | |
CN107103064B (zh) | 数据统计方法及装置 | |
CN109325008A (zh) | 面向消息中间件的跨域数据同步方法与系统 | |
CN105468720A (zh) | 集成分布式数据处理系统的方法、相应系统及其数据处理方法 | |
CN106375360B (zh) | 一种图数据更新方法、装置及系统 | |
CN112288423A (zh) | 一种分布式框架的聚合支付方法和系统 | |
CN112363857B (zh) | 微前端架构的应用系统、同步方法、存储介质和设备 | |
CN110113406A (zh) | 基于分布式的计算服务集群框架 | |
CN113329043A (zh) | 一种数据服务提供方法及装置 | |
CN113886890A (zh) | 一种数字化资源共建共享方法及装置 | |
CN116304390B (zh) | 时序数据处理方法、装置、存储介质及电子设备 | |
CN115757552B (zh) | 基于分布式微服务的银行历史数据管理系统 | |
Pham et al. | Towards an Elastic Fog‐Computing Framework for IoT Big Data Analytics Applications | |
CN116204189A (zh) | 基于sql的数据处理方法、服务器和电子设备 | |
CN115134373A (zh) | 数据同步方法、装置、存储介质及电子设备 | |
CN115037757A (zh) | 一种多集群服务管理系统 | |
CN115361388B (zh) | 一种边缘云计算系统中的资源调度方法及装置 | |
CN111221858B (zh) | 一种数据处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |