CN115705435A - 云服务的数据处理的方法、装置、设备及介质 - Google Patents
云服务的数据处理的方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115705435A CN115705435A CN202110921160.XA CN202110921160A CN115705435A CN 115705435 A CN115705435 A CN 115705435A CN 202110921160 A CN202110921160 A CN 202110921160A CN 115705435 A CN115705435 A CN 115705435A
- Authority
- CN
- China
- Prior art keywords
- data
- isolation mode
- user
- physical
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种云服务的数据处理的方法、装置、设备及介质,该方法包括:接收用户的应用操作请求,其中携带有用户信息和对应的数据操作信息,该数据操作信息包括:针对待操作数据实施的操作信息;对该应用操作请求携带的信息进行解析,得到上述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息;基于上述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式;在数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理。
Description
技术领域
本公开涉及互联网技术及云服务技术领域,尤其涉及一种云服务的数据处理的方法、装置、设备及介质。
背景技术
随着互联网技术的发展,各个机构在业务运行过程中会产生海量的业务数据和内部运维数据等。不同机构通过引入云服务来实现对大量数据的存储和操作管理。各个机构作为云服务提供商的租户,通常通过网页配置的形式来租用机构所需要的个性化服务,进而对各个机构部署的应用系统提供数据存储和计算服务支持。在各个机构部署的应用面对大量用户的场景下,开发一套云服务的架构费时费力。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下技术问题:为了提升云架构的复用性和节约成本,云服务提供商希望能基于一套云服务架构来服务于多类型的租户,以针对不同类型的应用提供对应的数据服务。在公有云的场景下,各个租户希望各自的数据是对于其他租户而言是保密的,即存在数据隔离的需求。由于在不同租户之间,针对同一个对象进行描述的属性信息是有差异的,那么在提供云服务的研发人员进行数据库模型的构建时,为了使云服务能够为不同的租户开展对应的数据库服务,必须考虑不同的租户各自的对象描述方式和类型,这就使得研发人员需要针对不同的机构从零开始构建不同的数据库模型,这样的话,无法做到服务和模型数据的复用,随着接入数据量和服务量级的增大,研发和运维难度和成本均上升。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开的实施例提供了一种云服务的数据处理的方法、装置、设备及介质。
第一方面,本公开的实施例提供了一种云服务的数据处理的方法。上述方法包括:接收用户的应用操作请求,上述应用操作请求中携带有用户信息和对应的数据操作信息,上述数据操作信息包括:针对待操作数据实施的操作信息;对上述应用操作请求携带的信息进行解析,得到上述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息;基于上述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式;以及在上述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理。
根据本公开的实施例,在上述数据隔离模式为数据逻辑隔离模式的情况下,基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理,包括:在上述数据隔离模式为数据逻辑隔离模式的情况下,在元数据领域,确定与上述机构用户标识关联的逻辑操作对象所处的逻辑表区域;针对上述逻辑表区域的逻辑操作对象,实施上述逻辑操作信息所对应的操作;基于预设的逻辑对象与物理对象的映射关系,确定上述逻辑操作对象所处的逻辑表区域所关联的目标物理表中的目标物理区域,上述目标物理区域与上述机构用户标识相关联;以及针对上述目标物理区域,基于上述逻辑操作信息进行对应的数据存储或数据处理。
根据本公开的实施例,在上述数据隔离模式为数据物理隔离模式的情况下,基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理,包括:在上述数据隔离模式为数据物理隔离模式的情况下,获取与上述机构用户标识关联的目标数据库的信息;在元数据领域,基于上述目标数据库的信息,定位至上述目标数据库和用于进行上述待操作数据的存储或处理的目标逻辑表;针对上述目标逻辑表的逻辑操作对象,实施上述逻辑操作信息所对应的操作;基于预设的逻辑对象与物理对象的映射关系,确定上述逻辑操作对象所处的目标逻辑表所关联的目标物理表中的目标数据列;以及针对上述目标数据列,基于上述逻辑操作信息进行对应的数据存储或数据处理。
根据本公开的实施例,上述方法还包括:在数据存储或数据处理的过程中,更新上述目标数据库中的数据源信息。
根据本公开的实施例,在确定机构用户配置的数据隔离模式之前,还包括:基于上述机构用户标识,确定上述机构用户是否配置有应用服务隔离模式;在上述机构用户配置有应用服务隔离模式的情况下,调用与上述机构用户标识关联的目标服务节点,使得上述目标服务节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作;在上述机构用户没有配置应用服务隔离模式的情况下,调用预设的默认服务集群中的空闲节点,使得上述空闲节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作。
根据本公开的实施例,上述调用与上述机构用户标识关联的目标服务节点,包括:获取预先配置的与上述机构用户标识关联的服务节点信息,上述服务节点信息包括:服务节点IP地址和服务节点名称;以及调用上述服务节点信息对应的目标服务节点。
根据公开的实施例,上述方法还包括:根据服务集群中的资源分布和上述机构用户的需求,动态配置与上述机构用户标识关联的服务节点信息。
根据本公开的实施例,上述方法还包括:接收机构用户的配置信息,上述配置信息包括:关于是否配置有应用服务隔离模式的第一配置信息,关于数据隔离模式为数据物理隔离模式或数据逻辑隔离模式的第二配置信息;基于上述第一配置信息,为上述机构用户分配用于提供存储和计算服务的候选服务节点;基于上述第二配置信息,为上述机构用户分配用于提供存储和计算服务的数据库或分配用于提供存储和计算服务的同一数据库中的物理表区域。
根据本公开的实施例,上述基于上述第一配置信息,为上述机构用户分配用于提供存储和计算服务的候选服务节点,包括:在上述第一配置信息为配置有应用服务隔离模式的情况下,根据服务集群中的资源分布和上述机构用户的需求,为上述机构用户分配满足上述机构用户需求个数的候选服务节点,并将上述候选服务节点的信息和对应的机构用户标识关联后进行存储;在上述第一配置信息为没有配置应用服务隔离模式的情况下,为上述机构用户分配一预设服务集群以作为默认服务集群,上述默认服务集群中的所有服务节点作为上述机构用户的候选服务节点。
根据本公开的实施例,上述基于上述第二配置信息,为上述机构用户分配用于提供存储和计算服务的数据库或分配用于提供存储和计算服务的同一数据库中的物理表区域,包括:在上述第二配置信息为数据物理隔离模式的情况下,为上述机构用户分配对应的数据库,并将分配的数据库和机构用户标识关联后进行存储;在上述第二配置信息为数据逻辑隔离模式的情况下,为上述机构用户在同一数据库中分配对应的物理表区域,并将分配的物理表区域和机构用户标识关联后进行存储。
第二方面,本公开的实施例提供了一种面向多机构用户提供云服务的装置。上述装置包括:接收模块、解析模块、隔离模式确定模块和数据处理模块。上述接收模块用于接收用户的应用操作请求,上述应用操作请求中携带有用户信息和对应的数据操作信息,上述数据操作信息包括:针对待操作数据实施的操作信息。上述解析模块对上述应用操作请求携带的信息进行解析,得到上述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息。上述隔离模式确定模块用于基于上述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式。上述数据处理模块用于在上述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理。
根据本公开的实施例,上述装置还包括:服务节点确定模块,用于基于上述机构用户标识,确定上述机构用户是否配置有应用服务隔离模式;在上述机构用户配置有应用服务隔离模式的情况下,调用与上述机构用户标识关联的目标服务节点,使得上述目标服务节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作;在上述机构用户没有配置应用服务隔离模式的情况下,调用预设的默认服务集群中的空闲节点,使得上述空闲节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作。
第三方面,本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现如上所述的面向多租户提供云服务的方法。
第四方面,本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序,上述计算机程序被处理器执行时实现如上所述的面向多租户提供云服务的方法。
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部:
不同机构用户标识对应的用户的应用操作请求,其携带的信息被解析为元数据的逻辑操作对象和逻辑操作信息,能够在前端适用于各种场景下的业务数据接入和传输,并且以统一数据存储或数据处理逻辑来将针对逻辑操作对象的操作转化为针对数据库的物理表的目标物理位置的实际操作,基于统一的架构实现了针对多类机构用户(例如为云服务的租户)的云服务且能够实现多机构用户服务中的数据隔离;同时该方法能够针对不同类型的对象提供数据处理服务,实现数据库模型的复用,在应用系统的研发过程中能够节约研发资源,同时在云服务的部署过程中根据云服务的机构用户的配置也能做到服务的资源高效利用,针对不同机构用户做到动态的扩展和支持以及按需分配,提升了云服务的架构利用率以及服务性能,降低了系统开发成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A示意性示出了适用于本公开实施例的云服务的数据处理的方法和面向多机构用户提供云服务的装置的系统架构;
图1B示意性示出了适用于本公开实施例的云服务的数据处理的方法的元数据模型的架构;
图2示意性示出了根据本公开一实施例的云服务的数据处理的方法的流程图;
图3示意性示出了根据本公开实施例的元数据领域的功能架构示意图;
图4示意性示出了根据本公开实施例的操作S204a的详细实施流程图;
图5示意性示出了根据本公开实施例的操作S204b的详细实施流程图;
图6示意性示出了根据本公开另一实施例的云服务的数据处理的方法的流程图;
图7示意性示出了根据本公开又一实施例的云服务的数据处理的方法的流程图;
图8示意性示出了根据本公开实施例的面向多机构用户提供云服务的装置的结构框图;以及
图9示意性示出了本公开实施例提供的电子设备的结构框图。
具体实施方式
目前的单一应用使用者在系统使用过程中面向一个租户的概念,仅仅有一个数据使用机构,无法将通用的系统服务提供多个租户(机构用户)使用。目前的系统,如果要做到快速的应用只能通过将当前应用进行复制的方式,然后进行新环境的搭建,不仅造成了资源的浪费,也增加了工作量。此外,在提供云服务的研发人员进行数据库模型的构建时,为了使云服务能够为不同的机构开展对应的数据库服务,必须考虑不同的机构或个人各自的对象描述方式和类型。例如,在对ABS(Asset-Backed Securitization)资产证券化系统提供云服务时,必须考虑不同机构之间针对同一个对象的描述差异。这就使得研发人员需要针对不同的机构从零开始构建不同的数据库模型,以便于接入各种新类型的存储对象,如此一来,工作量巨大且不利于数据库的增删查改等操作,同时针对各个机构采用相对独立的代码片段管理,数据库的操作效率低下且存在代码冗余,导致开发和维护成本高,且技术迭代越来越慢。
以ABS资产证券化系统(一种终端设备上的应用)所对应的云服务(简称ABS云服务)的架构为例。针对不同资方(机构)下的不同类型资产,如果使用传统应用接入很难做到模型的复用,只能针对各个资方(机构)进行定制化服务和实现,无法做到服务和数据模型的复用,造成了人力资源的严重浪费,而且研发成本和运维成本都会随着接入量和服务量级的增加而增加。
为了提升云架构的复用性和节约成本,云服务提供商希望能基于一套云服务架构来服务于多类型的机构用户(例如为租户),以针对不同类型的应用提供对应的数据服务。在公有云的场景下,各个云服务的机构用户希望各自的数据是对于其他机构用户而言是保密的,即存在数据隔离的需求。
有鉴于此,本公开的实施例提供了一种云服务的数据处理的方法、装置、设备及介质。上述方法包括:接收用户的应用操作请求,上述应用操作请求中携带有用户信息和对应的数据操作信息,上述数据操作信息包括:针对待操作数据实施的操作信息;对上述应用操作请求携带的信息进行解析,得到上述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息;基于上述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式;以及在上述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理。
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1A示意性示出了适用于本公开实施例的云服务的数据处理的方法和面向多机构用户提供云服务的装置的系统架构。
参照图1A所示,适用于本公开实施例的云服务的数据处理的方法和面向多机构用户提供云服务的装置的系统架构100包括:终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用(应用程序简称为应用),例如ABS资产证券化系统应用,还可以包括其他客户端应用,诸如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是显示屏并且支持网页浏览的各种电子设备,例如电子设备包括但不限于智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的应用界面或网站进行数据处理提供服务支持的后台管理服务器,该后台管理服务器可以由提供云服务的云服务器充当(仅为示例)。后台管理服务器可以对接收到的数据处理请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。上述服务器可以通过网络接口对数据库进行访问或者自身带有数据库服务。
需要说明的是,本公开实施例所提供的云服务的数据处理的方法一般可以由服务器105或具有一定运算能力的终端设备执行,上述终端设备可以是提供云服务的联网的终端设备。相应地,本公开实施例所提供的面向多机构用户提供云服务的装置一般可以设置于服务器105中或上述具有一定运算能力的终端设备中。本公开实施例所提供的云服务的数据处理的方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的面向多机构用户提供云服务的装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1A中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图1B示意性示出了适用于本公开实施例的云服务的数据处理的方法的元数据模型的架构。
参照图1B所示,适用于本公开实施例的云服务的数据处理的方法的元数据模型110主要分三层:第一层为物理模型层111,为数据库底层真实的物理表结构和模型;第二层为映射关系层112,表征物理表和逻辑表之间的对应关系,为一一映射的关系(1:1);第三层为逻辑模型层113a和逻辑元数据(Logic_Meta)层113b,主要来描述业务模型设计的POJO对象,可以用于各种业务操作。虚线箭头示意的是各个层之间的映射关系为一对一(1:1)映射或一对多(1:N)映射。用户例如可以是ABS云服务的租户(云服务的机构用户的一种示例),该租户的数据对象的类型共有N种,N≥2,对应有N个物理模型层。
下面结合图1A和1B来示例性描述本公开实施例提供的云服务的数据处理的方法的应用场景。
结合图1A和图1B所示,不同机构用户(例如为京东、腾讯、阿里巴巴、网易等机构)的用户在终端设备101、102、103上使用应用的过程中,会产生应用操作请求,前端(例如为终端设备的浏览器端)将用户信息和针对待操作数据实施的操作信息发送给服务器或提供云服务的终端设备。相应的,在服务器或提供云服务的终端设备上接收上述应用操作请求(对应于后续操作S201)。然后,对接收到的应用操作请求携带的信息进行解析,得到上述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息(对应于后续操作S202)。通过将应用操作请求统一转换成元数据领域的对象,该对象可以用于执行前端的逻辑操作,将其描述为逻辑操作对象。各个机构用户已经预先配置了数据隔离模式。基于上述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式(对应于操作S203),数据物理隔离模式和数据逻辑隔离模式二者对应的数据存储位置具有差异,数据进行存储和处理的操作逻辑相同,数据的操作逻辑为:基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理(对应于后续的操作S204)。上述操作S204可以利用上述逻辑模型层113a、逻辑元数据层113b、映射关系层112和物理模型层111来实施。
下面结合附图来对本公开的实施例进行详细描述。
本公开的第一个示例性实施例提供了一种云服务的数据处理的方法。
图2示意性示出了根据本公开一实施例的云服务的数据处理的方法的流程图。
参照图2所示,本公开实施例提供的云服务的数据处理的方法,包括以下操作:S201、S202、S203和S204。操作S201~S204可以由服务器或由能够提供云服务的终端设备执行。
在操作S201,接收用户的应用操作请求,上述应用操作请求中携带有用户信息和对应的数据操作信息,上述数据操作信息包括:针对待操作数据实施的操作信息。
在操作S202,对上述应用操作请求携带的信息进行解析,得到上述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息。
在操作S203,基于上述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式。
在操作S204,在上述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理。
上述操作S201和操作S202中,机构用户与用户是不同的概念,机构用户是指使用云服务的使用方,例如通常可以是云服务的租户。该机构用户本身可以具有一个或多个应用系统,通过租用(具有云服务的账户和对应能够访问的数据库权限)云服务来实现对各个应用系统的数据服务支持。用户是指使用特定机构用户的应用系统/平台的个人或者企业,通过个人账号或企业账号来实现对应用系统/平台的登录后,对应能够实现应用系统的访问和数据操作,对应在提供数据服务的服务器或能够提供云服务的终端设备一侧,由本公开实施例提供的方法来提供云服务。
为了区别描述云服务的机构用户和机构用户的应用系统的用户,在全文中二者进行了区分。
例如,机构用户可以是各种类型和应用场景下的云服务的租户,只要具有应用系统的数据服务需求的机构均可以作为本公开实施例中的机构用户。例如,云服务的租户可以是:金融机构(具有金融应用的数据服务支持的需求)、教育机构(具有网上教育平台或网上课程平台的数据服务支持的需求)、事业单位(具有政府类网站的数据服务支持的需求)、网购平台所属机构(具有网购平台的数据服务支持的需求)、网络社交平台所属机构(具有网络社交平台的数据支持的需求)等等。
在一示例性场景中,云服务的机构用户为金融机构A(例如为中国银行)、金融机构B(例如为工商银行)和金融机构C(例如为建设银行),金融机构A~C部署有各自的金融应用A、金融应用B和金融应用C。金融机构A~C的用户可以是个人,也可以是企业。
在另一示例性场景中,云服务的机构用户为网购平台所属的机构,例如为京东,阿里巴巴等,对应的应用分别为京东网购平台、淘宝/天猫网购平台,这些平台的用户可以是个人用户或者企业用户。
上述应用操作请求可以是http对应的Json报文的格式,目前通用的前后端交互均采用Json报文格式,可以适配于大部分场景。应该理解的是,上述应用操作请求也可以自定义格式,比如为XML格式或者其他自定义格式。
上述操作S202中,元数据领域(Logic-Region)相当于承接数据的容器,该容器内的数据具有通用的处理逻辑,其中元数据领域内的逻辑操作对象可以用于执行前端的逻辑操作,并能够通过标准化的转换工具(例如调用图1B示例的映射关系层112实现转换功能)转换为针对物理表中目标物理位置的数据存储或数据处理操作,以实施数据库的持久化。
图3示意性示出了根据本公开实施例的元数据领域的功能架构示意图。
参照图3所示,以租户作为云服务的机构用户的示例,云服务的机构用户可以是租用云服务或者采用其他形式享有云服务。元数据领域300包括以下对象中的至少部分对象:逻辑操作对象(Entity)301、云服务的租户(Tenant)302、领域操作类型(SqlCommandType)303、分页(Page)304、列集合(Fields)305、操作逻辑表名称(Tablename)306、条件信息(Condition)307和预编译对象(PreparedParam)308。
逻辑操作对象(Entity)301对应于元数据领域执行数据处理操作时的对象。用于保存元数据领域中对象的实体,是一个JSON对象,存储前后端及后续业务流程的操作过程数据,结构为键-值对(Key,Value)模型,在后续元数据领域的操作过程中,表示对象的本体,用于Insert/Update等业务流程的操作对象。
云服务的租户(Tenant)302,在数据交互过程中租户标识会关联于请求数据及对应执行的数据处理操作,以实现后期数据和数据处理服务的物理及逻辑隔离。同时租户的信息会在数据库持久化操作时同步到SQL的改写(由逻辑操作SQL语句改写为物理操作SQL语句)上。
领域操作类型(SqlCommandType)303主要用作领域的操作标记,包含查询(Select)/更改(Update)/增加/插入(Insert)/删除(Delete)等操作,通过领域操作类型的标记来针对特定对象进行处理操作。
分页(Page)304这一对象,在元数据领域的对象交互过程中表示查询操作的分页条件,包含排序对象(Order)及元素(Size/Number),用于前端查询服务的分页转换。
列集合(Fields)305这一对象,用作查询的场景下对于返回数据的对象定义,主要包含返回对象的JSON实体的Key的集合,用作Select类型中的查询操作的Key。
操作逻辑表名称(Tablename)306,标识元数据领域中的逻辑操作对象,用于后续逻辑表与物理表转换的关键标记,对应于物理操作SQL语句的逻辑表的信息。
条件信息(Condition)307,对应于常规逻辑操作SQL语句中的where条件,包含用于过滤/筛选的条件信息,在后期转换为物理操作SQL中方便Select操作的数据过滤准备。
预编译对象(PreparedParam)308用于元数据领域在后期转换物理SQL语句的过程中,直接根据Entity或者Condition对象的属性值来预编译SQL转换(由逻辑操作SQL语句转换为物理操作SQL语句)中存储元素值的有序对象,基于预编译对象的设置,有助于提升数据处理的效率。
在上述操作S202中,能够将前端传输过来的各种类型的请求数据转化为元数据领域的统一对象,并能够根据不同租户配置的数据隔离模式,实现数据存储/处理的位置具有差异(存储于不同的数据库,或同一个数据库的同一张物理表的不同物理区域),而数据处理的操作逻辑为通用的逻辑,实现服务和模型的复用。在操作S203中,基于上述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式,从而在后续操作S204中可以基于不同的数据隔离模式定位至不同的数据位置,进行数据的存储或处理(例如增加、删除、查找、修改等操作)。其中采用通用的数据处理逻辑进行数据的存储或处理:基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,针对关联有上述机构用户标识的目标物理位置进行数据存储或数据处理(对应于操作S204)。
基于上述操作S201~S204,不同机构用户标识对应的用户的应用操作请求,其携带的信息被解析为元数据的逻辑操作对象和逻辑操作信息,能够在前端适用于各种场景下的业务数据接入和传输,并且以统一数据存储或数据处理逻辑来将针对逻辑操作对象的操作转化为针对数据库的物理表的目标物理位置的实际操作,基于统一的架构实现了针对多类机构用户的云服务且能够实现多机构用户服务中的数据隔离;同时该方法能够针对不同类型的对象提供数据处理服务,实现数据库模型的复用,在应用系统的研发过程中能够节约研发资源,同时在云服务的部署过程中根据云服务的机构用户的配置也能做到服务的资源高效利用,针对不同机构用户做到动态的扩展和支持以及按需分配,提升了云服务的架构利用率以及服务性能,降低了系统开发成本。
上述操作S204包括两种并列的情况,分别表示为S204a和S204b,S204a对应于数据隔离模式为数据逻辑隔离模式的情况,S204b对应于数据隔离模式为数据物理隔离模式的情况,下面分别结合图4和图5来对上述操作S204a、S204b进行详细介绍。
图4示意性示出了根据本公开实施例的操作S204a的详细实施流程图。
根据本公开的实施例,参照图4所示,操作S204a包括以下子操作:S2041a、S2042a、S2043a和S2044a。
在子操作S2041a,在上述数据隔离模式为数据逻辑隔离模式的情况下,在元数据领域,确定与上述机构用户标识关联的逻辑操作对象所处的逻辑表区域。
在子操作S2042a,针对上述逻辑表区域的逻辑操作对象,实施上述逻辑操作信息所对应的操作。
在子操作S2043a,基于预设的逻辑对象与物理对象的映射关系,确定上述逻辑操作对象所处的逻辑表区域所关联的目标物理表中的目标物理区域。上述目标物理区域与上述机构用户标识相关联。
在子操作S2044a,针对上述目标物理区域,基于上述逻辑操作信息进行对应的数据存储或数据处理。
在数据逻辑隔离模式下,不同云服务的机构用户(例如云服务的租户)具有相同功能的应用中,针对同一个数据对象描述的属性信息(或者描述为数据结构)具有差异,例如为各个不同金融机构的ABS资产证券化系统(各个租户的ABS资产证券化系统的具体操作界面或者参数定义可以具有差异)中的资产对象的信息,可以存储于同一个数据库的同一个物理表中的不同行。
例如,数据逻辑隔离模式下,金融机构A(云服务的机构用户)的ABS资产证券化系统中的资产数据存储于数据库M的物理表S的物理区域SA,该物理表区域SA包含第2列、第3列、第5列、第6列的数据,以及占据第2~4行,这里的第2列、第3列、第5列和第6列分别对应于金融机构A对于资产描述的四个属性信息,例如对应为用户名称、用户年龄、用户年收入、用户白条额度,第2~4行可以用于表征租户的数据规模。
金融机构B(云服务的机构用户)的ABS资产证券化系统中的资产数据存储于数据库M的物理表S的物理区域SB,该物理表区域SB包含第2列、第3列、第4列、第7列、第8列的数据,以及占据第6~10行。类似的,物理表区域SB中的第2列、第3列、第4列、第7列、第8列分别对应于金融机构A对于资产描述的四个属性信息,例如对应为用户简称、用户编码、用户房租信息、用户的房产贷款信息、用户的日常消费信息。如前述实施例的第2列和第3列示例的那样,上述物理表S中,同一数据列的数据类型相同,对应的数据内容可以有差异。
其中该物理表S中具有一个数据列(例如为第1列)用于存放机构用户标识,例如为机构编码、机构名称、机构简称等任何可以区分不同机构的标识形式。那么,在上述物理表S中,根据第1列中的机构用户标识所在的行和对应的信息,可以基于逻辑表的元数据信息定位至金融机构A和金融机构B各自的目标物理区域所在的行,以及确定各个逻辑操作对象的位置。
因此,在数据逻辑隔离模式下,需要对目标物理表中的目标物理区域进行操作,即,通过对同一个物理表中与机构用户标识关联的特定行和特定列对应的区域进行操作,才能实现数据的存储或处理。
图5示意性示出了根据本公开实施例的操作S204b的详细实施流程图。
根据本公开的实施例,参照图5所示,操作S204b包括以下子操作:S2041b、S2042b、S2043b、S2044b和S2045b。
在子操作S2041b,在上述数据隔离模式为数据物理隔离模式的情况下,获取与上述机构用户标识关联的目标数据库的信息。
在子操作S2042b,在元数据领域,基于上述目标数据库的信息,定位至上述目标数据库和用于进行上述待操作数据的存储或处理的目标逻辑表。
在子操作S2043b,针对上述目标逻辑表的逻辑操作对象,实施上述逻辑操作信息所对应的操作。
在子操作S2044b,基于预设的逻辑对象与物理对象的映射关系,确定上述逻辑操作对象所处的目标逻辑表所关联的目标物理表中的目标数据列。
在子操作S2045b,针对上述目标数据列,基于上述逻辑操作信息进行对应的数据存储或数据处理。
在数据物理隔离模式下,不同租户的具有相同功能应用中,针对同一个数据对象描述的属性信息(或者描述为数据结构)具有差异,例如为各个不同金融机构的ABS资产证券化系统(各个租户的ABS资产证券化系统的具体操作界面或者参数定义可以具有差异)中的资产对象的信息,可以存储于不同的数据库的对应物理表中,作为数据源信息。
例如,数据物理隔离模式下,金融机构A(云服务的机构用户)的ABS资产证券化系统中的资产数据存储于数据库M的资产物理表SM中。金融机构B(云服务的机构用户)的ABS资产证券化系统中的资产数据存储于数据库N的资产物理表SN中。因此,在数据物理隔离模式下,只要定位至与机构用户标识关联的目标数据库,该目标数据库在的目标物理表整个存储的是同一个机构用户部署的应用的数据,对目标数据列进行操作便可以实现数据存储或数据处理。
对于云服务的同一个机构用户,针对不同数据的需求,可以同时配置数据物理隔离模式或数据逻辑隔离模式。具体场景中,例如针对机构用户的一些相对重要且为底层框架的数据,机构用户可以采用数据物理隔离模式进行云服务的配置。针对各个机构均存在的日志型数据,机构用户可以采用数据逻辑隔离模式进行云服务的配置。
通过上述操作S2041a~S2044a和S2041b~S2045b的描述可知,采用通用数据处理逻辑进行数据处理的过程中,针对上述元数据领域的逻辑操作对象实施上述逻辑操作信息对应的操作;在数据库持久化的过程中,根据映射关系,将针对上述逻辑操作对象的操作,转换为针对上述机构用户标识对应的目标物理位置的操作,这里的操作可以是数据存储或数据的增删查改等操作。由于云服务不同的机构用户预先配置了各自的数据隔离模式,那么对应各自的数据隔离模式下的目标物理位置具有差异,则根据数据隔离模式定位至对应的目标物理位置实施通用的处理逻辑。
根据本公开的实施例,上述方法还包括:在数据存储或数据处理的过程中,更新上述目标数据库中的数据源信息。
根据本公开的实施例,上述子操作S2042b~S2045b和更新数据源的操作可以概括为:基于上述目标数据库的信息,定位至对应的目标数据库进行数据存储或数据处理,并在数据存储或数据处理的过程中更新上述目标数据库中的数据源信息。
图6示意性示出了根据本公开另一实施例的云服务的数据处理的方法的流程图。
参照图6所示,本公开实施例提供的云服务的数据处理的方法,除了包括上述操作S201~S204之外,还包括以下操作:S601、S602a和S602b,上述操作S601、S602a和S602b在操作S203之前执行。在同一次应用操作请求中,上述操作S602a和S602b为择一进行,在多次应用操作请求中,上述操作S602a和S602b的情况可能都被涵盖或者部分被涵盖。
在操作S601,基于上述机构用户标识,确定上述机构用户是否配置有应用服务隔离模式。
在操作S602a,在上述机构用户配置有应用服务隔离模式的情况下,调用与上述机构用户标识关联的目标服务节点,使得上述目标服务节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作。
在操作S602b,在上述机构用户没有配置应用服务隔离模式的情况下,调用预设的默认服务集群中的空闲节点,使得上述空闲节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作。
上述目标服务节点/上述空闲节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作的含义为:由上述目标服务节点来执行上述操作S203和S204,或者由上述空闲节点来执行上述操作S203和S204。
根据本公开的实施例,上述调用与上述机构用户标识关联的目标服务节点的操作S602a,包括:获取预先配置的与上述机构用户标识关联的服务节点信息,上述服务节点信息包括:服务节点IP地址和服务节点名称;以及调用上述服务节点信息对应的目标服务节点。
根据公开的实施例,上述方法还包括:根据服务集群中的资源分布和上述机构用户的需求,动态配置与上述机构用户标识关联的服务节点信息。
进行服务节点的动态配置过程中,服务集群中能够提供服务的节点数≥机构用户需求的服务节点。
服务集群中每个服务节点的资源占用情况随着时间发生变化,这样使得服务集群中的资源分布也是时刻变动的,通过根据服务集群中的资源分布和机构用户的需求来为机构用户分配对应的服务节点,能够实现服务资源的合理满足和优化配置。
示例性的,在租户1、租户2和租户3共同使用云服务的情况下,提供云服务的服务器或终端设备能够针对目前各个租户1、2、3占用的资源情况和各个租户1、2、3当前资源需求来进行服务节点的动态分配。在时刻A(例如为618购物节),租户1需求的服务资源较多,租户2需求的资源一般,租户3需求的资源较少,此时租户1占用服务节点1、2,租户2占用服务节点3、4,租户3占用服务节点5、6、7,那么会根据服务集群中各个节点中资源的分布和需求来动态调整各个租户的服务节点,例如将租户3的服务节点6和7分配给租户1,其他服务节点不变动。
在一实例中,服务的隔离采用ControlHub服务(一种服务类型)的动态服务配置功能,通过不同的机构用户配置,进行主机IP的服务调用或者根据RPC别名的配置动态调用指向的RPC(远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议)服务节点进行调用,实现云服务的机构用户之间的服务隔离。
图7示意性示出了根据本公开又一实施例的云服务的数据处理的方法的流程图。
本公开实施例提供的云服务的数据处理的方法,除了包括上述操作:S201~S204、S601、S602a和S602b之外,还可以包括以下操作:S701、S702和S703,为了简化示意,在图7中仅示例了操作S701~S703。
操作S701~S703可以在机构用户选用云服务的对应服务功能时(购买、租用或使用云服务的过程中)进行配置,那么提供云服务的服务器或终端设备上会对应进行相关信息的设置和保存。后续各个机构用户(例如京东、淘宝)的(应用系统的使用者)用户在访问对应的应用的过程中,基于预先配置的服务隔离模式和数据隔离模式进行对应的数据处理即可,即,上述操作S701~S703可以预先执行一次,后续用户访问应用时对应调用服务隔离模式和数据隔离模式的配置信息即可。
在操作S701,接收机构用户的配置信息,上述配置信息包括:关于是否配置有应用服务隔离模式的第一配置信息,关于数据隔离模式为数据物理隔离模式或数据逻辑隔离模式的第二配置信息。
在操作S702,基于上述第一配置信息,为上述机构用户分配用于提供存储和计算服务的候选服务节点。
在操作S703,基于上述第二配置信息,为上述机构用户分配用于提供存储和计算服务的数据库或分配用于提供存储和计算服务的同一数据库中的物理表区域。
可以理解的是,上述实施例中,操作S701中同时包括第一配置信息和第二配置信息时,上述方法实施上述操作S701~S703,S201~S202,S601,S602a或S602b,S203,S204(对应执行S204a或S204b)。在其他实施例中,操作S701中可以只包括第二配置信息,相应的,上述方法只需实施上述操作S701,S703,S201,S202,S203和S204(对应执行S204a或S204b)。
根据本公开的实施例,上述基于上述第一配置信息,为上述机构用户分配用于提供存储和计算服务的候选服务节点的操作S702,包括以下子操作S702a或S702b之一。
在子操作S702a,在上述第一配置信息为配置有应用服务隔离模式的情况下,根据服务集群中的资源分布和上述机构用户的需求,为上述机构用户分配满足上述机构用户需求个数的候选服务节点,并将上述候选服务节点的信息和对应的机构用户标识关联后进行存储;
在子操作S702b,在上述第一配置信息为没有配置应用服务隔离模式的情况下,为上述机构用户分配一预设服务集群以作为默认服务集群,上述默认服务集群中的所有服务节点作为上述机构用户的候选服务节点。
根据本公开的实施例,上述基于上述第二配置信息,为上述机构用户分配用于提供存储和计算服务的数据库或分配用于提供存储和计算服务的同一数据库中的物理表区域的操作S703,包括以下子操作S703a或S703b之一。
在子操作S703a,在上述第二配置信息为数据物理隔离模式的情况下,为上述机构用户分配对应的数据库,并将分配的数据库和机构用户标识关联后进行存储。
关联数据库和机构用户标识的方式为:在数据库的访问地址信息中加入机构用户标识,从而在需要调用机构用户A的数据库A时,基于上述机构用户标识访问对应的数据库即可。
在子操作S703b,在上述第二配置信息为数据逻辑隔离模式的情况下,为上述机构用户在同一数据库中分配对应的物理表区域,并将分配的物理表区域和机构用户标识关联后进行存储。
关联物理表区域和机构用户标识的方式为:在物理表中新增一列机构用户标识(例如为机构用户名称、简称或ID等形式)的数据列,那么在物理表中,数据行具有相同的机构用户标识的一组信息(同一行的多列数据)即为该机构用户标识对应的机构用户关于同一个对象的多个属性信息。
下面以一具体场景来描述本公开实施例的方法的应用过程。
在用户登录应用并在应用界面/浏览网页端实施数据操作的实施场景中,前端(终端/浏览器端,Browser)通过登陆态,将用户信息与对应的机构用户标识进行加密融合,存储到前端缓存中;用户登录后实施对应的数据操作,产生应用操作请求,因此在应用操作请求中携带有用户信息和对应的数据操作信息。
在前后端交互过程中,前端将应用操作请求进行统一封装(打包)传输。在后端(服务端,Server)接收到上述应用操作请求后(对应于操作S201),对上述应用操作请求携带的信息进行解析(对应于操作S202)。解析过程中,通过将上述应用操作请求中的加密信息进行解密后,得到用户信息关联的云服务的机构用户标识,并且将数据操作信息中的针对待操作数据实施的操作信息解析为元数据领域中的逻辑操作对象和逻辑操作信息,这里的逻辑操作对象和逻辑操作信息也是关联/对应的,同时与用户信息以及机构用户标识也是关联的,整体是一组信息。
后端服务将信息解析后,会先进行用户的登陆态及数据准确性校验。在登录校验通过的情况下,才会允许用户进行后续的应用操作。后端应用服务采用统一通用的加解密服务进行交互数据的解密,针对登录信息进行校验的同时将解密后的数据放置到框架交互的上下文中,后续业务流程/方法根据系统参数的上下文可以获取云服务的机构用户的信息。
在后端进行机构用户的信息解密后,根据后端机构用户的服务隔离模式进行服务的分发,根据不同机构用户的配置获取服务的地址及RPC服务的差异化别名,将前端请求结合上下文数据转发到相关的业务服务模块中。
业务服务根据流程处理相关了服务逻辑,完成业务行为后需要进行数据的持久化操作或查询操作,应用框架根据通用服务获取该机构用户下的数据隔离模式。
如果是物理隔离,需要根据机构用户的配置信息获取数据源的信息,应用系统在执行数据操作的过程重置数据库的数据源信息,这样业务服务会根据不同的数据源查询不同的数据库,做到了物理隔离。
如果是逻辑隔离,应用框架在底层执行数据操作的过程中会根据框架的拦截器配置,将底层真实操作的SQL语句改写(由逻辑SQL语句转换为物理SQL语句进行执行),添加机构用户的信息,同时将机构用户的值传递到物理SQL语句中,这样在业务发起数据处理过程会执行带有机构用户字段的物理SQL语句(例如为以下形式的语句:查找(SELECT)、增加/插入(INSERT)、删除(DELETE)、修改(UPDATE)等语句),做到了数据的逻辑隔离,不同机构用户的数据仍然存储在同一个数据库的同一张表中,但是位于不同行,依靠机构用户标识进行区分。
本公开的第二个示例性实施例提供了一种面向多机构用户提供云服务的装置。
图8示意性示出了根据本公开实施例的面向多机构用户提供云服务的装置的结构框图。
参照图8所示,本公开实施例提供的面向多机构用户提供云服务的装置800包括:接收模块801、解析模块802、隔离模式确定模块803和数据处理模块804。上述装置800可以是服务器或者联网的用于提供云服务的终端设备。
上述接收模块801用于接收用户的应用操作请求,上述应用操作请求中携带有用户信息和对应的数据操作信息,上述数据操作信息包括:针对待操作数据实施的操作信息。
上述解析模块802对上述应用操作请求携带的信息进行解析,得到上述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息。
上述隔离模式确定模块803用于基于上述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式。
上述数据处理模块804用于在上述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有上述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理。上述数据处理模块804包括用于实现上述子操作S2041a~S2044a和子操作S2041b~S2045b的功能模块或子模块。
根据本公开的实施例,上述装置800除了包括上述接收模块801、解析模块802、隔离模式确定模块803和数据处理模块804之外,还包括:服务节点确定模块,用于基于上述机构用户标识,确定上述机构用户是否配置有应用服务隔离模式;在上述机构用户配置有应用服务隔离模式的情况下,调用与上述机构用户标识关联的目标服务节点,使得上述目标服务节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作;在上述机构用户没有配置应用服务隔离模式的情况下,调用预设的默认服务集群中的空闲节点,使得上述空闲节点根据上述机构用户配置的数据隔离模式来执行对应的数据处理操作。
根据本公开的一实施例,上述装置800除了包括上述接收模块801、解析模块802、隔离模式确定模块803和数据处理模块804之外,还包括:配置信息接收模块和配置模块。
本实施例中,配置信息接收模块用于接收机构用户的配置信息,上述配置信息包括:关于数据隔离模式为数据物理隔离模式或数据逻辑隔离模式的第二配置信息。
配置模块用于基于上述第二配置信息,为上述机构用户分配用于提供存储和计算服务的数据库或分配用于提供存储和计算服务的同一数据库中的物理表区域。本实施例的配置模块包含用于实现操作S703a和S703b的功能模块或子模块。
根据本公开的另一实施例,上述装置800除了包括上述接收模块801、解析模块802、隔离模式确定模块803、数据处理模块804和服务节点确定模块之外,还包括:配置信息接收模块和配置模块。
本实施例中,配置信息接收模块用于接收机构用户的配置信息,上述配置信息包括:关于是否配置有应用服务隔离模式的第一配置信息,关于数据隔离模式为数据物理隔离模式或数据逻辑隔离模式的第二配置信息。
配置模块用于基于上述第一配置信息,为上述机构用户分配用于提供存储和计算服务的候选服务节点;以及用于基于上述第二配置信息,为上述机构用户分配用于提供存储和计算服务的数据库或分配用于提供存储和计算服务的同一数据库中的物理表区域。本实施例的配置模块包含用于实现操作S703a、S703b、S702a和S702b的功能模块或子模块。
上述接收模块801、解析模块802、隔离模式确定模块803和数据处理模块804中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。接收模块801、解析模块802、隔离模式确定模块803和数据处理模块804中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,接收模块801、解析模块802、隔离模式确定模块803和数据处理模块804中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
本公开的第三个示例性实施例提供了一种电子设备。
图9示意性示出了本公开实施例提供的电子设备的结构框图。
参照图9所示,本公开实施例提供的电子设备900包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901、通信接口902和存储器903通过通信总线904完成相互间的通信;存储器903,用于存放计算机程序;处理器901,用于执行存储器上所存放的程序时,实现如上所述的云服务的数据处理的方法。
本公开的第四个示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序,上述计算机程序被处理器执行时实现如上所述的云服务的数据处理的方法。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的;也可以是单独存在,而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种云服务的数据处理的方法,其特征在于,包括:
接收用户的应用操作请求,所述应用操作请求中携带有用户信息和对应的数据操作信息,所述数据操作信息包括:针对待操作数据实施的操作信息;
对所述应用操作请求携带的信息进行解析,得到所述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息;
基于所述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式;以及
在所述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有所述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理。
2.根据权利要求1所述的方法,其特征在于,在所述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有所述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理,包括:
在所述数据隔离模式为数据逻辑隔离模式的情况下,在元数据领域,确定与所述机构用户标识关联的逻辑操作对象所处的逻辑表区域;
针对所述逻辑表区域的逻辑操作对象,实施所述逻辑操作信息所对应的操作;
基于预设的逻辑对象与物理对象的映射关系,确定所述逻辑操作对象所处的逻辑表区域所关联的目标物理表中的目标物理区域,所述目标物理区域与所述机构用户标识相关联;以及
针对所述目标物理区域,基于所述逻辑操作信息进行对应的数据存储或数据处理。
3.根据权利要求1所述的方法,其特征在于,在所述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有所述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理,包括:
在所述数据隔离模式为数据物理隔离模式的情况下,获取与所述机构用户标识关联的目标数据库的信息;
在元数据领域,基于所述目标数据库的信息,定位至所述目标数据库和用于进行所述待操作数据的存储或处理的目标逻辑表;
针对所述目标逻辑表的逻辑操作对象,实施所述逻辑操作信息所对应的操作;
基于预设的逻辑对象与物理对象的映射关系,确定所述逻辑操作对象所处的目标逻辑表所关联的目标物理表中的目标数据列;以及
针对所述目标数据列,基于所述逻辑操作信息进行对应的数据存储或数据处理。
4.根据权利要求1-3中任一项所述的方法,其特征在于,在确定机构用户配置的数据隔离模式之前,还包括:
基于所述机构用户标识,确定所述机构用户是否配置有应用服务隔离模式;
在所述机构用户配置有应用服务隔离模式的情况下,调用与所述机构用户标识关联的目标服务节点,使得所述目标服务节点根据所述机构用户配置的数据隔离模式来执行对应的数据存储或数据处理操作;
在所述机构用户没有配置应用服务隔离模式的情况下,调用预设的默认服务集群中的空闲节点,使得所述空闲节点根据所述机构用户配置的数据隔离模式来执行对应的数据存储或数据处理操作。
5.根据权利要求4所述的方法,其特征在于,还包括:
接收机构用户的配置信息,所述配置信息包括:关于是否配置有应用服务隔离模式的第一配置信息,关于数据隔离模式为数据物理隔离模式或数据逻辑隔离模式的第二配置信息;
基于所述第一配置信息,为所述机构用户分配用于提供存储和计算服务的候选服务节点;
基于所述第二配置信息,为所述机构用户分配用于提供存储和计算服务的数据库或分配用于提供存储和计算服务的同一数据库中的物理表区域。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一配置信息,为所述机构用户分配用于提供存储和计算服务的候选服务节点,包括:
在所述第一配置信息为配置有应用服务隔离模式的情况下,根据服务集群中的资源分布和所述机构用户的需求,为所述机构用户分配满足所述机构用户需求个数的候选服务节点,并将所述候选服务节点的信息和对应的机构用户标识关联后进行存储;
在所述第一配置信息为没有配置应用服务隔离模式的情况下,为所述机构用户分配一预设服务集群以作为默认服务集群,所述默认服务集群中的所有服务节点作为所述机构用户的候选服务节点。
7.根据权利要求5所述的方法,其特征在于,所述基于所述第二配置信息,为所述机构用户分配用于提供存储和计算服务的数据库或分配用于提供存储和计算服务的同一数据库中的物理表区域,包括:
在所述第二配置信息为数据物理隔离模式的情况下,为所述机构用户分配对应的数据库,并将分配的数据库和机构用户标识关联后进行存储;
在所述第二配置信息为数据逻辑隔离模式的情况下,为所述机构用户在同一数据库中分配对应的物理表区域,并将分配的物理表区域和机构用户标识关联后进行存储。
8.一种面向多机构用户提供云服务的装置,其特征在于,包括:
接收模块,用于接收用户的应用操作请求,所述应用操作请求中携带有用户信息和对应的数据操作信息,所述数据操作信息包括:针对待操作数据实施的操作信息;
解析模块,用于对所述应用操作请求携带的信息进行解析,得到所述用户信息关联的云服务的机构用户标识、元数据领域的逻辑操作对象和逻辑操作信息;
隔离模式确定模块,用于基于所述机构用户标识,确定机构用户预先配置的数据隔离模式为数据物理隔离模式或数据逻辑隔离模式;以及
数据处理模块,用于在所述数据隔离模式为数据物理隔离模式或数据逻辑隔离模式下,基于关联有所述机构用户标识的逻辑操作对象和逻辑操作信息、以及预设的逻辑对象与物理对象的映射关系,定位至对应的目标物理位置进行数据存储或数据处理。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110921160.XA CN115705435A (zh) | 2021-08-11 | 2021-08-11 | 云服务的数据处理的方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110921160.XA CN115705435A (zh) | 2021-08-11 | 2021-08-11 | 云服务的数据处理的方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115705435A true CN115705435A (zh) | 2023-02-17 |
Family
ID=85180766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110921160.XA Pending CN115705435A (zh) | 2021-08-11 | 2021-08-11 | 云服务的数据处理的方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115705435A (zh) |
-
2021
- 2021-08-11 CN CN202110921160.XA patent/CN115705435A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9047462B2 (en) | Computer account management system and realizing method thereof | |
KR102048653B1 (ko) | 외부 데이터 소스로부터의 데이터를 이용한 데이터베이스 쿼리 응답의 강화 기법 | |
US8533229B2 (en) | Soap-based web services in a multi-tenant database system | |
US11394794B2 (en) | Fast ingestion of records in a database using data locality and queuing | |
US8214355B2 (en) | Small table: multitenancy for lots of small tables on a cloud database | |
CN104283875B (zh) | 云盘权限管理方法 | |
US9529933B2 (en) | Dynamic assignment of business logic based on schema mapping metadata | |
CN101945126A (zh) | 森林资源异构数据分布式管理系统 | |
US10599654B2 (en) | Method and system for determining unique events from a stream of events | |
CN107103011B (zh) | 终端数据搜索的实现方法和装置 | |
US10140347B2 (en) | Exposing data to query generating applications using usage profiles | |
US20190251096A1 (en) | Synchronization of offline instances | |
US10182104B1 (en) | Automatic propagation of resource attributes in a provider network according to propagation criteria | |
US20090234858A1 (en) | Use Of A Single Service Application Instance For Multiple Data Center Subscribers | |
Bellini et al. | Managing Complexity of Data Models and Performance in Broker-Based Internet/Web of Things Architectures | |
CN115905274A (zh) | 数据处理的方法、装置、电子设备及介质 | |
US11727022B2 (en) | Generating a global delta in distributed databases | |
CN115705435A (zh) | 云服务的数据处理的方法、装置、设备及介质 | |
CN112783842B (zh) | 一种日志收集方法和装置 | |
CN115017185A (zh) | 一种数据处理方法、装置及存储介质 | |
Marrero et al. | Performance analysis in NoSQL databases, relational databases and NoSQL databases as a service in the cloud | |
CN111045928A (zh) | 一种接口数据测试方法、装置、终端及存储介质 | |
US20140129459A1 (en) | Method and system for social media integration into business applications | |
US11797561B2 (en) | Reducing character set conversion | |
CN113722334B (zh) | 数据处理的方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |