CN117112531A - 数据服务化方法及设备 - Google Patents
数据服务化方法及设备 Download PDFInfo
- Publication number
- CN117112531A CN117112531A CN202310533588.6A CN202310533588A CN117112531A CN 117112531 A CN117112531 A CN 117112531A CN 202310533588 A CN202310533588 A CN 202310533588A CN 117112531 A CN117112531 A CN 117112531A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- tag
- request
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 147
- 238000012545 processing Methods 0.000 claims abstract description 120
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000007726 management method Methods 0.000 claims description 95
- 238000013500 data storage Methods 0.000 claims description 23
- 238000012508 change request Methods 0.000 claims description 13
- 238000012384 transportation and delivery Methods 0.000 abstract description 15
- 238000003860 storage Methods 0.000 description 47
- 238000004590 computer program Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 238000004519 manufacturing process Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000030279 gene silencing Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例提供了一种数据服务化方法及设备,其中,数据服务化方法包括:获取与数据标签相对应的服务创建请求;基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址;基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。本实施例提供的技术方案,基于所确定的数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务,有效地实现了自动化的数据服务化操作,由于数据服务化的过程中并不需要各方进行协同操作,从而有效地缩短了数据服务化的交付时间,并提高了目标服务的交付效率,进一步保证了数据服务化的质量和效率。
Description
技术领域
本申请涉及网络技术领域,尤其涉及一种数据服务化方法及设备。
背景技术
数据即服务(Data As A Service,简称DaaS)是一种数据管理策略,其对于当前在线/离线的数据服务应用而言,已广泛深入了各个核心商业部门(Core Business Unit/China Business Unit,简称CBU)的应用场景中,例如:用户增长(泛新人)、营销会场(大促)、各大场景(伙拼、特卖)、搜索推荐、找工厂、私域(会员号)、生意参谋等。
目前,在进行数据服务化的过程中,由于需要各个数据方进行协同,例如,在服务开发过程中需要测试、数据分析师(Data Analyst,简称DA)的介入等,这样会包含大量的线下操作时间、跨平台操作,大量时间碎片化,从而使得数据服务化流程的整体操作时间大致需要几个小时,导致实际交付时间通常要T+1,交付效率低下。
发明内容
本申请实施例提供一种数据服务化方法及设备,能够自动地进行数据服务化操作,提高了数据服务化的交付质量和交付效率。
第一方面,本申请实施例提供了一种数据服务化方法,包括:
获取与数据标签相对应的服务创建请求;
基于所述服务创建请求,确定所述数据标签的数据源以及用于实现数据服务化的目的地址;
基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
第二方面,本申请实施例提供了一种数据服务化装置,包括:
第一获取模块,用于获取与数据标签相对应的服务创建请求;
第一确定模块,用于基于所述服务创建请求,确定所述数据标签的数据源以及用于实现数据服务化的目的地址;
第一处理模块,用于基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
第三方面,本申请实施例提供了一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面所示的数据服务化方法。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面所示的数据服务化方法。
第五方面,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述处理器执行上述第一方面所示的数据服务化方法中的步骤。
第六方面,本发明实施例提供了一种数据服务化方法,包括:
显示用于实现数据服务化的操作页面,所述操作页面中包括多个数据标签以及与各个数据标签相对应的申请服务控件,所述申请服务控件用于实现服务创建操作;
获取用户针对操作页面中的任一申请服务控件所输入的执行操作;
基于所述执行操作,显示服务配置页面;
通过所述服务配置页面,获取所述数据标签的数据源以及用于实现数据服务化的目的地址;
基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
第七方面,本发明实施例提供了一种数据服务化装置,包括:
第二显示模块,用于显示用于实现数据服务化的操作页面,所述操作页面中包括多个数据标签以及与各个数据标签相对应的申请服务控件,所述申请服务控件用于实现服务创建操作;
第二获取模块,用于获取用户针对操作页面中的任一申请服务控件所输入的执行操作;
第二显示模块,用于基于所述执行操作,显示服务配置页面;
第二获取模块,用于通过所述服务配置页面,获取所述数据标签的数据源以及用于实现数据服务化的目的地址;
第二处理模块,用于基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
第八方面,本申请实施例提供了一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第六方面所示的数据服务化方法。
第九方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第六方面所示的数据服务化方法。
第十方面,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述处理器执行上述第六方面所示的数据服务化方法中的步骤。
第十一方面,本发明实施例提供了一种数据服务化方法,应用于云服务器,所述方法包括:
响应于对所述云服务器的数据服务化请求,确定数据服务化所对应的处理资源;
利用所述处理资源执行如下步骤:获取与数据标签相对应的服务创建请求;基于所述服务创建请求,确定所述数据标签的数据源以及用于实现数据服务化的目的地址;基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
第十二方面,本发明实施例提供了一种数据服务化装置,应用于云服务器,所述装置包括:
第三确定模块,用于响应于对所述云服务器的数据服务化请求,确定数据服务化所对应的处理资源;
第三处理模块,用于利用所述处理资源执行如下步骤:获取与数据标签相对应的服务创建请求;基于所述服务创建请求,确定所述数据标签的数据源以及用于实现数据服务化的目的地址;基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
第十三方面,本申请实施例提供了一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第十一方面所示的数据服务化方法。
第十四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第十一方面所示的数据服务化方法。
第十五方面,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述处理器执行上述第十一方面所示的数据服务化方法中的步骤。
本申请实施例提供的数据服务化方法及设备,通过获取与数据标签相对应的服务创建请求,基于所述服务创建请求确定所述数据标签的数据源以及用于实现数据服务化的目的地址,并基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务,有效地实现了自动化的数据服务化操作,由于数据服务化的过程中并不需要各方进行协同操作,从而有效地缩短了数据服务化的交付时间,并提高了目标服务的交付效率,进一步保证了数据服务化的质量和效率,同时也提高了该方法的实用性,有利于市场的推广与应用。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相关技术提供的服务生产的示意图;
图2为相关技术提供的服务接入的示意图;
图3为本申请实施例提供的一种数据服务化平台的结构示意图;
图4为本申请实施例提供的标签域的示意图;
图5为本申请实施例提供的对数据表进行存储的示意图;
图6为本申请实施例提供的数据服务化方法的原理示意图;
图7为本申请实施例提供的一种数据服务化方法的原理示意图;
图8为本申请实施例提供的一种数据服务化方法的流程示意图;
图9为本申请实施例提供的另一种数据服务化方法的流程示意图;
图10为本申请实施例提供的又一种数据服务化方法的流程示意图;
图11为本申请实施例提供的还一种数据服务化方法的流程示意图;
图12为本申请实施例提供的另一种数据服务化方法的流程示意图;
图13为本申请实施例提供的一种数据服务化装置的结构示意图;
图14为与图13所示实施例提供的数据服务化装置对应的电子设备的结构示意图;
图15为本申请实施例提供的另一种数据服务化装置的结构示意图;
图16为与图15所示实施例提供的数据服务化装置对应的电子设备的结构示意图;
图17为本申请实施例提供的又一种数据服务化装置的结构示意图;
图18为与图17所示实施例提供的数据服务化装置对应的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
为了方便本领域技术人员理解本申请实施例所提供的技术方案,下面对相关技术进行简要说明:数据服务化(Data As A Service,简称DaaS,数据即服务)作为一种数据管理策略,可以用于打通企业数据应用的最后一公里,其对于当前在线/离线的数据服务应用而言,已广泛深入了各个核心商业部门(Core Business Unit/China Business Unit,简称CBU)的应用场景中,例如:用户增长(泛新人)、营销会场(大促)、各大场景(伙拼、特卖)、搜索推荐、找工厂、私域(会员号)、生意参谋等。
目前,CBU数据服务化主要有以下三种形式:面向单一部门的服务形式(OneService)、面向行业平台的服务形式(指标中心)、以及面向其他部门的服务形式(各团队自研数据服务)。据不完全统计,CBU数据的日均调用次数达到50亿+(中台服务OneService 42亿,指标中心10亿,自研服务上亿),且每年有10%的速度在增长。然而,CBU的数据服务面临以下三个显著问题:
(1)服务成本高,回报率(Return on investment,简称ROI)低。
当前CBU的数据服务模式偏向生产,对于数据是否进行下线处理,缺乏有效的治理手段,这样容易出现大量的数据服务无调用仍需大量的计算和存储资源,每年维护成本攀升,CBU仅是OneService每年耗费成本在357万(还不包含存储费用)。
另外,对于数据而言,缺乏统一的计算和存储模型,由于各技术线都独立运作和开发,复用度极低,大多都私有化存储建设,存储冗余度极高;经不完全统计,大多数公共逻辑的重复率为60%,通常数据分析师(Data Analyst,简称DA)做一遍、商业智能(Businessintelligence,简称BI)做一遍、研发再做一遍,这样在开放数据处理服务(Open DataProcessing Service,简称ODPS)上至少重复计算了2遍,甚至不同的场景或者需求还会重复利用。
(2)服务生产及接入效率低。
目前,数据服务化流程的操作时间大致需要几个小时,参考附图1所示,一位熟练的同学进行数据服务化操作时,大致需要5.5小时,由于需要各个数据方进行协同作业,包含大量的线下操作时间以及跨平台操作,比如:服务开发过程中需要测试、DA的介入等,大量时间碎片化,实际交付时间通常要10个小时以上,交付效率不符合预设预期,从而导致研发产出的ROI低。
在服务化产品交付之后,则可以进行服务接入流程,如图2所示,服务接入流程可以包括:权限申请流程—实体类开发流程—接口封装流程—联调测试流程等等,经技术同学评估,服务化产品从接入到上线需要2天时间,由上可知,服务接入流程所需要的耗时较长,接入效率较低。
(3)资产服务孤立,质量难以保障,缺乏统一资产管理手段,数据应用难。
在有价值的数据和数据产生价值之间仍然存在最后一公里的跨越;每次谈到最后一公里,打通非常难,通常要涉及多个部门的密切配合才能搞定,否则只能自建,成本高昂,因为各种原因,建设了一个个“孤岛”式应用,但在实际场景应用中单一数据难以胜任,为了解决这些孤岛问题,各个部门的用户往往需要花费大量的时间和成本去修改、或者新开发、或者做集成;回归到数据本身,用户更应该关注,有哪些核心资产?这些资产在哪里?场景需要什么资产?如何提供出去?
为了解决上述技术问题,本实施例提供了一种数据服务化方法及设备,该数据服务化方法的执行主体可以为高效、低成本、高可用的一站式数据服务化平台,数据服务化平台能够以数据资产中心作为基础,提供统一的资产定义和管理操作、统一的数据服务生产/接入操作(生产自动化)、统一的数据服务管理及治理操作以及统一调度及资源优化模型,具体的,参考附图3所示,统一的资产定义和管理操作以及统一的数据服务管理及治理操作可以通过指标定义与管理模块来实现,其中,指标定义与管理模块可以包括指标配置模块、配置校验模块、血缘追踪模块、口径校验模块、准入审核模块、配置审核模块、生命周期管理模块、场景域管理模块以及标签域管理模块:
上述的指标配置模块用于实现指标配置操作,具体可以包括指标的生成操作、增加操作、修改操作以及删除操作等等;配置校验模块用于对所配置的指标进行配置校验操作,以保证所配置的指标满足预设要求;口径校验模块用于对数据口径(用于限定数据的口径、原定义、格式等等)进行配置校验操作,以保证所配置的数据口径满足预设要求;血缘追踪模块用于确定与配置的指标存在关联关系的数据服务、指标调用量以及应用场景,并对指标、存在关联关系的数据服务、指标调用量以及应用场景建立血缘关系,以基于所建立的血缘关系进行数据追踪和管理操作;准入审核模块用于对数据服务化平台的用户进行身份审核操作,以实现合法的数据处理操作;配置审核模块用于对所配置的数据服务进行审核操作,以使得所配置的数据服务满足预设要求。
统一的数据服务管理及治理操作可以通过生命周期管理模块、标签域管理模块以及场景域管理模块来实现,此时,生命周期管理模块,用于获取各个指标(也可以称为数据标签)所对应的生命周期,并基于各个指标所对应的生命周期对各个指标以及与指标所对应的关联数据服务进行管理操作;标签域管理模块,用于获取各个指标所对应的标签域,并基于标签域对所建立的数据服务进行管理操作;场景域管理模块,用于获取各个数据服务所对应的场景域,基于各个数据服务所对应的场景域对所建立的数据服务进行管理操作。
另外,统一的数据服务生产/接入操作可以通过服务构建与管理模块来实现,服务构建与管理模块包括服务生产模块和服务接入模块,上述的服务生产模块包括:服务创建模块、单元创建模块、缓存加速模块、无感部署模块、自动化测试模块、版本管理模块、生命周期模块、公私域管理模块;服务接入模块包括:标签配置模块(用于统一数据标签或者指标的中文命名)、权限管理模块、服务路由、统一网关等等;
具体的,服务创建模块,用于获取服务创建需求,基于服务创建需求来创建相对应的数据服务,用于实现将数据变成服务;单元创建模块,用于配置服务管理目录,并基于服务管理目录对服务进行管理;缓存加速模块,用于对服务相关数据(历史数据)进行缓存处理操作;无感部署模块,用于实现对所创建的服务进行无感部署操作;自动化测试模块,用于在创建相对应的数据服务之后,对所创建的数据服务进行自动化测试操作,以保证数据服务的服务处理质量和效果;版本管理模块,用于对所创建的数据服务进行升级或者更新操作,以实现服务更新操作;生命周期模块,用于基于数据标签的生命周期对数据服务进行管理;公私域管理模块,用于基于预先配置的公域目录、私域目录对数据服务进行管理。
服务接入模块中的标签配置模块、服务路由和统一网关能够完成相关的配置操作,并实现其他平台与该数据服务化平台之间建立通信连接操作,权限管理模块用于按照预设的权限对数据服务化操作进行管理操作,例如:不同的用户可以对应有不同的数据服务化权限。
统一调度及资源优化可以通过检测与调度模块来实现,检测与调度模块可以包括:用于实现统一检测操作的统一检测模块和用于实现统一调度操作的统一调度模块,其中,统一检测模块用于对平台所能够提供的数据化服务进行统一降级、熔断、限流以及隔离操作;统一调度模块,用于对所提供的数据服务进行数据同步操作、信号通讯操作、检测操作、基线保障操作。
需要注意的是,数据服务化平台还可以包括服务应用模块,用于提供场景型应用和平台型应用,其中,场景型应用可以通过单一接口、轻应用来向各个不同的用户提供服务,平台型应用可以通过数据流通接口、能力集成接口、应用程序接口(ApplicationProgramming Interface,简称API)的开放接口来向各个平台提供服务;并且,数据服务化平台还可以包括用于实现数据源进行存储以及管理的存储及应用管理模块,具体的,存储及应用管理模块可以包括用于对数据源进行管理操作的数据源管理模块、用于对数据进行存储的存储模型管理模块、用于对所创建的服务应用进行管理的应用管理模块。
具体的,基于上述的数据服务化平台,可以实现统一的全面自动化的数据服务生产/接入方法,该方法可以包括:获取与数据标签相对应的服务创建请求;基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址;基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
在接入数据化服务的流程上,建立中心化(数据服务化所对应的数据源为预设配置的中心数据库)和去中心化(数据服务化所对应的数据源为与用户相对应的个性化数据源)两种服务模式满足不同场景的场景接入诉求,提供统一软件开发工具包(SoftwareDevelopment Kit,简称SDK)接入及统一服务形态降低接入成本。具体的,在获取到服务创建请求之后,可以确定数据源是否已经存储在资产数据库中,如果数据源已存储在资产数据库中时,则可以一键生成与数据标签相对应的目标服务,这样即实现了中心化的数据服务化操作;如果数据源未存储在资产数据库中时,则可以通过用户个性化配置的数据源(例如:本地数据库)进行数据服务化操作,这样即实现了去中心化的数据服务化操作。
在生产流程上,本实施例中的方法可以支持多种资产形态进行服务化:表、标签、结构化查询语言数据库(Structured Query Language,简称SQL),遵循预设指标定义确保口径统一。相对于相关技术而言,有效地简化了生产流程,具体的,可以将数据同步、服务开发、测试开发全面标准化、配置化,比如:数据同步则无需配置任务,无需配置字段映射、服务映射等信息,由系统完成自动同步及字段映射。
此外,本实施例中的数据服务化平台还可以实现统一数据标签服务管理及治理体系,数据服务化平台依托全域数据资产体系,贴合应用场景,建立多源、多数据类型进行统一的数据服务化管理;具体的,本实施例中的方法可以包括:获取数据标签所对应的标签域,基于标签域对数据标签进行管理。
其中,用户可以按照需求打造统一的数据共享及服务区域,并可以根据需求建设标签域体系,一般基于所建立的标签域体系对数据标签进行管理,在一些实例中,标签域体系可以包括实体域(买家、商家、商品等等)、场景域(招商、支付宝、搜索等等)、私域(用户根据个人化需求所建立的个性化标签域,该个性化标签域在平台中并不会进行公开显示),如图4所示,上述的实体域用于以标签实体为单元建立数据管理目录;场景域用于以场景为单元建立应用属性数据目录;私域用于以生产临时指标区域,在一些实例中,对于标签域体系中的数据标签而言,在一个显示页面中可以显示有限数量的数据标签,一般情况下,显示页面中不超过20个数据标签,对于标签域体系中的数据标签而言,可以根据标签的生命周期对数据标签进行自动管理,例如,在数据标签的生命周期为30天时,那么在30天后则可以自动对数据标签进行静默操作,并还可以根据需求对数据标签进行续签操作。
在又一些实例中,不仅可以基于标签域对数据标签进行管理操作,还可以建立与数据标签相对应的全链路血缘数据,并基于全链路血缘数据打造数据指标治理体系;此时,本实施例中的方法可以包括:获取与数据标签相对应数据源、数据服务以及应用场景;对数据源、数据标签、数据服务以及应用场景建立关联关系;基于关联关系对数据服务或者数据标签进行管理。
在另一些实例中,由于平台中大量都可数据指标为一次性的用途,为了提高数据标签的管理质量和效率,可以根据需求设定严格的汰换逻辑,而后基于汰换逻辑对数据标签进行管理;具体的:
实现方式(1),汰换逻辑可以基于数据标签所对应的调用量对数据标签进行管理,此时,为了能够实现基于数据标签所对应的调用量对数据标签进行管理,用户可以建立指标服务检测体系,而后可以基于指标服务检测体系对数据标签进行汰换管理操作,例如:检测下游近33天、93天的调用量或者无下游时,当调用量小于设定的阈值调用时,则采取先静默后下线处理(通过预设应用程序进行通知)。
实现方式(2),汰换逻辑不仅可以基于数据标签所对应的调用量对数据标签进行管理,还可以基于数据标签的生命周期对数据标签进行管理,此时,用户可以根据应用需求设定指标类型及指标生命周期,例如,指标类型分为两种:一种是生产指标通常生命周期较长,一种是临时指标,最长生命周期不超过30天(30天后自动下线)。
实现方式(3),汰换逻辑不仅可以基于数据标签所对应的调用量以及数据标签的生命周期来对数据标签进行管理,还可以建立指标价值评估体系,以确定数据标签的标签成本以及标签价值,具体的,可以基于指标价值评估体系来确定数据标签的计算量、存储量以及调用次数,如果数据标签的计算量和存储量较大,则说明数据标签的标签成本较大;如果数据标签的计算量和存储量较小,则说明数据标签的标签成本较小;对于计算量、存储量较大但调用次数较低的数据标签,则可以生成数据标签相对应的标签推送信息,以将标签推送信息发送至标签生产者对数据标签进行治理。
在通过数据服务化平台创建与数据标签相对应的目标服务之后,本实施例中的方法还可以通过数据服务化平台实现统一的资源调度以及资源优化操作,此时,为了能够实现对各个数据标签以及目标服务进行统一的资源调度,数据服务化平台可以配置有统一的调度策略,并基于统一的调度策略、并沿用指标中心作为整套数据管理及调度框架,以使得用户可以对所创建的目标服务或者数据标签进行调用。
另外,本实施例中的数据服务化平台还可以实现统一的存储模型,用户可以通过以下查询类型来进行服务查询操作或者信息查询操作,具体的查询方式可以包括以下任意之一:简单查询方式、KV查询方式(主键查询)、复杂查询方式、结构化查询语言(StructuredQuery Language,简称Sql)类型单表查询等等,其中,简单查询方式可以包括非关系型的数据库NoSql的查询类型,简单查询方式大约占整个查询服务操作的80%+占比;KV查询方式可以包括KKV查询方式,其中,KKV查询中以两个属性作为主键查询或主键+任意多个属性查询,具体的,第一个KEY为主键,比如:user_id,item_id,member_id等,第二个KEY为table名称,标识服务数据源名称;Value为指标名称,遵循OneData命名规范;复杂查询方式占整个查询服务操作的20%-占比;Sql类型单表查询可以包括Sql类型多表查询方式,上述的Sql类型多表查询方式可以包括:Sql类型多表协同查询方式、搜索引擎查询方式以及图查询方式等等。
此外,在针对数据标签(数据指标)生成目标服务之后,可以选择与数据标签(数据标签)相对应的存储数据库,以HBase数据库为例,可以基于数据库的存储特性对存储的数据进行适应性调整操作,具体的,如图5所示,在数据库中,可以按照key的表格进行数据存储操作,此时的数据与数据表格之间的关系不是一对一的映射关系,而是多对一的映射关系,例如:在数据仓库中所存储的表格包括TableA、TableB、TableC、TableD、TableE时,上述的TableA和TableB对应于关键词UserId,由于TableA和TableB均对应于同一种UserId,因此,在对数据仓库中的表格进行存储时,可以将TableA和TableB以同一个关键词User_Id作为Key进行存储,从而有效地实现了以二对一的映射存储关系对数据表格进行存储。相类似的,TableC可以以member_Id作为关键词Key进行存储,TableD可以以Item_Id作为关键词Key进行存储。
具体的,参考附图6所示,本实施例中的数据服务化方法可以包括以下步骤:
标签配置人员可以根据需求创建标签或者编辑标签,获得标签草稿,标签草稿可以经过标签审批人员进行审批操作,在标签草稿通过审批之后,可以获得数据服务化平台中的数据标签;
系统管理员可以根据需求进行系统运维操作,系统运维操作可以对数据标签进行运维管理操作,此时的标签可以对应有服务资源、应用域、数据源类型、值类型、维度、指标&引擎映射,数据标签可以对应有应用管理。
在用户针对数据服务化平台上的数据标签存在服务化需求时,可以包括以下步骤:
用户可以针对数据服务化平台输入服务创建请求;在获取到服务创建请求之后,可以基于服务创建请求确定数据标签的数据源以及用于实现数据服务化的目的地址,上述的数据源可以包括预设的公用数据源和用户建立的个性化数据源,在数据源为预设的公用数据源时,则可以确定数据服务化为中心化的数据服务化操作;在数据源为用户建立的个性化数据源时,则可以确定数据服务化为去中心化的数据服务化操作。
在获取到数据源和目的地址之后,可以基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务;具体的,由于不同的数据源类型可以对应有不同的服务生成方式,因此,在获取到数据源之后,可以先识别数据源的数据源类型;在数据源类型为第一预设类型(预设的标准类型)时,则可以基于第一预设类型对系统中的数据标签进行标准化处理,生成与数据标签相对应的标准化标签,这样可以使得能够表达同一个含义的不同数据标签进行统一化处理,进而可以降低数据标签的重复率。在数据源类型为第二预设类型(预设的个性化类型、用户配置的私有化类型)等等,此时,可以通过预设接口(dump接口)获取到第二预设类型的数据源。
在获取到数据标签所对应的数据源之后,可以基于数据源和目的地址来生成数据同步任务,而后可以基于数据同步任务将数据源同步至目的地址,以获得与数据标签相对应的目标服务,目标服务可以实现以下至少之一:信息汇总服务、识别用户是否为新人的服务、实体标签添加服务、商家交易额的查询服务、商家的支付买家数量的查询服务、商家的支付金额的查询服务等等。
在生成目标服务之后,为了能够使得数据服务化平台的用户能够对所创建的目标服务进行调用,所创建的目标服务的触发方法可以人工触发方式和系统触发方式,具体的,数据服务化平台可以提供人工触发入口和系统触发入口,人工触发入口用于供用户提供接口,以使得用户可以主动对所创建的目标服务进行调用;系统触发入口用于获取上游任务的任务结果,在任务结果满足预设条件时,则可以基于任务结果自动触发目标服务,以基于目标服务进行相对应的数据处理操作;在任务结果不满足预设条件时,则不会触发目标服务进行相对应的数据处理操作。
另外,数据服务化平台中可以包括多个目标服务,在获取到多个目标服务之后,可以配置调度策略,而后可以基于调度策略可对所创建的一个或多个目标服务进行调度操作;相类似的,数据服务化平台中可以包括版本切换模块,通过版本切换模块可以对所创建的目标服务进行版本更新操作,以实现服务升级或者服务更新操作。
在创建目标服务之后,可以为了能够使得用户可以对数据服务化平台中所提供的目标服务进行调用,在基于数据标签建立相对应的目标服务之后,可以确定数据标签的指标元数据,而后可以对指标元数据进行中间存储,这样可以使得数据服务化平台的用户可以查看到平台所能够提供的目标服务,并可以基于需求对任一的目标服务进行调用和查看操作等等,例如,用户可以通过调度更新数据接口对目标服务进行调度操作进行更新,通过数据实时更新接口对目标服务所对应的数据进行更新操作,通过数据查询接口进行数据查询操作等等。
此外,在获取到数据标签以及数据标签相对应的目标服务之后,可以将数据标签以及目标服务存储至预设数据库中,具体的,在所建立的目标服务为公域服务时,则可以对目标服务进行公开存储;在所建立的目标服务为私域服务时,则可以对私域服务进行私域存储。相类似的,用户可以根据需求对所存储的目标服务进行管理和维护操作,例如:可以根据需求进行服务限流操作、服务检测操作、服务鉴权操作、多级存储操作以及服务适配操作等等,在对所存储的目标服务进行管理和维护操作时,可以获取服务管理和维护日志,并可以将所生成的服务管理和维护日志存储在云服务器中,以使得用户可以根据服务管理和维护日志查看到对目标服务的管理和维护操作。在目标服务的运行出现异常时,则可以生成服务告警信息,并对服务告警信息进行显示。
本实施例提供的数据服务化平台,能够以自助的方式实现数据服务化,有效地实现了自动化的数据服务化操作,由于数据服务化的过程中并不需要各方进行协同操作,从而有效地缩短了数据服务化的交付时间,并提高了目标服务的交付效率;一方面,该数据服务化平台能够实现数据更大的开放度,有效地降低了数据对技术依赖,充分发挥应用创新潜能,打造企业级的数据资产的运营能力;另一方面,该数据服务化平台能够完成统一的数据服务生产/接入流程,实现全面自动化;并且,还能够实现统一的数据标签服务管理及治理体系以及统一的调度及资源优化;具体的,通过数据同步任务能够实现数据服务的稳定性,并可以对数据标签和相关数据进行定时清理操作,进一步提高了该数据服务化平台的实用性,有利于市场的推广与应用。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图7为本申请实施例提供的一种数据服务化方法的原理示意图;图8为本申请实施例提供的一种数据服务化方法的流程示意图;参考附图7-图8所示,本实施例提供了一种数据服务化方法,可以实现全自动的服务生产操作,其中,该方法的执行主体为数据服务化装置,可以理解的是,该数据服务化装置可以实现为软件、或者软件和硬件的组合;在数据服务化装置实现为硬件时,其具体可以是具有数据服务化能力的各种电子设备。当数据服务化装置实现为软件时,其可以安装在上述的电子设备中,
该数据服务化装置可以实现为本地服务器或者云端的服务器,此时,该数据服务化方法可以在云端来执行,在云端可以部署有若干计算节点(云服务器),每个计算节点中都具有计算、存储等处理资源。在云端,可以组织由多个计算节点来提供某种服务,当然,一个计算节点也可以提供一种或多种服务。云端提供该服务的方式可以是对外提供服务接口,用户调用该服务接口以使用相应的服务。服务接口包括软件开发工具包(SoftwareDevelopment Kit,简称SDK)、应用程序接口(Application Programming Interface,简称API)等形式。在物理实现上,数据服务化装置可以是任何能够提供计算服务,响应服务创建请求,并可以基于服务创建请求进行数据服务化操作的设备,例如:可以是集群服务器、常规服务器、云服务器、云主机、虚拟中心等。数据服务化装置的构成主要包括处理器、硬盘、内存、系统总线等,和通用的计算机架构类似。
数据服务化装置通信连接有客户端,客户端可以是任何具有一定数据传输能力的计算设备,具体实现时,客户端可以是手机、个人电脑PC、平板电脑、设定应用程序等等。此外,客户端的基本结构可以包括:至少一个处理器。处理器的数量取决于客户端的配置和类型。客户端也可以包括存储器,该存储器可以为易失性的,例如随机存取存储器(RandomAccess Memory,简称RAM),也可以为非易失性的,例如只读存储器(Read-OnlyMemory,简称ROM)、闪存等,或者也可以同时包括两种类型。存储器内通常存储有操作系统(Operating System,简称OS)、一个或多个应用程序,也可以存储有程序数据等。除了处理单元和存储器之外,客户端还包括一些基本配置,例如网卡芯片、IO总线、显示组件以及一些外围设备等。可选地,一些外围设备可以包括,例如键盘、鼠标、输入笔、打印机等。其它外围设备在本领域中是众所周知的,在此不做赘述。
在上述本实施例中,数据服务化装置与客户端进行网络连接,该网络连接可以是无线或有线网络连接。若数据服务化装置可以与客户端是通信连接,该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax、5G、6G等中的任意一种。具体的,该数据服务化方法可以包括:
步骤S801:获取与数据标签相对应的服务创建请求。
步骤S802:基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址。
步骤S803:基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
下面对上述各个步骤的具体实现过程和实现效果进行详细说明:
步骤S801:获取与数据标签相对应的服务创建请求。
其中,数据服务化装置中可以配置有一个或多个数据标签,数据标签可以包括数据服务化装置所能够提供的默认标签或者用户配置的个性化标签,举例来说,数据标签可以包括以下至少之一:“最近90天支付买家数量”、“最近90天的支付金额”、“最近7天的支付买家数量”等等。需要注意的是,数据标签不仅可以包括标签标识、中文名称、创建时间、值类型、指标逻辑、时效等等,还可以对应有服务资源、场景域、数据源类型、值类型、标签维度以及指标&引擎映射等等。
具体的,在用户根据需求进行数据标签的创建或者编辑操作时,可以包括以下步骤:获取标签配置页面,标签配置人员在标签配置页面中输入标签创建操作或者标签编辑操作;基于标签创建操作创建标签;基于标签编辑操作编辑标签,从而有效地实现了标签创建操作或者标签编辑操作,获得标签草稿。为了能够数据服务化装置所提供的数据标签满足预设的合法、合理要求,在获取到标签草稿之后,可以使得标签审批人员对标签草稿进行审批操作,在标签草稿通过审批操作之后,则可以对审批通过后的标签草稿进行发布操作;在标签草稿未通过审批操作之后,则禁止对标签操作进行发布操作,这样有效地保证了数据标签的发布合法性和合理性。
另外,对于数据服务化装置中所配置的数据标签而言,按照数据标签是否对应有相对应的标签服务分为已创建服务的数据标签以及未创建服务的数据标签,对于已创建服务的数据标签而言,用户可以直接对数据标签所对应的已创建服务进行调用操作;对于未创建服务的数据标签而言,用户可以针对数据标签进行服务创建操作。
当用户针对数据标签存在服务创建需求时,则可以使得数据服务化装置获取到与数据标签相对应的服务创建请求,在一些实例中,服务创建请求可以通过人机交互操作来获得,此时,获取与数据标签相对应的服务创建请求可以包括:显示与数据标签相对应的交互界面,交互界面中包括用于实现数据服务化的服务申请控件;获取用户针对服务申请控件所输入的执行操作;基于执行操作确定与数据标签相对应的服务创建请求,该服务创建请求中可以包括数据标签的标签标识。
在另一些实例中,服务创建请求不仅可以通过人机交互操作来获得,还可以通过第三设备获取服务创建请求,此时,获取与数据服务化装置通信连接的第三设备,第三设备中可以存储有服务创建请求;而后使得数据服务化装置可以通过第三设备主动或者被动地获取到与数据标签相对应的服务创建请求。
步骤S802:基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址。
由于数据服务化操作与数据标签的数据源存在关联关系,不同的数据源对应有不同的服务生成方式,因此,在获取到服务创建请求之后,可以基于服务创建请求确定数据标签的数据源。其中,数据标签的数据源可以包括预设的公用数据源或者用户创建的个性化数据源,在数据标签的数据源为预设的公用数据源时,公用数据源可以存储在预设云端或者预设服务器上,进而可以确定此时数据服务化装置所提供的数据服务化操作为中心化服务操作;在数据标签的数据源为用户创建的个性化数据源时,个性化数据源可以存储在用户端本地,进而可以确定此时数据服务化装置所提供的数据服务化操作为去中心化的服务操作。
具体的,数据标签的数据源可以通过人机交互操作来获得,此时,基于服务创建请求,确定数据标签的数据源可以包括:基于服务创建请求,显示数据源配置页面;获取用户在数据源配置页面中输入的数据源配置操作;基于数据源配置操作获得数据标签的数据源。在另一些实例中,数据标签的数据源可以为默认的数据源,此时,基于服务创建请求,确定数据标签的数据源可以包括:基于服务创建请求,确定数据标签的默认数据源;将默认数据源确定为数据标签的数据源。
另外,由于数据服务化操作用于将数据转换为相对应的目标服务,在进行数据服务化的过程中,需要进行数据同步操作,具体的,可以将数据同步至预设地址,以实现稳定的数据服务化操作。在获取到服务创建请求之后,不仅可以基于服务创建请求确定数据标签的数据源,还可以确定用于实现数据服务化的目的地址,该目的地址可以基于用户的输入操作来获得。需要注意的是,数据标签的数据源以及用于实现数据服务化的目的地址可以同步获得或者异步获得,本领域技术人员可以根据具体的应用场景对数据源以及目的地址的确定方式进行配置。
步骤S803:基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
在获取到数据源和目的地址之后,可以基于数据源和目的地址进行数据服务化处理操作,从而可以获得与数据标签相对应的目标服务,其中,一个数据标签可以对应一目标服务,不同的数据标签对应有不同的目标服务。例如:数据标签“最近90天支付买家数”可以对应有“最近90天支付买家数的计算服务”,数据标签“最近90天支付金额”可以对应有“最近90天支付金额的计算服务”,数据标签“最近7天支付买家数”可以对应有“最近7天支付买家数的计算服务”。
另外,本实施例对于目标服务的具体获取方式不做限定,在一些实例中,目标服务可以通过预先训练好的机器学习模型或者神经网络模型对数据源和目的地址进行处理所获得,此时,基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务可以包括:获取预先训练好的机器学习模型或者神经网络模型;将数据源和目的地址输入至机器学习模型或者神经网络模型中,获得机器学习模型或者神经网络模型所输出的与数据标签相对应的目标服务。
在另一些实例中,目标服务不仅可以通过预先训练好的机器学习模型或者神经网络模型对数据源和目的地址进行处理所获得,还可以基于数据同步操作来建立相对应的目标服务,此时,基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务可以包括:基于数据源和目的地址生成数据同步任务;基于数据同步任务将数据源同步至目的地址,以获得与数据标签相对应的目标服务。
在获取到数据源和目的地址之后,可以基于数据源和目的地址生成数据同步任务,而后可以基于数据同步任务将数据源同步至目的地址,以获得与数据标签相对应的目标服务。其中,由于不同的数据源可以对应有不同的数据同步流程,在数据源为预设的标准数据源时,则可以先获取数据源以及数据源所对应的数据标签,而后对数据源和数据标签进行标准化处理,获得标准数据,而后可以基于标准化后的标准数据生成数据同步任务,在生成数据同步任务之后,可以基于数据同步任务将数据源同步至目的地址,以在将数据进行服务化处理的过程中,可以获取到与数据标签相对应的目标服务。或者,在数据源不是预设的标准数据源时,则可以通过预设接口获取到数据标签的数据源,而后可以基于数据源生成数据同步任务,在生成数据同步任务之后,可以基于数据同步任务将数据源同步至目的地址,以在将数据进行服务化处理的过程中,可以获取到与数据标签相对应的目标服务。
在又一些实例中,为了能够提高该方法的实用性,在获得与数据标签相对应的目标服务之后,本实施例中的方法还可以实现统一的数据服务接入流程,实现服务的全面自动化,此时,本实施例中的方法可以包括:获取服务调用请求;基于服务调用请求,确定与目标服务相对应的关联应用以及申请用途;通过关联应用向用户提供目标服务,其中,目标服务与申请用途相对应。
在生成与数据标签相对应的目标服务之后,用户可以针对所生成的目标服务进行服务调用操作,在用户存在服务调用需求时,可以使得数据服务化装置获取到服务调用请求,该服务调用请求可以通过用户输入的人机交互操作来获得,或者,服务调用请求可以通过预设的服务调用周期自动获得,所获得的服务调用请求中可以包括待调用的服务标识;在获取到服务调用请求之后,可以基于服务调用请求来确定与目标服务相对应的关联应用以及申请用途,其中,与目标服务相对应的关联应用用于标识与目标服务相对应的调用应用程序,申请用途用于标识目标服务的应用场景。
具体的,本实施例对于关联应用以及申请用途的具体确定方式不做限定,在一些实例中,关联应用以及申请用途可以通过用户输入的交互操作来获得,此时,获取到服务调用请求之后,可以显示服务配置页面,获取用户在服务配置页面所输入的执行操作,基于执行操作确定与目标服务相对应的关联应用以及申请用途,上述的关联应用可以为应用程序的名称信息、链接信息等等,申请用途可以为文字描述信息。在另一些实例中,关联应用以及申请用途可以通过用户在备选应用以及备选用途中输入的选择操作来获得,此时,基于服务调用请求,确定与目标服务相对应的关联应用以及申请用途可以包括:基于服务调用请求,确定与目标服务相对应的多个备选应用以及备选用途;获取用户在多个备选应用以及备选用途中输入的选择操作,获得与目标服务相对应的关联应用以及申请用途,从而有效地保证了对关联应用以及申请用途进行确定的准确可靠性。在获取到关联应用之后,可以通过关联应用向用户提供目标服务,此时的目标服务与申请用途相对应,这样有效地保证了所生成的目标服务可以满足用户需求。
为了进一步提高该方法的实用性,本实施例中的方法可以针对数据标签建立全链路血缘关系,以便基于所建立的全链路血缘关系对数据标签进行管理,此时,本实施例中的方法还可以包括:获取与数据标签相对应的数据源;确定目标服务的申请用途;对数据标签、目标服务、数据源以及申请用途进行关联存储。
具体的,在针对数据标签建立相对应的目标服务时,可以获取与数据标签相对应的数据源,该数据源可以包括公共数据源和私有数据源,为了能够进一步实现对数据标签以及目标服务进行管理操作,在建立与数据标签相对应的目标服务之后,可以确定目标服务的申请用途,该申请用途用于标识目标服务所对应的应用场景,例如:电商场景、会议场景、数据统计场景等等,申请用途可以通过人机交互操作来确定。
在获取到数据标签、目标服务、数据源以及申请用途之后,可以对数据标签、目标服务、数据源以及申请用途进行关联存储,从而可以建立与数据标签相对应的全链路血缘(从数据源->数据标签->目标服务->申请用途),而后便于基于所建立的全链路血缘对数据标签或者目标服务进行管理操作,进一步提高了该方法的实用性。
本实施例提供的数据服务化方法,通过获取与数据标签相对应的服务创建请求,基于所述服务创建请求确定所述数据标签的数据源以及用于实现数据服务化的目的地址,并基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务,有效地实现了自动化的数据服务化操作,由于数据服务化的过程中并不需要各方进行协同操作,从而有效地缩短了数据服务化的交付时间,并提高了目标服务的交付效率,进一步保证了数据服务化的质量和效率,同时也提高了该方法的实用性,有利于市场的推广与应用。
图9为本申请实施例提供的另一种数据服务化方法的流程示意图;在上述实施例的基础上,继续参考附图9所示,本实施例中的方法不仅可以实现数据服务化操作,还能够实现对数据服务化装置所能够提供的数据标签以及相关的目标服务进行统一管理操作,此时,本实施例中的方法还可以包括:
步骤S901:获取与数据标签相对应的标签管理请求。
其中,为了进一步提高数据服务化装置的实用性,用户可以根据需求对数据服务化装置中的数据标签进行管理操作,此时,可以使得数据服务化装置获取到与数据标签相对应的标签管理请求,此时,标签管理请求的具体获取方式与服务调用请求的具体获取方式相类似,具体可参考上述陈述内容,在此不再赘述。
另外,不同的应用场景可以对应有不同的标签管理请求,在一些实例中,标签管理请求可以实现为标准化请求,上述的标准化请求用于将数据服务化装置中所提供的所有数据标签进行标准化处理操作,获得处理后标签,任意两个处理后标签所代表的标签含义不相同。在另一些实例中,标签管理请求可以实现为汰换请求,上述的汰换请求用于对数据标签进行更换、删除或者下线操作等等。
步骤S902:基于标签管理请求对数据标签进行统一管理。
在获取到标签管理请求之后,可以基于标签管理请求对数据服务化装置中所提供的数据标签进行统一管理,在一些实例中,基于标签管理请求对数据标签进行统一管理可以包括:在标签管理请求为标准化请求时,基于标准化请求对数据标签进行标准化处理,获得处理后标签,其中,任意两个处理后标签不相同;和/或,在标签管理请求为汰换请求时,基于汰换请求对数据标签进行汰换处理。
具体的,数据服务化装置中可以存储有多个不同形式的数据标签,不同形式的数据标签可以对应有不同的数据源,由于不同的数据源可能对应有不同的表达方式和形式,因此,数据服务化装置中所存储的不同形式的数据标签可能对应于同一个含义,例如:数据标签“最近60天内的支付金额”与数据标签“最近两个月内的支付金额”,两个数据标签的表达内容之间存在区别,但是对应于同一个标签含义,此时,为了能够避免上述标识同一个含义的多个不同形式的数据标签存储在数据服务化装置中,这样不仅容易提高标签占用空间,还增加了对数据标签的调用量进行统计的难度。因此,本实施例中的数据服务化装置可以对数据标签进行标准化处理,经过标准化处理后的任意两个处理后标签各不相同,有效地降低了对数据标签的调用量进行统计的难度,增加了数据服务化的质量和效率。
除了能够实现对数据标签进行标准化处理之外,还能够基于数据标签的使用情况对数据标签进行汰换处理操作,在一些实例中,可以根据数据标签的标签调用量来对数据标签进行汰换处理,此时,基于汰换请求对数据标签进行汰换处理可以包括:获取与数据标签相对应的标签调用量;在标签调用量小于或等于预设阈值时,则基于汰换请求对数据标签所对应的目标服务、或者数据标签所对应的目标服务以及数据标签进行静默或者下线处理。
其中,在用户根据需求对数据标签进行调用操作时,数据服务化装置可以获取与数据标签相对应的标签调用量(也可以称为服务调用量),该标签调用量用于标识数据标签在预设时间段内的被调用次数,在获取到与数据标签相对应的标签调用量之后,可以将标签调用量与预设阈值进行分析比较,在标签调用量小于或等于预设阈值时,则说明数据标签在预设时间段内的被调用次数较少,即说明用户对数据标签或者数据标签所对应的目标服务的调用需求较少,进而可以基于汰换请求对数据标签所对应的目标服务、或者数据标签所对应的目标服务以及数据标签进行静默或者下线处理。
在基于汰换请求对数据标签所对应的目标服务、或者数据标签所对应的目标服务以及数据标签进行下线处理之前,为了能够使得标签管理者能够及时地了解到数据标签的当前状态,则可以生成与数据标签相对应的下线提醒信息,并将下线提醒信息通过预设应用程序或者预设邮件地址发送至标签管理者,以使得标签管理者可以基于下线提醒信息对数据标签进行管理操作,例如,可以保持对数据标签的上线状态;或者,允许对数据标签进行下线操作等等。
具体的,在标签调用量小于或等于预设阈值时,则可以基于汰换请求对数据标签所对应的目标服务进行静默处理;而后统计静默处理后预设时间段内的服务调用量,在服务调用量小于或等于预设调用阈值时,则可以对目标服务进行下线处理;在服务调用量大于预设调用阈值时,则可以恢复对目标服务进行上线处理。或者,在标签调用量小于或等于预设阈值时,则可以基于汰换请求对数据标签所对应的目标服务以及数据标签进行静默处理,而后可以统计静默处理后预设时间段内的服务调用量,在服务调用量小于或等于预设调用阈值时,则可以对目标服务和数据标签进行下线处理;在服务调用量大于预设调用阈值时,则可以基于汰换请求对数据标签以及目标服务进行上线处理。
在另一些实例中,不仅可以根据数据标签的标签调用量来对数据标签进行汰换处理,还可以基于数据标签的生命周期对数据标签进行汰换处理,此时,基于汰换请求对数据标签进行汰换处理可以包括:获取与数据标签相对应的生命周期;在数据标签的存在时间达到生命周期时,则基于汰换请求对数据标签进行下线处理。
其中,在数据服务化装置获取到数据标签时,用户可以根据需求对数据标签的生命周期进行配置操作,不同的生命周期可以对应有不同有效时长的数据标签,因此,在数据服务化装置获得数据标签时,可以获取与数据标签相对应的生命周期,该生命周期可以是用户基于需求预先配置的或者是预先调整过的生命周期。在获取到与数据标签相对应的生命周期之后,可以基于数据标签的生命周期对数据标签进行管理,具体的,在数据标签的存在时间达到生命周期时,则可以基于汰换请求对数据标签进行下线处理。
举例来说,在用户通过数据服务化装置进行标签配置操作,获得数据标签时,可以同步对数据标签的生命周期进行配置,而后在通过数据服务化转置进行数据服务化操作时,可以实时获取与数据标签相对应的生命周期,该生命周期可以为预设的30天、60天、90天或者1年等等,而后可以确定数据标签的存在时间,具体的,可以通过数据标签的标签创建时间和当前时间来确定数据标签的存在时间,在存在时间达到生命周期时,则说明数据标签的使用已经达到时长要求,则可以基于汰换请求对数据标签下线处理操作,例如:在数据标签的存在时间达到预设的30天时,则可以自动对数据标签进行下线处理。
在又一些实例中,不仅可以根据数据标签的标签调用量、生命周期来对数据标签进行汰换处理,还可以基于数据标签的标签成本以及标签价值进行汰换处理,此时,基于汰换请求对数据标签进行汰换处理可以包括:获取与数据标签相对应的标签成本以及标签价值;在标签成本大于或等于预设成本、且标签价值小于预设价值时,则基于汰换请求生成与数据标签相对应的标签管理信息,并将标签管理信息发送至标签生产者,以使标签生产者基于标签管理信息对数据标签进行管理。
其中,对于数据服务化装置中的数据标签而言,在对数据标签进行配置或者生成操作时,往往也存在标签配置成本或者标签生成成本,而不同的标签配置成本或者标签生成成本的数据标签可能对应有不同的标签调用价值,为了能够进一步保证对数据标签进行管理的质量和效率,可以获取与数据标签相对应的标签成本以及标签价值,在一些实例中,与数据标签相对应的标签成本与数据标签的计算量或者与数据标签的存储量相关,此时,获取与数据标签相对应的标签成本可以包括:获取与数据标签相对应的计算量或者与数据标签的存储量;基于计算量或者存储量来确定与数据标签相对应能够的标签成本,其中,数据标签的计算量或者存储量越大,数据标签的标签成本越高,反之则反之。
在又一些实例中,与数据标签相对应的标签成本可以与数据标签的计算量和存储量相关,此时,获取与数据标签相对应的标签成本可以包括:获取与数据标签相对应的计算量和存储量;基于计算量和存储量来确定与数据标签相对应的标签成本,具体的,计算量越大,存储量越大,数据标签的标签成本越高;计算量越小,存储量越小,数据标签的标签成本越低。
为了能够对数据标签进行有效地管理操作,可以获取与数据标签相对应的标签价值,其中,标签价值可以与数据标签的调用量相关,此时,获取与数据标签相对应的标签价值可以包括:获取与数据标签相对应的标签调用量;基于标签调用量确定与数据标签相对应的标签价值,其中,标签调用量越大,标签价值越大,反之则反之。
在获取到标签成本和标签价值之后,可以分别将标签成本与预设成本进行分析比较,将标签价值与预设价值进行分析比较,在标签成本大于或等于预设成本、且标签价值小于预设价值时,则说明数据标签的生成成本较高、而应用价值较低,此时可以基于汰换请求生成与数据标签相对应的标签管理信息,标签管理信息用于提醒标签生产者是否对数据标签进行下线或者静默处理,为了能够使得标签生产者及时地对数据标签进行管理,可以将标签管理信息发送至标签生产者,具体的,可以通过预设应用程序或者预设邮件地址将标签管理信息发送至标签生产者,这样可以使得标签生产者基于标签管理信息对数据标签进行稳定、有效地管理操作。
本实施例中,通过获取与数据标签相对应的标签管理请求,而后基于标签管理请求对数据标签进行统一管理,有效地实现了可以基于数据标签的使用状态灵活地、自动地对数据标签进行严格的汰换操作,从而保证了对数据标签进行管理的质量和效率,进一步提高了该方法的实用性。
图10为本申请实施例提供的又一种数据服务化方法的流程示意图;在上述实施例的基础上,参考附图10所示,在获得与数据标签相对应的目标服务之后,本实施例还可以实现对数据标签相对应的标签元数据进行存储的方案,此时,本实施例中的方法还可以包括:
步骤S1001:获取与数据标签相对应的标签元数据。
在获取到与数据标签相对应的目标服务之后,为了能够使得数据服务化装置的用户快速、直接地了解到数据服务化装置所能够提供的目标服务,可以获取与数据标签相对应的标签元数据,在一些实例中,数据标签与标签元数据之间存在映射关系,在获取到数据标签之后,可以基于映射关系即可确定与数据标签相对应的标签元数据,该标签元数据用于标识数据标签的相关标签特征。
步骤S1002:确定与标签元数据相对应的数据存储格式。
在获取到标签元数据之后,为了能够准确地对标签数据以及相关数据进行稳定地存储操作,可以确定与标签元数据相对应的数据存储格式,该数据存储格式可以是用户预先选择的或者预先配置的,数据存储格式可以包括以下至少之一:KKV格式、KV格式;其中,KKV格式中的第一个K用于标识“KEY”为主键,例如:K可以为user_id(用户id)、item_id(条目id)、member_id(成员id)等等,第二个K用于标识“KEY”为表格名称(table),用于标识服务的数据源名称,V(Value)用于标识“指标名称”。相类似的,KV格式中的K用于标识“KEY”为表格名称(table),用于标识服务的数据源名称,V(Value)用于标识“指标名称”,需要注意的是,上述的KKV格式或者KV格式均可以遵循OneData的命名规范。
步骤S1003:基于数据存储格式对标签元数据进行存储,以使用户基于所存储的标签元数据获知与数据标签相对应的目标服务。
在获取到数据存储格式之后,可以基于数据存储格式对标签元数据进行存储,从而实现了将所建立的与数据标签相对应的目标服务进行公开存储在数据服务化装置上,这样可以使得用户基于所存储的标签元数据获知与数据标签相对应的目标服务,并可以根据需求对目标服务进行调用或者查看操作。
在对标签元数据进行存储时,为了节省数据存储的成本,并提高存储效率,可以结合数据标签的生命周期对数据标签进行存储,此时,基于数据存储格式对标签元数据进行存储可以包括:确定数据标签的生命周期;基于生命周期和数据存储格式对数据标签进行分库分表存储。
在获取到数据标签之后,可以对数据标签进行分析处理,从而可以确定数据标签的生命周期,该生命周期可以是预先配置好的或者基于用户的交互操作所确定的,在获取到数据标签的生命周期之后,可以基于生命周期和数据存储格式对数据标签进行分库分表存储,这样可以有效地提高数据存储质量和效率。
在另一些实例中,为了进一步提高该方法的实用性,本实施例中的方法还可以包括对存储的目标服务的相关数据进行表格存储操作,此时,本实施例中的方法还可以包括:获取目标服务的周期变更请求;确定与周期变更请求相对应的更新后生命周期;在更新后生命周期大于更新前的生命周期时,则生成与目标服务相对应的更新数据表,并将与目标服务相对应的数据写入至更新数据表中。
具体的,在获取到与数据标签相对应的目标服务,并基于生命周期和数据存储格式对数据标签进行分库分表存储时,用户可以根据需求对目标服务所对应的数据表的生命周期进行更新,此时,可以获取目标服务的周期变更请求,在获取到周期变更请求之后,可以确定与周期变更请求相对应的更新后生命周期,在一些实例中,周期变更请求中可以包括更新后生命周期,此时,通过对周期变更请求进行信息提取操作即可获取更新后生命周期。或者,在又一些实例中,周期变更请求可以对应有周期变更页面,而后可以获取用户在周期变更页面中所输入的执行操作,基于执行操作即可确定与周期变更请求相对应的更新后生命周期。
需要注意的是,更新后生命周期与更新前的生命周期不同,在更新后生命周期大于更新前的生命周期时,则实现了可以将一个数据表的生命周期由低生命周期升级为高生命周期;在更新后生命周期小于更新前的生命周期时,可以将一个数据表的生命周期由高生命周期降级为低生命周期。
在更新后生命周期大于更新前的生命周期时,为了能够实现数据同步更新操作,则可以生成与目标服务相对应的更新数据表,该更新数据表对应于更新后生命周期,为了能够实现数据同步操作,则可以将目标服务所对应的相关数据停止向旧表中写入,并向更新数据表中写入数据,从而有效地实现了将目标服务所对应的相关数据同步更新至更新数据表中。在又一些实例中,不仅可以对目标服务所对应的相关数据同步更新至更新数据表中,还可以更新目标服务相对应的路由信息,这样有效地保证了数据服务化的稳定进行。
本实施例中,通过获取与数据标签相对应的标签元数据,确定与标签元数据相对应的数据存储格式,而后基于数据存储格式对标签元数据进行存储,以使用户基于所存储的标签元数据获知与数据标签相对应的目标服务,有效地使得用户可以通过数据服务化装置查看并调用到所能够提供的各种目标服务,这样进一步提高了该方法的实用性。
图11为本申请实施例提供的还一种数据服务化方法的流程示意图;参考附图11所示,本实施例提供了还一种数据服务化方法,可以实现全自动的服务生产操作,其中,该方法的执行主体为数据服务化装置,可以理解的是,该数据服务化装置可以实现为软件、或者软件和硬件的组合;在数据服务化装置实现为硬件时,其具体可以是具有数据服务化能力的各种电子设备。当数据服务化装置实现为软件时,其可以安装在上述的电子设备中,具体的,该数据服务化方法可以包括:
步骤S1101:显示用于实现数据服务化的操作页面,操作页面中包括多个数据标签以及与各个数据标签相对应的申请服务控件,申请服务控件用于实现服务创建操作;
其中,操作页面的具体内容和形式可参见附图4所示,在操作页面中,不仅可以包括申请服务控件,还可以包括“详情”控件、“分享”控件等等,本实施例中的操作页面可以通过用户对预设程序所输入的启动操作而显示的,预设程序用于实现数据服务化操作。
步骤S1102:获取用户针对操作页面中的任一申请服务控件所输入的执行操作;
步骤S1103:基于执行操作,显示服务配置页面;
步骤S1104:通过服务配置页面,获取数据标签的数据源以及用于实现数据服务化的目的地址;
步骤S1105:基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
其中,本实施例中上述步骤的具体实现方式、实现效果以及实现原理与上述图8所示实施例中各个步骤的具体实现方式、实现效果以及实现原理相类似,具体可参考上述陈述内容,在此不再赘述。
需要注意的是,本实施例中的方法还可以包括图3-图10所示实施例中的方法,本实施例未详细描述的部分,可参考对图3-图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3-图10所示实施例中的描述,在此不再赘述。
图12为本申请实施例提供的另一种数据服务化方法的流程示意图;参考附图12所示,本实施例提供了另一种数据服务化方法,可以实现全自动的服务生产操作,其中,该方法的执行主体为数据服务化装置,可以理解的是,该数据服务化装置可以实现为软件、或者软件和硬件的组合;在数据服务化装置实现为硬件时,其具体可以是具有数据服务化能力的各种电子设备。当数据服务化装置实现为软件时,其可以安装在上述的电子设备中,在一些实例中,数据服务化装置可以实现为云服务器,此时,数据服务化方法可以应用于云服务器,具体的,该数据服务化方法可以包括:
步骤S1201:响应于对云服务器的数据服务化请求,确定数据服务化所对应的处理资源;
步骤S1202:利用处理资源执行如下步骤:获取与数据标签相对应的服务创建请求;基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址;基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
具体的,本发明提供的数据服务化方法可以在云端来执行,在云端可以部署有若干计算节点,每个计算节点中都具有计算、存储等处理资源。在云端,可以组织由多个计算节点来提供某种服务,当然,一个计算节点也可以提供一种或多种服务。
针对本发明提供的方案,云端可以提供有用于完成数据服务化方法的服务,称为数据服务化服务。当用户需要使用该数据服务化服务的时候,调用该数据服务化服务,以向云端触发调用该数据服务化服务的请求。云端确定响应该请求的计算节点,利用该计算节点中的处理资源执行如下步骤:获取与数据标签相对应的服务创建请求;基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址;基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
具体的,本实施例中的上述方法步骤的实现过程、实现原理和实现效果与上述图3-图10所示实施例的方法步骤的实现过程、实现原理和实现效果相类似,本实施例未详细描述的部分,可参考对图3-图10所示实施例的相关说明。
图13为本申请实施例提供的一种数据服务化装置的结构示意图;参考附图13所示,本实施例提供了一种数据服务化装置,该数据服务化装置用于执行上述图8所示的数据服务化方法,该数据服务化装置可以包括:
第一获取模块11,用于获取与数据标签相对应的服务创建请求;
第一确定模块12,用于基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址;
第一处理模块13,用于基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
在一些实例中,在第一处理模块13基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务时,该第一处理模块13用于执行:基于数据源和目的地址生成数据同步任务;基于数据同步任务将数据源同步至目的地址,以获得与数据标签相对应的目标服务。
在一些实例中,在获得与数据标签相对应的目标服务之后,本实施例中的第一获取模块11、第一确定模块12和第一处理模块13用于执行以下步骤:
第一获取模块11,用于获取服务调用请求;
第一确定模块12,用于基于服务调用请求,确定与目标服务相对应的关联应用以及申请用途;
第一处理模块13,用于通过关联应用向用户提供目标服务,其中,目标服务与申请用途相对应。
在一些实例中,本实施例中的第一获取模块11和第一处理模块13用于执行以下步骤:
第一获取模块11,用于获取与数据标签相对应的标签管理请求;
第一处理模块13,用于基于标签管理请求对数据标签进行统一管理。
在一些实例中,在第一处理模块13基于标签管理请求对数据标签进行统一管理时,该第一处理模块13用于执行:在标签管理请求为标准化请求时,基于标准化请求对数据标签进行标准化处理,获得处理后标签,其中,任意两个处理后标签不相同;和/或,在标签管理请求为汰换请求时,基于汰换请求对数据标签进行汰换处理。
在一些实例中,在第一处理模块13基于汰换请求对数据标签进行汰换处理时,该第一处理模块13用于执行:获取与数据标签相对应的标签调用量;在标签调用量小于或等于预设阈值时,则基于汰换请求对数据标签所对应的目标服务、或者数据标签所对应的目标服务以及数据标签进行静默或者下线处理。
在一些实例中,在第一处理模块13基于汰换请求对数据标签进行汰换处理时,该第一处理模块13用于执行:获取与数据标签相对应的生命周期;在数据标签的存在时间达到生命周期时,则基于汰换请求对数据标签进行下线处理。
在一些实例中,在第一处理模块13基于汰换请求对数据标签进行汰换处理时,该第一处理模块13用于执行:获取与数据标签相对应的标签成本以及标签价值;在标签成本大于或等于预设成本、且标签价值小于预设价值时,则基于汰换请求生成与数据标签相对应的标签管理信息,并将标签管理信息发送至标签生产者,以使标签生产者基于标签管理信息对数据标签进行管理。
在一些实例中,本实施例中的第一获取模块11、第一确定模块12和第一处理模块13用于执行以下步骤:
第一获取模块11,用于获取与数据标签相对应的数据源;
第一确定模块12,用于确定目标服务的申请用途;
第一处理模块13,用于对数据标签、目标服务、数据源以及申请用途进行关联存储。
在一些实例中,在获得与数据标签相对应的目标服务之后,本实施例中的第一获取模块11、第一确定模块12和第一处理模块13用于执行以下步骤:
第一获取模块11,用于获取与数据标签相对应的标签元数据;
第一确定模块12,用于确定与标签元数据相对应的数据存储格式;
第一处理模块13,用于基于数据存储格式对标签元数据进行存储,以使用户基于所存储的标签元数据获知与数据标签相对应的目标服务。
在一些实例中,在第一处理模块13基于数据存储格式对标签元数据进行存储时,该第一处理模块13用于执行:确定数据标签的生命周期;基于生命周期和数据存储格式对数据标签进行分库分表存储。
在一些实例中,本实施例中的第一获取模块11、第一确定模块12和第一处理模块13用于执行以下步骤:
第一获取模块11,用于获取目标服务的周期变更请求;
第一确定模块12,用于确定与周期变更请求相对应的更新后生命周期;
第一处理模块13,用于在更新后生命周期大于更新前的生命周期时,则生成与目标服务相对应的更新数据表,并将与目标服务相对应的数据写入至更新数据表中。
图13所示数据服务化装置可以执行图3-图10所示实施例的方法,本实施例未详细描述的部分,可参考对图3-图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3-图10所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图13所示数据服务化装置的结构可实现为一电子设备。参考附图14所示,本实施例中的数据服务化装置可以实现为一电子设备,在一些实例中,电子设备可以实现为用户终端、个人电脑、智能化设备等等;具体的,该电子设备可以包括:第一处理器21和第一存储器22。其中,第一存储器22用于存储相对应电子设备执行上述图2所示实施例中提供的数据服务化方法的程序,第一处理器21被配置为用于执行第一存储器22中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第一处理器21执行时能够实现如下步骤:获取与数据标签相对应的服务创建请求;基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址;基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
进一步的,第一处理器21还用于执行前述图8所示实施例中的全部或部分步骤。其中,电子设备的结构中还可以包括第一通信接口23,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图8所示方法实施例中的数据服务化方法所涉及的程序。
此外,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当计算机程序被电子设备的处理器执行时,使处理器执行图8所示方法实施例中的数据服务化方法。
图15为本申请实施例提供的另一种数据服务化装置的结构示意图;参考附图15所示,本实施例提供了一种数据服务化装置,该数据服务化装置可以执行上述图11所示的数据服务化方法,具体的,该数据服务化装置可以包括:
第二显示模块31,用于显示用于实现数据服务化的操作页面,操作页面中包括多个数据标签以及与各个数据标签相对应的申请服务控件,申请服务控件用于实现服务创建操作。
第二获取模块32,用于获取用户针对操作页面中的任一申请服务控件所输入的执行操作。
第二显示模块31,用于基于执行操作,显示服务配置页面。
第二获取模块32,用于通过服务配置页面,获取数据标签的数据源以及用于实现数据服务化的目的地址。
第二处理模块33,用于基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
图15所示数据服务化装置可以执行图11所示实施例的方法,本实施例未详细描述的部分,可参考对图11所示实施例的相关说明。该技术方案的执行过程和技术效果参见图11所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图15所示数据服务化装置的结构可实现为一电子设备。参考附图16所示,本实施例中的数据服务化装置可以实现为一电子设备,在一些实例中,电子设备可以实现为用户终端、个人电脑、智能化设备等等;具体的,该电子设备可以包括:第二处理器41和第二存储器42。其中,第二存储器42用于存储相对应电子设备执行上述图11所示实施例中提供的数据服务化方法的程序,第二处理器41被配置为用于执行第二存储器42中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第二处理器41执行时能够实现如下步骤:显示用于实现数据服务化的操作页面,操作页面中包括多个数据标签以及与各个数据标签相对应的申请服务控件,申请服务控件用于实现服务创建操作;获取用户针对操作页面中的任一申请服务控件所输入的执行操作;基于执行操作,显示服务配置页面;通过服务配置页面,获取数据标签的数据源以及用于实现数据服务化的目的地址;基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
进一步的,第二处理器41还用于执行前述图11所示实施例中的全部或部分步骤。其中,电子设备的结构中还可以包括第二通信接口43,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图11所示方法实施例中的数据服务化方法所涉及的程序。
此外,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当计算机程序被电子设备的处理器执行时,使处理器执行图11所示方法实施例中的数据服务化方法。
图17为本申请实施例提供的又一种数据服务化装置的结构示意图;参考附图17所示,本实施例提供了一种数据服务化装置,该数据服务化装置可以执行上述图12所示的数据服务化方法,在一些实例中,数据服务化装置可以应用于云服务器;具体的,该数据服务化装置可以包括:
第三确定模块51,用于响应于对云服务器的数据服务化请求,确定数据服务化所对应的处理资源;
第三处理模块52,用于利用处理资源执行如下步骤:获取与数据标签相对应的服务创建请求;基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址;基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
图17所示数据服务化装置可以执行图12所示实施例的方法,本实施例未详细描述的部分,可参考对图12所示实施例的相关说明。该技术方案的执行过程和技术效果参见图12所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图17所示数据服务化装置的结构可实现为一电子设备。参考附图18所示,本实施例中的数据服务化装置可以实现为一电子设备,在一些实例中,电子设备可以实现为用户终端、个人电脑、智能化设备等等;具体的,该电子设备可以包括:第三处理器61和第三存储器62。其中,第三存储器62用于存储相对应电子设备执行上述图12所示实施例中提供的数据服务化方法的程序,第三处理器61被配置为用于执行第三存储器62中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第三处理器61执行时能够实现如下步骤:响应于对云服务器的数据服务化请求,确定数据服务化所对应的处理资源;利用处理资源执行如下步骤:获取与数据标签相对应的服务创建请求;基于服务创建请求,确定数据标签的数据源以及用于实现数据服务化的目的地址;基于数据源和目的地址进行数据服务化处理,获得与数据标签相对应的目标服务。
进一步的,第三处理器61还用于执行前述图12所示实施例中的全部或部分步骤。其中,电子设备的结构中还可以包括第三通信接口63,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图12所示方法实施例中的数据服务化方法所涉及的程序。
此外,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当计算机程序被电子设备的处理器执行时,使处理器执行图12所示方法实施例中的数据服务化方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现数据存储。数据可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的数据。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (14)
1.一种数据服务化方法,其特征在于,包括:
获取与数据标签相对应的服务创建请求;
基于所述服务创建请求,确定所述数据标签的数据源以及用于实现数据服务化的目的地址;
基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
2.根据权利要求1所述的方法,其特征在于,基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务,包括:
基于所述数据源和所述目的地址生成数据同步任务;
基于所述数据同步任务将所述数据源同步至所述目的地址,以获得与所述数据标签相对应的目标服务。
3.根据权利要求1所述的方法,其特征在于,在获得与所述数据标签相对应的目标服务之后,所述方法还包括:
获取服务调用请求;
基于所述服务调用请求,确定与所述目标服务相对应的关联应用以及申请用途;
通过所述关联应用向用户提供所述目标服务,其中,所述目标服务与所述申请用途相对应。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述数据标签相对应的标签管理请求;
基于所述标签管理请求对所述数据标签进行统一管理。
5.根据权利要求4所述的方法,其特征在于,基于所述标签管理请求对所述数据标签进行统一管理,包括:
在所述标签管理请求为标准化请求时,基于所述标准化请求对所述数据标签进行标准化处理,获得处理后标签,其中,任意两个处理后标签不相同;和/或,
在所述标签管理请求为汰换请求时,基于所述汰换请求对所述数据标签进行汰换处理。
6.根据权利要求5所述的方法,其特征在于,基于所述汰换请求对所述数据标签进行汰换处理,包括:
获取与所述数据标签相对应的标签调用量;
在所述标签调用量小于或等于预设阈值时,则基于所述汰换请求对所述数据标签所对应的目标服务、或者所述数据标签所对应的目标服务以及所述数据标签进行静默或者下线处理。
7.根据权利要求5所述的方法,其特征在于,基于所述汰换请求对所述数据标签进行汰换处理,包括:
获取与所述数据标签相对应的生命周期;
在所述数据标签的存在时间达到所述生命周期时,则基于所述汰换请求对所述数据标签进行下线处理。
8.根据权利要求5所述的方法,其特征在于,基于所述汰换请求对所述数据标签进行汰换处理,包括:
获取与所述数据标签相对应的标签成本以及标签价值;
在所述标签成本大于或等于预设成本、且所述标签价值小于预设价值时,则基于所述汰换请求生成与所述数据标签相对应的标签管理信息,并将所述标签管理信息发送至标签生产者,以使所述标签生产者基于所述标签管理信息对所述数据标签进行管理。
9.根据权利要求1所述的方法,其特征在于,在获得与所述数据标签相对应的目标服务之后,所述方法还包括:
获取与所述数据标签相对应的标签元数据;
确定与所述标签元数据相对应的数据存储格式;
基于所述数据存储格式对所述标签元数据进行存储,以使用户基于所存储的标签元数据获知与所述数据标签相对应的目标服务。
10.根据权利要求9所述的方法,其特征在于,基于所述数据存储格式对所述标签元数据进行存储,包括:
确定所述数据标签的生命周期;
基于所述生命周期和数据存储格式对所述数据标签进行分库分表存储。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
获取所述目标服务的周期变更请求;
确定与所述周期变更请求相对应的更新后生命周期;
在所述更新后生命周期大于更新前的生命周期时,则生成与所述目标服务相对应的更新数据表,并将与所述目标服务相对应的数据写入至所述更新数据表中。
12.一种数据服务化方法,其特征在于,包括:
显示用于实现数据服务化的操作页面,所述操作页面中包括多个数据标签以及与各个数据标签相对应的申请服务控件,所述申请服务控件用于实现服务创建操作;
获取用户针对操作页面中的任一申请服务控件所输入的执行操作;
基于所述执行操作,显示服务配置页面;
通过所述服务配置页面,获取所述数据标签的数据源以及用于实现数据服务化的目的地址;
基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
13.一种数据服务化方法,其特征在于,应用于云服务器,所述方法包括:
响应于对所述云服务器的数据服务化请求,确定数据服务化所对应的处理资源;
利用所述处理资源执行如下步骤:获取与数据标签相对应的服务创建请求;基于所述服务创建请求,确定所述数据标签的数据源以及用于实现数据服务化的目的地址;基于所述数据源和目的地址进行数据服务化处理,获得与所述数据标签相对应的目标服务。
14.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1-13中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310533588.6A CN117112531A (zh) | 2023-05-09 | 2023-05-09 | 数据服务化方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310533588.6A CN117112531A (zh) | 2023-05-09 | 2023-05-09 | 数据服务化方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117112531A true CN117112531A (zh) | 2023-11-24 |
Family
ID=88797225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310533588.6A Pending CN117112531A (zh) | 2023-05-09 | 2023-05-09 | 数据服务化方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117112531A (zh) |
-
2023
- 2023-05-09 CN CN202310533588.6A patent/CN117112531A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2458399C2 (ru) | Кэширование в памяти совместно используемых настраиваемых данных множества арендаторов | |
CN110032599B (zh) | 数据结构的读取及更新方法、装置、电子设备 | |
US11119764B2 (en) | Automated editing task modification | |
US11275727B2 (en) | Composite views in a master data management system | |
US11281992B2 (en) | Predicting geofence performance for optimized location based services | |
US11205138B2 (en) | Model quality and related models using provenance data | |
Ciaburro et al. | Hands-on machine learning on google cloud platform: Implementing smart and efficient analytics using cloud ml engine | |
CN111538794A (zh) | 一种数据融合方法、装置及设备 | |
US11704345B2 (en) | Inferring location attributes from data entries | |
US11500833B2 (en) | Archiving accelerator-only database tables | |
US11604776B2 (en) | Multi-value primary keys for plurality of unique identifiers of entities | |
US20180225333A1 (en) | Data write/import performance in a database through distributed memory | |
WO2023098462A1 (en) | Improving performance of sql execution sequence in production database instance | |
US20170220656A1 (en) | Information Access System | |
WO2022257610A1 (en) | Cognitive analysis of hierarchical database elements for generation of microservices | |
US11334600B1 (en) | Partial reloading in data synchronization | |
US20230153300A1 (en) | Building cross table index in relational database | |
CN112199426B (zh) | 微服务架构下的接口调用管理方法、装置、服务器及介质 | |
CN117112531A (zh) | 数据服务化方法及设备 | |
US11734586B2 (en) | Detecting and improving content relevancy in large content management systems | |
US20190095513A1 (en) | System and method for automatic data enrichment from multiple public datasets in data integration tools | |
CN110096653A (zh) | 时空信息服务架构的构建方法、装置、设备及存储介质 | |
US11977540B2 (en) | Data virtualization in natural language | |
US11977997B1 (en) | Tagging systems and methods for efficient cloud service provisioning | |
US11176108B2 (en) | Data resolution among disparate data sources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |