CN111400393B - 基于多应用平台的数据处理方法和装置、存储介质 - Google Patents

基于多应用平台的数据处理方法和装置、存储介质 Download PDF

Info

Publication number
CN111400393B
CN111400393B CN202010497202.7A CN202010497202A CN111400393B CN 111400393 B CN111400393 B CN 111400393B CN 202010497202 A CN202010497202 A CN 202010497202A CN 111400393 B CN111400393 B CN 111400393B
Authority
CN
China
Prior art keywords
data
data set
application
parameters
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010497202.7A
Other languages
English (en)
Other versions
CN111400393A (zh
Inventor
许庆
周滢垭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010497202.7A priority Critical patent/CN111400393B/zh
Publication of CN111400393A publication Critical patent/CN111400393A/zh
Application granted granted Critical
Publication of CN111400393B publication Critical patent/CN111400393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多应用平台的数据处理方法和装置、存储介质,涉及到数据库的同步处理,包括:通过第一应用获取第一数据集合,上述第一应用为目标应用平台上的N个应用中的一个应用;对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合。

Description

基于多应用平台的数据处理方法和装置、存储介质
技术领域
本发明涉及大数据领域,具体而言,涉及一种基于多应用平台的数据处理方法和装置、存储介质。
背景技术
目前,综合应用服务平台(如各类在线SaaS应用商城),不同应用的业务数据是相互独立未打通的数据孤岛状态,可导致数据重复采集、数据分析不全面的、数据资源无法充分利用等问题。
如图1所示,为相关技术中综合应用服务平台的整体架构示意图,该技术方案系统框架的处理流程如下:各应用确认各自所需的输入数据类型,可能的数据来源;然后,相互独立地从外部获取所需数据,并按照各应用的业务逻辑通过前端展示和交互模块向用户提供服务;之后,随着系统运行,各应用独自积累和使用各自存储的数据持续提供服务。
以某综合能源服务类应用平台上的应用为例,包含提供能耗实时监测的监控类应用和预测未来某一时间段的能耗情况的负荷预测类应用。为使这两类类应用正常提供服务,需分别输入相关能耗数据。用户订阅或购买应用后,因应用之间为相互独立的孤岛状态,需分别解决数据来源的问题,产生额外的数据采集、数据转换、数据导入等人工或技术成本,也增加了系统运行过程中可能带来的数据丢失、数据不一致等风险。
针对相关技术中,由于各应用之间相互独立,存在数据采集、数据转换、数据导入需要额外的人工或技术成本的问题,尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于多应用平台的数据处理方法和装置、存储介质,以至少解决相关技术中,由于各应用之间相互独立,存在数据采集、数据转换、数据导入需要额外的人工或技术成本的技术问题。
根据本发明实施例的一个方面,提供了一种基于多应用平台的数据处理方法,包括:通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数;对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合。
根据本发明实施例的另一方面,还提供了一种基于多应用平台的数据处理装置,包括:第一获取单元,用于通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数;第一处理单元,用于对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;查询单元,用于在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;发送单元,用于在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述基于多应用平台的数据处理方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述基于多应用平台的数据处理方法。
在本发明实施例中,通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数;对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合,通过上述方式,可以通过第一应用获取第一数据集合,并将第一数据集合规范化处理之后得到的第二数据集合存储于数据仓库中,在第二应用发出第一数据请求、且数据仓库中可以查询到与第一数据请求对应的第三数据集合的情况下,直接向第二应用发送该第三数据集合,使得第一应用和第二应用之间可以共享数据,使得目标应用平台的各个应用之间实现数据打通,解决了由于各应用之间相互独立,存在数据采集、数据转换、数据导入需要额外的人工或技术成本的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是相关技术中综合应用服务平台的整体架构示意图;
图2是根据本发明实施例的一种基于多应用平台的数据处理方法的应用环境的示意图;
图3是根据本发明实施例的一种可选的基于多应用平台的数据处理方法的流程示意图;
图4是根据本发明实施例的一种可选的基于多应用平台的数据处理系统的整体框架示意图;
图5是根据本发明实施例的一种可选的模型管理模块的示意图;
图6是根据本发明实施例的一种可选的数据收集模块的示意图;
图7是根据本发明实施例的一种可选的数据服务模块的示意图;
图8是根据本发明实施例的一种可选的基于多应用平台的数据处理装置的结构示意图;
图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种基于多应用平台的数据处理方法。可选地,上述基于多应用平台的数据处理方法可以但不限于应用于如图2所示的应用环境中。如图2所示,终端设备102上的第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数,并通过网络将第一数据集合发送给服务器104。服务器104接收到第一数据集合后,对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务。终端设备106上的第二应用发出第一数据请求,其中,上述第二应用为上述N个应用中的一个应用,通过网络将第一数据请求发送给服务器104。服务器104接收到第一数据请求后,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,在上述数据仓库中查询到上述第三数据集合,并通过网络将第三数据集合发送给终端设备106,终端设备106通过网络接收第三数据集合后,终端设备106上的第二应用接收到上述第三数据集合。以上仅为一种示例,本申请实施例在此不作限定。
需要说明的是,上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
可选地,本发明实施例涉及云存储、数据库、大数据等领域。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统 (以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
目前,存储系统的存储方法为:创建逻辑卷,在创建逻辑卷时,就为每个逻辑卷分配物理存储空间,该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据,也就是将数据存储在文件系统上,文件系统将数据分成许多部分,每一部分是一个对象,对象不仅包含数据而且还包含数据标识(ID,ID entity)等额外的信息,文件系统将每个对象分别写入该逻辑卷的物理存储空间,且文件系统会记录每个对象的存储位置信息,从而当客户端请求访问数据时,文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程,具体为:按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID,Redundant Array of Independent Disk)的组别,预先将物理存储空间划分成分条,一个逻辑卷可以理解为一个分条,从而为逻辑卷分配了物理存储空间。
数据库(Database),简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
数据库管理系统(英语:Database Management System,简称DBMS)是为管理数据库而设计的电脑软件系统,一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类,例如关系式、XML(Extensible MarkupLanguage,即可扩展标记语言);或依据所支持的计算机类型来作分类,例如服务器群集、移动电话;或依据所用查询语言来作分类,例如SQL(结构化查询语言(Structured QueryLanguage)、XQuery;或依据性能冲量重点来作分类,例如最大规模、最高运行速度;亦或其他的分类方式。不论使用哪种分类方式,一些DBMS能够跨类别,例如,同时支持多种查询语言。
大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临,大数据也吸引了越来越多的关注,大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
可选地,上述方法可以应用于综合应用服务平台包括各类在线SaaS应用商场,包括各种在线申请或购买SaaS应用并使用的场景中,本实施例在此不作任何限定。
可选地,在本实施例中,上述终端设备可以是配置有目标客户端的终端设备,可以包括但不限于以下至少之一:手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices,移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述只是一种示例,本实施例对此不做任何限定。
可选地,在本实施例中,作为一种可选的实施方式,该方法可以由服务器执行,也可以由终端设备执行,或者由服务器和终端设备共同执行,本实施例中,以由服务器(例如,上述服务器104)执行为例进行说明。如图3所示,上述基于多应用平台的数据处理方法的流程可以包括步骤:
步骤S302,通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数。
可选地,可以通过目标应用平台中的一个第一应用来获取第一数据集合。
例如,可以通过图4中的综合应用服务平台(目标应用平台)中的应用1(对应于第一应用)来获取第一数据集合。
步骤S304,对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务。
需要说明的是,由于目标应用平台中的各个应用是针对不同的场景的,可以针对不同的场景设置不同的标准化数据模型,并且该标准化数据模型可以通用于该场景下的任何应用中。
可选地,当通过第一应用获取到第一数据集合之后,可以对该第一数据集合进行规范化处理,得到第二数据集合,并将该第二数据集合存储于目标应用平台的数据仓库中。其中,得到的该第二数据集合的数据格式满足目标应用平台所设置的标准化数据模型,且第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务。
步骤S306,在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用。
可选地,当目标应用平台的N个应用中的第二应用发出第一数据请求时,可以在数据仓库中查询是否有与该第一数据请求对应的第三数据集合。
步骤S308,在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合。
可选地,如果在数据仓库中查询到了第三数据集合,即可以将第三数据集合发送给第二应用,使得第二应用可以使用通过第一应用获取到的数据。
通过本实施例,通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数;对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合,通过上述方式,可以通过第一应用获取第一数据集合,并将第一数据集合规范化处理之后得到的第二数据集合存储于数据仓库中,在第二应用发出第一数据请求、且数据仓库中可以查询到与第一数据请求对应的第三数据集合的情况下,直接向第二应用发送该第三数据集合,使得第一应用和第二应用之间可以共享数据,使得目标应用平台的各个应用之间实现数据打通,解决了由于各应用之间相互独立,存在数据采集、数据转换、数据导入需要额外的人工或技术成本的问题。
可选地,在本实施例中,上述对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,包括:在M个参数中确定上述第一数据集合中的每个数据所归属的参数,其中,上述M个参数包括上述数据仓库中与上述N个应用对应的参数,M为自然数,上述M个参数具有一一对应的M个目标数据格式,上述M个目标数据格式为上述数据仓库中的数据存储格式;将上述第一数据集合中的每个数据转换为与上述每个数据所归属的参数对应的目标数据格式,得到上述第二数据集合;将上述第二数据集合中的每个数据存储于上述数据仓库中所归属的参数下。
可选地,上述M个参数可以理解为上述数据模型中的M个参数,且M个参数包括N个目标应用所涉及到的参数,该M个参数还可以包括除了N个应用之外的行业标准的其他参数,M个参数具有一一对应的M个目标数据格式,在此不作限定。
可以按照以下方式实现将第一数据集合规范化处理,来得到第二数据集合,以及存储该第二数据集合于数据仓库中。
可以在M个参数中确定上述第一数据集合中的每个数据所归属的参数,然后将第一数据集合中的每个数据转换为与每个数据所归属的参数对应的目标数据格式,来得到上述第二数据集合,最后,将第二数据集合中的每个数据都存储到数据仓库中所归属的参数下。
通过本实施例,可以将输入到目标应用平台的数据进行规范化处理,使得目标应用平台可以统一的数据格式来存储数据,提高了数据存储的效率。
可选地,在本实施例中,上述方法还包括:对上述M个参数的参数类型进行分类,其中,上述参数类型包括静态参数和动态参数;根据上述M个参数的上述参数类型,分别为上述M个参数设置上述M个目标数据格式,其中,每个上述目标数据格式包括以下至少之一:数据长度、数据类型、数据大小。
可选地,可以对M个参数的参数类型进行分类,如分为静态参数和动态参数,然后根据该M个参数的参数类型,分别为该M个参数设置不同的M个目标数据格式,其中,对于每个目标数据格式来说,可以设置该目标数据格式的以下至少之一:数据长度(几个字符、几位整数、几位小数)、数据类型(如字符型、整数型、浮点型)、数据大小(最大阈值、最小阈值)等等,在此不作任何限定。
可选地,在本实施例中,在上述分别为上述M个参数设置上述M个目标数据格式之后,上述方法还包括:对上述数据仓库中的上述M个目标数据格式中的Q个目标数据格式进行更新,得到Q个更新后数据格式,其中,上述Q个更新后数据格式用于使输入上述目标应用平台的第一关联数据按照上述Q个更新后数据格式存储到上述数据仓库中对应的Q个参数下,上述第一关联数据为归属到上述Q个参数的数据,上述Q个更新后数据格式与上述Q个参数一一对应;或者获取新增的一一对应的K个参数和K个目标数据格式,并将上述K个参数和上述K个目标数据格式增加到上述数据仓库中,其中,上述K个目标数据格式用于使输入上述目标应用平台的第二关联数据按照上述K个目标数据格式存储到上述数据仓库中对应的上述K个参数下,上述第二关联数据为归属到上述K个参数的数据。
可选地,当数据仓库中的M个目标数据格式中的Q个目标数据格式存在更新时,需要对该Q个目标数据格式进行更新,得到Q个更新后数据格式,其中,上述Q个更新后数据格式用于使输入上述目标应用平台的第一关联数据按照上述Q个更新后数据格式存储到上述数据仓库中对应的Q个参数下,上述第一关联数据为归属到上述Q个参数的数据,上述Q个更新后数据格式与上述Q个参数一一对应。或者
存在新增的K个参数时,获取新增的与该K个参数一一对应的的K个目标数据格式,并将上述K个参数和上述K个目标数据格式增加到上述数据仓库中,其中,上述K个目标数据格式用于使输入上述目标应用平台的第二关联数据按照上述K个目标数据格式存储到上述数据仓库中对应的上述K个参数下,上述第二关联数据为归属到上述K个参数的数据。
可选地,在本实施例中,在上述数据仓库中查询到上述第三数据集合中的第一部分数据集合的情况下,通过上述第二应用获取除上述第一部分数据集合之外的第二部分数据集合,其中,上述第三数据集合包括第一部分数据集合和第二部分数据集合;对上述第二部分数据集合进行规范化处理,得到第三部分数据集合,并将上述第三部分数据集合存储于上述目标应用平台的上述数据仓库中。
可选地,如果在数据仓库中只查询到第三数据集合中的第一部分数据集合,可以通过第二应用获取第三数据集合中除了该第一部分数据集合之外的第二部分数据集合,并将该第二部分数据集合进行规范化处理,得到第二部分数据集合对应的第三部分数据集合,并将该第三部分数据集合存储于目标应用平台的数据仓库中。
通过本实施例,可以通过第二应用获取第二应用所需的数据,丰富了数据仓库中的数据,提高了数据仓库的数据丰富性。
可选地,在本实施例中,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合之后,上述方法还包括:在上述数据仓库中查询不到上述第三数据集合的情况下,通过上述第二应用获取上述第三数据集合;对上述第三数据集合进行规范化处理,得到第四数据集合,并将上述第四数据集合存储于上述目标应用平台的上述数据仓库中。
可选地,如果在数据仓库中查询不到全部的第三数据集合,可以通过第二应用获取全部的第三数据集合,并将该第三数据集合进行规范化处理,得到该第三数据集合对应的第四数据集合,并将该第四数据集合存储于目标应用平台的数据仓库中。
通过本实施例,可以通过第二应用获取第二应用所需的数据,丰富了数据仓库中的数据,提高了数据仓库的数据丰富性。
可选地,在本实施例中,在上述向上述第二应用发送上述第三数据集合之后,上述方法还包括:在上述第三数据集合的数据格式不为第一数据格式的情况下,将上述第三数据集合按照第一数据格式转换为第五数据集合,其中,上述第一数据格式为上述第二应用中的第一数据服务所要求的数据格式,上述第一数据服务为触发上述第一数据请求的数据服务。
可选地,上述第一数据格式可以理解为第二应用中的第一数据服务所要求的数据格式,并且上述第一数据服务为触发第一数据请求的数据服务。
如果第三数据集合的数据格式与第一数据格式的格式不统一,可以将第三数据集合按照第一数据格式转换为第五数据集合。
举例来说,第三数据集合中的数据格式包括10个字段,第一数据格式与第三数据集合中的数据格式匹配的字段只有8个字段,则可以将第三数据集合的数据格式按照第一数据格式的8个字段转换为第五数据集合。
可理解,以上仅为一种示例,本实施例在此不作任何限定。
通过本实施例,可以根据第二应用的需求灵活获取第二应用所需求的数据,提高了灵活性。
需要说明的是,如图1所示为相关技术的技术方案的整体架构图,该技术方案系统框架的处理流程如下:各应用确认各自所需的输入数据类型,可能的数据来源;然后,相互独立地从外部获取所需数据,并按照各应用的业务逻辑通过前端展示和交互模块向用户提供服务;之后,随着系统运行,各应用独自积累和使用各自存储的数据持续提供服务。
但是,上述方案存在以下缺点:
1、在应用部署实施或前期配置阶段,在数据采集或接入方面已经产生了额外成本,同时也埋下了各应用独立采集或接入数据的故障风险。
2、平台上应用之间缺乏数据打通机制,对于数据需求方应用存在无法及时完整地获得所需数据的问题;且不同应用针对同一类数据的获取数据渠道不同,会产生数据不一致的问题,进而影响计算结果的准确性。
3、当用户希望对于多个应用积累的数据用于分析、展示、输出时,将不得不面对多个异构的应用的数据存储问题,如存储的数据结构不同,存储的数据位置不同,存储的服务器不同等等,对数据进行抓取与整合需要较高的专业知识技能和业务背景,将对数据资产的利用造成巨大困难和阻碍。
为了解决上述问题,下面结合可选示例对基于多应用平台的数据处理方法的流程进行说明。如图4所示,为本发明实施例提供的一种基于多应用平台的数据处理的系统框架图。
如图4所示,本发明实施例通过模型管理模块来定义和维护数据规范,通过数据收集服务来接收和抓取平台应用系统中的数据并规范化存储于数据仓库中,同时基于数据仓库中规范化存储的数据为各平台应用进行数据输出。保证平台各应用间共享标准化、规范化、及时、全面的数据。
1、针对图4所示的整体框架,如图5所示,为本发明实施例中提供的一种模型管理模块的示意图。
需要说明的是,图4所示的平台会根据不同的使用场景构建不同的数据模型,如针对个人信息构建个人信息通用数据模型,针对智能电表类的物理设备构建智能电表通用数据模型,等等,在构建数据模型时,会收集该场景下可能会涉及到的数据、参数等,通过技术人员和该场景的专家人员构建一个能够通用于该场景下的标准化的数据模型。
以下以平台上某能耗监测类应用需对接的智能电表类的物理设备为例进行说明:
可选地,如图5所示,通过线下人工分析处理,在线下通过对目标对象(如平台上某能耗监测类应用需对接的智能电表类的物理设备)的观察分析,梳理出对其进行数字化的参数,以智能电表为例:生产厂家、型号、出厂日期等、三相电流、三相电压、有功功率、无功功率、功率因数等。然后,按照实际业务场景对参数进行分类,如上述参数可分为静态参数:生产厂家、型号、出厂日期等,及动态参数(运行过程中将实时动态变化的):三相电流、三相电压、有功功率、无功功率、功率因数等。针对分组后的参数,设计数字化的模型,为各参数设设计参数字段名称(如)、类型(字符型、整数型、浮点型)、长度(几个字符、几位整数、几位小数)、阈值(最大最小值)等。
通过上述方式,可以形成智能电表类的数据模型的设计方案。随后可使用平台系统的模型管理模块对该智能电表类的数据模型进行模型管理,如图5所示,具体步骤如下:
步骤a,将上述智能电表类的数据模型录入平台系统。通过在线填写模型定义表单、上传数据模型定义文件(Excel、xml、csv等)等方式,将模型包含的结构信息(如字段名称、类型、长度、阈值等)录入系统。
需要说明的是,本发明实施例不限定模型的具体输入方式,还可以为为通过开放API接口接收第三方数据、通过OCR识别模型设计稿等方法来录入数据模型。
步骤b,上述步骤a提交后,将提交数据按照模型名称和类型等分类存储于数据库中。
步骤c,“数据收集”与“数据服务”模块加载数据模型数据,对收集与对外提供(通过数据服务)的数据进行规范化。
步骤d,模型初次保存后,有更新需求时,可通过模型录入界面,加载存储在数据库中的模型数据,进行更新并在再次提交。
步骤e,模型名称、模型包含的结构信息(如字段名称、类型、长度、阈值等)将在数据仓库中形成对应的数据表。
步骤f,通过“数据收集”模块输入的数据,将存储于步骤e生成的数据表中,通过“数据服务”输出数据时,将使用步骤e表中的数据作为数据源。
2、针对图4所示的整体框架,如图6所示,为本发明实施例中提供的一种数据收集模块的示意图。
数据收集模块的主要功能目标是通过主动抽取和被动收集的方式相结合,从平台上的应用系统收集业务数据,并将规范化的业务数据按照既定的数据模型标准,存储于数据仓库中。其具体处理流程如图6所示:
S1,通过ETL工具,从来源端(应用系统的数据库)抽取(extract)数据,结合模型定义数据进行转换(transform),最终加载(load)至目的端(数据仓库)。
S2,基于模型定义数据,由平台侧开放数据收集服务,为应用系统提供数据推送入口(如RESTful API接口),供平台上的应用系统推送数据,接口定义和参数合法性判断基于模型定义数据,保证数据合规。最终将数据存入数据仓库中。
在一种可能的实施例中,针对数据收集模块获取数据的方式,还可以通过文件传输等其他方式来获取数据,本发明实施例对具体的数据收集模块中从应用系统获取数据的方式不作任何限定。
3、针对图4所示的整体框架,如图7所示,为本发明实施例中提供的一种数据服务模块的示意图。
以下介绍该本发明实施例中数据服务模块的具体实现细节。其具体处理流程如图7所示:
步骤a,服务面向平台应用程序开放数据服务接口(如HTTP RESTful接口),接收来自应用程序(如第二应用)的请求,请求参数可包含请求数据类型、请求字段列表、请求数据时间范围、请求记录数等用于明确请求数据需求的参数。
步骤b,对接收到的请求进行身份合法性、参数合规性校验,确认合规合法后先后传递;如审核校验未通过,则返回异常描述信息(如错误编码等)给请求端(如第二应用)。
步骤c,根据请求的数据类型、字段、时间范围、请求记录数等条件,从数据仓库查询数据。
步骤d,将由数据仓库取得的数据(如第三数据集合)进行加工(如根据业务需要进行数据计算、脱敏等处理)。
步骤e,将数据(如第三数据集合)返回给请求端(平台上的应用系统,如第二应用)。
需要说明的是,图7中以接收请求、审核校验、查询数据、数据加工、返回数据为例对对数据服务模块的内部流程进行了说明。数据服务的核心定义为应用系统提供统一的数据服务。数据服务模块的内部流程可简化、也可更加复杂。可理解,本发明实施例不具体限定数据服务的内部流程是什么。
通过本实施例,实现了综合应用服务平台系统的跨应用的数据打通,通过这种跨应用数据打通的方法,可以实现综合应用服务平台系统的系统间数据共享。典型的综合应用服务平台包括各类在线SaaS应用商场,包括各种在线申请或购买SaaS应用并使用的场景。
通过本发明实施例,规避了在应用初始开发及配置阶段,在外部数据采集或接入方面可能产生的额外成本和故障风险。应用在开发过程中、开发后申请加入或上架到综合应用服务平台时,可选择通过接入数据服务模块的,获取位于平台数据仓库中、标准化、规范化、跨应用共享的数据资源。同时将本应用产生的业务数据通过数据收集模块提交给平台,加入共享数据仓库。
通过本发明实施例,克服了传统综合应用服务平台用户无法及时、完整地获得所需数据的问题。由于业务数据按照业务需求实时、准实时或定时地通过数据收集模块汇集于平台数据仓库中,用户可随时便利地获取完整可靠的业务数据,节省了时间、成本,并由平台本身的数据收集机制确保了数据的可靠性和完整性。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的又一方面,还提供了一种基于多应用平台的数据处理装置,如图8所示,该装置包括:
第一获取单元802,用于通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数;
第一处理单元804,用于对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;
查询单元806,用于在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;
发送单元808,用于在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合。
通过本实施例,通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数;对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合,通过上述方式,可以通过第一应用获取第一数据集合,并将第一数据集合规范化处理之后得到的第二数据集合存储于数据仓库中,在第二应用发出第一数据请求、且数据仓库中可以查询到与第一数据请求对应的第三数据集合的情况下,直接向第二应用发送该第三数据集合,使得第一应用和第二应用之间可以共享数据,使得目标应用平台的各个应用之间实现数据打通,解决了由于各应用之间相互独立,存在数据采集、数据转换、数据导入需要额外的人工或技术成本的问题。
作为一种可选的技术方案,上述第一处理单元,包括:
第一确定模块,用于在M个参数中确定上述第一数据集合中的每个数据所归属的参数,其中,上述M个参数包括上述数据仓库中与上述N个应用对应的参数,M为自然数,上述M个参数具有一一对应的M个目标数据格式,上述M个目标数据格式为上述数据仓库中的数据存储格式;
转换模块,用于将上述第一数据集合中的每个数据转换为与上述每个数据所归属的参数对应的目标数据格式,得到上述第二数据集合;
存储模块,用于将上述第二数据集合中的每个数据存储于上述数据仓库中所归属的参数下。
作为一种可选的技术方案,上述装置还包括:
分类模块,用于对上述M个参数的参数类型进行分类,其中,上述参数类型包括静态参数和动态参数;
设置模块,用于根据上述M个参数的上述参数类型,分别为上述M个参数设置上述M个目标数据格式,其中,每个上述目标数据格式包括以下至少之一:数据长度、数据类型、数据大小。
作为一种可选的技术方案,上述装置还包括:
更新模块,用于在上述分别为上述M个参数设置上述M个目标数据格式之后,对上述数据仓库中的上述M个目标数据格式中的Q个目标数据格式进行更新,得到Q个更新后数据格式,其中,上述Q个更新后数据格式用于使输入上述目标应用平台的第一关联数据按照上述Q个更新后数据格式存储到上述数据仓库中对应的Q个参数下,上述第一关联数据为归属到上述Q个参数的数据,上述Q个更新后数据格式与上述Q个参数一一对应;或者
处理模块,用于获取新增的一一对应的K个参数和K个目标数据格式,并将上述K个参数和上述K个目标数据格式增加到上述数据仓库中,其中,上述K个目标数据格式用于使输入上述目标应用平台的第二关联数据按照上述K个目标数据格式存储到上述数据仓库中对应的上述K个参数下,上述第二关联数据为归属到上述K个参数的数据。
作为一种可选的技术方案,上述装置还包括:
第二获取单元,用于在上述数据仓库中查询到上述第三数据集合中的第一部分数据集合的情况下,通过上述第二应用获取除上述第一部分数据集合之外的第二部分数据集合,其中,上述第三数据集合包括第一部分数据集合和第二部分数据集合;
第二处理单元,用于对上述第二部分数据集合进行规范化处理,得到第三部分数据集合,并将上述第三部分数据集合存储于上述目标应用平台的上述数据仓库中。
作为一种可选的技术方案,上述装置还包括:
第三获取单元,用于在上述数据仓库中查询与上述第一数据请求对应的第三数据集合之后,在上述数据仓库中查询不到上述第三数据集合的情况下,通过上述第二应用获取上述第三数据集合;
第三处理单元,用于对上述第三数据集合进行规范化处理,得到第四数据集合,并将上述第四数据集合存储于上述目标应用平台的上述数据仓库中。
作为一种可选的技术方案,上述装置还包括:
转换单元,用于在上述第三数据集合的数据格式不为第一数据格式的情况下,将上述第三数据集合按照第一数据格式转换为第五数据集合,其中,上述第一数据格式为上述第二应用中的第一数据服务所要求的数据格式,上述第一数据服务为触发上述第一数据请求的数据服务。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数;
S2,对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;
S3,在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;
S4,在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来命令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取器)、磁盘或光盘等。
根据本发明实施例的又一个方面,还提供了一种用于实施上述基于多应用平台的数据处理方法的电子设备,该电子设备可以是图2所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图9所示,该电子设备包括存储器902和处理器904,该存储器902中存储有计算机程序,该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,通过第一应用获取第一数据集合,其中,上述第一应用为目标应用平台上的N个应用中的一个应用,上述N为大于1的自然数;
S2,对上述第一数据集合进行规范化处理,得到第二数据集合,并将上述第二数据集合存储于上述目标应用平台的数据仓库中,其中,上述第二数据集合用于为上述N个应用中的一个或多个应用提供数据服务;
S3,在获取到第二应用发出第一数据请求的情况下,在上述数据仓库中查询与上述第一数据请求对应的第三数据集合,其中,上述第二应用为上述N个应用中的一个应用;
S4,在上述数据仓库中查询到上述第三数据集合的情况下,向上述第二应用发送上述第三数据集合。
可选地,本领域普通技术人员可以理解,图9所示的结构仅为示意,其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图9中所示更多或者更少的组件(如网络接口等),或者具有与图9所示不同的配置。
其中,存储器902可用于存储软件程序以及模块,如本发明实施例中的基于多应用平台的数据处理方法和装置对应的程序命令/模块,处理器904通过运行存储在存储器902内的软件程序以及模块,从而执行各种功能应用以及基于多应用平台的数据处理,即实现上述的基于多应用平台的数据处理方法。存储器902可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器902可进一步包括相对于处理器904远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。作为一种示例,如图9所示,上述存储器902中可以但不限于包括上述基于多应用平台的数据处理装置中的第一获取单元802,第一处理单元804、查询单元806、发送单元808。此外,还可以包括但不限于上述基于多应用平台的数据处理装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置906包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置906为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:连接总线908,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来命令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干命令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上上述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种基于多应用平台的数据处理方法,其特征在于,包括:
通过主动抽取和被动收集的方式相结合,通过第一应用获取第一数据集合,其中,所述第一应用为目标应用平台上的N个应用中的一个应用,所述N为大于1的自然数,所述N个应用针对不同的场景,针对所述不同的场景设置不同的标准化数据模型,相同的所述标准化数据模型通用于对应的场景下的任何应用中,所述通过主动抽取和被动收集的方式相结合,通过第一应用获取第一数据集合,包括:通过ETL工具,从所述第一应用的数据库抽取数据,以及通过所述目标应用平台开放的数据收集服务,为所述第一应用提供数据推送入口,供所述目标应用平台上的所述第一应用推送数据;
对所述第一数据集合进行规范化处理,得到第二数据集合,并将所述第二数据集合存储于所述目标应用平台的数据仓库中,其中,所述第二数据集合用于为所述N个应用中的一个或多个应用提供数据服务;
在获取到第二应用发出第一数据请求的情况下,在所述数据仓库中查询与所述第一数据请求对应的第三数据集合,其中,所述第二应用为所述N个应用中的一个应用,所述第一数据请求的请求参数包括:请求数据类型、请求字段列表、请求数据时间范围、请求记录数,所述请求参数用于明确所述第一数据请求的数据需求的参数;
在所述数据仓库中查询到所述第三数据集合的情况下,向所述第二应用发送所述第三数据集合。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一数据集合进行规范化处理,得到第二数据集合,并将所述第二数据集合存储于所述目标应用平台的数据仓库中,包括:
在M个参数中确定所述第一数据集合中的每个数据所归属的参数,其中,所述M个参数包括所述数据仓库中与所述N个应用对应的参数,M为自然数,所述M个参数具有一一对应的M个目标数据格式,所述M个目标数据格式为所述数据仓库中的数据存储格式;
将所述第一数据集合中的每个数据转换为与所述每个数据所归属的参数对应的目标数据格式,得到所述第二数据集合;
将所述第二数据集合中的每个数据存储于所述数据仓库中所归属的参数下。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
对所述M个参数的参数类型进行分类,其中,所述参数类型包括静态参数和动态参数;
根据所述M个参数的所述参数类型,分别为所述M个参数设置所述M个目标数据格式,其中,每个所述目标数据格式包括以下至少之一:数据长度、数据类型、数据大小。
4.根据权利要求3所述的方法,其特征在于,在所述分别为所述M个参数设置所述M个目标数据格式之后,所述方法还包括:
对所述数据仓库中的所述M个目标数据格式中的Q个目标数据格式进行更新,得到Q个更新后数据格式,其中,所述Q个更新后数据格式用于使输入所述目标应用平台的第一关联数据按照所述Q个更新后数据格式存储到所述数据仓库中对应的Q个参数下,所述第一关联数据为归属到所述Q个参数的数据,所述Q个更新后数据格式与所述Q个参数一一对应;或者
获取新增的一一对应的K个参数和K个目标数据格式,并将所述K个参数和所述K个目标数据格式增加到所述数据仓库中,其中,所述K个目标数据格式用于使输入所述目标应用平台的第二关联数据按照所述K个目标数据格式存储到所述数据仓库中对应的所述K个参数下,所述第二关联数据为归属到所述K个参数的数据。
5.根据权利要求1所述的方法,其特征在于,在所述数据仓库中查询与所述第一数据请求对应的第三数据集合之后,所述方法还包括:
在所述数据仓库中查询到所述第三数据集合中的第一部分数据集合的情况下,通过所述第二应用获取除所述第一部分数据集合之外的第二部分数据集合,其中,所述第三数据集合包括第一部分数据集合和第二部分数据集合;
对所述第二部分数据集合进行规范化处理,得到第三部分数据集合,并将所述第三部分数据集合存储于所述目标应用平台的所述数据仓库中。
6.根据权利要求1所述的方法,其特征在于,在所述数据仓库中查询与所述第一数据请求对应的第三数据集合之后,所述方法还包括:
在所述数据仓库中查询不到所述第三数据集合的情况下,通过所述第二应用获取所述第三数据集合;
对所述第三数据集合进行规范化处理,得到第四数据集合,并将所述第四数据集合存储于所述目标应用平台的所述数据仓库中。
7.根据权利要求1所述的方法,其特征在于,在所述向所述第二应用发送所述第三数据集合之后,所述方法还包括:
在所述第三数据集合的数据格式不为第一数据格式的情况下,将所述第三数据集合按照第一数据格式转换为第五数据集合,其中,所述第一数据格式为所述第二应用中的第一数据服务所要求的数据格式,所述第一数据服务为触发所述第一数据请求的数据服务。
8.一种基于多应用平台的数据处理装置,其特征在于,包括:
第一获取单元,用于通过主动抽取和被动收集的方式相结合,通过第一应用获取第一数据集合,其中,所述第一应用为目标应用平台上的N个应用中的一个应用,所述N为大于1的自然数,所述N个应用针对不同的场景,针对所述不同的场景设置不同的标准化数据模型,相同的所述标准化数据模型通用于对应的场景下的任何应用中,所述通过主动抽取和被动收集的方式相结合,通过第一应用获取第一数据集合,包括:通过ETL工具,从所述第一应用的数据库抽取数据,以及通过所述目标应用平台开放的数据收集服务,为所述第一应用提供数据推送入口,供所述目标应用平台上的所述第一应用推送数据;
第一处理单元,用于对所述第一数据集合进行规范化处理,得到第二数据集合,并将所述第二数据集合存储于所述目标应用平台的数据仓库中,其中,所述第二数据集合用于为所述N个应用中的一个或多个应用提供数据服务;
查询单元,用于在获取到第二应用发出第一数据请求的情况下,在所述数据仓库中查询与所述第一数据请求对应的第三数据集合,其中,所述第二应用为所述N个应用中的一个应用,所述第一数据请求的请求参数包括:请求数据类型、请求字段列表、请求数据时间范围、请求记录数,所述请求参数用于明确所述第一数据请求的数据需求的参数;
发送单元,用于在所述数据仓库中查询到所述第三数据集合的情况下,向所述第二应用发送所述第三数据集合。
9.根据权利要求8所述的装置,其特征在于,所述第一处理单元,包括:
第一确定模块,用于在M个参数中确定所述第一数据集合中的每个数据所归属的参数,其中,所述M个参数包括所述数据仓库中与所述N个应用对应的参数,M为自然数,所述M个参数具有一一对应的M个目标数据格式,所述M个目标数据格式为所述数据仓库中的数据存储格式;
转换模块,用于将所述第一数据集合中的每个数据转换为与所述每个数据所归属的参数对应的目标数据格式,得到所述第二数据集合;
存储模块,用于将所述第二数据集合中的每个数据存储于所述数据仓库中所归属的参数下。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
分类模块,用于对所述M个参数的参数类型进行分类,其中,所述参数类型包括静态参数和动态参数;
设置模块,用于根据所述M个参数的所述参数类型,分别为所述M个参数设置所述M个目标数据格式,其中,每个所述目标数据格式包括以下至少之一:数据长度、数据类型、数据大小。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
更新模块,用于在所述分别为所述M个参数设置所述M个目标数据格式之后,对所述数据仓库中的所述M个目标数据格式中的Q个目标数据格式进行更新,得到Q个更新后数据格式,其中,所述Q个更新后数据格式用于使输入所述目标应用平台的第一关联数据按照所述Q个更新后数据格式存储到所述数据仓库中对应的Q个参数下,所述第一关联数据为归属到所述Q个参数的数据,所述Q个更新后数据格式与所述Q个参数一一对应;或者
处理模块,用于获取新增的一一对应的K个参数和K个目标数据格式,并将所述K个参数和所述K个目标数据格式增加到所述数据仓库中,其中,所述K个目标数据格式用于使输入所述目标应用平台的第二关联数据按照所述K个目标数据格式存储到所述数据仓库中对应的所述K个参数下,所述第二关联数据为归属到所述K个参数的数据。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第二获取单元,用于在所述数据仓库中查询到所述第三数据集合中的第一部分数据集合的情况下,通过所述第二应用获取除所述第一部分数据集合之外的第二部分数据集合,其中,所述第三数据集合包括第一部分数据集合和第二部分数据集合;
第二处理单元,用于对所述第二部分数据集合进行规范化处理,得到第三部分数据集合,并将所述第三部分数据集合存储于所述目标应用平台的所述数据仓库中。
13.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第三获取单元,用于在所述数据仓库中查询与所述第一数据请求对应的第三数据集合之后,在所述数据仓库中查询不到所述第三数据集合的情况下,通过所述第二应用获取所述第三数据集合;
第三处理单元,用于对所述第三数据集合进行规范化处理,得到第四数据集合,并将所述第四数据集合存储于所述目标应用平台的所述数据仓库中。
14.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7任一项中所述的方法。
15.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN202010497202.7A 2020-06-04 2020-06-04 基于多应用平台的数据处理方法和装置、存储介质 Active CN111400393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010497202.7A CN111400393B (zh) 2020-06-04 2020-06-04 基于多应用平台的数据处理方法和装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010497202.7A CN111400393B (zh) 2020-06-04 2020-06-04 基于多应用平台的数据处理方法和装置、存储介质

Publications (2)

Publication Number Publication Date
CN111400393A CN111400393A (zh) 2020-07-10
CN111400393B true CN111400393B (zh) 2020-10-09

Family

ID=71430013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010497202.7A Active CN111400393B (zh) 2020-06-04 2020-06-04 基于多应用平台的数据处理方法和装置、存储介质

Country Status (1)

Country Link
CN (1) CN111400393B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597125A (zh) * 2020-12-04 2021-04-02 光大科技有限公司 数据建模方法及装置、存储介质、电子装置
CN112883425B (zh) * 2021-03-26 2023-05-16 重庆度小满优扬科技有限公司 基于区块链的数据处理方法以及区块链节点
CN115269214A (zh) * 2021-04-30 2022-11-01 北京字跳网络技术有限公司 一种在应用程序中显示信息的方法及装置
CN116069849B (zh) * 2023-03-02 2023-06-09 安徽兴博远实信息科技有限公司 应用于跨平台数据交换共享的人工智能管理系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9244951B2 (en) * 2012-03-08 2016-01-26 International Business Machines Corporation Managing tenant-specific data sets in a multi-tenant environment
CN104881749A (zh) * 2015-06-01 2015-09-02 北京圆通慧达管理软件开发有限公司 面向多租户的数据管理方法和数据存储系统
CN107180311A (zh) * 2017-06-02 2017-09-19 张飞飞 基于SaaS的分布式光伏资源集成及共享系统
CN108038390A (zh) * 2017-12-09 2018-05-15 珠海横琴小可乐信息技术有限公司 一种软件即服务平台租户数据隔离与共享的方法及系统
CN108595454B (zh) * 2017-12-21 2022-05-13 努比亚技术有限公司 跨应用的搜索推荐方法、终端及计算机可读存储介质
CN110990390B (zh) * 2019-12-02 2024-03-08 东莞中国科学院云计算产业技术创新与育成中心 数据协同处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111400393A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111400393B (zh) 基于多应用平台的数据处理方法和装置、存储介质
Lai et al. Towards a framework for large-scale multimedia data storage and processing on Hadoop platform
CN114691786A (zh) 数据血缘关系的确定方法及装置、存储介质、电子装置
CN111241177A (zh) 数据采集方法、系统及网络设备
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
US11249975B2 (en) Data archiving method and system using hybrid storage of data
CN104468274A (zh) 一种集群监控管理方法及系统
CN113282611A (zh) 一种流数据同步的方法、装置、计算机设备及存储介质
CN111858722A (zh) 一种基于物联网的大数据应用系统及方法
CN113434506B (zh) 数据管理及检索方法、装置、计算机设备及可读存储介质
CN114817389A (zh) 数据处理方法、装置、存储介质及电子设备
CN114691723A (zh) 工业数据处理方法、装置、设备及介质
CN113721856A (zh) 一种数字化社区管理数据存储系统
CN114254033A (zh) 一种基于bs架构的数据处理方法及系统
CN111343269B (zh) 一种数据下载方法、装置、计算机设备和存储介质
CN112699183A (zh) 数据处理方法、系统、可读存储介质及计算机设备
CN112905600A (zh) 数据查询方法、装置和存储介质及电子设备
CN111161818A (zh) 一种基于大数据技术的医疗数据交换共享系统及方法
CN103778223A (zh) 一种基于云平台的普适背单词系统及其构建方法
CN111488386A (zh) 数据查询方法和装置
KR20130126012A (ko) 비즈니스 인텔리전스의리포트 제공 방법 및 장치
CN115858322A (zh) 日志数据处理方法、装置和计算机设备
CN115658742A (zh) 一种现场级主动标识载体的标识解析方法及系统
CN116089490A (zh) 数据分析方法、装置、终端和存储介质
CN116628042A (zh) 数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant