CN115640290A - 数据分层方法、装置、设备及计算机存储介质 - Google Patents

数据分层方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN115640290A
CN115640290A CN202211182991.0A CN202211182991A CN115640290A CN 115640290 A CN115640290 A CN 115640290A CN 202211182991 A CN202211182991 A CN 202211182991A CN 115640290 A CN115640290 A CN 115640290A
Authority
CN
China
Prior art keywords
data
type
storing
interface
layering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211182991.0A
Other languages
English (en)
Inventor
张达伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202211182991.0A priority Critical patent/CN115640290A/zh
Publication of CN115640290A publication Critical patent/CN115640290A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据分层方法、装置、设备及计算机存储介质,涉及数据管理技术领域。该方法包括:获取N个数据,N为正整数;根据所述N个数据中每一数据的数据类型,确定每一所述数据对应的数据运营分层;将所述N个数据分别存储至对应的数据运营分层中。根据本申请实施例,能够在将数据存储至数据运营层时,对不同数据类型的数据进行差异性存储。

Description

数据分层方法、装置、设备及计算机存储介质
技术领域
本申请属于数据管理技术领域,尤其涉及一种数据分层方法、装置、设备及计算机存储介质。
背景技术
通常,数据仓库是一个面向主题的、集成的、随时间变化的、相对稳定的数据集合,用于支持管理决策。通过构建数据仓库,相关部门即可对大量数据进行有效的集成和分析转换,从而为数据挖掘和决策支持提供基础。
在数据仓库中数据可分为三个层,数据运营层、数据仓库层和数据服务层。数据运营层通常用于原封不同地存储基础原始数据,不负责相关的数据清洗工作。数据仓库层,本层将从数据运营层中获得的数据按照主题建立各种数据模型,每一个主题对应一个宏观的分析领域,数据仓库层排除对决策无用的数据,提供特定主题的简明视图。数据服务层,该层数据表会相对比较少,大多都是宽表,用于提供后续的业务查询和数据分发等。
目前,在经数据仓库处理后最终呈现出的数据结果出现问题时,往往需要溯源到数据运营层以准确定位到问题数据的源头,而现阶段,在数据运营层中寻找问题数据的原始数据的过程较为繁琐,不利于问题数据源头的快速定位。
发明内容
本申请实施例提供一种数据分层方法、装置、设备及计算机存储介质,在将数据存储至数据运营层时,能够基于数据类型对不同的数据进行差异性存储。
第一方面,本申请实施例提供一种数据分层方法,该数据分层方法包括:
获取N个数据,N为正整数;
根据N个数据中每一数据的数据类型,确定每一数据对应的数据运营分层;
将N个数据分别存储至对应的数据运营分层中。
在一些可能的实施方式中,数据类型包括网页数据类型和接口数据类型,网页数据类型的数据对应网页数据运营分层,接口数据类型的数据对应接口数据运营分层。
在一些可能的实施方式中,网页数据运营分层包括至少一个数据表,每一数据表对应一个主题,每一数据表分别用于存储对应主题下的数据;
将N个数据分别存储至对应的数据运营分层中,包括:
在N个数据中第一数据的数据类型为网页数据类型的情况下,将第一数据存储至与第一数据的主题对应的数据表中。
在一些可能的实施方式中,将N个数据分别存储至对应的数据运营分层中,包括:
在N个数据中第二数据的数据类型为接口数据类型的情况下,生成与第二数据对应的目标文件;
将目标文件存储至接口数据运营分层中。
在一些可能的实施方式中,在将N个数据分别存储至对应的数据运营分层中之后,该数据分层方法还包括:
在第一显示数据异常的情况下,接收查询请求;查询请求用于查询目标数据运营分层存储的数据,目标数据运营分层基于M个数据确定得到,第一显示数据基于M个数据加工得到,N个数据中包括M个数据,M为正整数;
响应于查询请求,向电子设备发送目标指令,以使电子设备显示目标数据运营分层中存储的数据。
第二方面,本申请实施例提供了一种数据分层装置,该数据分层装置包括:
第一获取模块,用于获取N个数据,N为正整数;
第一确定模块,用于根据N个数据中每一数据的数据类型,确定每一数据对应的数据运营分层;
第一存储模块,用于将N个数据分别存储至对应的数据运营分层中。
在一些可能的实施方式中,数据类型包括网页数据类型和接口数据类型,网页数据类型的数据对应网页数据运营分层,接口数据类型的数据对应接口数据运营分层。
第三方面,本申请实施例提供了一种数据分层设备,该数据分层设备包括:
处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如上述本申请实施例中任意一项提供的数据分层方法。
第四方面,本申请实施例提供了一种计算机存储介质,该计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如上述本申请实施例中任意一项提供的数据分层方法。
第五方面,本申请实施例提供了一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如上述本申请实施例中任意一项提供的数据分层方法。
本申请实施例的数据分层方法、装置、设备及计算机存储介质,能够通过确定所获取的数据的数据类型,将不同数据类型的数据存储至对应的数据运营分层中。本申请实施例提供的一种数据分层方法、装置、设备及计算机存储介质,能够在将数据存储至数据运营层时,对不同数据类型的数据进行差异性存储。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的数据分层方法的流程示意图;
图2是本申请一实施例提供的数据分层装置的结构示意图;
图3是本申请一实施例提供的数据分层设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要说明,本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
如背景技术部分所述,为了解决上述现有技术问题,本申请实施例提供了一种数据分层方法、装置、设备、存储介质和计算机程序产品。应注意,本申请提供的实施例并不用来限制本申请公开的范围。
下面首先对本申请实施例所提供的数据分层方法进行介绍。
图1示出了本申请一实施例提供的数据分层方法的流程示意图。该数据分层方法应用于电子设备,该电子设备可以包括服务器或者用户终端等。如图1所示,该数据分层方法包括以下步骤:
S110,获取N个数据,N为正整数;
S120,根据N个数据中每一数据的数据类型,确定每一数据对应的数据运营分层;
S130,将N个数据分别存储至对应的数据运营分层中。
本申请实施例的数据分层方法,能够通过确定所获取的数据的数据类型,将不同数据类型的数据存储至对应的数据运营分层中。本申请实施例提供的一种数据分层方法,能够在将数据存储至数据运营层时,对不同数据类型的数据进行差异性存储。
在S110中,具体实现时,本实施例中,对于不同的数据,可以采用不同的数据获取方式来实现对上述N个数据的分别获取。
示例性地,对于数据类型为网页数据类型的数据,可以通过数据抽取、转换、加载ETL(Extract-Transform-Load)工具,从网页端进行数据抽取,从而实现对网页数据类型的数据的获取。
对于数据类型为接口数据类型的数据,可以通过应用程序编程接口API接口,实现对接口数据类型的数据的获取。
如此,对于不同接口数据类型的数据采用不同的数据获取方法,能够高效且具有针对性地获取到上述N个数据。
则可以将获取的结构化、非结构化数据同步到Hive平台上;使用Hive构建数据仓库,将数据仓库分为ODS数据存储层,在将待抽取的数据抽取至数据运营层后,可以利用存储过程对从数据运营层读出的数据进行转换,并将转换结果存入数据加工层。其中,以利用存储过程对从数据运营层读出的数据进行转换并将转换结果存入数据加工层为主。
在S120中,具体实现时,可以先确定N个数据中每一数据的数据类型,如此,再根据N个数据中每一数据的数据类型,相应地确定每一数据对应的数据运营分层。
需要说明,本申请中的数据运营分层基于数据仓库实现,而数据仓库以及数据仓库中的多个数据运营分层可以预先由开发人员通过相应的数据仓库构建工具,例如Hive完成构建。
需要说明,本实施例中的数据类型也可以称为数据来源,每个数据的数据类型具体可以根据数据的来源不同而做具体划分。
示例性地,若数据由网页端抽取得到,则该数据的数据类型即为网页数据类型。或者,若数据是由外部或第三方通过相应的通信接口发送得到的,则该数据的数据类型即为接口数据类型。应理解地是,上述仅为示例,并不对本申请实际的数据类型的划分范围起到实质性的限制作用。
在一些可能的实施方式中,具体地,考虑到数据仓库中数据运营层所存储的数据的来源基本为网页端或者第三方发送,因此,为了在对数据运营层进行数据分层存储的同时,实现资源的有效利用,上述数据类型具体可以包括网页数据类型和接口数据类型,网页数据类型的数据可以对应网页数据运营分层,接口数据类型的数据可以对应接口数据运营分层。
在S130中,具体实现时,在根据N个数据中每一数据的数据类型,确定每一数据对应的数据运营分层之后,根据所确定的N个数据中每一数据对应的数据运营分层,将N个数据分别存储至对应的数据运营分层中。
示例性地,若N个数据中的某一数据为网页数据类型,与该数据的数据类型对应的数据运营分层为网页数据运营分层,则将该数据存储至于网页数据类型对应的网页数据运营分层中。
或者,若数据的数据类型为接口数据类型,与该数据的数据类型对应的数据运营分层为接口数据运营分层,则将该数据存储至与接口数据类型对应的接口数据运营分层中。
本实施例中,考虑到现有数据仓库分层管理不同数据类型的数据时,都是对数据不做区分统一放入数据运营层中,从而导致后续在找寻不同数据类型的数据时较为繁琐,因此,在将所获取的N个数据存储至数据运营层时,通过确定每一数据的数据类型,再基于每一数据的数据类型确定各个数据对应的数据运营分层,如此,将上述N个数据分别存储至对应的数据运营分层中。
本申请实施例提供的数据分层方法,相较于现有技术中将数据不做区分统一存储至数据仓库中的数据运营层的方式,能够基于不同数据的数据类型,实现对数据在存储至数据运营层时的差异性存储。
在一些可能的实施方式中,具体地,考虑到网页数据类型的数据是由网页端抽取得到,而用户在网页端进行例如浏览、购物或者下单等行为时,均会生成相应的网页日志流水记录以用于数据抽取以及存储,基于此,考虑到网页数据类型的数据的繁杂,为了进一步提升数据存储的合理性,上述网页数据运营分层可以包括至少一个数据表,每一数据表可以对应一个主题,每一数据表可以分别用于存储对应主题下的数据;
上述将N个数据分别存储至对应的数据运营分层中,即步骤130,具体可以包括:
在N个数据中第一数据的数据类型为网页数据类型的情况下,将第一数据存储至与第一数据的主题对应的数据表中。
本实施例中,上述数据表的表结构信息可以包括:字段名称、字段类型、备注信息等,以及,在将上述第一数据进行存储是,还可以相应地记录数据上传的时间、以及用户信息等,本申请对此并不做具体限制。上述网页数据运营分层中的各个主题,可以是由相关开发人员根据实际数据业务需求设定,本申请对此并不做严格限制。
在一些可能的实施方式中,具体地,上述将N个数据分别存储至对应的数据运营分层中,即步骤130,具体可以包括:
在N个数据中第二数据的数据类型为接口数据类型的情况下,生成与第二数据对应的目标文件;
将目标文件存储至接口数据运营分层中。
具体实现时,对于数据类型为接口数据类型的第二数据,可以直接将该第二数据存储成文件形式,即生成与上述第二数据对应的目标文件,如此,在生成与上述第二数据对应的目标文件后,将该目标文件存储至与接口数据类型对应的接口数据运营分层中。
本实施例中,对于不同数据类型的数据,采用不同的数据处理方式将数据存储至对应的数据运营分层中,可以进一步实现数据存储的合理性,有效提高数据的使用效率。
通常,在将数据存储至数据仓库中的数据运营层中后,会将所存储的数据转换到数据仓库层进行数据加工处理,例如,数据清洗、数据规范化以及维度汇总等,以用于提供后续的业务查询等,并将处理后的数据存放至数据服务层,以供数据分析和数据挖掘使用,相关页面读取数据时也可以直接从数据服务层中读取数据并进行相应展示。
而在页面最终展示的数据结果出现异常时,则需要对问题数据的源头进行溯源,因此,在一些可能的实施方式中,在将N个数据分别存储至对应的数据运营分层中之后,该数据分层方法还可以包括:
在第一显示数据异常的情况下,接收查询请求;查询请求用于查询目标数据运营分层存储的数据,目标数据运营分层基于M个数据确定得到,第一显示数据基于M个数据加工得到,N个数据中包括M个数据,M为正整数;
响应于查询请求,向电子设备发送目标指令,以使电子设备显示目标数据运营分层中存储的数据。
需要说明,上述第一显示数据可以是M个数据经过数据仓库加工处理后所展示的最终数据分析结果等,本申请对此并不做具体限制。
具体实现时,在第一显示数据异常的情况下,可以是首先确定用于加工得到上述第一显示数据的M个数据,具体地,可以调用查询该第一显示数据的生成记录,从而确定上述用于加工得到该第一显示数据的M个数据的相关名称记录或者数据流水信息等。
如此,用户在确定上述M个数据的相关信息之后,确定与M个数据的数据类型对应的目标数据运营分层,就可以通过相应的电子设备向数据仓库中的多个数据运营分层中的目标数据运营分层发起查询请求。
数据仓库所在服务器接收到该查询请求之后,响应于该查询请求,从而向发起该查询请求的电子设备发送目标指令,从而使得该电子设备可以显示目标数据运营分层中存储的数据,上述目标数据运营分层中存储的数据中包括上述M个数据。
需要说明,上述查询请求可以是基于预先配置的通信协议发起,查询请求中可以直接包括所需查询的目标数据运营分层的相关信息,例如分层名称、标识等。
上述目标指令中可以直接携带有上述目标数据运营分层的地址链接等,以便用户可以根据该目标指令中携带的地址链接打开该目标数据运营分层,并对该目标数据运营分层中存储的数据进行查看,本申请对此并不做具体限制。
本实施例中,由于在将数据存储至数据运营层时,根据数据类型的不同,将数据存储至不同的数据运营分层中,因此,在后续需要寻找相应的源头数据时,可以通过查询各个不同的数据运营分层,更加清晰明确地找到对应的数据。
基于上述实施例提供的数据分层方法,本申请还提供了与上述数据分层方法相对应的一种数据分层装置,下面通过图2对数据分层装置进行详细介绍。
图2示出了本申请一实施例提供的数据分层装置的结构示意图。图2示出的数据分层装置200包括:
第一获取模块210,用于获取N个数据,N为正整数;
第一确定模块220,用于根据N个数据中每一数据的数据类型,确定每一数据对应的数据运营分层;
第一存储模块230,用于将N个数据分别存储至对应的数据运营分层中。
本申请实施例的数据分层装置,能够通过确定所获取的数据的数据类型,将不同数据类型的数据存储至对应的数据运营分层中。本申请实施例提供的一种数据分层装置,能够在将数据存储至数据运营层时,对不同数据类型的数据进行差异性存储。
在一些可能的实施方式中,具体地,考虑到数据仓库中数据运营层所存储的数据的来源基本为网页端或者第三方发送,因此,为了在对数据运营层进行数据分层存储的同时,实现资源的有效利用,数据类型可以包括网页数据类型和接口数据类型,网页数据类型的数据对应网页数据运营分层,接口数据类型的数据对应接口数据运营分层。
在一些可能的实施方式中,具体地,考虑到网页数据类型的数据是由网页端抽取得到,而用户在网页端进行例如浏览、购物或者下单等行为时,均会生成相应的网页日志流水记录以用于数据抽取以及存储,基于此,考虑到网页数据类型的数据的繁杂,为了进一步提升数据存储的合理性,网页数据运营分层可以包括至少一个数据表,每一数据表对应一个主题,每一数据表分别用于存储对应主题下的数据;
上述第一存储模块230,具体可以用于在N个数据中第一数据的数据类型为网页数据类型的情况下,将第一数据存储至与第一数据的主题对应的数据表中。
在一些可能的实施方式中,上述第一存储模块230,具体可以包括:
生成子模块,可以用于在N个数据中第二数据的数据类型为接口数据类型的情况下,生成与第二数据对应的目标文件;
存储子模块,可以用于将目标文件存储至接口数据运营分层中。
在一些可能的实施方式中,在将数据存储至数据仓库中的数据运营层中后,会将所存储的数据转换到数据仓库层进行数据加工处理,例如,数据清洗、数据规范化以及维度汇总等,以用于提供后续的业务查询等,并将处理后的数据存放至数据服务层,以供数据分析和数据挖掘使用,相关页面读取数据时也可以直接从数据服务层中读取数据并进行相应展示。
而在页面最终展示的数据结果出现异常时,则需要对问题数据的源头进行溯源,因此,在将N个数据分别存储至对应的数据运营分层中之后,该数据分层装置200还可以包括:
接收模块,可以用于在第一显示数据异常的情况下,接收查询请求;查询请求用于查询目标数据运营分层存储的数据,目标数据运营分层基于M个数据确定得到,第一显示数据基于M个数据加工得到,N个数据中可以包括M个数据,M为正整数;
发送模块,可以用于响应于查询请求,向电子设备发送目标指令,以使电子设备显示目标数据运营分层中存储的数据。
图3是本申请一实施例提供的数据分层设备的结构示意图。
数据分层设备可以包括处理器301以及存储有计算机程序指令的存储器302。
具体地,上述处理器301可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器302可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器302可在综合网关容灾设备的内部或外部。在特定实施例中,存储器302是非易失性固态存储器。
存储器可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器301通过读取并执行存储器302中存储的计算机程序指令,以实现上述实施例中的任意一种数据分层方法。
在一个示例中,数据数据分层设备还可包括通信接口303和总线310。其中,如图3所示,处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
通信接口303,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线310包括硬件、软件或两者,将数据分层设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该数据分层设备执行本申请实施例中的数据分层方法,从而实现图1描述的数据分层方法。
另外,结合上述实施例中的数据分层方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据分层方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种数据分层方法,其特征在于,包括:
获取N个数据,N为正整数;
根据所述N个数据中每一数据的数据类型,确定每一所述数据对应的数据运营分层;
将所述N个数据分别存储至对应的数据运营分层中。
2.根据权利要求1所述的方法,其特征在于,所述数据类型包括网页数据类型和接口数据类型,所述网页数据类型的数据对应网页数据运营分层,所述接口数据类型的数据对应接口数据运营分层。
3.根据权利要求2所述的方法,其特征在于,所述网页数据运营分层包括至少一个数据表,每一所述数据表对应一个主题,每一所述数据表分别用于存储对应主题下的数据;
所述将所述N个数据分别存储至对应的数据运营分层中,包括:
在所述N个数据中第一数据的数据类型为所述网页数据类型的情况下,将所述第一数据存储至与所述第一数据的主题对应的数据表中。
4.根据权利要求2所述的方法,其特征在于,所述将所述N个数据分别存储至对应的数据运营分层中,包括:
在所述N个数据中第二数据的数据类型为所述接口数据类型的情况下,生成与所述第二数据对应的目标文件;
将所述目标文件存储至所述接口数据运营分层中。
5.根据权利要求1-4任一项所述的方法,其特征在于,在所述将所述N个数据分别存储至对应的数据运营分层中之后,所述方法还包括:
在第一显示数据异常的情况下,接收查询请求;所述查询请求用于查询目标数据运营分层存储的数据,所述目标数据运营分层基于M个数据确定得到,所述第一显示数据基于所述M个数据加工得到,所述N个数据中包括所述M个数据,M为正整数;
响应于所述查询请求,向电子设备发送目标指令,以使所述电子设备显示所述目标数据运营分层中存储的数据。
6.一种数据分层装置,其特征在于,所述装置包括:
第一获取模块,用于获取N个数据,N为正整数;
第一确定模块,用于根据所述N个数据中每一数据的数据类型,确定每一所述数据对应的数据运营分层;
第一存储模块,用于将所述N个数据分别存储至对应的数据运营分层中。
7.根据权利要求6所述的装置,其特征在于,所述数据类型包括网页数据类型和接口数据类型,所述网页数据类型的数据对应网页数据运营分层,所述接口数据类型的数据对应接口数据运营分层。
8.一种数据分层设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的数据分层方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的数据分层方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,所述电子设备执行如权利要求1-5任意一项所述的数据分层方法。
CN202211182991.0A 2022-09-27 2022-09-27 数据分层方法、装置、设备及计算机存储介质 Pending CN115640290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211182991.0A CN115640290A (zh) 2022-09-27 2022-09-27 数据分层方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211182991.0A CN115640290A (zh) 2022-09-27 2022-09-27 数据分层方法、装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115640290A true CN115640290A (zh) 2023-01-24

Family

ID=84941987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211182991.0A Pending CN115640290A (zh) 2022-09-27 2022-09-27 数据分层方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115640290A (zh)

Similar Documents

Publication Publication Date Title
CN108733317B (zh) 数据存储方法和装置
CN110019263B (zh) 信息存储方法和装置
CN111382146A (zh) 数据存储控制方法、装置、设备以及存储介质
CN111038906A (zh) 一种订单分拣方法和装置
CN115757400A (zh) 数据表处理方法、装置、电子设备和计算机可读介质
CN115168362A (zh) 数据处理方法、装置、可读介质及电子设备
CN104063400A (zh) 数据搜索方法和装置
CN111984745B (zh) 数据库字段动态扩展方法、装置、设备及存储介质
CN111125226B (zh) 一种配置数据采集方法及装置
CN110866001A (zh) 确定待处理订单的方法和装置
CN110427538B (zh) 一种数据查询方法、存储方法、装置及电子设备
CN111241137A (zh) 数据处理方法、装置、电子设备及存储介质
CN115640290A (zh) 数据分层方法、装置、设备及计算机存储介质
CN113946592B (zh) 配置管理数据库更新方法、装置、设备、介质及程序产品
CN115658072A (zh) 数据血缘解析方法、装置、设备及计算机可读存储介质
CN113094415B (zh) 数据抽取方法、装置、计算机可读介质及电子设备
CN110471708B (zh) 基于可重用组件的配置项获取的方法及装置
CN114265966A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN112612817A (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
CN113495891A (zh) 一种数据处理方法和装置
CN112988857A (zh) 一种业务数据的处理方法和装置
CN115168363B (zh) 元数据的处理方法、装置、电子设备及存储介质
CN115495518B (zh) 一种生成图表的方法和装置
CN115712655A (zh) 数据处理方法、装置、设备、介质及产品
CN114936299A (zh) 媒体资源的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination