CN112947844A - 一种数据存储方法、装置、电子设备及介质 - Google Patents

一种数据存储方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112947844A
CN112947844A CN201911265648.0A CN201911265648A CN112947844A CN 112947844 A CN112947844 A CN 112947844A CN 201911265648 A CN201911265648 A CN 201911265648A CN 112947844 A CN112947844 A CN 112947844A
Authority
CN
China
Prior art keywords
data
audit
memory
service data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911265648.0A
Other languages
English (en)
Inventor
王森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911265648.0A priority Critical patent/CN112947844A/zh
Publication of CN112947844A publication Critical patent/CN112947844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供了一种数据存储方法、装置、电子设备及介质，涉及计算机技术领域，可以提供一种使得数据的存储位置与数据的读写需求相匹配的数据存储方式。本申请实施例包括：获取多条审核业务数据，审核业务数据包括对用户上传的对象数据进行审核产生的数据。然后针对每条审核业务数据，按照审核业务数据的属性，确定审核业务数据所属的业务主题。接着根据各业务主题与存储器类别之间的预设对应关系，确定审核业务数据所属的业务主题对应的目标存储器类别。再将审核业务数据存储至目标存储器类别的存储器中，其中，每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。

Description

一种数据存储方法、装置、电子设备及介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种数据存储方法、装置、电子设备及介质。
背景技术
随着互联网与信息技术的迅速发展，网络中存在大量的用户上传的媒体资源，为了维持绿色健康的网络环境，这些媒体资源在发布前需要被审核，只有审核通过的媒体资源才可以被发布。通过审核业务对用户上传的媒体资源进行审核，会产生大量的审核业务数据，其中包括对媒体资源的审核是否通过。为了对审核业务数据进行分析，需要对这些审核业务数据进行预先存储，目前一般将各审核业务数据统一存储在存储器中。
审核业务数据可以分为冷点数据和热点数据，冷点数据指的是被访问的概率较低、对计算延迟要求较低的数据，热点数据指的是需要频繁地被访问、对计算延迟要求较高的数据。这种将冷点数据和热点数据混合存储的方法，对于被访问概率低、对计算延迟要求低的冷点数据，若采用读写效率较高的存储器进行存储，将造成存储成本的浪费。对于被访问概率高、计算延迟要求较高的热点数据，若采用读写效率较低的存储器进行存储，则无法满足热点数据的读写需求。
发明内容
本发明实施例的目的在于提供一种数据存储方法、装置、电子设备及介质，以提供一种使得数据的存储位置与数据的读写需求相匹配的数据存储方式。具体技术方案如下：
第一方面，本发明实施例提供了一种数据存储方法，所述方法包括：
获取多条审核业务数据，所述审核业务数据包括对用户上传的对象数据进行审核产生的数据；
针对每条审核业务数据，按照所述审核业务数据的属性，确定所述审核业务数据所属的业务主题；
根据各业务主题与存储器类别之间的预设对应关系，确定所述审核业务数据所属的业务主题对应的目标存储器类别；
将所述审核业务数据存储至所述目标存储器类别的存储器中，每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。
可选的，在所述获取多条业务数据之前，所述方法还包括：
获取数据源中的各组审核业务数据；
针对每组审核业务数据，根据该组审核业务数据中第一预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别；
根据该组审核业务数据中第二预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别下的第二类别；
将该组审核业务数据存储至操作数据存储ODS层中的所述第二类别对应的存储位置中；
所述获取多条审核业务数据，包括：
从所述ODS层中获取指定类别的多条审核业务数据。
可选的，所述存储器用于存储数据仓库存储DWS层中的审核业务数据，每个存储器中存储有自身所属存储器类别对应的业务主题的事实表和多个维度表，所述事实表包括所述多个维度表的维度标识，每个维度表用于存储自身维度的审核业务数据；所述将所述审核业务数据存储至所述目标存储器类别的存储器中，包括：
根据所述审核业务数据的属性，确定所述审核业务数据的属性所属的维度；
将所述审核业务数据存储至所述审核业务数据的属性所属维度的维度表。
可选的，属于同一组的审核业务数据在所述DWS层中存在关联关系，在所述将所述审核业务数据存储至所述目标存储器类别的存储器中之后，所述方法还包括：
从指定维度的维度表中，选择满足预设汇总条件的审核业务数据；
根据满足预设汇总条件的各审核业务数据之间的关联关系，对存在关联关系的审核业务数据进行聚合计算，生成多条汇总数据，并将每条汇总数据与自身对应的数据标识对应存储至数据集市存储DMS层。
可选的，所述方法还包括：
接收终端发送的读取指令，所述读取指令中包括待读取汇总数据的待读取数据标识以及所述终端的登录用户的用户标识；
若所述用户标识对应的用户具有所述待读取汇总数据的读取权限，则从所述DMS层获取所述待读取数据标识对应的待读取汇总数据，并向所述终端发送所述待读取汇总数据。
可选的，所述方法还包括：
接收展示指令，所述展示指令包括待展示汇总数据的待展示数据标识；
获取所述待展示数据标识对应的所述待展示汇总数据，所述待展示汇总数据包括所述待展示汇总数据对应的对象数据的地址信息；
将所述待展示汇总数据嵌入预设的超文本标记语言HTML页面；
从所述地址信息对应的对象存储服务器中获取所述对象数据，并渲染所述HTML页面。
第二方面，本发明实施例提供了一种数据存储装置，所述装置包括：
获取模块，用于获取多条审核业务数据，所述审核业务数据包括对用户上传的对象数据进行审核产生的数据；
确定模块，用于针对所述获取模块获取的每条审核业务数据，按照所述审核业务数据的属性，确定所述审核业务数据所属的业务主题；
所述确定模块，还用于根据各业务主题与存储器类别之间的预设对应关系，确定所述审核业务数据所属的业务主题对应的目标存储器类别；
存储模块，用于将所述审核业务数据存储至所述确定模块确定的所述目标存储器类别的存储器中，每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。
可选的，所述获取模块，还用于在所述获取多条业务数据之前，获取数据源中的各组审核业务数据；
所述确定模块，还用于针对所述获取模块获取的每组审核业务数据，根据该组审核业务数据中第一预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别；
所述确定模块，还用于根据该组审核业务数据中第二预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别下的第二类别；
所述存储模块，还用于将该组审核业务数据存储至操作数据存储ODS层中的所述第二类别对应的存储位置中；
所述获取模块，具体用于从所述ODS层中获取指定类别的多条审核业务数据。
可选的，所述存储器用于存储数据仓库存储DWS层中的审核业务数据，每个存储器中存储有自身所属存储器类别对应的业务主题的事实表和多个维度表，所述事实表包括所述多个维度表的维度标识，每个维度表用于存储自身维度的审核业务数据；所述存储模块，具体用于：
根据所述审核业务数据的属性，确定所述审核业务数据的属性所属的维度；
将所述审核业务数据存储至所述审核业务数据的属性所属维度的维度表。
可选的，属于同一组的审核业务数据在所述DWS层中存在关联关系，所述装置还包括：选择模块和生成模块；
所述选择模块，用于在所述将所述审核业务数据存储至所述目标存储器类别的存储器中之后，从指定维度的维度表中，选择满足预设汇总条件的审核业务数据；
所述生成模块，用于根据满足预设汇总条件的各审核业务数据之间的关联关系，对存在关联关系的审核业务数据进行聚合计算，生成多条汇总数据，并将每条汇总数据与自身对应的数据标识对应存储至数据集市存储DMS层。
可选的，所述装置还包括：接收模块和发送模块；
所述接收模块，用于接收终端发送的读取指令，所述读取指令中包括待读取汇总数据的待读取数据标识以及所述终端的登录用户的用户标识；
所述发送模块，用于若所述用户标识对应的用户具有所述待读取汇总数据的读取权限，则从所述DMS层获取所述待读取数据标识对应的待读取汇总数据，并向所述终端发送所述待读取汇总数据。
可选的，所述装置还包括：接收模块、嵌入模块和渲染模块；
所述接收模块，用于接收展示指令，所述展示指令包括待展示汇总数据的待展示数据标识；
所述获取模块，还用于获取所述待展示数据标识对应的所述待展示汇总数据，所述待展示汇总数据包括所述待展示汇总数据对应的对象数据的地址信息；
所述嵌入模块，用于将所述获取模块获取的所述待展示汇总数据嵌入预设的超文本标记语言HTML页面；
所述渲染模块，用于从所述地址信息对应的对象存储服务器中获取所述对象数据，并渲染所述HTML页面。
第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的数据存储方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的数据存储方法的步骤。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的数据存储方法。
本发明实施例的技术方案至少可以带来以下有益效果：本发明实施例可以将每个业务数据分别存储至所属的业务主题对应的存储器中，而且每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。由于存储器的寻址方式和存储介质决定了存储器的读写效率，所以可以预先设置每个业务主题对应符合自身读写需求的存储器类别，实现了将各业务数据存储至符合自身读写需求的存储器。因此本发明实施例提供的数据存储方式可以使得数据的存储位置与数据的读写需求相匹配。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据存储方法的流程图；
图2为本发明实施例提供的另一种数据存储方法的流程图；
图3为本发明实施例提供的另一种数据存储方法的流程图；
图4为本发明实施例提供的一种数据存储系统的结构示意图；
图5为本发明实施例提供的一种数据存储装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本申请实施例提供的数据存储方法，可以应用于电子设备，其中电子设备可以为服务器，该方法包括如下步骤。
步骤101，获取多条审核业务数据。
其中，审核业务数据包括对用户上传的对象数据进行审核产生的数据。
可选的，获取的多条审核业务数据可以包括：对象数据是否审核通过、审核对象数据的审核人的用户标识、对象数据审核完成的时刻、审核对象数据所调用的功能等。本申请实施例对此不作具体限定。
对象数据可以为图像、视频和音频等。
在一种可能的实施方式中，可以从数据源中获取多个指定维度的多条审核业务数据。例如，可以从数据源中获取时间维度、客户标识维度和审核对象的对象标识维度的审核业务数据。
可以理解的，数据源中包括各维度的审核业务数据，其中包括对分析审核业务贡献较大的维度以及对分析审核业务贡献较小的维度(例如审核对象数据的耗时)。可以将数据源中对分析审核业务贡献较大的维度作为指定维度。
步骤102，针对每条审核业务数据，按照该审核业务数据的属性，确定该审核业务数据所属的业务主题。
可选的，本申请实施例中的业务主题可以包括：客户主题、服务主题、模型主题、调用明细主题和订单计费主题等。
例如，审核对象数据的客户的用户画像属于客户主题的审核业务数据。审核对象数据所调用的服务属于服务主题的审核业务数据。审核对象数据所利用的模型名称属于模型主题的审核业务数据。审核对象数据所调用的功能、调用功能的时刻属于调用明细主题的审核业务数据。审核对象数据所获得的费用数据属于订单计费主题的审核业务数据。
例如，用户画像可以包括用户名称、用户所属的公司、用户擅长审核的类别等。审核对象数据所调用的服务可以是色情审核服务、暴力审核服务等。审核对象数据所利用的模型可以是用于识别色情图像的图像识别模型、用于识别暴力图像的图像识别模型等。
步骤103，根据各业务主题与存储器类别之间的预设对应关系，确定该审核业务数据所属的业务主题对应的目标存储器类别。
可以理解的，可以将每个业务主题与满足该业务主题所包括的审核业务数据的读写需求的存储器类别对应。
例如，客户主题所包括的审核业务数据的读写需求较高，可以将客户主题对应存储效率较高的固态硬盘(存储器类别)。模型主题所包括的审核业务数据的读写需求较低，可以将模型主题对应存储效率较高的机械硬盘(存储器类别)。
步骤104，将该审核业务数据存储至目标存储器类别的存储器中。
其中，每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。
例如，存储器的寻址方式为由磁头在转动的盘片上寻找文件所在扇区，且存储介质为磁盘，那么该存储器所属的存储器类别为机械硬盘。
存储器的寻址方式为由控制单元从存储单元中寻找文件，且存储介质为半导体，那么该存储器所属的存储器类别为固态硬盘。
本发明实施例的技术方案至少可以带来以下有益效果：本发明实施例可以将每个业务数据分别存储至所属的业务主题对应的存储器中，而且每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。由于存储器的寻址方式和存储介质决定了存储器的读写效率，所以可以预先设置每个业务主题对应符合自身读写需求的存储器类别，实现了将各业务数据存储至符合自身读写需求的存储器。因此本发明实施例提供的数据存储方式可以使得数据的存储位置与数据的读写需求相匹配。
可选的，上述步骤101中的多条审核业务数据可以从操作数据存储(OperationalData Store，ODS)层中获取。参见图2，在步骤101获取多条审核业务数据之前，构建ODS层的方式包括如下步骤。
步骤201，获取数据源中的各组审核业务数据。
可选的，可以对数据源中的数据进行全量备份，使得后续步骤101在获取审核业务数据时，可以从ODS层中获取，以减少线上数据源的输入/输出(Input/Output，I/O)压力。
步骤202，针对每组审核业务数据，根据该组审核业务数据中第一预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别。
可选的，一组审核业务数据可以为一次审核业务所产生的数据，包括：审核完成的时刻、审核对象数据的用户的用户标识、审核的对象数据的数据标识、审核该对象数据所调用的模型等。
一种实施方式中，可以针对每组审核业务数据，根据该组审核业务数据包括的审核完成的时刻所属的时段，确定该组审核业务数据所属的第一类别。
步骤203，根据该组审核业务数据中第二预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别下的第二类别。
一种实施方式中，可以针对每组审核业务数据，根据该组审核业务数据包括的审核对象数据的用户的用户标识所属的客户，确定该组审核业务数据所属的第一类别下的第二类别。
步骤204，将该组审核业务数据存储至操作数据存储ODS层中的第二类别对应的存储位置中。
例如，结合步骤202和步骤203举例，第一类别包括类别1和类别2，类别1用于存储审核完成的时刻为10:00-10:59的业务数据，类别2用于存储审核完成的时刻为11:00-11:59的审核业务数据。类别1包括两个第二类别分为为类别3和类别4，类别3用于存储审核对象数据的用户属于客户A的审核业务数据，类别4用于存储审核对象数据的用户属于客户B的审核业务数据。
假设一组审核业务数据包括的审核完成的时刻为10:10，10:10所属的时段为10:00-10:59，确定该组审核业务数据所属的第一类别为类别1。该组审核业务包括的审核对象数据的用户的用户标识为1，该用户标识所属的客户为客户A，确定该组审核业务数据所属的第二类别为类别3。
可选的，上述步骤101中获取多条业务数据的方式可以包括：从ODS层中获取指定类别的多条审核业务数据。
可选的，还可以从指定类别包括的各组审核业务数据中，获取对分析审核业务贡献较大的维度的审核业务数据。
本申请实施例包括的技术方案还可以带来以下有益效果：本申请实施例中可以对ODS层中的数据划分类别，使得后续步骤101从ODS层中获取数据时，可以获取指定类别的审核业务数据，减少了从各审核业务数据中，寻找满足条件的审核业务数据所消耗的时间。
可选的，在本申请实施例中，每个存储器用于存储数据仓库存储(Data WarehouseStore，DWS)层中的审核业务数据，每个存储器中存储有自身所属存储器类别对应的业务主题的事实表和多个维度表，其中，事实表包括多个维度表的维度标识，每个维度表用于存储自身维度的审核业务数据。
例如，客户主题的事实表和多个维度表如图3所示，事实表包括各维度表的维度名称(客户名称、客户等级和客户互联网协议(Internet Protocol，IP))，每个维度表包括属于自身维度的审核业务数据(例如，客户名称对应的维度表包括A、B、C)。
在这种情况下，上述步骤101中将审核业务数据存储至目标存储器类别的存储器的方式可以包括以下两个步骤：
步骤一、根据审核业务数据的属性，确定审核业务数据的属性所属的维度。
例如，审核业务数据的属性为客户名称，那么该业务数据的属性所属的维度为客户主题下的客户名称维度。
步骤二、将审核业务数据存储至该审核业务数据的属性所属维度的维度表。
可选的，各业务主题可以共享维度表中存储的数据。可以理解的，维度表中存储的数据可以为键值对的形式，其中，键为属于自身维度的审核业务数据，值为该审核业务数据所属的组中的其他业务数据的存储位置。
本申请实施例的技术方案还可以带来以下有益效果：由于DWS层中的数据以事实表和维度表的方式存储，且各业务主题可以共享维度表，使得数据同一组的业务数据在DWS层中存在关联关系，可以减少DWS层中重复存储的数据量。
从上述论述中可知，属于同一组的审核业务数据在DWS层中存在关联关系，在上述步骤104将审核业务数据存储至目标存储器类别的存储器中之后，本申请实施例还可以构建数据集市存储(Data Mart Store，DMS)层，构建DMS层的方式包括以下步骤。
步骤一、从指定维度的维度表中，选择满足预设汇总条件的审核业务数据。
例如，如图3所示，从客户名称和客户等级两个维度表中，选择从客户名称维度表中选择A，从客户等级维度表中选择与客户名称A存在关联关系的等级。
步骤二、根据各满足预设汇总条件的各审核业务数据之间的关联关系，对存在关联关系的审核业务数据进行聚合计算，生成多条汇总数据，并将每条汇总数据与自身对应的数据标识对应存储至数据集市存储DMS层。
一种实施方式中，可以将存在关联关系的各审核业务数据作为一条汇总数据。
可选的，汇总数据对应的数据标识可以为自身包括的一条审核业务数据。
本申请实施例的技术方案还可以带来以下有益效果：本申请实施例可以将存在关联关系的审核业务数据进行汇总，方便对审核业务数据进行数据分析。
可选的，在本申请实施例中，终端还可以向电子设备请求读取DMS层的汇总数据，包括如下步骤。
步骤一、电子设备接收终端发送的读取指令。
其中，读取指令中包括待读取汇总数据的待读取数据标识以及终端的登录用户的用户标识。
步骤二、若该用户标识对应的用户具有待读取汇总数据的读取权限，则电子设备可以从DMS层获取待读取数据标识对应的待读取汇总数据，并向终端发送待读取汇总数据。
可选的，各用户标识可以与汇总数据之间存在预设的对应关系，在接收到读取指令时，可以判断该用户标识与待汇总数据之前是否存在对应关系，在存在对应关系时，确定该用户具有待读取汇总数据的读取权限。
可选的，若该用户标识对应的用户不具有待读取汇总数据的读取权限，则电子设备可以向终端发送用于表示该用户不具有待读取汇总数据的读取权限的信息。
本申请实施例的技术方案还可以带来以下有益效果：电子设备可以在向终端发送待读取汇总数据之前，对用户标识进行验证，提高了业务数据的隐私性和安全性。
可选的，本申请实施例还可以构建数据应用存储(Date Application Store，DAS)层，包括如下步骤：
步骤一、接收展示指令。
其中，展示指令包括待展示汇总数据的待展示数据标识。
可选的，展示指令可以是终端向电子设备发送的指令。终端的登录用户可以在终端的显示界面中选择待展示汇总数据，此时电子设备可以接收到终端发送的携带待展示数据标识的展示指令。
步骤二、获取待展示数据标识对应的待展示汇总数据。
其中，待展示汇总数据包括待展示汇总数据对应的对象数据的地址信息。
例如，对象数据的地址信息可以为对象数据的统一资源定位符(UniformResource Locator，URL)。
待汇总数据还可以包括模型检测结果，例如通过模型检测的对象数据是否为色情图像。
步骤三、将待展示汇总数据嵌入预设的超文本标记语言HTML页面。
可选的，可以预先设计空白的HTML页面的元素和标签，将待汇总数据嵌入HTML页面的元素。
可以理解的，HTML的元素可以为HTML页面中的内容，HTML的标签可以表示元素的显示方式(例如，元素的尺寸、显示位置等。)。
步骤四、从地址信息对应的对象存储服务器中获取对象数据，并渲染HTML页面。
一种实施方式中，可以将从对象存储服务器中获取的对象数据，以及待汇总数据分别显示在HTML页面的指定位置。
可选的，可以将渲染的HTML页面存储在DAS层。
相关技术中，在进行数据分析时，只能够将数据已文字的方式显示，例如显示数据报表等。而本申请实施例中，不仅可以显示汇总数据，还可以显示汇总数据对应的对象数据，所以本申请实施例不仅可以显示文字内容还可以显示多媒体内容，使得本申请提供的技术方案更能满足内容审核场景下对数据的分析需求。
图4所示的系统中包括本发明实施例提供的数据存储架构，该数据存储架构包括：ODS层402、DWS层403、DMS层404和DAS层405。
结合图4，以下从整体的角度介绍本发明实施例提供的数据存储方法，包括如下步骤：
步骤一、从多个数据库(DataBase，DB)401以及对象存储服务器406中获取多组审核业务数据，并存入ODS层。
其中，从DB401中获取的审核业务数据包括：对象数据的审核是否通过、审核对象数据的时刻、审核对象数据的用户标识等。
从对象存储服务器406中获取的审核业务数据包括：对象数据的URL、对象数据的模型识别结果等。
可选的，ODS层中的审核业务数据可以存储在机械硬盘或者固态硬盘中。
步骤二、从ODS层中获取指定类别的多条审核业务数据存入DWS层。
其中，DWS层中的审核业务数据分为多个业务主题，每个业务主题包括的审核业务数据以事实表和维度表的方式存储，每个业务主题包括的审核业务数据存储在固态硬盘或机械硬盘中。
步骤三、从DWS层中获取指定维度的审核业务数据进行聚合计算，生成汇总数据，并存入DMS层。
可选的，DMS层中的审核业务数据可以存储在机械硬盘或者固态硬盘中。
步骤四、从DMS层中获取待展示汇总数据，并将待展示汇总数据嵌入预设的HTML页面，根据嵌入待展示汇总数据后的HTML页面所包括的对象数据的URL，从对象存储服务器中该URL对应的对象数据，并渲染该HTML页面，将渲染后的HTML页面存入DAS层。
本发明实施例提供的技术方案还可以带来以下有益效果：由于DWS层中的审核业务数据可以基于固态硬盘和机械硬盘进行异构存储，使得冷点数据可以存储在机械硬盘中，热点数据可以存储在固态硬盘中，所以本发明实施例兼顾了查询性能、存储效率以及硬件成本，缓解了DWS层数据的读写瓶颈。
对应于上述方法实施例，本发明实施例提供了一种数据存储装置，参见图5，该装置包括：获取模块501、确定模块502和存储模块503；
获取模块501，用于获取多条审核业务数据，审核业务数据包括对用户上传的对象数据进行审核产生的数据；
确定模块502，用于针对获取模块501获取的每条审核业务数据，按照审核业务数据的属性，确定审核业务数据所属的业务主题；
确定模块502，还用于根据各业务主题与存储器类别之间的预设对应关系，确定审核业务数据所属的业务主题对应的目标存储器类别；
存储模块503，用于将审核业务数据存储至确定模块502确定的目标存储器类别的存储器中，每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。
可选的，获取模块501，还用于在获取多条审核业务数据之前，获取数据源中的各组审核业务数据；
确定模块502，还用于针对获取模块获取的每组审核业务数据，根据该组审核业务数据中第一预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别；
确定模块502，还用于根据该组审核业务数据中第二预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别下的第二类别；
存储模块503，还用于将该组审核业务数据存储至操作数据存储ODS层中的第二类别对应的存储位置中；
获取模块501，可以具体用于从ODS层中获取指定类别的多条审核业务数据。
可选的，存储器用于存储数据仓库存储DWS层中的审核业务数据，每个存储器中存储有自身所属存储器类别对应的业务主题的事实表和多个维度表，事实表包括多个维度表的维度标识，每个维度表用于存储自身维度的审核业务数据；存储模块503，可以具体用于：
根据审核业务数据的属性，确定审核业务数据的属性所属的维度；
将审核业务数据存储至审核业务数据的属性所属维度的维度表。
可选的，属于同一组的审核业务数据在DWS层中存在关联关系，装置还包括：选择模块和生成模块；
选择模块，用于在将审核业务数据存储至目标存储器类别的存储器中之后，从指定维度的维度表中，选择满足预设汇总条件的审核业务数据；
生成模块，用于根据满足预设汇总条件的各审核业务数据之间的关联关系，对存在关联关系的审核业务数据进行聚合计算，生成多条汇总数据，并将每条汇总数据与自身对应的数据标识对应存储至数据集市存储DMS层。
可选的，该装置还可以包括：接收模块和发送模块；
接收模块，用于接收终端发送的读取指令，读取指令中包括待读取汇总数据的待读取数据标识以及终端的登录用户的用户标识；
发送模块，用于若用户标识对应的用户具有待读取汇总数据的读取权限，则从DMS层获取待读取数据标识对应的待读取汇总数据，并向终端发送待读取汇总数据。
可选的，该装置还可以包括：接收模块、嵌入模块和渲染模块；
接收模块，用于接收展示指令，展示指令包括待展示汇总数据的待展示数据标识；
获取模块501，还用于获取待展示数据标识对应的待展示汇总数据，待展示汇总数据包括待展示汇总数据对应的对象数据的地址信息；
嵌入模块，用于将获取模块获取的待展示汇总数据嵌入预设的超文本标记语言HTML页面；
渲染模块，用于从地址信息对应的对象存储服务器中获取对象数据，并渲染HTML页面。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述方法实施例中由电子设备执行的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据存储方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据存储方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种数据存储方法，其特征在于，所述方法包括：
获取多条审核业务数据，所述审核业务数据包括对用户上传的对象数据进行审核产生的数据；
针对每条审核业务数据，按照所述审核业务数据的属性，确定所述审核业务数据所属的业务主题；
根据各业务主题与存储器类别之间的预设对应关系，确定所述审核业务数据所属的业务主题对应的目标存储器类别；
将所述审核业务数据存储至所述目标存储器类别的存储器中，每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。
2.根据权利要求1所述的方法，其特征在于，在所述获取多条审核业务数据之前，所述方法还包括：
获取数据源中的各组审核业务数据；
针对每组审核业务数据，根据该组审核业务数据中第一预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别；
根据该组审核业务数据中第二预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别下的第二类别；
将该组审核业务数据存储至操作数据存储ODS层中的所述第二类别对应的存储位置中；
所述获取多条审核业务数据，包括：
从所述ODS层中获取指定类别的多条审核业务数据。
3.根据权利要求1所述的方法，其特征在于，所述存储器用于存储数据仓库存储DWS层中的审核业务数据，每个存储器中存储有自身所属存储器类别对应的业务主题的事实表和多个维度表，所述事实表包括所述多个维度表的维度标识，每个维度表用于存储自身维度的审核业务数据；所述将所述审核业务数据存储至所述目标存储器类别的存储器中，包括：
根据所述审核业务数据的属性，确定所述审核业务数据的属性所属的维度；
将所述审核业务数据存储至所述审核业务数据的属性所属维度的维度表。
4.根据权利要求3所述的方法，其特征在于，属于同一组的审核业务数据在所述DWS层中存在关联关系，在所述将所述审核业务数据存储至所述目标存储器类别的存储器中之后，所述方法还包括：
从指定维度的维度表中，选择满足预设汇总条件的审核业务数据；
根据满足预设汇总条件的各审核业务数据之间的关联关系，对存在关联关系的审核业务数据进行聚合计算，生成多条汇总数据，并将每条汇总数据与自身对应的数据标识对应存储至数据集市存储DMS层。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收终端发送的读取指令，所述读取指令中包括待读取汇总数据的待读取数据标识以及所述终端的登录用户的用户标识；
若所述用户标识对应的用户具有所述待读取汇总数据的读取权限，则从所述DMS层获取所述待读取数据标识对应的待读取汇总数据，并向所述终端发送所述待读取汇总数据。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收展示指令，所述展示指令包括待展示汇总数据的待展示数据标识；
获取所述待展示数据标识对应的所述待展示汇总数据，所述待展示汇总数据包括所述待展示汇总数据对应的对象数据的地址信息；
将所述待展示汇总数据嵌入预设的超文本标记语言HTML页面；
从所述地址信息对应的对象存储服务器中获取所述对象数据，并渲染所述HTML页面。
7.一种数据存储装置，其特征在于，所述装置包括：
获取模块，用于获取多条审核业务数据，所述审核业务数据包括对用户上传的对象数据进行审核产生的数据；
确定模块，用于针对所述获取模块获取的每条审核业务数据，按照所述审核业务数据的属性，确定所述审核业务数据所属的业务主题；
所述确定模块，还用于根据各业务主题与存储器类别之间的预设对应关系，确定所述审核业务数据所属的业务主题对应的目标存储器类别；
存储模块，用于将所述审核业务数据存储至所述确定模块确定的所述目标存储器类别的存储器中，每个存储器所属的存储器类别基于自身的寻址方式以及存储介质确定。
8.根据权利要求7所述的装置，其特征在于，
所述获取模块，还用于在所述获取多条审核业务数据之前，获取数据源中的各组审核业务数据；
所述确定模块，还用于针对所述获取模块获取的每组审核业务数据，根据该组审核业务数据中第一预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别；
所述确定模块，还用于根据该组审核业务数据中第二预设维度的审核业务数据满足的分类规则，确定该组审核业务数据所属的第一类别下的第二类别；
所述存储模块，还用于将该组审核业务数据存储至操作数据存储ODS层中的所述第二类别对应的存储位置中；
所述获取模块，具体用于从所述ODS层中获取指定类别的多条审核业务数据。
9.根据权利要求7所述的装置，其特征在于，所述存储器用于存储数据仓库存储DWS层中的审核业务数据，每个存储器中存储有自身所属存储器类别对应的业务主题的事实表和多个维度表，所述事实表包括所述多个维度表的维度标识，每个维度表用于存储自身维度的审核业务数据；所述存储模块，具体用于：
根据所述审核业务数据的属性，确定所述审核业务数据的属性所属的维度；
将所述审核业务数据存储至所述审核业务数据的属性所属维度的维度表。
10.根据权利要求9所述的装置，其特征在于，属于同一组的审核业务数据在所述DWS层中存在关联关系，所述装置还包括：选择模块和生成模块；
所述选择模块，用于在所述将所述审核业务数据存储至所述目标存储器类别的存储器中之后，从指定维度的维度表中，选择满足预设汇总条件的审核业务数据；
所述生成模块，用于根据满足预设汇总条件的各审核业务数据之间的关联关系，对存在关联关系的审核业务数据进行聚合计算，生成多条汇总数据，并将每条汇总数据与自身对应的数据标识对应存储至数据集市存储DMS层。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：接收模块和发送模块；
所述接收模块，用于接收终端发送的读取指令，所述读取指令中包括待读取汇总数据的待读取数据标识以及所述终端的登录用户的用户标识；
所述发送模块，用于若所述用户标识对应的用户具有所述待读取汇总数据的读取权限，则从所述DMS层获取所述待读取数据标识对应的待读取汇总数据，并向所述终端发送所述待读取汇总数据。
12.根据权利要求10所述的装置，其特征在于，所述装置还包括：接收模块、嵌入模块和渲染模块；
所述接收模块，用于接收展示指令，所述展示指令包括待展示汇总数据的待展示数据标识；
所述获取模块，还用于获取所述待展示数据标识对应的所述待展示汇总数据，所述待展示汇总数据包括所述待展示汇总数据对应的对象数据的地址信息；
所述嵌入模块，用于将所述获取模块获取的所述待展示汇总数据嵌入预设的超文本标记语言HTML页面；
所述渲染模块，用于从所述地址信息对应的对象存储服务器中获取所述对象数据，并渲染所述HTML页面。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一项所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法步骤。
CN201911265648.0A 2019-12-11 2019-12-11 一种数据存储方法、装置、电子设备及介质 Pending CN112947844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911265648.0A CN112947844A (zh) 2019-12-11 2019-12-11 一种数据存储方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911265648.0A CN112947844A (zh) 2019-12-11 2019-12-11 一种数据存储方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN112947844A true CN112947844A (zh) 2021-06-11

Family

ID=76226395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911265648.0A Pending CN112947844A (zh) 2019-12-11 2019-12-11 一种数据存储方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112947844A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115438128A (zh) * 2022-09-16 2022-12-06 中国建设银行股份有限公司 数据处理方法、装置、设备、存储介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933112A (zh) * 2015-06-04 2015-09-23 浙江力石科技股份有限公司 分布式互联网交易信息存储处理方法
CN105302478A (zh) * 2015-09-23 2016-02-03 联想(北京)有限公司 一种数据存储方法及电子设备
CN107918600A (zh) * 2017-11-15 2018-04-17 泰康保险集团股份有限公司 报表开发系统及方法、存储介质和电子设备
CN108710474A (zh) * 2018-05-18 2018-10-26 郑州云海信息技术有限公司 一种数据存储方法、装置及计算机存储介质
CN109409836A (zh) * 2018-10-23 2019-03-01 网易（杭州）网络有限公司 数据申请处理方法及装置、电子设备、存储介质
CN109992210A (zh) * 2019-03-29 2019-07-09 重庆紫光华山智安科技有限公司 数据存储方法、装置及电子设备
CN110515895A (zh) * 2019-08-30 2019-11-29 弭迺彬 大数据存储系统中对数据文件进行关联存储的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933112A (zh) * 2015-06-04 2015-09-23 浙江力石科技股份有限公司 分布式互联网交易信息存储处理方法
CN105302478A (zh) * 2015-09-23 2016-02-03 联想(北京)有限公司 一种数据存储方法及电子设备
CN107918600A (zh) * 2017-11-15 2018-04-17 泰康保险集团股份有限公司 报表开发系统及方法、存储介质和电子设备
CN108710474A (zh) * 2018-05-18 2018-10-26 郑州云海信息技术有限公司 一种数据存储方法、装置及计算机存储介质
CN109409836A (zh) * 2018-10-23 2019-03-01 网易（杭州）网络有限公司 数据申请处理方法及装置、电子设备、存储介质
CN109992210A (zh) * 2019-03-29 2019-07-09 重庆紫光华山智安科技有限公司 数据存储方法、装置及电子设备
CN110515895A (zh) * 2019-08-30 2019-11-29 弭迺彬 大数据存储系统中对数据文件进行关联存储的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115438128A (zh) * 2022-09-16 2022-12-06 中国建设银行股份有限公司 数据处理方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
US7567970B2 (en) Contents search system for providing reliable contents through network and method thereof
US20180077146A1 (en) Online Identity Reputation
CA2927580C (en) Method and system for document data extraction template management
US11423096B2 (en) Method and apparatus for outputting information
US9064261B2 (en) Auto-suggested content item requests
CN110290199B (zh) 内容推送方法、装置及设备
US11288673B1 (en) Online fraud detection using machine learning models
WO2017167208A1 (zh) 识别恶意网站的方法、装置及计算机存储介质
CN104579909A (zh) 一种用户信息的分类、用户分组信息的获取方法和设备
EP3622444A1 (en) Improved onboarding of entity data
CN111382206A (zh) 一种数据存储方法及装置
CN113221535B (zh) 情报处理方法、装置、计算机设备和存储介质
CN114416733A (zh) 数据检索的处理方法、装置、电子设备及存储介质
CN112947844A (zh) 一种数据存储方法、装置、电子设备及介质
US9299076B2 (en) Email spam and junk mail as a vendor reliability signal
CN116932214A (zh) 指令发送方法、装置、电子设备及计算机存储介质
KR102135075B1 (ko) 뉴스 작성 지침 및 방송 보도 지침 기반의 인스턴트 메시지의 구문 분석을 통한 가짜 뉴스 알림 서비스 제공 방법 및 장치
CN114356896B (zh) 一种数据库检测方法及装置
CN108228101B (zh) 一种管理数据的方法和系统
CN114491184B (zh) 一种数据处理方法及装置、存储介质及电子设备
US20180300406A1 (en) Fast social network data aggregation and summation
US9152701B2 (en) Query classification
CN112257100A (zh) 敏感数据保护效果的检测方法、装置及存储介质
CN106156024A (zh) 一种信息处理方法及服务器
CN110674386A (zh) 资源推荐方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination