CN113468173B - 数据的存储方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及大数据领域，公开了一种数据的存储方法、装置、设备及存储介质。所述数据的存储方法包括：接收终端发送的数据存储请求，并根据数据存储请求，对原始数据集进行预处理，得到临时数据源；调用预置业务指标构建模型，对临时数据源进行数据处理，得到临时数据源对应的指标体系；基于目标指标项，为临时数据源中的每条数据设定存储级别，其中，目标指标项为指标体系中的任意一个指标；根据数据的存储级别，将数据存储至数据库中的目标存储单元，并输出目标数据的存储地址；基于目标数据的存储地址，生成目标数据的确认返回信息，并将确认返回信息发送至所述终端，从而提升存储方式的灵活性，以满足不同的业务需求。

Description

数据的存储方法、装置、设备及存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种数据的存储方法、装置、设备及存储介质。

背景技术

在电商领域，随着业务量级的不断增加，产生的数据量也愈加庞大且类型复杂，多数企业和组织需要通过数据库来存储其业务数据，同时，数据库中的数据也经常需要向用户展示。

现有的数据存储方案，将所有的数据有序存入对应的数据表中，该数据存储方式的灵活性较低，无法根据业务场景而灵活改变数据的存储结构，其原因在于一旦较大体量的数据落库，只能通过数据库内部的字段属性查到对应的数据后，再对其存储结构进行修改，该查找过程耗时严重，且需要人工多次操作。

发明内容

本发明的主要目的在于解决现有数据的存储方案无法根据业务场景而灵活改变数据的存储结构的问题。

本发明第一方面提供了一种数据的存储方法，包括：

接收终端发送的数据存储请求，并根据所述数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

调用预置业务指标构建模型，对所述临时数据源进行数据处理，得到所述临时数据源对应的指标体系；

基于目标指标项，为所述临时数据源中的每条数据设定存储级别，其中，所述目标指标项为所述指标体系中的任意一个指标；

根据目标数据的存储级别，将所述目标数据存储至预置数据库中的目标存储单元，并输出所述目标数据的存储地址，其中，所述目标数据为所述临时数据源中任意一条数据，所述目标存储单元与所述目标数据的存储级别对应；

基于所述目标数据的存储地址，生成所述目标数据的确认返回信息，并将所述确认返回信息发送至所述终端，其中，所述确认返回信息用于触发所述终端将所述目标数据标记为已存储，并为所述目标数据添加存储地址信息。

可选的，在本发明第一方面的第一种实现方式中，所述根据所述数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源包括：

根据所述数据存储请求，对待存储的原始数据集进行数据清洗，得到第一数据集；

对所述第一数据集进行一致性转换，得到第二数据集；

对所述第二数据集进行数据粒度转换，得到第三数据集；

根据预置业务计算规则，对所述第三数据集进行计算处理，得到临时数据源。

可选的，在本发明第一方面的第二种实现方式中，在所述调用预置业务指标构建模型，对所述临时数据源进行数据处理，得到所述临时数据源对应的指标体系之后，还包括：

接收用户在预置指标配置页面中设定的目标指标项。

可选的，在本发明第一方面的第三种实现方式中，在所述基于目标指标项，为所述临时数据源中的每条数据设定存储级别之后，还包括：

基于预置业务需求，构建存储触发器，其中，所述存储触发器用于基于目标存储方式，对所述临时数据源中的数据进行存储，所述目标存储方式可包括定时存储、按数据量触发存储等方式。

可选的，在本发明第一方面的第四种实现方式中，所述根据目标数据的存储级别，将所述目标数据存储至预置数据库中的目标存储单元包括：

根据所述目标数据的存储级别，确定预置数据库中与所述存储级别对应的目标存储单元，其中，所述目标数据包括第一目标数据和所述第二目标数据；

将所述第一目标数据存储至所述目标存储单元中的主表中，并将所述第二目标数据存储至所述目标存储单元中的拓展表中；

建立所述目标存储单元中的主表与所述目标存储单元中的拓展表之间的表关联关系。

可选的，在本发明第一方面的第五种实现方式中，在所述基于所述目标数据的存储地址，生成所述目标数据的确认返回信息，并将所述确认返回信息发送至所述终端之后，还包括：

检测所述终端发出的数据读取请求，所述数据读取请求中包括待读取数据的存储地址和数据标识；

若检测到所述终端发出的数据读取请求时，在与目标存储地址对应的存储单元中获取与所述数据标识对应的待读取数据，并将获取的待读取数据发送到所述终端，其中，所述目标存储地址为所述待读取数据的存储地址。

本发明第二方面提供了一种数据的存储装置，包括：

数据预处理模块，用于接收终端发送的数据存储请求，并根据所述数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

指标体系构建模块，用于调用预置业务指标构建模型，对所述临时数据源进行数据处理，得到所述临时数据源对应的指标体系；

存储级别设定模块，用于基于目标指标项，为所述临时数据源中的每条数据设定存储级别，其中，所述目标指标项为所述指标体系中的任意一个指标；

数据存储模块，用于根据目标数据的存储级别，将所述目标数据存储至预置数据库中的目标存储单元，并输出所述目标数据的存储地址，其中，所述目标数据为所述临时数据源中任意一条数据，所述目标存储单元与所述目标数据的存储级别对应；

存储确认模块，用于基于所述目标数据的存储地址，生成所述目标数据的确认返回信息，并将所述确认返回信息发送至所述终端，其中，所述确认返回信息用于触发所述终端将所述目标数据标记为已存储，并为所述目标数据添加存储地址信息。

可选的，在本发明第二方面的第一种实现方式中，所述数据预处理模块具体包括：

数据清洗单元，用于根据所述数据存储请求，对待存储的原始数据集进行数据清洗，得到第一数据集；

一致性转换单元，用于对所述第一数据集进行一致性转换，得到第二数据集；

数据粒度转换单元，用于对所述第二数据集进行数据粒度转换，得到第三数据集；

计算处理单元，用于根据预置业务计算规则，对所述第三数据集进行计算处理，得到临时数据源。

可选的，在本发明第二方面的第二种实现方式中，所述指标体系构建模块具体还用于：

接收用户在预置指标配置页面中设定的目标指标项。

可选的，在本发明第二方面的第三种实现方式中，所述存储级别设定模块具体还用于：

基于预置业务需求，构建存储触发器，其中，所述存储触发器用于基于目标存储方式，对所述临时数据源中的数据进行存储，所述目标存储方式包括定时存储。

可选的，在本发明第二方面的第四种实现方式中，所述数据存储模块具体包括：

存储单元确认单元，用于根据所述目标数据的存储级别，确定预置数据库中与所述存储级别对应的目标存储单元，其中，所述目标数据包括第一目标数据和所述第二目标数据；

数据落表单元，用于将所述第一目标数据存储至所述目标存储单元中的主表中，并将所述第二目标数据存储至所述目标存储单元中的拓展表中；

关联单元，用于建立所述目标存储单元中的主表与所述目标存储单元中的拓展表之间的表关联关系。

可选的，在本发明第二方面的第五种实现方式中，所述存储确认模块具体还用于：

检测所述终端发出的数据读取请求，所述数据读取请求中包括待读取数据的存储地址和数据标识；

若检测到所述终端发出的数据读取请求时，在与目标存储地址对应的存储单元中获取与所述数据标识对应的待读取数据，并将获取的待读取数据发送到所述终端，其中，所述目标存储地址为所述待读取数据的存储地址。

本发明第三方面提供了一种数据的存储设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据的存储设备执行上述的数据的存储方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据的存储方法。

本发明提供的技术方案中，通过对待存储数据进行预处理，并将预处理后得到的临时数据源输入业务指标构建模型中进行处理，得到对应的指标体系，基于指标体系中的一个指标项，为临时数据源中的数据设定存储级别，根据存储级别，将临时数据源中的数据存储到对应的存储单元中，最后返回存储确认信息到终端中，以将数据标识为已存储以及添加对应的存储地址，从而发提升数据读取效率，本发明通过指标体系中指标项，从而灵活设定数据的存储级别，进而根据存储级别存储至不同的存储单元中，存储方式灵活，可以满足不同业务类型的存储需求及可视化需求。

附图说明

图1为本发明实施例中数据的存储方法的第一个实施例示意图；

图2为本发明实施例中数据的存储方法的第二个实施例示意图；

图3为本发明实施例中数据的存储方法的第三个实施例示意图；

图4为本发明实施例中数据的存储方法的第四个实施例示意图；

图5为本发明实施例中数据的存储装置的一个实施例示意图；

图6为本发明实施例中数据的存储装置的另一个实施例示意图；

图7为本发明实施例中数据的存储设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据的存储方法、装置、设备及存储介质，可以提升灵活地进行数据存储，以满足业务需求。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据的存储方法的一个实施例包括：

101、接收终端发送的数据存储请求，并根据数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

可以理解的是，数据存储请求中包括预处理的方式，服务器基于该预处理方式，对待存储的原始数据集进行预处理，其中，预处理包括数据清洗以及数据转换。

具体的，首先服务器过滤出原始数据集中的异常数据，并对其进行修正，得到第一数据集，其面向对象主要为不完整的数据、错误的数据、重复的数据；其次，服务器对第一数据集进行一致性转换，即将在不同业务系统中却具有相同数据类型的数据进行统一，得到第二数据集；然后，服务器对第二数据集进行数据粒度转换，得到第三数据集；最后，服务器基于预置业务计算规则，对第三数据集进行计算处理，得到临时数据源。

102、调用预置业务指标构建模型，对临时数据源进行数据处理，得到临时数据源对应的指标体系；

应该理解的是，预置业务指标构建模型为一种文本分类模型，用于提取数据集中数据的共有特征，并将其用输入的分类标签(指标)进行表示，以形成数据集对应的指标体系，该模型已基于网络上的公开数据集和业务场景中的历史数据，进行了指标体系的构建训练以及网络参数的微调，能够较为准确提取输入数据中的共有特征，并将其转化为相应的指标体系。

具体的，服务器调用该预置业务指标构建模型，对临时数据源进行数据处理，得到相应的指标体系，其中，模型的分类标签中包含了当前业务场景下常用的业务数据指标，例如“生成时间”、“支付方式”、“销量”、“失效时间”这些分类标签，模型在进行数据处理时，将提取到的公共特征对应的特征向量输入模型的全连接层，并基于一个多分类函数(如softmax)，在多层感知网络(MLP)中计算公共特征对应的特征向量与每个分类标签匹配概率，得到对应的多分类概率分布，例如[“生成时间”：0.8,“支付方式”：0.6,“销量”：0.3,“失效时间”：0.5]，将其中大于预置阈值的概率值对应分类标签作为临时数据源的指标，若预置阈值为0.5，即将“生成时间”、“支付方式”作为临时数据源的指标以构建指标体系。

103、基于目标指标项，为临时数据源中的每条数据设定存储级别，其中，目标指标项为指标体系中的任意一个指标；

应该理解的是，目标指标为该指标体系中的任意一个指标，在本实施例中并不作限定，例如当目标指标为“生成时间”时，服务器根据“生成时间”这一指标为临时数据源中的数据设定对应的存储级别，其中，数据的存储级别可以按照年份或月份，或更为具体的时间段进行划分，例如当按照年份划分数据的存储级别时，将2021年内生成的数据设定为第一存储级别，将2020年内生成的数据设定为第二存储级别，将2019年内生成的数据设定为第三存储级别，将2019年之前生成的数据设定为第四存储级别，类似地，数据的存储级别也可以按照月份、自然日等标准进行划分。

104、根据目标数据的存储级别，将目标数据存储至预置数据库中的目标存储单元，并输出目标数据的存储地址，其中，目标数据为临时数据源中任意一条数据，目标存储单元与目标数据的存储级别对应；

可以理解的是，预置数据库为基于硬盘存储的数据库，例如SSDB数据库，其中，该数据库中包含多个存储单元，而存储单元的存储级别与临时数据源中数据的存储级别是对应的，例如第一存储单元对应第一存储级别，第二存储单元对应第二存储级别，服务器基于这种对应关系，将临时数据源中的数据存储至相应的存储单元中两张数据表(主表和拓展表)中，并且通过添加外键的方式为这两张数据表添加关联关系，有效地节省了数据存储空间，并且存储结构明确清晰，服务器可以根据目标指标项、存储级别、存储单元，即可判断每个存储单元中存储的数据对应的类型，进而实现特定数据的读取与可视化。

105、基于目标数据的存储地址，生成目标数据的确认返回信息，并将确认返回信息发送至终端，其中，确认返回信息用于触发终端将目标数据标记为已存储，并为目标数据添加存储地址信息。

可以理解的是，在服务器成功将临时数据源中的数据存储至预置数据库中对应的存储单元后，服务器向终端设备立即发送待存储数据的确认返回信息；该确认返回信息中包含了数据的存储地址，可以提醒终端设备该待存储数据已经存储成功，从而避免终端设备重复将数据存储请求发送至服务器，进而影响服务器的性能；同时，服务器又向终端中添加了待存储数据成功存储后的存储地址，在后续数据读取时，服务器直接根据终端中数据的存储地址，快速定位查找到对应的数据，进一步提升数据读取的效率。

本实施例中，通过指标体系中指标项，从而灵活设定数据的存储级别，进而根据存储级别存储至不同的存储单元中，存储方式灵活，可以满足不同业务类型的存储需求及可视化需求。

参阅图2，本发明实施例中数据的存储方法的第二个实施例包括：

201、接收终端发送的数据存储请求，并根据数据存储请求，对待存储的原始数据集进行数据清洗，得到第一数据集；

可以理解的是，数据清洗即服务器过滤出原始数据集中的异常数据，并对其进行修正的过程，其面向的对象主要包括三类异常数据，第一类异常类型数据为不完整的数据，其特征是缺失部分必要的信息，如供应商的名称，分公司的名称，客户的区域信息缺失等；第二类异常类型数据为错误的数据，这类数据在录入时并没有进行判断而直接落入系统的存储区中，例如数值数据输入为全角数字字符、字符串数据后面包含一个回车符、日期格式不正确、日期越界等；第三类异常类型数据为重复的数据，服务器需要对其进行去重处理。

202、对第一数据集进行一致性转换，得到第二数据集；

可以理解的是，服务器对数据清洗后得到的第一数据集进行一致性转换，即将在不同业务系统中却具有相同数据类型的数据进行数据的统一，例如同一个供应商在结算系统的编码是XX0001，而在CRM(客户关系管理，Customer Relationship Management)系统中编码是YY0001，服务器将其统一转换为一个编码。

203、对第二数据集进行数据粒度转换，得到第三数据集；

可以理解的是，服务器对第二数据集进行数据粒度转换，得到第三数据集；由于业务系统中一般存储着非常明细的数据，而仓库存储区对数据的明细度要求较低，因此服务器将业务系统中的数据按照数据仓库粒度进行聚合处理。

204、根据预置业务计算规则，对第三数据集进行计算处理，得到临时数据源；

可以理解的是，服务器对第三数据集进行包含商业规则的计算，即通过财务计算公式，对业务数据、数据指标等数据进行计算处理，得到临时数据源。

205、调用预置业务指标构建模型，对临时数据源进行数据处理，得到临时数据源对应的指标体系；

206、基于目标指标项，为临时数据源中的每条数据设定存储级别，其中，目标指标项为指标体系中的任意一个指标；

207、根据目标数据的存储级别，将目标数据存储至预置数据库中的目标存储单元，并输出目标数据的存储地址，其中，目标数据为临时数据源中任意一条数据，目标存储单元与目标数据的存储级别对应。

208、基于目标数据的存储地址，生成目标数据的确认返回信息，并将确认返回信息发送至终端，其中，确认返回信息用于触发终端将目标数据标记为已存储，并为目标数据添加存储地址信息。

其中，步骤205-208与上述步骤102-105的执行步骤类似，具体此处不再赘述。

本实施例中，详细描述了对原始数据集的预处理过程，通过数据清洗及数据转换，从而减少了待存储数据的体量且提升了数据的有效性，减少了数据存储的空间浪费。

参阅图3，本发明实施例中数据的存储方法的第三个实施例包括：

301、接收终端发送的数据存储请求，并根据数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

302、调用预置业务指标构建模型，对临时数据源进行数据处理，得到临时数据源对应的指标体系；

其中，步骤301-302与上述步骤101-102的执行步骤类似，具体此处不再赘述。

303、接收用户在预置指标配置页面中设定的目标指标项；

应当理解的是，指标配置页面为一个可视化页面，可以呈现于终端设备中显示。用户在该页面中能够从已建立的指标体系中选择一个指标项作为目标指标项，从而划分临时数据源中的数据对应的存储级别，从而能够实现数据存储的可灵活配置。

304、基于目标指标项，为临时数据源中的每条数据设定存储级别，其中，目标指标项为指标体系中的任意一个指标；

其中，步骤304与上述步骤103的执行步骤类似，具体此处不再赘述。

305、基于预置业务需求，构建存储触发器，其中，存储触发器用于基于目标存储方式，对临时数据源中的数据进行存储。

应当理解的是，存储触发器可以为具体的调度进程，服务器通过设定定时任务调度进程(Task)执行数据存储进程，目标存储方式可以为指定时间段存储、指定数据量存储等。例如业务需求为指定时间段触发数据的存储，当处于指定时间点时，服务器调度该数据存储进程，并根据对应进程配置文件中的“数据存储对象信息”、“存储策略(存储级别对应指定存储单元)”，对临时数据源中的数据进行存储；在一实施例中，还可以基于指定数据量触发数据存储，即临时数据源中数据记录达到一定的数目时，服务器调度数据存储进程，并基于进程配置文件中的相关存储参数临时数据源中的数据进行存储。

306、根据目标数据的存储级别，将目标数据存储至预置数据库中的目标存储单元，并输出目标数据的存储地址，其中，目标数据为临时数据源中任意一条数据，目标存储单元与目标数据的存储级别对应；

307、基于目标数据的存储地址，生成目标数据的确认返回信息，并将确认返回信息发送至终端，其中，确认返回信息用于触发终端将目标数据标记为已存储，并为目标数据添加存储地址信息。

其中，步骤306-307与上述步骤104-105的执行步骤类似，具体此处不再赘述。

本实施例中，详细描述目标指标项的确定方式以及数据存储的触发方式，基于业务需求，用户可以指定目标指标项，并且指定存储触发器的存储方式，从而进一步提升数据存储的灵活性。

参阅图4，本发明实施例中数据的存储方法的第四个实施例包括：

401、接收终端发送的数据存储请求，并根据数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

402、调用预置业务指标构建模型，对临时数据源进行数据处理，得到临时数据源对应的指标体系；

403、基于目标指标项，为临时数据源中的每条数据设定存储级别，其中，目标指标项为指标体系中的任意一个指标；

其中，步骤401-403与上述步骤101-103的执行步骤类似，具体此处不再赘述。

404、根据目标数据的存储级别，确定预置数据库中与所述存储级别对应的目标存储单元，其中，目标数据为临时数据源中任意一条数据，目标数据包括第一目标数据和所述第二目标数据；

可以理解的是，存储单元的存储级别与临时数据源中数据的存储级别是一一对应的，例如第一存储单元对应第一存储级别，第二存储单元对应第二存储级别。

405、将第一目标数据存储至目标存储单元中的主表中，并将第二目标数据存储至目标存储单元中的拓展表中；

应当理解的是，临时数据源中的数据由主要信息和拓展信息构成，服务器将其中的主要信息存储至目标存储单元的主表中，以及将拓展信息存储至目标存储单元的拓展表中，从而减少了数据存储的冗余，进而有效减少了存储空间的浪费。

例如当临时数据源中的数据为财务结算明细数据时，每条财务结算明细数据中包括至少一条常规结算分摊方式属性(主要信息)，部分财务结算明细数据中还包括非常规结算分摊方式属性(拓展信息)，如果将两者存储于一张数据表中，那么将存入大量的无效数据，因为对于无非常规结算分摊方式的数据来说，需要在非常规结算分摊方式属性下填入“0”或类似的字符，以表示该条数据记录中无该种结算分摊方式，显而易见的是，这种共存于一张数据表的存储方式浪费了大量的存储空间，且数据冗余，请参考表一：

id	s_id	t_id	pay_time	m1	m2	m3	m4	m5	m6
										1	1001	2101	6/20	60	10	0	15	0	0
2	1002	2102	6/26	9	3	0	0	0	0
										3	1003	2103	6/30	9	2	0	0	2	0

表一

可以理解的是，对于这三条数据来说，m1与m2为常规的结算分摊方式，m3至m6为非常规的结算分摊方式，id、s_id、t_id、pay_time为数据的基本信息，服务器将数据的基本信息以及常规结算分摊方式对应的数据存储于主表中，请参考表二：

id	s_id	t_id	pay_time	m1	m2
						1	1001	2101	6/20	60	10
2	1002	2102	6/26	9	3
						3	1003	2103	6/30	9	2

表二

进一步地，服务器将非常规结算分摊方式的数据进行结构优化后存储于拓展表中，请参考表三：

id	m_type	amount
			1	4	15
2	5	2

表三

406、建立目标存储单元中的主表与目标存储单元中的拓展表之间的表关联关系，并根据目标数据所在的目标存储单元，确定并输出目标数据的存储地址；

可以理解的是，服务器对主表与拓展表的表结构进行设定，为主表设定相应的外键信息，并在对应的拓展表中新增该外键(主表的外键信息)，请参考表四，以此来建立主表与拓展表之间的关联关系。

id	t_id	m_type	amount
				1	2101	4	15
2	2103	5	2

表四

进一步地，服务器根据目标数据被存储于数据库中的存储单元信息，确定目标数据对应的存储地址，并将其输出其存储地址。其中，存储地址由数据库名称、存储单元信息组成，例如一条数据被存储于数据库中的第二存储单元(cell2)中，数据库的名称为db1，则该数据的存储地址为db1/cell2。

407、基于目标数据的存储地址，生成目标数据的确认返回信息，并将确认返回信息发送至终端，其中，确认返回信息用于触发终端将目标数据标记为已存储，并为目标数据添加存储地址信息；

其中，步骤407与上述步骤105的执行步骤类似，具体此处不再赘述。

408、检测终端发出的数据读取请求，数据读取请求中包括待读取数据的存储地址和数据标识；

可以理解的是，服务器根据终端的数据读取请求，获取对应的待读取数据，其中数据读取请求中包括待读取数据的存储地址和数据标识，存储地址即数据库名称与存储单元信息的组合，例如db1/cell2，数据标识可以为数据表中的某个具有标识意义的字段，例如id。

409、若检测到终端发出的数据读取请求时，在与目标存储地址对应的存储单元中获取与数据标识对应的待读取数据，并将获取的待读取数据发送到终端，其中，目标存储地址为待读取数据的存储地址。

可以理解的是，当服务器检测到终端设备发出数据读取请求时，根据待读取数据的存储地址和数据标识，从相应的存储单元中的主表中读取与该数据标识对应的数据，以及从相应的存储单元中的拓展表中读取与该数据标识对应的数据，并且将这些获取到数据发送到终端中，以进行数据处理或者可视化展示。

本实施例中，详细描述了数据存储过程，通过分层存储(即根据数据的存储级别，存入不同的存储单元)结合多表存储，有效减少了存储空间的浪费以及优化了存储结构，进而提升数据检索的效率。

上面对本发明实施例中数据的存储方法进行了描述，下面对本发明实施例中数据的存储装置进行描述，请参阅图5，本发明实施例中数据的存储装置的一个实施例包括：

数据预处理模块501，用于接收终端发送的数据存储请求，并根据所述数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

指标体系构建模块502，用于调用预置业务指标构建模型，对所述临时数据源进行数据处理，得到所述临时数据源对应的指标体系；

存储级别设定模块503，用于基于目标指标项，为所述临时数据源中的每条数据设定存储级别，其中，所述目标指标项为所述指标体系中的任意一个指标；

数据存储模块504，用于根据目标数据的存储级别，将所述目标数据存储至预置数据库中的目标存储单元，并输出所述目标数据的存储地址，其中，所述目标数据为所述临时数据源中任意一条数据，所述目标存储单元与所述目标数据的存储级别对应；

存储确认模块505，用于基于所述目标数据的存储地址，生成所述目标数据的确认返回信息，并将所述确认返回信息发送至所述终端，其中，所述确认返回信息用于触发所述终端将所述目标数据标记为已存储，并为所述目标数据添加存储地址信息。

本实施例中，通过指标体系中指标项，从而灵活设定数据的存储级别，进而根据存储级别存储至不同的存储单元中，存储方式灵活，可以满足不同业务类型的存储需求及可视化需求。

参阅图6，本发明实施例中数据的存储装置的另一个实施例包括：

数据预处理模块601，用于接收终端发送的数据存储请求，并根据所述数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

指标体系构建模块602，用于调用预置业务指标构建模型，对所述临时数据源进行数据处理，得到所述临时数据源对应的指标体系；

存储级别设定模块603，用于基于目标指标项，为所述临时数据源中的每条数据设定存储级别，其中，所述目标指标项为所述指标体系中的任意一个指标；

数据存储模块604，用于根据目标数据的存储级别，将所述目标数据存储至预置数据库中的目标存储单元，并输出所述目标数据的存储地址，其中，所述目标数据为所述临时数据源中任意一条数据，所述目标存储单元与所述目标数据的存储级别对应；

存储确认模块605，用于基于所述目标数据的存储地址，生成所述目标数据的确认返回信息，并将所述确认返回信息发送至所述终端，其中，所述确认返回信息用于触发所述终端将所述目标数据标记为已存储，并为所述目标数据添加存储地址信息。

其中，所述数据预处理模块601包括：

数据清洗单元6011，用于根据所述数据存储请求，对待存储的原始数据集进行数据清洗，得到第一数据集；

一致性转换单元6012，用于对所述第一数据集进行一致性转换，得到第二数据集；

数据粒度转换单元6013，用于对所述第二数据集进行数据粒度转换，得到第三数据集；

计算处理单元6014，用于根据预置业务计算规则，对所述第三数据集进行计算处理，得到临时数据源。

其中，所述指标体系构建模块602具体还用于：

接收用户在预置指标配置页面中设定的目标指标项。

其中，所述存储级别设定模块603具体还用于：

基于预置业务需求，构建存储触发器，其中，所述存储触发器用于基于目标存储方式，对所述临时数据源中的数据进行存储，所述目标存储方式包括定时存储。

其中，所述数据存储模块604具体包括：

存储单元确认单元6041，用于根据所述目标数据的存储级别，确定预置数据库中与所述存储级别对应的目标存储单元，其中，所述目标数据包括第一目标数据和所述第二目标数据；

数据落表单元6042，用于将所述第一目标数据存储至所述目标存储单元中的主表中，并将所述第二目标数据存储至所述目标存储单元中的拓展表中；

关联单元6043，用于建立所述目标存储单元中的主表与所述目标存储单元中的拓展表之间的表关联关系。

其中，所述存储确认模块605具体还用于：

检测所述终端发出的数据读取请求，所述数据读取请求中包括待读取数据的存储地址和数据标识；

若检测到所述终端发出的数据读取请求时，在与目标存储地址对应的存储单元中获取与所述数据标识对应的待读取数据，并将获取的待读取数据发送到所述终端，其中，所述目标存储地址为所述待读取数据的存储地址。

本发明实施例中，模块化的设计让数据的存储装置各部位的硬件专注于某一功能的实现，最大化实现了硬件的性能，同时模块化的设计也降低了装置的模块之间的耦合性，更加方便维护。

上面图5和图6从模块化功能实体的角度对本发明实施例中的数据的存储装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据的存储设备进行详细描述。

图7是本发明实施例提供的一种数据的存储设备的结构示意图，该数据的存储设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据的存储设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在数据的存储设备700上执行存储介质730中的一系列指令操作。

数据的存储设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的数据的存储设备结构并不构成对数据的存储设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种数据的存储设备，所述数据的存储设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述数据的存储方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据的存储方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种数据的存储方法，其特征在于，所述数据的存储方法包括：

接收终端发送的数据存储请求，并根据所述数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

调用预置业务指标构建模型，对所述临时数据源进行数据处理，得到所述临时数据源对应的指标体系；其中，所述预置业务指标构建模型用于提取所述临时数据源的数据共有特征，并将所述数据共有特征用分类指标表示，得到所述临时数据源对应的指标体系；

基于目标指标项，为所述临时数据源中的每条数据设定存储级别，其中，所述目标指标项为所述指标体系中的任意一个指标；

根据目标数据的存储级别，将所述目标数据存储至预置数据库中的目标存储单元，并输出所述目标数据的存储地址，其中，所述目标数据为所述临时数据源中任意一条数据，所述目标存储单元与所述目标数据的存储级别对应；

基于所述目标数据的存储地址，生成所述目标数据的确认返回信息，并将所述确认返回信息发送至所述终端，其中，所述确认返回信息用于触发所述终端将所述目标数据标记为已存储，并为所述目标数据添加存储地址信息；

所述根据目标数据的存储级别，将所述目标数据存储至预置数据库中的目标存储单元包括：

根据所述目标数据的存储级别，确定预置数据库中与所述存储级别对应的目标存储单元，其中，所述目标数据包括第一目标数据和第二目标数据；

将所述第一目标数据存储至所述目标存储单元中的主表中，并将所述第二目标数据存储至所述目标存储单元中的拓展表中；

建立所述目标存储单元中的主表与所述目标存储单元中的拓展表之间的表关联关系。

2.根据权利要求1所述的数据的存储方法，其特征在于，所述根据所述数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源包括：

根据所述数据存储请求，对待存储的原始数据集进行数据清洗，得到第一数据集；

对所述第一数据集进行一致性转换，得到第二数据集；

对所述第二数据集进行数据粒度转换，得到第三数据集；

根据预置业务计算规则，对所述第三数据集进行计算处理，得到临时数据源。

3.根据权利要求1所述的数据的存储方法，其特征在于，在所述调用预置业务指标构建模型，对所述临时数据源进行数据处理，得到所述临时数据源对应的指标体系之后，还包括：

接收用户在预置指标配置页面中设定的目标指标项。

4.根据权利要求3所述的数据的存储方法，其特征在于，在所述基于目标指标项，为所述临时数据源中的每条数据设定存储级别之后，还包括：

基于预置业务需求，构建存储触发器，其中，所述存储触发器用于基于目标存储方式，对所述临时数据源中的数据进行存储。

5.根据权利要求1-4中任意一项所述的数据的存储方法，其特征在于，在所述基于所述目标数据的存储地址，生成所述目标数据的确认返回信息，并将所述确认返回信息发送至所述终端之后，还包括：

检测所述终端发出的数据读取请求，所述数据读取请求中包括待读取数据的存储地址和数据标识；

若检测到所述终端发出的数据读取请求时，在与目标存储地址对应的存储单元中获取与所述数据标识对应的待读取数据，并将获取的待读取数据发送到所述终端，其中，所述目标存储地址为所述待读取数据的存储地址。

6.一种数据的存储装置，其特征在于，所述数据的存储装置包括：

数据预处理模块，用于接收终端发送的数据存储请求，并根据所述数据存储请求，对待存储的原始数据集进行预处理，得到临时数据源；

指标体系构建模块，用于调用预置业务指标构建模型，对所述临时数据源进行数据处理，得到所述临时数据源对应的指标体系；其中，所述预置业务指标构建模型用于提取所述临时数据源的数据共有特征，并将所述数据共有特征用分类指标表示，得到所述临时数据源对应的指标体系；

存储级别设定模块，用于基于目标指标项，为所述临时数据源中的每条数据设定存储级别，其中，所述目标指标项为所述指标体系中的任意一个指标；

数据存储模块，用于根据目标数据的存储级别，将所述目标数据存储至预置数据库中的目标存储单元，并输出所述目标数据的存储地址，其中，所述目标数据为所述临时数据源中任意一条数据，所述目标存储单元与所述目标数据的存储级别对应；

存储确认模块，用于基于所述目标数据的存储地址，生成所述目标数据的确认返回信息，并将所述确认返回信息发送至所述终端，其中，所述确认返回信息用于触发所述终端将所述目标数据标记为已存储，并为所述目标数据添加存储地址信息；

所述数据存储模块还用于：根据所述目标数据的存储级别，确定预置数据库中与所述存储级别对应的目标存储单元，其中，所述目标数据包括第一目标数据和第二目标数据；将所述第一目标数据存储至所述目标存储单元中的主表中，并将所述第二目标数据存储至所述目标存储单元中的拓展表中；建立所述目标存储单元中的主表与所述目标存储单元中的拓展表之间的表关联关系。

7.根据权利要求6所述的数据的存储装置，具体用于：

数据清洗单元，用于根据所述数据存储请求，对待存储的原始数据集进行数据清洗，得到第一数据集；

一致性转换单元，用于对所述第一数据集进行一致性转换，得到第二数据集；

数据粒度转换单元，用于对所述第二数据集进行数据粒度转换，得到第三数据集；

计算处理单元，用于根据预置业务计算规则，对所述第三数据集进行计算处理，得到临时数据源。

8.一种数据的存储设备，其特征在于，所述数据的存储设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据的存储设备执行如权利要求1-5中任意一项所述的数据的存储方法。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述的数据的存储方法。