CN111506559B - 数据存储方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种数据存储方法、装置、电子设备及存储介质，通过获取待存储的数据表，其中，数据表具有数据特征；根据数据表的数据特征，确定与数据表匹配的数据模板，其中，不同的数据模板对应不同的数据业务类型；根据与数据表匹配的数据模板，对数据表进行解析，得到解析数据表，解析数据表用于表征数据表中与数据模板相对应的数据。由于不同数据业务类型对应的数据表具有不同的数据特征，根据该数据特征对数据进行区分，确定对应的数据模板，并存储至对应的数据库中，使查询业务数据和非查询业务数据得到分离处理，降低了数据库的规模和负载，提高了数据库的可维护性和读写速度。

Description

数据存储方法、装置、电子设备及存储介质

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据存储方法、装置、电子设备及存储介质。

背景技术

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。随着信息技术的发展以及数据存储量的爆炸式增长，尤其对于企业用户而言，数据库的数据存储量和访问量快速增长，使得传统的数据管理方案面临挑战。

现有技术中的数据存储方案，为了兼顾查询业务数据和非查询业务数据，通常是采用统一的处理方案，即无论是查询业务数据，还是非查询业务数据，统一在在处理完数据存储后，同步写入查询表，便于后续根据查询表对数据进行查询。

然而，由于无法对数据业务进行区分，无论是查询业务数据还是非查询业务数据，全部存储于同一个数据库中，例如通用的mysql数据库中，导致了数据库规模过于庞大，进而产生了数据库维护成本高、数据读写速度慢的问题。

发明内容

本发明提供一种数据存储方法、装置、电子设备及存储介质，用以解决数据库维护成本高、数据读写速度慢的问题。

根据本公开实施例的第一方面，本发明提供了一种数据存储方法，所述方法包括：

获取待存储的数据表，其中，所述数据表具有数据特征；

根据所述数据表的数据特征，确定与所述数据表匹配的数据模板，其中，不同的数据模板对应不同的数据业务类型；

根据与所述数据表匹配的数据模板，对所述数据表进行解析，得到解析数据表，所述解析数据表用于表征所述数据表中与所述数据模板相对应的数据；

将所述解析数据表，存储至与所述数据业务类型匹配的目标数据库中。

在一种可能的实现方式中，所述数据特征为数据属性；所述数据表包括多个数据属性，所述数据表的每一数据属性上具有属性信息。

在一种可能的实现方式中，根据所述数据表的数据特征，确定与所述数据表匹配的数据模板，包括：

获取所述数据表的数据特征对应的第一标识；

根据预设的第一映射关系，确定与所述第一标识对应的第二标识，其中，所述第二标识为所述数据模板的标识；

根据所述第二标识，确定所述数据模板。

在一种可能的实现方式中，所述数据属性为字段名称，所述属性信息为字段值；根据与所述数据表匹配的数据模板，对所述数据表进行解析，得到解析数据表，包括：

获取所述数据模板对应的字段名称；

确定所述数据表中所述字段名称对应的字段值；

对所述字段值进行数据处理，获得解析数据表。

在一种可能的实现方式中，所述数据模板中包括解析公式，对所述字段值进行数据处理，获得解析数据表，包括：

根据所述解析公式，对所述字段值进行类型转换，和/或格式化，和/或四则运算，形成解析数据表。

在一种可能的实现方式中，在将所述解析数据表，存储至与所述数据业务类型匹配的目标数据库中之前，包括：

获取所述第二标识；

根据预设的第二映射关系，确定与所述模板对应的数据库连接信息，所述第二映射关系用于表征所述第二标识与所述数据库连接信息的映射关系，所述数据库连接信息用于表征数据模板与目标数据库的映射关系；

根据所述数据库连接信息，确定与所述数据模板对应的目标数据库。

在一种可能的实现方式中，将所述解析数据表，存储至与所述数据业务类型匹配的目标数据库中，包括：

根据所述数据模板，确定索引表；

将所述索引表和所述解析数据表存储于所述目标数据库中。

在一种可能的实现方式中，根据所述数据模板，确定索引表，包括：

获取所述数据模板的标识；

根据预设的第二预设关系，确定索引表模板，其中，所述索引表模板用于表征索引表所包含的索引字段名称；所述第二预设关系用于表征所述数据模板的标识与索引表模板的映射关系；

获取所述数据表中与所述索引表模板对应的索引字段值；

根据所述索引表模板的索引字段名称及对应的索引字段值，确定索引表。

在一种可能的实现方式中，在将所述解析数据表，存储至与所述数据业务类型匹配的目标数据库中之后，还包括：

接收查询指令，所述查询指令中包括查询规则；

根据所述查询规则，匹配最优索引表，并根据所述最优索引表进行数据查询。

在一种可能的实现方式中，根据所述查询规则，匹配最优索引表，包括：

分别获取多个索引表中的索引字段和对应的字段值；

根据所述查询规则，将离散度最高的索引字段，确定为最优索引表。

在一种可能的实现方式中，在所述接收查询指令之后，还包括：

根据预设的服务降级规则，对所述查询规则进行检索，若所述服务降级规则中包括所述查询规则，则停止对所述查询指令进行响应，并返回失败信息。

在一种可能的实现方式中，在根据所述查询规则，匹配最优索引表，并根据所述最优索引表进行数据查询之后，还包括：

获取所述数据查询对应的查询时间；

根据所述查询时间，对所述查询规则对应的最优索引表进行更新。

在一种可能的实现方式中，所述获取待存储的数据表，包括：

接收数据表存储请求，并发送至消息队列；

通过所述消息队列，获得与所述数据表存储请求对应的数据表。

在一种可能的实现方式中，在所述获取待存储的数据表之后，还包括：

获取预设的过滤表信息；

根据所述过滤表信息，判断所述数据表是否需要进行存储。

根据本公开实施例的第二方面，本发明提供了一种数据存储装置，包括：

获取模块，用于获取待存储的数据表，其中，所述数据表具有数据特征；

确定模块，用于根据所述数据表的数据特征，确定与所述数据表匹配的数据模板，其中，不同的数据模板对应不同的数据业务类型；

解析模板，用于根据与所述数据表匹配的数据模板，对所述数据表进行解析，得到解析数据表，所述解析数据表用于表征所述数据表中与所述数据模板相对应的数据；

存储模块，用于将所述解析数据表，存储至与所述数据业务类型匹配的目标数据库中。

在一种可能的实现方式中，所述数据特征为数据属性；所述数据表包括多个数据属性，所述数据表的每一数据属性上具有属性信息。

在一种可能的实现方式中，所述确定模块，具体用于：

获取所述数据表的数据特征对应的第一标识；

根据预设的第一映射关系，确定与所述第一标识对应的第二标识，其中，所述第二标识为所述数据模板的标识；

根据所述第二标识，确定所述数据模板。

在一种可能的实现方式中，所述数据属性为字段名称，所述属性信息为字段值；所述解析模块，具体用于：

获取所述数据模板对应的字段名称；

确定所述数据表中所述字段名称对应的字段值；

对所述字段值进行数据处理，获得解析数据表。

在一种可能的实现方式中，所述数据模板中包括解析公式，所述解析模块对所述字段值进行数据处理，获得解析数据表时，具体用于：

根据所述解析公式，对所述字段值进行类型转换，和/或格式化，和/或四则运算，形成解析数据表。

在一种可能的实现方式中，所述存储模块在将所述解析数据表，存储至与所述数据业务类型匹配的目标数据库中之前，还用于：

获取所述第二标识；

根据预设的第二映射关系，确定与所述模板对应的数据库连接信息，所述第二映射关系用于表征所述第二标识与所述数据库连接信息的映射关系，所述数据库连接信息用于表征数据模板与目标数据库的映射关系；

根据所述数据库连接信息，确定与所述数据模板对应的目标数据库。

在一种可能的实现方式中，所述存储模块在将所述解析数据表，存储至与所述数据业务类型匹配的目标数据库中时，具体用于：

根据所述数据模板，确定索引表；

将所述索引表和所述解析数据表存储于所述目标数据库中。

在一种可能的实现方式中，所述存储模块在根据所述数据模板，确定索引表时，具体用于：

获取所述数据模板的标识；

根据预设的第二预设关系，确定索引表模板，其中，所述索引表模板用于表征索引表所包含的索引字段名称；所述第二预设关系用于表征所述数据模板的标识与索引表模板的映射关系；

获取所述数据表中与所述索引表模板对应的索引字段值；

根据所述索引表模板的索引字段名称及对应的索引字段值，确定索引表。

在一种可能的实现方式中，所述数据存储装置还包括查询模块，用于：

接收查询指令，所述查询指令中包括查询规则；

根据所述查询规则，匹配最优索引表，并根据所述最优索引表进行数据查询。

在一种可能的实现方式中，所述查询模块在根据所述查询规则，匹配最优索引表时，具体用于：

分别获取多个索引表中的索引字段和对应的字段值；

根据所述查询规则，将离散度最高的索引字段，确定为最优索引表。

在一种可能的实现方式中，所述查询模块在所述接收查询指令之后，还用于：

根据预设的服务降级规则，对所述查询规则进行检索，若所述服务降级规则中包括所述查询规则，则停止对所述查询指令进行响应，并返回失败信息。

在一种可能的实现方式中，所述查询模块，在根据所述查询规则，匹配最优索引表，并根据所述最优索引表进行数据查询之后，还用于：

获取所述数据查询对应的查询时间；

根据所述查询时间，对所述查询规则对应的最优索引表进行更新。

在一种可能的实现方式中，所述获取模块在获取待存储的数据表时，具体用于：

接收数据表存储请求，并发送至消息队列；

通过所述消息队列，获得与所述数据表存储请求对应的数据表。

在一种可能的实现方式中，所述数据存储装置，还包括过滤模块，用于：

获取预设的过滤表信息；

根据所述过滤表信息，判断所述数据表是否需要进行存储。

根据本公开实施例的第三方面，本发明提供了一种电子设备，包括：存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行如本公开实施例第一方面任一项所述的数据存储方法。

根据本公开实施例的第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本公开实施例第一方面任一项所述的数据存储方法。

本发明提供的数据存储方法、装置、电子设备及存储介质，通过获取待存储的数据表，其中，所述数据表具有数据特征；根据所述数据表的数据特征，确定与所述数据表匹配的数据模板，其中，不同的数据模板对应不同的数据业务类型；根据与所述数据表匹配的数据模板，对所述数据表进行解析，得到解析数据表，所述解析数据表用于表征所述数据表中与所述数据模板相对应的数据。由于不同数据业务类型对应的数据表具有不同的数据特征，根据该数据特征对数据进行区分，确定对应的数据模板，并存储至对应的数据库中，使查询业务数据和非查询业务数据得到分离处理，降低了数据库的规模和负载，提高了数据库的可维护性和读写速度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1a为本发明实施例提供的数据存储方法的一种应用场景图；

图1b为本发明实施例提供的一种向数据库存储数据的示意图；

图2为本发明一个实施例提供的数据存储方法的流程图；

图3为本发明另一个实施例提供的数据存储方法的流程图；

图4为本发明再一个实施例提供的数据存储方法的流程图；

图5为图4所示实施例中步骤S310的流程图；

图6为图5所示实施例中在步骤S311之后的数据查询过程的流程图；

图7为图6所示实施例中步骤S313的流程图；

图8为本发明一个实施例提供的数据存储装置的结构示意图；

图9为本发明另一个实施例提供的数据存储装置的结构示意图；

图10为本发明一个实施例提供的电子设备的示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

首先对本发明所涉及的名词进行解释：

数据库：数据库可以看作是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在存储介质内的、有组织的、可共享的、统一管理的大量数据的集合，为了提高数据库的查询效率，一般来说，数据库内的数据按照一定的规则进行存放。对于存储文本类数据的数据库，一般是以表的形式对数据进行存储的，例如出行记录、消费记录、账单记录等。

数据库管理系统：数据库管理系统是一种操纵和管理数据库的大型软件，用于建立、使用和维护数据库，它对数据库进行统一的管理和控制，以保证数据库的安全性和完整性。数据库管理系统具体包括多种数据库管理软件，例如mysql、Oracle、DB2等。同时，基于不同的数据库管理软件，也形成了各种擅长处理不同业务数据的数据库，例如，mysql数据库，Hbase数据库，Elasticsearch数据库等。

下面对本发明实施例的应用场景进行解释：

图1a为本发明实施例提供的数据存储方法的一种应用场景图，如图1a 所示，本实施例提供的数据存储方法应用于数据库服务器，数据库服务器和网站应用服务器通信连接，网站应用服务器将数据发送至数据库服务器，网站应用服务器对数据进行处理后，存储于数据库中。后续数据库服务器可以响应网站应用服务器的查询指令，对存储后的数据进行查询。

现有技术中的数据存储方案，为了兼顾查询业务数据和非查询业务数据，通常是采用统一的处理方案，即无论是查询业务数据，还是非查询业务数据，统一在在处理完数据存储后，同步写入索引表，后续根据索引表对数据进行查询。然而，对于商业数据而言，一方面数据量巨大，对数据库造成了很大的存储和访问压力，另一方面，很多数据一般并不会接收到查询请求，例如日志数据，因此，随着数据库规模的增长和对数据库的分库分表，索引表的数量也会越来越多，越来越复杂，索引表的设计和更新的成本也越来越高，造成了数据库资源的浪费，数据库读写性能下降等问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图2为本发明一个实施例提供的数据存储方法的流程图，示例性地，本实施例的执行主体数据库服务器，如图2所示，本实施例提供的数据存储方法包括以下几个步骤：

步骤S101、获取待存储的数据表，其中，数据表具有数据特征。

具体地，数据库是用于数据库存储的表，数据表中包含一条或多条记录。示例性地，数据表的数据特征是指不同业务类型的数据表用于相互区别的数据属性，数据表的每一数据属性具有对应的属性信息。

在一种可能的实现方式中，数据表的一种示例性的数据特征为数据表标识，数据表标对应的属性信息为标识值；例如，一个示例性的数据表A，与数据表标识对应的属性信息为A001；另一个示例性的数据表B，与数据表标识对应的属性信息为B002。

在另一种可能的实现方式中，数据表的一种示例性的数据特征为字段名称项，数据特征用于表征数据表中包括的不同的字段名称，即数据特征不同的数据表，包括不同的字段名称，字段名称对应的属性信息为字段值；例如，数据表A中包括三个字段名称，分别为名称、品牌、价格；由名称、品牌、价格三个字段名称组成的字段名称项即为数据表A的数据特征，与各字段名称对应的属性信息为字段值，对应名称、品牌、价格例如分别为ABC手机、ABC、1999。

步骤S102、根据数据表的数据特征，确定与数据表匹配的数据模板，其中，不同的数据模板对应不同的数据业务类型。

示例性地，数据特征用于表示数据表，或者数据模块内的数据结构，不同业务类型数据对应的数据表具有不同的数据特征，根据预设的映射关系表，确定不同数据表的数据特征与数据模板之间的数据特征之间的映射关系，进而得到与数据表相匹配的数据模板，例如，当数据特征为标识时，映射关系表为不同数据表的标识与数据模板的标识之间的映射关系；当数据特征为字段名称项时，映射关系表不同数据表的字段名称项与数据模板的字段名称项之间的映射关系。

具体地，数据模板用于表征数据表所具有的业务特征，因此，数据模板具有数据特征，数据模板的数据特征是指不同数据模板用于相互区别的数据属性，但与数据表不同的是，数据模块具有数据属性，但不具有与数据属性对应的属性信息。根据数据表的数据特征，例如数据表的字段名称，可以对数据表进行区分，形成数据表对应的数据模板。数据模板表征了不同的数据表所具有的业务特征，也分别对应不同的用于处理不同业务数据的数据库。

步骤S103、根据与数据表匹配的数据模板，对数据表进行解析，得到解析数据表。

示例性地，解析数据表用于表征数据表中与数据模板相对应的数据，根据与数据表匹配的数据模板，对数据模板进行解析，例如解析数据模板中的字段名称，并提取与数据模板中的字段名称对应的字段值，并对字段值进行加工处理，例如对字段值进行取整，调整精确度，或者对多个字段名称对应的字段值进行运算，例如求多个字段值的平均值等。通过对数据表进行解析，可以得到与数据模板的数据特征相对应的数据，即解析数据表。

步骤S104、将解析数据表，存储至与数据业务类型匹配的目标数据库中。

示例性地，图1b为本发明实施例提供的一种向数据库存储数据的示意图，如图1b所示，解析数据表可以是与待存储的数据表相同的数据表，也可以是待存储的数据表的一部分。对于不同的数据业务类型，以其存储目的而言，往往是不同的。例如由某类商品的价格数据形成的数据表，会经常被查询或者修改，因此此类数据，在存储时需要进行存储优化，例如设置索引表，提高数据的查询速度。而另外一些数据，例如系统运行所产生的日志数据，不会经常进行查询，只会在偶然情况下进行查询。因此，经过数据模板的解析生成的解析数据表具有不同的业务特征，将解析数据表对应不同的数据库进行存储，例如商品的价格数据数据表存入mysql数据库，日志数据存入 Hbase数据库，可以充分利用不同数据库的优点，提高数据库系统的性能。

本实施例中，通过获取待存储的数据表，其中，数据表具有数据特征；根据数据表的数据特征，确定与数据表匹配的数据模板，其中，不同的数据模板对应不同的数据业务类型；根据与数据表匹配的数据模板，对数据表进行解析，得到解析数据表，解析数据表用于表征数据表中与数据模板相对应的数据。由于不同数据业务类型对应的数据表具有不同的数据特征，根据该数据特征对数据进行区分，确定对应的数据模板，并存储至对应的数据库中，使查询业务数据和非查询业务数据得到分离处理，降低了数据库的规模和负载，提高了数据库的可维护性和读写速度。

图3为本发明另一个实施例提供的数据存储方法的流程图，如图3所示，本实施例提供的数据存储方法在图2所示实施例提供的数据存储方法的基础上，对S102-S104进一步细化，则本实施例提供的数据存储方法包括以下几个步骤：

步骤S201，获取待存储的数据表。其中，数据表具有数据特征，数据特征通过数据表的数据属性和与数据属性对应的数据信息来表征。其中，数据属性为字段名称，数据属性对应的属性信息为字段值。

在一种可能的实施方式中，获取待存储的数据表，包括：

第一步，接收数据表存储请求，并发送至消息队列。

第二步，通过消息队列，获得与数据表存储请求对应的数据表。

其中，通过消息队列实现数据存储的技术方案为本领域现有技术，此处不再赘述。本实施例步骤中，通过消息队列技术，将上下游系统进行了系统解耦，通过异步处理提高上下游系统的性能，减少响应时间，同时消息队列还能缓存数据变更事件，当遇到突发性大量数据更新的情况，也不会造成数据库连接压力过大而更新失败的问题。

步骤S202，获取数据表的数据特征对应的第一标识。

具体地，不同数据表的数据特征对应一个标识，即第一标识，第一标识用于对不同数据特征的数据表进行区分。示例性地，表1为数据表A，数据表A的第一标识为#001；表2为数据表B，数据表B的第一标识为#001；表 3为数据表C，数据表C的第一标识为#002。

表1

名称	品牌	价格
			ABC手机	ABC	1999

表2

名称	品牌	价格
			BCD手机	BCD	2099

表3

交易编号	交易项目	交易日期
			000001	XX账务划拨	2020.04.10

通过数据表的数据特征确定对应的第一标识的方法有多种，示例性的，当数据表中有字段名称a和字段名称b时，则判断数据表的数据特征为 mode_A，数据特征mode_A可以是一种模板，或者其他任意的数据描述方式，此处不做具体限定。进一步地，与数据特征mode_A相对应的存在一个映射关系，可以唯一的确定一个第一标识。其中具体的映射关系，可以根据实现业务情况进行确定，此处不进行具体限定。

步骤S203，根据预设的第一映射关系，确定与第一标识对应的第二标识，其中，第二标识为数据模板的标识。

示例性地，第一映射关系可以为一种映射表，用于表征第一标识和第二标识之间的映射，根据预设的第一映射关系，可以根据第一标识唯一的确定第二标识。

步骤S204，根据第二标识，确定数据模板，数据模板的数据属性为字段名称，属性信息为字段值。

第二标识为数据模板的唯一标识符，根据第二标识，可以唯一的确定数据模板，第二标识与数据模板之间存在预设的映射关系，该映射关系可以根据需要，具体地定义第二标识的命名方式，只要保证第二标识和数据模板能够一一对应即可。例如，数据模板mode_B与第二标识#003一一对应，根据第二标识#003，可以唯一的确定数据模板mode_B。

步骤S205，获取数据模板对应的字段名称。

数据模板的数据属性为字段名称，其中，数据模板中包括多个字段名称，例如，名称、品牌、价格。通过读取数据模板，可以获取其中的字段名称，示例性地，读取数据模板中第一行的数据，获得一个字符串数组，字符串数组中的每个值，对应一个字段名称。

步骤S206，确定数据表中字段名称对应的字段值。

数据表中有一条或多条记录，每条记录下有多个字段名称。根据数据模板，将数据表中与数据模板对应的字段名称下的字段值提取出来。示例性地，如表4所示，数据表A中的字段名称包括名称、品牌、价格、发货地、库存量。如表5所示，数据模板mode_B的字段名称为名称、品牌、价格，则确定数据表中字段名称对应的字段值为ABC手机、ABC、1999，以及BCD手机、BCD、2099。

表4

名称	品牌	价格	发货地	库存
					ABC手机	ABC	1999	北京	200
BCD手机	BCD	2099	北京	120

表5

名称

品牌

价格

步骤S207，对字段值进行数据处理，获得解析数据表。

示例性地，数据模板中包括解析公式，对字段值进行数据处理，获得解析数据表，包括：根据解析公式，对字段值进行类型转换，和/或格式化，和 /或四则运算，形成解析数据表。

示例性地，例如对字段值进行取整，调整精确度，或者对多个字段名称对应的字段值进行运算，再例如求多个字段值的平均值等。

步骤S208，根据预设的第二映射关系，确定与数据模板对应的数据库连接信息，第二映射关系用于表征第二标识与数据库连接信息的映射关系，数据库连接信息用于表征数据模板与目标数据库的映射关系。

示例性地，预设的第二映射关系，可以确定与数据模板对应的数据库连接信息，通过数据库连接信息，可以确定数据与哪个数据库进行连接，即存储的目的地。具体地，例如，EsClient就是ElasticSearch数据库的连接信息；如果需要保存到mysql或者hbase等数据库中，也可以通过模板关联查询得到相应的数据库连接信息。

步骤S209，根据数据库连接信息，确定与数据模板对应的目标数据库，并将解析数据表存储至目标数据库。

示例性地，数据库连接信息中携带有可以用于指示数据如何存储的信息，可以确定目标数据库。根据数据库连接信息，将解析数据表发送至目标数据库中，完成对待存储的数据表的存储。

本实施例中，通过数据表确定对应的数据模板，并根据数据模板对数据表进行解析后存储于目标数据库，实现了将写索引表的任务从处理非查询请求的过程中剥离出来，从而解耦查询请求和非查询请求，保证非查询请求简单、可扩展，同时通过单独设计数据结构，从而更好地利用不同存储数据库的优势。

本实施例中，步骤S201的实现方式与本发明图2所示实施例中的步骤 S101的实现方式相同，在此不再一一赘述。

图4为本发明再一个实施例提供的数据存储方法的流程图，如图4所示，本实施例提供的数据存储方法在图3所示实施例提供的数据存储方法的基础上，在步骤S209之前增加了对索引表的处理和存储的步骤，以及在S201之后对数据表进行过滤的步骤，则本实施例提供的数据存储方法包括以下几个步骤：

步骤S301，获取待存储的数据表。其中，数据表具有数据特征，数据特征通过数据表的数据属性和与数据属性对应的数据信息来表征。其中，数据属性为字段名称，数据属性对应的属性信息为字段值。

步骤S302，获取预设的过滤表信息，根据过滤表信息，判断数据表是否需要进行存储。

示例性地，预设的过滤表信息中包含了表征数据表的数据特征的信息，例如数据表对应的第一标识，或者数据表的字段名称项；当数据表的数据特征满足过滤表信息的要求时，则该数据表可以进行后续的存储，而当该数据表的数据特征不满足过滤表信息的要求时，则不对该数据表进行存储。

步骤S303，获取数据表的数据特征对应的第一标识。

步骤S304，根据预设的第一映射关系，确定与第一标识对应的第二标识，其中，第二标识为数据模板的标识。

步骤S305，根据第二标识，确定数据模板，数据模板的数据属性为字段名称，属性信息为字段值。

步骤S306，获取数据模板对应的字段名称。

步骤S307，确定数据表中字段名称对应的字段值。

步骤S308，对字段值进行数据处理，获得解析数据表。

步骤S309，根据预设的第二映射关系，确定与数据模板对应的数据库连接信息，第二映射关系用于表征第二标识与数据库连接信息的映射关系，数据库连接信息用于表征数据模板与目标数据库的映射关系。

步骤S310，根据数据模板，确定索引表。

具体地，索引表是指示逻辑记录和物理记录之间对应关系的表，类似于表征数据位置的指针，通过索引表的对应关系能够大大加快数据的检索速度。在对数据进行数据检索时，通过索引表可以显著减少查询中分组和排序的时间。在一些应用系统中数据库是要分库的，有些库主要的操作是写操作，使用分库可以降低数据库写的压力。对于查询操作，在查询时是一些比较宽松的查询条件，其对应的数据可能分布在不同的数据库上，这个时候为了查询的方便，会构建一个索引表，索引表是存在另外的单独的一个数据库中。

对于一个数据模板，可以对应多个索引表，分别用于不同的检索关键词，例如以“名称”为主索引的索引表；以“品牌”为主索引的索引表等。一个数据模板根据具体的需要，可以对应多个索引表，具体的映射关系，可以根据具体的需要进行设置，此处不进行具体限定。

示例性地，如图5所示，步骤S310包括步骤S3101、S3102、S3103和 S3104四个具体的实现步骤：

步骤S3101，获取数据模板的标识。

步骤S3102，根据预设的第二预设关系，确定索引表模板，其中，索引表模板用于表征索引表所包含的索引字段名称；第二预设关系用于表征数据模板的标识与索引表模板的映射关系。

根据第二预设关系，可以确定数据模板的标识与索引表模板的关系，进而，可以根据数据模板，确定具体的一个或多个索引表模板。示例性的，索引表模板中包括一个或多个字段名称。

步骤S3103，获取数据表中与索引表模板对应的索引字段值。

步骤S3104，根据索引表模板的索引字段名称及对应的索引字段值，确定索引表。

索引字段值为索引字段对应的值。确定索引表模板后，根据索引表模板，确定数据表中的字段名称，并根据该字段名称，提取对应的字段值，确定索引字段值。本步骤的具体实施方式，与步骤S206中确定数据表中字段名称对应的字段值的方法类似，此处不再进行赘述。获取索引字段值后，由索引字段及对应的索引字段值，形成索引表。

步骤S311，将索引表和解析数据表存储于目标数据库中。

示例性的，例如将索引表和解析数据表存储于mysql数据库中。

本实施例中，通过建立索引表和数据表，将数据的查询需求和存储需求分离开来。利用简单的哈希规则对数据表进行分库分表就可以减少热点数据，从而减轻数据库查询压力。索引表可以按照查询请求的需求设置切分规则，新增查询业务只需要增加索引表就可以快速满足需求，降低了数据库维护成本。

示例性地，图6为图5所示实施例中在步骤S311之后的数据查询过程的流程图，如图6所示，在步骤S311之后，还可以包括：

步骤S312，接收查询指令，查询指令中包括查询规则。

示例性地，查询指令可以为用户输入的用于查询的代码指令，查询指令中包括查询规则，即查询时指定的查询条件，例如，“名称”为“ABC手机”，再例如，“名称”为“ABC手机”，且“价格”小于“2000”。查询指令中的查询规则可以根据用户的具体需求进行设置。

步骤S313，根据查询规则，匹配最优索引表，并根据最优索引表进行数据查询。

查询规则中的查询项，例如“名称”、“价格”等，是与索引表中的索引字段名称所对应的，若多个备选索引表中，有与查询规则中的查询项对应的目标索引表，则可以实现快速查询，即，该目标索引表为最优索引表。

示例性地，如图7所示，步骤S313包括步骤S3131、步骤S3132两个具体的实现步骤：

步骤S3131，分别获取多个索引表中的索引字段和对应的字段值。

索引表中包括多个索引字段和对应的字段值，通过读取预设的一个或多个索引表，可以获得一个或多个索引表中的索引字段和字段值。

步骤S3132，根据查询规则，将离散度最高的索引字段，确定为最优索引表，并根据最优索引表进行数据查询。

示例性地，查询规则中，有“产品编号”的字段名称，该字段名称对应的字段值是高度离散的，即每个产品均有唯一的“产品编号值”，因此，优先使用主索引字段为“产品编号”对应的索引表，而例如“品牌”的字段名称，由于一个品牌往往对应多个产品，因此相对具有较低的离散度，即主索引字段为“品牌”对应的索引表，则具有较低的优先级顺序。

当然，可以理解的是，如果不存在最优索引表，最直接对数据库中存储的数据表进行查询，以响应该查询指令。

示例性地，在步骤S312与步骤S313之间，还可以包括：

步骤S312a，根据预设的服务降级规则，对查询规则进行检索，若服务降级规则中包括查询规则，则停止对查询指令进行响应，并返回失败信息。

具体地，服务降级规则为预设限制的安全服务规则，在响应数据查询请求时，如果由于使用了某个索引表或者某个查询规则，而导致服务器出现安全问题，例如过长时间的检索，导致服务器资源被无效占用，则对该索引表或检索规则进行服务降级，即停止对其进行响应，以保证服务器的安全。

示例性地，在步骤S313之后还可以包括：

步骤S313a，获取数据查询对应的查询时间，根据查询时间，对查询规则对应的最优索引表进行更新。

具体地，在查询完成后，数据库服务器能够获得一个具体的查询时间，示例性地，当该查询时间超过预设的时间阈值时，则认为该查询时间过长，即本次查询时使用的索引表，会导致数据库服务器的查询出现异常，因此，将该索引表的优先级降低，在下次进行查询时，则会使用其他高优先级的索引表进行查询，避免再次出现查询时间过长的问题。如果查询失败或耗时很长，则需要建立新的索引表来满足查询条件。

本实施例步骤中，通过监控查询时间来自适应地调整索引优先级从而优化系统查询性能，提高数据库的查询性能。

需要说明的是，本实施例中步骤S312-S313的查询步骤，可以与S312之前的步骤配合使用，也可以单独使用，此处不进行限制。

本实施例中，步骤S301、S303-S309的实现方式与本发明图3所示实施例中的步骤S201、S203-S209的实现方式相同，在此不再一一赘述。

图8为本发明一个实施例提供的数据存储装置的结构示意图，如图8所示，本实施例提供的数据存储装置8包括：

获取模块81，用于获取待存储的数据表，其中，数据表具有数据特征。

确定模块82，用于根据数据表的数据特征，确定与数据表匹配的数据模板，其中，数据模板具有数据特征，不同的数据模板分别对应不同的数据库。

解析模板83，用于根据与数据表匹配的数据模板，对数据表进行解析，得到解析数据表。

存储模块84，用于将解析数据表，存储至与数据表匹配的数据模板所对应的数据库中。

在一种可能的实现方式中，数据特征为数据属性；数据表包括多个数据属性，数据表的每一数据属性上具有属性信息。

在一种可能的实现方式中，确定模块82，具体用于：

获取数据表的数据特征对应的第一标识。

根据预设的第一映射关系，确定与第一标识对应的第二标识，其中，第二标识为数据模板的标识。

根据第二标识，确定数据模板。

在一种可能的实现方式中，数据属性为字段名称，属性信息为字段值；解析模块83，具体用于：

获取数据模板对应的字段名称。

确定数据表中字段名称对应的字段值。

对字段值进行数据处理，获得解析数据表。

在一种可能的实现方式中，数据模板中包括解析公式，解析模块83对字段值进行数据处理，获得解析数据表时，具体用于：

根据解析公式，对字段值进行类型转换，和/或格式化，和/或四则运算，形成解析数据表。

在一种可能的实现方式中，存储模块84在将解析数据表，存储至与数据业务类型匹配的目标数据库中之前，还用于：

获取第二标识。

根据预设的第二映射关系，确定与模板对应的数据库连接信息，第二映射关系用于表征第二标识与数据库连接信息的映射关系，数据库连接信息用于表征数据模板与目标数据库的映射关系。

根据数据库连接信息，确定与数据模板对应的目标数据库。

在一种可能的实现方式中，存储模块84在将解析数据表，存储至与数据业务类型匹配的目标数据库中时，具体用于：

根据数据模板，确定索引表。

将索引表和解析数据表存储于目标数据库中。

在一种可能的实现方式中，存储模块84在根据数据模板，确定索引表时，具体用于：

获取数据模板的标识。

根据预设的第二预设关系，确定索引表模板，其中，索引表模板用于表征索引表所包含的索引字段名称；第二预设关系用于表征数据模板的标识与索引表模板的映射关系。

获取数据表中与索引表模板对应的索引字段值。

根据索引表模板的索引字段名称及对应的索引字段值，确定索引表。

在一种可能的实现方式中，获取模块81在获取待存储的数据表时，具体用于：

接收数据表存储请求，并发送至消息队列。

通过消息队列，获得与数据表存储请求对应的数据表。

其中，获取模块81、确定模块82、解析模板83和存储模块84依次连接。本实施例提供的数据存储装置8可以执行如图2-图3所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图9为本发明另一个实施例提供的数据存储装置的结构示意图，如图9 所示，本实施例提供的数据存储装置9在图8所示的数据存储装置8的基础上，增加了查询模块91和过滤模块92，其中，查询模块91用于：

接收查询指令，查询指令中包括查询规则。

根据查询规则，匹配最优索引表，并根据最优索引表进行数据查询。

在一种可能的实现方式中，查询模块91在根据查询规则，匹配最优索引表时，具体用于：

分别获取多个索引表中的索引字段和对应的字段值。

根据查询规则，将离散度最高的索引字段，确定为最优索引表。

在一种可能的实现方式中，查询模块91在接收查询指令之后，还用于：

根据预设的服务降级规则，对查询规则进行检索，若服务降级规则中包括查询规则，则停止对查询指令进行响应，并返回失败信息。

在一种可能的实现方式中，查询模块91，在根据查询规则，匹配最优索引表，并根据最优索引表进行数据查询之后，还用于：

获取数据查询对应的查询时间。

根据查询时间，对查询规则对应的最优索引表进行更新。

过滤模块92，用于：

获取预设的过滤表信息。

根据过滤表信息，判断数据表是否需要进行存储。

其中，获取模块81、过滤模块92、确定模块82、解析模板83、存储模块84、查询模块91依次连接。本实施例提供的数据存储装置9可以执行如图4-图7所对应的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图10为本发明一个实施例提供的电子设备的示意图，如图10所示，本实施例提供的电子设备包括：存储器1001，处理器1002以及计算机程序。

其中，计算机程序存储在存储器1001中，并被配置为由处理器1002执行以实现本发明图2-图7所对应的实施例中任一实施例提供的数据存储方法。

其中，存储器1001和处理器1002通过总线1003连接。

相关说明可以对应参见图2-图7所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

本发明一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明图2-图7所对应的实施例中任一实施例提供的数据存储方法。

其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、 CD-ROM、磁带、软盘和光数据存储设备等。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (9)

1.一种数据存储方法，其特征在于，包括：

获取待存储的数据表，其中，所述数据表具有数据特征；

根据所述数据表的数据特征，确定与所述数据表匹配的数据模板，其中，不同的数据模板对应不同的数据业务类型；

根据与所述数据表匹配的数据模板，对所述数据表进行解析，得到解析数据表，所述解析数据表用于表征所述数据表中与所述数据模板相对应的数据；

根据所述数据模板，确定索引表；

将所述解析数据表和所述索引表，存储至与所述数据业务类型匹配的目标数据库中；

根据所述数据模板，确定索引表，包括：

获取所述数据模板的标识；

根据预设的第二预设关系，确定索引表模板，其中，所述索引表模板用于表征所述索引表所包含的索引字段名称；所述第二预设关系用于表征数据模板的标识与索引表模板的映射关系；

获取数据表中与所述索引表模板对应的索引字段值；

根据所述索引表模板的索引字段名称及对应的索引字段值，确定所述索引表。

2.根据权利要求1所述的方法，其特征在于，所述数据特征为数据属性；所述数据表包括多个数据属性，所述数据表的每一数据属性上具有属性信息。

3.根据权利要求2所述的方法，其特征在于，根据所述数据表的数据特征，确定与所述数据表匹配的数据模板，包括：

获取所述数据表的数据特征对应的第一标识；

根据预设的第一映射关系，确定与所述第一标识对应的第二标识，其中，所述第二标识为所述数据模板的标识；

根据所述第二标识，确定所述数据模板。

4.根据权利要求2所述的方法，其特征在于，所述数据属性为字段名称，所述属性信息为字段值；根据与所述数据表匹配的数据模板，对所述数据表进行解析，得到解析数据表，包括：

获取所述数据模板对应的字段名称；

确定所述数据表中所述字段名称对应的字段值；

对所述字段值进行数据处理，获得解析数据表。

5.根据权利要求1所述的方法，其特征在于，在将所述索引表和所述解析数据表存储于所述目标数据库中之后，还包括：

接收查询指令，所述查询指令中包括查询规则；

根据所述查询规则，匹配最优索引表，并根据所述最优索引表进行数据查询。

6.根据权利要求5所述的方法，其特征在于，根据所述查询规则，匹配最优索引表，包括：

分别获取多个索引表中的索引字段和对应的字段值；

根据所述查询规则，将离散度最高的索引字段，确定为最优索引表。

7.一种数据存储装置，其特征在于，所述数据存储装置包括：

获取模块，用于获取待存储的数据表，其中，所述数据表具有数据特征；

确定模块，用于根据所述数据表的数据特征，确定与所述数据表匹配的数据模板，其中，不同的数据模板对应不同的数据业务类型；

解析模板，用于根据与所述数据表匹配的数据模板，对所述数据表进行解析，得到解析数据表，所述解析数据表用于表征所述数据表中与所述数据模板相对应的数据；

存储模块，用于根据所述数据模板，确定索引表；将所述解析数据表和所述索引表，存储至与所述数据业务类型匹配的目标数据库中；

所述存储模块在根据数据模板，确定索引表时，具体用于：

获取所述数据模板的标识；

根据预设的第二预设关系，确定索引表模板，其中，所述索引表模板用于表征所述索引表所包含的索引字段名称；所述第二预设关系用于表征数据模板的标识与索引表模板的映射关系；

获取数据表中与所述索引表模板对应的索引字段值；

根据所述索引表模板的索引字段名称及对应的索引字段值，确定所述索引表。

8.一种电子设备，其特征在于，包括：存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至6中任一项所述的数据存储方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的数据存储方法。