CN110427368A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质。所述方法包括：接收待存储数据；解析所述待存储数据，获取所述待存储数据中的时间戳；从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；将待存储数据存储在目标索引中。通过获取所述待存储数据中的时间戳，根据所述时间戳将所述数据存储在索引信息中的日期与时间戳匹配的索引中，分日期对待存储数据进行存储，避免了ElasticSearch中单个索引的数量太多，从而提升整个系统的性能。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着计算机的不断发展和信息化程度的不断提高，智能设备在交互中会产生大量的数据，为了进行数据分析则需要将大量的数据进行存储，以方便对数据的分析和搜索。

ElasticSearch是基于Lucene的分布式搜索服务器，能够提供实时，稳定，可靠，快速的搜索功能，然后随着数据的增多以及数据的不断存储进服务器，服务器的存储压力和搜索压力巨大，导致服务器的存储和搜索性能不佳，影响对数据的存储和搜索。

发明内容

本申请实施例提出了一种数据处理方法、装置、电子设备及存储介质，以提升整个服务器系统的性能。

第一方面，本申请实施例提供了一种数据处理方法，该方法包括：接收待存储数据；解析所述待存储数据，获取所述待存储数据中的时间戳；从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；将所述待存储数据存储在所述目标索引中。

第二方面，本申请实施例提供了一种数据处理装置，该装置包括：接收模块，用于接收待存储数据；解析模块，用于解析所述待存储数据，获取所述待存储数据中的时间戳；确定模块，用于从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；处理模块，用于将所述待存储数据存储在所述目标索引中。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器，存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述应用于电子设备的方法。

第四方面，本申请实施列提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本申请实施例提供的数据处理方法、装置、电子设备及存储介质，接收待存储数据；解析所述待存储数据，获取所述待存储数据中的时间戳；从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；将待存储数据存储在目标索引中。通过获取所述待存储数据中的时间戳，根据所述时间戳将所述数据存储在索引信息中的日期与时间戳匹配的索引中，分日期对待存储数据进行存储，避免了ElasticSearch中单个索引的数量太多，从而提升整个系统的性能。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提供的数据处理方法的流程图。

图2示出了本申请另一个实施例提供的数据处理方法的流程图。

图3示出了在图2所提供的实施例的基础上提供的数据处理方法的流程图。

图4示出了本申请又一个实施例提供的数据处理方法的流程图。

图5示出了本申请再一个实施例提供的数据处理方法的流程图。

图6示出了本申请一个实施例提供的数据处理装置的功能模块图。

图7示出了本申请实施例提出的用于执行根据本申请实施例的数据处理方法的服务器的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

ElasticSearch是基于Lucene的分布式搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口以及多编程语言客户端。ElasticSearch是利用Java编程语言进行开发，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于电调系统，物联网，大型门户网站等，能够提供实时，稳定，可靠，快速的搜索功能，并且具有安装使用方便，可扩展性强，高容错，高并发等特点。

由于ElasticSearch使用Lucene来处理分片级别的索引和查询，因此整个框架内的数据是由ElasticSearch和Lucene共同维护，并且两者职责都非常明确。Lucene负责写和维护Lucene索引文件，而ElasticSearch在Lucene之上写与功能相关的元数据，例如字段映射，索引设置和其他集群元数据。

ElasticSearch底层存储是依赖Lucene，由于Lucene存储数据是居于json格式的松散结构存储，对存入的数据格式没有严格的要求，这也适用于大多数的非结构化数据存储的应用场景，但是对于结构化数据来说，就不能够提供很好的压缩比，尤其在默认情况下对所有字段都进行分词，其中包含大多数不需要被检索的字段，这就更加增大了整个集群的存储压力。

由于Lucene的每个分片的存储文档的数量是有上限的，单个分片最大存储容量大约为21亿，虽然ElasticSearch的索引支持多个分片，但是如果要提高增加分片带来的性能提升，要求每个分片要分布到不同的结点(服务器)之上，这就需要横向增加结点的数量，会带来集群运维成本的增加，并且单个索引的文档数据在10亿条以上时，针对索引的查询会出现性能上的下降，所以在大数据量的存储过程中要考虑不能够让ElasticSearch中单个索引的数量太多，以提升整个系统的性能。

因此，发明人提出了本申请实施例中的数据处理方法，通过解析所述待存储数据，获取所述待存储数据中的时间戳；从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；将待存储数据存储在目标索引中。通过获取所述待存储数据中的时间戳，根据所述时间戳将所述数据存储在索引信息中的日期与时间戳匹配的索引中，分日期对待存储数据进行存储，避免了ElasticSearch中单个索引的数量太多，从而提升整个系统的性能，从而提升整个系统的性能。

下面将结合附图对本申请实施例进行详细的说明。

请参阅图1，本申请实施例提供了一种数据处理方法，可以应用于服务器，该方法可以包括：

步骤S110，接收待存储数据。

通常，服务器需要存储大量的数据，尤其是在智能家居的场景下，由于网关和大量的智能设备相连，中间存在大量的数据交互，由此，可以将智能家居的运行过程中的大量数据发送到服务器进行存储或备份，以方便数据的收集和数据分析。由此，服务器可以接收到来自智能家居设备或者网关的各种数据作为待存储数据。

步骤S120，解析所述待存储数据，获取所述待存储数据中的时间戳。

其中，各个智能设备在发送对应的数据给服务器时，可以在数据中携带数据产生的时间，可以将所述数据产生的时间作为时间戳一起发送给服务器。那么，在服务器接收到各个智能设备发送的数据时，将所述数据作为待存储数据，服务器可以获取到所述待存储数据中具体数据以及时间戳。

步骤S130，从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引。

索引是数据库的数据结构，可以类比于一本书的目录，通过索引创建，可以提高数据库的搜索能力，由此在ElasticSearch中，可以创建多个索引，并将数据存储在对应的索引中。其中，在创建索引时，可以进行索引创建的设置，即可以将日期设置进索引信息中。所述索引信息可以是索引名称、索引标签、索引属性或者索引中某个指定文档等，在本申请实施例中并不限定。本申请实施例以索引名称作为索引信息为例进行说明。例如，可以在索引名称中添加日期，所述日期表示该索引只存储在该日期当天所产生的数据。例如，设置的索引名称为“智能家居2019-07-07”，则表示将在2019年7月7日产生的智能家居的数据存入该索引中。在服务器获取到索引信息中的日期与待存储数据中的时间戳匹配时，则将所述索引作为目标索引。例如，待存储数据中的时间戳为2019-07-07，服务器查询所创建的索引中索引信息中的日期为2019-07-07的索引的名称为“智能家居2019-07-07”，则将该索引作为目标索引。

步骤S140，将所述待存储数据存储在所述目标索引中。

确定目标索引后，则将接收到的待存储数据存储在所述目标索引中。

例如，现有待存储数据a，待存储数据a中的时间戳为2019-07-07，则可以确定目标索引为“智能家居2019-07-07”，则将数据a存储进行索引名称为“智能家居2019-07-07”的索引中。

本申请实施例提出的数据处理方法，解析所述待存储数据，获取所述待存储数据中的时间戳；从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；将待存储数据存储在目标索引中。通过获取所述待存储数据中的时间戳，根据所述时间戳将所述数据存储在索引信息中的日期与时间戳匹配的索引中，分日期对待存储数据进行存储，避免了ElasticSearch中单个索引的数量太多，从而提升整个系统的性能，从而提升整个系统的性能。

请参阅图2，本申请另一实施例提供了一种数据处理方法，在上一实施例的基础上重点描述了创建索引的过程，该方法可以包括：

步骤S210，接收索引创建指令，根据所述索引创建指令创建索引。

在所述服务器接收待存储数据之前，需要提前建索引，以方便数据的存储。其中，在ElasticSearch中，可以创建对应的索引以进行数据的存储，创建的索引可以是多个，在每个索引中可以创建对应的一个或多个字段，并对字段类型进行设置。由此，可以将索引以及索引中字段的设置信息整理为索引创建指令，以提升用户索引创建的自由度。具体的，接收索引的创建指令，并根据所述索引创建指令创建索引可以包括以下步骤，可参阅图3。

步骤S211，解析所述索引创建指令，得到周期信息，索引设置规则以及字段创建规则，所述索引设置规则包括在索引信息中添加日期。

在索引的创建中，还涉及到索引信息的设置以及索引中的字段的创建，从而完成一个完整的索引的创建。

服务器在存储所述待存储数据之前，可以接收到对应的索引创建指令。其中，所述索引创建指令中包括周期信息，索引设置规则以及字段创建规则。所述周期信息为每间隔一个周期，则创建一个或多个索引，并按照索引设置规则对创建的索引信息进行设置。所述索引设置规则中包括在索引信息中添加日期，则可以是在所述索引名称中添加日期，字段创建规则为创建索引中的字段时，需要遵循的一些设置，由此完成整个索引的创建。

步骤S212，根据所述周期信息周期性的创建以所述索引设置规则进行设置的索引。

其中，所述索引创建指令中的周期信息中包括索引的创建周期，预设创建数量，则可以根据所述创建周期创建预设创建数量个索引，并按照索引的命名规则对所述索引名称进行命名，以完成索引的创建。其中，可以每隔创建周期创建一次索引。在每次创建的索引中，每个索引用于存储单位时间内的数据，预设创建数量等于创建周期除以单位时间的值，创建的各个索引分别存储创建周期内各个单位时间内的数据。并且，对创建的各个索引根据索引设置规则进行设置。所述索引设置规则可以为在所述索引名称中添加日期，其中，索引用于存储哪一个单位时间内的数据，则可以以该单位时间对应的日期作为添加到索引名称中的日期。例如，所述周期信息中的创建周期为10天，预设创建数量为10个，单位时间应当为1天，创建的10个索引分别用于存储该10天内各天的数据。那么则可以每间隔10天，自动创建一次索引，每次创建的索引数量为10个，且在索引名称中加入日期，加入的日期的方式可以是，以创建当天作为第一天，从第一天往后到第十天的日期分别加入10个索引的索引名称，每个索引用于存储器索引名称对应那天的数据。。例如，若在2019-07-07创建一次索引，则需要创建十个索引，索引名称依次为“智能家居2019-07-07”，“智能家居2019-07-08”，“智能家居2019-07-09”，“智能家居2019-07-09”一直到创建的日期为2019-07-17，即索引名称为“智能家居2019-07-17”的索引时，完成了索引的创建。

进一步的，在创建索引时还可动态指定索引的分片数以及副本数。

由于ElasticSearch是个分布式的搜索引擎，所以索引通常都会被分解成不同部分，而这些分布在不同节点的数据就是分片，ElasticSearch自动管理和组织分片，并在必要的时候对分片数据进行再平衡分配，副本则是对分片的备份。其中，索引的分片数量决定了ElasticSearch的单个索引的存储和索引性能，副本数量决定了ElasticSearch的容错和查询能力，因此，可以根据实际的业务需求，动态的指定创建索引的分片数量和副本数量，为每个索引设置合理分片数和副本数，不仅可以提高单个索引的存储和搜索能力，也可以提高整个系统的工作效率。

在创建索引时，可以指定每个索引的分片数和副本数，具体的，若在索引创建指令中设置了对应的分片数和副本数，则解析所述索引创建指令得到配置信息，所述配置信息包括预设分片数量和预设副本数量，设置所述索引的分片数为预设分片数量，副本数量为预设副本数量。若解析到所述索引创建指令中的配置信息，则可按照配置信息中的内容对索引进行设置。例如，所述配置信息中的预设分片数量为4，预设副本数量为2，则在创建该索引时，设置分片数为4，副本数为2，表示为索引创建4个分片，表明存储在该索引中的数据会尽可能均衡的存储在4个分片中，并为每个分片创建两个副本。若所述配置信息中没有设置对应的分片数和副本数，则按照默认的分片数和副本数进行设置，也就是将索引的分片数设置为5，副本数设置为1。

其中，每一个索引的分片数和副本数都可以进行指定。例如，指定索引名称为“智能家居2019-07-08”的分片数为5，副本数为2，索引名称为“智能家居2019-07-09”的分片数为3，副本数为1，那么在创建这两个索引时，则对两个索引的分片数和副本数设置成不同，即将索引名称为“智能家居2019-07-08”的索引的分片数设置为5，副本数设置为2，表明存储在索引名称为“智能家居2019-07-08”中的数据会尽可能均衡的存储在5个分片中，并为每个分片创建2个副本，将索引名称为“智能家居2019-07-09”的索引的分片数设置为3，副本数设置为1，表明存储在索引名称为“智能家居2019-07-09”中的数据会尽可能均衡的存储在3个分片中，并为每个分片创建1个副本。从而通过指定索引的分片数和副本数，提升单个索引的容错能力和搜索能力，也可以提高整个系统的工作效率。

步骤S213，根据所述字段创建规则创建所述索引中的字段。

在根据所述索引创建指令创建了索引的名称以及设置对应的分片数和副本数后，可以根据索引创建指令中的字段创建规则对索引中的字段进行创建。可以是获取所述字段创建规则中相互对应的字段名称以及字段类型，所述字段类型包括第一类型和第二类型，所述第一类型为需要分词的字段，所述第二类型为不需要分词的字段；创建名称包括所述字段名称、类型为对应的字段类型的字段。

具体的，所述字段创建规则中包括相互对应的字段名称以及字段类型，例如，字段创建中字段名称为A的字段类型为B，字段名称为C的字段类型为D，即字段名称A与字段类型B相互对应，字段名称C与字段类型D相互对应。具体的，所述字段名称来源于想要存储的数据，例如，想要存储网关相关的数据，则可以将字段命名为“网关”，或是所述字段名称中包括网关。所述字段类型包括第一类型和第二类型，所述第一类型为需要分词的字段，所述第二类型为不需要分词的字段，则可以根据所述字段名称以及字段类型创建对应的字段。例如，通过参数“text”表示第一类型，“keyword”、“long”、“double”表示第二类型，其中第一类型为需要分词的字段，则可以将字段类型设置为“text”，表示该字段需要分词；第二类型为不需要分词字段，则可以将字段类型设置为“keyword”表示该字段不需要分词，或是字段类型还可以设置为存储该字段中的数据类型，例如double、long作为字段类型，且每个字段只对应一个字段类型，由此，则可以按照字段名称和对应的字段类型创建相关的字段。例如，字段创建规则中字段名称为“空调”的字段，对应的字段类型为“text”，则可以创建一个字段名称为“空调”字段或是字段名称包括空调的字段，并指定“空调”字段的字段类型为“text”，表示存储进“空调”字段的数据需要进行分词。

在一些实施方式中，将字段类型指定为第一类型时，表示存储进该字段的数据需要进行分词存储，这时，可以进一步指定为字段指定分词器，以便数据在存入该字段时，按照指定的分词器对数据进行分词存储，则可以根据待存储数据的特点选择合适的分词器，以避免只能使用默认的分词器，造成部分数据分词错误，从而导致后期的搜索出错。

例如，所述字段创建规则中包括字段名称为“网关”的字段，其对应的字段类型为第一类型，则创建字段名称为“网关”的字段，并指定所述字段类型为“text”即需要分词存储，并指定了分词器为“WhitespaceAnalyzer”即以空格作为切词标准，不对语汇单元进行其他规范化处理，那么ElasticSearch在存储“网关”这个字段的数据时就会对网关发送的数据按照WhitespaceAnalyzer的分词方式对数据进行分词存储，从而完成整个索引的创建。

步骤S220，接收待存储数据。

步骤S230，解析所述待存储数据，获取所述待存储数据中的时间戳。

步骤S240，从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引。

步骤S250，将所述待存储数据存储在所述目标索引中。

步骤S220至步骤S250可参照前述实施例对应部分，在此不再赘述。

本申请实施例提出的数据处理方法，在接收待存储数据之前，接收索引的创建指令，根据所述索引的创建指令创建索引，通过解析所述索引创建指令，得到走起信息，索引名称规则以及字段创建规则，所述索引设置规则包括在索引名称中添加日期，根据周期信息周期性的创建以所述索引设置规则进行设置的索引，根据所述字段创建规则创建索引中的字段，并指定字段的字段类型。通过周期性的创建索引，并在索引名称中添加日期，使ElasticSearch中单个索引的数目不会太多，指定索引中的字段及字段类型将待存储数据存储在所述目标索引中，避免了ElasticSearch在存储数据时，对数据类型的误判，从而提升了整个系统的性能。

请参阅图4，本申请又一实施例提供了一种数据处理方法，在前述实施例的基础上描述了数据的存储的过程，该方法可以包括：

步骤S310，接收待存储数据。

接收各个智能设备发送的数据，作为待存储数据，存储在ElasticSearch服务器中。其中，各个智能设备发送的数据可以是在智能家居设备的运行中所产生的运行数据或是各个智能设备之间的交互数据。

步骤S320，解析所述待存储数据，获取所述待存储数据中的时间戳。

解析服务器接收到的待存储数据，获取所述待存储数据中的时间戳，其中，所述时间戳可以是在所述待存储数据中，或是待存储数据的一个时间标签，服务器可以通过解析该待存储数据，获取待存储数据中的时间戳。

步骤S330，从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引。

由于索引已经提前创建好，具体的索引的创建可参照前述实施例对应的部分，在此不再赘述。由此，当前服务器中已经创建好了一个或多个索引，所述索引信息中携带了日期，在可以查找与所述待存储数据的时间戳匹配的日期，并将该日期所在的索引信息对应的索引作为目标索引。

在一些实施方式中，与所述待存储数据的时间戳匹配的日期可以是与所述时间戳一致的日期。例如，待存储数据中的时间戳为2019-07-07，创建的索引的索引名称有“智能家居2019-07-06”，“智能家居2019-07-07”，“智能家居2019-07-08”等索引，则在这些索引中查找索引信息中时间戳为2019-07-07的索引，则查询到索引名称为“智能家居2019-07-07”的索引，则将该索引作为目标索引。

在另一些实施方式中，与所述待存储数据的时间戳匹配的日期可以是与所述时间戳部分一致的日期。例如，待存储数据中的时间戳为2019-07-07-16:40，创建的索引的索引名称有“智能家居2019-07-06”，“智能家居2019-07-07”，“智能家居2019-07-08”等索引，则在这些索引中查找索引信息中时间戳中包括2019-07-07的索引，则查询到索引名称为“智能家居2019-07-07”的索引，即所述待存储数据中时间戳中的年月日部分与索引名称中的日期一致，则将该索引作为目标索引。

步骤S340，获取所述待存储数据的数据名称。

其中，服务器接收的待存储数据为结构化数据，且存储的数据格式通常为JSON格式，则可以在所述待存储数据中获取待存储数据的数据名称。若在所述待存储数据中不能直接获取到数据名称，则对所述待存储数据进行结构化数据解析，获取每个待存储数据中的数据名称。由此，可以理解的是，本申请提出的数据处理方法适用于结构化数据，当然，若在其他类型的数据中，可以获取到数据名称，该方法也同样适用。

步骤S350，确定所述目标索引中字段名称与所述数据名称匹配的字段，作为目标字段。

在获取每个待存储数据中的数据名称后，可以根据所述数据名称，查找确定的目标索引中的字段，在查找到字段名称与数据名称匹配的字段后，则将所述字段作为目标字段，所述匹配可以是查找字段名称与所述数据名称一致的字段，也可以是与所述数据名称相匹配的字段。例如，当前的数据名称为网关，则查找的字段可以是在该索引中字段名称为“网关”的字段，也可以是字段名称中包括网关的字段。其中，可以理解的是，若在创建字段时，字段名称与字段创建规则中的名称一致时，则在查找数据所对应的字段时，需要查找字段名称与所述数据名称一致的字段；若在创建字段时，字段名称为包括所述字段创建规则中的名称时，则在查找数据所对应的字段时，需要查找字段名称中包括所述数据名称的字段，以避免待存储数据的存储混乱。

步骤S360，将所述待存储数据存储在所述目标索引的目标字段中。

其中，根据待存储数据中的时间戳确定索引信息中的日期与时间戳匹配的索引作为目标索引，通过获取待存储数据的数据名称确定在目标索引中的字段名称与所述数据名称匹配的字段作为目标字段，则将所述待存储数据存储在所述目标索引的目标字段中。

其中，每个字段都指定了字段类型，可以获取所述目标字段的字段类型，若所述字段类型为第一类型，则对所述待存储数据进行分词存储，若所述字段类型为第二类型，则直接将所述待存储数据进行存储。其中，字段类型为第一类型时，则将字段类型确认为“text”，在字段类型为第二类型时，所述字段类型则可以是“keyword”、“long”、“double”等，若所述字段类型为“text”时，表示对存储在该字段中的数据需要进行分词存储。可以进一步获取所述字段是否有指定分词器，若有指定分词器，则将待存储数据按照指定分词器进行分词并存储，若为指定分词器，则按照默认分词器对待存储数据进行分词并存储。若所述字段类型为第二类型，也就是为“keyword”、“long”等时，则可以直接将所述待存储数据进行存储，不需要对数据进行分词。

本申请实施例提出的数据处理方法，通过接收待存储数据；解析待存储数据，获取待存储数据中的时间戳；从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；获取所述待存储数据的数据名称；确定所述目标索引中字段名称与所述数据名称匹配的字段，作为目标字段；将待存储数据存储在目标索引的目标字段中。通过对待存储数据的所要存储的索引及字段的确认，对待存储数据进行存储，避免数据存储错误，提升了整个系统的性能。

请参阅图5，本申请再一实施例提供了一种数据处理方法，可应用于服务器，该方法可以包括：

步骤S410，接收待存储数据。

步骤S420，解析所述待存储数据，获取所述待存储数据中的时间戳。

步骤S430，从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引。

步骤S440，将所述待存储数据存储在所述目标索引中。

步骤S410至步骤S440可参照前述实施例对应部分，在此不再赘述。

步骤S450，判断各个索引的索引信息中的日期是否满足预设删除规则。

由于在ELasticsearch中，删除文件较为麻烦，如果发现磁盘空间已经耗尽，需要删除索引中的无用或者过期的文档数据来释放磁盘资源，Lucene只是对删除的数据做了一个标记，并不会立即删除数据，则不能及时释放磁盘资源，并且在删除文档的过程中会消耗整个集群系统的CPU和磁盘IO资源。由此，可以预先设置预设删除规则，则可以根据所述预设删除规则提前对索引及数据进行删除，及时释放磁盘资源。

将待存储数据存储进目标索引的目标字段中时，若服务器将所有的数据都进行存储，则会导致数据量过大，影响整个系统的运行。由此，可以选择将一些数据进行删除。具体的，可以是判断各个索引的索引信息中的日期是否满足预设删除规则。其中，所述预设删除规则可以是，判断所述索引中的日期与当前日期的差值是否大于预设周期，若大于预设周期，则判定所述索引信息中的日期满足预设删除规则，表明该日期对应的索引及数据可以被删除，以及时释放磁盘资源。

例如，预设删除规则中的预设周期为10天，若索引信息中的日期与当前日期的差值大于10天，则判定满足预设规则。例如，当前的索引名称为“智能家居2019-06-14”、“智能家居2019-06-15”、“智能家居2019-06-16”以及“智能家居2019-06-17”，当前的日期为2019-06-26，获取各个索引中索引名称中的日期，将所述日期分别与所述当前日期作差，得出，索引名称为“智能家居2019-06-14”和“智能家居2019-06-15”的索引中的日期与当前日期的差值大于10天，则判定这两个索引满足预设删除规则。

步骤S460，若满足，则删除所述索引以及所述索引中存储的数据。

对于满足预设删除规则的索引，删除所述索引以及存储在所述索引中的数据。例如，前述的示例中，索引名称为“智能家居2019-06-14”和“智能家居2019-06-15”的索引满足预设删除条件，则将所述索引这两个索引以及索引中存储的数据进行删除。

本申请实施例提出的数据处理方法，通过接收待存储数据；解析所述待存储数据，获取所述待存储数中的时间戳；从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；将所述待存储数据存储在所述目标索引中；判断各个索引的索引信息中的日期是否满足预设删除规则；若满足，则删除所述索引以及所述索引中存储的数据。通过判断待存储数据是否满足预设删除规则，对索引及索引中的数据进行定期删除，及时删除过期的索引并释放磁盘空间，提升整个系统的性能。

请参阅图6，其示出了本申请实施例提供的一种数据处理装置500，可应用于服务器，所述数据处理装置500包括接收模块510、解析模块520、确定模块530，以及处理模块540。所述信息接收模块610，用于接收待存储数据；所述解析模块520，用于解析所述待存储数据，获取所述待存储数据中的时间戳；所述确定模块530用于从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；所述处理模块540，用于将所述待存储数据存储在所述目标索引中。

其中，通过接收待存储数据，并解析所述待存储数据，获取所述待存储数据中的时间戳；从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引，并将所述待存储数据存储在所述目标索引中。可以根据日期对数据进行存储，避免了系统中的单个索引数量过多的情况，提升了整个体统的性能。

进一步的，在所述接收模块接收待存储数据之前，所述处理模块还用于接收索引创建指令，根据所述索引创建指令创建索引。

其中，在接收所述待存储数据之前，可以接收索引创建指令，并根据所述索引创建指令创建索引，以实现索引的设置。

进一步的，所述处理模块还用于解析所述索引创建指令，得到周期信息，索引设置规则以及字段创建规则，所述索引设置规则包括在索引信息中添加日期；根据所述周期信息周期性地创建以所述索引设置规则进行命名的索引；根据所述字段创建规则创建所述索引中的字段。

其中，所述索引创建指令中包括周期信息，索引设置规则以及字段创建规则，所述索引设置规则包括在索引信息中添加日期，则可以周期性的提前创建索引，并按照日期对索引进行命名，并根据字段创建规则创建索引中的字段，以实现后续的对数据进行分日期存储，从而提升整个系统的性能。

进一步的，所述处理模块还用于解析所述索引创建指令得到配置信息，所述配置信息包括预设分片数量和预设副本数量；设置所述索引的分片数为预设分片数量，副本数为预设副本数量。

其中，在创建对应的索引时，可指定索引的分片数以及副本数，并不采用默认的分片数和副本数，即动态指定索引的分片数以及副本数，以根据实际的需求使得系统更加适用，提升了系统的整体性能。

进一步的，所述索引创建模块还用于获取所述字段创建规则中相互对应的字段名称以及字段类型，所述字段类型包括第一类型和第二类型，所述第一类型为需要分词的字段，所述第二类型为不需要分词的字段；创建名称包括所述字段名称、类型为对应的字段类型的字段。

其中，在创建索引中对应的字段时，可以指定字段名称以及字段类型，其中，字段类型有且只有一个，可以分为第一类型为需要分词的类型，第二类型为不需要分词的类型，通过提前指定字段类型，减少了系统对字段类型的误判，从而减少了数据分析时的误差，提升了整个系统的性能。

进一步的，所述确定模块530还用于获取所述待存储数据的数据名称；确定所述目标索引中字段名称与所述数据名称匹配的字段，作为目标字段；所述处理模块540还用于将所述待存储数据存储在所述目标索引的目标字段中。

在存储数据时，通过解析待存储数据得到数据名称，则通过数据名称进行查找与所述数据名称匹配的字段名称，并将该字段作为目标字段，将待存储数据存储在所述目标字段中。

进一步的，所述处理模块540还用于获取所述目标字段对应的字段类型；若所述字段类型为第一类型，则对所述待存储数据进行分词存储；若所述字段类型为第二类型，则直接将所述待存储数据进行存储。

其中，在确定目标字段后，可以获取所述目标字段对应的字段类型，若所述字段类型为第一类型时，则需要对所述数据进行分词存储，若所述字段类型为第二类型，则直接将待存储数据进行存储，从而节省磁盘空间，并方便后期对数据的搜索。

进一步的，所述处理模块540还用于确定所述字段是否有指定分词器；若是，则按照所述指定分词器对所述待存储数据进行分词存储；若否，则获取默认分词器，按照默认分词器对所述待存储数据进行分词存储。

其中，若所述字段类型为第一类型，则需要对所述待存储数据进行分词存储，可以判断所述字段是否有指定分词器，若有，则按照指定分词器对待存储数据进行分词，若没有，则获取系统的默认分词器，按照默认分词器对数据进行分词存储，从而避免数据分词时出错，影响后期对数据的搜索。

进一步的，所述处理模块540还用于判断各个索引的索引信息中的日期是否满足预设删除规则；若满足，则删除所述索引以及所述索引中存储的数据。

其中，在对待存储数据进行存储后，为了减少一些历史数据，节约系统磁盘资源，则可以对索引中的数据进行定期删除，即可以根据日期对待存储数据进行筛选，在所述索引满足预设删除规则时，则对索引以及存储在索引中的数据进行定期删除，以及时释放磁盘资源，节约磁盘空间。

进一步的，所述处理模块540还用于若所述日期与当前日期的差值大于预设周期，则判定所述索引满足预设删除规则。

其中，预设规则可以是判断索引信息中的日期与当前日期的差值，若所述差值大于预设周期时，则表明该索引中的数据存储的时间较长，可以对其进行删除以及时释放磁盘资源，节约磁盘空间，从而提升了整个系统的性能。

本申请实施例提供的数据处理装置500能够实现图1到图5的方法实施例中服务器实现该数据处理方法的各个过程，为避免重复，这里不再赘述。

本申请实施例提供了一种服务器，该服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的数据处理方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

图7是本申请实施例提供的一种数据处理方法的服务器的硬件结构框图。如图7所示，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Unit，CPU)610(处理器610可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器630，一个或一个以上存储应用程序623或数据622的存储介质620(例如一个或一个以上海量存储设备)。其中，存储器630和存储介质620可以是短暂存储或持久存储。存储在存储介质620的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质620通信，在服务器600上执行存储介质620中的一系列指令操作。服务器600还可以包括一个或一个以上电源660，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口640，和/或，一个或一个以上操作系统621，例如WindowsServerTM，MacOSXTM，UnixTM，LinuxTM，FreeBSDTM等等。

输入输出接口640可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器600的通信供应商提供的无线网络。在一个实例中，输入输出接口640包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口640可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述服务器的结构造成限定。例如，服务器600还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法包括：

接收待存储数据；

解析所述待存储数据，获取所述待存储数据中的时间戳；

从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；

将所述待存储数据存储在所述目标索引中。

2.如权利要求1所述的方法，其特征在于，所述在接收待存储数据之前，还包括：

接收索引创建指令，根据所述索引创建指令创建索引。

3.如权利要求2所述的方法，其特征在于，所述接收索引创建指令，根据所述索引创建指令创建索引，包括：

解析所述索引创建指令，得到周期信息，索引设置规则以及字段创建规则，所述索引设置规则包括在索引信息中添加日期；

根据所述周期信息周期性地创建以所述索引设置规则进行设置的索引；

根据所述字段创建规则创建所述索引中的字段。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

解析所述索引创建指令得到配置信息，所述配置信息包括预设分片数量和预设副本数量；

设置所述索引的分片数为预设分片数量，副本数为预设副本数量。

5.如权利要求3所述的方法，其特征在于，所述根据所述字段创建规则创建所述索引中的字段，包括：

获取所述字段创建规则中相互对应的字段名称以及字段类型，所述字段类型包括第一类型和第二类型，所述第一类型为需要分词的字段，所述第二类型为不需要分词的字段；

创建名称包括所述字段名称、类型为对应的字段类型的字段。

6.如权利要求1-5任一项所述的方法，其特征在于，每个索引中包括一个或多个字段，所述方法还包括：

获取所述待存储数据的数据名称；

确定所述目标索引中字段名称与所述数据名称匹配的字段，作为目标字段；

所述将所述待存储数据存储在所述目标索引中，包括：

将所述待存储数据存储在所述目标索引的目标字段中。

7.如权利要求6所述的方法，其特征在于，所述将所述待存储数据存储在所述目标索引的目标字段中，包括：

获取所述目标字段对应的字段类型；

若所述字段类型为第一类型，则对所述待存储数据进行分词存储；

若所述字段类型为第二类型，则直接将所述待存储数据进行存储。

8.如权利要求7所述的方法，其特征在于，所述对所述待存储数据进行分词存储，包括：

确定所述字段是否有指定分词器；

若是，则按照所述指定分词器对所述待存储数据进行分词存储；

若否，则获取默认分词器，按照默认分词器对所述待存储数据进行分词存储。

9.如权利要求1所述的方法，其特征在于，所述将所述待存储数据存储在所述目标索引中之后，还包括：

判断各个索引的索引信息中的日期是否满足预设删除规则；

若满足，则删除所述索引以及所述索引中存储的数据。

10.如权利要求9所述的方法，其特征在于，所述判断各个索引的索引信息中的日期是否满足预设删除规则，包括：

若所述日期与当前日期的差值大于预设周期，则判定所述索引满足预设删除规则。

11.一种数据处理装置，其特征在于，所述装置包括：

接收模块，用于接收待存储数据；

解析模块，用于解析所述待存储数据，获取所述待存储数据中的时间戳；

确定模块，用于从一个或多个索引中，确定索引信息中的日期与所述时间戳匹配的索引，作为目标索引；

处理模块，用于将所述待存储数据存储在所述目标索引中。

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，与所述一个或多个处理器电连接；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1至10任一项所述的方法。

13.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至10任一项所述的方法。