CN107180072B - 一种时序数据的处理方法及装置 - Google Patents

Abstract

本发明实施例提供了一种时序数据的处理方法及装置，其中方法包括：接收经接口转发的多个时序数据中的具有相同格式的时序数据；生成具有相同格式的时序数据中的非数值时序数据的键值，键值为用以标识非数值时序数据的数值；将非数值时序数据的键值以及数值时序数据，存储至与适配器格式对应的数值数据库；将非数值时序数据及对应的键值，存储至与适配器格式对应的非数值数据库。本发明实施例的时序数据的处理方法及装置，能够实现不同格式的时序数据的整合处理；并且，使数值数据库和非数值数据库通过键值建立关系，达到时序数据库既支持数值数据又支持非数值数据的目的。

Description

一种时序数据的处理方法及装置

技术领域

本发明涉及网络通信技术领域，特别是涉及一种时序数据的处理方法及装置。

背景技术

时间序列数据库简称时序数据库，是一种用于处理、存储时间序列数据的系统。时间序列数据简称时序数据，是一种带时间标签的数据，具有产生频率快、每一条数据均要求对应唯一的时间、测点多信息量大等特点。

目前，有多种广泛使用的时序数据库，如Graphite、OpenTSDB、InfluxDB等。其中，Graphite是一种用Python语言(Python是一种面向对象、直译式计算机程序设计语言)编写的用以收集服务器即时状态、用户请求信息等的时序数据库；OpenTSDB是一种基于HBase(HBase是一个开源的非关系型分布式数据库)编写的分布式、可扩展的时序数据库；InfluxDB是一个开源、分布式的时序数据库。

随着业务的增长，越来越多的时序数据携带有非数值数据。但是，现有时序数据处理方法，受制于时序数据库自身架构，通常只能支持简单的数值数据，而无法支持复杂的非数值数据的存储。当接收到非数值时序数据时，企业需要另布设一套数据库系统以专门处理，因而提高了企业的运营成本。

发明内容

本发明实施例的目的在于提供一种时序数据的处理方法及装置，以实现使时序数据库既支持数值数据又支持非数值数据的目的。具体技术方案如下：

一种时序数据的处理方法，包括：

接收经接口转发的多个时序数据中的具有相同格式的时序数据，所述多个时序数据中包括：数值时序数据和非数值时序数据；

生成所述具有相同格式的时序数据中的非数值时序数据的键值，所述键值为用以标识所述非数值时序数据的数值；

将所述非数值时序数据的键值以及所述数值时序数据，存储至与所述适配器格式对应的数值数据库，所述数值数据库为支持纯数值数据的数据库；

将所述非数值时序数据及对应的键值，存储至与所述适配器格式对应的非数值数据库，所述非数值数据库为支持非数值数据的数据库。

优选地，所述非数值时序数据为包括地理信息和/或字符串的时序数据。

优选地，所述生成所述具有相同格式的时序数据中的所述非数值时序数据的键值，具体包括：

通过随机数算法，生成与所述具有相同格式的时序数据中的非数值时序数据唯一对应的键值。

优选地，所述接收经接口转发的多个时序数据中的具有相同格式的时序数据之后，所述时序数据的处理方法还用于：

记录多个时序数据的获取地址及获取时间，生成日志文件。

优选地，所述将所述非数值时序数据及对应的键值，存储至与所述适配器格式对应的非数值数据库之后，所述时序数据的处理方法还包括：

接收经所述接口转发的时序数据查询请求；

在数值时序数据库中查找所述时序数据查询请求中的数值时序数据及对应的键值；

根据所述对应的键值，在所述非数值数据库中查找时序数据查询请求中的非数值时序数据；

发送查找到的数值时序数据和非数值时序数据，以使所述接口接收并转发所述查找到的数值时序数据和非数值时序数据。

一种时序数据的处理装置，包括：

第一接收模块，用于接收经接口转发的多个时序数据中的具有相同格式的时序数据，所述多个时序数据中包括：数值时序数据和非数值时序数据；

生成模块，用于生成所述具有相同格式的时序数据中的非数值时序数据的键值，所述键值为用以标识所述非数值时序数据的数值；

第一存储模块，用于将所述非数值时序数据的键值以及所述数值时序数据，存储至与所述适配器格式对应的数值数据库，所述数值数据库为支持纯数值数据的数据库；

第二存储模块，用于将所述非数值时序数据及对应的键值，存储至与所述适配器格式对应的非数值数据库，所述非数值数据库为支持非数值数据的数据库。

优选地，所述非数值时序数据为包括地理信息和/或字符串的时序数据。

优选地，所述生成模块，具体用于：

通过随机数算法，生成与所述具有相同格式的时序数据中的非数值时序数据唯一对应的键值。

优选地，所述装置还包括：

日志记录模块，用于记录多个时序数据的获取地址及获取时间，生成日志文件。

优选地，所述装置还包括：

第二接收模块，用于接收经所述接口转发的时序数据查询请求；

第一查找模块，用于在数值时序数据库中查找所述时序数据查询请求中的数值时序数据及对应的键值；

第二查找模块，用于根据所述对应的键值，在所述非数值数据库中查找时序数据查询请求中的非数值时序数据；

发送模块，用于发送查找到的数值时序数据和非数值时序数据，以使所述接口接收并转发所述查找到的数值时序数据和非数值时序数据。

本发明实施例提供的一种时序数据的处理方法及装置，通过接口将多个时序数据中的具有相同格式的时序数据发送至对应的适配器，能够实现不同格式的时序数据的整合处理；适配器通过生成非数值时序数据的键值，并将键值存储至数值数据库和非数值数据库，同时将非数值数据也存入非数值数据库，使数值数据库和非数值数据库通过键值建立关系，达到时序数据库既支持数值数据又支持非数值数据的目的。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的时序数据的处理方法的一种流程示意图；

图2为本发明实施例的时序数据的处理方法的另一种流程示意图；

图3为本发明实施例的时序数据的处理装置的一种结构示意图；

图4为本发明实施例的时序数据的处理装置的另一种结构示意图；

图5为本发明实施例的时序数据的处理装置的架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的不同类型时序数据库，虽然时序数据格式相似，但是每种数据库都提供了不同的API(Application Programming Interface，应用程序接口)，对于混合使用了多个时序数据库的客户端而言，需要开发多套相似的CRUD(Create、Read、Update、Delete，创建、读取、更新和删除)逻辑，以对应处理不同格式的时序数据库。

并且，目前时序数据库只能存储简单数值数据，比如，对于一条Graphite格式的时序数据[metric,value,timestamp]，当value为数值时，Graphite会将该数据[timestamp,value]存储到名为metric的文件中；如果value是Geo或者String等复杂数据，Graphite不会存储该数据。

方法实施例一

本发明实施例提供的时序数据的处理方法的一种具体实施例，参考图1，图1为本发明实施例的时序数据的处理方法的一种流程示意图，包括：

S101、接收经接口转发的多个时序数据中的具有相同格式的时序数据，其中，多个时序数据中包括：数值时序数据和非数值时序数据。

接口用于统一接收来自不同服务器的多个时序数据，并将具有相同格式的时序数据转发至对应的适配器。

一般地，多个时序数据中包含数值时序数据和非数值时序数据。数值时序数据是指只含有数值的数据，例如只包含整数和浮点数。非数值时序数据包含数值和复杂数据，复杂数据可能为地理信息和/或字符串等，进一步地，地理信息可能为经纬度信息。

可选地，接口可以通过软件编程实现，其原理类似于网络中的网关，当一个时序数据到达该接口入口，接口分析时序数据使用的存储引擎(如Graphite，OpenTSDB，InfluxDB等)，然后转发到对应的适配器。例如，对于一条Graphite格式的时序数据：[metric,value,timestamp]，接口将该数据转发到与Graphite数据库对应的适配器。

进一步地，接口还可以用于记录接收的多个时序数据的获取地址及获取时间，并生成日志文件，为技术人员分析时序数据提供便利。

S102、生成具有相同格式的时序数据中的非数值时序数据的键值，其中，键值为用以标识非数值时序数据的数值。

对应格式的适配器接收到经转发的时序数据后，会解析该时序数据，如果为数值数据，则直接存储至数值数据库；如果为非数值数据，适配器通过key-value形式，生成一个键值，该键值与非数值数据唯一对应。

可选地，键值通过随机数算法生成，只要能保证键值与非数值数据唯一对应即可。

S103、将非数值时序数据的键值以及数值时序数据，存储至与适配器格式对应的数值数据库，其中，数值数据库为支持纯数值数据的数据库。

如上文所述，如果适配器接收到数值数据，则可以直接将数值数据存储至数值数据库，并将非数值数据的键值也存储至数值数据库，从而方便以后通过键值快速查找查询请求中所要查询的时序数据。以Graphite格式数据为例，适配器生成非数值数据的键值后，在Graphite数据库名为metric_complex的文件中，存储[timestamp,key]，即，将该键值和时间戳存储至数值数据库。

S104、将非数值时序数据及对应的键值，存储至与适配器格式对应的非数值数据库，其中，非数值数据库为支持非数值数据的数据库。

非数值数据库用于专门存储时序数据中的非数值数据。仍以Graphite格式数据为例，适配器生成非数值数据的键值后，在非数值数据库中存储该非数值时序数据(value)及对应的键值(key)。通过数值数据库和非数值数据库共同存储的键值，使二者建立联系，便于日后查找。

本发明方法实施例一，通过接口同一接收时序数据，并将多个时序数据中具有相同格式的时序数据发送至对应的适配器，能够实现不同格式的时序数据的整合处理；适配器通过生成非数值时序数据的键值，并将键值存储至数值数据库和非数值数据库，同时将非数值数据也存入非数值数据库，使数值数据库和非数值数据库通过键值建立联系，达到既支持数值数据又支持非数值数据的目的。

方法实施例二

本发明实施例提供的时序数据的处理方法的另一种具体实施例，参考图2，图2为本发明实施例的时序数据的处理方法的另一种流程示意图，在方法实施例一的基础上，进一步包括：

S201、接收经接口转发的时序数据查询请求。

可选地，技术人员通过时序查询请求查询时序数据库中存储的时序数据。该查询请求通常带有时间属性，例如，查询10点至10点10分的时序数据。

S202、在数值时序数据库中查找时序数据查询请求中的数值时序数据及对应的键值。

适配器接收到查询请求后，会解析查询请求所要查询的时间段，然后在数值时序数据库中查找对应时间段的数值时序数据和非数值数据的键值。例如，在Graphite数据库中，适配器通过名为metric的文件查询数值数据，通过名为metric_complex的文件查询复杂数据的键值。

S203、根据对应的键值，在非数值数据库中查找时序数据查询请求中的非数值时序数据。

适配器在数值数据库中查询到键值后，根据该键值，在非数值数据库中查找对应的非数值时序数据，就找到了查询请求的查询时间段中的所有时序数据。

S204、发送查找到的数值时序数据和非数值时序数据，以使接口接收并转发查找到的数值时序数据和非数值时序数据。

可选地，适配器将查找到的数值时序数据和非数值时序数据组装起来，并将组装后的数据发送给接口，再通过接口转发，时序数据查询请求处理完成。

本发明方法实施例二，通过在数值数据库中查找某一时间段的数值时序数据，以及非数值数据的键值，再通过键值查找非数值数据库中的非数值时序数据，能够生成一个查询请求中所查询时间段内的所有时序数据，提高了数据查询的便利性。通过将查询请求所要查询时间段的所有时序数据发送至接口，并通过接口转发，能够将查询结果整合处理，进一步提高查询便利性。

装置实施例一

本发明实施例提供的时序数据的处理装置的一种具体实施例，与图1所示流程相对应，参考图3，图3为本发明实施例的时序数据的处理装置的一种结构示意图，包括：

第一接收模块301，用于接收经接口转发的多个时序数据中的具有相同格式的时序数据，多个时序数据中包括：数值时序数据和非数值时序数据，其中，非数值时序数据为包括地理信息和/或字符串的时序数据。

生成模块302，用于生成具有相同格式的时序数据中的非数值时序数据的键值，键值为用以标识非数值时序数据的数值。

第一存储模块303，用于将非数值时序数据的键值以及数值时序数据，存储至与适配器格式对应的数值数据库，数值数据库为支持纯数值数据的数据库。

第二存储模块304，用于将非数值时序数据及对应的键值，存储至与适配器格式对应的非数值数据库，非数值数据库为支持非数值数据的数据库。

具体地，生成模块302，具体用于：

通过随机数算法，生成与具有相同格式的时序数据中的非数值时序数据唯一对应的键值。

可选地，本发明实施例的时序数据的处理装置还包括：

日志记录模块305，用于记录多个时序数据的获取地址及获取时间，生成日志文件。

本发明装置实施例一提供的时序数据的处理装置用于实现本发明方法实施例一提供的时序数据的处理方法的处理，其实现原理和技术效果类似，此处不再赘述。

装置实施例二

本发明实施例提供的时序数据的处理装置的另一种具体实施例，与图2所示流程相对应，参考图4，图4为本发明实施例的时序数据的处理装置的另一种结构示意图，在装置实施例一的基础上，进一步包括：

第二接收模块401，用于接收经接口转发的时序数据查询请求；

第一查找模块402，用于在数值时序数据库中查找时序数据查询请求中的数值时序数据及对应的键值；

第二查找模块403，用于根据对应的键值，在非数值数据库中查找时序数据查询请求中的非数值时序数据；

发送模块404，用于发送查找到的数值时序数据和非数值时序数据，以使接口接收并转发查找到的数值时序数据和非数值时序数据。

本发明装置实施例二提供的时序数据的处理装置用于实现本发明方法实施例二提供的时序数据的处理方法的处理，其实现原理和技术效果类似，此处不再赘述。

图5为本发明实施例的时序数据的处理装置的架构示意图，参考图5，本装置由一个接口模块501、多个不同格式的数值数据库及对应的适配器505、一个非数值数据库506组成，其中，不同格式的数值数据库包括：数值数据库A502、数值数据库B503、数值数据库C504，它们可以为Graphite、OpenTSDB、InfluxDB数据库；接口模块501的作用相当于本发明实施例的接口；适配器505的作用相当于本发明装置实施例的第一接收模块301、生成模块302、第一存储模块303及第二存储模块304。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种时序数据的处理方法，其特征在于，所述方法包括：

接收经接口转发的多个时序数据中的具有相同格式的时序数据，所述多个时序数据中包括：数值时序数据和非数值时序数据；

生成所述具有相同格式的时序数据中的非数值时序数据的键值，所述键值为用以标识所述非数值时序数据的数值；

将所述非数值时序数据的键值以及所述数值时序数据，存储至与适配器格式对应的数值数据库，所述数值数据库为支持纯数值数据的数据库；

将所述非数值时序数据及对应的键值，存储至与所述适配器格式对应的非数值数据库，所述非数值数据库为支持非数值数据的数据库。

2.根据权利要求1所述的时序数据的处理方法，其特征在于，所述非数值时序数据为包括地理信息和/或字符串的时序数据。

3.根据权利要求2所述的时序数据的处理方法，其特征在于，所述生成所述具有相同格式的时序数据中的所述非数值时序数据的键值，具体包括：

通过随机数算法，生成与所述具有相同格式的时序数据中的非数值时序数据唯一对应的键值。

4.根据权利要求3所述的时序数据的处理方法，其特征在于，所述接收经接口转发的多个时序数据中的具有相同格式的时序数据之后，所述时序数据的处理方法还用于：

记录多个时序数据的获取地址及获取时间，生成日志文件。

5.根据权利要求3所述的时序数据的处理方法，其特征在于，所述将所述非数值时序数据及对应的键值，存储至与所述适配器格式对应的非数值数据库之后，所述时序数据的处理方法还包括：

接收经所述接口转发的时序数据查询请求；

在数值时序数据库中查找所述时序数据查询请求中的数值时序数据及对应的键值；

根据所述对应的键值，在所述非数值数据库中查找时序数据查询请求中的非数值时序数据；

发送查找到的数值时序数据和非数值时序数据，以使所述接口接收并转发所述查找到的数值时序数据和非数值时序数据。

6.一种时序数据的处理装置，其特征在于，所述装置包括：

第一接收模块，用于接收经接口转发的多个时序数据中的具有相同格式的时序数据，所述多个时序数据中包括：数值时序数据和非数值时序数据；

生成模块，用于生成所述具有相同格式的时序数据中的非数值时序数据的键值，所述键值为用以标识所述非数值时序数据的数值；

第一存储模块，用于将所述非数值时序数据的键值以及所述数值时序数据，存储至与适配器格式对应的数值数据库，所述数值数据库为支持纯数值数据的数据库；

第二存储模块，用于将所述非数值时序数据及对应的键值，存储至与所述适配器格式对应的非数值数据库，所述非数值数据库为支持非数值数据的数据库。

7.根据权利要求6所述的时序数据的处理装置，其特征在于，所述非数值时序数据为包括地理信息和/或字符串的时序数据。

8.根据权利要求7所述的时序数据的处理装置，其特征在于，所述生成模块，具体用于：

通过随机数算法，生成与所述具有相同格式的时序数据中的非数值时序数据唯一对应的键值。

9.根据权利要求8所述的时序数据的处理装置，其特征在于，所述装置还包括：

日志记录模块，用于记录多个时序数据的获取地址及获取时间，生成日志文件。

10.根据权利要求8所述的时序数据的处理装置，其特征在于，所述装置还包括：

第二接收模块，用于接收经所述接口转发的时序数据查询请求；

第一查找模块，用于在数值时序数据库中查找所述时序数据查询请求中的数值时序数据及对应的键值；

第二查找模块，用于根据所述对应的键值，在所述非数值数据库中查找时序数据查询请求中的非数值时序数据；

发送模块，用于发送查找到的数值时序数据和非数值时序数据，以使所述接口接收并转发所述查找到的数值时序数据和非数值时序数据。

Images